JP2009044287A - Video distribution apparatus, distributed video image switching method, distributed video image switching program, and recording medium with distributed video image switching program - Google Patents
Video distribution apparatus, distributed video image switching method, distributed video image switching program, and recording medium with distributed video image switching program Download PDFInfo
- Publication number
- JP2009044287A JP2009044287A JP2007205016A JP2007205016A JP2009044287A JP 2009044287 A JP2009044287 A JP 2009044287A JP 2007205016 A JP2007205016 A JP 2007205016A JP 2007205016 A JP2007205016 A JP 2007205016A JP 2009044287 A JP2009044287 A JP 2009044287A
- Authority
- JP
- Japan
- Prior art keywords
- video
- switching
- video signal
- signal data
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は,多地点間でのテレビ会議等において,各地点の端末に映像を配信する際に,セッション切替えを行わずに配信する映像の切替えを行う技術に関するものである。 The present invention relates to a technique for switching a video to be distributed without switching a session when distributing the video to a terminal at each point in a video conference between multiple points.
テレビ会議やIP電話など,IPネットワークで様々なデータや音声・映像などのメディアの通信を行うためには,二者またはそれ以上の通信アプリケーション間の通信の開始,切断などの処理が必要となる。このような通信におけるインターネット上のアプリケーション間の関連付けは,セッションと呼ばれている。セッションを確立するための手順としては,例えば,SIP(Session Initiation Protocol )などのプロトコルがある。 In order to communicate various data, audio, video, and other media over an IP network, such as video conferencing and IP telephony, it is necessary to start and disconnect communication between two or more communication applications. . Such association between applications on the Internet in communication is called a session. As a procedure for establishing a session, for example, there is a protocol such as SIP (Session Initiation Protocol).
テレビ会議等のために端末の多地点接続を行う技術としては,以下のような従来技術1および従来技術2がある。
As technologies for performing multipoint connection of terminals for video conferences and the like, there are the following
従来技術1は,各地点間で1対1に対応する映像のセッションを確立する方式である。ある地点αに着目すると,その地点αと他の全地点との間に1対1でセッションが用意され,他の全地点からの映像が地点αの利用者端末に配信される。地点αの利用者端末で表示する映像は,地点αの利用者端末側で選択される。
The
しかし,従来技術1の方式では,接続地点数が増えるにつれて,配信サーバ側やネットワークの処理負荷が高くなるという問題がある。近年のテレビ会議システムの普及にともない,その接続拠点数も増えていく傾向にあり,中には数十〜数百の地点を接続するようなケースもある。このようなケースには,従来技術1の方式では対応しきれない可能性がある。
However, the method of the
多数の地点を接続するようなテレビ会議システムでは,全参加者中の一部の地点での映像のみを配信すればよいという利用ケースも多い。そのため,従来技術2では,例えばある地点βにおいて,その地点βの利用者端末で表示する映像の数だけのセッションを用意し,他の全地点のうち,地点βの利用者端末側で指定された地点からの映像だけを,配信サーバから配信する。この従来技術2の方式において,利用者端末で表示する映像の地点を変更する場合には,セッションの切替えが必要となる。
In video conferencing systems that connect a large number of points, there are many use cases in which only video at some points among all participants need to be distributed. Therefore, in the
なお,テレビ会議などの多地点接続に関する技術が記載された先行技術文献として,例えば非特許文献1などがある。非特許文献1には,IPネットワークを利用した多地点テレビ会議に関する技術が記載されている。
上記従来技術1のように,他の地点の映像を表示するため,各地点と1対1に対応した複数の映像セッションをはり,全地点分を配信して利用者端末側で表示する映像を選択する方式では,配信サーバ側やネットワークの処理負荷が高くなるという問題がある。
In order to display the video of other points as in the
一方,上記従来技術2の方式では,例えば,テレビ会議の参加者N地点中の任意のP(P<N)地点分の映像の配信を行う場合に,P本のセッションを,適宜接続・切断する必要がある。このとき,
・セッション数が増えるにつれて,セッション切替えのための処理負荷が増大するため,セッション管理の処理コストが高くなるという問題,
・セッション切替え時に,配信遅延や配信異常が発生する確率が上がり,結果として表示される映像に乱れが発生するという問題,
がある。
On the other hand, in the method of the
・ As the number of sessions increases, the processing load for session switching increases, which increases the processing cost of session management.
-When switching sessions, there is an increase in the probability of distribution delays and distribution abnormalities, resulting in disturbances in the displayed video.
There is.
本発明は,これらの問題点を解決し,大量の映像情報の切替えを,表示映像に乱れを生じさせることなく,より高速に実行できるようにすることを目的とする。 An object of the present invention is to solve these problems and to perform switching of a large amount of video information at a higher speed without causing disturbance in the displayed video.
本発明は,上記の課題を解決するため,以下の手段を用いることを特徴とする。 The present invention is characterized by using the following means in order to solve the above problems.
(1)利用者端末で表示する映像の数だけのセッションを用意し,他の全地点のうち,利用者端末側で指定された地点からの映像だけを,映像配信装置から配信するという方式において,映像配信装置内に,利用者端末に配信する映像信号データの切替えを行う切替器を設ける。 (1) In a system in which as many sessions as the number of videos to be displayed on the user terminal are prepared and only videos from the point designated on the user terminal side among all other points are distributed from the video distribution device. In the video distribution apparatus, a switch for switching the video signal data distributed to the user terminal is provided.
(2)セッション切替えを行わないで配信する映像を切替える方式として,地点とセッションとの対応付けはセッション確立とは別の手段で行い,セッション確立後に配信対象となる地点を切り替える場合には,映像配信装置内の切替器が,セッションが確立されてデータ通信が行われているデータチャネルに配信する映像信号データのみを変更する。 (2) As a method of switching the video to be distributed without switching the session, the association between the point and the session is performed by means different from the session establishment, and when the point to be distributed is switched after the session is established, A switch in the distribution apparatus changes only video signal data distributed to a data channel in which a session is established and data communication is performed.
(3)映像切替え時に,映像切替え前の映像のフレーム終了点および映像切替え後の映像のフレーム開始点を検出することと,映像切替え前の映像と映像切替え後の映像との間に時間間隔が空く場合にあらかじめ保存された映像を挿入することによって,表示映像乱れの小さい配信映像切替えを実現する。 (3) At the time of video switching, there is a time interval between detecting the frame end point of the video before video switching and the frame start point of the video after video switching, and between the video before video switching and the video after video switching. By inserting a pre-stored video when it is available, it is possible to switch the distribution video with little display video disturbance.
すなわち,本発明は,多地点テレビ会議システムなどに用いることを目的とし,複数地点から送信される映像信号ストリーム,もしくは,あらかじめ保存された映像信号ファイルから映像信号を取得し,元情報となる映像信号を受信するバッファと,送信情報となる映像信号を送信するバッファと,受信した映像と送信する映像を切替えを行う切替器を具備した多地点に配信する配信ストリームを生成する映像配信システムにおいて,任意の配信ストリームの送信者情報や受信情報,通信に利用するポートなどのセッション情報を変更することなく,配信される映像信号のみを変更することで配信対象となる入力情報の切替え機能を提供することを特徴とする。 That is, the present invention is intended to be used in a multipoint video conference system, etc., and obtains a video signal from a video signal stream transmitted from a plurality of points or a video signal file stored in advance, and serves as original information. In a video distribution system for generating a distribution stream to be distributed to multiple points, comprising a buffer for receiving a signal, a buffer for transmitting a video signal as transmission information, and a switch for switching between the received video and the transmitted video, Provides a function to switch the input information to be distributed by changing only the video signal to be distributed without changing the session information such as the sender information and reception information of any distribution stream, the port used for communication, etc. It is characterized by that.
また,上記発明において,切替え時に表示端末側での映像の乱れを抑えるために,再生時に表示映像を生成するためのフレームの区切りなどの意味のある区切り点を検出し,その区切り点まで待った上で切替え前の映像ストリームを停止するようにし,また,切替え後の映像ストリームを開始するときに,圧縮フォーマットにおいて意味のある開始点を発見し,開始点から送信することで映像表示端末側の映像乱れを抑えることを特徴とする。 Further, in the above invention, in order to suppress the disturbance of the video on the display terminal side at the time of switching, a meaningful break point such as a frame break for generating a display video at the time of playback is detected, and after waiting for the break point. To stop the video stream before switching, and when starting the video stream after switching, find a meaningful starting point in the compression format and send it from the starting point to the video on the video display terminal side. It is characterized by suppressing disturbance.
また,本発明は,切替え前映像の終了から切替え後映像の開始までの切替え中の間となる,映像切替え中のアイドル時間に,あらかじめ用意した任意の映像信号を挿入することで映像ストリーム中の映像信号が停止した場合に,再生側での処理方式の違いによる表示の仕方を差分が生じないようにするとともに,あらかじめ設定した時間間隔まで待つ処理により,後続の映像信号が来る場合にも来ない場合にも確実に切替え処理を行うことを特徴とする。 Also, the present invention inserts an arbitrary video signal prepared in advance into an idle time during video switching, which is during switching from the end of the video before switching to the start of video after switching, thereby enabling the video signal in the video stream to be inserted. When the video stops, the display method due to the difference in the processing method on the playback side will not cause a difference, and the process that waits for a preset time interval will not cause the subsequent video signal to come. Further, the switching process is surely performed.
さらに,表示端末側において,受信した映像ストリームが自端末の送信情報であることを判別する手段を設け,自端末内で取得した映像を表示することで伝送遅延を意識させないようにするとともに,映像入力ボードなどを利用して処理負荷の軽減を行うようにすることもできる。 Furthermore, the display terminal side is provided with a means for determining that the received video stream is transmission information of the own terminal so that the video acquired in the own terminal is displayed so that the transmission delay is not conscious. It is also possible to reduce the processing load using an input board or the like.
本発明によって,以下のような効果が得られる。
(1)セッション切替えを必要としないため,セッション管理のコストを削減することができ,またセッション切替えによる映像乱れをなくすことができる。
(2)映像のフレーム開始点の検出を行うことにより,映像信号データとして適切な切替えタイミングを判定することで,映像切替え後の映像の開始点が正しく表示される。
(3)映像切替え時に時間間隔があく場合には,あらかじめ準備された映像信号データを挿入することで全地点に統一の表示が行われる。そのため,映像切替え時の違和感と表示乱れとを軽減させることができる。
According to the present invention, the following effects can be obtained.
(1) Since session switching is not required, the cost of session management can be reduced, and video disturbance due to session switching can be eliminated.
(2) By detecting the video frame start point and determining an appropriate switching timing as video signal data, the video start point after video switching is correctly displayed.
(3) When there is a time interval at the time of video switching, unified display is performed at all points by inserting video signal data prepared in advance. For this reason, it is possible to reduce a sense of incongruity and display disturbance when switching images.
以下,本発明の実施の形態について,図を用いて説明する。本実施の形態は,本発明による配信映像切替え方式を,多地点テレビ会議システムに適用した場合の例である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. This embodiment is an example when the distribution video switching method according to the present invention is applied to a multipoint video conference system.
図1は,本実施の形態による多地点テレビ会議システムの概要を説明する図である。本実施の形態による多地点テレビ会議システムは,映像配信装置10,端末20,ユーザ操作処理装置30から構成される。
FIG. 1 is a diagram for explaining the outline of a multipoint video conference system according to this embodiment. The multipoint video conference system according to the present embodiment includes a
映像配信装置10は,端末20間の映像を中継し,必要に応じて配信する映像信号の切替えを行う。映像配信装置10は,入力バッファ11,切替器12,出力バッファ13,映像配信情報管理テーブル14を備える。入力バッファ11は,各端末20からの映像を受信する。切替器12は,各端末20に配信する映像の切替えを行う。出力バッファ13は,各端末20に映像を配信する。映像配信情報管理テーブル14は,どの端末にどの端末の映像を配信しているかの情報を記憶し管理する記憶手段であり,特に一つの地点の端末20において少なくとも映像を表示する地点の数だけ用意されたセッション情報と切替器12による映像の切替え状態を示す情報とを記憶する。
The
端末20は,エンドユーザに利用され,自地点映像の入力と送信,また他地点映像の受信と再生を行う。 The terminal 20 is used by an end user, and inputs and transmits a local video and receives and plays a video of another site.
ユーザ操作処理装置30は,映像配信装置10に対して映像切替え要求を出すとともに,その契機となるエンドユーザからの映像切替え要求を受付ける。ユーザ操作処理装置30は,端末20上に実現することも可能であるが,本実施の形態では,説明のために明示的に区別して実装した例を示す。
The user
多地点テレビ会議システムにおいて,図1(A)に示すように,端末20Aで入力された映像は,映像配信装置10に送信される。同様に,端末20B,端末20Cで入力された映像も,映像配信装置10に送信される。映像配信装置10において,入力バッファ11は,全地点の端末20からの映像信号を受信する。なお,図1では模式的に入力バッファ11を1つの四角で示しているが,実装としては,プロセスやスレッドによって適宜分割されることもある。
In the multipoint video conference system, as shown in FIG. 1A, the video input at the terminal 20 </ b> A is transmitted to the
図1(A)に示すように,初期段階では,端末20Aの映像が配信対象映像になっているものと仮定する。入力バッファ11で受信された映像は,切替器12に受け渡される。切替器12は,端末20Aの映像が配信対象映像であることを記憶しており,入力バッファ11から受け渡された映像信号から配信対象となる端末20Aの映像信号を選別し,出力バッファ13に受け渡す。出力バッファ13は,切替器12から受け渡された端末20Aの映像信号を,全地点の端末20に配信する。
As shown in FIG. 1A, in the initial stage, it is assumed that the video of the terminal 20A is the distribution target video. The video received by the
ここで,配信対象映像が,端末20Aの映像から端末20Bの映像に切り替えられるものとする。図1(A)に示す状態から,図1(B)に示す状態への変更が,配信対象映像の切替えを意味している。 Here, it is assumed that the distribution target video is switched from the video of the terminal 20A to the video of the terminal 20B. The change from the state shown in FIG. 1A to the state shown in FIG. 1B means switching of the distribution target video.
多地点テレビ会議システムにおいて,配信対象となる映像を切り替えたい場合には,エンドユーザが,ユーザ操作処理装置30を経由して,映像配信装置10に映像切替え要求を発行する。これは,例えば,WWWブラウザを利用してサーバにアクセスした上で,WWWページで構成された会議状態変更ページから,配信対象となる映像を変更することを意味する。
In the multipoint video conference system, when the video to be distributed is to be switched, the end user issues a video switching request to the
ここでは,配信対象映像を,端末20Aの映像から端末20Bの映像に変更するものとする。操作の結果,ユーザ操作処理装置30からは,映像配信装置10に対して,端末20Aの映像から端末20Bの映像への映像切替え要求が発行される。
Here, it is assumed that the distribution target video is changed from the video of the terminal 20A to the video of the terminal 20B. As a result of the operation, the user
映像配信装置10では,図1(B)に示すように,ユーザ操作処理装置30に映像切替え応答(OK)を返却するとともに,映像切替えが可能な場合には,映像配信情報管理テーブル14が記憶する情報を更新し,切替器12に切替え制御信号を送る。この結果,配信対象となる映像信号が,端末Aの映像信号から端末Bの映像信号に切替わる。
As shown in FIG. 1B, the
映像切替え後,切替器12は,入力バッファ11から受け渡された映像信号から配信対象となる端末20Bの映像信号を選別し,出力バッファ13に受け渡す。出力バッファ13は,切替器12から受け渡された端末20Bの映像信号を,全地点の端末20に配信する。
After the video switching, the
以上が,本実施の形態による多地点テレビ会議システムの概要である。次に,映像切替え時における切替器12の内部処理について説明する。
The above is the outline of the multipoint video conference system according to the present embodiment. Next, the internal processing of the
図2は,本実施の形態による切替器の内部処理の例を説明する図である。切替器12は,DCI検出器120を備える。DCI検出器120は,映像信号のビット列から,DCI(Decoder Configuration Information )のビット列を検出する手段である。DCIとは,端末側の復号処理で必要となるデータ構成情報である。
FIG. 2 is a diagram for explaining an example of internal processing of the switch according to the present embodiment. The
映像切替えが発生すると,切替器12の内部に記憶される配信対象映像の情報が更新されるが,本実施の形態では,その更新後に,即座には出力バッファ13に受け渡す映像信号の切替えを行わない。
When the video switching occurs, the information of the distribution target video stored in the
映像切替えが発生したときには,切替器12では,まず,現在の配信対象映像の映像信号から,その符号化データを復号した場合に新規のフレームの先頭を示す情報を検出する。このフレームの先頭情報の検出には,例えば,DCIのビット列を記憶しておき,簡単なビット演算によるマッチング処理により,映像信号のビット列中からDCIのビット列を検出する方法などがある。本実施の形態では,映像信号を復号せず,パケット中のペイロードの内容のままビット列として演算処理を行う。新規フレームの先頭が検出された場合には,そのフレームの先頭が検出されたパケットの前のパケットまでを,映像切替え前の映像として配信する。
When video switching occurs, the
次に,映像切替え後の配信対象の映像信号から,新規のフレームの先頭情報を検出する。新規フレームの先頭が検出された場合には,そのフレームの先頭が検出されたパケットから,映像切替え後の映像として配信する。 Next, the head information of the new frame is detected from the video signal to be distributed after the video switching. When the head of a new frame is detected, the video after the video switching is distributed from the packet in which the head of the frame is detected.
以上の処理により,映像の再生時に,フレーム単位で整合性のとれた映像信号が各端末20に配信されるため,端末20での復号・再生処理において,映像の乱れを抑えることが可能となる。 As a result of the above processing, a consistent video signal in units of frames is distributed to each terminal 20 during video playback, so that it is possible to suppress video disturbance in the decoding / playback processing at the terminal 20. .
ただし,映像切替え前と映像切替え後の新規フレームの検出には,処理遅延やパケットの欠落,パケットのデータ異常により,タイムラグが発生する場合がある。このような場合には,エンドユーザの端末20上での再生を乱れないようにするために,また端末20側の復号装置の実装の違いによる表示の差分が発生しないようにするために,図2に示すように,切替器12内部で,あらかじめ保存した保存映像信号(Stored Data )を,映像切替え前の映像信号と映像切替え後の映像信号との間に挿入する。これにより,端末20側の復号装置に依存して映像切替え中の表示映像が変わることを回避する。
However, when detecting a new frame before and after video switching, there may be a time lag due to processing delay, packet loss, or packet data abnormality. In such a case, in order to prevent the playback on the terminal 20 of the end user from being disturbed, and in order to prevent a display difference due to a difference in the implementation of the decoding device on the terminal 20 side, As shown in FIG. 2, a stored video signal (Stored Data) stored in advance is inserted between the video signal before video switching and the video signal after video switching in the
また,映像切替え前の映像信号の終了点や映像切替え後の映像信号の開始点が検出できない場合に備えて,映像の切替えを確実に行うために,切替器12では2つのタイマを管理する。あらかじめ定められた時間内で映像切替え前の映像信号の終了点を検出できない場合には,強制的に保存映像信号への切替えを行う。また,あらかじめ定められた時間内で映像切替え後の映像信号の開始点が検出できないときに,映像切替え後の映像信号が存在する場合には,強制的に映像切替え後の映像信号への切替えを行う。
In addition, the
ここで,切替器12による具体的な映像切替え処理の例を説明する。図2に示すように,切替器12には,入力バッファ11から端末20Aの映像信号と端末20Bの映像信号とが受け渡されている。ここで,端末20Aの映像信号は映像切替え前の映像信号であり,端末20Bの映像信号は映像切替え後の映像信号である。図2において,A−1,A−2,A−3は端末20Aの映像信号におけるパケットを示し,数字の小さいものがより早い時刻のものである。同様に,B−1,B−2,B−3は端末20Bの映像信号におけるパケットを示し,数字の小さいものがより早い時刻のものである。
Here, an example of specific video switching processing by the
ユーザ操作処理装置30から,端末20Aの映像から端末20Bの映像への映像切替え要求を受けると,切替器12では,DCI検出器120が,端末20Aの映像信号からDCIのビット列を検出する。ここでは,図2に示すように,パケットA−2からDCIのビット列が検出されるものとする。切替器12は,DCIのビット列が検出されたパケットA−2の前のパケットまで,すなわちパケットA−1までを,映像切替え前の映像信号として出力するものと判断する。
When receiving a video switching request from the video of the terminal 20A to the video of the terminal 20B from the user
次に,DCI検出器120が,端末20Bの映像信号からDCIのビット列を検出する。ここでは,図2に示すように,パケットB−3からDCIのビット列が検出されるものとする。切替器12は,DCIのビット列が検出されたパケットB−3から,映像切替え後の映像信号として出力するものと判断する。
Next, the
ここで,映像切替え前の映像信号と映像切替え後の映像信号との間には,調整のため,保存映像信号(Stored Data )が挿入される。 Here, a stored video signal (Stored Data) is inserted between the video signal before video switching and the video signal after video switching for adjustment.
図2に示すように,映像切替え時に出力バッファ13に受け渡される映像信号は,時間が早い順に,映像切替え前のパケットA−1の映像信号,保存映像信号(Stored Data ),映像切替え後のパケットB−3の映像信号となる。
As shown in FIG. 2, the video signal delivered to the
図3は,本実施の形態の映像配信装置の切替器による配信映像切替え処理フローチャートである。図3の例では,端末20Aの映像から端末20Bの映像に配信対象映像を切り替える場合について,説明する。 FIG. 3 is a distribution video switching process flowchart by the switching unit of the video distribution apparatus according to the present embodiment. In the example of FIG. 3, a case where the distribution target video is switched from the video of the terminal 20A to the video of the terminal 20B will be described.
切替器12は,入力バッファ11から全端末20の映像のパケットを受信する(ステップS10)。ユーザ操作処理装置30からの映像切替え要求の受信がなければ(ステップS11),配信対象映像のパケット(ここでは,端末20Aの映像のパケット)を,出力バッファ13に出力する(ステップS12)。
The
ユーザ操作処理装置30から映像切替え要求(ここでは,端末20Aの映像から端末20Bの映像への映像切替え要求)を受信すると(ステップS11),DCI検出器120による端末20Aの映像のパケットからのDCIのビット列の検出を開始する。
When a video switching request (here, a video switching request from the video of the terminal 20A to the video of the terminal 20B) is received from the user operation processing device 30 (step S11), the DCI from the video packet of the terminal 20A by the
DCI検出器120が端末20Aの映像のパケットからDCIのビット列を検出すると(ステップS13),DCIのビット列が検出された端末20Aの映像のパケットから後のパケットは,出力バッファ13に送信しないようにする。DCI検出器120による端末20Bの映像のパケットからのDCIのビット列の検出を開始する。
When the
DCI検出器120が端末20Aの映像のパケットからDCIのビット列を検出できない間は(ステップ13),端末20Aの終了点検出用のタイマ処理を行う。端末20Aの終了点検出用タイマがタイムアウトとなるまでは(ステップS14),端末20Aの映像のパケットを出力バッファ13に送信し(ステップS15),入力バッファ11から全端末20の映像のパケットを受信する(ステップS16)。
While the
端末20Aの終了点検出用タイマがタイムアウトとなれば(ステップS14),その後の端末20Aの映像のパケットを出力バッファ13に送信しないようにし,DCI検出器120による端末20Bの映像のパケットからのDCIのビット列の検出を開始する。
If the end point detection timer of the terminal 20A times out (step S14), the subsequent video packet of the terminal 20A is not transmitted to the
DCI検出器120が端末20Bの映像のパケットからDCIのビット列を検出すると(ステップS17),DCIのビット列が検出された端末20Bの映像のパケットから,端末20Bの映像のパケットを配信対象映像のパケットとして出力バッファ13に送信する(ステップS18)。
When the
DCI検出器120が端末20Bの映像のパケットからDCIのビット列を検出できない間は(ステップ17),端末20Bの開始点検出用のタイマ処理を行う。端末20Bの開始点検出用タイマがタイムアウトとなるまでは(ステップS19),保存映像信号を出力バッファ13に送信し(ステップS20),入力バッファ11から全端末20の映像のパケットを受信する(ステップS21)。
While the
端末20Bの終了点検出用タイマがタイムアウトとなれば(ステップS19),入力バッファ11から受信した端末20Bの映像のパケットを配信対象映像のパケットとして出力バッファ13に送信する(ステップS18)。
If the end point detection timer of the terminal 20B times out (step S19), the terminal 20B video packet received from the
端末20Aの映像を端末20Bの映像に切り替えて表示しているときに,さらに例えば端末20Cの映像への切替え要求がユーザ操作処理装置30から送出されたとする。このとき,図2および図3で説明した処理と同様な処理により,切替器12によって今まで表示されていた端末20Bの映像が端末20Cの映像に切り替えられることになる。
Assume that, for example, a request for switching to the video of the terminal 20C is sent from the user
この方法と,「背景技術」の項で説明した従来技術1との大きな違いは,以下のとおりである。従来技術1では,端末20Aに,順次,端末20B,端末20Cの映像を表示する場合には,あらかじめ端末20Aと端末20B間および端末20Aと端末20C間でSIP等のプロトコルを用いてセッションを確立しておく必要がある。また,さらに他の端末20D(図示省略)の映像を端末20Aに表示させる場合には,端末20Aと端末20Dとの間で事前にセッションを確立しておく必要がある。すなわち,全地点の端末間でセッションを確立しておかなければならない。
The major differences between this method and the
これに対し,本発明では,あらかじめ端末20Aと映像配信装置10との間,または端末20Aと端末20Bまたは端末20Cとの間でセッションを確立しておき,例えばユーザ操作処理装置30からそのセッションを他の端末の映像配信用に利用してもよいことを設定しておけば,ユーザ操作処理装置30からの映像切替え要求に対して,配信ストリームの送信者情報や受信情報,通信に利用するポートなどのセッション情報を変更することなく,配信される映像信号のみを変更することで配信対象となる入力情報の切替えが実現される。したがって,あらかじめ全地点の端末間でセッションを確立しておく必要はない。
On the other hand, in the present invention, a session is established in advance between the terminal 20A and the
また,本発明と従来技術2との大きな違いは,以下のとおりである。従来技術2において,あらかじめ全地点の端末間でセッションを確立しておく必要がないことは本発明と同じであるが,従来技術2の場合,例えば最初に端末20A,端末20B間でセッションを確立している状態で,端末20Aに表示している端末20Bの映像を,端末20Cの映像に切り替えたいと思った場合には,新たにセッションの切断,接続を行う必要がある。これに伴い,表示映像の切替え時に映像の表示が乱れることもある。
The major differences between the present invention and the
これに対し,本発明では,既に接続されたセッションを複数の端末に対して使い回し,セッションを確立してデータ通信が行われているデータチャネルに配信する映像だけを変更する方式をとるので,映像切替え時にセッションの切断,接続を繰り返す必要はなく,また,映像切替え時に映像のフレーム開始点の検出とあらかじめ保存した映像の挿入処理によって表示映像の乱れの少ない映像切替えを実現することができる。 On the other hand, in the present invention, since an already connected session is reused for a plurality of terminals, a session is established and only a video distributed to a data channel on which data communication is performed is changed. It is not necessary to repeat session disconnection and connection at the time of video switching, and video switching with less disturbance of the displayed video can be realized by detecting the frame start point of the video and inserting previously stored video at the time of video switching.
図1ないし図3の例では,説明を分かりやすくするために,各端末に表示される映像が,1つの端末の映像である場合の例を説明した。例えば端末20Aに4つの端末の映像を表示する場合には,図1および図2に示す切替器12を4つ用いることにより,端末20Aに同時に4つの端末の映像を表示させることができ,また,それぞれの映像を必要に応じて,さらに他の端末の映像に切替えることも可能になる。この場合,最低4本のセッションが接続されていれば十分である。なお,セッションを映像配信装置10への上りと,映像配信装置10からの下りに分けて張るようにしてもよい。
In the example of FIGS. 1 to 3, an example in which the video displayed on each terminal is a video of one terminal has been described in order to make the description easy to understand. For example, when displaying images of four terminals on the terminal 20A, the four
確立されているセッションの情報,およびセッションの確立によりデータ通信が行われているデータチャネルと,そのデータチャネルに現在どの端末の映像信号データが流れているかの情報は,映像配信装置10が,映像配信情報管理テーブル14として,内部メモリにテーブル化して記憶し,管理しておく。この情報は,セッションの接続,切断時および配信映像の切替えが生じた時点で更新する。これにより,地点とセッションとの対応をセッション確立とは別方法で対応づけることが可能になる。
Information on the established session, the data channel in which data communication is performed by the establishment of the session, and information on which terminal's video signal data is currently flowing through the data channel are provided by the
また,例えば端末20A(他の端末も同様)に,受信した映像ストリームが自端末の送信情報であるかどうかを判別する手段を設け,自端末の送信情報であることが検出された場合には,映像配信装置10から送られた映像ではなく,自端末内で取得した映像を直接表示する手段を設ける実施も好適である。こうすることで,ユーザに伝送遅延を意識させない表示が可能になる。また,自端末の映像の取得では,映像入力ボードなどを利用して処理負荷の軽減を行うこともできる。
Further, for example, the
以上説明した映像配信装置10の配信映像切替えの処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。
The distribution video switching process of the
10 映像配信装置
11 入力バッファ
12 切替器
120 DCI検出器
13 出力バッファ
14 映像配信情報管理テーブル
20 端末
30 ユーザ操作処理装置
DESCRIPTION OF
Claims (6)
前記各端末から送信される映像信号データを受信する入力バッファと,
前記各端末へ送信する映像信号データを格納する出力バッファと,
前記入力バッファに格納された映像信号データと,前記出力バッファに格納する映像信号データとの切替えを行う切替器と, 一つの地点の前記端末において少なくとも映像を表示する地点の数だけ用意されたセッション情報と前記切替器による映像の切替え状態を示す情報とを記憶する映像配信情報記憶手段と,
映像を配信する地点を切り替える場合に,前記映像配信情報記憶手段を参照して前記切替器を操作することにより,前記セッション情報を変更することなく,データ通信が行われているデータチャネルに配信する映像信号データのみを変更する制御手段とを備え,
かつ,前記切替器は,前記映像信号データにおいて再生時に表示映像を生成するための何らかの意味のある映像信号データの区切りを検出する検出手段を備え,該検出手段により検出した切替え前の映像信号データの区切りおよび切替え後の映像信号データの区切りで,前記出力バッファへの映像信号データの出力の切替えを行う
ことを特徴とする映像配信装置。 In a video distribution device that distributes video signal data transmitted from terminals at multiple points to terminals at multiple points,
An input buffer for receiving video signal data transmitted from each terminal;
An output buffer for storing video signal data to be transmitted to each terminal;
A switch for switching between the video signal data stored in the input buffer and the video signal data stored in the output buffer, and a session prepared for at least the number of points at which video is displayed at the terminal at one point Video distribution information storage means for storing information and information indicating a video switching state by the switch;
When switching a video distribution point, the session information is distributed to a data channel in which data communication is performed without changing the session information by referring to the video distribution information storage means and operating the switch. Control means for changing only the video signal data,
The switching device includes detection means for detecting a meaningful video signal data break for generating a display video during reproduction in the video signal data, and the video signal data before switching detected by the detection means. A video distribution apparatus characterized by switching the output of video signal data to the output buffer at a video signal data segment and a video signal data segment after switching.
前記切替器は,映像の切替え時に,前記検出手段により切替え前の映像信号データの区切りを検出した時点で前記出力バッファへの切替え前の映像信号データの出力を停止し,その後に,前記検出手段により切替え後の映像信号データの区切りを検出した後の切替え後の映像信号データを前記出力バッファへ出力し,かつ前記切替え前の映像信号データの出力停止から前記切替え後映像信号データの前記出力バッファへの出力の開始までの時間中に,あらかじめ用意された他の映像信号データを挿入する手段を備える
ことを特徴とする映像配信装置。 The video distribution device according to claim 1,
The switching unit stops the output of the video signal data before switching to the output buffer at the time when the detection unit detects a break of the video signal data before switching at the time of video switching, and then the detection unit To output the video signal data after switching after detecting the delimiter of the video signal data after switching to the output buffer, and from the output stop of the video signal data before switching to the output buffer of the video signal data after switching A video distribution apparatus comprising means for inserting other video signal data prepared in advance during the time until the start of output to the video.
前記各端末から送信される映像信号データを入力バッファに受信する過程と,
前記入力バッファに格納された映像信号データを,切替器を介して前記出力バッファへ転送する過程と,
一つの地点の前記端末において少なくとも映像を表示する地点の数だけ用意されたセッション情報と前記切替器による映像の切替え状態を示す情報とを映像配信情報記憶手段に記憶する過程と,
映像を配信する地点を切り替える場合に,前記映像配信情報記憶手段を参照して前記切替器を操作することにより,前記セッション情報を変更することなく,データ通信が行われているデータチャネルに配信する映像信号データのみを変更する過程とを有し,
かつ,前記切替器において,前記映像信号データにおいて再生時に表示映像を生成するための何らかの意味のある映像信号データの区切りを検出し,検出した切替え前の映像信号データの区切りおよび切替え後の映像信号データの区切りで,前記出力バッファへの映像信号データの出力の切替えを行う過程とを有する
ことを特徴とする配信映像切替え方法。 A distribution video switching method executed by a video distribution device that distributes video signal data transmitted from a plurality of terminals to a plurality of terminals,
Receiving video signal data transmitted from each terminal into an input buffer;
Transferring video signal data stored in the input buffer to the output buffer via a switch;
Storing the session information prepared for at least the number of points for displaying video in the terminal at one point and the information indicating the video switching state by the switch in the video distribution information storage means;
When switching a video distribution point, the session information is distributed to a data channel in which data communication is performed without changing the session information by referring to the video distribution information storage means and operating the switch. Changing only the video signal data,
In the switching unit, the video signal data is detected in the video signal data at the time of reproduction to detect a meaningful video signal data break, and the detected video signal data break before switching and the video signal after switching are detected. A delivery video switching method comprising: switching the output of video signal data to the output buffer at a data delimiter.
前記切替器による映像の切替え時に,前記切替え前の映像信号データの区切りを検出した時点で前記出力バッファへの切替え前の映像信号データの出力を停止し,その後に,前記検出手段により切替え後の映像信号データの区切りを検出した後の切替え後の映像信号データを前記出力バッファへ出力し,かつ前記切替え前の映像信号データの出力停止から前記切替え後の映像信号データの前記出力バッファへの出力の開始までの時間中に,あらかじめ用意された他の映像信号データを挿入する
ことを特徴とする配信映像切替え方法。 The delivery video switching method according to claim 3,
At the time of switching the video by the switch, the output of the video signal data before switching to the output buffer is stopped at the time when the separation of the video signal data before switching is detected, and then the switching by the detection means Outputs the video signal data after switching after detecting the delimiter of the video signal data to the output buffer, and outputs the video signal data after the switching to the output buffer from the stop of the output of the video signal data before the switching. A distribution video switching method characterized by inserting other video signal data prepared in advance during the time until the start of the video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007205016A JP4917497B2 (en) | 2007-08-07 | 2007-08-07 | Video distribution device, distribution video switching method, distribution video switching program, and distribution video switching program recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007205016A JP4917497B2 (en) | 2007-08-07 | 2007-08-07 | Video distribution device, distribution video switching method, distribution video switching program, and distribution video switching program recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009044287A true JP2009044287A (en) | 2009-02-26 |
JP4917497B2 JP4917497B2 (en) | 2012-04-18 |
Family
ID=40444579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007205016A Active JP4917497B2 (en) | 2007-08-07 | 2007-08-07 | Video distribution device, distribution video switching method, distribution video switching program, and distribution video switching program recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4917497B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259365A (en) * | 2010-06-11 | 2011-12-22 | Sony Corp | Camera system, video selection apparatus, and video selection method |
JP2013246664A (en) * | 2012-05-25 | 2013-12-09 | Ntt Communications Kk | Remote access device, input device, remote operation method, and program |
US9338483B2 (en) | 2010-06-11 | 2016-05-10 | Sony Corporation | Camera system, video selection apparatus and video selection method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331535A (en) * | 1995-06-05 | 1996-12-13 | Canon Inc | Inter-multi-point communication system |
JPH10322694A (en) * | 1997-05-21 | 1998-12-04 | Sony Corp | Stream switching device |
JPH1188855A (en) * | 1997-09-03 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Image transfer reproducing system |
JPH11187368A (en) * | 1997-12-19 | 1999-07-09 | Kyocera Corp | Multi-spot television conference controller |
JP2002176503A (en) * | 2000-12-08 | 2002-06-21 | Nec Corp | Multipoint videoconference controller, voice switching method, and recording medium with recorded program thereof |
JP2003298676A (en) * | 2002-03-29 | 2003-10-17 | Mitsubishi Electric Corp | Method for multimedia communication transfer, multimedia communication terminal, exchange, management device |
JP2004056819A (en) * | 2002-07-17 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Video data transmitting apparatus, video data transmitting-receiving system, and method thereof |
JP2006013583A (en) * | 2004-06-22 | 2006-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Coded stream relaying apparatus, and method and program thereof |
-
2007
- 2007-08-07 JP JP2007205016A patent/JP4917497B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08331535A (en) * | 1995-06-05 | 1996-12-13 | Canon Inc | Inter-multi-point communication system |
JPH10322694A (en) * | 1997-05-21 | 1998-12-04 | Sony Corp | Stream switching device |
JPH1188855A (en) * | 1997-09-03 | 1999-03-30 | Nippon Telegr & Teleph Corp <Ntt> | Image transfer reproducing system |
JPH11187368A (en) * | 1997-12-19 | 1999-07-09 | Kyocera Corp | Multi-spot television conference controller |
JP2002176503A (en) * | 2000-12-08 | 2002-06-21 | Nec Corp | Multipoint videoconference controller, voice switching method, and recording medium with recorded program thereof |
JP2003298676A (en) * | 2002-03-29 | 2003-10-17 | Mitsubishi Electric Corp | Method for multimedia communication transfer, multimedia communication terminal, exchange, management device |
JP2004056819A (en) * | 2002-07-17 | 2004-02-19 | Matsushita Electric Ind Co Ltd | Video data transmitting apparatus, video data transmitting-receiving system, and method thereof |
JP2006013583A (en) * | 2004-06-22 | 2006-01-12 | Nippon Telegr & Teleph Corp <Ntt> | Coded stream relaying apparatus, and method and program thereof |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011259365A (en) * | 2010-06-11 | 2011-12-22 | Sony Corp | Camera system, video selection apparatus, and video selection method |
US8810668B2 (en) | 2010-06-11 | 2014-08-19 | Sony Corporation | Camera system, video selection apparatus and video selection method |
US9338483B2 (en) | 2010-06-11 | 2016-05-10 | Sony Corporation | Camera system, video selection apparatus and video selection method |
US9641771B2 (en) | 2010-06-11 | 2017-05-02 | Sony Corporation | Camera system, video selection apparatus and video selection method |
JP2013246664A (en) * | 2012-05-25 | 2013-12-09 | Ntt Communications Kk | Remote access device, input device, remote operation method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4917497B2 (en) | 2012-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7257641B1 (en) | Multipoint processing unit | |
CN106941629B (en) | Real-time live broadcast method based on SIP + RTP and RTMP protocol intercommunication | |
US8385234B2 (en) | Media stream setup in a group communication system | |
JP2015080210A (en) | System and method for real-time adaptation of conferencing system to current conditions of conference session | |
CN108574820B (en) | Method and device for controlling repeater | |
TWI511542B (en) | Apparatus and method for switching real-time media streams | |
EP3065338B1 (en) | Control method, apparatus, server and terminal device of telepresence conference | |
US20090225153A1 (en) | Apparatus For Synthesizing Information, Apparatus For Controlling Information, And Computer Program Product | |
CN102469294A (en) | Method and system for dynamically regulating media contents of video conference | |
US9013537B2 (en) | Method, device, and network systems for controlling multiple auxiliary streams | |
EP1162806A2 (en) | Simultaneous viewing and/or listening to a plurality of transmitted multimedia streams through a centralized processing space | |
JP4917497B2 (en) | Video distribution device, distribution video switching method, distribution video switching program, and distribution video switching program recording medium | |
US9936164B2 (en) | Media control method and device | |
CN110392275B (en) | Sharing method and device for manuscript demonstration and video networking soft terminal | |
US20200195360A1 (en) | Video over IP based broadcast productions by combining a Broadcast Controller and a Processing Device | |
US10171557B2 (en) | Method and device for processing media streams between a plurality of media terminals and a processing unit all connected to one another over a communication network | |
TW201929551A (en) | Streaming system with backup mechanism and backup method thereof | |
JP2009284268A (en) | Multicast broadcasting system and receiver | |
US20120075408A1 (en) | Technique for providing in-built audio/video bridge on endpoints capable of video communication over ip | |
KR20180030143A (en) | Synchronizing Media Rendering in Heterogeneous Networking Environments | |
EP3089459A1 (en) | Apparatus and method for implementing video-on-demand quick switching among multiple screens | |
CN114546308B (en) | Method, device, equipment and storage medium for screen projection of application interface | |
US11824915B2 (en) | Method, computer program and system for streaming a video conference in a multi-point videoconferencing system | |
JP2010171663A (en) | Communication method, communication system, communication device, and computer program | |
JP5174381B2 (en) | NETWORK RELAY DEVICE, CONTENT REPRODUCTION DEVICE, NETWORK RELAY METHOD, CONTENT REPRODUCTION SYSTEM, PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM CONTAINING THE PROGRAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090715 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120104 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4917497 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |