JP2019029849A - Video distribution system, control method therefor, video data receiver, and program - Google Patents
Video distribution system, control method therefor, video data receiver, and program Download PDFInfo
- Publication number
- JP2019029849A JP2019029849A JP2017147968A JP2017147968A JP2019029849A JP 2019029849 A JP2019029849 A JP 2019029849A JP 2017147968 A JP2017147968 A JP 2017147968A JP 2017147968 A JP2017147968 A JP 2017147968A JP 2019029849 A JP2019029849 A JP 2019029849A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- video
- camera
- outputs
- distribution system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、複数のカメラを用いる映像配信システム、その制御方法、映像データ受信装置及びプログラムに関する。 The present invention relates to a video distribution system using a plurality of cameras, a control method thereof, a video data receiving apparatus, and a program.
近年、カメラから出力される映像データの高解像度化や高フレームレート化に伴うデータ量の増加のために、映像データの伝送手段が、従来のSDI伝送方式から映像信号をIPとして伝送するIP伝送方式へシフトしている。IP伝送方式は、複数のカメラから出力される映像データを配信し、例えば、競技場やコンサートホールのメインモニタやサブモニタへ映像を映し出す映像配信システムへ適用される。この映像配信システムでは、複数のカメラから出力される映像データをルーターよって受信し、ルーターが受信した各映像データをまとめてスイッチャー(以下、「SW」という。)に伝送する。SWは伝送された各映像データをメインモニタやサブモニタへ配信する。ここで、ルーターが処理可能な映像データの量には制限がある。例えば、各カメラから出力される映像データの量が高画質化によって大きくなれば、ルーティング処理や通信の負荷が増大し、パケットロスによって全ての映像データをSWへ伝送するのが困難となる。そこで、全てのカメラから高画質の映像データをルーターへ出力することを避けて、ルーターが処理する映像データの量を低減させ、パケットロス等を生じさせることなく、全ての映像データをSWへ伝送する技術が提案されている。この技術では、例えば、各カメラを、メインモニタへ配信される映像データを出力するカメラ(以下、「メインカメラ」という。)と、サブモニタへ配信され映像データを出力するカメラ(以下、「サブカメラ」という。)と、に区分けする。そして、メインカメラからの映像データの解像度を変更することなく、当該映像データを高画質に維持したまま、サブカメラからの映像データの解像度を低下させ、ルーターが処理する映像データの全体量を低減させる。 IP transmission in which video data transmission means transmits video signals as IP from the conventional SDI transmission system in order to increase the amount of data accompanying higher resolution and higher frame rate of video data output from cameras in recent years Shifted to the system. The IP transmission method is applied to a video distribution system that distributes video data output from a plurality of cameras and displays the video on a main monitor or a sub monitor of a stadium or a concert hall, for example. In this video distribution system, video data output from a plurality of cameras is received by a router, and each video data received by the router is collectively transmitted to a switcher (hereinafter referred to as “SW”). The SW distributes each transmitted video data to the main monitor and the sub monitor. Here, the amount of video data that can be processed by the router is limited. For example, if the amount of video data output from each camera increases due to higher image quality, the load of routing processing and communication increases, and it becomes difficult to transmit all video data to the SW due to packet loss. Therefore, avoiding outputting high-quality video data from all cameras to the router, reducing the amount of video data processed by the router, and transmitting all video data to the SW without causing packet loss etc. Techniques to do this have been proposed. In this technology, for example, each camera is a camera that outputs video data distributed to the main monitor (hereinafter referred to as “main camera”) and a camera that is distributed to the sub monitor and outputs video data (hereinafter referred to as “sub camera”). ").). And without changing the resolution of the video data from the main camera, the resolution of the video data from the sub camera is lowered while maintaining the high-quality video data, and the total amount of video data processed by the router is reduced. Let
ところで、映像配信システムでは映像切り替え操作に応じてメインモニタに映し出される映像(以下、「メイン映像」という。)が切り替えられる。このとき、メインカメラが新たなサブカメラに変更され、サブカメラのうちの1つが新たなメインカメラに変更される。メインカメラとサブカメラでは映像データの解像度が異なるため、映像切り替え操作が行われると、新たなメインカメラや新たなサブカメラでは映像データの解像度が変更される。解像度の変更には一定の時間を要するため、映像切り替え操作後、直ちにメインモニタへ新たなメインカメラから出力される映像データを配信すると、解像度が低い映像データの映像がメインモニタへ配信され、メイン映像の画質が低下することがある。これに対応して、新たなメインカメラから出力される映像データへ解像度が変わったことを示すフラグを付し、当該フラグに基づいてメインモニタへ配信される映像データを切り替える技術が提案されている(例えば、特許文献1参照。)。 By the way, in the video distribution system, the video (hereinafter referred to as “main video”) displayed on the main monitor is switched according to the video switching operation. At this time, the main camera is changed to a new sub camera, and one of the sub cameras is changed to a new main camera. Since the resolution of the video data is different between the main camera and the sub camera, when the video switching operation is performed, the resolution of the video data is changed in the new main camera and the new sub camera. Since changing the resolution takes a certain amount of time, if video data output from the new main camera is delivered to the main monitor immediately after the video switching operation, video with low resolution is delivered to the main monitor. The image quality of the video may be degraded. Correspondingly, a technique has been proposed in which a flag indicating that the resolution has been changed is added to video data output from a new main camera, and video data distributed to the main monitor is switched based on the flag. (For example, refer to Patent Document 1).
しかしながら、特許文献1の技術では、映像データへ解像度が変わったことを示すフラグが付された映像データの受信を待つ必要があることから、映像切り替え操作からメイン映像の切り替えまでに時間を要する。すなわち、映像の切り替えの大幅な遅延が生じる。一方で、切り替え遅延を避けるために、映像切り替え操作後、直ちにメインモニタへ新たなメインカメラから出力される映像データを配信すると、上述したように、メイン映像の画質が低下することがある。
However, in the technique of
本発明の目的は、表示装置へ映し出される映像の画質を低下させることなく、当該映像の切り替えの大幅な遅延が生じるのを防止することができる映像配信システム、その制御方法、映像データ受信装置及びプログラムを提供することにある。 An object of the present invention is to provide a video distribution system, a control method therefor, a video data receiving device, and a video distribution system capable of preventing a significant delay in switching the video without reducing the image quality of the video displayed on the display device. To provide a program.
上記目的を達成するために、本発明の映像配信システムは、複数の撮像装置と、各撮像装置が出力する映像データを受信する映像データ受信装置とを備え、前記映像データ受信装置は、受信した各前記映像データのうち一の前記映像データを所定の表示装置へ配信する映像配信システムであって、各前記撮像装置及び前記映像データ受信装置は二重化された伝送経路で接続され、各前記撮像装置は、前記二重化された伝送経路を介して前記映像データ受信装置へ、第1の解像度を有する第1の映像データ及び前記第1の解像度よりも低い第2の解像度を有する第2の映像データを出力し、若しくは、二重化された前記第1の映像データを出力し、前記映像データ受信装置は、各前記撮像装置に対応して設けられる複数の映像データ選択部を有し、各映像データ選択部は、対応する前記撮像装置が出力する前記第1の映像データ及び前記第2の映像データのいずれか1つ、若しくは、二重化された前記第1の映像データのいずれか1つを選択して受信し、前記所定の表示装置へ配信される映像データを出力する前記撮像装置が変更される場合、前記変更された撮像装置に対応する前記映像データ選択部は、前記第1の映像データを選択して受信することを特徴とする。 In order to achieve the above object, a video distribution system of the present invention includes a plurality of imaging devices and a video data receiving device that receives video data output from each imaging device, and the video data receiving device receives the video data receiving device. A video distribution system that distributes one of the video data to a predetermined display device, wherein each of the imaging devices and the video data receiving device are connected by a duplex transmission path, and each of the imaging devices Transmits the first video data having the first resolution and the second video data having the second resolution lower than the first resolution to the video data receiving device via the duplexed transmission path. The first video data that is output or duplicated is output, and the video data receiving device has a plurality of video data selection units provided corresponding to the respective imaging devices. Each of the video data selectors is any one of the first video data and the second video data output from the corresponding imaging device, or the duplexed first video data. When the imaging device that selects and receives the video data and outputs the video data distributed to the predetermined display device is changed, the video data selection unit corresponding to the changed imaging device includes: The video data is selected and received.
本発明によれば、表示装置へ映し出される映像の画質を低下させることなく、当該映像の切り替えの大幅な遅延が生じるのを防止することができる。 According to the present invention, it is possible to prevent a significant delay in switching the video image from occurring without reducing the image quality of the video image displayed on the display device.
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。まず、本発明の第1の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the configuration described in each embodiment below is merely an example, and the scope of the present invention is not limited by the configuration described in each embodiment. First, a first embodiment of the present invention will be described.
図1は、本発明の第1の実施の形態に係る映像配信システムの構成を説明するための図である。図2は、図1における各カメラの構成を概略的に示すブロック図である。図1において、映像配信システム100は、複数のカメラ101〜103(撮像装置)と、ルーター104(映像データ受信装置)と、SW105と、ネットワークマネージャー106とを備える。各カメラ101〜103は、それぞれ異なるアングルの動画を撮影する。各カメラ101〜103はパケット転送機能を有し、撮影された映像信号をネットワーク伝送に適したフォーマットの映像データにエンコードしてパケット化する。また、各カメラ101〜103は、パケット化された映像データを、イーサネット(登録商標)等の伝送経路を介してルーター104へ出力する。このとき、各カメラ101〜103は互いに同期し、同じ時間に撮影された画像の映像データを同じタイミングで出力する。各カメラ101〜103は、映像データの伝送の信頼性確保のために、二重化された伝送経路109(図中に「path1」、「path2」で示す。)によってルーター104と接続される。二重化された伝送経路109の規格は、例えば、SMPTE ST2022-7によって定められる。
FIG. 1 is a diagram for explaining the configuration of a video distribution system according to the first embodiment of the present invention. FIG. 2 is a block diagram schematically showing the configuration of each camera in FIG. In FIG. 1, the
ルーター104は各カメラ101〜103から出力された映像データを受信し、SW105へ受信した映像データをSW105へ伝送する。SW105は伝送された各映像データをメインモニタである表示装置107(所定の表示装置)やサブモニタである各表示装置108へ配信する。本実施の形態では、まず、カメラ101がメインカメラとして設定され、カメラ102,103がサブカメラとして設定される場合について説明するため、SW105はカメラ101から出力された映像データを表示装置107へ配信する。また、SW105はカメラ102,103から出力された映像データを各表示装置108へ配信する。なお、各表示装置108は映像確認用のモニタとして用いられる。ネットワークマネージャー106は各カメラ101〜103とルーター104を接続する伝送経路109や、ルーター104とSW105を接続する伝送経路110を管理する。また、ネットワークマネージャー106は、伝送経路109,110によって伝送される映像データを管理する。
The
図2に示すように、カメラ101は、撮像素子200、映像処理部201、エンコーダー202及びCPU203を有する。CPU203はネットワークマネージャー106から送信された制御信号に基づいて映像処理部201やエンコーダー202の動作を制御する。なお、カメラ102,103もカメラ101と同様の構成を有するため、カメラ102,103の構成の説明は省略する。撮像素子200はレンズ等を通して受光した被写体の画像を映像信号に変換して映像処理部201へ出力する。映像処理部201は入力された映像信号に現像処理やリサイズ処理を施し、これらの処理が施された映像信号を映像データとしてエンコーダー202へ出力する。このとき、映像処理部201は、比較的高い解像度(第1の解像度)の映像データ、例えば、8Kの映像データ(第1の映像データ)と、比較的低い解像度(第2の解像度)の映像データ、例えば、2Kの映像データ(第2の映像データ)とを出力する。エンコーダー202は映像処理部201から入力された2つの映像データを、ネットワークマネージャー106から送信された制御信号に基づいてネットワーク伝送に適したフォーマットにエンコードし、パケット化する。また、エンコーダー202は、二重化された伝送経路109に対応して2つの映像データを出力する。カメラ101の映像処理部201は、CPU203から送信された制御信号に基づいて、8Kの映像データを二重化して伝送経路109を介してルーター104へ出力する。このとき、伝送経路109のpath1及びpath2ではいずれも8Kの映像データが伝送される。一方、カメラ102,103の映像処理部201は、CPU203から送信された制御信号に基づいて、8Kの映像データ及び2Kの映像データを伝送経路109を介してルーター104へ出力する。このとき、伝送経路109のpath1では2Kの映像データが伝送され、path2では8Kの映像データが伝送される。
As illustrated in FIG. 2, the
ルーター104には、各カメラ101〜103に対応してスイッチャー(以下、「SW」という。)111〜113(映像データ選択部)が設けられる。SW111はカメラ101のエンコーダー202から出力された二重化された8Kの映像データのいずれか1つを選択して受信する。また、SW112はカメラ102のエンコーダー202から出力された8Kの映像データ及び2Kの映像データのいずれか1つを選択して受信する。さらに、SW113はカメラ103のエンコーダー202から出力された8Kの映像データ及び2Kの映像データのいずれか1つを選択して受信する。いずれのSW111〜113もネットワークマネージャー106から送信された制御信号に基づいて受信する映像データを選択する。具体的に、メインカメラであるカメラ101が出力する映像データを受信するSW111は、8Kの映像データを選択して受信する。サブカメラであるカメラ102,103が出力する映像データを受信するSW112,113のそれぞれは、2Kの映像データを選択して受信する。ルーター104は各SW111〜113が受信した映像データを伝送経路110を介してSW105へ伝送する。上述したように、SW111は8Kの映像データを受信するものの、SW112,113は2Kの映像データを受信する。すなわち、ルーター104は全てのカメラ101〜103からデータ量が大きい8Kの映像データを受信することがない。これにより、ルーター104やSW105が処理する映像データの全体量を低減し、ルーティング処理や通信の負担を軽減することができる。
The
ところで、図3に示すように、従来の映像配信システム300では、ルーター301がSW111〜113に相当する構成を備えず、各カメラ101〜103とルーター301が一重の伝送経路302によって接続される。これに対応して、各カメラ101〜103は、1つの映像データのみをルーター301へ出力する。なお、映像配信システム300のその他の構成は、映像配信システム100の構成と同じであるため、それらの説明を省略する。ここで、従来の映像配信システム300でも、ルーター301やSW105が処理する映像データの全体量を低減するために、ルーター301は全てのカメラ101〜103からデータ量が大きい8Kの映像データを受信することがない。具体的には、メインカメラであるカメラ101が8Kの映像データのみを出力し、サブカメラであるカメラ102,103が2Kの映像データのみを出力する。この従来の映像配信システム300において、メインモニタである表示装置107に映し出されるメイン映像を変更する場合、ユーザによる映像切り替え操作が行われ、メイン映像を出力するカメラがカメラ101から、例えば、カメラ102へ変更される。変更されたカメラ102はメインカメラとなるが、メイン映像の画質を低下させないために、出力する映像データの解像度を向上させる。具体的に、カメラ102は出力する映像データを2Kの映像データから8Kの映像データへ切り替える。
Incidentally, as shown in FIG. 3, in the conventional
従来の映像配信システム300では、図4のタイミングチャートに示すように、カメラ101やカメラ102は、例えば、ネットワークマネージャー106が出力する同期信号に応じて同じタイミングで映像データを出力する。なお、理解を容易にするために、カメラ101が出力する映像データを白抜きで示し、カメラ102が出力する映像データにはハッチングを附す。また、各カメラ101,102、ルーター301やSW105の間における映像データの伝送は実線の矢印で示される。ここで、同期信号「n」のタイミングで映像切り替え操作が行われると、ネットワークマネージャー106が送信する各カメラ101,102の選択信号は、ネットワークマネージャー106から各カメラ101,102までの伝送距離に起因して遅れて届く。ここでは、選択信号が1フレーム分ほど遅れ、同期信号「n+1」のタイミングでカメラ101やカメラ102に届く。選択信号の遅れの様子は図中の破線の矢印で示される。その後、選択信号を受信したカメラ102は出力する映像データを2Kの映像データから8Kの映像データへ切り替える。この解像度の変更には時間を要し、例えば、カメラ102は、同期信号「n+2」のタイミングになってから初めて8Kの映像データ(8Kn+2)を出力する。また、選択信号を受信したカメラ101は出力する映像データを8Kの映像データから2Kの映像データへ切り替える。この解像度の変更にも時間を要し、例えば、カメラ101は、同期信号「n+2」のタイミングになってから初めて2Kの映像データ(2Kn+2)を出力する。次いで、カメラ102から出力された8Kの映像データ(8Kn+2)は伝送経路302による伝送に起因してルーター301へ遅れて届く。ここでは、8Kの映像データ(8Kn+2)が1フレーム分ほど遅れ、同期信号「n+3」のタイミングでルーター301に届く。8Kの映像データ(8Kn+2)の遅れの様子は図中の矢印Aで示される。さらに、ルーター301が受信した8Kの映像データ(8Kn+2)(受信データ)はルーター301での処理に起因してSW105へ遅れて届く。ここでは、8Kの受信データ(8Kn+2)が1フレーム分ほど遅れ、同期信号「n+4」のタイミングでSW105へ届き、メインモニタである表示装置107へ配信データとして配信される。8Kの受信データ(8Kn+2)の遅れの様子は図中の矢印Bで示される。すなわち、従来の映像配信システム300では、同期信号「n」のタイミングで映像切り替え操作が行われてから4フレーム分の時間が経過して初めてメインモニタである表示装置107に映し出されるメイン映像が変更される。換言すれば、メイン映像の切り替えの大幅な遅延が生じる。なお、メイン映像を出力するカメラがカメラ101からカメラ103へ変更される場合も、同様に、メイン映像の切り替えの大幅な遅延が生じる。本実施の形態では、これに対応して、各カメラ101〜103が常時、少なくとも1つの8Kの映像データをルーター104へ出力する。
In the conventional
図5は、本実施の形態に係る映像配信システムの制御方法としての映像データ選択処理を示すフローチャートである。図5の映像データ選択処理は、例えば、ネットワークマネージャー106が有するCPUが所定のプログラムに従って実行する。まず、メインカメラであるカメラ101は8Kの映像データを二重化して伝送経路109を介してルーター104へ伝送する(ステップS501)。また、サブカメラであるカメラ102,103は8Kの映像データ及び2Kの映像データを伝送経路109を介してルーター104へ伝送する(ステップS502)。その後、SW111は、二重化された8Kの映像データからいずれかの8Kの映像データを選択して受信する。SW112,113のそれぞれは、8Kの映像データ及び2Kの映像データから2Kの映像データを選択して受信する(ステップS503)。次いで、映像切り替え操作が行われてメイン映像を出力するカメラ(メインカメラ)が、例えば、カメラ102へ変更されたか否かを判別する(ステップS504)。メインカメラがカメラ102へ変更されていない場合、ステップS501に戻る。メインカメラがカメラ102へ変更された場合、カメラ102に対応するSW112は、選択して受信する映像データを2Kの映像データから8Kの映像データへ変更する(ステップS505)。その後、変更後のメインカメラであるカメラ102は2Kの映像データの出力を中止し、8Kの映像データを二重化して出力する(ステップS506)。また、メインカメラであったカメラ101は映像切り替え操作に応じてサブカメラに変更され、変更後のサブカメラとして、二重化された8Kの映像データの一方の出力を中止し、8Kの映像データ及び2Kの映像データを出力する(ステップS507)。その後、ステップS501へ戻る。なお、ステップS504においてメインカメラがカメラ103へ変更される場合も、図5の処理と同様の処理を実行する。
FIG. 5 is a flowchart showing video data selection processing as a control method of the video distribution system according to the present embodiment. The video data selection process in FIG. 5 is executed by a CPU included in the
ここで、図5の映像データ選択処理で生じる表示装置107のメイン映像の切り替えの遅延について説明する。図6は、図5の映像データ選択処理を補足的に説明するためのタイミングチャートである。映像配信システム100でも、カメラ101やカメラ102は、例えば、ネットワークマネージャー106が出力する同期信号に応じて同じタイミングで映像データを出力する。ここでも、理解を容易にするために、カメラ101が出力する映像データを白抜きで示し、カメラ102が出力する映像データにはハッチングを附す。また、各カメラ101,102、ルーター104やSW105の間における映像データの伝送は実線の矢印で示される。ここで、同期信号「n」のタイミングで映像切り替え操作が行われると、ネットワークマネージャー106が映像切り替えを示す選択信号を各カメラ101,102だけでなくルーター104の各SW111,112へ送信する。各カメラ101,102へ送信される選択信号は、ネットワークマネージャー106から各カメラ101,102までの伝送距離に起因して遅れて届く。ここでも、選択信号が1フレーム分ほど遅れ、同期信号「n+1」のタイミングでカメラ101やカメラ102に届く。選択信号の遅れの様子は図中の破線の矢印で示される。一方、各SW111,112へ送信される選択信号は、ネットワークマネージャー106とルーター104が離れて配置されることがないため、遅れずに同期信号「n+1」のタイミングで各SW111,112へ届く。各SW111,112への選択信号の伝達の様子は図中の細線の矢印で示される。
Here, a delay in switching the main video of the
その後、選択信号を受信したSW112は、選択して受信する映像データを2Kの映像データから8Kの映像データへ変更する。この選択して受信する映像データ(以下、「受信データ」という。)の変更には時間を要し、例えば、カメラ102は、同期信号「n+1」のタイミングになってから初めて8Kの映像データ(8Kn)を選択する。このときのカメラ102による選択信号の変更は、図中において、矢印Cから矢印Dへの遷移で表される。
After that, the
また、選択信号を受信したカメラ102は2Kの映像データの出力を中止し、8Kの映像データを二重化して出力する。この解像度の変更にも時間を要し、例えば、カメラ102は、同期信号「n+2」のタイミングになってから初めて二重化された8Kの映像データ(2Kn+2)を出力する。次いで、カメラ102から出力された、二重化された8Kの映像データ(2Kn+2)は伝送経路109による伝送に起因してルーター104へ遅れて届く。ここでは、二重化された8Kの映像データ(8Kn+2)が1フレーム分ほど遅れ、同期信号「n+3」のタイミングでルーター104に届く。8Kの映像データ(8Kn+2)の遅れの様子は図中の矢印Eで示される。さらに、選択信号を受信したカメラ101は二重化された8Kの映像データの一方の出力を中止し、8Kの映像データ及び2Kの映像データを出力する。この解像度の変更にも時間を要し、例えば、カメラ101は、同期信号「n+2」のタイミングになってから初めて2Kの映像データ(2Kn+2)を出力する。次いで、カメラ101から出力された、2Kの映像データ(2Kn+2)及び8Kの映像データ(8Kn+2)は伝送経路109による伝送に起因してルーター104へ遅れて届く。ここでは、2Kの映像データ(2Kn+2)及び8Kの映像データ(8Kn+2)が1フレーム分ほど遅れ、同期信号「n+3」のタイミングでルーター104に届く。2Kの映像データ(2Kn+2)の遅れの様子は図中の矢印Fで示される。また、上記選択信号を受信したSW111は、2Kの映像データ(2Kn+2)の受信を待って、選択して受信する映像データを8Kの映像データから2Kの映像データへ変更する。すなわち、SW111は、同期信号「n+3」のタイミングで2Kの映像データ(2Kn+2)を選択して受信する。
In addition, the
次いで、同期信号「n+1」のタイミングで8Kの映像データ(8Kn)を選択して受信したSW112は、受信した8Kの映像データ(8Kn)(受信データ)をSW105へ伝送する。このとき、8Kの受信データ(8Kn)はルーター104での処理に起因してSW105へ遅れて届く。ここでは、8Kの受信データ(8Kn)が1フレーム分ほど遅れ、同期信号「n+2」のタイミングでSW105へ届き、メインモニタである表示装置107へ配信データとして配信される。8Kの受信データ(8Kn)の遅れの様子は図中の矢印Gで示される。また、同期信号「n+3」のタイミングで2Kの映像データ(2Kn+2)を選択して受信したSW111は、受信した2Kの映像データ(2Kn+2)(受信データ)をSW105へ伝送する。さらに、SW105は2Kの映像データ(2Kn+2)を表示装置108へ配信する。
Next, the
すなわち、映像配信システム100では、同期信号「n」のタイミングで映像切り替え操作が行われてから2フレーム分の時間が経過してメインモニタである表示装置107に映し出されるメイン映像が変更される。換言すれば、従来の映像配信システム300におけるメイン映像の切り替えの遅延は4フレーム分であったが、映像配信システム100におけるメイン映像の切り替えの遅延は2フレーム分で済むため、メイン映像の切り替えの大幅な遅延を防止することができる。
In other words, in the
本実施の形態によれば、各カメラ101,102は、二重化された伝送経路109を介してルーター104へ、8Kの映像データ及び2Kの映像データを出力し、若しくは、二重化された8Kの映像データを出力する。これにより、メインカメラがカメラ102へ変更された場合、変更後のメインカメラであるカメラ102が出力する映像データが2Kの映像データから8Kの映像データへ切り替わるのを待つことなく、ルーター104は8Kの映像データを選択することができる。これにより、メイン映像の切り替えの大幅な遅延が生じるのを防止することができる。また、メインカメラがカメラ102へ変更された場合でも、ルーター104はSW105を介して8Kの映像データを表示装置107へ配信する。したがって、メイン映像の切り替えの前後においてメイン映像の解像度を8Kに維持することができ、もって、メイン映像の画質が低下するのを防止することができる。
According to the present embodiment, each
また、本実施の形態では、メインカメラがカメラ102へ変更された場合、変更後のサブカメラであるカメラ101に対応するSW111は、カメラ101からの2Kの映像データの出力を待って、2Kの映像データを選択して受信する。これにより、ルーター104が処理する各映像データの全容量を低減することができ、もって、処理不全によってルーター104が一部の映像データを配信されなくなるのを防止することができる。
In this embodiment, when the main camera is changed to the
さらに、本実施の形態では、変更前のメインカメラであるカメラ101や変更後のメインカメラであるカメラ102は、二重化された伝送経路109を介して二重化された8Kの映像データをルーター104へ伝送する。これにより、伝送経路109の1つに支障が生じて映像データの伝送が不可能になっても、残りの伝送経路109によって8Kの映像データの伝送を継続することができる。その結果、表示装置107へ配信される映像データの解像度が低下するのを確実に防止することができる。
Furthermore, in this embodiment, the
なお、本実施の形態において、各カメラ101,102は選択信号の受信に応じて出力する映像データの解像度を変更したが、各カメラ101,102は、必ずしも、選択信号を受信しても出力する映像データの解像度を変更しなくてもよい。例えば、選択信号を受信したカメラ101は二重化された8Kの映像データの一方の出力を中止することなく、二重化された8Kの映像データの出力を継続してもよい。また、選択信号を受信したカメラ102は2Kの映像データの出力を中止することなく、8Kの映像データ及び2Kの映像データの出力を継続してもよい。この場合であっても、同期信号「n+1」のタイミングにおいて、SW112には8Kの映像データ(8Kn)が伝送されているため、選択信号を受信したSW112は、同期信号「n+1」のタイミングで8Kの映像データ(8Kn)を選択することができる。すなわち、メイン映像の切り替えの大幅な遅延を防止することができる。また、本実施の形態では、高画質の画像の解像度を8Kとし、低画質の画像の解像度を2Kとしたが、いずれの画像の解像度も8Kや2Kに限れず、少なくとも、高画質の画像の解像度が低画質の画像の解像度よりも高ければよい。
In this embodiment, each
次に、本発明の第2の実施の形態について説明する。第2の実施の形態は、その構成、作用が上述した第1の実施の形態と基本的に同じであるので、重複した構成、作用については説明を省略し、以下に異なる構成、作用についての説明を行う。第2の実施の形態は、カメラから出力される映像データが所定の品質を満たさない場合、当該カメラから2つの映像データを出力しない点で第1の実施の形態と異なる。 Next, a second embodiment of the present invention will be described. Since the configuration and operation of the second embodiment are basically the same as those of the first embodiment described above, the description of the overlapping configuration and operation will be omitted, and different configurations and operations will be described below. Give an explanation. The second embodiment is different from the first embodiment in that when video data output from a camera does not satisfy a predetermined quality, two video data are not output from the camera.
図7は、本発明の第2の実施の形態における各カメラが備える映像処理部の内部構成を概略的に示すブロック図である。本実施の形態において、各カメラ101〜103は、上述した映像処理部201の代わりに、図7に示す、映像処理部700を有する。映像処理部700も撮像素子200から入力された映像信号に現像処理やリサイズ処理を施し、これらの処理が施された映像信号を映像データとしてエンコーダー202へ出力する。本実施の形態では、撮像素子200から映像処理部700へ8Kの映像信号が入力される。映像処理部700は、現像処理部701、映像分配器702、映像解析部703及びリサイズ処理部704を有する。現像処理部701は入力された8Kの映像信号を現像して8Kの映像データを生成し、該8Kの映像データを映像分配器702や映像解析部703へ出力する。映像解析部703は8Kの映像データに基づいて被写体の輝度レベルや合焦精度を解析し、解析結果として8Kの映像データが所定の品質を満たすか否かを示す判定信号を映像分配器702に出力する。映像分配器702は、入力された8Kの映像データをリサイズ処理部704へ出力する一方、入力された8Kの映像データをそのままエンコーダー202へ出力するか否かを映像解析部703から入力された判定信号に基づいて判定する。具体的には、判定信号が8Kの映像データが所定の品質を満たさない場合、映像分配器702は8Kの映像データをエンコーダー202へ出力しない。また、判定信号が8Kの映像データが所定の品質を満たす場合、映像分配器702は8Kの映像データをそのままエンコーダー202へ出力する。リサイズ処理部704は入力された8Kの映像データを解像度の低い映像データ、例えば、2Kの映像データに変換してエンコーダー202へ出力する。
FIG. 7 is a block diagram schematically showing an internal configuration of a video processing unit included in each camera according to the second embodiment of the present invention. In the present embodiment, each of the
図8は、図7の映像処理部が実行する映像データ解析処理を示すフローチャートである。図8の処理は、例えば、映像処理部700のCPU203が所定のプログラムに従って実行する。まず、8Kの映像データに基づいて被写体の輝度レベルを解析し(ステップS801)、被写体の輝度レベルが所定値α以上であるか否かを判別する(ステップS802)。被写体の輝度レベルが所定値α以上であった場合、被写体の画像が白飛びを起こしていて所定の品質を満たしていないと判別し、ステップS808へ進む。被写体の輝度レベルが所定値α未満であった場合、8Kの映像データに基づいて被写体の合焦精度を解析し(ステップS803)、被写体の合焦精度が所定値β以下であるか否かを判別する(ステップS804)。被写体の合焦精度が所定値β以下であった場合、被写体の画像がボケていて所定の品質を満たしていないと判別し、ステップS808へ進む。被写体の合焦精度が所定値βより大きい場合、映像分配器702は、入力された8Kの映像データをそのままエンコーダー202へ送信する。さらに、映像分配器702は、入力された8Kの映像データをリサイズ処理部704に出力することにより、2Kの映像データの伝送経路及び8Kの映像データの伝送経路(図7中のpath1, path2)へ映像データを供給する(ステップS805)。次いで、リサイズ処理部704はリサイズ処理を実行し(ステップS806)、入力された8Kの映像データを2Kの映像データに変換してエンコーダー202へ送信する。その結果、映像処理部700は8Kの映像データ及び2Kの映像データをエンコーダー202へ送信する(ステップS807)。その後、本処理を終了する。
FIG. 8 is a flowchart showing video data analysis processing executed by the video processing unit of FIG. The processing in FIG. 8 is executed by the
ステップS808において、映像分配器702は、入力された8Kの映像データをエンコーダー202へ送信することなく、リサイズ処理部704にのみ出力することにより、2Kの映像データの伝送経路(図7中のpath1)のみへ映像データを供給する。次いで、リサイズ処理部704はリサイズ処理を実行し(ステップS809)、入力された8Kの映像データを2Kの映像データに変換してエンコーダー202へ送信する。その結果、映像処理部700は2Kの映像データのみをエンコーダー202へ送信する(ステップS810)。その後、本処理を終了する。
In step S808, the
本実施の形態によれば、映像処理部700の映像解析部703は8Kの映像データを解析し、8Kの映像データが所定の品質を満たさない場合、2Kの映像データのみをエンコーダー202へ送信する。これにより、所定の品質を満たさない8Kの映像データ、すなわち、メイン映像として用いることができない映像データがルーター104へ伝送されるのを防止する。その結果、ルーター104やSW105において、メイン映像として用いることができない映像データの処理のために不必要な電力を消費するのを防止することができる。また、ルーター104やSW105の処理の負担を軽減することができる。
According to the present embodiment, the
以上、本発明の好ましい各実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。さらに、本発明は、各実施の形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made within the scope of the gist. Further, the present invention supplies a program that realizes one or more functions of each embodiment to a system or apparatus via a network or a storage medium, and one or more processors of a computer of the system or apparatus execute the program. It can also be realized by processing to read and execute. The present invention can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100 映像配信システム
101〜103 カメラ
104 ルーター
107 表示装置
109 伝送経路
111〜113 SW
700 映像処理部
703 映像解析部
100 Video distribution system 101-103
700
Claims (8)
各前記撮像装置及び前記映像データ受信装置は二重化された伝送経路で接続され、
各前記撮像装置は、前記二重化された伝送経路を介して前記映像データ受信装置へ、第1の解像度を有する第1の映像データ及び前記第1の解像度よりも低い第2の解像度を有する第2の映像データを出力し、若しくは、二重化された前記第1の映像データを出力し、
前記映像データ受信装置は、各前記撮像装置に対応して設けられる複数の映像データ選択部を有し、各映像データ選択部は、対応する前記撮像装置が出力する前記第1の映像データ及び前記第2の映像データのいずれか1つ、若しくは、二重化された前記第1の映像データのいずれか1つを選択して受信し、
前記所定の表示装置へ配信される映像データを出力する前記撮像装置が変更される場合、前記変更された撮像装置に対応する前記映像データ選択部は、前記第1の映像データを選択して受信することを特徴とする映像配信システム。 A plurality of imaging devices; and a video data receiving device that receives video data output from each imaging device, wherein the video data receiving device displays one of the received video data as a predetermined display device. A video distribution system that distributes to
Each of the imaging device and the video data receiving device are connected by a duplex transmission path,
Each of the imaging devices sends a first video data having a first resolution and a second resolution lower than the first resolution to the video data receiving device via the duplexed transmission path. The video data or the duplexed first video data,
The video data receiving device includes a plurality of video data selection units provided corresponding to the imaging devices, and each video data selection unit includes the first video data output by the corresponding imaging device and the video data selection unit. Select and receive any one of the second video data or any one of the duplicated first video data,
When the imaging device that outputs the video data distributed to the predetermined display device is changed, the video data selection unit corresponding to the changed imaging device selects and receives the first video data. A video distribution system characterized by:
各前記撮像装置に対応して設けられる複数の映像データ選択部を備え、
各前記撮像装置と二重化された伝送経路で接続され、
前記二重化された伝送経路を介して、各前記撮像装置から出力される、第1の解像度を有する第1の映像データ及び前記第1の解像度よりも低い第2の解像度を有する第2の映像データを受信し、若しくは、二重化された前記第1の映像データを受信し、
各映像データ選択部は、対応する前記撮像装置から出力される、前記第1の映像データ及び前記第2の映像データのいずれか1つ、若しくは、二重化された前記第1の映像データのいずれか1つを選択して受信し、
前記所定の表示装置へ配信される映像データを出力する前記撮像装置が変更される場合、前記変更された撮像装置に対応する前記映像データ選択部は、前記第1の映像データを選択して受信することを特徴とする映像データ受信装置。 A video data receiving device that receives video data output from a plurality of imaging devices and distributes one of the received video data to a predetermined display device,
A plurality of video data selection units provided corresponding to each of the imaging devices,
Connected to each imaging device by a duplex transmission path,
First video data having a first resolution and second video data having a second resolution lower than the first resolution output from each of the imaging devices via the duplexed transmission path. Or receiving the duplexed first video data,
Each video data selection unit is either one of the first video data and the second video data output from the corresponding imaging device, or one of the duplicated first video data. Select one to receive,
When the imaging device that outputs the video data distributed to the predetermined display device is changed, the video data selection unit corresponding to the changed imaging device selects and receives the first video data. A video data receiving apparatus.
各前記撮像装置が、前記二重化された伝送経路を介して第1の解像度を有する第1の映像データ及び前記第1の解像度よりも低い第2の解像度を有する第2の映像データを出力し、若しくは、二重化された前記第1の映像データを出力するステップと、
各映像データ選択部が、対応する前記撮像装置から出力される、前記第1の映像データ及び前記第2の映像データのいずれか1つ、若しくは、二重化された前記第1の映像データのいずれか1つを選択して受信するステップと、を有し
前記所定の表示装置へ配信される映像データを出力する前記撮像装置が変更される場合、前記変更された撮像装置に対応する前記映像データ選択部は、前記第1の映像データを選択して受信することを特徴とする映像配信システムの制御方法。 A plurality of imaging devices; and a video data receiving device that receives video data output from each imaging device, wherein one of the video data received by the video data receiving device is sent to a predetermined display device The video distribution system includes a plurality of video data selection units, each of which is connected to each other by a duplex transmission path, and the video data receiving device is provided corresponding to each of the imaging devices. Control method,
Each of the imaging devices outputs first video data having a first resolution and second video data having a second resolution lower than the first resolution via the duplexed transmission path, Or outputting the duplicated first video data;
Either one of the first video data and the second video data, or the duplexed first video data output from each corresponding video data selection unit. Selecting and receiving one, and when the imaging device that outputs video data distributed to the predetermined display device is changed, the video data selection corresponding to the changed imaging device The control unit of the video distribution system, wherein the unit selects and receives the first video data.
前記映像配信システムの制御方法は、
各前記撮像装置が、前記二重化された伝送経路を介して第1の解像度を有する第1の映像データ及び前記第1の解像度よりも低い第2の解像度を有する第2の映像データを出力し、若しくは、二重化された前記第1の映像データを出力するステップと、
各映像データ選択部が、対応する前記撮像装置から出力される、前記第1の映像データ及び前記第2の映像データのいずれか1つ、若しくは、二重化された前記第1の映像データのいずれか1つを選択して受信するステップと、を有し
前記所定の表示装置へ配信される映像データを出力する前記撮像装置が変更される場合、前記変更された撮像装置に対応する前記映像データ選択部は、前記第1の映像データを選択して受信することを特徴とするプログラム。
A plurality of imaging devices; and a video data receiving device that receives video data output from each imaging device, wherein one of the video data received by the video data receiving device is sent to a predetermined display device The video distribution system includes a plurality of video data selection units, each of which is connected to each other by a duplex transmission path, and the video data receiving device is provided corresponding to each of the imaging devices. A program for causing a computer to execute the control method of
The control method of the video distribution system is:
Each of the imaging devices outputs first video data having a first resolution and second video data having a second resolution lower than the first resolution via the duplexed transmission path, Or outputting the duplicated first video data;
Either one of the first video data and the second video data, or the duplexed first video data output from each corresponding video data selection unit. Selecting and receiving one, and when the imaging device that outputs video data distributed to the predetermined display device is changed, the video data selection corresponding to the changed imaging device The program selects and receives the first video data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147968A JP2019029849A (en) | 2017-07-31 | 2017-07-31 | Video distribution system, control method therefor, video data receiver, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017147968A JP2019029849A (en) | 2017-07-31 | 2017-07-31 | Video distribution system, control method therefor, video data receiver, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019029849A true JP2019029849A (en) | 2019-02-21 |
Family
ID=65478811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017147968A Pending JP2019029849A (en) | 2017-07-31 | 2017-07-31 | Video distribution system, control method therefor, video data receiver, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019029849A (en) |
-
2017
- 2017-07-31 JP JP2017147968A patent/JP2019029849A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10856029B2 (en) | Providing low and high quality streams | |
US9462195B2 (en) | System and method for distributed video and or audio production | |
WO2019120638A1 (en) | Scalable fov+ for vr 360 video delivery to remote end users | |
KR20230053711A (en) | Frame synchronization in a dual-aperture camera system | |
CN106210863B (en) | System and method for smooth transition between compressed video streams | |
US9179095B2 (en) | Scalable multi-videoconferencing system | |
US20160105709A1 (en) | Signal processing device, signal processing method, computer program, and image transmission system | |
CN111345043B (en) | Multi-device media exchange | |
JP2014096746A (en) | Image processor and image processing method | |
JP6334644B2 (en) | Method and apparatus for superior streaming of immersive content | |
JP2019029849A (en) | Video distribution system, control method therefor, video data receiver, and program | |
US9363574B1 (en) | Video throttling based on individual client delay | |
EP3596930A1 (en) | Video over ip based broadcast productions by combining a broadcast controller and a processing device | |
JP6878213B2 (en) | Video transmission system and its control method and program | |
JP2020145559A (en) | Information processor, information processing method, and program | |
US11622161B2 (en) | Method for operating a distributed video production system and architecture of a distributed video production system | |
WO2022269723A1 (en) | Communication system that performs synchronous control, synchronous control method therefor, reception server, and synchronous control program | |
KR101009356B1 (en) | A multi encoder for broadcasting | |
JP2017212544A (en) | Controller, control method and program | |
JP2010091845A (en) | Image display device | |
JP2021093693A (en) | Imaging apparatus, information processing apparatus, method for controlling these, and program | |
JP2021078019A (en) | Image generation system, transmission device, transmission method, and program | |
JP2018046409A (en) | Image receiver, image transmission equipment, imaging apparatus and system | |
CN117544803A (en) | Hierarchical diversion method, device and equipment | |
JP2022155062A (en) | Communication device, control method, and program |