JP2020042125A - Real-time editing system - Google Patents

Real-time editing system Download PDF

Info

Publication number
JP2020042125A
JP2020042125A JP2018168530A JP2018168530A JP2020042125A JP 2020042125 A JP2020042125 A JP 2020042125A JP 2018168530 A JP2018168530 A JP 2018168530A JP 2018168530 A JP2018168530 A JP 2018168530A JP 2020042125 A JP2020042125 A JP 2020042125A
Authority
JP
Japan
Prior art keywords
divided
video
synthesizing
board
sdi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018168530A
Other languages
Japanese (ja)
Other versions
JP7184248B2 (en
Inventor
小出　大一
Daiichi Koide
大一 小出
瀧口　吉郎
Yoshiro Takiguchi
吉郎 瀧口
智晃 吉田
Chiko Yoshida
智晃 吉田
輝幸 村田
Teruyuki Murata
輝幸 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAKURA EIKI KK
Japan Broadcasting Corp
Original Assignee
SAKURA EIKI KK
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAKURA EIKI KK, Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical SAKURA EIKI KK
Priority to JP2018168530A priority Critical patent/JP7184248B2/en
Publication of JP2020042125A publication Critical patent/JP2020042125A/en
Application granted granted Critical
Publication of JP7184248B2 publication Critical patent/JP7184248B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To provide a real-time editing system which is less susceptible to bus bandwidth restrictions and offers superior scalability.SOLUTION: A real-time editing system 1 is provided, comprising: a plurality of merging devices 20 preassigned with divided areas obtained by dividing an ultra-high-resolution source video and configured to decode and merge divided source videos, or source videos of the divided areas; a control device 10 for controlling the merging devices 20; and a storage device 30 for storing compressed divided source videos.SELECTED DRAWING: Figure 1

Description

本発明は、超高解像度映像のリアルタイム編集システムに関する。   The present invention relates to a real-time editing system for ultra-high resolution video.

近年、８Ｋ６０Ｐのように映像の超高解像度化・高フレームレート化が進んでおり、その超高解像度映像をリアルタイムで編集できるリアルタイム編集システムが提案されている（例えば、特許文献１参照）。特許文献１に記載されたリアルタイム編集システムは、レンダリングジョブを生成する制御装置と、圧縮素材映像をデコードするデコード装置と、デコードされた素材映像を合成する合成装置とを備えるものである。そして、従来のリアルタイム編集システムでは、１台の合成装置及び２台のデコード装置からなる処理系統を４系統構成し、それぞれの処理系統で８Ｋ６０Ｐの映像を時分割処理する。
なお、８Ｋ６０Ｐとは、解像度が８Ｋ（７６８０×４３２０画素）であり、フレームレートが６０Ｐ（６０ｆｐｓ：frame per second）であることを意味する。 2. Description of the Related Art In recent years, ultra-high resolution and high frame rates of video such as 8K60P have been advanced, and a real-time editing system capable of editing the ultra-high resolution video in real time has been proposed (for example, see Patent Document 1). The real-time editing system described in Patent Literature 1 includes a control device for generating a rendering job, a decoding device for decoding a compressed material video, and a synthesizing device for synthesizing the decoded material video. In the conventional real-time editing system, four processing systems each including one synthesizing device and two decoding devices are configured, and each processing system performs time-division processing on 8K60P video.
Note that 8K60P means that the resolution is 8K (7680 × 4320 pixels) and the frame rate is 60P (60 fps: frame per second).

国際公開第２０１８／００８０７６号International Publication No. WO2018 / 008076

しかし、従来のリアルタイム編集システムは、莫大なデータ量の超高解像度映像を処理する際、装置内部のバス帯域が不足することがあり、さらなる超高解像度化・高フレームレート化への対応が困難である。例えば、サンプリング構造がＹＣｂＣｒ４：２：２の８Ｋ６０Ｐ映像を２ストリーム合成する場合を考える。この場合、映像の帯域が９７．３４４Ｇバイト／秒であるのに対し、ＣＰＵとメモリ間のバス帯域が実測値で約５０Ｇバイト／秒となり、バス帯域が不足する。 However, the conventional real-time editing system sometimes runs short of the internal bus bandwidth when processing ultra-high-resolution images with enormous amounts of data, making it difficult to respond to even higher resolutions and higher frame rates. It is. For example, the sampling structure YC b C r 4: 2: 2 of 8K60P video 2 Consider the case where the stream synthesis. In this case, while the bandwidth of the video is 97.344 Gbytes / sec, the bus bandwidth between the CPU and the memory is approximately 50 Gbytes / sec as a measured value, and the bus bandwidth is insufficient.

さらに、従来のリアルタイム編集システムは、各装置の役割が固定されているが、超高解像度映像の内容により、装置間で処理負荷が大きく異なることがある。このため、従来のリアルタイム編集システムでは、システム全体の処理能力に余裕を持たせる必要があり、その処理能力を柔軟に増減できる余地（スケーラビリティ）が乏しいという問題もある。つまり、従来のリアルタイム編集システムにおいて、映像の解像度（４Ｋ、８Ｋ、１６Ｋ）やフレームレート（６０Ｐ、１２０Ｐ）を向上させようとしても、柔軟にシステム構成を変更できないという問題を示している。   Further, in the conventional real-time editing system, the role of each device is fixed, but the processing load may greatly differ between the devices depending on the content of the ultra-high-resolution video. For this reason, in the conventional real-time editing system, it is necessary to provide a margin in the processing capacity of the entire system, and there is also a problem that there is little room (scalability) to flexibly increase or decrease the processing capacity. In other words, in the conventional real-time editing system, there is a problem that the system configuration cannot be flexibly changed even if the resolution (4K, 8K, 16K) or the frame rate (60P, 120P) of the video is improved.

そこで、本発明は、バス帯域の制約を受けにくく、スケーラビリティに優れたリアルタイム編集システムを提供することを課題とする。   Therefore, an object of the present invention is to provide a real-time editing system that is not easily restricted by a bus band and has excellent scalability.

前記した課題に鑑みて、本発明に係るリアルタイム編集システムは、超高解像度の素材映像を分割した分割領域が予め割り当てられ、分割領域の素材映像である分割素材映像をデコードして合成する複数の合成装置と、合成装置を制御する１台の制御装置と、圧縮された分割素材映像を記憶する記憶装置を備えるリアルタイム編集システムであって、制御装置が、レンダリングジョブ生成手段、を備え、合成装置が、デコードジョブ生成手段と、１以上のデコード手段と、１以上の合成手段と、出力ボードと、を備える構成とした。   In view of the above-described problem, the real-time editing system according to the present invention is configured such that a plurality of divided regions obtained by dividing an ultra-high resolution material image are assigned in advance, and a divided material image that is a material image of the divided region is decoded and synthesized. A real-time editing system including a synthesizing device, one control device for controlling the synthesizing device, and a storage device for storing the compressed divided material video, wherein the control device includes a rendering job generating unit, Has a configuration including a decode job generating unit, one or more decoding units, one or more combining units, and an output board.

かかる構成によれば、制御装置は、レンダリングジョブ生成手段によって、分割素材映像の合成を合成装置に指令するレンダリングジョブを生成する。
合成装置は、デコードジョブ生成手段によって、制御装置が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成する。
合成装置は、デコード手段によって、デコードジョブ生成手段が生成したデコードジョブに基づいて、記憶手段の分割素材映像をデコードする。
合成装置は、合成手段によって、レンダリングジョブに基づいて、デコード手段がデコードした分割素材映像を合成する。
合成装置は、出力ボードによって、合成が最も遅れている合成装置に合わせて、合成手段が合成した分割合成映像を同期して出力する。この分割合成映像を分割領域の位置に応じて配置すれば、合成された超高解像度映像が得られる。 According to this configuration, the control device uses the rendering job generating means to generate a rendering job that instructs the synthesizing device to synthesize the divided material video.
The synthesizing device generates, by the decode job generating means, a decode job instructing to decode the divided material video specified by the rendering job generated by the control device.
The synthesizing device decodes the divided material video in the storage means by the decoding means based on the decode job generated by the decode job generating means.
The synthesizing device synthesizes the divided material video decoded by the decoding device based on the rendering job by the synthesizing device.
The synthesizing device synchronously outputs the divided synthesized video synthesized by the synthesizing means in accordance with the synthesizing device whose synthesis is delayed most by the output board. By arranging the divided combined video in accordance with the position of the divided area, a synthesized super high resolution video can be obtained.

このように、合成装置は、超高解像度の素材映像を分割した分割素材映像を扱うので、分割素材映像のデータ量が低減し、装置内部のバス帯域が不足する事態を防止することができる。
さらに、合成装置は、任意の数のデコード手段及び合成手段を備えるので、超高解像度映像の内容に応じて、システム全体の処理能力を柔軟に増減することができる。 As described above, since the synthesizing apparatus handles the divided material video obtained by dividing the ultra-high resolution material video, the amount of data of the divided material video can be reduced, and a shortage of the bus band inside the device can be prevented.
Furthermore, since the synthesizing device includes an arbitrary number of decoding means and synthesizing means, the processing capacity of the entire system can be flexibly increased or decreased according to the content of the ultra-high resolution video.

本発明に係るリアルタイム映像編集システムは、バス帯域の制約を受けにくく、スケーラビリティに優れているので、さらなる超高解像度化・高フレームレート化にも対応することができる。   The real-time video editing system according to the present invention is less susceptible to restrictions on the bus band and has excellent scalability, so that it can cope with even higher resolution and higher frame rate.

第１実施形態に係るリアルタイム編集システムの全体構成図である。1 is an overall configuration diagram of a real-time editing system according to a first embodiment. 第１実施形態において、各合成装置に割り当てた超高解像度映像の分割領域を説明する説明図である。FIG. 3 is an explanatory diagram illustrating divided regions of an ultra-high resolution video assigned to each synthesis device in the first embodiment. 第１実施形態において、リアルタイム編集システムでの編集処理を示すシーケンス図である。FIG. 6 is a sequence diagram illustrating an editing process in the real-time editing system in the first embodiment. 図１の制御装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a control device in FIG. 1. 図１の合成装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of the synthesizing device in FIG. 1. 第１実施形態において、デコードプロセスの並列処理を説明する説明図である。FIG. 5 is an explanatory diagram illustrating parallel processing of a decoding process in the first embodiment. 第１実施形態において、８Ｋ座標系から４Ｋ座標系への座標変換を説明する説明図である。FIG. 4 is an explanatory diagram illustrating coordinate conversion from an 8K coordinate system to a 4K coordinate system in the first embodiment. 第１実施形態において、ＳＤＩボードを説明する説明図である。FIG. 3 is an explanatory diagram illustrating an SDI board in the first embodiment. 第１実施形態において、ＳＤＩボードによる同期制御を説明する説明図である。FIG. 3 is an explanatory diagram illustrating synchronization control by an SDI board in the first embodiment. 第１実施形態において、リアルタイム編集システムでの他領域レンダリング処理を説明する説明図である。FIG. 7 is an explanatory diagram illustrating another area rendering processing in the real-time editing system in the first embodiment. 第１実施形態において、リアルタイム編集システムでの他領域レンダリング処理を示すシーケンス図である。FIG. 7 is a sequence diagram illustrating another area rendering processing in the real-time editing system in the first embodiment. 第２実施形態に係るリアルタイム編集システムの全体構成図である。FIG. 6 is an overall configuration diagram of a real-time editing system according to a second embodiment. 第２実施形態において、処理系統毎の時分割処理を説明する説明図である。FIG. 13 is an explanatory diagram illustrating time-division processing for each processing system in the second embodiment.

（第１実施形態）
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。 (1st Embodiment)
Hereinafter, each embodiment of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, the same means and the same process are denoted by the same reference characters, and a description thereof will be omitted.

[リアルタイム編集システムの全体構成]
図１及び図２を参照し、リアルタイム編集システム１の全体構成について説明する。
図１に示すように、リアルタイム編集システム１は、制御装置１０と、合成装置２０と、記憶装置（ＨＤＤ：Hard Disk Drive）３０と、８Ｋディスプレイ（６０Ｐ）４０と、４Ｋディスプレイ５０とを備える。 [Overall configuration of real-time editing system]
The overall configuration of the real-time editing system 1 will be described with reference to FIGS.
As shown in FIG. 1, the real-time editing system 1 includes a control device 10, a synthesizing device 20, a storage device (HDD: Hard Disk Drive) 30, an 8K display (60P) 40, and a 4K display 50.

図２に示すように、リアルタイム編集システム１は、超高解像度の素材映像を空間的に４分割し、各分割領域の映像をそれぞれ合成する４台の合成装置２０を備える。つまり、リアルタイム編集システム１では、４分割した分割領域のそれぞれを４台の合成装置２０１〜２０４に予め割り当てる。例えば、１台目の合成装置２０１に左上の分割領域を割り当て、２台目の合成装置２０２に左下の分割領域を割り当てる。また、３台目の合成装置２０３に右上の分割領域を割り当て、４台目の合成装置２０４に右下の分割領域を割り当てる。そして、各合成装置２０は、割り当てられた分割領域の映像を合成する。 As shown in FIG. 2, the real-time editing system 1 includes four synthesizing devices 20 that spatially divide an ultra-high-resolution material image into four and synthesize images of the respective divided regions. That is, in the real-time editing system 1 allocates in advance of each of the four divided divided regions to four synthesizers 20 1 to 20 4. For example, assign the upper left divided area synthesizer 20 1 of first unit, assign the lower left divided area onto a second synthesizer 20 2. Also, assign the upper right divided area in the synthesizer 20 3 third car, allocates the divided region of the lower right four th synthesizer 20 4. Then, each synthesizing device 20 synthesizes the video of the assigned divided area.

なお、超高解像度の素材映像とは、８Ｋ６０Ｐのような超高解像度・高フレームレートの素材映像のことである。本実施形態では、素材映像の解像度が７６８０×４３２０画素であり、素材映像のフレームレートが６０ｆｐｓ（Frame Per Second）であることとして説明する。また、本実施形態では、素材映像を構成するピクセル（画素）のサンプリング構造が、放送用映像で一般的なＹＣｂＣｒ４：２：２であることとして説明する。このＹＣｂＣｒ４：２：２は、２つの色差信号Ｃｂ，Ｃｒを水平方向に１／２のデータ量に間引くので、主観的な画質をほとんど損なわずに総データ量を２／３に抑えることができる。 It should be noted that the ultra-high resolution material video is a material video of an ultra-high resolution and high frame rate such as 8K60P. In the present embodiment, a description will be given assuming that the resolution of the material video is 7680 × 4320 pixels and the frame rate of the material video is 60 fps (Frame Per Second). Further, in the present embodiment, the sampling structure of the pixels (pixels) constituting the source video is broadcast video in general YC b C r 4: 2: described as it is 2. The YC b C r 4: 2: 2 , the two color difference signals C b, since thinning the data quantity of 1/2 C r in the horizontal direction, the total data amount with little impair the subjective picture quality 2 / 3 can be suppressed.

以後、超高解像度の素材映像を各分割領域に分割したものを「分割素材映像」と記載する場合がある。本実施形態では、８Ｋの素材映像（７６８０画素×４３２０画素）を４分割しているので、分割素材映像の解像度は４Ｋ（３８４０画素×２１６０画素）となる。
また、圧縮された分割素材映像を「圧縮分割素材映像」と記載する場合がある。
また、分割素材映像に合成処理を施したものを「分割合成映像」と記載する場合がある。
また、分割合成映像を縮小（ダウンコンバート）したものを「縮小映像」と記載する場合がある。また、各合成装置２０で縮小された解像度が２Ｋ（１９２０画素×１０８０画素）の縮小映像を「２Ｋ縮小映像」と記載し、この２Ｋ縮小映像を４枚並べたものを「４Ｋ縮小映像」と記載する場合がある。 Hereinafter, what is obtained by dividing an ultra-high resolution material image into each divided region may be referred to as a “divided material image”. In the present embodiment, since the 8K material video (7680 pixels × 4320 pixels) is divided into four, the resolution of the divided material video is 4K (3840 pixels × 2160 pixels).
In some cases, a compressed divided material image is referred to as a “compressed divided material image”.
In addition, an image obtained by performing a combining process on a divided material image may be referred to as a “divided combined image”.
In addition, a reduced (down-converted) split composite video may be referred to as a “reduced video”. Further, a reduced image reduced in resolution by each synthesizing device 20 and having a resolution of 2K (1920 pixels × 1080 pixels) is referred to as “2K reduced image”, and a sequence of four 2K reduced images is referred to as “4K reduced image”. May be described.

ここで、特許文献１に記載のリアルタイム編集システム（以後、「従来のリアルタイム編集システム」）との相違について説明する。従来のリアルタイム編集システムでは、８Ｋ６０Ｐの映像を４つの処理系統で時分割し、各処理系統を１５Ｐのフレームレートで並行動作させている。これに対し、リアルタイム編集システム１は、合成装置２０で動作する１以上のプロセスで実装することで、４Ｋ６０Ｐの映像を１台の合成装置２０で扱うことができる。そして、リアルタイム編集システム１は、この合成装置２０を４台組み合わせることで、８Ｋ６０Ｐの超高解像度映像を合成可能としたものである。   Here, a difference from the real-time editing system described in Patent Document 1 (hereinafter, “conventional real-time editing system”) will be described. In a conventional real-time editing system, 8K60P video is time-divided by four processing systems, and each processing system is operated in parallel at a frame rate of 15P. On the other hand, the real-time editing system 1 can handle 4K60P video with one synthesizing device 20 by implementing it in one or more processes that operate on the synthesizing device 20. The real-time editing system 1 is capable of synthesizing an 8K60P ultra-high-resolution video by combining four synthesizing devices 20.

制御装置１０は、合成装置２０を制御するものである。具体的には、制御装置１０は、レンダリングジョブを生成し、生成したレンダリングジョブを各合成装置２０に出力する。
このレンダリングジョブは、分割素材映像の合成を各合成装置２０に指令するものである。
また、制御装置１０は、他領域レンダリングジョブを生成し、生成した他領域レンダリングジョブを各合成装置２０に出力する。この他領域レンダリングジョブは、ピクチャーインピクチャー（ＰｉｎＰ：Picture In Picture）など、他の合成装置２０が記憶している分割素材映像を参照するレンダリングジョブである。
また、制御装置１０は、各合成装置２０から入力された２Ｋ縮小映像を並べて４Ｋ縮小映像を生成し、生成した４Ｋ縮小映像を４Ｋディスプレイ５０に表示する。 The control device 10 controls the synthesizing device 20. Specifically, the control device 10 generates a rendering job, and outputs the generated rendering job to each of the combining devices 20.
This rendering job instructs each synthesizing device 20 to synthesize the divided material video.
Further, the control device 10 generates another area rendering job, and outputs the generated other area rendering job to each of the combining devices 20. The other area rendering job is a rendering job that refers to a divided material image stored in another synthesizing device 20, such as a picture-in-picture (PinP: Picture In Picture).
Further, the control device 10 generates a 4K reduced image by arranging the 2K reduced images input from each of the synthesizing devices 20, and displays the generated 4K reduced image on the 4K display 50.

本実施形態では、制御装置１０は、図１に示すように、２個のＣＰＵ（Central Processing Unit）１００と、ＳＤＩ（Serial Digital Interface）ボード１１０と、１０Ｇｂｐｓイーサネットボート１２０とを備える。
以後、１０Ｇｂｐｓイーサネットボートを「１０ＧｂＥボード」と略記する場合がある。
なお、図１では、マウス、キーボード、ディスプレイ、メモリ等の一般的なハードウェア構成の図示を省略した。 In the present embodiment, as shown in FIG. 1, the control device 10 includes two CPUs (Central Processing Unit) 100, an SDI (Serial Digital Interface) board 110, and a 10 Gbps Ethernet boat 120.
Hereinafter, the 10 Gbps Ethernet port may be abbreviated as “10 GbE board”.
In FIG. 1, illustration of general hardware configurations such as a mouse, a keyboard, a display, and a memory is omitted.

ＣＰＵ１００は、制御装置１０で必要な各種演算を行う中央演算装置であり、例えば、デュアルＣＰＵで構成される。
ＳＤＩボード１１０は、ＳＤＩにより映像の出力を行う映像入出力ボードである。このＳＤＩボード１１０は、４Ｋ縮小映像を４Ｋディスプレイ５０に出力する。
１０ＧｂＥボード１２０は、制御装置１０と合成装置２０との間でデータ通信を行うネットワークＩＦである。この１０ＧｂＥボード１２０は、通信速度が１０Ｇｂｐｓであり、レンダリングジョブや他領域レンダリングジョブを各合成装置２０に送信する。また、１０ＧｂＥボード１２０は、各合成装置２０から２Ｋ縮小映像を受信する。 The CPU 100 is a central processing unit that performs various calculations required by the control device 10, and is configured by, for example, a dual CPU.
The SDI board 110 is a video input / output board that outputs video using SDI. The SDI board 110 outputs the 4K reduced video to the 4K display 50.
The 10 GbE board 120 is a network IF that performs data communication between the control device 10 and the synthesis device 20. The 10 GbE board 120 has a communication speed of 10 Gbps, and transmits a rendering job or another area rendering job to each synthesizing device 20. In addition, the 10 GbE board 120 receives a 2K reduced video from each combining device 20.

合成装置２０は、制御装置１０からの指令に応じて、記憶装置３０に記憶されている圧縮分割素材映像をデコードして合成するものである。そして、合成装置２０は、ＳＤＩボード２４０を介して、合成した分割映像を８Ｋディスプレイ（６０Ｐ）４０に出力する。   The synthesizing device 20 decodes and synthesizes the compressed divided material video stored in the storage device 30 according to a command from the control device 10. Then, the synthesizer 20 outputs the synthesized divided video to the 8K display (60P) 40 via the SDI board 240.

本実施形態では、合成装置２０は、２個のＣＰＵ２００と、ＳＤＩボード２４０と、光ＩＦボード２５０と、１０ＧｂＥボード２６０とを備える。
ＣＰＵ２００は、合成装置２０で必要な各種演算を行う中央演算装置であり、例えば、デュアルＣＰＵで構成される。ＣＰＵ２００は、分割素材映像を合成する１以上の合成プロセス２１０と、分割素材映像をデコードする１以上のデコードプロセス２２０とを備える（図５）。合成プロセス２１０及びデコードプロセス２２０の数は任意に設定可能であり、例えば、合成プロセス２１０が２つ、デコードプロセス２２０が４つである。合成プロセス２１０及びデコードプロセス２２０は、マルチタスクＯＳ（Operating System）のプロセスとして実装されているので、これらのプロセス数を容易に増減できる。 In the present embodiment, the synthesizing device 20 includes two CPUs 200, an SDI board 240, an optical IF board 250, and a 10 GbE board 260.
The CPU 200 is a central processing unit that performs various operations required by the synthesizing device 20, and is configured by, for example, a dual CPU. The CPU 200 includes one or more synthesis processes 210 for synthesizing the divided material video and one or more decoding processes 220 for decoding the divided material video (FIG. 5). The number of the combining process 210 and the decoding process 220 can be set arbitrarily. For example, there are two combining processes 210 and four decoding processes 220. Since the combining process 210 and the decoding process 220 are implemented as processes of a multitask OS (Operating System), the number of these processes can be easily increased or decreased.

ＳＤＩボード２４０は、図１に示すように、ＬＶＤＳ（Low Voltage Differential Signaling）によりリング接続されている。このＬＶＤＳは、１対１の片方向通信を高速に行うことができるシリアルインタフェースである。つまり、４台の合成装置２０１〜２０４が備える４台のＳＤＩボード２４０１〜２４０４は、デイジーチェーン接続されている。そして、４台のＳＤＩボード２４０１〜２４０４が、合成が最も遅れている合成装置２０に合わせて、分割合成映像を同期して出力する。このように、フレーム同期した４つの分割合成映像（解像度４Ｋ）を並べるだけで、超高解像度映像（解像度８Ｋ）を容易に再構成できる。なお、ＳＤＩボード２４０の詳細は後記する。 The SDI board 240 is ring-connected by LVDS (Low Voltage Differential Signaling) as shown in FIG. This LVDS is a serial interface that can perform one-to-one one-way communication at high speed. That is, four SDI board 240 1-240 4 provided in the four synthesis devices 20 1 to 20 4 are connected in a daisy chain. Then, the four SDI boards 240 1 to 240 4 synchronize and output the divided composite video in accordance with the synthesizing device 20 whose synthesis is delayed most. In this manner, an ultra-high-resolution video (resolution 8K) can be easily reconstructed only by arranging the four frame-synchronized divided composite video (resolution 4K). The details of the SDI board 240 will be described later.

光ＩＦボード２５０は、光リング通信網に接続するネットワークＩＦである。例えば、光ＩＦボード２５０は、４０Ｇｂｐｓの光モジュールを２個搭載すると共に、ＰＣＩ Ｅｘｐｒｅｓｓ（ｒｅｖ３）×８レーンでＣＰＵ２００に接続される。
１０ＧｂＥボード２６０は、制御装置１０と合成装置２０との間でデータ通信を行うネットワークＩＦである。この１０ＧｂＥボード２６０は、制御装置１０から、レンダリングジョブや他領域レンダリングジョブが入力される。また、１０ＧｂＥボード２６０は、制御装置１０に２Ｋ縮小映像を送信する。 The optical IF board 250 is a network IF connected to an optical ring communication network. For example, the optical IF board 250 has two 40 Gbps optical modules mounted thereon, and is connected to the CPU 200 via PCI Express (rev3) × 8 lanes.
The 10 GbE board 260 is a network IF that performs data communication between the control device 10 and the synthesis device 20. The 10 GbE board 260 receives a rendering job and another area rendering job from the control device 10. Further, the 10 GbE board 260 transmits a 2K reduced video to the control device 10.

記憶装置３０は、圧縮分割素材映像を予め記憶するものである。本実施形態では、リアルタイム編集システム１は、合成装置２０１〜２０４と１対１で対応するように、４台の記憶装置３０１〜３０４を備える。そして、記憶装置３０１〜３０４は、合成装置２０１〜２０４に対応する圧縮分割素材映像をそれぞれ記憶する。例えば、図２に示すように、１台目の記憶装置３０１が左上の圧縮分割素材映像を記憶し、２台目の記憶装置３０２が左下の圧縮分割素材映像を記憶する。また、３台目の記憶装置３０３が右上の圧縮分割素材映像を記憶し、４台目の記憶装置３０４が右下の圧縮分割素材映像を記憶する。 The storage device 30 stores compressed divided material images in advance. In the present embodiment, the real-time editing system 1, as corresponding with synthesizer 20 1 to 20 4 and 1: 1 comprises four memory devices 30 1 to 30 4. Then, the storage device 30 1 to 30 4 stores the compressed divided material image corresponding to the synthesizer 20 1 to 20 4, respectively. For example, as shown in FIG. 2, first unit of the storage device 30 1 stores the compressed divided material images in the upper left, second unit of the storage device 30 2 stores the compressed divided material image on the lower left. Further, three second of the storage device 30 3 stores the compressed divided material images in the upper right, four second storage device 30 4 stores the compressed divided material images in the lower right.

記憶装置３０に圧縮分割素材映像を記憶させる手法は、特に制限されない。超高解像度映像のビットレートは非常に大きいため、超高解像度映像を分割して記憶する映像記録装置が従来より開発されており、これを利用できる。例えば、この映像記録装置で分割した分割素材映像を圧縮し、記憶装置３０に予め記憶すればよい。   The method of storing the compressed divided material video in the storage device 30 is not particularly limited. Since the bit rate of an ultra-high-resolution image is very high, an image recording device that divides and stores an ultra-high-resolution image has been conventionally developed and can be used. For example, the divided material video divided by the video recording device may be compressed and stored in the storage device 30 in advance.

８Ｋディスプレイ（６０Ｐ）４０は、８Ｋ６０Ｐ等の超高解像度映像を表示するものである。本実施形態では、８Ｋディスプレイ（６０Ｐ）４０は、超高解像度映像を表示可能なＦＰＤ（Flat Panel Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイである。
４Ｋディスプレイ５０は、制御装置１０から入力された４Ｋ縮小映像を表示可能なＦＰＤ、ＣＲＴ等のディスプレイである。 The 8K display (60P) 40 displays an ultra-high resolution video such as 8K60P. In the present embodiment, the 8K display (60P) 40 is a display such as an FPD (Flat Panel Display) or a CRT (Cathode Ray Tube) capable of displaying an ultra-high resolution image.
The 4K display 50 is a display such as an FPD or a CRT capable of displaying a 4K reduced video input from the control device 10.

[リアルタイム編集システムでの編集処理]
図３を参照し、リアルタイム編集システム１での編集処理について説明する。
まず、リアルタイム編集システム１の利用者（編集者）は、図示を省略したキーボード、マウス、スライダ等の入力手段を操作して、編集作業に必要な各種情報を制御装置１０に設定する。例えば、各種情報には、合成装置２０で行う合成処理の種類、分割素材映像の識別情報（ＩＤ）、分割素材映像のフレーム番号等の情報が含まれる。 [Editing process in real-time editing system]
The editing process in the real-time editing system 1 will be described with reference to FIG.
First, a user (editor) of the real-time editing system 1 operates input means such as a keyboard, a mouse, and a slider (not shown) to set various types of information necessary for an editing operation in the control device 10. For example, the various types of information include information such as the type of the combining process performed by the combining device 20, the identification information (ID) of the divided material video, the frame number of the divided material video, and the like.

この分割素材映像の識別情報は、１回の編集処理において、分割素材映像ファイルをオープンするときに決定される一意な識別子である。例えば、分割素材映像の識別情報として、制御装置１０が分割素材映像をオープンしたとき、制御装置１０のオペレーティングシステムが自動的に生成するファイル識別子を利用できる。   The identification information of the divided material video is a unique identifier determined when the divided material video file is opened in one editing process. For example, a file identifier automatically generated by an operating system of the control device 10 when the control device 10 opens the divided material video can be used as the identification information of the divided material video.

制御装置１０は、利用者が設定した情報に基づいて、レンダリングジョブを生成し（ステップＳ１）、生成したレンダリングジョブを合成装置２０に送信する（ステップＳ２）。
合成プロセス２１０は、制御装置１０からレンダリングジョブを受信し、指定された識別情報及びフレーム番号の圧縮分割素材映像を記憶装置３０から読み出し、プロセス間共有メモリ２３０に書き込む（ステップＳ３）。そして、合成プロセス２１０は、読み出した圧縮分割素材映像のデコード指令を、デコードジョブとしてデコードプロセス２２０に送信する（ステップＳ４）。 The control device 10 generates a rendering job based on the information set by the user (step S1), and transmits the generated rendering job to the synthesizing device 20 (step S2).
The synthesizing process 210 receives the rendering job from the control device 10, reads out the compressed divided material video having the specified identification information and the frame number from the storage device 30, and writes it into the inter-process shared memory 230 (Step S3). Then, the synthesizing process 210 transmits a decoding instruction of the read compressed divided material video to the decoding process 220 as a decoding job (Step S4).

デコードプロセス２２０は、合成プロセス２１０から送信されたデコードジョブに基づいて、圧縮分割素材映像をデコードする（ステップＳ５）。そして、デコードプロセス２２０は、デコードした分割素材映像をプロセス間共有メモリ２３０に書き込む（ステップＳ６）。   The decoding process 220 decodes the compressed divided material video based on the decoding job transmitted from the synthesizing process 210 (Step S5). Then, the decoding process 220 writes the decoded divided material video into the inter-process shared memory 230 (Step S6).

合成プロセス２１０は、レンダリングジョブに基づいて、プロセス間共有メモリ２３０に書き込まれた分割素材映像を合成する（ステップＳ７）。
合成プロセス２１０は、４Ｋの分割合成映像を縮小した２Ｋ縮小映像を生成する（ステップＳ８）。
合成プロセス２１０は、１０ＧｂＥボード２６０を介して、ステップＳ８で生成した２Ｋ縮小映像を制御装置１０に送信する（ステップＳ９）。
合成プロセス２１０は、ＳＤＩボード２４０を介して、分割合成映像を８Ｋディスプレイ（６０Ｐ）４０に出力する（ステップＳ１０）。 The combining process 210 combines the divided material videos written in the inter-process shared memory 230 based on the rendering job (step S7).
The combining process 210 generates a 2K reduced image obtained by reducing the 4K divided combined image (Step S8).
The combining process 210 transmits the 2K reduced video generated in step S8 to the control device 10 via the 10GbE board 260 (step S9).
The combining process 210 outputs the divided combined video to the 8K display (60P) 40 via the SDI board 240 (Step S10).

ここで、ステップＳ３〜Ｓ９の処理が４台の合成装置２０で並列に実行されるので、４つの分割領域に対応した分割合成映像が得られる。そして、ステップＳ１０において、ＳＤＩボード２４０が、最も合成の遅れている合成装置２０に合わせて、４つの分割合成映像を同期して出力する。これにより、リアルタイム編集システム１では、４つの分割合成映像を並べるだけで、合成後の超高解像度映像を容易に再構成できる。   Here, since the processes of steps S3 to S9 are executed in parallel by the four synthesizing devices 20, divided composite images corresponding to the four divided regions are obtained. Then, in step S10, the SDI board 240 synchronously outputs the four divided composite images in accordance with the synthesizing device 20 which is the slowest in synthesizing. Thus, in the real-time editing system 1, the super-high-resolution video after the synthesis can be easily reconstructed only by arranging the four divided composite videos.

その後、制御装置１０は、合成装置２０から受信した２Ｋ縮小映像を４つ並べ、ＳＤＩボード１１０を介して、４Ｋ縮小映像として４Ｋディスプレイ５０に出力する（ステップＳ１１）。
これにより、リアルタイム編集システム１では、合成後の超高解像度映像を即座にプレビュー表示することができる。 Thereafter, the control device 10 arranges four 2K reduced images received from the synthesizing device 20 and outputs the 4K reduced images to the 4K display 50 via the SDI board 110 (step S11).
Thus, the real-time editing system 1 can immediately display a preview of the super-high resolution video after the synthesis.

［制御装置の構成］
図４を参照し、制御装置１０の構成について説明する。
図４に示すように、制御装置１０のＣＰＵ１００は、レンダリングジョブ生成手段１０１と、バッファ予約手段１０２と、他領域レンダリングジョブ生成手段（第２レンダリングジョブ生成手段）１０３と、４Ｋ縮小映像生成手段１０４とを備える。
なお、２個のＣＰＵ１００がデュアルＣＰＵとして協調動作するため、図４ではＣＰＵ１００を１個のみ図示した。 [Configuration of control device]
The configuration of the control device 10 will be described with reference to FIG.
As shown in FIG. 4, the CPU 100 of the control device 10 includes a rendering job generation unit 101, a buffer reservation unit 102, another area rendering job generation unit (second rendering job generation unit) 103, and a 4K reduced video generation unit 104. And
Since two CPUs 100 cooperate as a dual CPU, only one CPU 100 is shown in FIG.

レンダリングジョブ生成手段１０１は、利用者が設定した情報に基づいて、各合成装置２０のレンダリングジョブを生成するものである。前記したように、レンダリングジョブは、分割素材映像の合成を合成装置２０の合成プロセス２１０に指令するものである。例えば、このレンダリングジョブには、合成装置２０で行う合成処理の種類、分割素材映像の識別情報（ＩＤ）、分割素材映像のフレーム番号等の情報が含まれる。   The rendering job generating unit 101 generates a rendering job for each synthesizing device 20 based on information set by the user. As described above, the rendering job instructs the combining process 210 of the combining device 20 to combine the divided material images. For example, the rendering job includes information such as the type of the combining process performed by the combining device 20, the identification information (ID) of the divided material video, the frame number of the divided material video, and the like.

バッファ予約手段１０２は、他の合成装置２０が記憶している分割素材映像を参照するか否かを判定するものである。そして、バッファ予約手段１０２は、その分割素材映像を参照する場合、各合成装置２０が備える光ＩＦボード２５０のバッファ２５１（図５）を予約する。
他領域レンダリングジョブ生成手段１０３は、他領域レンダリングジョブ（第２レンダリングジョブ）を生成するものである。この他領域レンダリングジョブは、他の合成装置２０が記憶している分割素材映像を参照する場合において、分割素材映像をデコード及び合成して予約済みのバッファ２５１に格納する指令である。
なお、バッファ予約手段１０２及び他領域レンダリングジョブ生成手段１０３の詳細は、後記する。 The buffer reservation unit 102 determines whether or not to refer to the divided material video stored in another synthesizing device 20. Then, when referring to the divided material video, the buffer reservation unit 102 reserves the buffer 251 (FIG. 5) of the optical IF board 250 provided in each synthesizing device 20.
The other area rendering job generation unit 103 generates another area rendering job (second rendering job). The other area rendering job is a command to decode and combine the divided material videos and store them in the reserved buffer 251 when referring to the divided material videos stored in another combining device 20.
The details of the buffer reservation unit 102 and the other area rendering job generation unit 103 will be described later.

４Ｋ縮小映像生成手段１０４は、分割領域の位置に応じて２Ｋ縮小映像を並べた４Ｋ縮小映像を生成するものである。つまり、４Ｋ縮小映像生成手段１０４は、各合成装置２０が生成した２Ｋ縮小映像を、その合成装置２０に割り当てられた分割領域の位置に応じて並べることで４Ｋ縮小映像を生成する。例えば、４Ｋ縮小映像生成手段１０４は、１台目の合成装置２０１が生成した２Ｋ縮小映像を左上に配置し、２台目の合成装置２０２が生成した２Ｋ縮小映像を左下に配置する。また、４Ｋ縮小映像生成手段１０４は、３台目の合成装置２０３が生成した２Ｋ縮小映像を右上に配置し、４台目の合成装置２０４が生成した２Ｋ縮小映像を右下に配置する。
その後、４Ｋ縮小映像生成手段１０４は、ＳＤＩボード１１０を介して、生成した４Ｋ縮小映像を４Ｋディスプレイ５０に出力する。 The 4K reduced video generation unit 104 generates a 4K reduced video in which 2K reduced video is arranged according to the position of the divided area. That is, the 4K reduced video generation unit 104 generates the 4K reduced video by arranging the 2K reduced video generated by each of the synthesizing devices 20 according to the position of the divided area allocated to the synthesizing device 20. For example, the 4K reduced video generation means 104 arranges the 2K reduced video generated by the first synthesizing device 201 at the upper left, and arranges the 2K reduced video generated by the second synthesizing device 202 at the lower left. Also, the 4K reduced video generation unit 104 arranges the 2K reduced video generated by the third synthesizing device 203 at the upper right, and arranges the 2K reduced video generated by the fourth synthesizing device 204 at the lower right. .
Thereafter, the 4K reduced video generation unit 104 outputs the generated 4K reduced video to the 4K display 50 via the SDI board 110.

［合成装置の構成］
図５を参照し、合成装置２０の構成について説明する。ここでは、４台の合成装置２０が同一構成のため、１台の合成装置２０についてのみ説明する。
図５のように、合成装置２０のＣＰＵ２００は、合成プロセス２１０と、デコードプロセス２２０と、プロセス間共有メモリ２３０とを備える。前記したように、各合成装置２０は、マルチタスクＯＳのプロセスとして、合成プロセス２１０及びデコードプロセス２２０を任意の数だけ起動し、並列処理を行うことができる。 [Configuration of synthesis device]
The configuration of the synthesizing device 20 will be described with reference to FIG. Here, since the four synthesizers 20 have the same configuration, only one synthesizer 20 will be described.
As shown in FIG. 5, the CPU 200 of the synthesizing device 20 includes a synthesizing process 210, a decoding process 220, and an inter-process shared memory 230. As described above, each synthesizing apparatus 20 can start an arbitrary number of synthesizing processes 210 and decoding processes 220 as processes of the multitask OS, and perform parallel processing.

＜デコードプロセスの並列処理＞
図６を参照し、デコードプロセス２２０の並列処理について説明した後、合成装置２０の構成を説明する。
合成装置２０では、合成処理よりデコード処理に時間を要するため、合成プロセス２１０の数よりデコードプロセス２２０の数を多くするとよい。図６では、１台目の合成装置２０１が、１つの合成プロセス２１０を起動し、４つのデコードプロセス２２０１〜２２０４を起動することとして説明する。つまり、図６の例では、４つのデコードプロセス２２０１〜２２０４が並列処理を行う。 <Parallel processing of decoding process>
With reference to FIG. 6, after explaining the parallel processing of the decoding process 220, the configuration of the synthesizing device 20 will be described.
In the synthesizing device 20, the decoding process takes more time than the synthesizing process. Therefore, it is preferable that the number of the decoding processes 220 is larger than the number of the synthesizing processes 210. 6, first unit of synthesizer 20 1 activates one combined process 210, described as activating the four decode process 220 220 1 -220 4. That is, in the example of FIG. 6, the four decoding processes 220 1 to 220 4 perform parallel processing.

図６に示すように、合成装置２０１は、２つの圧縮分割素材映像Ｖ１，Ｖ２をデコードして合成することとする。具体的には、合成装置２０１は、フレーム番号（０）で圧縮分割素材映像Ｖ１をデコードし、フレーム番号（１）〜（４）で圧縮分割素材映像Ｖ１，Ｖ２をデコードして合成する。 As shown in FIG. 6, synthesizer 20 1 and be synthesized by decoding the two compression divided raw video V1, V2. Specifically, synthesizer 20 1 decodes the compressed divided material image V1 in frame number (0), the frame number (1) is synthesized by decoding the compressed divided material images V1, V2 to (4).

合成装置２０１は、４つのデコードプロセス２２０１〜２２０４に対し、順番にデコードするフレームを割り当てる。つまり、合成装置２０１は、４つのデコードプロセス２２０１〜２２０４で処理するフレーム番号（０）〜（４）を決定する。本実施形態では、各デコードプロセス２２０１〜２２０４が４フレーム間隔で処理を行うことになる。従って、フレーム番号（０），（４）が１つめのデコードプロセス２２０１で処理され、フレーム番号（１）が２つめのデコードプロセス２２０２で処理される。また、フレーム番号（２）が３つめのデコードプロセス２２０３で処理され、フレーム番号（３）が４つめのデコードプロセス２２０４で処理されることになる。
なお、図６では、デコードされた後の映像をＯ１，Ｏ２とする。また、Ｖ１，Ｖ２，Ｏ１，Ｏ２に付したカッコ書きの数値は、フレーム番号を意味する。 Synthesizer 20 1, compared four decode process 220 220 1 -220 4, allocates the frame to be decoded in sequence. In other words, synthesizer 20 1, four decoding process 220 220 1 -220 frame number to be treated with 4 (0) to determine to (4). In the present embodiment, each of the decoding processes 220 1 to 220 4 performs processing at intervals of four frames. Therefore, the frame numbers (0) and (4) are processed by the first decoding process 2201, and the frame number (1) is processed by the second decoding process 2202. Further, the frame number (2) is processed by the third decoding process 2203, and the frame number (3) is processed by the fourth decoding process 2204.
In FIG. 6, the decoded video is denoted by O1 and O2. The numerical values in parentheses attached to V1, V2, O1, and O2 mean frame numbers.

以下、１つめのデコードプロセス２２０１に着目する。フレーム番号（０）では、１つめのデコードプロセス２２０１が圧縮分割素材映像Ｖ１（０）を分割素材映像Ｏ１（０）としてデコードする。そして、合成プロセス２１０が、この分割素材映像Ｏ１（０）をそのまま分割合成映像として出力する。 In the following, attention is paid to the first decoding process 2201. In the frame number (0), 1 claw decoding process 220 1 decodes the compressed division video material V1 to (0) as a split source video O1 (0). Then, the synthesizing process 210 outputs the split material video O1 (0) as a split synthesized video as it is.

フレーム番号（４）では、デコードプロセス２２０１が圧縮分割素材映像Ｖ１（４）を分割素材映像Ｏ１（４）としてデコードし、圧縮分割素材映像Ｖ２（４）を分割素材映像Ｏ２（４）としてデコードする。さらに、合成プロセス２１０が、分割素材映像Ｏ１（４）に分割素材映像Ｏ２（４）を合成し、分割合成映像Ｏ１（４）として出力する。 In the frame number (4), and decodes the decode process 220 1 compression divided raw video V1 (4) as a split source video O1 (4), decoding the compressed division video material V2 (4) as a split source video O2 (4) I do. Further, the combining process 210 combines the divided material video O1 (4) with the divided material video O2 (4) and outputs the resultant as the divided composite video O1 (4).

図５に戻り、合成装置２０の構成について、説明を続ける。
合成プロセス２１０は、デコードジョブ生成手段２１１と、圧縮分割素材映像読出手段２１２と、合成手段２１３と、２Ｋ縮小映像生成手段２１４とを備える。 Returning to FIG. 5, the description of the configuration of the synthesizing device 20 will be continued.
The synthesizing process 210 includes a decode job generating unit 211, a compressed and divided material video reading unit 212, a synthesizing unit 213, and a 2K reduced video generating unit 214.

デコードジョブ生成手段２１１は、制御装置１０が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成するものである。具体的には、デコードジョブ生成手段２１１は、制御装置１０からレンダリングジョブを受信すると、圧縮分割素材映像の読み出しを圧縮分割素材映像読出手段２１２に依頼する。そして、デコードジョブ生成手段２１１は、読み出した圧縮分割素材映像のデコード指令を、デコードジョブとして合成手段２１３に送信する。   The decode job generating unit 211 generates a decode job instructing decoding of the divided material video specified by the rendering job generated by the control device 10. Specifically, when receiving the rendering job from the control device 10, the decode job generating unit 211 requests the compressed divided material video reading unit 212 to read the compressed divided material video. Then, the decode job generating means 211 transmits a decode instruction of the read compressed divided material video to the synthesizing means 213 as a decode job.

圧縮分割素材映像読出手段２１２は、デコードジョブ生成手段２１１から依頼された圧縮分割素材映像を記憶装置３０から読み出すものである。具体的には、圧縮分割素材映像読出手段２１２は、制御装置１０から受信したレンダリングジョブで指定された識別情報及びフレーム番号の圧縮分割素材映像を記憶装置３０から読み出す。そして、圧縮分割素材映像読出手段２１２は、読み出した圧縮分割素材映像をプロセス間共有メモリ２３０に格納する。   The compressed divided material video reading means 212 reads the compressed divided material video requested by the decode job generating means 211 from the storage device 30. Specifically, the compressed divided material video reading unit 212 reads out the compressed divided material video of the identification information and the frame number specified in the rendering job received from the control device 10 from the storage device 30. Then, the compressed divided material video reading means 212 stores the read compressed divided material video in the inter-process shared memory 230.

合成手段２１３は、制御装置１０が生成したレンダリングジョブに基づいて、後記するデコード手段２２１がデコードした分割素材映像を合成するものである。例えば、合成手段２１３は、ディゾルブ、ワイプ等の合成処理をプロセス間共有メモリ２３０の分割素材映像に施す。そして、合成手段２１３は、生成した分割合成映像をＳＤＩボード２４０のバッファ２４３（図８）に書き込み、当該分割合成映像が出力可能になった旨をＳＤＩボード２４０に送信する。このように、合成手段２１３は、ＳＤＩボード２４０を介して、生成した分割合成映像を８Ｋディスプレイ（６０Ｐ）４０に出力する。   The synthesizing unit 213 synthesizes the divided material video decoded by the decoding unit 221 described later based on the rendering job generated by the control device 10. For example, the synthesizing unit 213 performs a synthesizing process such as a dissolve and a wipe on the divided material video in the inter-process shared memory 230. Then, the synthesizing unit 213 writes the generated divided composite video in the buffer 243 (FIG. 8) of the SDI board 240, and transmits to the SDI board 240 that the divided composite video is ready to be output. As described above, the combining unit 213 outputs the generated divided combined image to the 8K display (60P) 40 via the SDI board 240.

＜８Ｋ座標系から４Ｋ座標系への変換＞
ここで、各合成装置２０は、８Ｋの素材映像を分割した４Ｋの分割素材映像を扱う。このため、各合成装置２０は、以下で説明するように、レンダリングジョブに含まれる８Ｋ座標系を４Ｋ座標系に変換する。 <Conversion from 8K coordinate system to 4K coordinate system>
Here, each synthesizing device 20 handles a 4K divided material video obtained by dividing an 8K material video. For this reason, each synthesizing device 20 converts the 8K coordinate system included in the rendering job into a 4K coordinate system, as described below.

図７に示すように、素材映像の右下に「○○○…○○○」という文字スーパー画像を重畳する場合を考える。例えば、４台目の合成装置２０４は、右下の分割領域が割り当てられているので、文字スーパー画像の一部を重畳する必要がある。このため、４台目の合成装置２０４は、レンダリングジョブに含まれる合成処理の対象範囲として、文字スーパーの範囲を示す左上座標（ｘ１，ｙ１）〜右下座標（ｘ２，ｙ２）を取得する。そして、合成装置２０４は、取得した左上座標（ｘ１，ｙ１）〜右下座標（ｘ２，ｙ２）から、割り当てられた分割領域の左上座標（３８４０，２１６０）を減算し、正値に切り上げる座標変換を行う。座標変換後、文字スーパーの範囲は、左上座標（ｘ１−３８４０，ｙ１−２１６０）〜右下座標（ｘ２−３８４０，ｙ２−２１６０）となる。 As shown in FIG. 7, a case is considered in which a superimposed character image “「.... For example, four second synthesizer 20 4, since the divided area in the lower right is assigned, it is necessary to superimpose a part of the subtitle image. Therefore, the four first synthesizer 20 4, as the scope of the synthesis processes included in the rendering job to obtain the upper-left coordinates indicating the scope of the subtitle (x1, y1) ~ lower right coordinates (x2, y2) . The synthesizer 20 4, from the acquired upper left coordinates (x1, y1) ~ lower right coordinates (x2, y2), subtracts the upper left coordinates (3840,2160) of the allocated split region, rounded up to a positive value coordinates Perform the conversion. After the coordinate conversion, the range of the superimposed character is from upper left coordinates (x1-3840, y1-2160) to lower right coordinates (x2-3840, y2-2160).

なお、２台目の合成装置２０２であれば、合成処理の対象範囲から、割り当てられた分割領域の左上座標（０，２１６０）を減算すればよい。また、３台目の合成装置２０３であれば、合成処理の対象範囲から、割り当てられた分割領域の左上座標（３８４０，０）を減算すればよい。
また、重畳対象である文字スーパーは、静止画であり、再生開始前に内容が確定することから、合成装置２０のＣＰＵ２００やメモリ（不図示）の容量・性能を圧迫しないので、８Ｋの静止画のまま扱ってもよい。 Incidentally, if the second unit of the synthesizer 20 2, the scope of the synthetic process, the upper left coordinates of the allocated split region (0,2160) may be subtracted. Further, if the third car synthesizer 20 3, from the scope of the synthetic process, the upper left coordinates of the allocated split region (3840,0) may be subtracted.
The superimposed character superimposition is a still image, and the content is determined before the start of reproduction, so that the capacity and performance of the CPU 200 and the memory (not shown) of the synthesizing apparatus 20 are not squeezed. You may treat it as it is.

図５に戻り、合成装置２０の構成について、説明を続ける。
２Ｋ縮小映像生成手段２１４は、合成手段２１３が合成した分割合成映像を縮小し、２Ｋ縮小映像（分割縮小映像）を生成するものである。つまり、２Ｋ縮小映像生成手段２１４は、分割合成映像の解像度を４Ｋから２Ｋまでダウンコンバートする。そして、２Ｋ縮小映像生成手段２１４は、１０ＧｂＥボード２６０を介して、生成した２Ｋ縮小映像を制御装置１０に出力する。 Returning to FIG. 5, the description of the configuration of the synthesizing device 20 will be continued.
The 2K reduced video generation unit 214 reduces the divided combined video synthesized by the combining unit 213 to generate a 2K reduced video (divided reduced video). That is, the 2K reduced video generation unit 214 down-converts the resolution of the divided composite video from 4K to 2K. Then, the 2K reduced video generation unit 214 outputs the generated 2K reduced video to the control device 10 via the 10 GbE board 260.

デコードプロセス２２０は、デコード手段２２１を備える。
デコード手段２２１は、デコードジョブ生成手段２１１が生成したデコードジョブに基づいて、圧縮分割素材映像をデコードするものである。このデコード手段２２１は、デコードジョブで指定された内容のデコード処理を、プロセス間共有メモリ２３０に格納された圧縮分割素材映像に施す。そして、デコード手段２２１は、デコードした分割素材映像をプロセス間共有メモリ２３０に格納する。 The decoding process 220 includes a decoding unit 221.
The decoding means 221 decodes the compressed divided material video based on the decoding job generated by the decoding job generating means 211. The decoding unit 221 performs a decoding process of the content specified by the decode job on the compressed divided material video stored in the inter-process shared memory 230. Then, the decoding unit 221 stores the decoded divided material video in the inter-process shared memory 230.

プロセス間共有メモリ２３０は、マルチタスクＯＳにおいて、プロセス間で共有可能なメモリである。本実施形態では、プロセス間共有メモリ２３０は、合成プロセス２１０とデコードプロセス２２０との間で共有される。例えば、プロセス間共有メモリ２３０は、圧縮分割素材映像読出手段２１２が読み出した圧縮分割素材映像や、デコード手段２２１がデコードした分割素材映像を格納する。   The inter-process shared memory 230 is a memory that can be shared between processes in the multitask OS. In the present embodiment, the inter-process shared memory 230 is shared between the synthesis process 210 and the decode process 220. For example, the inter-process shared memory 230 stores the compressed divided material video read by the compressed divided material video reading unit 212 and the divided material video decoded by the decoding unit 221.

＜ＳＤＩボードの構成＞
図８を参照し、合成装置２０が備えるＳＤＩボード２４０の構成について説明する。
リアルタイム編集システム１では、何れか１台の合成装置２０に備えられたＳＤＩボード２４０がマスタＳＤＩボードとして予め設定される。また、リアルタイム編集システム１では、他の合成装置２０に備えられたＳＤＩボード２４０がスレーブＳＤＩボードとして予め設定される。本実施形態では、図８に示すように、１台目の合成装置２０１のＳＤＩボード２４０がマスタＳＤＩボード２４０１として設定されている。また、２台目から４台目までの合成装置２０２〜２０４のＳＤＩボード２４０がスレーブＳＤＩボード２４０２〜２４０４として設定されていることとする。 <Configuration of SDI board>
The configuration of the SDI board 240 included in the synthesizing device 20 will be described with reference to FIG.
In the real-time editing system 1, the SDI board 240 provided in any one of the synthesizers 20 is set in advance as a master SDI board. In the real-time editing system 1, the SDI board 240 provided in another synthesizing apparatus 20 is set in advance as a slave SDI board. In the present embodiment, as shown in FIG. 8, one of bundling device 20 1 of the SDI board 240 is configured as a master SDI board 240 1. Further, it is assumed that SDI board 240 of the synthesizer 20 2 to 20 4 from the second unit to the four eyes is set as a slave SDI board 240 2-240 4.

ＳＤＩボード２４０は、外部同期信号を入力するＳｙｎｃ端子２４１と、３個のＳＤＩ端子２４２とを有する。また、ＳＤＩボード２４０は、バッファ２４３としてＤＤＲ３ ＳＤＲＡＭ（Double Data Rate3 Synchronous Dynamic Random Access Memory）を搭載する。また、ＳＤＩボード２４０は、ＰＣＩ Ｅｘｐｒｅｓｓ（ｒｅｖ３）×８レーンでＣＰＵ２００に接続される（符号２４４）。また、各合成装置２０に備えられたＳＤＩボード２４０を同期させるため、ＬＶＤＳ入力端子２４５ＩＮ及びＬＶＤＳ出力端子２４５ＯＵＴを備える。
なお、前記したＳＤＩボード２４０の構成は、マスタＳＤＩボード２４０１及びスレーブＳＤＩボード２４０２〜２４０４で共通する。 The SDI board 240 has a Sync terminal 241 for inputting an external synchronization signal, and three SDI terminals 242. The SDI board 240 has a DDR3 SDRAM (Double Data Rate 3 Synchronous Dynamic Random Access Memory) as the buffer 243. Further, the SDI board 240 is connected to the CPU 200 through PCI Express (rev3) × 8 lanes (reference numeral 244). Further, in order to synchronize the SDI board 240 provided in each synthesizing device 20, an LVDS input terminal 245 IN and an LVDS output terminal 245 OUT are provided.
The configuration of the SDI board 240 described above is common to the master SDI board 240 1 and the slave SDI board 240 2-240 4.

また、ＳＤＩボード２４０は、ＬＶＤＳによりリング接続されている。つまり、デイジーチェーンの先頭から末尾に順に接続され、デイジーチェーンの末尾から先頭に戻るように、４台のＳＤＩボード２４０が全体でリング状に接続されている。具体的には、マスタＳＤＩボード２４０１のＬＶＤＳ出力端子２４５ＯＵＴが、スレーブＳＤＩボード２４０２のＬＶＤＳ入力端子２４５ＩＮに接続される。また、スレーブＳＤＩボード２４０２のＬＶＤＳ出力端子２４５ＯＵＴが、スレーブＳＤＩボード２４０３のＬＶＤＳ入力端子２４５ＩＮに接続される。また、スレーブＳＤＩボード２４０３のＬＶＤＳ出力端子２４５ＯＵＴが、スレーブＳＤＩボード２４０４のＬＶＤＳ入力端子２４５ＩＮに接続される。また、スレーブＳＤＩボード２４０４のＬＶＤＳ出力端子２４５ＯＵＴが、マスタＳＤＩボード２４０１のＬＶＤＳ入力端子２４５ＩＮに接続される。これにより、各ＳＤＩボード２４０は、受信したデータを接続先のＳＤＩボード２４０に即座に送信することができ、伝送クロックで数クロック以内という略同時刻に同一データを共有できる。 The SDI board 240 is ring-connected by LVDS. That is, the four SDI boards 240 are connected in a ring shape as a whole so as to be connected in order from the beginning to the end of the daisy chain and return from the end of the daisy chain to the beginning. Specifically, the master SDI board 240 1 of LVDS output terminal 245 OUT is connected to the slave SDI board 240 2 LVDS input terminal 245 IN. The slave SDI board 240 2 LVDS output terminal 245 OUT is connected to the slave SDI board 240 3 LVDS input terminal 245 IN. The slave SDI board 240 3 LVDS output terminal 245 OUT is connected to the slave SDI board 240 4 LVDS input terminal 245 IN. The slave SDI board 240 4 LVDS output terminal 245 OUT is connected to the master SDI board 240 1 LVDS input terminal 245 IN. Accordingly, each SDI board 240 can immediately transmit the received data to the SDI board 240 to which the SDI board 240 is connected, and can share the same data at substantially the same time within several clocks of the transmission clock.

前記したように、ＳＤＩボード２４０は、合成が最も遅れている合成装置２０に合わせて、分割合成映像を同期して出力する。このため、マスタＳＤＩボード２４０１は、問合手段２４６と、指令手段２４７と、同期出力手段（第１の同期出力手段）２４８Ｍとを備える。
問合手段２４６は、分割合成映像の次フレーム番号をスレーブＳＤＩボード２４０２〜２４０４に問い合わせるものである。
指令手段２４７は、最小の次フレーム番号の分割合成映像の出力をマスタＳＤＩボード２４０１及びスレーブＳＤＩボード２４０２〜２４０４に指令するものである。この最小の次フレーム番号は、スレーブＳＤＩボード２４０２〜２４０４が応答した次フレーム番号、及び、マスタＳＤＩボード２４０１を備える合成装置２０１が出力予定の次フレーム番号のうち、最小のものである。
同期出力手段２４８Ｍは、指令手段２４７から指令された次フレーム番号の分割合成映像を同期して出力するものである。 As described above, the SDI board 240 synchronously outputs the divided composite video in accordance with the synthesizing device 20 whose synthesis is delayed most. Therefore, the master SDI board 240 1 includes a inquiry unit 246, a command unit 247, and a synchronous output means (first synchronous output means) 248 M.
Inquiry unit 246 is for querying the next frame number of the divided synthesis image into slave SDI board 240 2-240 4.
Command means 247 is for commanding the output of dividing and synthesizing the image of the minimum of the next frame number to the master SDI board 240 1 and the slave SDI board 240 2-240 4. Next frame number of the minimum, the slave SDI board 240 2-240 4 next frame number in response, and, among the next frame number of the synthesizer 20 1 output will comprise a master SDI board 240 1, the minimum of is there.
Synchronous output means 248 M is for synchronization and outputs the split composite video commanded next frame number from the command means 247.

また、スレーブＳＤＩボード２４０２〜２４０４は、応答手段２４９と、同期出力手段（第２の同期出力手段）２４８Ｓとを備える。
応答手段２４９は、問合手段２４６からの問い合わせに応じて、そのスレーブＳＤＩボード２４０２〜２４０４を備える合成装置２０２〜２４０４が出力予定の次フレーム番号を、問合手段２４６に応答するものである。
同期出力手段２４８Ｓは、指令手段２４７から指令された次フレーム番号の分割合成映像を同期して出力するものである。
なお、スレーブＳＤＩボード２４０３，２４０４の符号は、図面を見やすくするために省略した。 The slave SDI board 240 2-240 4 includes a response means 249, and a synchronous output means (second synchronous output means) 248 S.
Response means 249, in response to an inquiry from the inquiry unit 246, the next frame number of the synthesizer 20 2-240 4 output will comprise the slave SDI board 240 2-240 4, responds to the inquiry unit 246 Things.
The synchronous output means 248 S synchronously outputs the divided composite video of the next frame number specified by the command means 247.
Note that the reference numerals of the slave SDI boards 240 3 and 240 4 are omitted to make the drawings easier to see.

＜ＳＤＩボードによる同期制御＞
図９を参照し、ＳＤＩボード２４０による同期制御について説明する。
図９は、合成装置２０がバッファ２４３に分割合成映像を格納するタイミングと、ＳＤＩボード２４０がバッファ２４３の分割合成映像を出力するタイミングと、ビデオクロックを出力するタイミングと、ＳＤＩボード２４０による同期制御とを表している。
なお、図９では、横軸が時間の経過を表し、分割素材映像や分割合成映像で連続する４枚のフレーム画像を異なるハッチングで図示した。 <Synchronous control by SDI board>
The synchronization control by the SDI board 240 will be described with reference to FIG.
FIG. 9 shows the timing at which the synthesizing device 20 stores the divided composite video in the buffer 243, the timing at which the SDI board 240 outputs the divided composite video from the buffer 243, the timing at which the video clock is output, and the synchronization control by the SDI board 240. And
In FIG. 9, the horizontal axis represents the passage of time, and four continuous frame images of the divided material video and the divided composite video are illustrated with different hatchings.

図９上段に示すように、各合成装置２０が合成を終えて、ＳＤＩボード２４０のバッファ２４３に分割合成映像を格納するタイミングは異なっている。例えば、１枚目及び２枚目の分割合成映像では、４台目の合成装置２０４が最も遅いタイミングとなる。また、３枚目及び４枚目の分割合成映像では、２台目の合成装置２０２が最も遅いタイミングとなる。 As shown in the upper part of FIG. 9, the timing at which each of the combining devices 20 finishes the combining and stores the divided combined video in the buffer 243 of the SDI board 240 is different. For example, in the first sheet and the second sheet of divided composite video, four th synthesizer 20 4 is the latest timing. Further, in the third sheet and fourth sheet of the divided composite video, second unit of synthesizer 20 2 is the latest timing.

このように、４台の合成装置２０が分割合成映像を生成するタイミングが異なるため、８Ｋの合成映像を得るためには、分割合成映像を同期させる必要がある。
ここで、ＳＤＩボード２４０をはじめとして、映像入出力インタフェースのタイミング同期の手段として、外部同期信号を用いる方法が一般的である。例えば、単一の同期信号源から送信される水平同期信号及び垂直同期信号に一致するタイミングで各装置が映像信号を出力することにより、複数の装置間でタイミングを同期させることができる。この方法によれば、複数の装置で映像信号を単純に同期させるだけであれば十分であるが、分割合成映像間で時刻の整合性を保つには不十分である。つまり、リアルタイム編集システム１では、４台の合成装置２０から出力される４Ｋの分割合成映像を８Ｋの合成映像として再構築する。このとき、リアルタイム編集システム１では、同時刻に出力される分割合成映像のフレーム画像が、同時刻の素材映像から分割されたものでなければならない。一般的な外部同期信号による同期では、分割合成映像間で時刻の整合性を保てず、不十分である。 As described above, since the timings at which the four combining devices 20 generate the divided combined images are different, it is necessary to synchronize the divided combined images in order to obtain an 8K combined image.
Here, a method using an external synchronization signal is generally used as a means for synchronizing the timing of the video input / output interface such as the SDI board 240. For example, when each device outputs a video signal at a timing that matches a horizontal synchronization signal and a vertical synchronization signal transmitted from a single synchronization signal source, the timing can be synchronized between a plurality of devices. According to this method, it is sufficient to simply synchronize the video signal between a plurality of devices, but it is not sufficient to maintain time consistency between the divided combined videos. That is, in the real-time editing system 1, the 4K divided combined video output from the four combining devices 20 is reconstructed as the 8K composite video. At this time, in the real-time editing system 1, the frame images of the divided composite video output at the same time must be divided from the material video at the same time. Synchronization using a general external synchronization signal is not sufficient because time consistency cannot be maintained between the divided composite images.

また、８Ｋ映像を４つの４Ｋ映像に分割して取り扱う記録再生装置についても検討する。この場合、再生対象が圧縮分割素材映像そのものであるため、記録再生装置で再生開始時の素材フレームと再生開始時刻を一致させておく。その後、同期信号に従って同じ枚数のフレームを順次、４台の記録再生装置から出力する同期方式が考えられる。しかし、リアルタイム編集システム１では、以下で述べるように、この同期方式の適用が困難である。再生開始時刻として、最もレンダリング処理の完了が遅くなる合成装置２０で分割合成映像を出力できる時刻を設定しなければならず、この設定は容易でない。さらに、合成に１／６０秒以上要する処理負荷の高いフレーム画像が連続する場合、いわゆる「コマ落ち」の状態となり、この状態で４Ｋ映像間の同期を取ることも容易ではない。   Further, a recording / reproducing apparatus which handles an 8K video by dividing it into four 4K videos will be considered. In this case, since the playback target is the compressed divided material video itself, the material frame at the time of starting playback and the playback start time are made to match in the recording and playback device. After that, a synchronization method in which the same number of frames are sequentially output from the four recording / reproducing apparatuses according to the synchronization signal is considered. However, in the real-time editing system 1, it is difficult to apply this synchronization method as described below. As the reproduction start time, it is necessary to set the time at which the completion of the rendering processing can be output by the synthesizing device 20 at which the completion of the rendering processing is delayed, and this setting is not easy. Further, when frame images having a high processing load requiring 1/60 second or more for synthesis are consecutive, a so-called "frame drop" state occurs, and it is not easy to synchronize the 4K images in this state.

そこで、リアルタイム編集システム１では、４台の合成装置２０に備えられたＳＤＩボード２４０が自律協調し、同一時刻に同一フレームの分割合成映像を出力する方式を採用した。図９下段に示すように、各ＳＤＩボード２４０は、バッファ２４３に格納された分割合成映像を１／６０秒間隔でＳＤＩ信号として８Ｋディスプレイ（６０Ｐ）４０に出力する。レンダリング（合成）が１／６０秒未満で完了すれば、１／６０秒後には次フレームの分割合成映像をバッファ２４３から出力できるので、４Ｋ６０Ｐの動画再生が可能となる。   Therefore, the real-time editing system 1 employs a method in which the SDI boards 240 provided in the four synthesizing devices 20 cooperate autonomously and output the divided synthesized video of the same frame at the same time. As shown in the lower part of FIG. 9, each SDI board 240 outputs the divided composite video stored in the buffer 243 to the 8K display (60P) 40 as an SDI signal at 1/60 second intervals. If the rendering (synthesis) is completed in less than 1/60 seconds, the divided composite image of the next frame can be output from the buffer 243 after 1/60 seconds, so that the 4K60P moving image can be reproduced.

実際に出力したい合成映像の解像度が８Ｋであるのに対し、分割合成映像の解像度が４Ｋである。従って、リアルタイム編集システム１では、正しい合成映像を出力するために、４台のＳＤＩボード２４０からの分割合成映像がフレーム単位で同期しなければならない。   The resolution of the composite video that is actually output is 8K, whereas the resolution of the divided composite video is 4K. Therefore, in the real-time editing system 1, the divided combined images from the four SDI boards 240 must be synchronized in frame units in order to output a correct combined image.

前記したように、４台のＳＤＩボード２４０のうち、何れか１台がマスタＳＤＩボード２４０１として設定され、他の３台がスレーブＳＤＩボード２４０２〜２４０４として設定されている。そして、マスタＳＤＩボード２４０１が、次のフレームとして出力すべき映像のフレーム番号（「次フレーム番号」）をスレーブＳＤＩボード２４０２〜２４０４に送信する。これにより、全てのスレーブＳＤＩボード２４０２〜２４０４が同時刻に同一フレームを出力できる。 As described above, among the four SDI board 240, any one is set as the master SDI board 240 1, the other three are set as slave SDI board 240 2-240 4. Then, the master SDI board 240 1 sends the frame number of the video to be output as the next frame ( "next frame number") to the slave SDI board 240 2-240 4. Accordingly, all the slave SDI board 240 2-240 4 can output the same frame at the same time.

ここで、リアルタイム編集システム１では、各合成装置２０がレンダリングを非同期に行って分割合成映像を生成し、生成した分割合成映像がＳＤＩボード２４０に順次バッファリングする。この処理過程を踏まえると、次フレーム番号は、全合成装置２０がバッファリングを完了した（すなわち出力可能な）フレーム画像の中で最も古いフレーム画像を表すことになる。また、制御装置１０がレンダリング指令を１回生成する毎に、フレーム番号を更新して付与する単調増加する整数値とする。この場合、次フレーム番号は、全合成装置２０の出力可能フレーム番号の最小値を表すことになる。従って、マスタＳＤＩボード２４０１は、スレーブＳＤＩボード２４０２〜２４０４に対し、次フレーム番号の問い合わせをＬＶＤＳリングで行い、各合成装置２０の出力フレームの同期を取る。 Here, in the real-time editing system 1, each of the synthesizing devices 20 performs rendering asynchronously to generate a divided composite video, and the generated divided composite video is sequentially buffered on the SDI board 240. In consideration of this processing, the next frame number represents the oldest frame image among the frame images for which all the synthesizing devices 20 have completed buffering (that is, can be output). Each time the control device 10 generates a rendering command once, the frame number is updated and assigned to a monotonically increasing integer value. In this case, the next frame number represents the minimum value of the frame numbers that can be output from all the synthesis devices 20. Therefore, the master SDI board 240 1, the slave SDI board 240 2-240 4 makes an inquiry of the next frame number in LVDS ring, synchronizing the output frames of the synthesizer 20.

図９下段に示すように、マスタＳＤＩボード２４０１の問合手段２４６は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０２に対し、次フレーム番号を問い合わせる（ステップＳ２０）。
スレーブＳＤＩボード２４０２の応答手段２４９は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０３に対し、２台目の合成装置２０２の次フレーム番号を送信する（ステップＳ２１）。
スレーブＳＤＩボード２４０３の応答手段２４９は、ＬＶＤＳリングで接続されたスレーブＳＤＩボード２４０４に対し、３台目の合成装置２０３の次フレーム番号を送信する（ステップＳ２２）。
スレーブＳＤＩボード２４０４の応答手段２４９は、ＬＶＤＳリングで接続されたマスタＳＤＩボード２４０１に対し、４台目の合成装置２０４の次フレーム番号を送信する（ステップＳ２３）。 As shown in FIG. 9 lower, inquiry unit 246 of the master SDI board 240 1, the slave SDI board 240 2 connected in LVDS ring inquires the next frame number (step S20).
Response means 249 of the slave SDI board 240 2, the slave SDI board 240 3 connected by LVDS ring transmits the second unit next frame number of the synthesizer 20 2 (step S21).
Response means 249 of the slave SDI board 240 3, the slave SDI board 240 4 connected by LVDS ring, transmits the next frame number of the synthesizer 20 3 third car (step S22).
Response means 249 of the slave SDI board 240 4, to the master SDI board 240 1 connected by LVDS ring, transmits the next frame number of the synthesizer 20 4 of four eyes (step S23).

すなわち、ステップＳ２３で生成した送信には、２台目の合成装置２０２〜４台目の合成装置２０２の次フレーム番号が含まれている。また、マスタＳＤＩボード２４０１は、バッファリングされている分割合成映像より、１台目の合成装置２０１の次フレーム番号がわかる。 That is, the transmission generated at step S23, the second unit of the synthesizer 20 2-4 units of bundling device 20 2 for the next frame number is included. The master SDI board 240 1, the dividing synthetic image being buffered, it is seen first unit of synthesizer 20 1 of the next frame number.

そこで、指令手段２４７は、１台目の合成装置２０１の次フレーム番号と、スレーブＳＤＩボード２４０２〜２４０４が応答した次フレーム番号とのうち、最小となる次フレーム番号を求める。そして、指令手段２４７は、求めた次フレーム番号の分割合成映像の出力をスレーブＳＤＩボード２４０２〜２４０４に指令する。この指令は、ＬＶＤＳリングを介して、スレーブＳＤＩボード２４０２〜２４０４に順次送信される。
さらに、指令手段２４７は、その次フレーム番号の分割合成映像の出力を、マスタＳＤＩボード２４０１の同期出力手段２４８Ｓに指令する（ステップＳ２４）。 Therefore, command means 247, the first and the next frame number first unit of synthesizer 20, of the next frame number to the slave SDI board 240 2-240 4 responds, determine the smallest next frame number. The command means 247 commands the output of the split composite video of the next frame number determined on the slave SDI board 240 2-240 4. This directive, through the LVDS rings are sequentially transmitted to the slave SDI board 240 2-240 4.
Further, the command means 247, the output of the split composite video of the next frame number, directs the synchronous output means 248 S master SDI board 240 1 (step S24).

同期出力手段２４８Ｍ，２４８Ｓは、次フレームのビデオクロックで、次フレーム番号の分割合成映像を出力すると設定する（ステップＳ２５）。
次フレームのビデオクロックに合わせ、同期出力手段２４８Ｍ，２４８Ｓは、次フレーム番号の分割合成映像を出力する（ステップＳ２６）。 Synchronous output means 248 M, 248 S is a video clock of the next frame is set as a divisional synthesis image of the next frame number (step S25).
In synchronization with the video clock of the next frame, the synchronous output means 248 M and 248 S output the divided composite video of the next frame number (step S26).

ステップＳ２０〜Ｓ２５の処理は、１ビデオクロック期間（１／６０秒）以内に十分に収まる。そして、ステップＳ２６の処理において、ビデオクロックと同期して、分割合成映像の各フレーム画像をＳＤＩ出力する。２枚目以降のフレーム画像でもステップＳ２０〜Ｓ２６の処理を繰り返すので、リアルタイムで分割合成映像を同期出力できる。   The processes in steps S20 to S25 are sufficiently completed within one video clock period (1/60 second). Then, in the process of step S26, each frame image of the divided composite video is output in SDI in synchronization with the video clock. Since the processes of steps S20 to S26 are repeated for the second and subsequent frame images, the divided composite video can be synchronously output in real time.

この同期制御により、再生処理開始から最初のフレーム画像を出力するまでの時間を、最も合成が遅い合成装置２０において、合成処理が完了したフレームの次フレームを出力するという最短時間にできる。この最短時間とは、最も遅い合成装置２０が合成を完了した時刻が８Ｋの映像として成立する時刻であり、その時刻から次のフレーム出力タイミングで映像を出力するという意味である。さらに、４Ｋの各分割合成映像を制御装置１０や合成装置２０に集める必要がないため、メモリやＣＰＵの処理負荷を抑えることができる。   With this synchronization control, the time from the start of the reproduction process to the output of the first frame image can be set to the shortest time in the synthesizing device 20 that is the slowest in synthesizing to output the next frame after the frame in which the synthesizing process is completed. The shortest time is the time at which the latest synthesis device 20 completes the synthesis as an 8K video, and means that the video is output at the next frame output timing from that time. Further, since there is no need to collect the 4K divided combined images in the control device 10 or the combination device 20, the processing load on the memory and the CPU can be reduced.

なお、図９では、マスタＳＤＩボード２４０１が、内部クロック又は外部同期によりビデオクロック信号を生成し、スレーブＳＤＩボード２４０２〜２４０４にＬＶＤＳリングで送信していることとする。 In FIG. 9, the master SDI board 240 1 generates a video clock signal by an internal clock or external synchronization, and that it is transmitted in LVDS ring slave SDI board 240 2-240 4.

図５に戻り、合成装置２０の構成について、説明を続ける。
合成装置２０の光ＩＦボード２５０は、バッファ２５１と、アドレステーブル２５２とを備える。
バッファ２５１は、４台の合成装置２０が生成した４つの分割合成映像を記憶するバッファメモリである。つまり、各合成装置２０は、それぞれのバッファ２５１に、各合成装置２０が生成した４つの分割合成映像を格納する。このバッファ２５１は、複数（例えば６４個）のフレームデータを格納可能なリングバッファであり、後記するバッファ番号で各リングバッファを特定できる。
アドレステーブル２５２は、バッファ２５１のバッファ領域を管理するテーブルである。 Returning to FIG. 5, the description of the configuration of the synthesizing device 20 will be continued.
The optical IF board 250 of the synthesizing device 20 includes a buffer 251 and an address table 252.
The buffer 251 is a buffer memory that stores the four divided combined images generated by the four combining devices 20. That is, each synthesizing device 20 stores the four divided synthesized images generated by each synthesizing device 20 in each buffer 251. The buffer 251 is a ring buffer capable of storing a plurality of (for example, 64) frame data, and can specify each ring buffer by a buffer number described later.
The address table 252 is a table for managing the buffer area of the buffer 251.

＜他領域レンダリング処理＞
図１０及び図１１を参照し、バッファ２５１を用いた他領域レンダリング処理について説明する。
前記したように、合成処理の際、他の合成装置２０に割り当てられた分割領域の素材映像を参照することもある。図１０に示すように、８Ｋ映像の右上にＰｉｎＰを行う場合を考える。このとき、右上の分割領域が割り当てられた３台目の合成装置２０３のみで８Ｋ映像のデコード処理を行うことを考える。この場合、３台目の合成装置２０３の演算量のみが増大し、各合成装置２０の演算量に大きな偏りが生じるために好ましくない。そこで、各合成装置２０で素材映像をデコードし、デコードされた素材映像を３台目の合成装置２０３が取得する手法を検討する。 <Other area rendering processing>
The other area rendering processing using the buffer 251 will be described with reference to FIGS.
As described above, at the time of the synthesizing process, the material video of the divided area allocated to another synthesizing device 20 may be referred to. As shown in FIG. 10, consider a case where PinP is performed on the upper right of an 8K video. At this time, it is assumed that 8K video decoding processing is performed only by the third synthesizing device 203 to which the upper right divided area is assigned. In this case, only the amount of operation of the third synthesizer 203 increases, and the amount of operation of each synthesizer 20 is greatly biased, which is not preferable. Therefore, a method in which the material video is decoded by each synthesizing device 20 and the decoded material video is acquired by the third synthesizing device 203 will be examined.

本実施形態では、各合成装置２０の光ＩＦボード２５０が、リング状のトポロジにより通信路を形成するので、各合成装置２０の間でＲＤＭＡ（Remote Direct Memory Access）通信が可能となる。このように、光ＩＦボード２５０は、各合成装置２０の間で分割合成映像を送受信するための通信路を構成する。以下、具体的な処理手順について説明する。   In the present embodiment, since the optical IF board 250 of each combining device 20 forms a communication path with a ring topology, RDMA (Remote Direct Memory Access) communication between the combining devices 20 is possible. As described above, the optical IF board 250 configures a communication path for transmitting and receiving the divided combined video between the respective combining devices 20. Hereinafter, a specific processing procedure will be described.

図１１に示すように、バッファ予約手段１０２は、他の合成装置２０が記憶している分割素材映像を参照するか否かを判定する。例えば、バッファ予約手段１０２は、レンダリングジョブで、他の合成装置２０に割り当てられた分割領域が指定されている場合、他の合成装置２０が記憶している分割素材映像を参照すると判定する（ステップＳ３０）。   As shown in FIG. 11, the buffer reservation unit 102 determines whether or not to refer to the divided material video stored in another synthesizing device 20. For example, when the rendering job specifies a divided area assigned to another synthesizing apparatus 20 in the rendering job, the buffer reservation unit 102 determines that the divided material video stored in the other synthesizing apparatus 20 is to be referred to (step S <b> 1). S30).

バッファ予約手段１０２は、ステップＳ３０で分割素材映像を参照すると判定した場合、各合成装置２０が備える光ＩＦボード２５０のバッファ２５１を予約する。このとき、バッファ予約手段１０２は、各合成装置２０が記憶する４つの分割素材映像を格納できるだけのバッファ２５１を予約する。例えば、バッファ予約手段１０２は、アドレステーブル２５２を参照し、未使用のバッファ番号を連番で４つ予約済みとする（ステップＳ３１）。   If it is determined in step S30 that the divided material video is to be referred to, the buffer reservation unit 102 reserves the buffer 251 of the optical IF board 250 included in each of the synthesizing devices 20. At this time, the buffer reservation means 102 reserves a buffer 251 that can store the four divided material videos stored in each of the synthesizing devices 20. For example, the buffer reservation unit 102 refers to the address table 252 and reserves four unused buffer numbers by serial numbers (step S31).

他領域レンダリングジョブ生成手段１０３は、予約したバッファ番号の最小値、及び、分割素材映像のフレーム番号が含まれる他領域レンダリングジョブを生成する（ステップＳ３２）。
他領域レンダリングジョブ生成手段１０３は、生成した他領域レンダリングジョブを合成装置２０に送信する（ステップＳ３３）。 The other area rendering job generation unit 103 generates an other area rendering job including the minimum value of the reserved buffer number and the frame number of the divided material video (step S32).
The other area rendering job generation unit 103 transmits the generated other area rendering job to the synthesizing device 20 (step S33).

合成プロセス２１０は、制御装置１０からレンダリングジョブを受信し、指定されたフレーム番号の圧縮分割素材映像を記憶装置３０から読み出し、プロセス間共有メモリ２３０に書き込む（ステップＳ３４）。そして、合成プロセス２１０は、読み出した圧縮分割素材映像のデコード指令を、デコードジョブとしてデコードプロセス２２０に送信する（ステップＳ３５）。   The synthesizing process 210 receives the rendering job from the control device 10, reads out the compressed divided material video of the designated frame number from the storage device 30, and writes it into the inter-process shared memory 230 (Step S34). Then, the synthesizing process 210 transmits a decoding instruction of the read compressed divided material video to the decoding process 220 as a decoding job (Step S35).

デコード手段２２１は、合成プロセス２１０から送信されたデコードジョブに基づいて、圧縮分割素材映像をデコードする（ステップＳ３６）。
デコード手段２２１は、デコードした分割素材映像を予約したバッファ２５１に書き込む。例えば、デコード手段２２１は、合成装置２０の識別番号（１〜４）及び予約済みのバッファ番号で特定されるバッファ２５１に書き込む（ステップＳ３７）。 The decoding unit 221 decodes the compressed divided material video based on the decode job transmitted from the synthesis process 210 (Step S36).
The decoding unit 221 writes the decoded divided material video into the reserved buffer 251. For example, the decoding unit 221 writes the data into the buffer 251 specified by the identification number (1 to 4) of the synthesizing device 20 and the reserved buffer number (Step S37).

デコード手段２２１は、光ＩＦボード２５０にＲＤＭＡ処理を依頼する（ステップＳ３８）。このＲＤＭＡ処理とは、ある合成装置２０が備える光ＩＦボード２５０のバッファ２５１の内容を、他の合成装置２０が備える光ＩＦボード２５０のバッファ２５１に直接書き込むことである。
光ＩＦボード２５０は、デコード手段２２１からの依頼に応じて、ＲＤＭＡ処理を行う（ステップＳ３９）。 The decoding unit 221 requests the optical IF board 250 for RDMA processing (step S38). This RDMA processing is to write the contents of the buffer 251 of the optical IF board 250 provided in a certain synthesizing device 20 directly to the buffer 251 of the optical IF board 250 provided in another synthesizing device 20.
The optical IF board 250 performs an RDMA process in response to a request from the decoding unit 221 (Step S39).

ここで、ステップＳ３４〜Ｓ３８の処理が４台の合成装置２０で並列に実行されるので、各合成装置２０に割り当てられた分割領域の素材映像が、その合成装置２０のバッファ２５１に格納された状態となる。そして、ステップＳ３９において、ＲＤＭＡ処理により、ある合成装置２０のバッファ２５１に格納された分割素材映像が他の合成装置２０のバッファ２５１にも格納される。これにより、各合成装置２０のバッファ２５１に全分割素材映像が格納された状態となる。   Here, since the processing of steps S34 to S38 is performed in parallel by the four synthesizers 20, the material video of the divided area assigned to each synthesizer 20 is stored in the buffer 251 of the synthesizer 20. State. Then, in step S39, the divided material video stored in the buffer 251 of one synthesis device 20 is also stored in the buffer 251 of another synthesis device 20 by the RDMA process. As a result, a state is obtained in which all the divided material videos are stored in the buffer 251 of each synthesizing device 20.

合成手段２１３は、バッファ２５１に格納された全分割素材映像を読み出す（ステップＳ４０）。
合成手段２１３は、制御装置１０が生成した他領域レンダリングジョブに基づいて、読み出した全分割素材映像に合成処理を施す。例えば、合成手段２１３は、バッファ２５１読み出した全分割素材映像を縮小して重畳するＰｉｎＰ処理を行う（ステップＳ４１）。 The synthesizing unit 213 reads out all the divided material videos stored in the buffer 251 (Step S40).
The synthesizing unit 213 performs a synthesizing process on the read out divided material videos based on the other area rendering job generated by the control device 10. For example, the synthesizing unit 213 performs a PinP process of reducing and superimposing all divided material videos read out from the buffer 251 (step S41).

バッファ予約手段１０２は、ステップＳ３１で予約したバッファ２５１を解放する。例えば、バッファ予約手段１０２は、アドレステーブル２５２を参照し、連番で予約したバッファ番号を未予約状態とする（ステップＳ４２）。
なお、ステップＳ８〜Ｓ１１の処理は、図３の編集処理と同様のため、説明を省略した。
また、ステップＳ８，Ｓ１０，Ｓ４１の処理は、ＰｉｎＰを行う３台目の合成装置２０３のみで実行すればよい。 The buffer reservation means 102 releases the buffer 251 reserved in step S31. For example, the buffer reservation unit 102 refers to the address table 252 and sets the buffer number reserved by the serial number to an unreserved state (step S42).
The processing in steps S8 to S11 is the same as the editing processing in FIG.
Further, the processing of steps S8, S10, and S41 may be performed only by the third synthesis device 203 that performs PinP.

他領域レンダリング処理では、リアルタイム編集システム１が、バッファ２５１を用いることで、各合成装置２０にデコード処理を分散できるので、ある合成装置２０のみの演算量が増大する事態を抑制することができる。   In the other region rendering process, the real-time editing system 1 can use the buffer 251 to distribute the decoding process to each of the synthesizing devices 20, so that it is possible to suppress an increase in the amount of calculation of only one of the synthesizing devices 20.

［作用・効果］
以上のように、リアルタイム編集システム１は、合成装置２０が超高解像度映像を分割して扱うので、分割素材映像のデータ量が低減し、合成装置２０内部のバス帯域が不足する事態を防止することができる。
さらに、リアルタイム編集システム１は、合成装置２０の合成プロセス２１０及びデコードプロセス２２０がマルチタスクＯＳのプロセスとして実装されている。これにより、リアルタイム編集システム１では、超高解像度映像の内容に応じて、それらプロセスの個数を容易に変更し、システム全体の処理能力を柔軟に増減することができる。 [Action / Effect]
As described above, in the real-time editing system 1, since the synthesizing device 20 handles the ultra-high-resolution video by dividing it, the data amount of the divided material video is reduced, and the situation in which the bus band inside the synthesizing device 20 runs short is prevented. be able to.
Further, in the real-time editing system 1, the synthesizing process 210 and the decoding process 220 of the synthesizing device 20 are implemented as multi-task OS processes. Thus, in the real-time editing system 1, the number of these processes can be easily changed according to the content of the ultra-high-resolution video, and the processing capacity of the entire system can be flexibly increased or decreased.

従来のリアルタイム編集システムでは、合成処理及びデコード処理を個別の装置に割り当てるので、最も演算量が多いデコード処理にどの程度ＣＰＵを割り当てるかによって、装置構成が固定化されていた。このため、従来のリアルタイム編集システムでは、デコード処理以外を担当する装置には殆ど処理負荷がかからず、無駄が生じていた。一方、リアルタイム編集システム１は、合成装置２０でデコード処理及び合成処理の両方を行うので、合成装置２０の間で演算量の偏りが少なく、無駄を抑えることができる。   In the conventional real-time editing system, since the synthesizing process and the decoding process are assigned to individual devices, the device configuration is fixed depending on how much the CPU is assigned to the decoding process with the largest amount of calculation. For this reason, in the conventional real-time editing system, a processing load is hardly applied to a device that is in charge of processing other than the decoding process, resulting in waste. On the other hand, since the real-time editing system 1 performs both the decoding process and the synthesizing process in the synthesizing device 20, the calculation amount is not biased among the synthesizing devices 20 and waste can be suppressed.

（第２実施形態）
［リアルタイム編集システムの全体構成］
第２実施形態に係るリアルタイム編集システム１Ｂについて、第１実施形態と異なる点を説明する。
第１実施形態では超高解像度映像が８Ｋ６０Ｐであるのに対し、第２実施形態では超高解像度映像が８Ｋ１２０Ｐとより高フレームレートになっている。このため、リアルタイム編集システム１Ｂは、偶数台の合成装置２０を複数の処理系統に予めグループ分けし、その処理系統毎に時分割処理を行う点が第１実施形態と異なる。 (2nd Embodiment)
[Overall configuration of real-time editing system]
The points of the real-time editing system 1B according to the second embodiment that differ from the first embodiment will be described.
In the first embodiment, the ultra high resolution video is 8K60P, whereas in the second embodiment, the ultra high resolution video has a higher frame rate of 8K120P. For this reason, the real-time editing system 1B differs from the first embodiment in that the even-numbered synthesizing devices 20 are divided into a plurality of processing systems in advance and time-division processing is performed for each processing system.

８Ｋ−ＳＨＶ（Super High Vision）では、フルスペックＳＨＶを現時点で最高品質の映像と位置付けている。このフルスペックＳＨＶとは、解像度が７６８０×４３２０画素、ビット深度が１２ビット、サンプリング構造がＲＧＢ４：４：４、フレームレートが１２０Ｐの映像のことである。   In 8K-SHV (Super High Vision), a full-spec SHV is positioned as the highest quality image at present. The full-spec SHV is an image having a resolution of 7680 × 4320 pixels, a bit depth of 12 bits, a sampling structure of RGB 4: 4: 4, and a frame rate of 120P.

第１実施形態では、超高解像度映像の解像度が７６８０×４３２０画素、サンプリング構造がＹＣｂＣｒ４：２：２、フレームレートが６０Ｐなので、フルスペックＳＨＶに達していない。ビット深度及びサンプリング構造に関しては、素材映像が圧縮されているため増加するデータ量が少ないこと、内部演算のビット幅が元々１６ビット以上であることから、フルスペックＳＨＶへの対応が比較的容易である。一方、フレームレートを６０Ｐから１２０Ｐに上げるためには、各処理を２倍の速度で実行する必要があり、システム構成を変えずに高フレームレート化することは現実的ではない。 In the first embodiment, the resolution is 7680 × 4320 pixels of ultra-high resolution video, the sampling structure YC b C r 4: 2: 2, the frame rate is so 60P, does not reach the full specification SHV. Regarding the bit depth and the sampling structure, since the amount of data to be increased is small because the material video is compressed, and the bit width of the internal operation is originally 16 bits or more, it is relatively easy to support the full-spec SHV. is there. On the other hand, in order to increase the frame rate from 60P to 120P, it is necessary to execute each process at twice the speed, and it is not realistic to increase the frame rate without changing the system configuration.

そこで、リアルタイム編集システム１Ｂは、図１２に示すように、１台の制御装置１０と、８台の合成装置２０と、８台の記憶装置（不図示）と、８Ｋディスプレイ（１２０Ｐ）４０Ｂと、４Ｋディスプレイ５０とを備える。そして、リアルタイム編集システム１Ｂは、８台の合成装置２０を４台ずつ、第１の処理系統２０Ａ及び第２の処理系統２０Ｂにグループ分けし、各処理系統２０Ａ,２０Ｂが６０Ｐの処理を担当することとした。第１実施形態で説明したように、４台の合成装置２０で６０Ｐの超高解像度映像を合成できるので、２つの処理系統２０Ａ,２０Ｂで偶数番フレームと奇数番フレームを交互に処理し出力すれば、１２０Ｐの超高解像度映像が得られる。   Therefore, as shown in FIG. 12, the real-time editing system 1B includes one control device 10, eight synthesis devices 20, eight storage devices (not shown), an 8K display (120P) 40B, 4K display 50. Then, the real-time editing system 1B divides the eight synthesizing devices 20 into four groups, each of which is a first processing system 20A and a second processing system 20B, and each of the processing systems 20A and 20B is in charge of 60P processing. I decided that. As described in the first embodiment, since the 60P super-high-resolution video can be synthesized by the four synthesis devices 20, even-numbered frames and odd-numbered frames are alternately processed and output by the two processing systems 20A and 20B. For example, a 120P super high-resolution video can be obtained.

まず、制御装置１０は、レンダリングジョブを生成する。レンダリングジョブの生成は、合成装置２０が８台あることを除き、第１実施形態と同様である。そして、制御装置１０は、処理系統２０Ａ,２０Ｂのそれぞれに、１フレーム毎に交互にレンダリングジョブを送信する。すると、各合成装置２０は、第１実施形態と同様、レンダリングジョブに従って、分割素材映像のデコード及び合成を行う。   First, the control device 10 generates a rendering job. The generation of the rendering job is the same as that of the first embodiment except that the number of the synthesis devices 20 is eight. Then, the control device 10 transmits the rendering job to each of the processing systems 20A and 20B alternately for each frame. Then, as in the first embodiment, each synthesizing device 20 decodes and synthesizes the divided material video according to the rendering job.

そして、処理系統２０Ａ,２０Ｂは、１／６０秒間隔でフレーム画像を８Ｋディスプレイ（１２０Ｐ）４０Ｂに出力する。８Ｋディスプレイ（１２０Ｐ）４０Ｂは、処理系統２０Ａ,２０Ｂからのフレーム画像をフレームバッファに交互に蓄積し、蓄積したフレーム画像を１／１２０秒毎に出力する。   Then, the processing systems 20A and 20B output the frame images to the 8K display (120P) 40B at 1/60 second intervals. The 8K display (120P) 40B alternately accumulates frame images from the processing systems 20A and 20B in a frame buffer and outputs the accumulated frame images every 1/120 second.

図１３に示すように、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、第１の処理系統２０Ａ用に６個のフレームバッファ４１Ａを備え、第２の処理系統２０Ｂ用に６個のフレームバッファ４１Ｂを備える。つまり、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、計１２個のフレームバッファ４１を備える。
なお、図１３には、各フレームバッファ４１のバッファ番号ｂと各フレームバッファ４１のフレーム番号ｆとを図示した。バッファ番号ｂは、６個のフレームバッファ４１Ａ，４１Ｂを一意に識別する番号であり、０〜５までの整数となる。フレーム番号ｆは、各フレームバッファ４１に格納されたフレーム画像を一意に識別する番号である。例えば、リアルタイム編集システム１Ｂの起動後から連番で単調増加する整数値である（図１３の例では、０〜１１）。 As shown in FIG. 13, the 8K display (120P) 40B includes six frame buffers 41A for the first processing system 20A, and includes six frame buffers 41B for the second processing system 20B. That is, the 8K display (120P) 40B includes a total of 12 frame buffers 41.
FIG. 13 illustrates the buffer number b of each frame buffer 41 and the frame number f of each frame buffer 41. The buffer number b is a number for uniquely identifying the six frame buffers 41A and 41B, and is an integer from 0 to 5. The frame number f is a number for uniquely identifying a frame image stored in each frame buffer 41. For example, it is an integer value that increases monotonously with a serial number after the activation of the real-time editing system 1B (0 to 11 in the example of FIG. 13).

合成装置２０（合成プロセス２１０）は、分割合成映像をＳＤＩ出力する際、レンダリングジョブに含まれるフレーム番号ｆからバッファ番号ｂを算出する。ここで、バッファ番号ｂは、下記の式（１）を用いて算出できる。このバッファ番号ｂは、処理系統２０Ａ，２０Ｂのそれぞれで０〜５の間を循環する数値となる。
なお、式（１）では、αが処理系統２０の数、βが処理系統２０毎のバッファの個数である。
ｂ＝（ｆ／α）％β
＝（ｆ／２）％６ …式（１） The synthesizing device 20 (synthesizing process 210) calculates the buffer number b from the frame number f included in the rendering job when outputting the divided synthesized video in SDI. Here, the buffer number b can be calculated using the following equation (1). The buffer number b is a numerical value circulating between 0 and 5 in each of the processing systems 20A and 20B.
In equation (1), α is the number of processing systems 20, and β is the number of buffers for each processing system 20.
b = (f / α)% β
= (F / 2)% 6 Equation (1)

８Ｋディスプレイ（１２０Ｐ）４０Ｂは、受信した分割合成映像を、処理系統２０Ａ，２０Ｂで指定されたバッファ番号ｂのフレームバッファ４１Ａ，４１Ｂに格納する。図１３の例では、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、フレーム番号ｆが０〜１１のフレーム画像を１２枚、フレームバッファ４１に格納している。このとき、８Ｋディスプレイ（１２０Ｐ）４０Ｂは、1／１２０秒毎にフレームバッファ４１Ａ，４１Ｂからフレーム画像を交互に出力すると、１２０Ｐの超高解像度映像が得られる。   The 8K display (120P) 40B stores the received divided composite video in the frame buffers 41A and 41B of the buffer number b specified by the processing systems 20A and 20B. In the example of FIG. 13, the 8K display (120P) 40B stores 12 frame images having the frame numbers f of 0 to 11 in the frame buffer 41. At this time, when the 8K display (120P) 40B alternately outputs frame images from the frame buffers 41A and 41B every 1/120 second, a 120P super-high-resolution image is obtained.

なお、ＳＤＩ出力のタイミングは、再生開始からの遅延と処理系統２０Ａ，２０Ｂの処理時間のばらつきを考慮して、処理系統２０Ａの入力時刻から３フレーム後としてもよい。これにより、処理系統２０Ａを基準として、６０Ｐ相当で±２フレームの範囲内で処理系統２０Ｂが得られので、１２０Ｐの超高解像度映像の出力を継続できる。処理系統２０Ａ，２０Ｂでは、１／６０秒のビデオクロックに合わせてＳＤＩ出力を行っているので、±２フレームの範囲内に収まる。   The SDI output timing may be three frames after the input time of the processing system 20A in consideration of the delay from the start of reproduction and the variation in the processing time of the processing systems 20A and 20B. As a result, the processing system 20B is obtained within a range of ± 2 frames corresponding to 60P with reference to the processing system 20A, so that the output of the 120P ultra-high-resolution video can be continued. In the processing systems 20A and 20B, the SDI output is performed in synchronization with the video clock of 1/60 second, so that it falls within the range of ± 2 frames.

［作用・効果］
以上のように、リアルタイム編集システム１Ｂは、第１実施形態と同様の効果に加え、さらなる高フレームレート化を図り、フルスペックＳＨＶにも対応することができる。 [Action / Effect]
As described above, the real-time editing system 1B can achieve a higher frame rate and can support a full-spec SHV in addition to the same effects as those of the first embodiment.

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 (Modification)
As described above, the embodiments of the present invention have been described in detail. However, the present invention is not limited to each of the above-described embodiments, and includes a design change or the like without departing from the gist of the present invention.

超高解像度映像の解像度、フレームレート及びサンプリング構造は、前記した実施形態に限定されないことは言うまでもない。
前記した各実施形態では、合成装置と記憶装置が別々の構成であることとして説明したが、合成装置が記憶装置を内蔵してもよい。
前記した各実施形態では、合成後の超高解像度映像をＳＤＩディスプレイに出力することとして説明したが、その出力先は特に限定されない。 It goes without saying that the resolution, frame rate, and sampling structure of the ultra-high-resolution video are not limited to the above-described embodiments.
In each of the embodiments described above, the synthesizing device and the storage device are described as having different configurations, but the synthesizing device may include the storage device.
In each of the embodiments described above, the super-high-resolution video after synthesis is output to the SDI display, but the output destination is not particularly limited.

ＳＤＩ信号の規格（ＡＲＩＢ ＳＴＤ−Ｂ５８）では、超高解像度映像を２Ｋサイズのサブストリームに分割し、このサブストリームを複数の伝送リンクにより送受信する通信方法が規定されている。サブストリームへの分割が２サンプルインタリーブという方式で行われるため、８Ｋ映像の全体を参照しなければ、サブストリームを生成できない。前記した各実施形態では、各合成装置からの出力が４Ｋの分割合成映像であるため、前記した規格に従った８Ｋ映像となっていない。そこで、４つの分割合成映像を一旦、１個のフレームメモリに蓄積し、このフレームメモリから規格に従った８Ｋ映像を出力する変換装置を併用してもよい。この変換装置は、処理が単純なため、ＦＰＧＡ（Field Programmable Gate Array）を用いて、容易に構成可能である。   The SDI signal standard (ARIB STD-B58) defines a communication method for dividing an ultra-high resolution video into 2K-size substreams and transmitting and receiving the substreams via a plurality of transmission links. Since division into sub-streams is performed by a method called two-sample interleaving, a sub-stream cannot be generated unless the entire 8K video is referred to. In each of the above-described embodiments, the output from each synthesizing device is a 4K divided synthesized image, and thus the 8K image does not conform to the above-described standard. Therefore, a conversion device that temporarily stores the four divided combined images in one frame memory and outputs an 8K image according to the standard from the frame memory may be used together. Since this conversion device has simple processing, it can be easily configured using an FPGA (Field Programmable Gate Array).

１ リアルタイム編集システム
１０ 制御装置
１００ ＣＰＵ
１０１ レンダリングジョブ生成手段
１０２ バッファ予約手段
１０３ 他領域レンダリングジョブ生成手段（第２レンダリングジョブ生成手段）
１０４ ４Ｋ縮小映像生成手段
１１０ ＳＤＩボード
１２０ １０ＧｂＥボード
２０ 合成装置
２００ ＣＰＵ
２１０ 合成プロセス
２１１ デコードジョブ生成手段
２１２ 圧縮分割素材映像読出手段
２１３ 合成手段
２１４ ２Ｋ縮小映像生成手段
２２０ デコードプロセス
２２１ デコード手段
２３０ プロセス間共有メモリ
２４０ ＳＤＩボード
２４０１ マスタＳＤＩボード
２４０２〜２４０４ スレーブＳＤＩボード
２４１ Ｓｙｎｃ端子
２４２ ＳＤＩ端子
２４３ バッファ
２４４ ＰＣＩ Ｅｘｐｒｅｓｓ
２４５ＩＮ ＬＶＤＳ入力端子
２４５ＯＵＴ ＬＶＤＳ出力端子
２４６ 問合手段
２４７ 指令手段
２４８Ｍ 同期出力手段（第１の同期出力手段）
２４８Ｓ 同期出力手段（第２の同期出力手段）
２４９ 応答手段
２５０ 光ＩＦボード
２５１ バッファ
２５２ アドレステーブル
２６０ １０ＧｂＥボード
３０ 記憶装置（ＨＤＤ）
４０ ８Ｋディスプレイ（６０Ｐ）
４０Ｂ ８Ｋディスプレイ（１２０Ｐ）
５０ ４Ｋディスプレイ 1 real-time editing system 10 control device 100 CPU
101 rendering job generating means 102 buffer reservation means 103 other area rendering job generating means (second rendering job generating means)
104 4K reduced video generation means 110 SDI board 120 10GbE board 20 Synthesizing device 200 CPU
210 Synthesizing process 211 Decoding job generating means 212 Compressed and divided material video reading means 213 Synthesizing means 214 2K reduced video generating means 220 Decoding process 221 Decoding means 230 Interprocess shared memory 240 SDI board 240 1 Master SDI board 240 2 to 240 4 Slave SDI Board 241 Sync terminal 242 SDI terminal 243 Buffer 244 PCI Express
245 IN LVDS input terminal 245 OUT LVDS output terminal 246 Query means 247 Command means 248 M synchronous output means (first synchronous output means)
248 S synchronous output means (second synchronous output means)
249 Response means 250 Optical IF board 251 Buffer 252 Address table 260 10 GbE board 30 Storage device (HDD)
408K display (60P)
40B 8K display (120P)
50 4K display

Claims (5)

超高解像度の素材映像を分割した分割領域が予め割り当てられ、前記分割領域の素材映像である分割素材映像をデコードして合成する複数の合成装置と、前記合成装置を制御する１台の制御装置と、圧縮された前記分割素材映像を記憶する記憶装置とを備えるリアルタイム編集システムであって、
前記制御装置は、
前記分割素材映像の合成を前記合成装置に指令するレンダリングジョブを生成するレンダリングジョブ生成手段、を備え、
前記合成装置は、
前記制御装置が生成したレンダリングジョブで指定された分割素材映像のデコードを指令するデコードジョブを生成するデコードジョブ生成手段と、
前記デコードジョブ生成手段が生成したデコードジョブに基づいて、前記記憶装置の分割素材映像をデコードする１以上のデコード手段と、
前記レンダリングジョブに基づいて、前記デコード手段がデコードした分割素材映像を合成する１以上の合成手段と、
合成が最も遅れている前記合成装置に合わせて、前記合成手段が合成した分割合成映像を同期して出力する出力ボードと、を備えることを特徴とするリアルタイム編集システム。 A plurality of synthesizing devices that are pre-allocated to a divided region obtained by dividing the ultra-high resolution material image, decode and synthesize the divided material image that is the material image of the divided region, and one control device that controls the synthesizing device A real-time editing system comprising a storage device for storing the compressed divided material video,
The control device includes:
Rendering job generating means for generating a rendering job for instructing the synthesizing device to synthesize the divided material video,
The synthesis device,
Decode job generating means for generating a decode job for instructing the decoding of the divided material video specified by the rendering job generated by the control device;
One or more decoding means for decoding the divided material video in the storage device based on the decoding job generated by the decoding job generating means;
One or more synthesizing means for synthesizing the divided material video decoded by the decoding means based on the rendering job;
A real-time editing system, comprising: an output board that synchronously outputs the divided composite video synthesized by the synthesizing unit in accordance with the synthesizing device that is the slowest in synthesizing. 前記出力ボードは、ＬＶＤＳによりリング接続されたＳＤＩボードであり、何れか１台の前記合成装置に備えられたＳＤＩボードがマスタＳＤＩボードとして予め設定され、他の前記合成装置に備えられたＳＤＩボードがスレーブＳＤＩボードとして予め設定され、
前記マスタＳＤＩボードは、
前記分割合成映像の次フレーム番号を各スレーブＳＤＩボードに問い合わせる問合手段と、
前記各スレーブＳＤＩボードが応答した次フレーム番号、及び、当該マスタＳＤＩボードを備える合成装置が出力予定の次フレーム番号のうち、最小となる前記次フレーム番号の前記分割合成映像の出力を指令する指令手段と、
前記指令手段から指令された次フレーム番号の前記分割素材映像を同期して出力する第１の同期出力手段と、を備え、
前記スレーブＳＤＩボードは、
前記問合手段からの問い合わせに応じて、当該スレーブＳＤＩボードを備える合成装置が出力予定の次フレーム番号を前記問合手段に応答する応答手段と、
前記指令手段から指令された次フレーム番号の前記分割素材映像を同期して出力する第２の同期出力手段と、を備えることを特徴とする請求項１に記載のリアルタイム編集システム。 The output board is an SDI board ring-connected by LVDS, and an SDI board provided in any one of the synthesizing devices is preset as a master SDI board, and an SDI board provided in another synthesizing device. Are preset as slave SDI boards,
The master SDI board includes:
Inquiry means for inquiring each slave SDI board of the next frame number of the divided composite video;
The next frame number to which each of the slave SDI boards responded, and the command to output the divided composite video of the next frame number that is the smallest of the next frame numbers to be output by the synthesizing device including the master SDI board Means,
First synchronous output means for synchronously outputting the divided material video of the next frame number instructed by the instruction means,
The slave SDI board includes:
A responding unit that responds to the inquiry from the inquiry unit, the synthesis device including the slave SDI board responds to the inquiry unit with a next frame number to be output;
2. The real-time editing system according to claim 1, further comprising: a second synchronous output unit that synchronously outputs the divided material video of the next frame number instructed by the instruction unit. 3. 前記合成装置は、
全分割領域の前記分割素材映像を格納するバッファを有し、リング接続された光ＩＦボード、をさらに備え、
前記制御装置は、
他の前記合成装置が記憶している分割素材映像を参照する場合、前記光ＩＦボードのバッファを予約するバッファ予約手段と、
前記分割素材映像をデコード及び合成して予約済みの前記バッファに格納する指令である第２レンダリングジョブを生成する第２レンダリングジョブ生成手段と、をさらに備え、
前記合成装置は、
前記デコード手段が、前記第２レンダリングジョブに基づいて、前記記憶装置の分割素材映像をデコードして前記予約済みのバッファに格納し、
前記予約済みのバッファに格納された前記分割素材映像を、他の前記合成装置が備える光ＩＦボードのバッファにＲＤＭＡ処理により格納することで、各合成装置が備える光ＩＦボードのバッファに前記全分割領域の分割素材映像が格納され、
前記合成手段が、前記第２レンダリングジョブに基づいて、前記バッファに格納された全分割領域の分割素材映像を合成することを特徴とする請求項１又は請求項２に記載のリアルタイム編集システム。 The synthesis device,
Further comprising a buffer for storing the divided material image of all divided areas, and a ring-connected optical IF board;
The control device includes:
A buffer reserving unit for reserving a buffer of the optical IF board when referring to the divided material image stored in the other synthesizing device;
A second rendering job generating means for generating a second rendering job which is a command to decode and combine the divided material video and store the divided material video in the reserved buffer,
The synthesis device,
The decoding means decodes the divided material video in the storage device based on the second rendering job, and stores the divided material video in the reserved buffer;
By storing the divided material video stored in the reserved buffer in the buffer of the optical IF board provided in the other synthesizing device by RDMA processing, the entire divided image is stored in the buffer of the optical IF board provided in each synthesizing device. The divided material video of the area is stored,
3. The real-time editing system according to claim 1, wherein the synthesizing unit synthesizes divided material videos of all the divided regions stored in the buffer based on the second rendering job. 前記合成装置は、
前記分割合成映像を縮小した分割縮小映像を生成する分割縮小映像生成手段、をさらに備え、
前記制御装置は、
前記分割領域に応じて前記分割縮小映像を並べた縮小映像を生成する縮小映像生成手段、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載のリアルタイム編集システム。 The synthesis device,
Further comprising a divided reduced image generating means for generating a divided reduced image obtained by reducing the divided combined image,
The control device includes:
4. The real-time editing system according to claim 1, further comprising: a reduced image generating unit configured to generate a reduced image in which the divided reduced images are arranged according to the divided area. 5. 偶数台の前記合成装置が、同一台数の前記合成装置で構成される処理系統に予めグループ分けされ、前記処理系統毎に時分割処理を行うことを特徴とする請求項１から請求項４の何れか一項に記載のリアルタイム編集システム。   5. The apparatus according to claim 1, wherein the even number of the synthesizing devices are grouped in advance into processing systems including the same number of the synthesizing devices, and perform time division processing for each of the processing systems. 6. A real-time editing system according to claim 1.
JP2018168530A 2018-09-10 2018-09-10 real-time editing system Active JP7184248B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018168530A JP7184248B2 (en) 2018-09-10 2018-09-10 real-time editing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018168530A JP7184248B2 (en) 2018-09-10 2018-09-10 real-time editing system

Publications (2)

Publication Number Publication Date
JP2020042125A true JP2020042125A (en) 2020-03-19
JP7184248B2 JP7184248B2 (en) 2022-12-06

Family

ID=69798170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018168530A Active JP7184248B2 (en) 2018-09-10 2018-09-10 real-time editing system

Country Status (1)

Country Link
JP (1) JP7184248B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437325A (en) * 2020-11-23 2021-03-02 杭州当虹科技股份有限公司 8KSDI signal generator implementation method
CN114302062A (en) * 2021-12-31 2022-04-08 北京中联合超高清协同技术中心有限公司 4K and 8K mixed follow-up ultra-high-definition on-site manufacturing system
CN114845151A (en) * 2022-05-09 2022-08-02 北斗星通智联科技有限责任公司 Multi-screen synchronous display method, system, terminal equipment and storage medium
CN115550709A (en) * 2022-01-07 2022-12-30 荣耀终端有限公司 Data processing method and electronic equipment
WO2023013072A1 (en) * 2021-08-06 2023-02-09 日本電信電話株式会社 Device, method, and program for combining video signals
WO2023223401A1 (en) * 2022-05-17 2023-11-23 さくら映機株式会社 Real-time editing system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010714A (en) * 2007-06-28 2009-01-15 Panasonic Corp Moving picture encoded data converter
JP2011169935A (en) * 2010-02-16 2011-09-01 Seiko Epson Corp Image processing apparatus, image processing method, and computer program
JP2012249025A (en) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> Image encoding apparatus, image encoding method, and program
JP2013141065A (en) * 2011-12-28 2013-07-18 Jvc Kenwood Corp Image pickup device and control method
JP2013218002A (en) * 2012-04-05 2013-10-24 Sharp Corp Display device
WO2018008076A1 (en) * 2016-07-05 2018-01-11 さくら映機株式会社 Real-time editing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010714A (en) * 2007-06-28 2009-01-15 Panasonic Corp Moving picture encoded data converter
JP2011169935A (en) * 2010-02-16 2011-09-01 Seiko Epson Corp Image processing apparatus, image processing method, and computer program
JP2012249025A (en) * 2011-05-26 2012-12-13 Nippon Telegr & Teleph Corp <Ntt> Image encoding apparatus, image encoding method, and program
JP2013141065A (en) * 2011-12-28 2013-07-18 Jvc Kenwood Corp Image pickup device and control method
JP2013218002A (en) * 2012-04-05 2013-10-24 Sharp Corp Display device
WO2018008076A1 (en) * 2016-07-05 2018-01-11 さくら映機株式会社 Real-time editing system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437325A (en) * 2020-11-23 2021-03-02 杭州当虹科技股份有限公司 8KSDI signal generator implementation method
WO2023013072A1 (en) * 2021-08-06 2023-02-09 日本電信電話株式会社 Device, method, and program for combining video signals
CN114302062A (en) * 2021-12-31 2022-04-08 北京中联合超高清协同技术中心有限公司 4K and 8K mixed follow-up ultra-high-definition on-site manufacturing system
CN114302062B (en) * 2021-12-31 2024-04-09 北京中联合超高清协同技术中心有限公司 4K and 8K mixed follow-up ultra-high definition field manufacturing system
CN115550709A (en) * 2022-01-07 2022-12-30 荣耀终端有限公司 Data processing method and electronic equipment
CN115550709B (en) * 2022-01-07 2023-09-26 荣耀终端有限公司 Data processing method and electronic equipment
CN114845151A (en) * 2022-05-09 2022-08-02 北斗星通智联科技有限责任公司 Multi-screen synchronous display method, system, terminal equipment and storage medium
WO2023223401A1 (en) * 2022-05-17 2023-11-23 さくら映機株式会社 Real-time editing system

Also Published As

Publication number Publication date
JP7184248B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7184248B2 (en) real-time editing system
US5900917A (en) Image composing and displaying method and apparatus
US4949169A (en) Audio-video data interface for a high speed communication link in a video-graphics display window environment
US7792412B2 (en) Multi-screen image reproducing apparatus and image reproducing method in multi-screen image reproducing apparatus
JP4312238B2 (en) Image conversion apparatus and image conversion method
US5517253A (en) Multi-source video synchronization
US5790110A (en) System and method for generating video in a computer system
CN101374233B (en) Method and apparatus for adapting video stream frame rate, and FPGA chip as well as equipment for processing video stream
JP4623069B2 (en) Information processing apparatus and method, program, and recording medium
US5940610A (en) Using prioritized interrupt callback routines to process different types of multimedia information
JP2005250445A (en) Multi-screen video playback system
US10389908B2 (en) Image processing device, image processing method, and program with reduction and enlargement scaling of image data
EP2274908A1 (en) Video multiviewer system using direct memory access (dma) registers and multi ported block ram and related method
JP4559976B2 (en) Video composition apparatus, video composition method, and video composition program
JP2000322039A (en) Display device, control device, and multiple screen display system
KR20110055011A (en) Real-time input/output module system for ultra high-definition image
CN102625086B (en) DDR2 (Double Data Rate 2) storage method and system for high-definition digital matrix
JP2002351438A (en) Image monitor system
JP6778956B2 (en) Real-time editing system
KR101562789B1 (en) Method for both routing and switching multi-channel hd/uhd videos and the apparatus thereof
JP2010048976A (en) Signal processing device and signal processing method
JP2009296410A (en) High-resolution video reproducing device
JPWO2020022101A1 (en) Image processing device and image processing method
JP2015125411A (en) Video processing device
JP2014003491A (en) Transmitter, receiver and program of broadband video signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7184248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150