JP2021197643A - Video code stream editing device and program - Google Patents

Video code stream editing device and program Download PDF

Info

Publication number
JP2021197643A
JP2021197643A JP2020103331A JP2020103331A JP2021197643A JP 2021197643 A JP2021197643 A JP 2021197643A JP 2020103331 A JP2020103331 A JP 2020103331A JP 2020103331 A JP2020103331 A JP 2020103331A JP 2021197643 A JP2021197643 A JP 2021197643A
Authority
JP
Japan
Prior art keywords
video
replacement
stream
code amount
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020103331A
Other languages
Japanese (ja)
Inventor
奈緒 中島
Nao Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2020103331A priority Critical patent/JP2021197643A/en
Publication of JP2021197643A publication Critical patent/JP2021197643A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

To reduce deterioration of quality when partially editing a video code stream.SOLUTION: A code stream editing device 1 includes: a decoder 12 that generates a pre-replacement video by decoding a GOP to be replaced including a replacement section in a pre-replacement stream; a video replacement unit 13 that replaces a video in the replacement section of the pre-replacement video with the replacement video to generate a post-replacement video; a video clipping unit 14 that generates a clipped video obtained by excluding frames that do not refer to frames after a start point frame during encoding, which are frames positioned before the start point frame of the replacement section in the display order in the post-replacement video, and calculates an upper limit of a code amount of the clipped video; an encoder 15 that encodes the clipped video with a code amount that is less than the upper limit of the code amount and generates a replacement stream; and a partial replacement unit 16 that replaces the section corresponding to the clipped video of the pre-replacement stream with the replacement stream to generate a post-replacement stream.SELECTED DRAWING: Figure 1

Description

本発明は、映像符号化ストリームの編集を行う映像符号化ストリーム編集装置及びプログラムに関する。 The present invention relates to a video-coded stream editing device and a program for editing a video-coded stream.

放送局では、そのまま番組として放送可能な完成プログラムを、AVC(Advanced Video Coding)/H.264などの映像符号化方式を用いて符号化した映像符号化ストリームの形態でファイル管理することが多い(例えば、非特許文献1参照)。完成プログラムのファイルは送出サーバに記録され、その送出時刻(放送時刻)を待つ。 At the broadcasting station, a completed program that can be broadcast as a program as it is is provided by AVC (Advanced Video Coding) / H. Files are often managed in the form of a video-coded stream encoded by a video coding method such as 264 (see, for example, Non-Patent Document 1). The file of the completed program is recorded on the sending server and waits for the sending time (broadcast time).

送出サーバに記録された完成プログラムに修正の必要な箇所が発見された場合には、その修正必要箇所のみを正しいコンテンツに差替える部分差替編集を行う。部分差替編集は、特定のカットに問題が有りこのカットのみを差替える場合や、テロップの文字に誤りが有りこのテロップが付加されたフレームのみを修正する場合などにしばしば行われる。 If a part that needs to be modified is found in the completed program recorded on the sending server, partial replacement editing is performed to replace only the part that needs to be modified with the correct content. Partial replacement editing is often performed when there is a problem with a specific cut and only this cut is replaced, or when there is an error in the character of the telop and only the frame to which this telop is added is corrected.

AVC/H.264やHEVC(High Efficiency Video Coding)/H.265などの映像符号化方式では、フレーム内予測のみを用いて符号化されたIピクチャ、片方向予測によるフレーム間予測を用いて符号化されたPピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたBピクチャにより映像符号化ストリームが構成される。フレーム間予測を用いることで符号量を低減することが可能であり、各ピクチャに割り当てる符号量はIピクチャが最も多く、Pピクチャが次に多く、Bピクチャが最も少ない。なお、符号量管理の方法としては、1フレーム当たりの符号量の上限を定める手法や、連続Nフレームの符号量平均の上限を定める手法が知られている。また、フレーム間予測を用いた符号化ストリームでは、1GOP(Iピクチャから、次のIピクチャのひとつ前のフレームまで)単位で符号量の上限を定める手法を用いることが一般的である。 AVC / H. 264 and HEVC (High Efficiency Video Coding) / H. Video coding schemes such as 265 use I-pictures encoded using only in-frame prediction, P-pictures encoded using inter-frame prediction with one-way prediction, and inter-frame prediction with bidirectional prediction. The video coded stream is composed of the B pictures encoded by the above. It is possible to reduce the code amount by using the inter-frame prediction, and the code amount assigned to each picture is the largest for the I picture, the second largest for the P picture, and the smallest for the B picture. As a method of managing the code amount, a method of determining an upper limit of the code amount per frame and a method of determining an upper limit of the code amount average of continuous N frames are known. Further, in a coded stream using inter-frame prediction, it is common to use a method of setting an upper limit of the code amount in units of 1 GOP (from the I picture to the frame immediately before the next I picture).

非特許文献1に開示されたシステムでは、表1に記載するように、完成プログラムをAVC/H.264映像符号化方式で、フレーム内予測のみを用いて符号化したIピクチャのみで映像符号化ストリームを構成している。この映像符号化ストリームは、単体での復号が可能なIピクチャのみで構成されるため、部分差替編集を行う際に映像符号化ストリームをいったん復号して再度符号化する必要がない。そのため、任意のフレームを始点、終点とした区間の部分差替編集を容易に行うことができる。また、符号化ストリームがIピクチャのみで構成されているため、各ピクチャに割り当てる符号量の上限値を均一値に設定することが可能である。例えば、最大ビットレートが600M[bps]でフレームレートが60[fps]である場合、各フレームの符号量の上限値は10Mビットである。このため、差し替え区間を符号化する際にも、各フレームの符号量を該上限値以下となるように符号化すればよく、符号量管理が容易である。 In the system disclosed in Non-Patent Document 1, as shown in Table 1, the completed program is AVC / H. In the 264 video coding method, the video coding stream is composed only of I pictures encoded by using only in-frame prediction. Since this video-coded stream is composed of only I-pictures that can be decoded by itself, it is not necessary to decode the video-coded stream once and encode it again when performing partial replacement editing. Therefore, it is possible to easily perform partial replacement editing of a section whose start point and end point are arbitrary frames. Further, since the coded stream is composed of only I pictures, it is possible to set the upper limit of the code amount assigned to each picture to a uniform value. For example, when the maximum bit rate is 600 M [bps] and the frame rate is 60 [fps], the upper limit of the code amount of each frame is 10 Mbits. Therefore, even when the replacement section is coded, the code amount of each frame may be coded so as to be equal to or less than the upper limit value, and the code amount management is easy.

このように、非特許文献1に開示されたシステムでは、編集の容易さからIピクチャのみの構造(Intra Only)を採用している。ただし、Intra Onlyは編集が容易であるが、符号化効率が低くなる。一方、片方向予測によるフレーム間予測を用いて符号化されたPピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたBピクチャを用いた構造(Long GOP(Group of Picture))は、編集の容易さには難があるが、フレーム間の相関を活用する符号化を行うため、符号化効率が高いといった利点がある。 As described above, the system disclosed in Non-Patent Document 1 adopts an I-picture-only structure (IntraOnly) for ease of editing. However, although IntraOnly is easy to edit, the coding efficiency is low. On the other hand, a structure using a P picture encoded using inter-frame prediction by one-way prediction and a B picture encoded using inter-frame prediction by two-way prediction (Long GOP (Group of Pictures)) is Although it is difficult to edit easily, it has an advantage that the coding efficiency is high because the coding is performed by utilizing the correlation between frames.

非特許文献1に開示されたシステムはHD(High Definition)映像を対象とし、AVC/H.264、Intra Only、50Mbpsで運用しているが、今後の普及が見込まれる8Kスーパーハイビジョン映像を対象とする場合には、映像信号の情報量の増加に伴い、より符号化効率の高い符号化方式、GOP構造の採用が要求される。 The system disclosed in Non-Patent Document 1 targets HD (High Definition) video, and AVC / H. It is operated at 264, IntraOnly, and 50 Mbps, but when targeting 8K super high-definition video, which is expected to become widespread in the future, a coding method with higher coding efficiency as the amount of information in the video signal increases. , Adoption of GOP structure is required.

図7に、8Kスーパーハイビジョン映像をHEVC(High Efficiency Video Coding)/H.265で、Intra Only及びLong GOPで符号化した際の、ビットレートとPSNR(Peak Signal Noise Ratio)のグラフを示す。なお、PSNRの値が高いほど画質劣化が少ない。使用した符号化対象画像は、一般社団法人映像情報メディア学会(ITE)が提供する超高精細・広色域標準動画像−Aシリーズのテストチャートである楓(図7(a))及び気動車(図7(b))である。Long GOPのGOP構造は、M=4、N=32、Temporal_ID=2とした。この図から、8Kスーパーハイビジョン映像をHEVC/H.265で符号化する場合、Intra Onlyに対してLong GOPが有利であることが確認できる。 In FIG. 7, 8K super high-definition video is shown in HEVC (High Efficiency Video Coding) / H. 265 shows a graph of bit rate and PSNR (Peak Signal Noise Radio) when encoded with Intra Only and Long GOP. The higher the PSNR value, the less the deterioration of image quality. The images to be encoded are Kaede (Fig. 7 (a)) and diesel railcar (Fig. 7 (a)), which are the test charts of the ultra-high-definition, wide color gamut standard moving image-A series provided by the Institute of Image Information and Television Engineers (ITE). FIG. 7 (b)). The GOP structure of Long GOP was M = 4, N = 32, and Temporal_ID = 2. From this figure, 8K Super Hi-Vision video is displayed in HEVC / H. When coding at 265, it can be confirmed that Long GOP is advantageous over Intra Only.

また、特許文献1には、MPEGビデオストリーム1からI又はPピクチャの直前までの第1部分ストリームを切り出し、MPEGビデオストリーム2からI又はPピクチャ以降の第2部分ストリームを切り出し、第1部分ストリームと第2部分ストリームを結合して、編集後ストリーム3を生成する技術が開示されている。より詳細には、第2部分ストリームの直前に表示されるピクチャがIピクチャである場合には、該ピクチャをフレーム内符号化ピクチャとする。また、第2部分ストリームの直前に表示されるピクチャがIピクチャでない場合には、該ピクチャの直前にあるIピクチャから該ピクチャまでの片方向フレーム間予測符号化ピクチャを順に復号化することで、該ピクチャの復号画像を得て、フレーム内符号化により再符号化したピクチャをフレーム内符号化ピクチャとする。最後に、第1部分ストリームと、第2部分ストリームとの間に、フレーム内符号化ピクチャを挿入し、連結処理を行う。 Further, in Patent Document 1, the first partial stream from the MPEG video stream 1 to immediately before the I or P picture is cut out, the second partial stream after the I or P picture is cut out from the MPEG video stream 2, and the first partial stream is cut out. Disclosed is a technique for combining the second partial stream with the second partial stream to generate the edited stream 3. More specifically, when the picture displayed immediately before the second partial stream is an I picture, the picture is regarded as an in-frame coded picture. If the picture displayed immediately before the second partial stream is not an I picture, the one-way interframe prediction coded picture from the I picture immediately before the picture to the picture is decoded in order. A decoded image of the picture is obtained, and the picture re-encoded by in-frame coding is referred to as an in-frame coded picture. Finally, an in-frame coded picture is inserted between the first partial stream and the second partial stream, and the concatenation process is performed.

特開2002−300528号公報Japanese Unexamined Patent Publication No. 2002-300258

新見、他3名、「ファイルベース制作設備の導入」、映像メディア学会誌、Vol.67、No.5、pp.374〜378、2013年Niimi, 3 others, "Introduction of file-based production equipment", Journal of the Institute of Visual Media, Vol.67, No. 5, pp.374-378, 2013

HD映像を対象とした非特許文献1のシステムでは、完成プログラムをIntra Onlyで符号化しているが、8Kスーパーハイビジョン映像などの大容量映像を対象とする場合には、符号化効率の観点からLong GOPで符号化することが求められる。 In the system of Non-Patent Document 1 for HD video, the completed program is encoded by IntraOnly, but when targeting a large-capacity video such as 8K super high-definition video, Long is used from the viewpoint of coding efficiency. Encoding with GOP is required.

しかし、Pピクチャ及びBピクチャは単独での復号が不可能なため、GOP単位ではない区間を編集する場合、編集後の符号化ストリームを正しく復号することができない。この理由を、図5を参照して説明する。図中のI,B,Pは、それぞれIピクチャ、Bピクチャ、Pピクチャを意味する。部分差替編集前の映像符号化ストリームである差替前ストリームのGOP構造が図5(a)に示すものであった場合、2フレーム目から4フレーム目はBピクチャであるため、復号する際には前方のIピクチャである1フレーム目及び後方のPピクチャである5フレーム目を参照する。10フレーム目から12フレーム目はBピクチャであるため、復号する際には前方のPピクチャである9フレーム目及び後方のPピクチャである13フレーム目を参照する。13フレーム目はPピクチャであるため、復号する際には前方のPピクチャである9フレーム目を参照する。14フレーム目から16フレーム目はBピクチャであるため、復号する際には前方のPピクチャである13フレーム目及び後方のPピクチャ又はIピクチャを参照する。 However, since the P picture and the B picture cannot be decoded independently, when editing a section other than the GOP unit, the edited coded stream cannot be correctly decoded. The reason for this will be described with reference to FIG. I, B, and P in the figure mean I picture, B picture, and P picture, respectively. When the GOP structure of the pre-replacement stream, which is the video-encoded stream before partial replacement editing, is as shown in FIG. 5A, the second to fourth frames are B pictures, so that when decoding the video. Refers to the first frame, which is the front I picture, and the fifth frame, which is the rear P picture. Since the 10th to 12th frames are B pictures, the 9th frame which is the front P picture and the 13th frame which is the rear P picture are referred to when decoding. Since the 13th frame is a P picture, the 9th frame, which is the front P picture, is referred to when decoding. Since the 14th to 16th frames are B pictures, the 13th frame, which is the front P picture, and the rear P picture or I picture are referred to when decoding.

図5(b)は、部分差替編集前の映像符号化ストリームである差替前ストリームに対して、表示順で5フレーム目から9フレーム目までのフレーム(P#5,B#6,B#7,B#8,P#9)を、差替ストリーム(I#1’,B#2’,B#3’,B#4’,P#5’)に部分差替する場合を示している。このとき、部分差替編集後の映像符号化ストリームである差替後ストリームの2フレーム目から4フレーム目まで(B#2,B#3,B#4)は、参照すべきフレームであるP#5が存在しないため、正しく復号することができない。同様に、差替後ストリームの10フレーム目から13フレーム目まで(B#10,B#11,B#12,P#13)は、参照すべきフレームであるP#9が存在しないため、正しく復号することができない。また、13フレーム目(P#13)を正しく復号することができないため、13フレーム目を参照先フレームとする14フレーム目から16フレーム目まで(B#14,B#15,B#16)についても、正しく復号することができない。 FIG. 5B shows frames (P # 5, B # 6, B) from the 5th frame to the 9th frame in the display order with respect to the pre-replacement stream, which is the video-encoded stream before partial replacement editing. # 7, B # 8, P # 9) is partially replaced with a replacement stream (I # 1', B # 2', B # 3', B # 4', P # 5'). ing. At this time, the second to fourth frames (B # 2, B # 3, B # 4) of the post-replacement stream, which is the video-encoded stream after partial replacement editing, are frames to be referred to. Since # 5 does not exist, it cannot be decoded correctly. Similarly, the 10th to 13th frames (B # 10, B # 11, B # 12, P # 13) of the replaced stream are correct because P # 9, which is a frame to be referred to, does not exist. Cannot be decrypted. In addition, since the 13th frame (P # 13) cannot be decoded correctly, the 14th to 16th frames (B # 14, B # 15, B # 16) with the 13th frame as the reference frame are However, it cannot be decrypted correctly.

そこで、編集後の符号化ストリームを正しく復号可能なものとする手法を、図6を参照して説明する。図6は、部分差替編集前の映像符号化ストリームである差替前ストリームに対して、表示順で5フレーム目から9フレーム目までのフレーム(P#5,B#6,B#7,B#8,P#9)を、差替ストリーム(I#1’,B#2’,B#3’,B#4’,P#5’)に部分差替する場合を示している。まず、部分差替区間を含むGOPをGOP単位で復号し、差替前映像を生成する。その後、差替前映像を編集し、5フレーム目から9フレーム目(#5,#6,#7,#8,#9)を差替映像(#1’,#2’,#3’,#4’,#5’)に差替えて差替後映像を生成する。なお、差替えるべきデータを映像符号化ストリーム(差替ストリーム)として与えられた場合には、図6に示すように差替ストリームを復号して差替映像を生成する必要がある。この方法によれば、差替後映像を正しく符号化することができる。しかしながら、既に符号化劣化の生じている差替前ストリームをいったん復号し、再度符号化するため、差替後ストリームの品質がさらに悪化してしまう。 Therefore, a method for correctly decoding the edited coded stream will be described with reference to FIG. FIG. 6 shows the frames (P # 5, B # 6, B # 7, P # 5, B # 6, B # 7, from the 5th frame to the 9th frame in the display order with respect to the pre-replacement stream, which is the video-encoded stream before partial replacement editing. B # 8, P # 9) is partially replaced with a replacement stream (I # 1', B # 2', B # 3', B # 4', P # 5'). First, the GOP including the partial replacement section is decoded in GOP units, and the pre-replacement video is generated. After that, the pre-replacement video is edited, and the 5th to 9th frames (# 5, # 6, # 7, # 8, # 9) are replaced with the replacement video (# 1', # 2', # 3', Replace with # 4', # 5') to generate the post-replacement video. When the data to be replaced is given as a video coded stream (replacement stream), it is necessary to decode the replacement stream to generate the replacement video as shown in FIG. According to this method, the image after replacement can be correctly encoded. However, since the pre-replacement stream that has already undergone coding deterioration is once decoded and re-encoded, the quality of the post-replacement stream is further deteriorated.

また、特許文献1に開示された技術では、上述したフレーム内符号化ピクチャを生成することにより、映像符号化ストリームを切り出して連結させることができるが、映像符号化ストリームの部分差替編集を行うことができないという問題があった。 Further, in the technique disclosed in Patent Document 1, the video coded stream can be cut out and concatenated by generating the above-mentioned in-frame coded picture, but the video coded stream is partially replaced and edited. There was a problem that it could not be done.

かかる事情に鑑みてなされた本発明の目的は、映像符号化ストリームの任意の区間を部分編集でき、且つ部分編集による品質の劣化を低減することが可能な映像符号化ストリーム編集装置、及びプログラムを提供することにある。 An object of the present invention made in view of such circumstances is to provide a video-coded stream editing device and a program capable of partially editing an arbitrary section of a video-coded stream and reducing quality deterioration due to the partial editing. To provide.

上記課題を解決するため、本発明に係る映像符号化ストリーム編集装置は、フレーム間予測を用いて符号化された映像符号化ストリームに対して部分差替編集を行い、部分差替編集前の映像符号化ストリームである差替前ストリームから、部分差替編集後の映像符号化ストリームである差替後ストリームを生成する映像符号化ストリーム編集装置であって、前記差替前ストリームのうち差替区間を含む差替対象GOPを復号して差替前映像を生成するデコーダと、前記差替前映像の前記差替区間の映像を差替映像に入れ換えて差替後映像を生成する映像差替部と、前記差替後映像のうち、前記差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に前記始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成するとともに、該切出映像の符号量上限値を算出する映像切出部と、前記符号量上限値以下の符号量で前記切出映像を符号化して、差替ストリームを生成するエンコーダと、前記差替前ストリームの前記切出映像に該当する区間を前記差替ストリームに差替えて、前記差替後ストリームを生成する部分差替部と、を備えることを特徴とする。 In order to solve the above problems, the video coded stream editing device according to the present invention performs partial replacement editing on a video coded stream encoded by using inter-frame prediction, and performs partial replacement editing on the video before partial replacement editing. A video coded stream editing device that generates a post-replacement stream, which is a video coded stream after partial replacement editing, from a pre-replacement stream, which is a coded stream, and is a replacement section of the pre-replacement stream. A decoder that decodes the replacement target GOP including the And, among the post-replacement video, the cut-out video excluding the frames that are located before the start point frame of the replacement section in the display order and do not refer to the frames after the start point frame at the time of encoding. And an encoder that encodes the cutout video with a code amount equal to or less than the code amount upper limit value to generate a replacement stream. , The section corresponding to the cut-out image of the pre-replacement stream is replaced with the replacement stream, and a partial replacement unit for generating the post-replacement stream is provided.

さらに、本発明に係る映像符号化ストリーム編集装置において、前記符号量上限値は、予め設定された1GOPの符号量の上限値から、前記差替後映像のうち前記映像切出部により切出されなかった映像に対応する差替前ストリームの符号量を引いた符号量であることを特徴とする。 Further, in the video coding stream editing apparatus according to the present invention, the code amount upper limit value is cut out from the preset upper limit value of the code amount of 1 GOP by the video cutout portion of the replacement video. The feature is that the code amount is obtained by subtracting the code amount of the pre-replacement stream corresponding to the video that has not been replaced.

さらに、本発明に係る映像符号化ストリーム編集装置において、前記符号量上限値は、前記差替対象GOPの符号量から、前記差替後映像のうち前記映像切出部により切出されなかった映像に対応する差替前ストリームの符号量を引いた符号量であることを特徴とする。 Further, in the video coding stream editing apparatus according to the present invention, the upper limit of the code amount is the image not cut out from the code amount of the replacement target GOP by the video cutting portion of the replaced video. It is characterized in that it is a code amount obtained by subtracting the code amount of the stream before replacement corresponding to.

さらに、本発明に係る映像符号化ストリーム編集装置において、前記映像切出部は、前記差替区間を含むGOPの、前記差替区間の前記始点フレームのピクチャタイプを識別し、該ピクチャタイプがIピクチャである場合には、前記差替後映像のうち、前記始点フレームから最終フレームまでを前記切出映像とし、該ピクチャタイプがIピクチャでない場合には、前記差替後映像のうち、表示順で前記始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレームから最終フレームまでを前記切出映像とすることを特徴とする。 Further, in the video-coded stream editing apparatus according to the present invention, the video cutting unit identifies the picture type of the start point frame of the replacement section of the GOP including the replacement section, and the picture type is I. If it is a picture, the cutout image is taken from the start point frame to the final frame of the replaced images, and if the picture type is not I-picture, the display order of the replaced images is displayed. It is characterized in that the cut-out image is from the frame immediately after the P picture or the I picture located immediately in front of the start point frame to the final frame.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記映像符号化ストリーム編集装置として機能させることを特徴とする。 Further, in order to solve the above-mentioned problems, the program according to the present invention is characterized in that the computer functions as the above-mentioned video-coded stream editing device.

本発明によれば、映像符号化ストリームの任意のフレームを始点、終点とした区間を部分編集することができる。また、映像符号化ストリームを部分編集する際の品質劣化を低減することができる。 According to the present invention, it is possible to partially edit a section having an arbitrary frame as a start point and an end point of a video-coded stream. In addition, quality deterioration when partially editing the video-coded stream can be reduced.

本発明の一実施形態に係る映像符号化ストリーム編集装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the video coding stream editing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像符号化ストリーム編集装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the video coding stream editing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像符号化ストリーム編集装置の処理の第1の具体例を説明する図である。It is a figure explaining the 1st specific example of the processing of the video coding stream editing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る映像符号化ストリーム編集装置の処理の第2の具体例を説明する図である。It is a figure explaining the 2nd specific example of the processing of the video coding stream editing apparatus which concerns on one Embodiment of this invention. 編集後の符号化ストリームを正しく復号することができない例を説明する図である。It is a figure explaining an example that the coded stream after editing cannot be correctly decoded. 編集後の符号化ストリームを正しく復号可能なものとする手法を説明する図である。It is a figure explaining the technique which makes it possible to correctly decode the coded stream after editing. 8Kスーパーハイビジョン映像を符号化した際における、ビットレートに対するPSNRを示すグラフである。It is a graph which shows the PSNR with respect to the bit rate at the time of encoding the 8K super high definition video.

以下、本発明の一実施形態について、図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図1に、本発明の一実施形態に係る映像符号化ストリーム編集装置1の構成例を示す。図1に示す映像符号化ストリーム編集装置1は、差替位置指定部11と、デコーダ12と、映像差替部13と、映像切出部14と、エンコーダ15と、部分差替部16と、を備える。 FIG. 1 shows a configuration example of the video-coded stream editing device 1 according to the embodiment of the present invention. The video coding stream editing device 1 shown in FIG. 1 includes a replacement position designation unit 11, a decoder 12, a video replacement unit 13, a video cutout unit 14, an encoder 15, a partial replacement unit 16, and the like. To prepare for.

映像符号化ストリーム編集装置1は、フレーム間予測を用いて符号化された映像符号化ストリームの一部を別のストリームに差替える部分差替編集を行う装置である。以下の説明において、部分差替編集前の映像符号化ストリームを「差替前ストリーム」と称し、部分差替編集後の映像符号化ストリームを「差替後ストリーム」と称する。映像符号化ストリームはフレーム間予測を用いて符号化されているため、GOP構造はLong GOPとなる。ただし、本発明はClosed GOPを対象とし、Open GOPは対象外とする。 The video-coded stream editing device 1 is a device that performs partial replacement editing in which a part of a video-coded stream encoded by using inter-frame prediction is replaced with another stream. In the following description, the video-coded stream before partial replacement editing is referred to as "pre-replacement stream", and the video-coded stream after partial replacement editing is referred to as "post-replacement stream". Since the video-coded stream is encoded using inter-frame prediction, the GOP structure is Long GOP. However, the present invention targets the Closed GOP and excludes the Open GOP.

送出サーバ20は、差替前ストリームを映像符号化ストリーム編集装置1のデコーダ12、部分差替部16、及び映像切出部14に送信する。また、送出サーバ20は、部分差替部16から、差替後ストリームを受信する。 The transmission server 20 transmits the pre-replacement stream to the decoder 12, the partial replacement unit 16, and the video cutting unit 14 of the video coding stream editing device 1. Further, the transmission server 20 receives the replacement stream from the partial replacement unit 16.

差替位置指定部11は、映像符号化ストリーム編集装置1の操作者により部分差替編集の始点及び終点が指定されると、部分差替編集の始点及び終点を示す始点・終点情報を生成する。そして、差替位置指定部11は、始点・終点情報をデコーダ12、映像差替部13、映像切出部14、及び部分差替部16に出力する。始点及び終点の指定は、例えばストリーム内のタイムコードや、表示順のフレーム番号を用いて指定することができる。また、映像符号化ストリームの任意の2枚フレームをそれぞれ始点、終点として指定することができ、始点及び終点で設定される差替区間はGOP単位でなくてもよい。 When the start point and end point of partial replacement editing are specified by the operator of the video coding stream editing device 1, the replacement position designation unit 11 generates start point / end point information indicating the start point and end point of partial replacement editing. .. Then, the replacement position designation unit 11 outputs the start point / end point information to the decoder 12, the video replacement unit 13, the video cutting unit 14, and the partial replacement unit 16. The start point and end point can be specified by using, for example, a time code in the stream or a frame number in the display order. Further, any two frames of the video-coded stream can be designated as the start point and the end point, respectively, and the replacement section set at the start point and the end point does not have to be in GOP units.

デコーダ12は、差替位置指定部11から入力された始点・終点情報に基づいて、送出サーバ20から入力された差替前ストリームのうち、始点及び終点を含む差替対象GOP(すなわち、差替区間を含むGOPであり、複数のGOPであってもよい)を復号して差替前映像(差替対象GOPの復号映像)を生成する。そして、デコーダ12は、生成した差替前映像を映像差替部13に出力する。またデコーダ12は、復号時に計測される、差替対象GOPに属する各フレームの符号量を、映像切出部14に出力する。 The decoder 12 is a replacement target GOP (that is, replacement) including the start point and the end point of the pre-replacement stream input from the transmission server 20 based on the start point / end point information input from the replacement position designation unit 11. A GOP including an interval, which may be a plurality of GOPs) is decoded to generate a pre-replacement video (decoded video of the replacement target GOP). Then, the decoder 12 outputs the generated pre-replacement video to the video replacement unit 13. Further, the decoder 12 outputs the code amount of each frame belonging to the replacement target GOP, which is measured at the time of decoding, to the video cutting unit 14.

映像差替部13は、映像符号化ストリーム編集装置1の周辺機器である編集機、録再機などから差替映像を取得する。また、映像差替部13は、デコーダ12から差替前映像を取得する。そして、映像差替部13は、差替位置指定部11から入力された始点・終点情報に基づいて、差替前映像の始点から終点(差替区間)の映像を差替映像に入れ換えて差替後映像を生成する。映像差替部13は、生成した差替後映像を映像切出部14に出力する。 The video replacement unit 13 acquires the replacement video from an editing machine, a recording / replaying machine, etc., which are peripheral devices of the video coding stream editing device 1. Further, the video replacement unit 13 acquires the pre-replacement video from the decoder 12. Then, the video replacement unit 13 replaces the video from the start point to the end point (replacement section) of the pre-replacement video with the replacement video based on the start point / end point information input from the replacement position designation unit 11 and makes a difference. Generate post-replacement video. The video replacement unit 13 outputs the generated post-replacement video to the video cutting unit 14.

映像切出部14は、映像差替部13から入力された差替後映像のうち、差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成する。そして、映像切出部14は、生成した切出映像をエンコーダ15に出力する。また映像切出部14は、切出映像の符号量上限値をエンコーダ15に出力する。映像切出部14の処理の詳細については、後述する。 The video cutting unit 14 is a frame of the post-replacement video input from the video replacement unit 13 that is located before the start point frame of the replacement section in the display order, and is after the start point frame at the time of encoding. Generates a cutout video that excludes frames that do not refer to frames. Then, the video cutting unit 14 outputs the generated cutout video to the encoder 15. Further, the video cutting unit 14 outputs the code amount upper limit value of the cut video to the encoder 15. The details of the processing of the image cutting unit 14 will be described later.

エンコーダ15は、映像切出部14から入力された切出映像を、映像切出部14から入力された符号量上限値以下の符号量で符号化して、差替ストリームを生成する。そして、エンコーダ15は、生成した差替ストリームを部分差替部16に出力する。差替ストリームの復号順で先頭のフレームは、Iピクチャとなる。 The encoder 15 encodes the cutout video input from the video cutout unit 14 with a code amount equal to or less than the code amount upper limit value input from the video cutout unit 14 to generate a replacement stream. Then, the encoder 15 outputs the generated replacement stream to the partial replacement unit 16. The first frame in the decoding order of the replacement stream is an I picture.

部分差替部16は、送出サーバ20から受信した差替前ストリームの切出映像に該当する区間を、エンコーダ15から入力された差替ストリームに差替えて差替後ストリームを生成する。そして、部分差替部16は、生成した差替後ストリームを送出サーバ20に送信する。 The partial replacement unit 16 replaces the section corresponding to the cut-out video of the pre-replacement stream received from the transmission server 20 with the replacement stream input from the encoder 15 to generate the post-replacement stream. Then, the partial replacement unit 16 transmits the generated post-replacement stream to the transmission server 20.

図2は、映像符号化ストリーム編集装置1の動作例を示すフローチャートである。図3及び図4は、映像符号化ストリーム編集装置1の処理の具体例を説明する図である。図2から図4を参照して、映像符号化ストリーム編集装置1の動作について説明する。なお、図3及び図4において、フレームのカウントは表示順で行うものとする。すなわち、図3及び図4中のフレーム番号は表示順番号であるPOC(Picture Order Count)を意味するものとする。 FIG. 2 is a flowchart showing an operation example of the video-coded stream editing device 1. 3 and 4 are diagrams illustrating a specific example of the processing of the video-coded stream editing device 1. The operation of the video-coded stream editing device 1 will be described with reference to FIGS. 2 to 4. In addition, in FIG. 3 and FIG. 4, the frames are counted in the display order. That is, the frame numbers in FIGS. 3 and 4 mean POC (Picture Order Count), which is a display order number.

映像符号化ストリーム編集装置1は、差替位置指定部11により、差替位置を指定する(ステップS101)。図3に示す例では、送出サーバ20から受信した差替前ストリームに対して、第nGOPの7フレーム目から10フレーム目の部分差替編集を行う。この場合、差替位置指定部11は、第nGOPの7フレーム目及び10フレーム目を示す情報を始点・終点情報として生成する。図4に示す例では、送出サーバ20から受信した差替前ストリームに対して、第nGOPの1フレーム目から8フレーム目の部分差替編集を行う。この場合、差替位置指定部11は、第nGOPの1フレーム目及び8フレーム目を示す情報を始点・終点情報として生成する。 The video coded stream editing device 1 designates the replacement position by the replacement position designation unit 11 (step S101). In the example shown in FIG. 3, partial replacement editing of the 7th to 10th frames of the nGOP is performed on the pre-replacement stream received from the transmission server 20. In this case, the replacement position designation unit 11 generates information indicating the 7th and 10th frames of the nGOP as start point / end point information. In the example shown in FIG. 4, the partial replacement edit of the first to eighth frames of the nGOP is performed on the pre-replacement stream received from the transmission server 20. In this case, the replacement position designation unit 11 generates information indicating the first frame and the eighth frame of the nGOP as start point / end point information.

次に、映像符号化ストリーム編集装置1は、デコーダ12により、差替対象GOPを復号する際に、前後フレームを参照するために差替対象GOPのストリームをバッファに記憶する。そして、バッファの残量を計測することにより、差替対象GOPに属する各フレームの符号量を取得する(ステップS102)。そして、デコーダ12により、差替対象GOPを復号して差替前映像を生成する(ステップS103)。図3及び図4に示す例では、デコーダ12は第nGOPを復号して差替前映像を生成する。 Next, the video-coded stream editing device 1 stores the stream of the replacement target GOP in the buffer in order to refer to the previous and next frames when the replacement target GOP is decoded by the decoder 12. Then, by measuring the remaining amount of the buffer, the code amount of each frame belonging to the replacement target GOP is acquired (step S102). Then, the decoder 12 decodes the replacement target GOP and generates the pre-replacement video (step S103). In the example shown in FIGS. 3 and 4, the decoder 12 decodes the nGOP to generate the pre-replacement video.

次に、映像符号化ストリーム編集装置1は、映像差替部13により、差替映像を取得し、差替前映像の差替区間の映像を差替映像に入れ換えて、差替後映像を生成する(ステップS104)。図3に示す例では、映像差替部13は、差替映像として#1’〜#4’を取得する。図4に示す例では、映像差替部13は、差替映像として#1’〜#8’を取得する。 Next, the video coding stream editing device 1 acquires the replacement video by the video replacement unit 13, replaces the video in the replacement section of the pre-replacement video with the replacement video, and generates the post-replacement video. (Step S104). In the example shown in FIG. 3, the video replacement unit 13 acquires # 1'to # 4'as replacement video. In the example shown in FIG. 4, the video replacement unit 13 acquires # 1'to # 8'as replacement video.

次に、映像符号化ストリーム編集装置1は、映像切出部14により、差替区間を含むGOPのGOP構造を確認し、差替区間の始点フレームのピクチャタイプを識別する。映像切出部14は、差替区間の始点フレームのピクチャタイプがIピクチャである場合には(ステップS105−Yes)、差替後映像のうち、始点フレームから最終フレームまでを切出映像とする(ステップS106)。図4に示す例では、差替区間の始点フレーム(I#1)のピクチャタイプがIピクチャであるため、映像切出部14は、差替後映像の全フレーム(1フレーム目(#1’)から最終フレーム(#12)まで)を切出映像とする。 Next, the video coding stream editing device 1 confirms the GOP structure of the GOP including the replacement section by the video cutting unit 14, and identifies the picture type of the start point frame of the replacement section. When the picture type of the start point frame of the replacement section is I-picture (step S105-Yes), the video cutout unit 14 sets the cutout video from the start point frame to the final frame of the replaced video. (Step S106). In the example shown in FIG. 4, since the picture type of the start point frame (I # 1) of the replacement section is I-picture, the video cutout portion 14 is used for all frames of the replaced video (first frame (# 1'). ) To the final frame (# 12)) is used as the cutout video.

一方、映像切出部14は、差替区間の始点フレームのピクチャタイプがPピクチャ又はBピクチャである場合には(ステップS105−No)、差替後映像のうち、差替前ストリームの表示順(POC順)で始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレーム位置(POC)を特定する。そして、差替後映像のうち、先に特定したフレーム位置(POC)に該当するフレームから最終フレームまでを切出映像とする(ステップS107)。図3に示す例では、差替区間の始点フレーム(B#7)のピクチャタイプがBピクチャであるため、映像切出部14は、始点フレーム(B#7)の前方の直近に位置するPピクチャ(P#5)の1枚後のフレーム位置(6フレーム目)を特定する。そして、差替後映像のうち、6フレーム目(#6)から最終フレーム(#12)までを切出映像とする。 On the other hand, when the picture type of the start point frame of the replacement section is P picture or B picture (step S105-No), the video cutting unit 14 is in the display order of the pre-replacement stream among the post-replacement videos. In (POC order), the frame position (POC) immediately after the P picture or I picture located in front of the start point frame is specified. Then, among the replaced images, the cut-out image is taken from the frame corresponding to the previously specified frame position (POC) to the final frame (step S107). In the example shown in FIG. 3, since the picture type of the start point frame (B # 7) of the replacement section is B picture, the video cutout portion 14 is P located immediately in front of the start point frame (B # 7). The frame position (sixth frame) after one picture (P # 5) is specified. Then, among the images after replacement, the 6th frame (# 6) to the final frame (# 12) are taken as the cutout images.

次に、映像符号化ストリーム編集装置1は、映像切出部14により、差替後映像のうち映像切出部14により切出されなかった映像に対応する差替前ストリームの符号量Yビットを算出する。ステップS106の処理を行った場合には、映像切出部14により差替後映像の全てが切り出されるため、Y=0ビットとなる。一方、ステップS107の処理を行った場合には、映像切出部14により、差替前ストリームの先頭フレームから、表示順(POC順)で始点フレームの前方の直近に位置するPピクチャ又はIピクチャのフレームまでの符号量を算出する。図3に示す例では、差替前ストリームの先頭フレーム(I#1)から、表示順(POC順)で始点フレームの前方の直近に位置するPピクチャのフレーム(P#5)までの符号量を算出する。 Next, the video coding stream editing device 1 uses the video cutting unit 14 to obtain the code amount Y bit of the pre-replacement stream corresponding to the video not cut out by the video cutting unit 14 among the replaced videos. calculate. When the process of step S106 is performed, the entire image after replacement is cut out by the video cutting unit 14, so that Y = 0 bit. On the other hand, when the process of step S107 is performed, the P picture or I picture located immediately before the start point frame in the display order (POC order) from the first frame of the stream before replacement by the video cutting unit 14. Calculate the amount of code up to the frame of. In the example shown in FIG. 3, the code amount from the first frame (I # 1) of the stream before replacement to the frame (P # 5) of the P picture located immediately before the start point frame in the display order (POC order). Is calculated.

そして、映像符号化ストリーム編集装置1は、映像切出部14により、切出映像の符号量上限値を算出する(ステップS108)。切出映像の符号量上限値は、予め設定された1GOPの符号量の上限値X1ビットから、上記Yビットを引いた符号量である。あるいは、切出映像の符号量上限値は、差替対象GOPの符号量X2ビットから、上記Yビットを引いた符号量である。差替対象GOPの符号量X2ビットは、ステップS103で算出した差替対象GOPに属する各フレームの符号量を、合計した値である。 Then, the video coding stream editing device 1 calculates the code amount upper limit value of the cutout video by the video cutting unit 14 (step S108). The upper limit of the code amount of the cut-out video is a code amount obtained by subtracting the Y bit from the preset upper limit value X1 bit of the code amount of 1 GOP. Alternatively, the upper limit of the code amount of the cut-out video is the code amount obtained by subtracting the Y bit from the code amount X2 bits of the replacement target GOP. The code amount X2 bit of the replacement target GOP is a value obtained by totaling the code amounts of the frames belonging to the replacement target GOP calculated in step S103.

次に、映像符号化ストリーム編集装置1は、エンコーダ15により、切出映像の符号量上限値を(X1−Y)ビット又は(X2−Y)ビットとし、該符号量上限値以下の符号量で切出映像を符号化して、差替ストリームを生成する(ステップS109)。その際、図3に示すように、差替ストリームの復号順で先頭のフレームをIピクチャとする。また、差替ストリームの表示順で最終のフレームをPピクチャ又はIピクチャとする。差替ストリームの他のピクチャタイプは任意であるが、Iピクチャが増えると符号化効率が低下するため、Bピクチャ又はPピクチャとするのが好適である。なお、予め設定された1GOPあたりの符号量の上限値X1のほうが、実際の差替対象GOPの符号量X2よりも大きいと考えられる。そのため、運用上X1の値が設定される場合には、切出映像の符号量上限値を(X1−Y)ビットとした方が、(X2−Y)ビットとするよりも、符号化による劣化を少なくすることができる。 Next, in the video coded stream editing device 1, the encoder 15 sets the upper limit of the code amount of the cutout video to (X1-Y) bits or (X2-Y) bits, and the code amount is equal to or less than the upper limit of the code amount. The cutout video is encoded to generate a replacement stream (step S109). At that time, as shown in FIG. 3, the first frame in the decoding order of the replacement stream is an I picture. Further, the last frame in the display order of the replacement stream is a P picture or an I picture. Other picture types of the replacement stream are arbitrary, but as the number of I pictures increases, the coding efficiency decreases, so it is preferable to use B pictures or P pictures. It is considered that the preset upper limit value X1 of the code amount per 1 GOP is larger than the code amount X2 of the actual replacement target GOP. Therefore, when the value of X1 is set in operation, it is better to set the upper limit of the code amount of the cutout image to the (X1-Y) bit than to set it to the (X2-Y) bit. Can be reduced.

次に、映像符号化ストリーム編集装置1は、部分差替部16により、差替前ストリームの切出映像に該当する区間を差替ストリームに差替えて差替後ストリームを生成する(ステップS110)。図3に示す例では、差替後ストリームの第nGOPについて、最初の5フレーム(I#1,B#2,B#3,B#4,P#5)は差替前ストリームと同一である。よって、これらのフレームに関しては、再符号化による品質劣化が生じることはない。 Next, the video-coded stream editing device 1 replaces the section corresponding to the cut-out video of the pre-replacement stream with the replacement stream by the partial replacement unit 16 to generate the post-replacement stream (step S110). In the example shown in FIG. 3, for the nGOP of the replacement stream, the first 5 frames (I # 1, B # 2, B # 3, B # 4, P # 5) are the same as the pre-replacement stream. .. Therefore, with respect to these frames, quality deterioration due to recoding does not occur.

以上、映像符号化ストリーム編集装置1について説明したが、映像符号化ストリーム編集装置1として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、映像符号化ストリーム編集装置1の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。 Although the video coded stream editing device 1 has been described above, it is also possible to use a computer to function as the video coded stream editing device 1. Such a computer stores a program describing processing contents that realize each function of the video coding stream editing device 1 in the storage unit of the computer, and the CPU of the computer reads and executes this program. Can be realized with.

また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD−ROMやDVD−ROMなどの記録媒体であってもよい。 The program may also be recorded on a computer-readable medium. It can be installed on a computer using a computer-readable medium. Here, the computer-readable medium on which the program is recorded may be a non-transient recording medium. The non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.

上述したように、本発明においては、GOP構造がLong GOPである符号化ストリームに対して部分差替編集を施す際に、表示順で始点フレームより前に位置するフレームのうち、始点フレーム以降のフレームを参照しないフレームについては、元の編集前の映像符号化ストリームをそのまま利用する。よって、本発明によれば、映像符号化ストリームの部分編集を行っても、再符号化による画質劣化を低減することが可能となる。また、切出映像を符号量上限値以下の符号量で符号化するため、符号量制約に反することなく別のコンテンツ内容に差替えることができ、符号量管理が容易となる。 As described above, in the present invention, when performing partial replacement editing on a coded stream whose GOP structure is Long GOP, among the frames located before the start point frame in the display order, after the start point frame. For frames that do not refer to the frame, the original unedited video coded stream is used as it is. Therefore, according to the present invention, it is possible to reduce the deterioration of image quality due to recoding even if the video coding stream is partially edited. Further, since the cut-out video is encoded with a code amount equal to or less than the code amount upper limit value, it can be replaced with another content content without violating the code amount constraint, and the code amount management becomes easy.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and modifications can be made without departing from the scope of claims. For example, it is possible to combine a plurality of the constituent blocks described in the configuration diagram of the embodiment into one, or to divide one constituent block into one.

1 映像符号化ストリーム編集装置
11 差替位置指定部
12 デコーダ
13 映像差替部
14 映像切出部
15 エンコーダ
16 部分差替部
20 送出サーバ
1 Video coded stream editing device 11 Replacement position specification unit 12 Decoder 13 Video replacement unit 14 Video cutout unit 15 Encoder 16 Partial replacement unit 20 Sending server

Claims (5)

フレーム間予測を用いて符号化された映像符号化ストリームに対して部分差替編集を行い、部分差替編集前の映像符号化ストリームである差替前ストリームから、部分差替編集後の映像符号化ストリームである差替後ストリームを生成する映像符号化ストリーム編集装置であって、
前記差替前ストリームのうち差替区間を含む差替対象GOPを復号して差替前映像を生成するデコーダと、
前記差替前映像の前記差替区間の映像を差替映像に入れ換えて差替後映像を生成する映像差替部と、
前記差替後映像のうち、前記差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に前記始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成するとともに、該切出映像の符号量上限値を算出する映像切出部と、
前記符号量上限値以下の符号量で前記切出映像を符号化して、差替ストリームを生成するエンコーダと、
前記差替前ストリームの前記切出映像に該当する区間を前記差替ストリームに差替えて、前記差替後ストリームを生成する部分差替部と、
を備えることを特徴とする、映像符号化ストリーム編集装置。
Partial replacement editing is performed on the video coded stream encoded using motion compensation, and the video code after partial replacement editing is performed from the pre-replacement stream, which is the video coding stream before partial replacement editing. It is a video coded stream editing device that generates a post-replacement stream, which is a converted stream.
A decoder that decodes the replacement target GOP including the replacement section of the pre-replacement stream to generate the pre-replacement video, and
A video replacement unit that replaces the video in the replacement section of the pre-replacement video with the replacement video to generate the post-replacement video.
Among the post-replacement images, a cut-out image is generated excluding frames that are located before the start point frame of the replacement section in the display order and do not refer to frames after the start point frame at the time of encoding. At the same time, the video cutout unit that calculates the upper limit value of the code amount of the cutout video and
An encoder that encodes the cutout video with a code amount equal to or less than the code amount upper limit value to generate a replacement stream.
A partial replacement unit that generates the post-replacement stream by replacing the section corresponding to the cut-out video of the pre-replacement stream with the replacement stream.
A video-coded stream editing device, characterized in that it comprises.
前記符号量上限値は、予め設定された1GOPの符号量の上限値から、前記差替後映像のうち前記映像切出部により切出されなかった映像に対応する差替前ストリームの符号量を引いた符号量であることを特徴とする、請求項1に記載の映像符号化ストリーム編集装置。 The code amount upper limit is the code amount of the pre-replacement stream corresponding to the video not cut out by the video cutout portion of the post-replacement video from the preset upper limit of the code amount of 1 GOP. The video coded stream editing device according to claim 1, wherein the code amount is subtracted. 前記符号量上限値は、前記差替対象GOPの符号量から、前記差替後映像のうち前記映像切出部により切出されなかった映像に対応する差替前ストリームの符号量を引いた符号量であることを特徴とする、請求項1に記載の映像符号化ストリーム編集装置。 The code amount upper limit value is a code obtained by subtracting the code amount of the pre-replacement stream corresponding to the image of the post-replacement video that was not cut out by the video cutting unit from the code amount of the replacement target GOP. The video coded stream editing apparatus according to claim 1, wherein the image is a quantity. 前記映像切出部は、前記差替区間を含むGOPの、前記差替区間の前記始点フレームのピクチャタイプを識別し、
該ピクチャタイプがIピクチャである場合には、前記差替後映像のうち、前記始点フレームから最終フレームまでを前記切出映像とし、
該ピクチャタイプがIピクチャでない場合には、前記差替後映像のうち、表示順で前記始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレームから最終フレームまでを前記切出映像とする
ことを特徴とする、請求項1から3のいずれか一項に記載の映像符号化ストリーム編集装置。
The video cutout portion identifies the picture type of the start point frame of the replacement section of the GOP including the replacement section.
When the picture type is an I picture, the cutout video is defined from the start point frame to the final frame of the replaced video.
If the picture type is not an I picture, the P picture or the frame one after the I picture located closest to the front of the start point frame in the display order to the final frame of the replaced video is cut off. The video-encoded stream editing apparatus according to any one of claims 1 to 3, wherein the video is output.
コンピュータを、請求項1から4のいずれか一項に記載の映像符号化ストリーム編集装置として機能させるためのプログラム。 A program for operating a computer as the video-coded stream editing device according to any one of claims 1 to 4.
JP2020103331A 2020-06-15 2020-06-15 Video code stream editing device and program Pending JP2021197643A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020103331A JP2021197643A (en) 2020-06-15 2020-06-15 Video code stream editing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020103331A JP2021197643A (en) 2020-06-15 2020-06-15 Video code stream editing device and program

Publications (1)

Publication Number Publication Date
JP2021197643A true JP2021197643A (en) 2021-12-27

Family

ID=79196012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020103331A Pending JP2021197643A (en) 2020-06-15 2020-06-15 Video code stream editing device and program

Country Status (1)

Country Link
JP (1) JP2021197643A (en)

Similar Documents

Publication Publication Date Title
JP6486421B2 (en) Video data multiplexing method and apparatus, and demultiplexing method and apparatus for identifying reproduction status of video data
US6674796B1 (en) Statistical multiplexed video encoding for diverse video formats
US9712838B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
KR100628494B1 (en) Image decoding method and apparatus, and storage medium
JP5223769B2 (en) Decoding device and method, program, and recording medium
US20090141809A1 (en) Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
US6642967B1 (en) Video data formatting and storage employing data allocation to control transcoding to intermediate video signal
US7839930B2 (en) Signaling valid entry points in a video stream
KR100968988B1 (en) Image processing device, image processing method, and recording medium
US20120207219A1 (en) Picture encoding apparatus, picture encoding method, and program
EP2642764B1 (en) Transcoding a video stream to facilitate accurate display
US20110081133A1 (en) Method and system for a fast channel change in 3d video
US8155458B2 (en) Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program
Pereira et al. Re-codable video
US20140003519A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
JP7273504B2 (en) VIDEO ENCODED STREAM EDITING DEVICE AND PROGRAM
JP2021197643A (en) Video code stream editing device and program
JP4301237B2 (en) Encoding apparatus and method thereof, recording apparatus and method thereof, and recording medium
JP4416845B2 (en) Encoding apparatus and method thereof, and recording apparatus and method thereof
KR100780844B1 (en) Decoder, processing system and processing method for multi-view frame data, and recording medium having program performing this
JP4875285B2 (en) Editing apparatus and method
JP2015065528A (en) Picture editing device, picture editing method and program