JP2021197643A - Video code stream editing device and program - Google Patents
Video code stream editing device and program Download PDFInfo
- Publication number
- JP2021197643A JP2021197643A JP2020103331A JP2020103331A JP2021197643A JP 2021197643 A JP2021197643 A JP 2021197643A JP 2020103331 A JP2020103331 A JP 2020103331A JP 2020103331 A JP2020103331 A JP 2020103331A JP 2021197643 A JP2021197643 A JP 2021197643A
- Authority
- JP
- Japan
- Prior art keywords
- video
- replacement
- stream
- code amount
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像符号化ストリームの編集を行う映像符号化ストリーム編集装置及びプログラムに関する。 The present invention relates to a video-coded stream editing device and a program for editing a video-coded stream.
放送局では、そのまま番組として放送可能な完成プログラムを、AVC(Advanced Video Coding)/H.264などの映像符号化方式を用いて符号化した映像符号化ストリームの形態でファイル管理することが多い(例えば、非特許文献1参照)。完成プログラムのファイルは送出サーバに記録され、その送出時刻(放送時刻)を待つ。 At the broadcasting station, a completed program that can be broadcast as a program as it is is provided by AVC (Advanced Video Coding) / H. Files are often managed in the form of a video-coded stream encoded by a video coding method such as 264 (see, for example, Non-Patent Document 1). The file of the completed program is recorded on the sending server and waits for the sending time (broadcast time).
送出サーバに記録された完成プログラムに修正の必要な箇所が発見された場合には、その修正必要箇所のみを正しいコンテンツに差替える部分差替編集を行う。部分差替編集は、特定のカットに問題が有りこのカットのみを差替える場合や、テロップの文字に誤りが有りこのテロップが付加されたフレームのみを修正する場合などにしばしば行われる。 If a part that needs to be modified is found in the completed program recorded on the sending server, partial replacement editing is performed to replace only the part that needs to be modified with the correct content. Partial replacement editing is often performed when there is a problem with a specific cut and only this cut is replaced, or when there is an error in the character of the telop and only the frame to which this telop is added is corrected.
AVC/H.264やHEVC(High Efficiency Video Coding)/H.265などの映像符号化方式では、フレーム内予測のみを用いて符号化されたIピクチャ、片方向予測によるフレーム間予測を用いて符号化されたPピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたBピクチャにより映像符号化ストリームが構成される。フレーム間予測を用いることで符号量を低減することが可能であり、各ピクチャに割り当てる符号量はIピクチャが最も多く、Pピクチャが次に多く、Bピクチャが最も少ない。なお、符号量管理の方法としては、1フレーム当たりの符号量の上限を定める手法や、連続Nフレームの符号量平均の上限を定める手法が知られている。また、フレーム間予測を用いた符号化ストリームでは、1GOP(Iピクチャから、次のIピクチャのひとつ前のフレームまで)単位で符号量の上限を定める手法を用いることが一般的である。 AVC / H. 264 and HEVC (High Efficiency Video Coding) / H. Video coding schemes such as 265 use I-pictures encoded using only in-frame prediction, P-pictures encoded using inter-frame prediction with one-way prediction, and inter-frame prediction with bidirectional prediction. The video coded stream is composed of the B pictures encoded by the above. It is possible to reduce the code amount by using the inter-frame prediction, and the code amount assigned to each picture is the largest for the I picture, the second largest for the P picture, and the smallest for the B picture. As a method of managing the code amount, a method of determining an upper limit of the code amount per frame and a method of determining an upper limit of the code amount average of continuous N frames are known. Further, in a coded stream using inter-frame prediction, it is common to use a method of setting an upper limit of the code amount in units of 1 GOP (from the I picture to the frame immediately before the next I picture).
非特許文献1に開示されたシステムでは、表1に記載するように、完成プログラムをAVC/H.264映像符号化方式で、フレーム内予測のみを用いて符号化したIピクチャのみで映像符号化ストリームを構成している。この映像符号化ストリームは、単体での復号が可能なIピクチャのみで構成されるため、部分差替編集を行う際に映像符号化ストリームをいったん復号して再度符号化する必要がない。そのため、任意のフレームを始点、終点とした区間の部分差替編集を容易に行うことができる。また、符号化ストリームがIピクチャのみで構成されているため、各ピクチャに割り当てる符号量の上限値を均一値に設定することが可能である。例えば、最大ビットレートが600M[bps]でフレームレートが60[fps]である場合、各フレームの符号量の上限値は10Mビットである。このため、差し替え区間を符号化する際にも、各フレームの符号量を該上限値以下となるように符号化すればよく、符号量管理が容易である。
In the system disclosed in
このように、非特許文献1に開示されたシステムでは、編集の容易さからIピクチャのみの構造(Intra Only)を採用している。ただし、Intra Onlyは編集が容易であるが、符号化効率が低くなる。一方、片方向予測によるフレーム間予測を用いて符号化されたPピクチャ、及び双方向予測によるフレーム間予測を用いて符号化されたBピクチャを用いた構造(Long GOP(Group of Picture))は、編集の容易さには難があるが、フレーム間の相関を活用する符号化を行うため、符号化効率が高いといった利点がある。
As described above, the system disclosed in
非特許文献1に開示されたシステムはHD(High Definition)映像を対象とし、AVC/H.264、Intra Only、50Mbpsで運用しているが、今後の普及が見込まれる8Kスーパーハイビジョン映像を対象とする場合には、映像信号の情報量の増加に伴い、より符号化効率の高い符号化方式、GOP構造の採用が要求される。
The system disclosed in
図7に、8Kスーパーハイビジョン映像をHEVC(High Efficiency Video Coding)/H.265で、Intra Only及びLong GOPで符号化した際の、ビットレートとPSNR(Peak Signal Noise Ratio)のグラフを示す。なお、PSNRの値が高いほど画質劣化が少ない。使用した符号化対象画像は、一般社団法人映像情報メディア学会(ITE)が提供する超高精細・広色域標準動画像−Aシリーズのテストチャートである楓(図7(a))及び気動車(図7(b))である。Long GOPのGOP構造は、M=4、N=32、Temporal_ID=2とした。この図から、8Kスーパーハイビジョン映像をHEVC/H.265で符号化する場合、Intra Onlyに対してLong GOPが有利であることが確認できる。 In FIG. 7, 8K super high-definition video is shown in HEVC (High Efficiency Video Coding) / H. 265 shows a graph of bit rate and PSNR (Peak Signal Noise Radio) when encoded with Intra Only and Long GOP. The higher the PSNR value, the less the deterioration of image quality. The images to be encoded are Kaede (Fig. 7 (a)) and diesel railcar (Fig. 7 (a)), which are the test charts of the ultra-high-definition, wide color gamut standard moving image-A series provided by the Institute of Image Information and Television Engineers (ITE). FIG. 7 (b)). The GOP structure of Long GOP was M = 4, N = 32, and Temporal_ID = 2. From this figure, 8K Super Hi-Vision video is displayed in HEVC / H. When coding at 265, it can be confirmed that Long GOP is advantageous over Intra Only.
また、特許文献1には、MPEGビデオストリーム1からI又はPピクチャの直前までの第1部分ストリームを切り出し、MPEGビデオストリーム2からI又はPピクチャ以降の第2部分ストリームを切り出し、第1部分ストリームと第2部分ストリームを結合して、編集後ストリーム3を生成する技術が開示されている。より詳細には、第2部分ストリームの直前に表示されるピクチャがIピクチャである場合には、該ピクチャをフレーム内符号化ピクチャとする。また、第2部分ストリームの直前に表示されるピクチャがIピクチャでない場合には、該ピクチャの直前にあるIピクチャから該ピクチャまでの片方向フレーム間予測符号化ピクチャを順に復号化することで、該ピクチャの復号画像を得て、フレーム内符号化により再符号化したピクチャをフレーム内符号化ピクチャとする。最後に、第1部分ストリームと、第2部分ストリームとの間に、フレーム内符号化ピクチャを挿入し、連結処理を行う。
Further, in
HD映像を対象とした非特許文献1のシステムでは、完成プログラムをIntra Onlyで符号化しているが、8Kスーパーハイビジョン映像などの大容量映像を対象とする場合には、符号化効率の観点からLong GOPで符号化することが求められる。
In the system of Non-Patent
しかし、Pピクチャ及びBピクチャは単独での復号が不可能なため、GOP単位ではない区間を編集する場合、編集後の符号化ストリームを正しく復号することができない。この理由を、図5を参照して説明する。図中のI,B,Pは、それぞれIピクチャ、Bピクチャ、Pピクチャを意味する。部分差替編集前の映像符号化ストリームである差替前ストリームのGOP構造が図5(a)に示すものであった場合、2フレーム目から4フレーム目はBピクチャであるため、復号する際には前方のIピクチャである1フレーム目及び後方のPピクチャである5フレーム目を参照する。10フレーム目から12フレーム目はBピクチャであるため、復号する際には前方のPピクチャである9フレーム目及び後方のPピクチャである13フレーム目を参照する。13フレーム目はPピクチャであるため、復号する際には前方のPピクチャである9フレーム目を参照する。14フレーム目から16フレーム目はBピクチャであるため、復号する際には前方のPピクチャである13フレーム目及び後方のPピクチャ又はIピクチャを参照する。 However, since the P picture and the B picture cannot be decoded independently, when editing a section other than the GOP unit, the edited coded stream cannot be correctly decoded. The reason for this will be described with reference to FIG. I, B, and P in the figure mean I picture, B picture, and P picture, respectively. When the GOP structure of the pre-replacement stream, which is the video-encoded stream before partial replacement editing, is as shown in FIG. 5A, the second to fourth frames are B pictures, so that when decoding the video. Refers to the first frame, which is the front I picture, and the fifth frame, which is the rear P picture. Since the 10th to 12th frames are B pictures, the 9th frame which is the front P picture and the 13th frame which is the rear P picture are referred to when decoding. Since the 13th frame is a P picture, the 9th frame, which is the front P picture, is referred to when decoding. Since the 14th to 16th frames are B pictures, the 13th frame, which is the front P picture, and the rear P picture or I picture are referred to when decoding.
図5(b)は、部分差替編集前の映像符号化ストリームである差替前ストリームに対して、表示順で5フレーム目から9フレーム目までのフレーム(P#5,B#6,B#7,B#8,P#9)を、差替ストリーム(I#1’,B#2’,B#3’,B#4’,P#5’)に部分差替する場合を示している。このとき、部分差替編集後の映像符号化ストリームである差替後ストリームの2フレーム目から4フレーム目まで(B#2,B#3,B#4)は、参照すべきフレームであるP#5が存在しないため、正しく復号することができない。同様に、差替後ストリームの10フレーム目から13フレーム目まで(B#10,B#11,B#12,P#13)は、参照すべきフレームであるP#9が存在しないため、正しく復号することができない。また、13フレーム目(P#13)を正しく復号することができないため、13フレーム目を参照先フレームとする14フレーム目から16フレーム目まで(B#14,B#15,B#16)についても、正しく復号することができない。
FIG. 5B shows frames (
そこで、編集後の符号化ストリームを正しく復号可能なものとする手法を、図6を参照して説明する。図6は、部分差替編集前の映像符号化ストリームである差替前ストリームに対して、表示順で5フレーム目から9フレーム目までのフレーム(P#5,B#6,B#7,B#8,P#9)を、差替ストリーム(I#1’,B#2’,B#3’,B#4’,P#5’)に部分差替する場合を示している。まず、部分差替区間を含むGOPをGOP単位で復号し、差替前映像を生成する。その後、差替前映像を編集し、5フレーム目から9フレーム目(#5,#6,#7,#8,#9)を差替映像(#1’,#2’,#3’,#4’,#5’)に差替えて差替後映像を生成する。なお、差替えるべきデータを映像符号化ストリーム(差替ストリーム)として与えられた場合には、図6に示すように差替ストリームを復号して差替映像を生成する必要がある。この方法によれば、差替後映像を正しく符号化することができる。しかしながら、既に符号化劣化の生じている差替前ストリームをいったん復号し、再度符号化するため、差替後ストリームの品質がさらに悪化してしまう。
Therefore, a method for correctly decoding the edited coded stream will be described with reference to FIG. FIG. 6 shows the frames (
また、特許文献1に開示された技術では、上述したフレーム内符号化ピクチャを生成することにより、映像符号化ストリームを切り出して連結させることができるが、映像符号化ストリームの部分差替編集を行うことができないという問題があった。
Further, in the technique disclosed in
かかる事情に鑑みてなされた本発明の目的は、映像符号化ストリームの任意の区間を部分編集でき、且つ部分編集による品質の劣化を低減することが可能な映像符号化ストリーム編集装置、及びプログラムを提供することにある。 An object of the present invention made in view of such circumstances is to provide a video-coded stream editing device and a program capable of partially editing an arbitrary section of a video-coded stream and reducing quality deterioration due to the partial editing. To provide.
上記課題を解決するため、本発明に係る映像符号化ストリーム編集装置は、フレーム間予測を用いて符号化された映像符号化ストリームに対して部分差替編集を行い、部分差替編集前の映像符号化ストリームである差替前ストリームから、部分差替編集後の映像符号化ストリームである差替後ストリームを生成する映像符号化ストリーム編集装置であって、前記差替前ストリームのうち差替区間を含む差替対象GOPを復号して差替前映像を生成するデコーダと、前記差替前映像の前記差替区間の映像を差替映像に入れ換えて差替後映像を生成する映像差替部と、前記差替後映像のうち、前記差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に前記始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成するとともに、該切出映像の符号量上限値を算出する映像切出部と、前記符号量上限値以下の符号量で前記切出映像を符号化して、差替ストリームを生成するエンコーダと、前記差替前ストリームの前記切出映像に該当する区間を前記差替ストリームに差替えて、前記差替後ストリームを生成する部分差替部と、を備えることを特徴とする。 In order to solve the above problems, the video coded stream editing device according to the present invention performs partial replacement editing on a video coded stream encoded by using inter-frame prediction, and performs partial replacement editing on the video before partial replacement editing. A video coded stream editing device that generates a post-replacement stream, which is a video coded stream after partial replacement editing, from a pre-replacement stream, which is a coded stream, and is a replacement section of the pre-replacement stream. A decoder that decodes the replacement target GOP including the And, among the post-replacement video, the cut-out video excluding the frames that are located before the start point frame of the replacement section in the display order and do not refer to the frames after the start point frame at the time of encoding. And an encoder that encodes the cutout video with a code amount equal to or less than the code amount upper limit value to generate a replacement stream. , The section corresponding to the cut-out image of the pre-replacement stream is replaced with the replacement stream, and a partial replacement unit for generating the post-replacement stream is provided.
さらに、本発明に係る映像符号化ストリーム編集装置において、前記符号量上限値は、予め設定された1GOPの符号量の上限値から、前記差替後映像のうち前記映像切出部により切出されなかった映像に対応する差替前ストリームの符号量を引いた符号量であることを特徴とする。 Further, in the video coding stream editing apparatus according to the present invention, the code amount upper limit value is cut out from the preset upper limit value of the code amount of 1 GOP by the video cutout portion of the replacement video. The feature is that the code amount is obtained by subtracting the code amount of the pre-replacement stream corresponding to the video that has not been replaced.
さらに、本発明に係る映像符号化ストリーム編集装置において、前記符号量上限値は、前記差替対象GOPの符号量から、前記差替後映像のうち前記映像切出部により切出されなかった映像に対応する差替前ストリームの符号量を引いた符号量であることを特徴とする。 Further, in the video coding stream editing apparatus according to the present invention, the upper limit of the code amount is the image not cut out from the code amount of the replacement target GOP by the video cutting portion of the replaced video. It is characterized in that it is a code amount obtained by subtracting the code amount of the stream before replacement corresponding to.
さらに、本発明に係る映像符号化ストリーム編集装置において、前記映像切出部は、前記差替区間を含むGOPの、前記差替区間の前記始点フレームのピクチャタイプを識別し、該ピクチャタイプがIピクチャである場合には、前記差替後映像のうち、前記始点フレームから最終フレームまでを前記切出映像とし、該ピクチャタイプがIピクチャでない場合には、前記差替後映像のうち、表示順で前記始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレームから最終フレームまでを前記切出映像とすることを特徴とする。 Further, in the video-coded stream editing apparatus according to the present invention, the video cutting unit identifies the picture type of the start point frame of the replacement section of the GOP including the replacement section, and the picture type is I. If it is a picture, the cutout image is taken from the start point frame to the final frame of the replaced images, and if the picture type is not I-picture, the display order of the replaced images is displayed. It is characterized in that the cut-out image is from the frame immediately after the P picture or the I picture located immediately in front of the start point frame to the final frame.
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記映像符号化ストリーム編集装置として機能させることを特徴とする。 Further, in order to solve the above-mentioned problems, the program according to the present invention is characterized in that the computer functions as the above-mentioned video-coded stream editing device.
本発明によれば、映像符号化ストリームの任意のフレームを始点、終点とした区間を部分編集することができる。また、映像符号化ストリームを部分編集する際の品質劣化を低減することができる。 According to the present invention, it is possible to partially edit a section having an arbitrary frame as a start point and an end point of a video-coded stream. In addition, quality deterioration when partially editing the video-coded stream can be reduced.
以下、本発明の一実施形態について、図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
図1に、本発明の一実施形態に係る映像符号化ストリーム編集装置1の構成例を示す。図1に示す映像符号化ストリーム編集装置1は、差替位置指定部11と、デコーダ12と、映像差替部13と、映像切出部14と、エンコーダ15と、部分差替部16と、を備える。
FIG. 1 shows a configuration example of the video-coded
映像符号化ストリーム編集装置1は、フレーム間予測を用いて符号化された映像符号化ストリームの一部を別のストリームに差替える部分差替編集を行う装置である。以下の説明において、部分差替編集前の映像符号化ストリームを「差替前ストリーム」と称し、部分差替編集後の映像符号化ストリームを「差替後ストリーム」と称する。映像符号化ストリームはフレーム間予測を用いて符号化されているため、GOP構造はLong GOPとなる。ただし、本発明はClosed GOPを対象とし、Open GOPは対象外とする。
The video-coded
送出サーバ20は、差替前ストリームを映像符号化ストリーム編集装置1のデコーダ12、部分差替部16、及び映像切出部14に送信する。また、送出サーバ20は、部分差替部16から、差替後ストリームを受信する。
The
差替位置指定部11は、映像符号化ストリーム編集装置1の操作者により部分差替編集の始点及び終点が指定されると、部分差替編集の始点及び終点を示す始点・終点情報を生成する。そして、差替位置指定部11は、始点・終点情報をデコーダ12、映像差替部13、映像切出部14、及び部分差替部16に出力する。始点及び終点の指定は、例えばストリーム内のタイムコードや、表示順のフレーム番号を用いて指定することができる。また、映像符号化ストリームの任意の2枚フレームをそれぞれ始点、終点として指定することができ、始点及び終点で設定される差替区間はGOP単位でなくてもよい。
When the start point and end point of partial replacement editing are specified by the operator of the video coding
デコーダ12は、差替位置指定部11から入力された始点・終点情報に基づいて、送出サーバ20から入力された差替前ストリームのうち、始点及び終点を含む差替対象GOP(すなわち、差替区間を含むGOPであり、複数のGOPであってもよい)を復号して差替前映像(差替対象GOPの復号映像)を生成する。そして、デコーダ12は、生成した差替前映像を映像差替部13に出力する。またデコーダ12は、復号時に計測される、差替対象GOPに属する各フレームの符号量を、映像切出部14に出力する。
The
映像差替部13は、映像符号化ストリーム編集装置1の周辺機器である編集機、録再機などから差替映像を取得する。また、映像差替部13は、デコーダ12から差替前映像を取得する。そして、映像差替部13は、差替位置指定部11から入力された始点・終点情報に基づいて、差替前映像の始点から終点(差替区間)の映像を差替映像に入れ換えて差替後映像を生成する。映像差替部13は、生成した差替後映像を映像切出部14に出力する。
The
映像切出部14は、映像差替部13から入力された差替後映像のうち、差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成する。そして、映像切出部14は、生成した切出映像をエンコーダ15に出力する。また映像切出部14は、切出映像の符号量上限値をエンコーダ15に出力する。映像切出部14の処理の詳細については、後述する。
The
エンコーダ15は、映像切出部14から入力された切出映像を、映像切出部14から入力された符号量上限値以下の符号量で符号化して、差替ストリームを生成する。そして、エンコーダ15は、生成した差替ストリームを部分差替部16に出力する。差替ストリームの復号順で先頭のフレームは、Iピクチャとなる。
The
部分差替部16は、送出サーバ20から受信した差替前ストリームの切出映像に該当する区間を、エンコーダ15から入力された差替ストリームに差替えて差替後ストリームを生成する。そして、部分差替部16は、生成した差替後ストリームを送出サーバ20に送信する。
The
図2は、映像符号化ストリーム編集装置1の動作例を示すフローチャートである。図3及び図4は、映像符号化ストリーム編集装置1の処理の具体例を説明する図である。図2から図4を参照して、映像符号化ストリーム編集装置1の動作について説明する。なお、図3及び図4において、フレームのカウントは表示順で行うものとする。すなわち、図3及び図4中のフレーム番号は表示順番号であるPOC(Picture Order Count)を意味するものとする。
FIG. 2 is a flowchart showing an operation example of the video-coded
映像符号化ストリーム編集装置1は、差替位置指定部11により、差替位置を指定する(ステップS101)。図3に示す例では、送出サーバ20から受信した差替前ストリームに対して、第nGOPの7フレーム目から10フレーム目の部分差替編集を行う。この場合、差替位置指定部11は、第nGOPの7フレーム目及び10フレーム目を示す情報を始点・終点情報として生成する。図4に示す例では、送出サーバ20から受信した差替前ストリームに対して、第nGOPの1フレーム目から8フレーム目の部分差替編集を行う。この場合、差替位置指定部11は、第nGOPの1フレーム目及び8フレーム目を示す情報を始点・終点情報として生成する。
The video coded
次に、映像符号化ストリーム編集装置1は、デコーダ12により、差替対象GOPを復号する際に、前後フレームを参照するために差替対象GOPのストリームをバッファに記憶する。そして、バッファの残量を計測することにより、差替対象GOPに属する各フレームの符号量を取得する(ステップS102)。そして、デコーダ12により、差替対象GOPを復号して差替前映像を生成する(ステップS103)。図3及び図4に示す例では、デコーダ12は第nGOPを復号して差替前映像を生成する。
Next, the video-coded
次に、映像符号化ストリーム編集装置1は、映像差替部13により、差替映像を取得し、差替前映像の差替区間の映像を差替映像に入れ換えて、差替後映像を生成する(ステップS104)。図3に示す例では、映像差替部13は、差替映像として#1’〜#4’を取得する。図4に示す例では、映像差替部13は、差替映像として#1’〜#8’を取得する。
Next, the video coding
次に、映像符号化ストリーム編集装置1は、映像切出部14により、差替区間を含むGOPのGOP構造を確認し、差替区間の始点フレームのピクチャタイプを識別する。映像切出部14は、差替区間の始点フレームのピクチャタイプがIピクチャである場合には(ステップS105−Yes)、差替後映像のうち、始点フレームから最終フレームまでを切出映像とする(ステップS106)。図4に示す例では、差替区間の始点フレーム(I#1)のピクチャタイプがIピクチャであるため、映像切出部14は、差替後映像の全フレーム(1フレーム目(#1’)から最終フレーム(#12)まで)を切出映像とする。
Next, the video coding
一方、映像切出部14は、差替区間の始点フレームのピクチャタイプがPピクチャ又はBピクチャである場合には(ステップS105−No)、差替後映像のうち、差替前ストリームの表示順(POC順)で始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレーム位置(POC)を特定する。そして、差替後映像のうち、先に特定したフレーム位置(POC)に該当するフレームから最終フレームまでを切出映像とする(ステップS107)。図3に示す例では、差替区間の始点フレーム(B#7)のピクチャタイプがBピクチャであるため、映像切出部14は、始点フレーム(B#7)の前方の直近に位置するPピクチャ(P#5)の1枚後のフレーム位置(6フレーム目)を特定する。そして、差替後映像のうち、6フレーム目(#6)から最終フレーム(#12)までを切出映像とする。
On the other hand, when the picture type of the start point frame of the replacement section is P picture or B picture (step S105-No), the
次に、映像符号化ストリーム編集装置1は、映像切出部14により、差替後映像のうち映像切出部14により切出されなかった映像に対応する差替前ストリームの符号量Yビットを算出する。ステップS106の処理を行った場合には、映像切出部14により差替後映像の全てが切り出されるため、Y=0ビットとなる。一方、ステップS107の処理を行った場合には、映像切出部14により、差替前ストリームの先頭フレームから、表示順(POC順)で始点フレームの前方の直近に位置するPピクチャ又はIピクチャのフレームまでの符号量を算出する。図3に示す例では、差替前ストリームの先頭フレーム(I#1)から、表示順(POC順)で始点フレームの前方の直近に位置するPピクチャのフレーム(P#5)までの符号量を算出する。
Next, the video coding
そして、映像符号化ストリーム編集装置1は、映像切出部14により、切出映像の符号量上限値を算出する(ステップS108)。切出映像の符号量上限値は、予め設定された1GOPの符号量の上限値X1ビットから、上記Yビットを引いた符号量である。あるいは、切出映像の符号量上限値は、差替対象GOPの符号量X2ビットから、上記Yビットを引いた符号量である。差替対象GOPの符号量X2ビットは、ステップS103で算出した差替対象GOPに属する各フレームの符号量を、合計した値である。
Then, the video coding
次に、映像符号化ストリーム編集装置1は、エンコーダ15により、切出映像の符号量上限値を(X1−Y)ビット又は(X2−Y)ビットとし、該符号量上限値以下の符号量で切出映像を符号化して、差替ストリームを生成する(ステップS109)。その際、図3に示すように、差替ストリームの復号順で先頭のフレームをIピクチャとする。また、差替ストリームの表示順で最終のフレームをPピクチャ又はIピクチャとする。差替ストリームの他のピクチャタイプは任意であるが、Iピクチャが増えると符号化効率が低下するため、Bピクチャ又はPピクチャとするのが好適である。なお、予め設定された1GOPあたりの符号量の上限値X1のほうが、実際の差替対象GOPの符号量X2よりも大きいと考えられる。そのため、運用上X1の値が設定される場合には、切出映像の符号量上限値を(X1−Y)ビットとした方が、(X2−Y)ビットとするよりも、符号化による劣化を少なくすることができる。
Next, in the video coded
次に、映像符号化ストリーム編集装置1は、部分差替部16により、差替前ストリームの切出映像に該当する区間を差替ストリームに差替えて差替後ストリームを生成する(ステップS110)。図3に示す例では、差替後ストリームの第nGOPについて、最初の5フレーム(I#1,B#2,B#3,B#4,P#5)は差替前ストリームと同一である。よって、これらのフレームに関しては、再符号化による品質劣化が生じることはない。
Next, the video-coded
以上、映像符号化ストリーム編集装置1について説明したが、映像符号化ストリーム編集装置1として機能させるためにコンピュータを用いることも可能である。そのようなコンピュータは、映像符号化ストリーム編集装置1の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
Although the video coded
また、このプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD−ROMやDVD−ROMなどの記録媒体であってもよい。 The program may also be recorded on a computer-readable medium. It can be installed on a computer using a computer-readable medium. Here, the computer-readable medium on which the program is recorded may be a non-transient recording medium. The non-transient recording medium is not particularly limited, but may be, for example, a recording medium such as a CD-ROM or a DVD-ROM.
上述したように、本発明においては、GOP構造がLong GOPである符号化ストリームに対して部分差替編集を施す際に、表示順で始点フレームより前に位置するフレームのうち、始点フレーム以降のフレームを参照しないフレームについては、元の編集前の映像符号化ストリームをそのまま利用する。よって、本発明によれば、映像符号化ストリームの部分編集を行っても、再符号化による画質劣化を低減することが可能となる。また、切出映像を符号量上限値以下の符号量で符号化するため、符号量制約に反することなく別のコンテンツ内容に差替えることができ、符号量管理が容易となる。 As described above, in the present invention, when performing partial replacement editing on a coded stream whose GOP structure is Long GOP, among the frames located before the start point frame in the display order, after the start point frame. For frames that do not refer to the frame, the original unedited video coded stream is used as it is. Therefore, according to the present invention, it is possible to reduce the deterioration of image quality due to recoding even if the video coding stream is partially edited. Further, since the cut-out video is encoded with a code amount equal to or less than the code amount upper limit value, it can be replaced with another content content without violating the code amount constraint, and the code amount management becomes easy.
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions can be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as being limited by the above-described embodiments, and various modifications and modifications can be made without departing from the scope of claims. For example, it is possible to combine a plurality of the constituent blocks described in the configuration diagram of the embodiment into one, or to divide one constituent block into one.
1 映像符号化ストリーム編集装置
11 差替位置指定部
12 デコーダ
13 映像差替部
14 映像切出部
15 エンコーダ
16 部分差替部
20 送出サーバ
1 Video coded
Claims (5)
前記差替前ストリームのうち差替区間を含む差替対象GOPを復号して差替前映像を生成するデコーダと、
前記差替前映像の前記差替区間の映像を差替映像に入れ換えて差替後映像を生成する映像差替部と、
前記差替後映像のうち、前記差替区間の始点フレームよりも表示順で前に位置するフレームであって、符号化時に前記始点フレーム以降のフレームを参照しないフレームを除外した切出映像を生成するとともに、該切出映像の符号量上限値を算出する映像切出部と、
前記符号量上限値以下の符号量で前記切出映像を符号化して、差替ストリームを生成するエンコーダと、
前記差替前ストリームの前記切出映像に該当する区間を前記差替ストリームに差替えて、前記差替後ストリームを生成する部分差替部と、
を備えることを特徴とする、映像符号化ストリーム編集装置。 Partial replacement editing is performed on the video coded stream encoded using motion compensation, and the video code after partial replacement editing is performed from the pre-replacement stream, which is the video coding stream before partial replacement editing. It is a video coded stream editing device that generates a post-replacement stream, which is a converted stream.
A decoder that decodes the replacement target GOP including the replacement section of the pre-replacement stream to generate the pre-replacement video, and
A video replacement unit that replaces the video in the replacement section of the pre-replacement video with the replacement video to generate the post-replacement video.
Among the post-replacement images, a cut-out image is generated excluding frames that are located before the start point frame of the replacement section in the display order and do not refer to frames after the start point frame at the time of encoding. At the same time, the video cutout unit that calculates the upper limit value of the code amount of the cutout video and
An encoder that encodes the cutout video with a code amount equal to or less than the code amount upper limit value to generate a replacement stream.
A partial replacement unit that generates the post-replacement stream by replacing the section corresponding to the cut-out video of the pre-replacement stream with the replacement stream.
A video-coded stream editing device, characterized in that it comprises.
該ピクチャタイプがIピクチャである場合には、前記差替後映像のうち、前記始点フレームから最終フレームまでを前記切出映像とし、
該ピクチャタイプがIピクチャでない場合には、前記差替後映像のうち、表示順で前記始点フレームの前方の直近に位置するPピクチャ又はIピクチャの1枚後のフレームから最終フレームまでを前記切出映像とする
ことを特徴とする、請求項1から3のいずれか一項に記載の映像符号化ストリーム編集装置。 The video cutout portion identifies the picture type of the start point frame of the replacement section of the GOP including the replacement section.
When the picture type is an I picture, the cutout video is defined from the start point frame to the final frame of the replaced video.
If the picture type is not an I picture, the P picture or the frame one after the I picture located closest to the front of the start point frame in the display order to the final frame of the replaced video is cut off. The video-encoded stream editing apparatus according to any one of claims 1 to 3, wherein the video is output.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103331A JP2021197643A (en) | 2020-06-15 | 2020-06-15 | Video code stream editing device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103331A JP2021197643A (en) | 2020-06-15 | 2020-06-15 | Video code stream editing device and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021197643A true JP2021197643A (en) | 2021-12-27 |
Family
ID=79196012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020103331A Pending JP2021197643A (en) | 2020-06-15 | 2020-06-15 | Video code stream editing device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021197643A (en) |
-
2020
- 2020-06-15 JP JP2020103331A patent/JP2021197643A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6486421B2 (en) | Video data multiplexing method and apparatus, and demultiplexing method and apparatus for identifying reproduction status of video data | |
US6674796B1 (en) | Statistical multiplexed video encoding for diverse video formats | |
US9712838B2 (en) | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method | |
KR100628494B1 (en) | Image decoding method and apparatus, and storage medium | |
JP5223769B2 (en) | Decoding device and method, program, and recording medium | |
US20090141809A1 (en) | Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video | |
US6642967B1 (en) | Video data formatting and storage employing data allocation to control transcoding to intermediate video signal | |
US7839930B2 (en) | Signaling valid entry points in a video stream | |
KR100968988B1 (en) | Image processing device, image processing method, and recording medium | |
US20120207219A1 (en) | Picture encoding apparatus, picture encoding method, and program | |
EP2642764B1 (en) | Transcoding a video stream to facilitate accurate display | |
US20110081133A1 (en) | Method and system for a fast channel change in 3d video | |
US8155458B2 (en) | Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program | |
Pereira et al. | Re-codable video | |
US20140003519A1 (en) | Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method | |
JP7273504B2 (en) | VIDEO ENCODED STREAM EDITING DEVICE AND PROGRAM | |
JP2021197643A (en) | Video code stream editing device and program | |
JP4301237B2 (en) | Encoding apparatus and method thereof, recording apparatus and method thereof, and recording medium | |
JP4416845B2 (en) | Encoding apparatus and method thereof, and recording apparatus and method thereof | |
KR100780844B1 (en) | Decoder, processing system and processing method for multi-view frame data, and recording medium having program performing this | |
JP4875285B2 (en) | Editing apparatus and method | |
JP2015065528A (en) | Picture editing device, picture editing method and program |