JP2006067098A - Information processing apparatus, information processing method, recording medium and program - Google Patents
Information processing apparatus, information processing method, recording medium and program Download PDFInfo
- Publication number
- JP2006067098A JP2006067098A JP2004245377A JP2004245377A JP2006067098A JP 2006067098 A JP2006067098 A JP 2006067098A JP 2004245377 A JP2004245377 A JP 2004245377A JP 2004245377 A JP2004245377 A JP 2004245377A JP 2006067098 A JP2006067098 A JP 2006067098A
- Authority
- JP
- Japan
- Prior art keywords
- video data
- encoding
- compressed video
- picture
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
Description
本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, a recording medium, and a program, and more particularly, an information processing apparatus and information suitable for use when editing video data compressed using bidirectional inter-frame prediction. The present invention relates to a processing method, a recording medium, and a program.
MPEG(Moving Picture Coding Experts Group/Moving Picture Experts Group)などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。 In an image compression method represented by MPEG (Moving Picture Coding Experts Group / Moving Picture Experts Group) or the like, high compression efficiency is realized by compressing and encoding a video signal using inter-frame prediction.
MPEGにおいて、Iピクチャ(I-Picture)、Pピクチャ(P-Picture)、および、Bピクチャ(B-Picture)から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP(Group of Picture)方式の圧縮と呼ばれる。 In MPEG, a compression coding method using bidirectional inter-frame prediction, which is composed of an I picture (I-Picture), a P picture (P-Picture), and a B picture (B-Picture), is Long GOP. This is called (Group of Picture) compression.
Iピクチャとは、フレーム内(Intra)符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Pピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前(順方向)のフレームからの差分によって表現される前方向予測符号化ピクチャである。Bピクチャとは、双方向予測符号化画像のことであり、時間的に前(順方向)、または後(逆方向)、または前後(双方向)のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。 An I picture is an intra-frame (Intra) encoded image, which is a picture that is encoded independently of other screens. An image can be decoded using only this information. A P picture is an inter-frame (inter) forward predictive encoded image, and is a forward predictive encoded picture represented by a difference from a temporally previous (forward) frame. A B picture is a bi-directional predictive encoded image, and is based on motion-compensated interframe prediction using temporally forward (forward direction), backward (reverse direction), or front and back (bidirectional) pictures. A picture to be encoded.
PピクチャやBピクチャは、データ量がIピクチャに比べて小さいため、GOPを長くすれば(すなわち、Long GOPを構成するピクチャ数を増加させれば)、映像の圧縮率を高くすることができるので、デジタル放送やDVD(Digital Versatile Disk)ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。 Since the data amount of P pictures and B pictures is smaller than that of I pictures, if the GOP is lengthened (that is, the number of pictures constituting the Long GOP is increased), the video compression rate can be increased. Therefore, it is suitable for use in digital broadcasting and DVD (Digital Versatile Disk) video. However, if the GOP is too long, editing control with frame accuracy becomes difficult, and operational problems occur particularly in editing for business use.
これらの画像圧縮方式において、一般に、良好な画質を実現する方法として、固定の量子化値で入力素材を一旦エンコードして、その際の発生ビット量などのデータを収集し、その結果に基づいて、実際のエンコードを行う際に、可変レートエンコードのビットレートの割り当てを決定することができるようにした、いわゆる2パスエンコードと称される手法が知られている。しかしながら、この方法では、リアルタイムでデータをエンコードすることが不可能である。 In these image compression methods, in general, as a method for realizing good image quality, once the input material is encoded with a fixed quantization value, data such as the amount of generated bits is collected, and based on the result A so-called two-pass encoding method is known in which the bit rate assignment of variable rate encoding can be determined when actual encoding is performed. However, with this method, it is impossible to encode data in real time.
したがって、映像を編集するときに、編集点付近の素材映像の一部のみをデコードして接続し、再度エンコードを行って、圧縮符号化された編集映像データを得ることを考えた場合、2パスエンコード方式は、応答性の面で問題があり、適用することができない。 Therefore, when editing video, if you consider decoding and connecting only a part of the source video near the editing point and re-encoding to obtain compression-encoded edited video data, two passes The encoding method is problematic in terms of responsiveness and cannot be applied.
編集などのように、リアルタイム性を求められるエンコード処理に利用するために、例えば、簡易2パスと称される方法がある。この方式は、出力されるデータをエンコードするためのメインエンコーダ以外に、サブとなるエンコーダを用いる必要があり、供給されたデータを、サブとなるエンコーダにより固定量子化値でエンコードし、その情報をもとに、FIFOを使って遅延させられたデータを、メインエンコーダでエンコードするようになされているものである(例えば、特許文献1)。 For example, there is a method called simple two-pass for use in an encoding process that requires real-time properties, such as editing. In this method, it is necessary to use a sub-encoder in addition to the main encoder for encoding output data. The supplied data is encoded with a fixed quantization value by the sub-encoder, and the information is encoded. Originally, data delayed using a FIFO is encoded by a main encoder (for example, Patent Document 1).
図1を用いて、簡易2パスを適用したエンコーダ1について説明する。
An
エンコーダ1は、入力端子11を介して映像データの供給を受けるエンコーダコントローラ12と、映像データの動き予測を行う動き予測部13と、動き予測部13からエンコーダコントローラ12を介して供給される動き予測処理後の映像データを選考してエンコードするサブのエンコーダであるエンコーダ15と、エンコーダ1の全体の制御を司るCPU16と、上記映像データを遅延させるためのFIFO(First In First Out)メモリ17と、FIFOメモリ17から読み出された映像データをCPU16からのターゲットビット量データに基づいてエンコードし、エンコードした映像データを出力する、メインのエンコーダであるエンコーダ18とで構成される。
The
エンコーダコントローラ12は、ピクチャタイプデータIBPを、動き予測部13、および、CPU16に供給するとともに、Iピクチャはそのまま、BピクチャおよびPピクチャの場合には、前の映像データとの差分をとり、その差分信号を算出し、エンコーダ15およびFIFOメモリ17に出力する。動き予測部13は、エンコーダコントローラ12からのピクチャタイプデータIBPに基づいて、映像データのうち、BおよびPピクチャに対し、動き検出および動き補償処理を施す。
The
エンコーダ15は、供給されたデータを基に、ディフィカルティデータを求め、CPU16に供給する。CPU16は、エンコーダ15からのディフィカルティデータと、エンコーダ18から供給される発生ビット量データとに基づいて、ターゲットビット量データを求め、このターゲットビット量データを、エンコーダ18に供給する。
The
また、エンコーダコントローラ12からの映像データは、FIFOメモリ17に供給されて、所定時間だけ遅延される。この所定時間は、エンコーダ15でディフィカルティデータが得られ、このディフィカルティデータを用いてCPU16が演算を行ってターゲットビット量データを得、このターゲットビット量データを、エンコーダ18に供給するまでの時間に略等しい。
The video data from the
エンコーダ18は、FIFOメモリ17から供給された、所定時間だけ遅延された映像データを、CPU16から供給されるターゲットビット量データに基づいてエンコードして出力する。
The
このエンコーダ1においては、Lピクチャ分(Lは任意の整数)のディフィカルティデータを用いてターゲットビット量データが求められ、このターゲットビット量データに基づいて1つのピクチャが符号化される。つまり、ビット量のフィード・フォワード制御が行われる。
In the
この方法は、1GOPの処理にかかる時間程度(例えば0.5秒)の遅延が加わるものの、リアルタイムに高画質にエンコードを行うことができる、優れた方法である。 This method is an excellent method capable of encoding in high quality in real time, although a delay of about the time required for 1 GOP processing (for example, 0.5 seconds) is added.
しかしながら、図1を用いて説明したエンコーダ1は、エンコーダ15およびエンコーダ18の2つのエンコーダを設けなければならない。一般に、画像圧縮のためのエンコーダは、大規模の回路を必要とし、高価なものである。エンコーダを2つ搭載するエンコーダ1は、コスト、スペース効率、消費電力の点などにおいては、優れているとはいえない。
However, the
本発明はこのような状況に鑑みてなされたものであり、Long GOP方式の圧縮映像データ編集時に、2つ目のエンコーダを追加することなく、簡易2パスと同等の機能を実現することができるようにするものである。 The present invention has been made in view of such a situation, and a function equivalent to a simple two-pass can be realized without adding a second encoder when editing compressed video data of the Long GOP method. It is what you want to do.
本発明の第1の情報処理装置は、第1の圧縮映像データおよび第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、第1の圧縮映像データがデコード手段によりデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データがデコード手段によりデコードされて生成された第2の非圧縮映像信号とを、編集点で接続し、第3の非圧縮映像信号を生成する接続手段と、接続手段により接続されて生成された第3の非圧縮映像信号をエンコードして、第3の圧縮映像データを生成するエンコード手段と、編集点付近以外の所定の範囲の第1の圧縮映像データおよび編集点付近以外の所定の範囲の第2の圧縮映像データと、エンコード手段によりエンコードされて生成された、第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段とを備え、制御手段は、エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコード手段、または、デコード手段によりデコードされる前の第1の圧縮映像データおよび第2の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段を制御することを特徴とする。 The first information processing apparatus according to the present invention includes a decoding unit that decodes video data in a predetermined range near an editing point of the first compressed video data and the second compressed video data, and the first compressed video data The first uncompressed video signal generated by decoding by the decoding means and the second uncompressed video signal generated by decoding the second compressed video data by the decoding means are connected at the editing point. A connecting means for generating a third uncompressed video signal; an encoding means for encoding the third uncompressed video signal generated by being connected by the connecting means to generate third compressed video data; A first compressed video data in a predetermined range other than the vicinity of the point, a second compressed video data in a predetermined range other than the vicinity of the editing point, and a third pressure encoded and generated by the encoding means Edit video data generating means for connecting video data to generate compressed and encoded edited video data, and control for controlling processing executed by the decoding means, connection means, encoding means, and edited video data generating means And a control means for calculating a statistic for calculating the degree of difficulty of encoding executed by the encoding means, the first compressed video data before being decoded by the decoding means or the decoding means, and the second Encoding so that the degree of difficulty is calculated using the acquired statistics, and the amount of generated code executed by the encoding means is controlled based on the calculated degree of difficulty. The means is controlled.
エンコード手段には、エンコード手段によりエンコードされるピクチャの符号化条件がエンコード手段によるエンコードの前後で一致する場合、算出された難易度を基に、発生符号量を制御させるようにすることができる。 The encoding unit can control the generated code amount based on the calculated difficulty level when the encoding conditions of the picture encoded by the encoding unit match before and after encoding by the encoding unit.
符号化条件は、エンコードにおけるピクチャタイプおよび参照されるピクチャであるものとすることができる。 The encoding condition can be a picture type in encoding and a picture to be referenced.
制御手段には、エンコード手段によりエンコードされるピクチャのエンコード前のピクチャタイプに関する情報を取得させるようにすることができ、エンコード手段には、制御手段による制御に基づいて、第1の圧縮映像データおよび第2の圧縮映像データと比較して、エンコードされる場合の参照画が同一であるピクチャは、第1の圧縮映像データおよび第2の圧縮映像データと同一のピクチャタイプとなるように、ピクチャタイプを決定させるようにすることができる。 The control means can acquire information related to the picture type before encoding of the picture encoded by the encoding means, and the encoding means includes the first compressed video data and the first compressed video data based on the control by the control means Compared with the second compressed video data, the picture type with the same reference image when encoded is the same picture type as the first compressed video data and the second compressed video data. Can be determined.
統計量は、ピクチャの符号量と、平均量子化スケールコードであるものとすることができ、難易度は、ピクチャの符号量と平均量子化スケールコードとの積であるものとすることができる。 The statistic may be a code amount of a picture and an average quantization scale code, and the difficulty level may be a product of the code amount of the picture and the average quantization scale code.
本発明の第1の情報処理方法は、第1の圧縮映像データおよび第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第1の圧縮映像データがデコードステップの処理によりデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データがデコードステップの処理によりデコードされて生成された第2の非圧縮映像信号とを、編集点で接続し、第3の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第3の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第3の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第1の圧縮映像データおよび編集点付近以外の所定の範囲の第2の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする。 A first information processing method according to the present invention calculates a decoding step for decoding video data in a predetermined range near an editing point of the first compressed video data and the second compressed video data, and the degree of difficulty of encoding. A statistic acquisition step for acquiring a statistic to perform, a difficulty calculation step for calculating a difficulty level using the statistic acquired by the processing of the statistic acquisition step, and a first compressed video data decoding step The first uncompressed video signal decoded and generated by the process and the second uncompressed video signal generated by decoding the second compressed video data by the decoding step process are connected at the editing point. A connection step for generating a third non-compressed video signal, and a third non-compressed video signal generated by the connection in the connection step. The encoding step of generating the third compressed video data by controlling the generated code amount based on the difficulty calculated by the above, the first compressed video data in the predetermined range other than the vicinity of the editing point, and the editing Compressed and encoded edited video data is generated by connecting the second compressed video data in a predetermined range other than the point and the third compressed video data encoded and generated by the encoding step process. And an edited video data generation step.
本発明の第1の記録媒体に記録されているプログラムは、第1の圧縮映像データおよび第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第1の圧縮映像データがデコードステップの処理によりデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データがデコードステップの処理によりデコードされて生成された第2の非圧縮映像信号とを、編集点で接続し、第3の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第3の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第3の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第1の圧縮映像データおよび編集点付近以外の所定の範囲の第2の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。 The program recorded on the first recording medium of the present invention includes a decoding step for decoding video data in a predetermined range in the vicinity of an editing point of the first compressed video data and the second compressed video data, A statistic acquisition step for acquiring a statistic for calculating the difficulty level of the image, a difficulty level calculation step for calculating a difficulty level using the statistic acquired by the processing of the statistic acquisition step, and a first compressed video A first uncompressed video signal generated by decoding the data in the decoding step; and a second uncompressed video signal generated by decoding the second compressed video data in the decoding step. A connection step of connecting at an editing point and generating a third uncompressed video signal, and a third uncompressed video signal generated by being connected by the processing of the connection step, The encoding step of controlling the generated code amount based on the difficulty level calculated by the processing of the difficulty level calculation step to perform encoding to generate third compressed video data, and the first of a predetermined range other than the vicinity of the editing point The compressed video data and the second compressed video data in a predetermined range other than the vicinity of the editing point and the third compressed video data encoded and generated by the process of the encoding step are connected and compressed and encoded. And a edited video data generation step for generating the edited video data.
本発明の第1のプログラムは、第1の圧縮映像データおよび第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップと、第1の圧縮映像データがデコードステップの処理によりデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データがデコードステップの処理によりデコードされて生成された第2の非圧縮映像信号とを、編集点で接続し、第3の非圧縮映像信号を生成する接続ステップと、接続ステップの処理により接続されて生成された第3の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第3の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第1の圧縮映像データおよび編集点付近以外の所定の範囲の第2の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。 The first program of the present invention calculates a decoding step for decoding video data in a predetermined range in the vicinity of an editing point of the first compressed video data and the second compressed video data, and the degree of difficulty of encoding. A statistic acquisition step for acquiring the statistic, a difficulty calculation step for calculating a difficulty level using the statistic acquired by the processing of the statistic acquisition step, and the first compressed video data by the processing of the decoding step The first uncompressed video signal generated by decoding and the second uncompressed video signal generated by decoding the second compressed video data by the decoding step process are connected at the edit point, and the first A connection step for generating three uncompressed video signals, and a third uncompressed video signal generated by being connected by the processing of the connection step. The encoding step for generating the third compressed video data by controlling the generated code amount based on the difficulty calculated from the above, and the first compressed video data and the editing in a predetermined range other than the vicinity of the editing point Compressed and encoded edited video data is generated by connecting the second compressed video data in a predetermined range other than the point and the third compressed video data encoded and generated by the encoding step process. The computer is caused to execute a process including an edited video data generation step.
本発明の第1の情報処理装置および情報処理方法、並びに、プログラムにおいては、第1の圧縮映像データおよび第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データがデコードされ、エンコードの難易度を算出するための統計量が取得され、取得された統計量を用いて難易度が算出され、第1の圧縮映像データがデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データがデコードされて生成された第2の非圧縮映像信号とが、編集点で接続され、第3の非圧縮映像信号が生成され、第3の非圧縮映像信号が、算出された難易度を基に制御される発生符号量でエンコードされ、第3の圧縮映像データが生成され、編集点付近以外の所定の範囲の第1の圧縮映像データおよび編集点付近以外の所定の範囲の第2の圧縮映像データと、第3の圧縮映像データとが接続されて、圧縮符号化された編集映像データが生成される。 In the first information processing apparatus, the information processing method, and the program of the present invention, video data in a predetermined range in the vicinity of the editing point of the first compressed video data and the second compressed video data is decoded, A statistic for calculating the difficulty level of encoding is acquired, a difficulty level is calculated using the acquired statistic, and the first uncompressed video signal generated by decoding the first compressed video data and The second non-compressed video signal generated by decoding the second compressed video data is connected at the editing point to generate a third non-compressed video signal, and the third non-compressed video signal is Encoded with a generated code amount controlled based on the calculated difficulty level, third compressed video data is generated, and the first compressed video data in a predetermined range other than the vicinity of the editing point and the predetermined other than the vicinity of the editing point The range of the first The compressed video data, the third compressed video data and is connected to the compressed encoded edited image data is generated.
本発明の第2の情報処理装置は、第1の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第2の非圧縮映像信号とが、編集点で接続されて生成された第3の非圧縮映像信号を、エンコードして第3の圧縮映像データを生成するエンコード手段と、エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の第1の圧縮映像データおよび第2の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段よるエンコード処理を制御する制御手段とを備えることを特徴とする。 According to the second information processing apparatus of the present invention, the first uncompressed video signal generated by decoding the first compressed video data in a predetermined range near the editing point and the second compressed video data are the editing point. The second non-compressed video signal generated by decoding within a predetermined range in the vicinity is encoded with the third non-compressed video signal generated by being connected at the editing point to obtain the third compressed video data. The encoding means to be generated and the statistics for calculating the difficulty level of the encoding executed by the encoding means are acquired from the first compressed video data and the second compressed video data before being decoded. Control that calculates the degree of difficulty using statistics, and controls the encoding process by the encoding means so that the amount of code generated by the encoding means is controlled based on the calculated difficulty level Characterized in that it comprises a stage.
本発明の第2の情報処理方法は、第1の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第2の非圧縮映像信号とが、編集点で接続されて生成された第3の非圧縮映像信号を、エンコードして第3の圧縮映像データを生成するエンコードステップと、エンコードステップの処理により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の第1の圧縮映像データおよび第2の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップとを含むことを特徴とする。 According to the second information processing method of the present invention, the first uncompressed video signal generated by decoding the first compressed video data in a predetermined range near the editing point and the second compressed video data are edited. The second non-compressed video signal generated by decoding within a predetermined range in the vicinity is encoded with the third non-compressed video signal generated by being connected at the editing point to obtain the third compressed video data. Obtain and obtain from the first compressed video data and the first compressed video data before being decoded, the statistic for calculating the encoding step to be generated and the difficulty level of the encoding executed by the processing of the encoding step The difficulty level is calculated using the calculated statistics, and the encoding step process is performed so that the generated code amount of the encoding executed by the encoding step process is controlled based on the calculated difficulty level. Characterized in that it comprises a encoding control step of controlling an encoding process by.
本発明の第2の情報処理装置および情報処理方法においては、第1の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第2の非圧縮映像信号とが、編集点で接続されて生成された第3の非圧縮映像信号が、エンコードされて、第3の圧縮映像データが生成され、エンコードの難易度を算出するための統計量が、デコードされる前の第1の圧縮映像データおよび第2の圧縮映像データから取得されて、取得された統計量を用いて難易度が算出され、算出された難易度を基に、エンコードの発生符号量が制御される。 In the second information processing apparatus and information processing method of the present invention, the first uncompressed video signal generated by decoding the first compressed video data in a predetermined range near the editing point, and the second compression The second uncompressed video signal generated by decoding the video data in a predetermined range near the editing point and the third uncompressed video signal generated by connecting at the editing point are encoded, 3 is generated, and a statistic for calculating the difficulty level of encoding is acquired from the first compressed video data and the second compressed video data before being decoded. The degree of difficulty is calculated using, and the generated code amount of encoding is controlled based on the calculated degree of difficulty.
本発明によれば、編集処理を行うようにすることができ、特に、エンコードの処理前にエンコードの難易度を算出するための統計量が取得され、取得された統計量を用いて難易度が算出されて、この難易度を基にエンコード時の発生符号量が制御されるようになされているので、1つのエンコーダで簡易2パスと同等の処理を行うようにすることができる。 According to the present invention, it is possible to perform an editing process, and in particular, a statistic for calculating the difficulty level of encoding is acquired before the encoding process, and the difficulty level is obtained using the acquired statistic. Since the calculated code amount is controlled based on this difficulty level, it is possible to perform processing equivalent to the simple two-pass with one encoder.
また、他の本発明によれば、編集処理を行うようにすることができ、特に、エンコードの処理前にエンコードの難易度が算出されて、この難易度を基にエンコード時の発生符号量が制御されるようになされているので、1つのエンコーダで簡易2パスと同等の処理を行うようにすることができる。 According to another aspect of the present invention, editing processing can be performed. In particular, the encoding difficulty level is calculated before the encoding processing, and the generated code amount at the time of encoding is calculated based on the difficulty level. Since it is controlled, it is possible to perform processing equivalent to simple two-pass with one encoder.
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even though there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。 Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
請求項1に記載の情報処理装置(例えば、図2の編集装置51)は、第1の圧縮映像データおよび第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段(例えば、図2のデコーダ72およびデコーダ73)と、第1の圧縮映像データがデコード手段によりデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データがデコード手段によりデコードされて生成された第2の非圧縮映像信号とを、編集点で接続し、第3の非圧縮映像信号を生成する接続手段(例えば、図2のエフェクト/スイッチ76)と、接続手段により接続されて生成された第3の非圧縮映像信号をエンコードして、第3の圧縮映像データを生成するエンコード手段(例えば、図2のエンコーダ77)と、編集点付近以外の所定の範囲の第1の圧縮映像データおよび編集点付近以外の所定の範囲の第2の圧縮映像データと、エンコード手段によりエンコードされて生成された、第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段(例えば、図2のストリームスプライサ75)と、デコード手段、接続手段、エンコード手段、および、編集映像データ生成手段が実行する処理を制御する制御手段(例えば、図2のCPU70)とを備え、制御手段は、エンコード手段により実行されるエンコードの難易度(例えば、global complexity measureなどの符号化難易度)を算出するための統計量(例えば、ピクチャの符号量と、平均量子化スケールコード)を、デコード手段、または、デコード手段によりデコードされる前の第1の圧縮映像データおよび第2の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段を制御することを特徴とする。
The information processing apparatus according to claim 1 (for example, the
エンコード手段は、エンコード手段によりエンコードされるピクチャの符号化条件(例えば、エンコードにおけるピクチャタイプおよび参照されるピクチャ)がエンコード手段によるエンコードの前後で一致する場合、算出された難易度を基に、発生符号量を制御することができる。 The encoding means is generated based on the calculated difficulty when the encoding conditions of the picture encoded by the encoding means (for example, the picture type in the encoding and the picture to be referred to) match before and after encoding by the encoding means. The code amount can be controlled.
請求項6に記載の情報処理方法は、第1の圧縮映像データおよび第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップ(例えば、図5のステップS5の処理)と、エンコードの難易度(例えば、global complexity measureなどの符号化難易度)を算出するための統計量(例えば、ピクチャの符号量と、平均量子化スケールコード)を取得する統計量取得ステップ(例えば、図5のステップS6の処理)と、統計量取得ステップの処理により取得された統計量を用いて難易度を算出する難易度算出ステップ(例えば、図5のステップS7の処理)と、第1の圧縮映像データがデコードステップの処理によりデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データがデコードステップの処理によりデコードされて生成された第2の非圧縮映像信号とを、編集点で接続し、第3の非圧縮映像信号を生成する接続ステップ(例えば、図5のステップS8の処理)と、接続ステップの処理により接続されて生成された第3の非圧縮映像信号を、難易度算出ステップの処理により算出された難易度を基に発生符号量を制御してエンコードを行い、第3の圧縮映像データを生成するエンコードステップ(例えば、図5のステップS9の処理)と、編集点付近以外の所定の範囲の第1の圧縮映像データおよび編集点付近以外の所定の範囲の第2の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップ(例えば、図5のステップS10の処理)とを含むことを特徴とする。 The information processing method according to claim 6 is a decoding step (for example, step S5 in FIG. 5) of decoding video data in a predetermined range near the editing point of the first compressed video data and the second compressed video data. Statistic acquisition for obtaining the statistic (for example, the code amount of the picture and the average quantization scale code) for calculating the encoding difficulty (for example, the encoding difficulty such as the global complexity measure) A difficulty level calculating step (for example, a process in step S7 in FIG. 5), a step (for example, a process in step S6 in FIG. 5), a difficulty level calculation step for calculating a difficulty level using the statistics acquired in the statistics amount acquisition process, , The first uncompressed video signal generated by decoding the first compressed video data by the decoding step process, and the second compressed video data of the decoding step A connection step of connecting the second uncompressed video signal decoded and generated by the process at an edit point to generate a third uncompressed video signal (for example, the process of step S8 in FIG. 5), and a connection The third uncompressed video signal connected and generated by the processing of the step is encoded by controlling the generated code amount based on the difficulty calculated by the processing of the difficulty level calculating step, and the third compressed video An encoding step for generating data (for example, the process of step S9 in FIG. 5), a first compressed video data in a predetermined range other than the vicinity of the editing point, and a second compressed video data in a predetermined range other than the vicinity of the editing point And the third compressed video data encoded and generated by the process of the encoding step, and the edited video data generation step for generating the compressed encoded video data is connected. (For example, step S10 in FIG. 5), characterized in that it comprises a.
また、請求項7に記載の記録媒体に記録されているプログラム、および、請求項8に記載のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、請求項6に記載の情報処理方法と同様である。
Further, in the program recorded on the recording medium according to
請求項9に記載の情報処理装置(例えば、図2の編集装置51)は、第1の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第2の非圧縮映像信号とが、編集点で接続されて生成された第3の非圧縮映像信号を、エンコードして第3の圧縮映像データを生成するエンコード手段(例えば、図2のエンコーダ77)と、エンコード手段により実行されるエンコードの難易度(例えば、global complexity measureなどの符号化難易度)を算出するための統計量(例えば、ピクチャの符号量と、平均量子化スケールコード)を、デコードされる前の第1の圧縮映像データおよび第2の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコード手段により実行されるエンコードの発生符号量が制御されるように、エンコード手段よるエンコード処理を制御する制御手段(例えば、図2のCPU70)とを備えることを特徴とする。
The information processing apparatus according to claim 9 (for example, the
請求項10に記載の情報処理方法は、第1の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第1の非圧縮映像信号と、第2の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第2の非圧縮映像信号とが、編集点で接続されて生成された第3の非圧縮映像信号を、エンコードして第3の圧縮映像データを生成するエンコードステップ(例えば、図5のステップS9の処理)と、エンコードステップの処理により実行されるエンコードの難易度(例えば、global complexity measureなどの符号化難易度)を算出するための統計量(例えば、ピクチャの符号量と、平均量子化スケールコード)を、デコードされる前の第1の圧縮映像データおよび第2の圧縮映像データから取得し、取得された統計量を用いて難易度を算出し、算出された難易度を基に、エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップ(例えば、図7を用いて説明した処理)とを含むことを特徴とする。
The information processing method according to
以下、図を参照して、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図2は本発明を適用した編集装置51のハードウェア構成を示すブロック図である。
FIG. 2 is a block diagram showing a hardware configuration of the
CPU(Central Processing Unit)61は、ノースブリッジ62に接続され、例えば、HDD(Hard disk Drive)66に記憶されているデータの読み出しなどの処理を制御したり、CPU70が実行する編集処理を制御するためのコマンドを生成し、出力する。ノースブリッジ62は、PCIバス(Peripheral Component Interconnect/Interface)64に接続され、例えば、CPU61の制御に基づいて、サウスブリッジ65を介して、HDD66に記憶されているデータの供給を受けて、PCIバス64、PCIブリッジ67を介して、メモリ68に供給する。また、ノースブリッジ62は、メモリ63とも接続されており、CPU61の処理に必要なデータを授受する。
A CPU (Central Processing Unit) 61 is connected to the
メモリ63は、CPU61が実行する処理に必要なデータを保存する。サウスブリッジ65は、HDD66のデータの書き込みおよび読み出しを制御する。HDD66には、圧縮符号化された編集用の素材が記憶されている。
The
PCIブリッジ67は、メモリ68のデータの書き込みおよび読み出しを制御したり、デコーダ72乃至74、または、ストリームスプライサ75への圧縮符号化データの供給を制御するとともに、PCIバス64およびコントロールバス69のデータの授受を制御する。メモリ68は、PCIブリッジ67の制御に基づいて、HDD66により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ75から供給される編集後の圧縮符号化データを記憶する。
The
CPU70は、ノースブリッジ62、PCIバス64、PCIブリッジ67、および、コントロールバス69を介して、CPU61から供給されたコマンドにしたがって、PCIブリッジ67、デコーダ72乃至74、ストリームスプライサ75、エフェクト/スイッチ76、および、エンコーダ77が実行する処理を制御する。メモリ71は、CPU70の処理に必要なデータを記憶する。
The
デコーダ72乃至デコーダ74は、そして、デコーダ72乃至デコーダ74は、CPU70の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。ストリームスプライサ75は、CPU70の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ72乃至デコーダ74は、編集装置1に含まれない独立した装置として設けられていても良い。例えば、デコーダ74が、独立した装置として設けられている場合、デコーダ74は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。
The
エフェクト/スイッチ76は、CPU70の制御に基づいて、デコーダ72またはデコーダ73から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ77に供給する。エンコーダ77は、CPU70の制御に基づいて、供給された非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ75に出力する。
The effect /
次に、編集装置51の動作について説明する。
Next, the operation of the
HDD66には、Long GOPのOpen GOP方式で圧縮された圧縮素材映像1および圧縮素材映像2のデータが記憶されている。
The
CPU61は、サウスブリッジ65を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、HDD66から、圧縮符号化された圧縮素材映像1のデータおよび圧縮素材映像2のデータを読み出させ、ノースブリッジ62、PCIバス64、および、PCIブリッジ67を介して、メモリ68に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ62、PCIバス64、PCIブリッジ67、および、コントロールバス69を介して、CPU70に供給する。
The
CPU70は、CPU61から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像1のデータおよび圧縮素材映像2のデータのうち、再エンコードを行う範囲を決定する。
Based on the information indicating the editing point supplied from the
具体的には、CPU70は、圧縮素材映像1において、再エンコードする区間の開始点を、部分再エンコードされた圧縮映像の前に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最後のピクチャのピクチャタイプが、IピクチャまたはPピクチャになるように決定する。
Specifically, in the
すなわち、CPU70は、例えば、図3に示されるように、再エンコードしない部分の圧縮素材映像1のディスプレイオーダで最後のピクチャのピクチャタイプがPピクチャ110になるように、再エンコードする区間の開始点を、圧縮素材映像1において、Pピクチャ85の次のBピクチャ86に決定する。換言すれば、CPU70は、再エンコードしない部分の圧縮映像がGOPの終了位置となるようにすることにより、エンコード処理が行いやすいようにすることができる。
That is, for example, as shown in FIG. 3, the
また、CPU70は、圧縮素材映像2において、再エンコードする区間の終了点を、部分再エンコードされた圧縮映像の後に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがIピクチャになるように決定する。
Further, the
すなわち、CPU70は、例えば、図3に示されるように、再エンコードしない部分の圧縮素材映像2のディスプレイオーダで最初のピクチャのピクチャタイプがIピクチャ111になるように、再エンコードする区間の終了点を、圧縮素材映像2において、Iピクチャ91の前のBピクチャ90に決定する。
That is, for example, as shown in FIG. 3, the
そして、CPU70は、PCIブリッジ67を制御して、メモリ68に記憶されている圧縮符号化された圧縮素材映像1のデータのうち、再エンコードを行う範囲のピクチャと、Bピクチャ36およびBピクチャ37をデコードするために参照する必要があるピクチャである、Iピクチャ81、Pピクチャ82、Pピクチャ83、Pピクチャ84、および、Pピクチャ85のデータをデコーダ72に供給させるとともに、圧縮素材映像2のデータのうち、再エンコードを行う範囲のピクチャと、Bピクチャ89およびBピクチャ90をデコードするために参照する必要があるピクチャである、Iピクチャ91のデータをデコーダ73に供給させる。
Then, the
また、このとき、CPU70は、PCIブリッジ67を制御して、メモリ68に記憶されている圧縮符号化された圧縮素材映像1および圧縮素材映像2のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ75に供給させる。
At this time, the
CPU70は、デコーダ72およびデコーダ73を制御して、供給された圧縮符号化されたデータをデコードさせる。
The
デコーダ72およびデコーダ73は、CPU70の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像1および素材映像2の信号をエフェクト/スイッチ76に供給する。エフェクト/スイッチ76は、CPU70の制御に基づいて、所定のカット(Cut)編集点(スプライス点)で、非圧縮の復号素材映像1と復号素材映像2の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像(図3においては、Bピクチャ93およびBピクチャ94のエンコードに必要なPピクチャ92、および、Bピクチャ107およびBピクチャ108のエンコードに必要なIピクチャ109に対応する画像データ)とともに、エンコーダ77に供給する。
The
また、デコーダ72およびデコーダ73は、CPU70の制御に基づいて、再エンコードするピクチャの符号化難易度を把握するための統計量と、デコード前のピクチャタイプを示す情報を抽出し、CPU70に供給する。
Further, the
デコーダ72およびデコーダ73は、符号化難易度を算出するための統計量として、ピクチャの符号量と平均量子化スケールコードを抽出し、CPU70に供給する。ピクチャの符号量と平均量子化スケールコードの積は、画像の複雑さを示すパラメータである、例えば、global complexity measureなどとして、TM5などのレート制御でも用いられている。エンコーダ77は、TM5などで使われている計算式などを用いることで、各ピクチャの目標発生符号量を決定することができる。
The
また、デコーダ72およびデコーダ73に代わって、CPU61が、サウスブリッジ65を制御して、圧縮素材映像2のデータをHDD66から読み出させ、ノースブリッジ62に供給させたとき、ノースブリッジ62の圧縮素材映像2のデータから符号化難易度を算出するための統計量として、ピクチャの符号量と平均量子化スケールコードを抽出し、CPU70に供給することができるようにしてもよい。
Further, instead of the
本発明が適用された編集装置51におけるレート制御と、TM5などのレート制御との異なる点は、TM5などが、一旦エンコードした結果得られた統計量をもとにして、それに引き続く画像のエンコード方法を調整するフィードバック型の制御であるのに対して、本発明は、エンコードする前に難易度を判定する統計量を算出する、フィードフォワード型の制御であることである。
The difference between the rate control in the
また、global complexity measureは、各ピクチャタイプ毎の画像の複雑さを示すパラメータであるので、再エンコードの前後でピクチャタイプが異なると、デコード時に取得されたglobal complexity measureの情報を、エンコード時に利用することができない。よって、再エンコードする際には、ピクチャタイプを再エンコードの前後でできる限り一致させるように決定する必要がある。また、再エンコードの前後で参照画が異なるピクチャも、再エンコードの前後で、エンコードの条件が異なるため、デコード前の圧縮素材映像からの情報が利用できない。圧縮素材映像1において、再エンコードの前後で参照画が異なるピクチャは、編集点以降のピクチャを参照していたピクチャであるので、編集点から前方に向かって最初に存在するIピクチャまたはPピクチャと編集点との間にあるBピクチャであり、図3における場合では、Bピクチャ100に対応するピクチャより後ろのピクチャを参照していたピクチャであるので、Bピクチャ99およびBピクチャ100が、再エンコードの前後で参照画が異なるピクチャである。また、圧縮素材映像2において、再エンコードの前後で参照画が異なるピクチャは、編集点より前のピクチャを参照していたピクチャであるので、編集点とその次に最初に存在するピクチャまたはPピクチャと、それらの間にあるBピクチャであり、図3における場合では、Pピクチャ101、Bピクチャ102、および、Pピクチャ103が、再エンコードの前後で参照画が異なるピクチャである。
Moreover, since the global complexity measure is a parameter indicating the complexity of the image for each picture type, if the picture type is different before and after re-encoding, the information of the global complexity measure obtained at the time of decoding is used at the time of encoding. I can't. Therefore, when re-encoding is performed, it is necessary to determine that the picture types are matched as much as possible before and after re-encoding. Also, pictures from different reference pictures before and after re-encoding cannot use information from the compressed material video before decoding because the encoding conditions are different before and after re-encoding. In the
これらの理由から、ピクチャタイプが再エンコード前後で同じであり、かつ、参照画も同じピクチャにおいては、取得された統計量を利用してエンコードを行うことができる。換言すれば、CPU70は、参照画が再エンコード前後で同じピクチャは、ピクチャタイプが再エンコード前後で同じとなるように、エンコーダ77のエンコード処理を制御する。
For these reasons, when the picture type is the same before and after re-encoding and the reference picture is also the same picture, encoding can be performed using the acquired statistics. In other words, the
また、編集点前後のピクチャは、デコード前の圧縮素材映像からの情報が利用できず、またシーンチェンジが発生しているため符号化難易度が高くなっていることが予想され、特別な目標符号量の配分が必要になる。 In addition, it is expected that pictures before and after the editing point cannot be used from the compressed material video before decoding, and because the scene change has occurred, the encoding difficulty level is expected to be high. A distribution of quantity is required.
CPU70は、デコーダ72およびデコーダ73から供給された統計量(ピクチャの符号量と平均量子化スケールコード)を基に、例えば、TM5などで使われている計算式などを用いることで、global complexity measureを算出してエンコーダ77に供給する。エンコーダ77は、global complexity measureを基に、各ピクチャの目標発生符号量を算出し、ピクチャタイプが再エンコード前後で同じであり、かつ、参照画も同じピクチャを、算出された目標発生符号量を用いてエンコードさせる。
The
すなわち、CPU70は、デコーダ72およびデコーダ73から、再エンコードが行われる部分の、デコード前の圧縮素材映像1および圧縮素材映像2のピクチャタイプに関する情報を取得して保存しておき、エンコーダ77におけるエンコード処理において、参照画が同一となるピクチャは、同一のピクチャタイプでエンコードが行われるように、エンコーダ77の処理を制御する。また、CPU70は、編集点後の最初のIピクチャまたはPピクチャは、IピクチャまたはPピクチャとしてエンコードされるように制御する。なお、参照画が異なるピクチャは、上述したように、エンコード条件が異なるために、デコード前の圧縮素材映像からの情報を利用することができないので、参照画が異なるピクチャのピクチャタイプは、エンコーダ77が任意に決めるようにすればよい。
That is, the
また、CPU70は、圧縮素材映像2のうち、再エンコードを行う部分において、ディスプレイオーダで最後に位置する連続するBピクチャの枚数nの情報を取得する。再エンコードしない部分の圧縮素材映像2のディスプレイオーダで最初のピクチャのピクチャタイプは、上述したように、Iピクチャになるように決定されているので、Bピクチャの枚数nは、すなわち、再エンコードしない部分の圧縮素材映像2のディスプレイオーダで最初のIピクチャと、編集後にそのIピクチャの直前に存在するIピクチャまたはPピクチャとの間にあるBピクチャの枚数である。図3における場合では、Bピクチャの枚数nは、Bピクチャ107およびBピクチャ108の2枚である。
Further, the
更に、CPU70は、再エンコードしない部分の圧縮素材映像2のディスプレイオーダで最初のIピクチャの直前に存在するIピクチャまたはPピクチャ、換言すれば、再エンコードする範囲の最後に存在するIピクチャまたはPピクチャのピクチャタイプの情報を取得する。図3における場合では、再エンコードしない部分の圧縮素材映像2のディスプレイオーダで最初のIピクチャの直前に存在するIピクチャまたはPピクチャは、Pピクチャ106である。
Further, the
そして、CPU70は、エンコーダ77が実行する処理において、再エンコード終了点付近のBピクチャの枚数が編集前の圧縮素材映像2と同一となり、そのBピクチャの直前のピクチャのピクチャタイプがIピクチャまたはPピクチャとなるように、エンコーダ77を制御する。また、CPU70は、Bピクチャの直前のピクチャのピクチャタイプも、編集前の圧縮素材映像2と同一となるように制御すると好適である。
Then, in the processing executed by the encoder 77, the
すなわち、CPU70は、図3における場合では、編集前の圧縮素材映像2のBピクチャ89およびBピクチャ90と、再エンコードにおけるBピクチャ107およびBピクチャ108のピクチャタイプがそろい、再エンコードにおけるBピクチャ107およびBピクチャ108の直前がPピクチャ106となるように、エンコーダ77を制御する。
That is, in the case of FIG. 3, the
エンコーダ77は、CPU70の制御に基づいて、エフェクト/スイッチ76から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。
The encoder 77 encodes the uncompressed edited video signal for re-encoding supplied from the effect /
そして、エンコーダ77において再エンコードされた映像データは、ストリームスプライサ75に供給される。ストリームスプライサ75は、CPU70の制御に基づいて、PCIブリッジ67から供給された、圧縮素材映像1および圧縮素材映像2のデータのうちの再エンコードを行わない範囲の圧縮素材映像1および圧縮素材映像2と、エンコーダ77から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。
The video data re-encoded by the encoder 77 is supplied to the
具体的には、ストリームスプライサ75は、CPU70の制御に基づいて、PCIブリッジ67から供給された、圧縮素材映像1のPピクチャ110とエンコーダ77から供給されたエンコードされた映像データのBピクチャ93とがディスプレイオーダで連続するように接続され、エンコーダ77から供給されたエンコードされた映像データのBピクチャ108と、PCIブリッジ67から供給された、圧縮素材映像2のIピクチャ111とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
Specifically, the
実際のエンコードはコーディングオーダで行われ、エンコーダ77においてエンコードされた圧縮映像も、コーディングオーダで出力される。図3を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図4に示す。 Actual encoding is performed in the coding order, and the compressed video encoded by the encoder 77 is also output in the coding order. Corresponding to the case described with reference to FIG. 3, FIG. 4 shows the arrangement of pictures in a compressed signal in coding order.
部分エンコードされた圧縮映像データのうち、再エンコードの前後で参照画が異なるピクチャ、すなわち、コーディングオーダで、Pピクチャ101、Bピクチャ99、Bピクチャ100、Pピクチャ103、および、Bピクチャ102においては、取得した統計量を利用してエンコードを行うことができない。CPU70は、デコーダ72およびデコーダ73から供給された、符号化難易度を算出するための統計量であるピクチャの符号量と平均量子化スケールコードを基に、コーディングオーダで、Iピクチャ95乃至Bピクチャ97、Pピクチャ106乃至Bピクチャ105、Bピクチャ107、および、Bピクチャ108のそれぞれのピクチャのエンコードのための難易度(global complexity measure)を算出し、エンコーダ77に供給する。
Among the partially encoded compressed video data, the pictures having different reference pictures before and after re-encoding, that is, in the coding order, in the
エンコーダ77は、再エンコードの前後で参照画が等しいピクチャにおいては、CPU70から供給された符号化難易度によって決まる発生符号量でエンコードを行い、エンコード済みの圧縮映像データを、ストリームスプライサ75に供給する。
The encoder 77 performs encoding with the generated code amount determined by the encoding difficulty level supplied from the
ストリームスプライサ75は、CPU70の制御に基づいて、再エンコードされた部分と再エンコードされていない部分の接続点において、エンコードされた映像データのBピクチャ105と圧縮素材映像2のIピクチャ111(再エンコードされていないIピクチャ)とがコーディングオーダで連続するように接続され、圧縮素材映像2のIピクチャ111と、エンコードされた映像データのBピクチャ107とがコーディングオーダで連続するように接続され、エンコードされた映像データにおいて、コーディングオーダでBピクチャ107に続くBピクチャ108と、圧縮素材映像2のPピクチャ112とがコーディングオーダで連続するように接続されるように、ストリームをつなぎ合わせる。
Based on the control of the
換言すれば、ストリームスプライサ75は、コーディングオーダにおいて、再エンコードされた区間の最後のIピクチャまたはPピクチャに続く、n枚の再エンコードされたBピクチャの前に、再エンコードされていないIピクチャが入るように、ストリームをつなぎ合わせる。
In other words, the
そして、ストリームスプライサ75は、CPU70の制御に基づいて、作成した圧縮編集映像データをPCIブリッジ67に供給して、メモリ68に保存させるとともに、デコーダ74に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。デコーダ74が、独立した装置として構成されている場合、デコーダ74に対応する装置は、図3および図4を用いて説明したようにして生成された、換言すれば、コーディングオーダにおいて、再エンコードされた区間の最後のIピクチャまたはPピクチャに続く、n枚の再エンコードされたBピクチャの前に、再エンコードされていないIピクチャが入るように接続された、編集後の圧縮映像データの供給を受けてこれをデコードし、デコードされて生成されたベースバンド信号を出力することができるようになされる。
Under the control of the
次に、図5のフローチャートを参照して、編集処理について説明する。 Next, editing processing will be described with reference to the flowchart of FIG.
ステップS1において、CPU61は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ65を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、HDD66から、圧縮符号化された圧縮素材映像1のデータおよび圧縮素材映像2のデータを読み出させ、ノースブリッジ62、PCIバス64、および、PCIブリッジ67を介して、メモリ68に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ62、PCIバス64、PCIブリッジ67、および、コントロールバス69を介して、CPU70に供給する。
In step S1, the
ステップS2において、メモリ68は、圧縮符号化された2つの編集素材データを取得する。
In step S2, the
ステップS3において、CPU70は、CPU61から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、再エンコードしない部分の圧縮素材映像1のディスプレイオーダで最後のピクチャのピクチャタイプがPピクチャになり、再エンコードしない部分の圧縮素材映像2のディスプレイオーダで最初のピクチャのピクチャタイプがIピクチャになるように、圧縮符号化された編集素材データのデコード範囲を決定する。
In step S3, the
ステップS4において、CPU70は、PCIブリッジ67を制御して、メモリ68に記憶されている圧縮符号化された2つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ72およびデコーダ73にそれぞれ供給させる。また、このとき、CPU70は、PCIブリッジ67を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ75に供給させる。PCIブリッジ67は、CPU70の制御に基づいて、メモリ68に記憶されている圧縮符号化された2つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ72およびデコーダ73にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ75に供給する。
In step S4, the
ステップS5において、CPU70は、デコーダ72およびデコーダ73を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ72およびデコーダ73は、CPU70の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト/スイッチ76に供給する。
In step S5, the
ステップS6において、CPU70は、デコーダ72およびデコーダ73から、符号化難易度を計算するための統計量として、ピクチャの符号量と平均量子化スケールコード、および、デコード前のピクチャタイプの情報を取得する。
In step S6, the
ステップS7において、CPU70は、ピクチャの符号量と平均量子化スケールコードの積、すなわち、画像の複雑さを示すパラメータ(global complexity measure)を、エンコーダ77における符号化難易度として算出する。
In step S <b> 7, the
ステップS8において、CPU70は、エフェクト/スイッチ76を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト/スイッチ76は、CPU70の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ77に供給する。
In step S8, the
ステップS9において、CPU70は、エンコーダ77を制御して、編集点で接続された非圧縮の復号映像素材を再エンコードさせる。エンコーダ77は、CPU70の制御に基づいて、編集点で接続された非圧縮の復号映像素材の再エンコードを行い、再エンコードされた圧縮符号化された映像データを、ストリームスプライサ75に供給する。
In step S9, the
このとき、CPU70およびエンコーダ77は、図6を用いて後述するピクチャタイプ決定処理によって、エンコードのピクチャタイプを決定するとともに、図7を用いて後述する統計量利用決定処理に基づいて、ステップS7において算出された符号化難易度を用いてエンコードを行うか否かを決定する。
At this time, the
そして、ステップS10において、図8を用いて後述する接続処理が実行され、処理は終了される。 In step S10, a connection process described later with reference to FIG. 8 is executed, and the process ends.
このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。 By such processing, the vicinity of the edit point of the compressed video data of the Open GOP structure of Long GOP is partially decoded, and after the decoded uncompressed video signal is connected at a predetermined edit point, re-encoding is performed, By connecting to the compressed video data of the part that has not been decoded and re-encoded, editing of the compressed video data of the Long GOP Open GOP structure can be realized.
次に、図6のフローチャートを参照して、再エンコード実行(図5のステップS9の処理)時におけるピクチャタイプ決定処理について説明する。 Next, the picture type determination process at the time of re-encoding (the process of step S9 in FIG. 5) will be described with reference to the flowchart in FIG.
ステップS31において、CPU70は、圧縮符号化された映像素材2のデータにおいて、ディスプレイオーダで、再エンコードされる部分の最後に連続するBピクチャの数nを取得し、再エンコードされる部分の最後に連続するBピクチャの数nを基に、エンコーダ77によるエンコード処理を制御する。エンコーダ77は、CPU70の制御に基づいて、エフェクト/スイッチ76から供給された、編集点で接続された映像素材データのエンコードを開始する。
In step S31, the
ステップS32において、エンコーダ77は、エンコードするピクチャは、編集点の後の最初のIピクチャまたはPピクチャであるか否かを判断する。ステップS32において、エンコードするピクチャは、編集点の後の最初のIピクチャまたはPピクチャであると判断された場合、処理は、後述するステップS36に進む。 In step S32, the encoder 77 determines whether or not the picture to be encoded is the first I picture or P picture after the editing point. If it is determined in step S32 that the picture to be encoded is the first I picture or P picture after the editing point, the process proceeds to step S36 described later.
ステップS32において、エンコードするピクチャは、編集点の後の最初のIピクチャまたはPピクチャではないと判断された場合、ステップS33において、エンコーダ77は、エンコードするピクチャは、ディスプレイオーダで、最後からn+1番目のピクチャ、すなわち、図3におけるPピクチャ106に対応するピクチャであるか否かを判断する。ステップS33において、最後からn+1番目のピクチャであると判断された場合、処理は、後述するステップS38に進む。
If it is determined in step S32 that the picture to be encoded is not the first I picture or P picture after the editing point, in step S33, the encoder 77 displays the picture to be encoded in the display order and is the (n + 1) th from the end. Whether the picture corresponds to the
ステップS33において、最後からn+1番目のピクチャではないと判断された場合、ステップS34において、エンコーダ77は、エンコードするピクチャは、ディスプレイオーダで、最後からn番目以降のピクチャ、すなわち、図3におけるBピクチャ107またはBピクチャ108に対応するピクチャであるか否かを判断する。ステップS34において、エンコードするピクチャは、最後からn番目以降のピクチャであると判断された場合、処理は、後述するステップS41に進む。
If it is determined in step S33 that the picture is not the (n + 1) th picture from the last, in step S34, the encoder 77 encodes the picture to be encoded in the display order and the nth picture from the last, that is, the B picture in FIG. It is determined whether the picture corresponds to the
ステップS34において、エンコードするピクチャは、最後からn番目以降のピクチャではないと判断された場合、すなわち、エンコードするピクチャが、最後からn+2番目以前のピクチャ(図3におけるPピクチャ106より時間的に前のピクチャ)であると判断された場合、ステップS35において、エンコーダ77は、エンコードするピクチャの参照画は、再エンコード前と同一であるか否か、すなわち、図3におけるBピクチャ99、Bピクチャ100、Pピクチャ101、Bピクチャ102、または、Pピクチャ103のうちのいずれかであるか否かを判断する。
If it is determined in step S34 that the picture to be encoded is not the nth or later picture from the end, that is, the picture to be encoded is the n + 2th previous picture from the last (before the
ステップS32において、エンコードするピクチャは、編集点の後の最初のIピクチャまたはPピクチャであると判断された場合、または、ステップS35において、エンコードするピクチャの参照画は、再エンコード前と同一であると判断された場合、ステップS36において、エンコーダ37は、エンコードするピクチャは、編集点の後の最初のIピクチャまたはPピクチャであること、もしくは、エンコードするピクチャの参照画は、再エンコード前と同一であることを、CPU70に通知する。CPU70は、これらのピクチャのデコード前のピクチャタイプに関する情報をエンコーダ77に供給する。エンコーダ77は、エンコードするピクチャのピクチャタイプをデコード前のピクチャタイプとし、処理は、後述するステップS42に進む。
If it is determined in step S32 that the picture to be encoded is the first I picture or P picture after the editing point, or in step S35, the reference picture of the picture to be encoded is the same as before re-encoding. In step S36, the
ステップS35において、エンコードするピクチャの参照画は、再エンコード前と同一ではないと判断された場合、ステップS37において、エンコーダ77は、エンコードするピクチャのピクチャタイプを通常のアルゴリズムにしたがって設定し、処理は、後述するステップS42に進む。 If it is determined in step S35 that the reference picture of the picture to be encoded is not the same as that before re-encoding, in step S37, the encoder 77 sets the picture type of the picture to be encoded in accordance with a normal algorithm, Then, the process proceeds to step S42 described later.
ステップS33において、エンコードするピクチャは、最後からn+1番目のピクチャ、すなわち、図3におけるPピクチャ106に対応するピクチャであると判断された場合、ステップS38において、エンコーダ77は、エンコードするピクチャは、圧縮符号化された映像素材2のデータにおいて、Iピクチャであったか否かを判断する。
If it is determined in step S33 that the picture to be encoded is the (n + 1) th picture from the end, that is, the picture corresponding to the
ステップS38において、エンコードするピクチャは、圧縮符号化された映像素材2のデータにおいて、Iピクチャであったと判断された場合、ステップS39において、エンコーダ77は、エンコードするピクチャのピクチャタイプをIピクチャに設定し、処理は、後述するステップS42に進む。 If it is determined in step S38 that the picture to be encoded is an I picture in the compression-encoded video material 2, the encoder 77 sets the picture type of the picture to be encoded to I picture in step S39. Then, the process proceeds to step S42 described later.
ステップS38において、エンコードするピクチャは、圧縮符号化された映像素材2のデータにおいて、Iピクチャではなかった、すなわち、Pピクチャであったと判断された場合、ステップS40において、エンコーダ77は、エンコードするピクチャのピクチャタイプをPピクチャに設定し、処理は、後述するステップS42に進む。 If it is determined in step S38 that the picture to be encoded is not an I picture in the data of the compression-encoded video material 2, that is, it is a P picture, the encoder 77 in step S40 The picture type is set to P picture, and the process proceeds to step S42 described later.
ステップS34において、エンコードするピクチャは、最後からn番目以降のピクチャすなわち、図3におけるBピクチャ72またはBピクチャ73に対応するピクチャであると判断された場合、ステップS41において、エンコーダ77は、エンコードするピクチャのピクチャタイプをBピクチャに設定し、処理は、ステップS42に進む。
If it is determined in step S34 that the picture to be encoded is a picture corresponding to the nth picture from the last, that is, the picture corresponding to the
ステップS36、ステップS37、ステップS39、ステップS40、または、ステップS41の処理の終了後、ステップS42において、エンコーダ77は、最後のピクチャの処理が終了したか否かを判断する。 After step S36, step S37, step S39, step S40, or step S41, the encoder 77 determines in step S42 whether or not the last picture has been processed.
ステップS42において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップS32に戻り、それ以降の処理が繰り返される。ステップS42において、最後のピクチャの処理が終了したと判断された場合、処理は終了される。 If it is determined in step S42 that the process for the last picture has not been completed, the process returns to step S32, and the subsequent processes are repeated. If it is determined in step S42 that the process for the last picture has been completed, the process ends.
このような処理により、LongGOPのOpenGOPの圧縮素材映像のうちの編集点付近のデータをデコードし、編集点で接続して再エンコードした後、再エンコードされていない圧縮素材映像データと接続して編集したときに、できるだけ統計量を再利用することができるようにするために、再エンコード前後で可能な限りピクチャタイプが同一となるように再エンコード時のピクチャタイプを決定することが可能となる。したがって、編集後の映像データの画質が向上する。 Through this process, the data near the editing point in the OpenGOP compressed material video of LongGOP is decoded, connected at the editing point, re-encoded, and then connected to the compressed material video data that has not been re-encoded for editing. In order to make it possible to reuse the statistic as much as possible, it is possible to determine the picture type at the time of re-encoding so that the picture type is the same as possible before and after the re-encoding. Therefore, the image quality of the edited video data is improved.
次に、図7のフローチャートを参照して、再エンコード実行(図5のステップS9の処理)時における統計量利用決定処理について説明する。 Next, with reference to the flowchart of FIG. 7, the statistic usage determination process at the time of re-encoding execution (the process of step S9 of FIG. 5) will be described.
ステップS61において、エンコーダ77は、CPU70から、再エンコード前のピクチャから得られる統計量により算出された符号化難易度を取得する。
In step S61, the encoder 77 acquires from the
ステップS62において、エンコーダ77は、次にエンコードするピクチャは、再エンコード前後で、エンコード条件、すなわち、ピクチャタイプと参照画とが等しいか否かを判断する。 In step S62, the encoder 77 determines whether or not the next picture to be encoded has the same encoding condition, that is, the picture type and the reference picture, before and after re-encoding.
ステップS62において、次にエンコードするピクチャは、再エンコード前後で、エンコード条件が等しいと判断された場合、ステップS63において、エンコーダ77は、算出された符号化難易度を用いてエンコードを行う。 In step S62, when it is determined that the next encoding picture has the same encoding condition before and after re-encoding, in step S63, the encoder 77 performs encoding using the calculated encoding difficulty level.
ステップS62において、次にエンコードするピクチャは、再エンコード前後で、エンコード条件が等しくないと判断された場合、ステップS64において、エンコーダ77は、算出された符号化難易度を用いずにエンコードを行う。 If it is determined in step S62 that the next encoding picture has the same encoding condition before and after re-encoding, in step S64, the encoder 77 performs encoding without using the calculated encoding difficulty level.
ステップS63、または、ステップS64の処理の終了後、ステップS65において、エンコーダ77は、最後のピクチャの処理が終了したか否かを判断する。ステップS65において、最後のピクチャの処理が終了されていないと判断された場合、処理は、ステップS62に戻り、それ以降の処理が繰り返される。ステップS65において、最後のピクチャの処理が終了されたと判断された場合、処理は終了される。 After step S63 or step S64, the encoder 77 determines in step S65 whether or not the last picture has been processed. If it is determined in step S65 that the processing of the last picture has not been completed, the processing returns to step S62, and the subsequent processing is repeated. If it is determined in step S65 that the last picture has been processed, the process ends.
このような処理により、再エンコード前後で、エンコード条件、すなわち、ピクチャタイプと参照画とが等しいピクチャにおいてのみ、再エンコード前のピクチャから得られる統計量により算出された符号化難易度を用いて発生符号量が制御されるようにしたので、エンコード条件が再エンコード前後で等しいピクチャの再エンコードによる画像劣化を防ぐようにすることができるとともに、編集点前後のシーンチェンジが発生している可能性が極めて高いピクチャにおいて、再エンコード前の統計量を用いて画像を劣化してしまうことを防ぐようにすることができる。 By such processing, only before and after re-encoding, encoding conditions, that is, only in pictures with the same picture type and reference picture, are generated using the encoding difficulty calculated from the statistics obtained from the picture before re-encoding. Since the code amount is controlled, it is possible to prevent image deterioration due to re-encoding of pictures with the same encoding condition before and after re-encoding, and there is a possibility that a scene change before and after the editing point has occurred. In extremely high pictures, it is possible to prevent the image from being deteriorated by using the statistics before re-encoding.
次に、図8のフローチャートを参照して、図5のステップS10において実行される接続処理について説明する。 Next, the connection process executed in step S10 of FIG. 5 will be described with reference to the flowchart of FIG.
ステップS91において、ストリームスプライサ75は、PCIブリッジ67から供給された、再エンコードしない部分の圧縮素材映像1のデータ、すなわち、図3における場合では、ディスプレイオーダにおいて時間的にPピクチャ110以前となるピクチャのデータを取得する。
In step S91, the
ステップS92において、ストリームスプライサ75は、エンコーダ77から供給された、再エンコードされた編集点付近の圧縮映像データ、すなわち、図3における場合では、ディスプレイオーダにおいてPピクチャ92乃至Iピクチャ109に対応するピクチャを取得する。
In step S92, the
ステップS93において、ストリームスプライサ75は、再エンコードされた編集点付近の圧縮映像データのうち、エンコードの参照のためにエンコードされた部分すなわち、図3における場合では、Pピクチャ92およびIピクチャ109に対応するピクチャを破棄し、再エンコードしない部分の圧縮素材映像1のデータと、再エンコードされた圧縮映像データを接続する。すなわち、図3における場合では、ストリームスプライサ75は、Pピクチャ110とBピクチャ93とがディスプレイオーダで連続するように接続する。
In step S93, the
ステップS94において、ストリームスプライサ75は、PCIブリッジ67から供給された、再エンコードしない部分の圧縮素材映像2のデータ、すなわち、図3における場合では、ディスプレイオーダにおいて時間的にIピクチャ111以降となるピクチャのデータを取得する。
In step S94, the
ステップS95において、ストリームスプライサ75は、再エンコードされた編集点付近の圧縮映像データのうち、コーディングオーダで最後からn+1番目のピクチャ、すなわち、図4における場合では、Bピクチャ105に対応するピクチャの次に、再エンコードしない部分の圧縮素材映像2のコーディングオーダで最初のIピクチャ、すなわち、図4における場合では、Iピクチャ111に対応するピクチャを接続する。
In step S95, the
ステップS96において、ストリームスプライサ75は、再エンコードしない部分の圧縮素材映像2のコーディングオーダで最初のIピクチャ、すなわち、図4における場合では、Iピクチャ111に対応するピクチャに、再エンコードされた編集点付近の圧縮映像データの最後からn枚のBピクチャ、すなわち、図4における場合では、Bピクチャ107およびBピクチャ108を接続する。
In step S96, the
そして、ステップS97において、ストリームスプライサ75は、再エンコードされた編集点付近の圧縮映像データの最後のBピクチャ、すなわち、図4における場合では、Bピクチャ108の次に、再エンコードしない部分の圧縮素材映像2の2番目のIまたはPピクチャ、すなわち、図4における場合では、Pピクチャ112を接続し、処理は、図5のステップS10にもどり、処理が終了される。
In step S97, the
このような処理により、LongGOPのOpenGOPの圧縮素材映像を編集するときに、再エンコード時のピクチャタイプが制御され、必要に応じてデコード前の統計量を用いて算出された符号化難易度を利用して発生符号量が制御されてエンコードされた再エンコード部分の圧縮符号化データと、再エンコードされていない部分の圧縮符号化データとを接続することが可能となる。 With this process, when editing LongGOP OpenGOP compressed material video, the picture type at the time of re-encoding is controlled, and if necessary, the encoding difficulty calculated using the statistics before decoding is used. Thus, it becomes possible to connect the compression-encoded data of the re-encoded portion encoded with the generated code amount controlled and the compression-encoded data of the portion not re-encoded.
このように、本発明を適用することにより、Long GOPのOpen GOP方式で圧縮された映像素材を、部分的にデコード、再エンコードする方法の編集において、2つ目のエンコーダを利用することなく、2パスエンコード方式と同様にして、ピクチャタイプと参照画とが編集前後で等しいピクチャにおいてのみ、再エンコード前の統計量により算出された符号化難易度を用いて発生符号量を制御することができるようにしたので、エンコード条件が再エンコード前後で等しいピクチャの再エンコードによる画像劣化を防ぐようにすることができるとともに、編集点前後のシーンチェンジが発生している可能性が極めて高いピクチャにおいて、再エンコード前の統計量を用いてしまうことにより画像が劣化してしまうことを防ぐようにすることができる。すなわち、本発明を適用することにより、通常のフィードバック方のエンコーダと比較して、ほとんどコストアップすることなく、2パスエンコード方式と同様に再エンコードによる画質劣化を防止することが可能となる。 In this way, by applying the present invention, video material compressed by the Long GOP Open GOP method is partially decoded and re-encoded without using a second encoder. Similar to the two-pass encoding method, the generated code amount can be controlled using the encoding difficulty calculated by the statistical amount before re-encoding only in the picture with the same picture type and reference image before and after editing. As a result, image degradation due to re-encoding of pictures with the same encoding conditions before and after re-encoding can be prevented, and re-encoding is possible in pictures that are highly likely to have scene changes before and after the edit point. By using the statistics before encoding, it is possible to prevent the image from being deteriorated. That is, by applying the present invention, it is possible to prevent image quality degradation due to re-encoding as in the case of the 2-pass encoding method with almost no increase in cost compared to a normal feedback encoder.
なお、ここでは、少なくともディスプレイオーダで、最後からn+1番目のピクチャより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御されるものとして説明したが、再エンコードされる範囲の所定のIピクチャまたはPピクチャを含めてそれより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御された場合にも、本発明は適用可能である。 Here, it has been described that the picture type of the picture after the (n + 1) -th picture from the last in the display order is controlled so as not to be changed before and after editing. However, a predetermined I in a range to be re-encoded is described. The present invention is also applicable when the picture type of a picture including a picture or a P picture is controlled so as not to be changed before and after editing.
また、ここでは、図3および図4を用いて説明したようにして、再エンコードされたピクチャと再エンコードされないピクチャが接続される場合について説明したが、本発明は、異なる方法で再エンコードされたピクチャと再エンコードされないピクチャが接続される場合についても適用可能である。すなわち、再エンコードされたピクチャと再エンコードされないピクチャとの接続方法にかかわらず、再エンコード前のデコード処理、または、デコード前の素材映像データより、デコード前の圧縮画像データに関する情報を抽出し、再エンコード前後でピクチャタイプと参照画とが等しいピクチャにおいてのみ、再エンコード前の統計量により算出された符号化難易度を用いて発生符号量を制御するようにすることにより、通常のフィードバック方のエンコーダと比較して、ほとんどコストアップすることなく、2パスエンコード方式と同様に再エンコードによる画質劣化を防止することが可能となる。 In addition, here, the case where the re-encoded picture and the non-re-encoded picture are connected as described with reference to FIGS. 3 and 4 has been described. However, the present invention is re-encoded in a different manner. The present invention can also be applied to a case where a picture and a picture that is not re-encoded are connected. That is, regardless of the connection method between the re-encoded picture and the non-re-encoded picture, information related to the compressed image data before decoding is extracted from the decoding process before re-encoding or the source video data before decoding, and re-encoded. Only in pictures where the picture type and reference picture are the same before and after encoding, the amount of generated code is controlled using the encoding difficulty calculated by the statistics before re-encoding, so that the normal feedback encoder As compared with the two-pass encoding method, image quality deterioration due to re-encoding can be prevented with almost no increase in cost.
なお、ここでは、統計量により算出された符号化難易度として、ピクチャの符号量と平均量子化スケールコードの積であり、画像の複雑さを示すパラメータであるglobal complexity measureを利用するものとして説明したが、符号化難易度には、例えば、ME残差やイントラAC(イントラMADと称される場合もある)など、異なるパラメータを用いるようにしてもよいことはいうまでもない。 Here, the coding difficulty calculated by the statistics is described as a product of the code amount of the picture and the average quantization scale code, and a global complexity measure that is a parameter indicating the complexity of the image is used. However, it goes without saying that different parameters such as ME residual and intra AC (sometimes referred to as intra MAD) may be used for the encoding difficulty level.
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図4を用いて説明した編集装置51は、図9に示されるようなパーソナルコンピュータ301により構成される。
The series of processes described above can also be executed by software. The software is a computer in which the program constituting the software is incorporated in dedicated hardware, or various functions can be executed by installing various programs, for example, a general-purpose personal computer For example, it is installed from a recording medium. In this case, for example, the
図9において、CPU(Central Processing Unit)311は、ROM(Read Only Memory)312に記憶されているプログラム、または記憶部318からRAM(Random Access Memory)313にロードされたプログラムにしたがって、各種の処理を実行する。RAM313にはまた、CPU311が各種の処理を実行する上において必要なデータなども適宜記憶される。
In FIG. 9, a CPU (Central Processing Unit) 311 performs various processes according to a program stored in a ROM (Read Only Memory) 312 or a program loaded from a
CPU311、ROM312、およびRAM313は、バス314を介して相互に接続されている。このバス314にはまた、入出力インタフェース315も接続されている。
The
入出力インタフェース315には、キーボード、マウスなどよりなる入力部316、ディスプレイやスピーカなどよりなる出力部317、ハードディスクなどより構成される記憶部318、モデム、ターミナルアダプタなどより構成される通信部319が接続されている。通信部319は、インターネットを含むネットワークを介しての通信処理を行う。
The input /
入出力インタフェース315にはまた、必要に応じてドライブ320が接続され、磁気ディスク331、光ディスク332、光磁気ディスク333、もしくは、半導体メモリ334などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部318にインストールされる。
A
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。 When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
この記録媒体は、図9に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク331(フロッピディスクを含む)、光ディスク332(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク333(MD(Mini-Disk)(商標)を含む)、もしくは半導体メモリ334などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているROM312や、記憶部318に含まれるハードディスクなどで構成される。
As shown in FIG. 9, the recording medium is distributed to supply a program to the user separately from the main body of the apparatus, and includes a magnetic disk 331 (including a floppy disk) on which the program is stored, an optical disk 332 ( Package media including CD-ROM (compact disk-read only memory), DVD (including digital versatile disk), magneto-optical disk 333 (including MD (mini-disk) (trademark)), or
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
なお、上述の実施の形態においては、編集装置51が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図10に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置371、ベースバンド信号を符号化してストリームデータに変換する符号化装置372が、それぞれ独立した装置として構成されていても良い。
In the above-described embodiment, the
このとき、復号装置371は、映像素材である圧縮符号化データを復号し、符号化装置372に供給するのみならず、本発明を適用することにより符号化装置372により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。
At this time, the
さらに、上述の実施の形態においては、デコーダ72乃至74が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ77が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。
Further, in the above-described embodiment, the
例えば、デコーダ72乃至74が、VLC符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ77は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化(中途段階からの符号化)を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。
For example, when the
さらに、上述の実施の形態においては、デコーダ72乃至74が完全に復号したベースバンド信号を、エンコーダ77が中途段階まで符号化する場合(例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど)や、デコーダ72乃至74が完全に復号していない(例えば、VLC符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない)ため、中途段階まで符号化されているデータに対して、エンコーダ77が更に中途段階まで符号化する場合など(例えば、量子化を行うが可変長符号化処理を行わないなど)においても、本発明は適用可能である。
Further, in the above-described embodiment, when the encoder 77 encodes the baseband signal completely decoded by the
更に、図10に示される復号装置371が、供給されたストリームデータを完全に復号せず、対応する符号化装置372が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。
Furthermore, the
例えば、復号装置371が、VLC符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置372は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理(中途段階までの復号)を行う復号装置371のデコード処理、および、符号化(中途段階からの符号化)を行う符号化装置372のエンコード処理において、本発明を適用することができるのは言うまでもない。
For example, when the
更に、復号装置371が完全に復号したベースバンド信号を、符号化装置372が中途段階まで符号化する場合(例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど)や、復号装置371が完全に復号していない(例えば、VLC符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない)ため、中途段階まで符号化されているデータに対して、符号化装置372が更に中途段階まで符号化する場合など(例えば、量子化を行うが可変長符号化処理を行わないなど)においても、本発明は適用可能である。
Further, when the
更に、このような部分的な復号を行う(復号処理の工程のうちの一部を実行する)符号化装置351と部分的な符号化を行う(符号化処理の工程のうちの一部を実行する)符号化装置372で構成されたトランスコーダ381においても、本発明は適用可能である。このようなトランスコーダ381は、例えば、スプライシングなどの編集を行う編集装置382、すなわち、上述した編集装置1のストリームスプライサ75やエフェクト/スイッチ76が実行可能な機能を有する編集装置が利用される場合などに用いられる。
Further, the encoding device 351 that performs such partial decoding (executes some of the decoding process steps) and performs partial encoding (executes some of the encoding process steps). The present invention can also be applied to the
さらに、上述の実施の形態においては、CPU61およびCPU70がそれぞれ別の形態で構成されているが、これに限らず、編集装置51全体を制御する1つのCPUとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ63およびメモリ71がそれぞれ別の形態で構成されているが、これに限らず、編集装置51において1つのメモリとして構成する形態も考えられる。
Furthermore, in the above-described embodiment, the
さらに、上述の実施の形態においては、HDD66、デコーダ72乃至74、ストリームスプライサ75、エフェクト/スイッチ76、および、エンコーダ77を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。
Furthermore, in the above-described embodiment, the
さらに、上述の実施の形態においては、圧縮された編集用の素材がHDDに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。 Furthermore, in the above-described embodiment, the case where the compressed editing material is stored in the HDD has been described. However, the present invention is not limited to this, and for example, an optical disk, a magneto-optical disk, a semiconductor memory, a magnetic memory The present invention can also be applied when editing processing is performed using editing materials recorded on various recording media such as disks.
さらに、上述の実施の形態においては、デコーダ72乃至74、ストリームスプライサ75、エフェクト/スイッチ76、および、エンコーダ77は、同一の拡張カード(例えば、PCIカード、PCI−Expressカード)に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。
Further, in the above-described embodiment, the
本発明は、MPEG方式による情報処理装置の他、これに類似する符号化または復号化のアルゴリズムを有する方式の情報処理装置に適用することができる。 The present invention can be applied to an information processing apparatus of a system having an encoding or decoding algorithm similar to the MPEG information processing apparatus.
51 編集装置, 61 CPU, 66 HDD, 70 CPU, 72乃至74 デコーダ, 75 ストリームスプライサ, 76 エフェクト/スイッチ, 77 エンコーダ 51 Editing Device, 61 CPU, 66 HDD, 70 CPU, 72 to 74 Decoder, 75 Stream Splicer, 76 Effect / Switch, 77 Encoder
Claims (10)
前記第1の圧縮映像データおよび前記第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、
前記第1の圧縮映像データが前記デコード手段によりデコードされて生成された第1の非圧縮映像信号と、前記第2の圧縮映像データが前記デコード手段によりデコードされて生成された第2の非圧縮映像信号とを、前記編集点で接続し、第3の非圧縮映像信号を生成する接続手段と、
前記接続手段により接続されて生成された前記第3の非圧縮映像信号をエンコードして、第3の圧縮映像データを生成するエンコード手段と、
前記編集点付近以外の所定の範囲の前記第1の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第2の圧縮映像データと、前記エンコード手段によりエンコードされて生成された、前記第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と、
前記デコード手段、前記接続手段、前記エンコード手段、および、前記編集映像データ生成手段が実行する処理を制御する制御手段と
を備え、
前記制御手段は、
前記エンコード手段により実行されるエンコードの難易度を算出するための統計量を、前記デコード手段、または、前記デコード手段によりデコードされる前の前記第1の圧縮映像データおよび前記第2の圧縮映像データから取得し、
取得された前記統計量を用いて前記難易度を算出し、
算出された前記難易度を基に、前記エンコード手段により実行されるエンコードの発生符号量が制御されるように、前記エンコード手段を制御する
ことを特徴とする情報処理装置。 In an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
Decoding means for decoding video data in a predetermined range near an edit point of the first compressed video data and the second compressed video data;
A first non-compressed video signal generated by decoding the first compressed video data by the decoding means, and a second non-compressed signal generated by decoding the second compressed video data by the decoding means A connection means for connecting a video signal at the editing point to generate a third uncompressed video signal;
Encoding means for generating third compressed video data by encoding the third uncompressed video signal generated by being connected by the connection means;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and the first compressed video data generated by being encoded by the encoding means. Edited video data generating means for connecting the compressed video data of No. 3 and generating compressed encoded video data;
Control means for controlling the processing executed by the decoding means, the connecting means, the encoding means, and the edited video data generating means,
The control means includes
Statistics for calculating the degree of difficulty of encoding executed by the encoding means are used as the first compressed video data and the second compressed video data before being decoded by the decoding means or the decoding means. Get from
Calculate the difficulty using the acquired statistics,
The information processing apparatus, wherein the encoding unit is controlled so that a generated code amount of encoding executed by the encoding unit is controlled based on the calculated difficulty level.
ことを特徴とする請求項1に記載の情報処理装置。 The encoding unit controls the generated code amount based on the calculated difficulty when encoding conditions of a picture encoded by the encoding unit match before and after encoding by the encoding unit. The information processing apparatus according to claim 1.
ことを特徴とする請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the encoding condition is a picture type in encoding and a picture to be referred to.
前記エンコード手段は、前記制御手段による制御に基づいて、前記第1の圧縮映像データおよび前記第2の圧縮映像データと比較して、エンコードされる場合の参照画が同一であるピクチャは、前記第1の圧縮映像データおよび前記第2の圧縮映像データと同一のピクチャタイプとなるように、ピクチャタイプを決定する
ことを特徴とする請求項2に記載の情報処理装置。 The control means obtains information about a picture type before encoding of a picture encoded by the encoding means;
The encoding means compares the first compressed video data and the second compressed video data based on the control by the control means, and the picture having the same reference picture when encoded is the first picture. The information processing apparatus according to claim 2, wherein the picture type is determined so that the picture type is the same as that of the first compressed video data and the second compressed video data.
前記難易度は、前記ピクチャの符号量と前記平均量子化スケールコードとの積である
ことを特徴とする請求項1に記載の情報処理装置。 The statistics are a code amount of a picture and an average quantization scale code,
The information processing apparatus according to claim 1, wherein the difficulty level is a product of a code amount of the picture and the average quantization scale code.
前記第1の圧縮映像データおよび前記第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第1の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第1の非圧縮映像信号と、前記第2の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第2の非圧縮映像信号とを、前記編集点で接続し、第3の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第3の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第3の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第1の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第2の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする情報処理方法。 In an information processing method of an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
A decoding step of decoding a predetermined range of video data in the vicinity of an edit point of the first compressed video data and the second compressed video data;
A statistic acquisition step for acquiring a statistic for calculating the difficulty of encoding;
A difficulty calculation step for calculating the difficulty using the statistics acquired by the processing of the statistics acquisition step;
The first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step, and the first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step. Connecting two uncompressed video signals at the editing point to generate a third uncompressed video signal;
The third uncompressed video signal connected and generated by the connection step process is encoded by controlling the generated code amount based on the difficulty level calculated by the difficulty level calculation step, An encoding step for generating third compressed video data;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and generated by being encoded by the process of the encoding step, An information processing method comprising: an edited video data generating step of connecting the third compressed video data and generating compressed encoded video data.
前記第1の圧縮映像データおよび前記第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第1の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第1の非圧縮映像信号と、前記第2の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第2の非圧縮映像信号とを、前記編集点で接続し、第3の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第3の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第3の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第1の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第2の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。 A program for causing a computer to perform processing for connecting and editing first compressed video data and second compressed video data,
A decoding step of decoding a predetermined range of video data in the vicinity of an edit point of the first compressed video data and the second compressed video data;
A statistic acquisition step for acquiring a statistic for calculating the difficulty of encoding;
A difficulty calculation step for calculating the difficulty using the statistics acquired by the processing of the statistics acquisition step;
The first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step, and the first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step. Connecting two uncompressed video signals at the editing point to generate a third uncompressed video signal;
The third uncompressed video signal connected and generated by the connection step process is encoded by controlling the generated code amount based on the difficulty level calculated by the difficulty level calculation step, An encoding step for generating third compressed video data;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and generated by being encoded by the process of the encoding step, An edited video data generating step of connecting the third compressed video data to generate compressed encoded video data; Medium on which various programs are recorded.
前記第1の圧縮映像データおよび前記第2の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
エンコードの難易度を算出するための統計量を取得する統計量取得ステップと、
前記統計量取得ステップの処理により取得された前記統計量を用いて前記難易度を算出する難易度算出ステップと、
前記第1の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第1の非圧縮映像信号と、前記第2の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第2の非圧縮映像信号とを、前記編集点で接続し、第3の非圧縮映像信号を生成する接続ステップと、
前記接続ステップの処理により接続されて生成された前記第3の非圧縮映像信号を、前記難易度算出ステップの処理により算出された前記難易度を基に発生符号量を制御してエンコードを行い、第3の圧縮映像データを生成するエンコードステップと、
前記編集点付近以外の所定の範囲の前記第1の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第2の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第3の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。 A program for causing a computer to perform processing for connecting and editing first compressed video data and second compressed video data,
A decoding step of decoding a predetermined range of video data in the vicinity of an edit point of the first compressed video data and the second compressed video data;
A statistic acquisition step for acquiring a statistic for calculating the difficulty of encoding;
A difficulty calculation step for calculating the difficulty using the statistics acquired by the processing of the statistics acquisition step;
The first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step, and the first uncompressed video signal generated by decoding the first compressed video data by the process of the decoding step. Connecting two uncompressed video signals at the editing point to generate a third uncompressed video signal;
The third uncompressed video signal connected and generated by the connection step process is encoded by controlling the generated code amount based on the difficulty level calculated by the difficulty level calculation step, An encoding step for generating third compressed video data;
The first compressed video data in a predetermined range other than the vicinity of the editing point and the second compressed video data in a predetermined range other than the vicinity of the editing point, and encoded and generated by the process of the encoding step, An edited video data generating step of connecting the third compressed video data and generating compressed encoded video data. A program for causing a computer to execute the processing.
前記第1の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第1の非圧縮映像信号と、前記第2の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第2の非圧縮映像信号とが、前記編集点で接続されて生成された第3の非圧縮映像信号を、エンコードして第3の圧縮映像データを生成するエンコード手段と、
前記エンコード手段により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の前記第1の圧縮映像データおよび前記第2の圧縮映像データから取得し、取得された前記統計量を用いて前記難易度を算出し、算出された前記難易度を基に、前記エンコード手段により実行されるエンコードの発生符号量が制御されるように、前記エンコード手段よるエンコード処理を制御する制御手段と
を備えることを特徴とする情報処理装置。 In an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
The first non-compressed video signal generated by decoding the first compressed video data in a predetermined range near the edit point and the second compressed video data are decoded in a predetermined range near the edit point. Encoding means for generating third compressed video data by encoding the third non-compressed video signal generated by connecting the second uncompressed video signal generated at the editing point;
The statistic for calculating the difficulty level of encoding executed by the encoding means is acquired from the first compressed video data and the second compressed video data before being decoded, and the acquired statistic Control means for controlling the encoding process by the encoding means so that the difficulty level is calculated by using and the generated code amount of encoding executed by the encoding means is controlled based on the calculated difficulty level An information processing apparatus comprising:
前記第1の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第1の非圧縮映像信号と、前記第2の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第2の非圧縮映像信号とが、前記編集点で接続されて生成された第3の非圧縮映像信号を、エンコードして第3の圧縮映像データを生成するエンコードステップと、
前記エンコードステップの処理により実行されるエンコードの難易度を算出するための統計量を、デコードされる前の前記第1の圧縮映像データおよび前記第2の圧縮映像データから取得し、取得された前記統計量を用いて前記難易度を算出し、算出された前記難易度を基に、前記エンコードステップの処理により実行されるエンコードの発生符号量が制御されるように、前記エンコードステップの処理によるエンコード処理を制御するエンコード制御ステップと
を含むことを特徴とする情報処理方法。 In an information processing method of an information processing apparatus that executes processing for connecting and editing first compressed video data and second compressed video data,
The first non-compressed video signal generated by decoding the first compressed video data in a predetermined range near the edit point and the second compressed video data are decoded in a predetermined range near the edit point. Encoding a third uncompressed video signal generated by connecting the second uncompressed video signal generated at the editing point to generate third compressed video data;
A statistic for calculating the difficulty level of encoding executed by the process of the encoding step is acquired from the first compressed video data and the second compressed video data before being decoded, and the acquired The degree of difficulty is calculated using a statistic, and based on the calculated degree of difficulty, the encoding amount generated by the encoding step is controlled so that the amount of generated code executed by the encoding step is controlled. An information processing method comprising: an encoding control step for controlling processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004245377A JP2006067098A (en) | 2004-08-25 | 2004-08-25 | Information processing apparatus, information processing method, recording medium and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004245377A JP2006067098A (en) | 2004-08-25 | 2004-08-25 | Information processing apparatus, information processing method, recording medium and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006067098A true JP2006067098A (en) | 2006-03-09 |
Family
ID=36113202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004245377A Withdrawn JP2006067098A (en) | 2004-08-25 | 2004-08-25 | Information processing apparatus, information processing method, recording medium and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006067098A (en) |
-
2004
- 2004-08-25 JP JP2004245377A patent/JP2006067098A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4207072B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP4221676B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
KR101119685B1 (en) | Information processing apparatus, information processing method, and recording medium | |
JPH10145798A (en) | System for processing digital coding signal | |
KR100834322B1 (en) | Image encoding apparatus, picture encoding method and image editing apparatus | |
KR20160003342A (en) | Software video transcoder with gpu acceleration | |
US7558465B2 (en) | Information processing apparatus and information processing method, recording medium, and program | |
KR101450864B1 (en) | Information processing apparatus and method, and recording medium | |
JP4342139B2 (en) | Signal processing device | |
US20070263731A1 (en) | Moving Picture Re-Encoding Apparatus, Moving Picture Editing Apparatus, Program, and Recording Medium | |
US6271774B1 (en) | Picture data processor, picture data decoder and picture data encoder, and methods thereof | |
JP4224778B2 (en) | STREAM CONVERTING APPARATUS AND METHOD, ENCODING APPARATUS AND METHOD, RECORDING MEDIUM, AND PROGRAM | |
JP2000197010A (en) | Picture data editing device | |
JP2007235989A (en) | Image processing apparatus and image processing method, program, and recording medium | |
JP2006067098A (en) | Information processing apparatus, information processing method, recording medium and program | |
JP4333522B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JPH114444A (en) | Image coder and its method | |
JP2002300585A (en) | Compression coding apparatus | |
JP2008066845A (en) | Information processing apparatus and method, recording medium, and program | |
JPH11122580A (en) | Edit device for image signal, coder and decoder | |
JP2010130516A (en) | Device and method for editing image | |
JP2009049826A (en) | Coding device, coding method, program of coding method, and recording medium with program of coding method recorded thereon | |
JP2000295567A (en) | Coded data editor | |
JP2003309803A (en) | Video stream editor | |
JPH11243525A (en) | Dynamic image editor and dynamic image editing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20071106 |