JP2011172039A - Decoding apparatus and method - Google Patents

Decoding apparatus and method Download PDF

Info

Publication number
JP2011172039A
JP2011172039A JP2010034299A JP2010034299A JP2011172039A JP 2011172039 A JP2011172039 A JP 2011172039A JP 2010034299 A JP2010034299 A JP 2010034299A JP 2010034299 A JP2010034299 A JP 2010034299A JP 2011172039 A JP2011172039 A JP 2011172039A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
decoding
processing
image
process
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010034299A
Other languages
Japanese (ja)
Inventor
Nobuaki Izumi
Satoshi Kuma
Kohei Miyamoto
浩平 宮本
伸明 泉
智 隈
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

PROBLEM TO BE SOLVED: To enable high-speed decoding in the case including processing.
SOLUTION: In time line information, since an expanded affine transformation is instructed to hatching parts in an input image A, an output image B with the hatching parts in the input image A being expanded in the whole image is calculated. A process content determination unit can determine the hatching part in the input image A from the calculated output image B as an effective area by inverse mapping, and can determine that the area other than the hatching part is less influenced even when a simple decoding process is conducted. This invention, for instance, can be applied to an image decoding apparatus for decoding an encoded bit stream.
COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は復号装置および方法に関し、特に、加工処理が含まれる場合の復号処理の高速化を図ることができるようにした復号装置および方法に関する。 The present invention relates to a decoding apparatus and method, and more particularly, to a decoding apparatus and method capable of speeding up the process of decoding may comprise processing.

従来、加工によって最終的に利用されないデータ(部分、チャンネルなど)に対しても復号され、格納され、転送されて、加工処理が行われていた。 Conventionally, the final use is not data (partial, channel, etc.) by the processing is also decoded with respect to, stored, transferred, processed has been performed.

その際、プレビュー画像を処理する際などに、簡易復号処理によって処理速度の向上を図る技術がある。 At that time, such as when processing the preview image, there is a technique to improve the processing speed by a simple decoding processing. また、ビットストリームを解析した結果取得できるパラメータを、再符号化時に利用することで、符号化処理のための画像の解析処理をスキップし、符号化処理を高速化する「パラメータエンコード」という技術もある(特許文献1参照)。 Further, a parameter that can be obtained results of the analysis of the bit stream, the use during re-encoding, skips the analysis processing of the image for the encoding process, also a technique called "Parameter Encoding" to speed up the encoding process there (see Patent Document 1).

特開2005−252949号公報 JP 2005-252949 JP

しかしながら、簡易復号処理の結果の画質劣化を原因として、加工結果のデータを保存する場合には、従来からある簡易復号処理は採用されにくかった。 However, as the cause of the result of the image quality deterioration of the simple decoding processing, in case of storing the data processing results, the simple decoding process is conventional has been difficult is employed.

また、従来のパラメータエンコードにおいては、加工(エフェクトやトランジション)が入ると、適用することが困難であった。 Further, in the conventional parameter encoding and processing (effects and transitions) enters, it is difficult to apply.

本発明は、このような状況に鑑みてなされたものであり、加工処理が含まれる場合の復号処理の高速化を図ることができるものである。 The present invention has been made in view of such circumstances, it is capable to increase the speed of decoding processing in the case that contains the processing.

本発明の一側面の復号装置は、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定する処理内容決定手段と、前記処理内容決定手段により決定されたエリアに対して前記簡易復号処理を行う復号手段とを備える。 Decoding apparatus according to an embodiment of the present invention is based on the processing information when processing the bit stream, the bit stream is the processing material, the less effect on the display of the even output image by performing a simple decoding or comprising a processing content determining means for determining the effect is no area, and a decoding means for performing the simplified decoding processing on the determined area by the processing content determination unit.

前記処理内容決定手段は、コーデックの依存関係に基づいて、前記簡易復号処理が有効であると判定した場合に、前記エリアに対しての前記簡易復号処理を、前記復号手段に行わせることができる。 The processing content determination unit, based on the codec dependency, if the simplified decoding process is determined to be valid, the simple decoding processing with respect to the area, can be performed in the decoding means .

前記処理内容決定手段により決定されたエリアに基づいて、前記ビットストリームの符号化パラメータをマージまたは変換することで、加工後のデータの符号化パラメータを生成するパラメータ変換手段をさらに備えることができる。 Based on the determined area by the processing content determining means, said by merging or converting the coded parameters of the bit stream may further comprise a parameter conversion means for generating encoding parameters of the data after processing.

前記エリアは、フレーム全体またはフレーム内における部分領域である。 The area is a partial area in an entire frame or frame.

前記簡易復号処理は、フレームドロップ、デブロッキングの省略、フレーム内の部分復号、および一部のチャンネルのみの復号のうちの少なくとも1つである。 The simple decoding processing, frame dropping, omission of the deblocking, partial decoding of the frame, and at least one of decoding of only a part of the channel.

本発明の一側面の復号方法は、処理内容決定手段と、復号手段とを備える復号装置の復号方法において、前記処理内容決定手段が、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定し、前記復号手段が、決定されたエリアに対して前記簡易復号処理を行う。 One aspect a method of decoding of the present invention, a processing content determining means, in the decoding method of the decoding device and a decoding means, said processing content determining means, based on the processing information when processing the bit stream, in the processing material for a bit stream, even if the simplified decoding process determines the area is no less or impact effect on the display of the output image, wherein the decoding means, the simplified decoding processing on the determined area do.

本発明の一側面においては、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアが決定され、決定されたエリアに対して前記簡易復号処理が行われる。 In one aspect of the present invention, based on the processing information when processing the bit stream, the bit stream is the processing material, it is less or impact effect on the display of the output image even if a simple decoding processing no area is determined, the simplified decoding process is performed on the determined area.

なお、上述の復号装置は、独立した装置であっても良いし、1つの復号装置を構成している内部ブロックであってもよい。 Incidentally, the above-described decoding apparatus may be an independent apparatus or may be an internal block constituting one decoding device.

本発明の一側面によれば、加工処理が含まれる場合の復号処理の高速化を図ることができる。 According to one aspect of the present invention, it is possible to increase the speed of decoding processing in the case that contains the processing. また、本発明の一側面によれば、簡易復号による復号処理の高速化を図るとともに、画像劣化による再生品質の低下を抑制することができることができる。 According to an aspect of the present invention can be can be suppressed with increasing the speed of the decoding process by the simple decoding, deterioration of reproduction quality due to image degradation.

本発明を適用した画像復号装置の一実施の形態の構成を示すブロック図である。 It is a block diagram showing the configuration of an embodiment of the applied image decoding apparatus of the present invention. フレーム内の部分復号処理を説明する図である。 It is a diagram illustrating a partial decoding process in the frame. エフェクト処理とトランジション処理における入力イメージと出力イメージの例を示す図である。 It is a diagram illustrating an example of input and output images in the effect processing and transitions process. 有効エリアの決定方法について説明する図である。 It is a diagram illustrating a method of determining the effective area. エフェクト処理が拡大のアフィン変換である場合の有効エリアの決定処理例を説明する図である。 It is a diagram illustrating a determination processing example of the effective area when the effect process is affine transformation expansion. トランジション処理がクロスフェードである場合の有効エリアの決定処理例を説明する図である。 Transition process is a diagram illustrating a determination processing example of the effective area where the cross-fade. トランジション処理がワイプである場合の処理例を有効エリアの決定処理を説明する図である。 Transition process is a diagram for explaining a process of determining the effective area of ​​the example in the case of a wipe. エフェクト処理が字幕やテロップの場合のパラメータ変換例を説明する図である。 Effect processing is a view explaining a parameter conversion example in the case of subtitles or tickers. トランジション処理がワイプである場合のパラメータ変換例を説明する図である。 Diagrams transition process will be described parameter conversion example of a wipe. 画像復号装置の処理を説明するフローチャートである。 Is a flowchart illustrating the processing of the image decoding apparatus. 図10のステップS11の処理内容判定処理を説明するフローチャートである。 Is a flowchart illustrating the processing content determination processing in step S11 in FIG. 10. コンピュータのハードウエアの構成例を示すブロック図である。 It is a block diagram showing a configuration example of hardware of a computer.

以下、図を参照して本発明の実施の形態について説明する。 Hereinafter, with reference to FIG describes embodiments of the present invention.

[画像復号装置の構成例] [Configuration example of an image decoding apparatus]
図1は、本発明を適用した画像復号装置の一実施の形態の構成を表している。 Figure 1 shows the configuration of an embodiment of an image decoding apparatus according to the present invention.

この画像復号装置11は、符号化されたビットストリームを復号して加工し、加工後の画像を表示したり、再符号化する。 The image decoding apparatus 11, and processed by decoding the encoded bit stream, and displays an image after processing, re-encoding. 画像復号装置11において、加工処理としては、エフェクト処理やトランジション処理がなされる。 In the image decoding apparatus 11, the processing, effect processing and transitions processing is performed.

図1の例において、画像復号装置11は、処理内容判定部21、制御部22、復号部23−1および23−2、エフェクト処理部24−1および24−2、トランジション処理部25、パラメータ変換部26、符号化部27、表示部28、並びに格納部29−1乃至29−5により構成される。 In the example of FIG. 1, the image decoding apparatus 11 includes a processing content determining section 21, the control unit 22, the decoding unit 23-1 and 23-2, the effect processing unit 24-1 and 24-2, the transition section 25, the parameter conversion part 26, the encoding unit 27, a display unit 28, and constituted by storage unit 29-1 to 29-5. なお、図において、太い白矢印は、タイムライン情報、太い黒矢印は、ファイルのインプットまたはアウトプット、点線矢印は制御情報、実線矢印は、データ転送の流れをそれぞれ表している。 Incidentally, in the figure, the thick white arrows timeline information, thick black arrows, input or output of files, the dotted arrows the control information, the solid arrow represents the flow of data transfer, respectively.

画像復号装置11においては、図示せぬ操作入力部などから入力された(または、記憶部などに記憶されている)ユーザによる編集加工時のタイムライン情報が処理内容判定部21および制御部22に入力される。 In the image decoding apparatus 11, which is input from an operation input unit (not shown) (or, stored and the like in the storage unit) to the timeline information of the time of editing processing by the user processing content determination unit 21 and the control unit 22 It is input. タイムライン情報は、ビットストリームを加工する際の編集や加工情報である。 Timeline information is edited and processed information when processing the bit stream. また、編集加工時には、図示せぬ画像符号化装置または記憶部などから復号部23−1および復号部23−2に、ファイルとして、符号化されているビットストリームが入力される。 Further, at the time of editing and processing, the decoding unit 23-1 and the decoding unit 23-2 from an image coding apparatus or the storage unit not shown, as a file, a bit stream is input that has been encoded.

処理内容判定部21は、タイムライン情報を受け取り、受け取ったタイムライン情報に基づいて、出力結果に反映される画像、すなわち、入力イメージにおける有効エリア(有効領域)を逆写像により算出し、決定する。 Processing content determination unit 21 receives the timeline information, based on the received time line information, the image is reflected in the output, i.e., calculated by inverse mapping the effective area (effective area) in the input image, to determine .

逆写像とは、一般的に、写像f:X→Y が任意のXからYの上への1対1の写像ならば、逆に、Yのおのおのの元yに対して、Xのただ1つの元xが対応し、写像Y→Xが定まり、この写像を、fの逆写像といい、f -1で表わされることを言う。 The inverse map, generally, mapping f: If X → Y is a one-to-one mapping onto from any X of Y, conversely, for each of the original y of Y, X just 1 Tsunomoto x corresponds, Sadamari is mapping Y → X, the mapping, called the inverse mapping of f, they say that is represented by f -1. ただし、ここでは、入力イメージ(画像)から出力イメージを作成する順方向の処理を写像として、出力イメージから入力イメージを対応付けすることを、逆写像として用いる。 However, here, as mapping processing forward to create an output image from an input image (image), to associated input image from the output image is used as the inverse mapping.

処理内容判定部21は、決定した有効エリアに基づいて、有効ではないエリア、すなわち、簡易復号処理を行っても影響が少ないエリアに対して、簡易復号処理することを設定する。 Processing content determination unit 21, based on the effective area determined not effective area, i.e., the less area affected even if the simple decoding processing, set to the simple decoding processing. また、処理内容判定部21は、有効なエリアに対しては、簡易ではない復号処理を行うように設定する。 Further, the processing content determination unit 21, with respect to the effective area is set so as to perform decoding processing is not a simple. なお、このエリアには、フレーム全体の意も含まれるし、フレームにおける一部のチャンネルや、フレームにおける一部の領域の意も含まれるものとする。 Note that this area, to include also the meaning of the entire frame, or a part of the channel in the frame, and which is also included meaning of a partial region in the frame.

ここで、簡易復号処理とは、フレームまたはフィールドドロップ、復号処理におけるデブロッキング(Deblocking)の省略、簡易動き補償(MC:Motion compensation)、特定のチャンネルのみの復号処理、およびフレーム内の部分復号処理などがあげられる。 Here, the simple decoding processing, frame or field drop, omission of the deblocking (Deblocking) in the decoding process, simplified motion compensation (MC: Motion compensation), the decoding processing of only specific channels, and partial decryption process in the frame and the like.

フレーム内の部分復号処理とは、図2に示されるように、フレームにおいて、利用する部分以外は、復号しない処理のことをいう。 The partial decoding of the frame, as shown in FIG. 2, in the frame, except the portion to be utilized, refers to a process that does not decoded. 通常の復号処理においては、フレームの中央部に、図2に示されるような利用する部分があったとしても、フレーム全体のマクロブロックが復号される。 In the normal decoding process, in the center of the frame, even if there is available parts, as shown in FIG. 2, the macro block of the entire frame is decoded. これに対して、フレーム内の部分復号処理においては、フレームの中央部の利用する部分が含まれるマクロブロックより、復号順が後のハッチングされているマクロブロックは、その利用する部分の復号に必要のないマクロブロックであるので、復号されない。 In contrast, in the partial decryption process in the frame, from the macro block including the use portion of the central portion of the frame, macroblock decoding order is hatched later, necessary for decoding the portion of its use since it is no macroblock, not decoded.

すなわち、上述のように、通常の復号処理から工程を省略したり、簡単にしたり、範囲を限定するなどの復号処理を総称して、簡易復号処理という。 That is, as described above, omitting step from the normal decoding process, simple or to, collectively the decoding process, such as to limit the scope, of the simple decoding process. そして、処理内容判定部21においては、これらの簡易復号処理の中から、有効ではないエリア、すなわち、簡易復号処理を行っても出力画像の表示に対して影響が少ないエリアに対してそのエリアに応じた簡易復号処理を行うように設定される。 Then, the process content determining section 21, from among these simplified decoding process is not effective area, i.e., in the area for areas less effect on the display of the even output image by performing a simple decoding processing It is configured to perform according the simplified decoding process. なお、この設定基準としては、コーディックの依存関係や簡易復号処理をしても目立ちにくいか否かが用いられる。 As the setting criterion, whether inconspicuous even if the dependencies and simplified decoding process of codec is used.

さらに、処理内容判定部21は、決定した有効エリアに基づいて、復号部23−1および23−2から得られる符号化パラメータを、再利用(再符号化)できるように、そのパラメータのマージまたは変換を設定する。 Further, the processing content determination unit 21, based on the determined effective area, the encoding parameters obtained from the decoding unit 23-1 and 23-2, for reuse (re-encoding), merging the parameter or setting the conversion. なお、以下、パラメータの変換と適宜称するが、その変換には、マージも含むものとする。 Hereinafter, although appropriately referred and conversion parameters, the the conversion is also intended to include merge.

すなわち、処理内容判定部21においては、有効エリア決定処理が行われ、その決定結果である有効エリアに応じて、復号処理内容の設定や符号化パラメータ変換内容の設定処理が行われる。 That is, the process content determining section 21, the effective area determination process is performed, in accordance with the effective area is a result of the determination, setting processing of the setting and the coding parameter conversion contents of the decoding processing contents is performed.

処理内容判定部21により決定されたエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報は、タイムライン情報に加えて、制御部22に供給される。 Processing area determined by the content determining section 21, the information of the decoding method, and parameter conversion settings, i.e., information processing content, in addition to the timeline information is supplied to the control unit 22.

制御部22は、入力されたタイムライン情報および処理内容判定部21からの処理内容の情報が加わったタイムライン情報に基づいて、復号部23−1および復号部23−2、エフェクト処理部24−1および24−2、トランジション処理部25、およびパラメータ変換部26を制御する。 Control unit 22, based on the timeline information information processing contents applied from timeline information and processing content determination unit 21 is input, the decoding unit 23-1 and the decoding unit 23-2, the effect processing unit 24 1 and 24-2, controls the transition section 25 and the parameter conversion section 26,.

復号部23−1および23−2は、それぞれ、符号化されているビットストリームを受け取ると、符号化されているビットストリームから取得されるパラメータ(符号化パラメータ)を、そのままパラメータ変換部26に出力する。 Decoder 23-1 and 23-2, respectively, receives a bit stream that has been encoded, the output parameters are obtained from the bit stream being encoded (encoding parameter), as the parameter conversion section 26 to.

また、復号部23−1および23−2は、受け取ったビットストリームに対して、制御部22の制御のもと、所定の復号処理を行い、復号されたデータを、格納部29−1および29−2にそれぞれ出力する。 Further, the decoding unit 23-1 and 23-2 on the received bit stream, under the control of the control unit 22 performs a predetermined decoding process, the decoded data, the storage unit 29-1 and 29 respectively output to -2.

エフェクト処理部24−1および24−2は、それぞれ、格納部29−1および29−2から入力されるデータを受け取り、制御部22の制御のもと、受け取ったデータに対してエフェクト処理を行う。 Effect processor 24-1 and 24-2, respectively, receives the data input from the storage unit 29-1 and 29-2, under the control of the control unit 22, performs the effect processing on the received data . エフェクト処理部24−1および24−2は、エフェクト処理を行った結果のデータを、格納部29−3および29−4にそれぞれ出力する。 Effect processor 24-1 and 24-2, the data of the result of the effect processing is output to the storage unit 29-3 and 29-4.

トランジション処理部25は、格納部29−3および29−4から入力されるデータを受け取り、制御部22の制御のもと、受け取ったデータに対してトランジット処理を行う。 Transition processing unit 25 receives the data input from the storage unit 29-3 and 29-4, under the control of the control unit 22, performs the transit process on the received data. トランジション処理部25は、トランジット処理を行った結果のデータ(すなわち、加工後のデータ)を、格納部29−5に出力する。 Transition processing unit 25, data of a result of the transit process (i.e., the data after processing), and outputs to the storage unit 29-5.

パラメータ変換部26は、復号部23−1および23−2からの符号化パラメータを受け取り、受け取った符号化パラメータに対して、制御部22の制御のもと、マージや変換して、それを符号化部27に供給して、符号化部27に再利用させる。 Parameter conversion section 26 receives the coding parameters from the decoding unit 23-1 and 23-2, on the received coding parameters, under control of the control unit 22 merges or conversion, code it is supplied to the unit 27, it is recycled to the encoding unit 27. また、再利用できないパラメータに関しては、パラメータ変換部26は、符号化パラメータの生成指示をその符号化パラメータに含ませることで符号化部27に指示する。 With regard to not be reused parameters, the parameter conversion section 26 instructs the coding section 27 by including instruction for generating coding parameters to the encoding parameters.

符号化部27は、格納部29−5から入力される加工後のデータを受け取り、パラメータ変換部26からの符号化パラメータに応じて、受け取った加工後のデータを符号化し、ファイルとして出力する。 Coding section 27 receives the data after processing are inputted from the storage unit 29-5, in accordance with the coding parameters from the parameter conversion section 26, the data after processing the received coded outputs as a file. その際、符号化部27は、パラメータ変換部26からの符号化パラメータにパラメータ生成指示がある場合にはその部分の符号化パラメータを生成し、パラメータ生成指示に、生成した符号化パラメータを上書きして、符号化された加工後のデータのヘッダに付加する。 At this time, the encoding unit 27, when the coding parameters from the parameter conversion section 26 a parameter generation instruction generates a coding parameter of the part, the parameter generation instruction, and overwrites the generated coding parameter Te is added to the header of the data after processing encoded.

表示部28は、格納部29−5からの加工後のデータに対応する画像を表示する。 Display unit 28 displays an image corresponding to the data after processing from the storage unit 29-5.

格納部29−1乃至29−5は、それぞれ、入力されたデータを格納し、必要に応じて、後段へ出力する。 Storage unit 29-1 to 29-5, respectively, to store the input data, as necessary, to output to the subsequent stage. なお、格納部29−5は、加工後のデータの処理に応じて、対応するデータを、符号化部27および表示部28の少なくとも一方へ出力する。 Incidentally, the storage unit 29-5, in response to processing of the data after the processing, the corresponding data is output to at least one of the coding section 27 and a display unit 28. また、格納部29−5は、トランジション処理の結果を下地にして、さらにエフェクト処理が行われる場合には、加工後のデータを、再度、エフェクト処理部24−2へ出力する。 The storage unit 29-5, and a result of the transition process to the substrate, if the further effect process is performed, the data after processing, again, and outputs it to the effect processor 24-2.

なお、以下、復号部23−1および23−2を個々に区別する必要がない場合、単に復号部23と称し、エフェクト処理部24−1および24−2を個々に区別する必要がない場合、単にエフェクト処理部24と称する。 Note that in the case there is no need to distinguish between the decoding unit 23-1 and 23-2 are simply referred to as decoder 23, when there is no need to distinguish between the effect processor 24-1 and 24-2 individually, simply referred to as the effect processing unit 24.

また、図1の例においては、復号部23とエフェクト処理部24を2つずつ構成する例を説明したが、台数は2つに限定されない。 Further, in the example of FIG. 1, an example has been described that constitute the decoding part 23 and the effect processing unit 24 two by two, the number is not limited to two. 例えば、編集加工するビットストリームの数に応じた台数の復号部23とエフェクト処理部24の構成にすることも可能である。 For example, it is also possible to adopt a configuration of the decoding unit 23 and the effect processing unit 24 of the number corresponding to the number of bitstream editing and processing.

[有効エリア決定処理の説明] [Description of the effective area determination process]
次に、処理内容判定部21が行う処理内容判定処理における有効エリア決定処理について具体的に説明する。 Next, specifically described effective area determining process in the processing content determining process of the processing content determining section 21 performs.

まず、図3を参照して、エフェクト処理部24とトランジション処理部25における入力イメージと出力イメージについて説明する。 First, referring to FIG. 3, illustrating the input and output images in the effect processing unit 24 and transitions processor 25.

エフェクト処理部24は、入力したイメージAのフレームを用いてエフェクト処理を行い、エフェクト処理が施されたイメージA´のフレームを出力する。 Effect processing unit 24 performs effect processing by using a frame of image A inputted, and outputs the frame image A'which effect processing is performed. すなわち、エフェクト処理は、1つの入力に対して、1つの結果を出力する処理である。 That is, the effect processing for one input, a process of outputting a single result. このようなエフェクト処理には、例えば、フレーム内における拡大や縮小、移動などのアフィン(Affine)変換や特定のチャンネルだけを処理するセピア(Sepia)処理が含まれる。 Such effects processing, for example, expansion and contraction in the frame, it includes moving the Sepia (Sepia) process only processes affine (Affine) conversion and a particular channel, such as. また、アフィン変換は、縮小や移動などを伴うため、下地の情報(単色もしくは画像)の上にイメージAのアフィン変換後の像を出力する場合もある。 Also, affine transformation, to accompany such reduction or movement, there is also a case of outputting an image after affine transformation of the image A on the information base (monochrome or image).

これに対して、トランジション処理部25は、下段に示されるように、入力したイメージAのフレームとイメージBのフレームを用いてトランジション処理を行い、トランジション処理が施されたイメージCのフレームを出力する。 In contrast, the transition section 25, as shown in the lower part, Transitions process using the frame of the frame and the image B of the image A inputted, outputs a frame image C the transition process is performed . すなわち、トランジション処理は、2つ(複数)の入力に対して、1つの結果を出力する処理である。 That is, the transition process to the input of the two (plural), a process of outputting a single result. このようなトランジション処理には、例えば、マスク(Mask)処理やクロスフェード(Cross Fade)処理が含まれる。 Such transition process, for example, include masks (Mask) processing and cross-fade (Cross Fade) process.

このようなエフェクト処理やトランジション処理においては、そのパラメータ(タイムラン情報)により、出力側のフレームにおける有効エリアが制限される場合がある。 In such effect processing and transitions processing by the parameter (time run information), there is a case where the effective area is limited at the output side of the frame.

例えば、拡大を行うアフィン変換処理においては、入力フレーム内の一部のみが出力として反映される。 For example, the affine transformation process for performing expansion is only a part of the input frame is reflected as output. マスク処理が行われて、マスクが適用されている場合には、そのマスクによって、フレーム毎に有効エリアが定義される。 Mask processing is performed, when the mask is applied by the mask, the effective area is defined for each frame.

また、出力側の有効エリアが定義されないエフェクト処理またはトランジション処理の場合における出力側の有効エリアの入力側への対応付けとしては、例えば、アフィン変換であれば、出力の有効エリアの逆写像で対応付けを行うことが可能である。 As the correspondence to the input side of the effective area of ​​the output side when the effective area is not defined effect processing or transition processing of the output side, for example, if the affine transformation, corresponding in inverse mapping of the effective area of ​​the output give it is possible to perform. あるいは、その他の例としては、1対1で対応付けを行うことも可能である。 Alternatively, as another example, it is also possible to perform the mapping in one-to-one.

すなわち、処理内容判定部21においては、タイムライン情報を参照することで、上述したようなエフェクト処理やトランジション処理の内容がわかるので、出力イメージを算出することができる。 That is, the process content determining section 21 refers to the timeline information, since it is clear what the effect processing and transitions processing as described above, it is possible to calculate the output image. したがって、それらの処理を逆順にさかのぼることで、順次有効エリアを導出し、最終的に、入力イメージ上の有効エリアを導出し、決定することが可能となる。 Accordingly, by going back their processing in reverse order, sequentially derives the effective area, and finally, deriving an effective area on the input image, it is possible to determine that.

例えば、図4に示される処理がタイムライン情報に示されている場合を考える。 For example, consider a case where the processing shown in FIG. 4 is shown in the timeline information. すなわち、イメージAのフレームに対しては、エフェクト処理部24により、拡大のアフィン変換が行われ、その結果、イメージAの一部領域A´が拡大されたイメージA´のフレームが生成される。 That is, for the frame of the image A, by the effect processing unit 24, affine transformation of the expansion takes place, as a result, the frame of a part of the image A'where A'is expanded image A is generated. そして、イメージA´のフレームが、トランジション処理部25により、イメージA´の一部領域A″以外にマスク処理が施される。 The frame image A'is, the transition section 25, the mask processing in addition to a partial area A "of the image A'is performed.

また、イメージBのフレームに対しては、トランジション処理部25により、一部領域B´以外にマスク処理が施される。 Further, with respect to the frame of the image B, the transition section 25, the mask processing is performed in addition to a partial region B'. そして、トランジション処理部25においては、さらに、一部領域A″以外にマスク処理がされたイメージと一部領域B´以外にマスク処理がされたイメージが他のイメージ上に合成されたイメージCのフレームが生成される。 Then, the transition section 25 further image C to the mask process is other than a portion image masked processed region B'other than the partial region A "image has been synthesized on other images frame is generated.

すなわち、処理内容判定部21においては、タイムライン情報を参照することで、図4のように、一部領域A″と一部領域B´が他の画像上に合成されるイメージCが出力イメージとして算出される。 That is, the process content determining section 21 refers to the timeline information, as shown in FIG. 4, the image C output image partial area A "and a partial region B'is synthesized on another image It is calculated as.

したがって、処理内容判定部21は、算出された出力イメージCから、トランジション処理部25に入力されるイメージBのフレームにおいて、一部領域B´がマスクによる有効エリアであることを導出し、決定することができる。 Thus, the processing content determination unit 21, the output image C calculated in the frame of the image B inputted to the transition section 25, to derive the partial region B'is effective area by the mask, to determine be able to.

これにより、処理内容判定部21は、イメージBのフレーム上の一部領域B´以外の領域(ハッチング部分)が出力画像の表示に対して簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。 Thus, the processing content determination unit 21, a region (hatched portion) other than the partial region B'on the frame of the image B is less affected even if the simple decoding processing for the display of the output image, or influence it can be determined that there is no area.

また、処理内容判定部21は、算出された出力イメージCから、トランジション処理部25に入力されるイメージA´のフレームにおいて、一部領域A″がマスクによる有効領域であることを導出することができる。すなわち、イメージA´において、一部領域A″以外の領域(ハッチング部分)が有効ではない領域とされる。 Further, the processing content determination unit 21, the output image C calculated in the frame of image A'inputted to the transition section 25, that the partial area A "is derived that the effective area by the mask possible. that is, in the image A', are partial area a "other than the region (hatched portion) is not valid region. さらに、処理内容判定部21は、エフェクト処理部24からの出力イメージA´から、アフィン変換の逆写像によって、エフェクト処理部24に入力されるフレームAにおいて、一部領域A″が有効エリアであることを導出し、決定することができる。 Further, the processing content determination unit 21, the output image A'from the effect processing unit 24, the inverse mapping of the affine transformation, in frame A that is input to the effect processing unit 24, a partial area A "is an effective area it can be derived that, determined.

これにより、処理内容判定部21は、フレームA上の一部領域A″以外の領域(ハッチング部分)が簡易復号処理を行っても出力画像の表示に対して影響が少ない、あるいは、影響がないエリアであることを決定することができる。 Thus, the processing content determination unit 21, a part region A "other than the region on the frame A (hatched portion) is subjected to simplified decoding process is less effect on the display of the output image, or has no effect it is possible to determine that an area.

さらに、図5乃至図7を参照して、エフェクト処理またはトランジション処理の処理例毎に詳しく説明する。 Furthermore, with reference to FIGS. 5 to 7 will be described in detail for each process example of the effect process or transition process.

図5は、エフェクト処理が拡大のアフィン変換である例を説明する図である。 Figure 5 is a diagram illustrating an example where affine transformation effect processing expansion. 左側は入力イメージを表し、右側は出力イメージを表している。 The left side represents the input image, the right side represents the output image. 例えば、タイムライン情報においては、入力イメージAにおいて、ハッチング部分に対して、拡大のアフィン変換が指示されているので、その結果、入力イメージAにおけるハッチング部分がイメージ全体に拡大された出力イメージBが算出される。 For example, in the timeline information, in the input image A, with respect to the hatched portion, the affine transformation expansion is indicated, as a result, an output image B the hatched portion is expanded to the entire image in the input image A It is calculated.

したがって、処理内容判定部21は、算出された出力イメージBから入力イメージAにおけるハッチング部分が有効エリアであると、逆写像により求め、決定することができる。 Thus, the processing content determination unit 21, the hatched portion in the input image A from the calculated output image B is effective area can be determined by inverse mapping, determining. これにより、ハッチング部分以外の領域が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。 Thus, regions other than the hatched portion is less affected even if the simple decoding processing, or can be determined that the impact is not area.

その結果に基づいて、画像復号装置11においては、例えば、影響が少ない、あるいは影響がないエリアを復号しないという、簡易復号処理を行うことで、不要な復号処理を行うことが抑制され、処理時間を短くすることができる。 Based on the result, the image decoding apparatus 11, for example, that the effect is small, or does not decode the area is not affected, by performing a simple decoding process, it is prevented from performing unnecessary decoding processing, the processing time it can be shortened.

なお、縮小のアフィン変換を行う場合には、縮小率に応じて、簡易復号処理を行うか否かや、その簡易復号処理の方法を選択することもできるので、従来のように、単に簡易復号処理を行った場合の画質劣化が目立つことを抑えることができる。 In performing affine transformation of the reduced, depending on the reduction ratio, whether Kaya perform simple decoding processing, since it is also possible to select the method of the simplified decoding process, as in the prior art, merely simplified decoding it is possible to suppress the image quality degradation in the case where a process is performed stand out.

図6は、トランジション処理がクロスフェードである例を説明する図である。 Figure 6 is a diagram transition process will be described an example a cross-fade. 左側は入力イメージを表し、右側は出力イメージを表している。 The left side represents the input image, the right side represents the output image. 例えば、タイムライン情報においは、入力イメージAを透過度αで、入力イメージBを透過度(1−α)でブレンドすることが指示されているので、その結果の出力イメージCが算出される。 For example, the timeline information scent, an input image A in transparency alpha, so be blended with transparency (1-α) input image B is indicated, the output image C of the result is calculated.

この例の場合、処理内容判定部21は、算出された出力イメージCから、α >> 1−αの状態のときに、イメージA側が有効エリアであることを、逆写像により求め、決定することができる。 In this example, the processing content determination unit 21, the output image C calculated, in the state of alpha >> 1-alpha, that the image A side is the effective area, determined by inverse mapping, determine that can. これにより、処理内容判定部21は、イメージB側が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。 Thus, the processing content determination unit 21, the image B side is less affected even if the simple decoding processing, or can be determined that the impact is not area.

逆に、α << 1−αの状態のときに、イメージB側が有効エリアであり、逆写像により求め、決定することができる。 Conversely, when the state of the alpha << 1-alpha, an image B side effective area can be determined by inverse mapping, determining. これにより、イメージA側が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。 Thus, the image A side is less affected even if the simple decoding processing, or can be determined that the impact is not area.

その結果に基づいて、画像復号装置11においては、例えば、影響が少ない、あるいは影響がないエリアに対して、復号処理を省くような簡易復号処理を行うことができる。 Based on the result, the image decoding apparatus 11, for example, is less affected, or to the effects that there is no area, it is possible to perform a simple decoding processing, such as omitting the decoding process. これにより、従来のように、単に簡易復号処理を行った場合の画質劣化やフレームドロップによる劣化の目立ちを抑えることができる。 Thus, as in the prior art, it can simply suppress conspicuous deterioration due image degradation and frame dropping in the case of performing the simple decoding process.

図7は、トランジション処理がワイプである例を説明する図である。 Figure 7 is a diagram transition process will be described an example wipes. 左側は入力イメージを表し、右側は出力イメージを表している。 The left side represents the input image, the right side represents the output image. 例えば、タイムライン情報においては、入力イメージAにおける表示される部分、入力イメージBにおける表示される部分、および対応する時間情報がトランジションのパラメータとして指示されているので、その結果の出力イメージCが算出される。 For example, in the timeline information, portion displayed in the input image A, the portion that is displayed in the input image B, and so the corresponding time information is designated as the parameter of the transition, the output image C of the result calculated It is.

したがって、処理内容判定部21は、算出された出力イメージCから、入力イメージAにおけるハッチング部分と、入力イメージBにおけるハッチング部分とが有効エリアであることを、逆写像により求め、決定することができる。 Thus, the processing content determination unit 21, the output image C calculated, and hatched portions in the input image A, that the hatched portions in the input image B is valid area, can be determined by inverse mapping, determining . これにより、ハッチング部分以外の領域が簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアであることを決定することができる。 Thus, regions other than the hatched portion is less affected even if the simple decoding processing, or can be determined that the impact is not area.

その結果に基づいて、画像復号装置11においては、簡易復号処理としては、例えば、表示されないエリア(ハッチング部分以外のエリア)の復号を極力行わない方法が用いられる。 Based on the result, the image decoding apparatus 11, as the simple decoding processing, for example, as much as possible the method is not performed to decode the not displayed area (an area other than the hatched portion) is used. なお、極力とは、他から参照されるまたは復号処理結果が伝搬される場合には、正しく、または他の簡易復号方法で復号される。 Incidentally, as much as possible and is, or decoding result is referred to from others when propagated is decoded correctly or other simplified decoding method.

以上のように、画像復号装置11においては、タイムライン情報に基づいて、入力イメージにおいて簡易復号処理を行っても出力画像の表示に対して影響が少ない、あるいは、影響がないエリアを決定し、そのエリアに対して簡易復号処理を行うようにした。 As described above, the image decoding apparatus 11, based on the time line information, is less effect on the display of the even output image by performing a simple decoding process in the input image, or to determine the effect is no area, and to perform simple decoding processing for the area.

これにより、処理の時間を短縮するとともに、出力結果の劣化を抑制することができる。 Thus, the shortening the time of processing, it is possible to suppress degradation of the output.

[符号化パラメータ設定処理の説明] [Description of the encoding parameter setting process]
次に、処理内容判定部21が行う処理内容判定処理における符号化パラメータ設定処理について具体的に説明する。 Next, specifically described encoding parameter setting process in the processing content determination process processing content determination unit 21 performs.

図8は、エフェクト処理がそのイメージにテキスト(字幕やテロップ)を入れる場合の例を説明する図である。 Figure 8 is a diagram illustrating an example of a case in which the effect process is put in the text (subtitles or tickers) in the image.

図8の例においては、四角で示される複数のマクロブロックでなるフレームが示されている。 In the example of FIG. 8, a plurality of macro-blocks shown by squares frame is shown. このフレームにおいて、ハッチングがなされた領域には、エフェクト処理により、テキストが上書きされる。 In this frame, the hatched is made regions, the effect processing, text is overwritten.

したがって、処理内容判定部21は、この領域以外のマクロブロックについては、復号部23に入力されるビットストリーム(素材)から得られる符号化パラメータをそのまま利用するように設定する。 Thus, the processing content determination unit 21, the macro-block other than this area, sets the coding parameters obtained from the bit stream input to the decoding unit 23 (Material) as to utilize. また、処理内容判定部21は、ハッチングがなされた領域にかかるマクロブロックについては、このテキストを保護するために、素材から得られる符号化パラメータを変換させるように、パラメータ変換部26の処理内容を設定する。 Further, the processing content determination unit 21, the macro-block according to the hatching is made areas, to protect this text, as to convert the encoded parameters obtained from the material, the processing contents of the parameter conversion section 26 set to.

例えば、この場合、イントラマクロブロック(イントラ符号化)にしたり、または、量子化パラメータを下げるように、例えば、予測モードや量子化パラメータ値を変更するなど、符号化パラメータの値を変換するように、処理内容が設定される。 For example, in this case, or the intra macroblock (intra-coded), or, to reduce the quantization parameter, for example, such as changing the prediction mode and the quantization parameter values, to convert the value of the encoding parameter , the processing content is set.

この設定内容に応じて、パラメータ変換部26は、予測モードや量子化パラメータ値を変更するなど、パラメータ変換を行い、変換した符号化パラメータを符号化部27に供給する。 Depending on the setting, the parameter conversion unit 26, such as changing the prediction mode and the quantization parameter values, performs parameter conversion, and supplies the converted coding parameters to the encoding unit 27. このパラメータ変換部26からの符号化パラメータに基づいて、符号化部27は、加工後のデータを符号化する。 Based on the coding parameters from the parameter conversion section 26, the encoding unit 27 encodes the data after processing.

図9は、トランジション処理がワイプの場合の例を説明する図である。 Figure 9 is a diagram transition process will be described an example where the wipe. 例えば、素材Aのフレームと素材Bのフレームをワイプさせる場合を考える。 For example, consider the case of wiping the frame of the frame and the material B material A.

図9の例においては、四角で示される複数のマクロブロックでなるフレームが示されている。 In the example of FIG. 9, a plurality of macro-blocks shown by squares frame is shown. このフレームにおいて、濃いハッチングがなされた領域は、素材Aのマクロブロックであり、これらのマクロブロックにおいては、素材Aの符号化パラメータをそのまま利用することが可能である。 In this frame, dark hatching is made region is a macro block of material A, in these macroblocks, it is possible to directly use the coding parameters of the material A. 薄いハッチングがなされた領域は、素材Bのマクロブロックであり、これらのマクロブロックにおいては、素材Bの符号化パラメータをそのまま利用することが可能である。 Thin hatching is made region is a macro block of the material B, in these macroblocks, it is possible to directly use the coding parameters of the material B.

一方、白い領域は、素材Aと素材Bがマージされた領域のマクロブロックであり、どちらの素材も利用することができない。 On the other hand, the white area is the macroblocks of region material A and material B are merged, even not available either material.

したがって、処理内容判定部21は、ハッチングがなされた領域にかかるマクロブロックについては、素材から得られる符号化パラメータを利用して、マージするように設定する。 Thus, the processing content determination unit 21, the macro-block according to the hatching is made regions, by using the coding parameters obtained from the material, set to merge. 一方、処理内容判定部21は、白い領域にかかるマクロブロックについては、素材から得られる符号化パラメータを利用させないように設定する。 On the other hand, the processing content determination unit 21, for the macroblock according to the white area is set so as not to use the encoded parameters obtained from the material.

これに対応して、パラメータ変換部26は、白い領域にかかるマクロブロックの符号化パラメータに符号化部27に対する符号化パラメータ生成の指示が含ませる変換を行って、ハッチングがなされた領域にかかるマクロブロックの符号化パラメータとマージする。 Correspondingly, the parameter conversion unit 26 performs a conversion to include instruction encoding parameters generated for the encoding unit 27 to the coding parameter of the macro block according to the white area, according to the hatching is made region Macro encoding parameters and merging block. このパラメータ変換部26からの符号化パラメータに基づいて、符号化部27は、加工後のデータを符号化するとともに、必要な(白い領域にかかるマクロブロック)の符号化パラメータを生成し、パラメータ変換部26からの符号化パラメータに上書きする。 Based on the coding parameters from the parameter conversion section 26, the encoding unit 27 is configured to encode the data after the processing to generate coding parameters required (macroblocks according to the white area), the parameter conversion overwriting the coding parameters from the part 26.

以上のように、編集加工に用いられないマクロブロックについては、素材から得られる符号化パラメータを利用するようにしたり、編集加工に用いられるマクロブロックであっても、素材から得られる符号化パラメータを利用できる場合には、変換などを行うようにした。 Thus, for a macroblock that is not used in the editing processing, or to make use of the encoding parameters obtained from the material, even macro block used in the editing process, the encoding parameters obtained from the material If available, and to perform such conversion. これにより、わざわざ、符号化に必要なパラメータを生成する手間が省け、編集加工の際の再符号化を高速に処理することができる。 Thus, it bothers, eliminates the need to generate the parameters required for encoding, re-encoding during the editing process can be performed at high speed.

なお、上記説明においては、テキストを入れる場合やワイプの例の場合を説明したが、もちろん、他のエフェクト処理であっても、同様に処理することができる。 In the above description, a case has been described in the example or when the wipe contain text, of course, be other effect processing can be similarly processed. 例えば、トランジション処理が、フェードイン、フェードアウト、クロスフェードの場合は、次のように、符号化パラメータを利用することができる。 For example, the transition process, fade in, fade out, the case of cross-fade, as follows, can be utilized coding parameters.

すなわち、ブレンドの強度(α)として、出力の画素値=Aの画素値×α+Bの画素値×(1−α)とすると、処理内容判定部21は、αが1に近いとき、Aの符号化パラメータをそのまま利用し、αが0に近いとき、Bの符号化パラメータをそのまま利用するように設定する。 That is, as the intensity of the blend (alpha), when the pixel value × pixel value × alpha + B of the pixel value = A output (1-alpha), the processing content determination unit 21, when alpha is close to 1, A sign of the parameter directly using, when α is close to 0, it sets the coding parameters of B as to utilize. その他、フェード部分については、処理内容判定部21は、ビット割り当てを増やして画質を保護するように設定する。 Other, for fade part, the processing content determination unit 21 is set so as to protect the quality by increasing the bit allocation.

[画像復号装置の処理] [Processing of the image decoding apparatus]
次に、図10のフローチャートを参照して、図1の画像復号装置11が行う処理であって、符号化されたビットストリームに対して編集加工処理を行い、再び符号化する処理について説明する。 Next, with reference to the flowchart of FIG. 10, a process of the image decoding apparatus 11 of FIG. 1 performs edits processing on the encoded bit stream, a description will be given of a process of encoding again.

図示せぬ操作入力部などから入力されたユーザによる指示に応じて、編集加工時のタイムライン情報が処理内容判定部21および制御部22に入力され、復号部23−1および復号部23−2に、ファイルとして、符号化されているビットストリームが入力される。 In response to an instruction by a user inputted from a not-shown operation input unit, the timeline information of the editing process is input to the processing content determination unit 21 and the control unit 22, the decoding unit 23-1 and the decoding unit 23-2 to, as a file, a bit stream is input that has been encoded.

処理内容判定部21は、タイムライン情報を受け取り、受け取ったタイムライン情報に基づき、ステップS11において、画像復号装置11の各部の処理内容判定処理を実行する。 Processing content determination unit 21 receives the time line information, based on the received time line information, in step S11, executes the processing content determining process of each unit of the image decoding apparatus 11. この処理内容判定処理の詳細については、図11を参照して後述される。 For more information about this processing content determination process will be described later with reference to FIG. 11.

ステップS11の処理により、有効エリアが判定されて、その判定結果に応じて復号処理や符号化パラメータ変換の処理内容が設定される。 The processing in step S11, the effective area is determined, the processing contents of the decoding process and the encoding parameter conversion in accordance with the determination result is set. 処理内容判定部21により設定されたエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報は、タイムライン情報に加えられて、制御部22に供給される。 Processing content area is set by the determination unit 21, the information of the decoding method, and parameter conversion settings, i.e., information processing content, it is added to the timeline information is supplied to the control unit 22.

制御部22は、ステップS12において、nを1と(初期化)し、ステップS13において、復号部23を制御し、処理内容判定部21により設定された復号方法で、入力されたビットストリームに対して、復号処理を行わせる。 Control unit 22, in step S12, n and 1 (initialization), in step S13, and controls the decoding unit 23, at a set decoding method by the processing content determining section 21, the input bit stream Te to perform the decoding process. 例えば、図5乃至図7を参照して上述したように、入力イメージにおいて簡易復号処理を行っても影響が少ない、あるいは、影響がないエリアには、簡易復号処理が行われる。 For example, as described above with reference to FIGS. 5 to 7, is less affected even if the simplified decoding in the input image, or, in effect there is no area, the simple decoding processing is performed. 復号部23は、復号処理を行い、復号されたデータを、格納部29−1および29−2にそれぞれ出力するとともに、符号化されているビットストリームから取得されるパラメータ(符号化パラメータ)を、そのままパラメータ変換部26に出力する。 Decoding section 23 performs decoding processing, the decoded data, and outputs the respective storage portions 29-1 and 29-2, the parameters obtained from the bit stream being encoded (encoding parameter), it outputs to the parameter conversion section 26.

制御部22は、ステップS14において、エフェクト処理部24およびトランジション処理部25を制御し、タイムライン情報に基づいて、入力されたデータに対して、加工処理を行わせる。 Control unit 22, in step S14, controls the effect processing unit 24 and transitions processor 25, based on the timeline information, with respect to input data to perform the processing.

すなわち、エフェクト処理部24−1および24−2は、それぞれ、格納部29−1および29−2から入力されるデータを受け取り、制御部22の制御のもと、受け取ったデータに対してエフェクト処理を行う。 That is, the effect processing unit 24-1 and 24-2, respectively, receives the data input from the storage unit 29-1 and 29-2, under the control of the control unit 22, the effect processing on the received data I do. エフェクト処理部24−1および24−2は、エフェクト処理を行った結果のデータを、格納部29−3および29−4にそれぞれ出力する。 Effect processor 24-1 and 24-2, the data of the result of the effect processing is output to the storage unit 29-3 and 29-4. トランジション処理部25は、格納部29−3および29−4から入力されるデータを受け取り、制御部22の制御のもと、受け取ったデータに対してトランジット処理を行う。 Transition processing unit 25 receives the data input from the storage unit 29-3 and 29-4, under the control of the control unit 22, performs the transit process on the received data. トランジション処理部25は、トランジット処理を行った結果のデータ(すなわち、加工後のデータ)を、格納部29−5に出力する。 Transition processing unit 25, data of a result of the transit process (i.e., the data after processing), and outputs to the storage unit 29-5.

制御部22は、ステップS15において、パラメータ変換部26を制御し、処理内容判定部21により設定されたパラメータ変換方法で、復号部23から入力されたパラメータ変換を行わせる。 Control unit 22, in step S15, controls the parameter conversion section 26, at a set parameter conversion process by the processing content determining section 21 to perform the parameter conversion input from the decoding unit 23. 例えば、図8や図9を参照して上述したようなパラメータ変換がなされる。 For example, referring to the parameter conversion as described above to FIGS. 8 and 9 are made.

パラメータ変換部26は、復号部23−1および23−2から受け取った符号化パラメータに対して、制御部22の制御のもと、そのまま、あるいは、マージや変換して、それを符号化部27に供給して、符号化部27に再利用させる。 Parameter conversion section 26, the encoding parameters received from the decoding unit 23-1 and 23-2, under the control of the control unit 22, as it is, or by merging or converting it to the encoding unit 27 It is supplied to and re-used in the encoding unit 27. また、再利用できないパラメータに関しては、パラメータ変換部26は、符号化パラメータの生成指示をその符号化パラメータに含ませることで符号化部27に指示する。 With regard to not be reused parameters, the parameter conversion section 26 instructs the coding section 27 by including instruction for generating coding parameters to the encoding parameters.

符号化部27は、格納部29−5から入力される加工後のデータを受け取り、ステップS16において、パラメータ変換部26からの符号化パラメータに応じて、受け取った加工後のデータを符号化し、ファイルとして出力する。 Coding section 27 receives the data after processing are inputted from the storage unit 29-5, in step S16, in accordance with the coding parameters from the parameter conversion section 26, the data after processing the received coded file and outputs it as. その際、符号化部27は、パラメータ変換部26からの符号化パラメータにパラメータ生成指示がある場合にはその部分の符号化パラメータを生成し、パラメータ生成指示に、生成した符号化パラメータを上書きして、符号化された加工後のデータのヘッダに付加する。 At this time, the encoding unit 27, when the coding parameters from the parameter conversion section 26 a parameter generation instruction generates a coding parameter of the part, the parameter generation instruction, and overwrites the generated coding parameter Te is added to the header of the data after processing encoded.

制御部22は、ステップS17において、nを1つ加算し、ステップS18において、nが最後のフレーム番号(Last Frame No.)よりも大きいか否かを判定する。 Control unit 22 determines in step S17, adds one n, in step S18, n is the greater or not than the last frame number (Last Frame No.). ステップS18において、nが最後のフレーム番号より大きくないと判定された場合、処理は、ステップS13に戻り、それ以降の処理が繰り返される。 In step S18, if n is not greater than the last frame number, the process returns to step S13, and the subsequent processing is repeated.

また、ステップS18において、最後のフレーム番号より大きいと判定された場合、画像復号装置11の処理は終了される。 Further, in step S18, if it is determined to be greater than the last frame number, the processing of the image decoding apparatus 11 is ended.

[画像復号装置の処理内容判定処理] [Processing content determining process of the image decoding apparatus]
次に、図11のフローチャートを参照して、図10のステップS11における処理内容判定処理について説明する。 Next, with reference to the flowchart of FIG. 11 describes the processing content determining process in step S11 in FIG. 10.

処理内容判定部21は、タイムライン情報を受け取ると、ステップS31において、nを1と(初期化)し、ステップS32において、受け取ったライムライン情報に基づいて、出力に使われる入力データ(有効エリア)を算出する。 Processing content determination unit 21 receives the time line information, in step S31, n and 1 (initialization), in step S32, based on the received lime line information, input data (the effective area used for output ) is calculated. 図4などを参照して上述したように、逆写像などが用いられて有効エリアが算出される。 As described above with reference to FIG. 4 etc., the effective area is calculated is used as reverse mapping.

処理内容判定部21は、ステップS33において、タイムライン情報と、算出した有効エリアにも基づいて、フレームにおける領域限定、またはチャンネル限定が可能であるか否かを判定する。 Processing content determination unit 21 determines in step S33, and the time line information, also based on the calculated effective area, whether it is possible to space limitation, or channels limited in the frame. ステップS33において、フレームにおける領域限定、またはチャンネル限定が可能であると判定された場合、処理は、ステップS34に進む。 In step S33, if it is determined that the region limited in the frame, or the channel limitations, the process proceeds to step S34.

ステップS34において、処理内容判定部21は、番号がn(いまの場合、1)のフレームの部分復号を設定する。 In step S34, the processing content determination unit 21, numbers (in this case, 1) n to set the partial decoding of the frames. 例えば、フレームにおける領域限定が可能な場合には、1のフレームにおいて領域の部分復号が設定され、チャンネル限定が可能な場合には、1のフレームにおいてチャンネルの部分復号が設定される。 For example, if possible a region limited in the frame is set partial decoding regions in one frame, if the channel limitation is possible, partial decoding of the channel is set in the first frame. なお、部分復号の場合には、品質の劣化には直接関係しないので、後述するステップS37やS39のような判定は省略される。 In the case of partial decoding, since not directly related to the deterioration of the quality determination, such as the step S37 or S39 to be described later is omitted.

ステップS33において、領域およびチャンネル限定が可能ではないと判定された場合、ステップS34の処理はスキップされ、処理は、ステップS35に進む。 In step S33, if it is determined not to be a region and a channel limit, the process of step S34 is skipped and the processing proceeds to step S35.

ステップS35において、処理内容判定部21は、コーデックの依存関係などを参照して、例えば、部分復号以外の簡易復号が有効であるか否かを判定する。 In step S35, the processing content determination unit 21 determines with reference to such codecs dependencies, for example, whether it is valid simplified decoding other than the portion decoded. ステップS35において、簡易復号が有効であると判定された場合、処理は、ステップS36に進む。 In step S35, if it is determined that the simplified decoding is enabled, the process proceeds to step S36.

処理内容判定部21は、ステップS36において、タイムライン情報から、nフレームに対するエフェクト(トランジション含む)の種類、エフェクトのパラメータをチェックし、ステップS37において、そのフレームをフレームドロップしても目立ちにくいか否かを判定する。 Processing content determination unit 21, in step S36, whether from the timeline information, check the type of effect (including transitions) for the n frames, the parameters of the effect, or at step S37, inconspicuous even if frame dropping the frame determines whether or not. すなわち、ここでは、フレームドロップなどの時間方向の簡易復号による影響が判定される。 In other words, in this case, influence of the time direction simplified decoding, such as frame dropping is determined. ステップS37において、フレームドロップしても目立ちにくいと判定された場合、処理は、ステップS38に進む。 In step S37, if it is determined that less noticeable even if frame dropping, the process proceeds to step S38.

ステップS38において、処理内容判定部21は、nフレームは、コピーすることに設定する。 In step S38, the processing content determination unit 21, n frames is set to be copied. すなわち、nフレームは、復号処理無しで、フレームドロップの対象として設定される。 Ie, n frames, without decoding, is set as a target for frame dropping. その後、処理は、ステップS41に進む。 Then, the process proceeds to step S41.

また、ステップS37において、フレームドロップすると目立ってしまうと判定された場合、処理は、ステップS39に進む。 Further, in step S37, if it is determined that conspicuous to frame dropping, the process proceeds to step S39. ステップS39において、処理内容判定部21は、nフレームに対して、簡易復号しても目立ちにくいか否かを判定する。 In step S39, the processing content determination unit 21 determines with respect to n frames, whether inconspicuous be simplified decoding. すなわち、ここでは、例えば、デブロッキングの省略など、画面内、空間方向の簡易復号による影響が判定される。 In other words, in this case, for example, such as omitting deblocking, the screen, the effect by the simple decoding in the spatial direction is determined. ステップS39において、nフレームに対して、簡易復号しても目立ちにくいと判定された場合、処理は、ステップS40に進む。 In step S39, if the n frame was determined to be less noticeable be simplified decoding, the processing proceeds to step S40. ステップS40において、処理内容判定部21は、nフレームに対して、例えば、デブロッキングの省略などの簡易復号モードを設定する。 In step S40, the processing content determination unit 21, with respect to n frames, for example, to set the simplified decoding mode, such as omitting deblocking. その後、処理は、ステップS41に進む。 Then, the process proceeds to step S41.

一方、ステップS35において、簡易復号が有効ではないと判定された場合、ステップS36乃至S40の処理はスキップされ、処理は、ステップS41に進む。 On the other hand, in step S35, if it is determined that the simplified decoding is not valid, the process of step S36 to step S40 is skipped, and the processing the process proceeds to the step S41. また、ステップS39において、簡易復号すると目立ちやすいと判定された場合も、処理は、ステップS41に進む。 Further, in step S39, even when it is determined that more noticeable to simplified decoding, processing, the process proceeds to the step S41.

ステップS41において、処理内容判定部21は、算出した有効エリアやタイムライン情報に基づいて、例えば、図8または図9で上述したように、符号化パラメータの変換またはマージを設定する。 In step S41, the processing content determination unit 21 based on the calculated effective area and timeline information, for example, as described above in FIG. 8 or FIG. 9, sets the conversion or merging of the coding parameters. そして、処理内容判定部21は、これら設定したエリア、復号方法、およびパラメータの変換の設定の各情報、すなわち、処理内容の情報を、タイムライン情報に加えて、制御部22に供給する。 Then, the processing content determination unit 21, it sets the area, the information of the decoding method, and parameter conversion setting, i.e., the information of the process contents, in addition to the timeline information, to the control unit 22.

ステップS41において、処理内容判定部21は、nを1つ加算し、ステップS42において、nが最後のフレーム番号(Last Frame No.)よりも大きいか否かを判定する。 In step S41, the processing content determination unit 21 adds one to n, in step S42, n determines whether greater or not than the last frame number (Last Frame No.). ステップS42において、nが最後のフレーム番号より大きくないと判定された場合、処理は、ステップS32に戻り、それ以降の処理が繰り返される。 In step S42, if n is not greater than the last frame number, the process returns to step S32, and the subsequent processing is repeated.

また、ステップS42において、最後のフレーム番号より大きいと判定された場合、処理内容判定処理は終了される。 Further, in step S42, if it is determined to be greater than the last frame number, the processing content determining process is terminated.

以上のように、画像復号装置11においては、出力に使われる入力データの有効領域を算出し、それに基づいて、簡易復号処理を設定するようにしたので、加工および転送の処理量の減少による高速化を図ることができる。 As described above, the image decoding apparatus 11 calculates the effective area of ​​the input data used to output, based on that, since the to set the simple decoding processing, fast due to a reduction in throughput of the processing and transfer it is possible to achieve the reduction. また、目立たない部分に簡易復号を用いることにより、簡易復号による復号処理の高速化を図るとともに、画像劣化による再生品質の低下を抑制することができる。 Further, by using the simplified decoding in the portion inconspicuous, it is possible to suppress with speeding up the decoding process by the simple decoding, deterioration of reproduction quality due to image degradation.

さらに、画像復号装置11においては、算出した有効領域に基づいて、元データの符号化パラメータをそのまま用いたり、パラメータ変換やマージをすることにより再利用するようにしたので、符号化処理を削減することができ、それにより、処理を高速化することができる。 Further, in the image decoding apparatus 11 based on the calculated effective region, or used as an encoding parameter of the original data. Thus reused by the parameter conversion and merging reduces the coding process it can, thus, it is possible to speed up the process.

例えば、画像復号装置11においては、符号化方式としてH. For example, the image decoding apparatus 11, H. as a coding technique 264/AVC方式やMPEG2を用いられるが、本発明はこれに限らず、その他の符号化方式/復号方式を適用することができる。 Used the 264 / AVC scheme and MPEG2, but the present invention is not limited to this, it is possible to apply other encoding method / decoding method.

なお、本発明は、例えば、MPEG、H. The present invention is, for example, MPEG, H. 26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報(ビットストリーム)を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。 As such 26x, a discrete cosine transform or the like orthogonal transformation image information compressed by motion compensation (bit stream), satellite, cable television, Internet, or when received via a network medium such as a mobile phone, it can be applied to an image encoding device and image decoding device used. また、本発明は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。 Further, the present invention can be applied light, the image coding apparatus and the image decoding apparatus used in processing the magnetic disk, and the storage medium such as a flash memory. さらに、本発明は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。 Furthermore, the present invention can also be applied to the motion prediction compensation device included in such those of the image encoding device and image decoding device.

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。 A series of processes described above can be executed by hardware or can be executed by software. 一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。 In the case of executing the series of processes by software, a program constituting the software is installed in a computer. ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。 Here, the computer includes a computer incorporated in dedicated hardware, by installing various programs, various functions can be run a general-purpose personal computer is included.

[パーソナルコンピュータの構成例] [Configuration example of a personal computer]
図12は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。 Figure 12 is a block diagram showing a configuration example of hardware of a computer that executes the series of processes described above.

コンピュータにおいて、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103は、バス104により相互に接続されている。 In the computer, CPU (Central Processing Unit) 101, ROM (Read Only Memory) 102, RAM (Random Access Memory) 103 are connected to each other via a bus 104.

バス104には、さらに、入出力インタフェース105が接続されている。 The bus 104 further input and output interface 105 is connected. 入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、およびドライブ110が接続されている。 Output interface 105, an input unit 106, output unit 107, storage unit 108, a communication unit 109, and a drive 110 are connected.

入力部106は、キーボード、マウス、マイクロホンなどよりなる。 Input unit 106 includes a keyboard, a mouse, a microphone, and the like. 出力部107は、ディスプレイ、スピーカなどよりなる。 The output unit 107 includes a display and a speaker. 記憶部108は、ハードディスクや不揮発性のメモリなどよりなる。 Storage unit 108 includes a hard disk and a nonvolatile memory. 通信部109は、ネットワークインタフェースなどよりなる。 The communication unit 109 includes a network interface. ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア111を駆動する。 The drive 110 drives a magnetic disk, an optical disk, a magneto-optical disk, or a removable medium 111 such as a semiconductor memory.

以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを入出力インタフェース105及びバス104を介してRAM103にロードして実行することにより、上述した一連の処理が行われる。 In the computer configured as described above, CPU 101 is, for example, by loading and executing the RAM103 through the input and output program stored in the storage unit 108 interface 105 and the bus 104, the series of processes described above It is carried out.

コンピュータ(CPU101)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア111に記録して提供することができる。 Program computer (CPU 101) is executed, for example, can be provided by being recorded on the removable medium 111 as a package medium or the like. また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供することができる。 Further, the program may be provided via a local area network, the Internet, or digital broadcasting, a wired or wireless transmission medium.

コンピュータでは、プログラムは、リムーバブルメディア111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。 In the computer, by mounting the removable medium 111 into the drive 110, it can be installed via the input and output interface 105, the storage unit 108. また、プログラムは、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。 The program via a wired or wireless transmission medium and received by the communication unit 109, can be installed in the storage unit 108. その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。 Alternatively, the program may be in the ROM102 and the storage unit 108 installed in advance.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。 The program which the computer executes may be a program in which processes are performed in time series in the order described herein, at a necessary timing such as when the parallel or call was made processing may be a program to be carried out.

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 Embodiments of the present invention is not intended to be limited to the embodiments described above, and various modifications can be made without departing from the scope of the present invention.

11 画像復号装置, 21 処理内容判定部, 22 制御部, 23−1,23−2 復号部, 24−1,24−2 エフェクト処理部, 25 トランジション処理部, 26 パラメータ変換部, 27 符号化部, 28 表示部 11 image decoding apparatus, 21 processing content determination unit, 22 control unit, 23-1 and 23-2 decode unit, 24-1 and 24-2 the effect processing unit, 25 transition processing unit, 26 parameter conversion section, 27 encoding section , 28 display unit

Claims (6)

  1. ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定する処理内容決定手段と、 Based on the processing information when processing the bit stream, the bit stream is processed material, determining the processing content for determining the areas is no less or impact effect on the display of the even output image by performing a simple decoding processing and means,
    前記処理内容決定手段により決定されたエリアに対して前記簡易復号処理を行う復号手段と を備える復号装置。 Decoding apparatus and a decoding means for performing the simplified decoding processing on the determined area by the processing content determination unit.
  2. 前記処理内容決定手段は、コーデックの依存関係に基づいて、前記簡易復号処理が有効であると判定した場合に、前記エリアに対しての前記簡易復号処理を、前記復号手段に行わせる 請求項1に記載の復号装置。 The processing content determination unit, based on the codec dependency, if the simplified decoding process is determined to be valid, claim 1, the simplified decoding processing with respect to the area, causing the decoding means decoding apparatus according to.
  3. 前記処理内容決定手段により決定されたエリアに基づいて、前記ビットストリームの符号化パラメータをマージまたは変換することで、加工後のデータの符号化パラメータを生成するパラメータ変換手段と、 Based on the determined area by the processing content determining means, said by merging or converting the coded parameters of the bit stream, and a parameter converting means for generating encoding parameters of the data after processing,
    前記パラメータ変換手段により生成された前記符号化パラメータを利用して、前記復号手段により前記簡易復号処理が行われたビットストリームを再符号化する符号化手段と をさらに備える請求項2に記載の復号装置。 By using the coding parameters generated by the parameter converting means, decoding according to claim 2, further comprising encoding means for re-encoding the bit stream the simple decoding processing is performed by said decoding means apparatus.
  4. 前記エリアは、フレーム全体またはフレーム内における部分領域である 請求項3に記載の復号装置。 The area, the decoding apparatus according to claim 3 is a partial region in the entire frame or frame.
  5. 前記簡易復号処理は、フレームドロップ、デブロッキングの省略、フレーム内の部分復号、および一部のチャンネルのみの復号のうちの少なくとも1つである 請求項3に記載の復号装置。 The simple decoding processing, frame dropping, omission of the deblocking, partial decoding of the frame, and a decoding apparatus according to claim 3 is at least one of decoding of only a part of the channel.
  6. 処理内容決定手段と、復号手段とを備える復号装置の復号方法において、 A processing content determining means, in the decoding method of the decoding device and a decoding means,
    前記処理内容決定手段が、ビットストリームを加工する際の加工情報に基づき、加工素材であるビットストリームに対して、簡易復号処理を行っても出力画像の表示に対して影響が少ないまたは影響がないエリアを決定し、 The processing content determination unit, based on the processing information when processing the bit stream, the bit stream is the processing material, there is no little or impact effect on the display of the even output image by performing a simple decoding processing to determine the area,
    前記復号手段が、決定されたエリアに対して前記簡易復号処理を行う 復号方法。 Decoding method for performing the simplified decoding process on the area said decoding means, which is determined.
JP2010034299A 2010-02-19 2010-02-19 Decoding apparatus and method Withdrawn JP2011172039A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010034299A JP2011172039A (en) 2010-02-19 2010-02-19 Decoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010034299A JP2011172039A (en) 2010-02-19 2010-02-19 Decoding apparatus and method

Publications (1)

Publication Number Publication Date
JP2011172039A true true JP2011172039A (en) 2011-09-01

Family

ID=44685689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010034299A Withdrawn JP2011172039A (en) 2010-02-19 2010-02-19 Decoding apparatus and method

Country Status (1)

Country Link
JP (1) JP2011172039A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153387A (en) * 2012-01-26 2013-08-08 Nippon Telegr & Teleph Corp <Ntt> Video coding method, video encoder and video coding program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013153387A (en) * 2012-01-26 2013-08-08 Nippon Telegr & Teleph Corp <Ntt> Video coding method, video encoder and video coding program

Similar Documents

Publication Publication Date Title
US6816552B2 (en) Interpolation of video compression frames
JP2007060713A (en) Moving picture coding method and device therefor
JP2008011204A (en) Encoding circuit, decoding circuit, encoder circuit, decoder circuit, cabac processing method
JP2010035146A (en) Encoder, and encoding method
JP2009027693A (en) Moving image compression coding equipment
JP2007104231A (en) Transcoder, recording apparatus, transcode method
JP2005323315A (en) Prediction information/quantization value control compression coding apparatus, program, and method
JP2009081489A (en) Moving picture encoding device and moving picture decoding device
JP2004350030A (en) Telop superimposing device, telop superimposing method, and telop superimposing program
JP2005244382A (en) Thumbnail picture forming device
KR20050019809A (en) Improved interpolation of video compression frames
JP2006148615A (en) Decoding device and program for making computer execute encoding method
JP4015934B2 (en) Video encoding method and apparatus
JP4697053B2 (en) Program, an information processing apparatus, information processing method, and a recording medium
JP5579730B2 (en) Brightness change coding
JP4197092B2 (en) Processing method and apparatus for performing a wipe for compressed mpeg video bit stream
JP4514666B2 (en) Moving picture coding apparatus
JP4015093B2 (en) Moving picture coding apparatus and a moving picture coding method
JP3461280B2 (en) Moving picture editing apparatus and a moving picture editing method
JP2012009934A (en) Image processing apparatus and image processing method
JP2000152249A (en) Image coder
WO2013073422A1 (en) Video encoding device
JP2009044537A (en) Video stream processing device, its control method, program, and recording medium
JP2011151550A (en) Image compression device, authoring system, and image compression method
JP2009159541A (en) Moving picture coding device, moving picture coding method, and moving picture coding program

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130507