JP2010226567A - Moving image encoding device - Google Patents

Moving image encoding device Download PDF

Info

Publication number
JP2010226567A
JP2010226567A JP2009073298A JP2009073298A JP2010226567A JP 2010226567 A JP2010226567 A JP 2010226567A JP 2009073298 A JP2009073298 A JP 2009073298A JP 2009073298 A JP2009073298 A JP 2009073298A JP 2010226567 A JP2010226567 A JP 2010226567A
Authority
JP
Japan
Prior art keywords
unit
prediction
image
encoding
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009073298A
Other languages
Japanese (ja)
Inventor
Takuma Chiba
琢麻 千葉
Kenjiro Tsuda
賢治郎 津田
Hiroaki Shimazaki
浩昭 島崎
Yukinaga Seki
征永 関
Tatsuro Shigesato
達郎 重里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2009073298A priority Critical patent/JP2010226567A/en
Publication of JP2010226567A publication Critical patent/JP2010226567A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To overcome disadvantage in the conventional art in which it is necessary to impose limitations on imaging systems in photography, such as photographic image sizes or imaging time for continuous photographing operation, during high frame rate (FR) photography which causes a larger amount of processing per unit time in an imaging device as compared with ordinary FR photography. <P>SOLUTION: In a moving image encoding device including an encoder for encoding a moving image signal obtained by photography, the encoder changes encoding conditions of the moving image signal according to the frame rate by which the moving image signal is obtained. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、動画像を圧縮して符号化する装置及び方法に関し、特に、複数のフレームレートで取得した動画像を符号化する際の方式に関する。   The present invention relates to an apparatus and method for compressing and encoding a moving image, and more particularly to a method for encoding moving images acquired at a plurality of frame rates.

近年、デジタルスチルカメラやデジタルビデオカメラでは、通常のフレームレート(以下、通常FRと称す。)での撮像以外に、高フレームレート(以下、高FRと称す。)撮像が可能となってきている。通常FRは、テレビ放送などで使用されるフレームレートであって、30fpsから60fpsに設定される。一方、高FRとは、上記の通常FRよりも高いフレームレートを指し、具体的には、1秒間に120fps以上のフレームレートを指す。   In recent years, in a digital still camera and a digital video camera, in addition to imaging at a normal frame rate (hereinafter referred to as normal FR), it has become possible to perform imaging at a high frame rate (hereinafter referred to as high FR). . The normal FR is a frame rate used in television broadcasting and is set from 30 fps to 60 fps. On the other hand, the high FR indicates a frame rate higher than the normal FR, and specifically indicates a frame rate of 120 fps or more per second.

従来、通常FRと、高FRを用いて撮像を行なう技術に、通常FRと、高FRとを撮像中に切り換えて撮像する方法がある(例えば、特許文献1参照)。この特許文献1においては、特に通常FRで撮像している際に、高FRに切り換える技術が開示されている。
特開2006−352581号公報
Conventionally, as a technique for performing imaging using normal FR and high FR, there is a method of switching between normal FR and high FR during imaging (for example, see Patent Document 1). This Patent Document 1 discloses a technique for switching to a high FR particularly when imaging is performed with a normal FR.
JP 2006-325881 A

上記のような高FRを用いた撮像は、通常FR撮像と比較して、撮像装置内における単位時間当たりの処理量が大きくなってしまう。そのため、高FR撮像を行なう場合、例えば撮像する際の画像サイズや、連続して撮像可能な撮像時間等、撮像する際の撮像方式を制限する必要があった。   In the imaging using the high FR as described above, the processing amount per unit time in the imaging apparatus is larger than that in the normal FR imaging. For this reason, when performing high-FR imaging, it is necessary to limit the imaging method at the time of imaging, for example, the image size at the time of imaging, the imaging time that can be continuously imaged, and the like.

そこで本発明は、上記のような課題を解決して高FRで撮像した際も、撮像方式を制限することなく被写体を撮像し、撮像して得られた動画像信号を符号化可能とする動画像符号化装置を提供することを目的とする。   Accordingly, the present invention solves the above-described problems and captures a subject without restricting the imaging method even when imaged at a high FR, and a moving image signal obtained by encoding the moving image signal can be encoded. An object is to provide an image encoding device.

上記の目的を達成するために、本発明は、複数のピクチャを有する動画像信号の符号化を行なう動画像符号化装置であって、既に符号化済みのピクチャを基に生成される参照画像を蓄積する蓄積部と、符号化対象のピクチャ内における符号化済みのマクロブロックを復号化して得られる画素を用いて予測画像を生成する画面内予測及び、前記参照画像から予測画像を生成する画面間予測のうち一方の予測方式を用いて、符号化対象であるマクロブロックに対応する予測画像を生成する予測画像生成部と、前記予測画像を基に、前記動画像信号の符号化を行ない、符号化データを生成する符号化部と、前記予測画像生成部の制御を行なう制御部と、を備え、前記制御部は、前記動画像信号が撮像されるフレームレートに応じて前記予測画像生成部において適用する予測方式を設定することを特徴とする。   In order to achieve the above object, the present invention provides a moving picture coding apparatus for coding a moving picture signal having a plurality of pictures, and a reference picture generated based on an already coded picture. An inter-screen prediction that generates a prediction image using a pixel obtained by decoding an encoded macroblock in a picture to be encoded, and an inter-screen prediction that generates a prediction image from the reference image A prediction image generation unit that generates a prediction image corresponding to a macroblock to be encoded using one of the prediction methods, and encoding the moving image signal based on the prediction image, An encoding unit that generates encoded data, and a control unit that controls the prediction image generation unit, wherein the control unit generates the prediction image according to a frame rate at which the moving image signal is captured. And setting a prediction method to be applied in the.

本発明によれば、撮像される動画像信号のフレームレートを変更する際に符号化条件を適切に設定することで、撮像方式を変更することなく撮像した動画像信号の符号化が可能となる効果を奏する。   According to the present invention, by appropriately setting the encoding condition when changing the frame rate of the captured moving image signal, it is possible to encode the captured moving image signal without changing the imaging method. There is an effect.

本発明の実施の形態1においては、複数のピクチャを有する動画像信号の符号化を行なう動画像符号化装置であって、既に符号化済みのピクチャを基に生成される参照画像を蓄積する蓄積部と、符号化対象のピクチャ内における符号化済みのマクロブロックを復号化して得られる画素を用いて予測画像を生成する画面内予測及び、前記参照画像から予測画像を生成する画面間予測のうち一方の予測方式を用いて、符号化対象であるマクロブロックに対応する予測画像を生成する予測画像生成部と、前記予測画像を基に、前記動画像信号の符号化を行ない、符号化データを生成する符号化部と、前記予測画像生成部の制御を行なう制御部と、を備え、前記制御部は、前記動画像信号が撮像されるフレームレートに応じて前記予測画像生成部において適用する予測方式を設定することを特徴とする構成となっている。   In Embodiment 1 of the present invention, a moving picture coding apparatus for coding a moving picture signal having a plurality of pictures, which stores a reference picture generated based on an already coded picture And intra-screen prediction for generating a predicted image using pixels obtained by decoding a macroblock that has been encoded in a picture to be encoded, and inter-screen prediction for generating a predicted image from the reference image Using one prediction method, a prediction image generation unit that generates a prediction image corresponding to a macroblock to be encoded, and encoding the moving image signal based on the prediction image, An encoding unit that generates the control unit, and a control unit that controls the prediction image generation unit. The control unit controls the prediction image generation unit according to a frame rate at which the moving image signal is captured. It has a configuration and sets the prediction mode applicable Te.

上記の構成により、撮像される動画像信号のフレームレートを変更する際に符号化条件を適切に設定することで、撮像方式を変更することなく撮像した動画像信号の符号化が可能となる効果を奏する。   With the above configuration, by appropriately setting the encoding condition when changing the frame rate of the captured moving image signal, it is possible to encode the captured moving image signal without changing the imaging method. Play.

また、上記の動画像符号化装置が備える制御部は、前記動画像信号が第1のフレームレートよりも高速の第2のフレームレートで撮像されている場合、当該第2のフレームレートで撮像された動画像信号に適用する前記予測画像を、前記画面内予測を用いて生成するよう前記予測画像生成部を制御する構成にしてもよい。   In addition, when the moving image signal is captured at a second frame rate that is faster than the first frame rate, the control unit included in the moving image encoding device captures an image at the second frame rate. The predicted image generation unit may be configured to generate the predicted image to be applied to the moving image signal using the intra prediction.

このように構成することで、高速の第2のフレームレートで撮像している際に適用する予測画像を生成する予測方式を画面内予測に限定することが出来るため、動画像符号化装置全体の処理量を軽減することが可能となる。   With this configuration, the prediction method for generating a prediction image to be applied when imaging at a high-speed second frame rate can be limited to in-screen prediction. The processing amount can be reduced.

また動画像符号化装置はさらに、前記動画像信号を撮像する撮像部と、前記撮像部において撮像する際のフレームレートを設定するフレームレート設定部と、を備え、前記動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第1のフレームレートよりも高速の第2のフレームレートに設定した場合、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面内予測を用いて生成するよう前記予測画像生成部を制御する特徴を備える構成にしても構わない。   The moving image encoding device further includes an imaging unit that captures the moving image signal, and a frame rate setting unit that sets a frame rate when the imaging unit captures an image. In the middle of encoding, when the control unit sets the frame rate in the imaging unit to a second frame rate that is faster than the first frame rate, the control unit You may make it the structure provided with the characteristic which controls the said prediction image production | generation part so that the said prediction image corresponding to an uncoded macroblock among the macroblocks which a picture has may be produced | generated using intra prediction.

このように構成することで、符号化の途中であってもフレームレートを切り替えた時点で、予測画像を生成するための予測方式を画面内予測に限定することが出来るため、より最適に動画像符号化装置全体の処理量を低減することが可能となる。   With this configuration, the prediction method for generating a prediction image can be limited to in-screen prediction at the time when the frame rate is switched even in the middle of encoding. It becomes possible to reduce the processing amount of the whole encoding apparatus.

また、動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第1のフレームレートよりも高速の第2のフレームレートに設定した後、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面間予測を用いて生成する場合、当該画面間予測における前記参照画像の参照構造を制限するよう前記予測画像生成部を制御する特徴を備える構成にしても構わない。   In addition, while the moving image encoding apparatus is encoding a picture, the control unit causes the frame rate setting unit to change the frame rate in the imaging unit to a second frame rate that is faster than the first frame rate. After setting, when generating the predicted image corresponding to an uncoded macroblock among the macroblocks of the picture being encoded, using inter-screen prediction, the reference image in the inter-screen prediction You may make it the structure provided with the characteristic which controls the said prediction image generation part so that a reference structure may be restrict | limited.

さらに前記制御部は、前記既に符号化済みのピクチャのうち、符号化対象であるマクロブロックを有するピクチャと時間的に最も近いピクチャを前記参照画像として用いるよう前記予測画像生成部を制御することを特徴とする構成にしても構わない。   Further, the control unit controls the prediction image generation unit to use, as the reference image, a picture temporally closest to a picture having a macroblock to be encoded among the already encoded pictures. You may make it the characteristic structure.

また、前記制御部は、符号化対象であるピクチャが有するマクロブロックのうち、既に符号化済みのマクロブロックが最も多く参照したピクチャを前記参照画像として用いるよう前記予測画像生成部を制御する特徴を備える構成にしても構わない。   Further, the control unit controls the prediction image generation unit to use, as the reference image, a picture that is most referenced by an already encoded macroblock among macroblocks included in a picture to be encoded. You may make it the structure provided.

上記のように構成することで、参照画像を選択する処理量を低減することができ、その結果、動画像符号化装置全体の処理量も低減することが可能となる。   With the configuration described above, it is possible to reduce the processing amount for selecting a reference image, and as a result, it is also possible to reduce the processing amount of the entire moving image coding apparatus.

また、動画像符号化装置は、前記符号化情報を前記フレームレート毎に記録する複数の記録部を備え、前記複数の記録部は、前記フレームレート毎に異なる記録媒体であることを特徴とする構成にしても構わない。   In addition, the moving image encoding apparatus includes a plurality of recording units that record the encoding information for each frame rate, and the plurality of recording units are different recording media for each frame rate. You may make it a structure.

また、上記の動画像符号化装置はさらに、前記蓄積部の制御を行なう制御部を備え、前記蓄積部は、前記撮像された動画像信号と、前記参照画像を蓄積し、前記符号化部は、前記蓄積部に蓄積される動画像信号の符号化を行い、前記制御部は、前記蓄積部の記録領域のうち、前記符号化部において画面間予測を用いて前記予測画像を生成する際に参照しない参照画像が蓄積される領域を開放すると共に、開放した領域に前記撮像された動画像信号を蓄積するように記録領域の制御を行なうことを特徴とする構成にしても構わない。   In addition, the moving image encoding apparatus further includes a control unit that controls the storage unit, the storage unit stores the captured moving image signal and the reference image, and the encoding unit includes: The video signal stored in the storage unit is encoded, and the control unit generates the predicted image using inter-screen prediction in the encoding unit of the recording area of the storage unit. The recording area may be controlled so that an area in which a reference image that is not referred to is accumulated is opened and the captured moving image signal is accumulated in the opened area.

上記のように構成することで、回路規模を増やすことなく、撮像して得られる動画像信号を蓄積するバッファを増やすことが可能となり、撮像方式を制限することなく被写体を撮像し、撮像して得られた動画像信号を符号化可能な効果を奏する。   By configuring as described above, it is possible to increase the buffer for storing moving image signals obtained by imaging without increasing the circuit scale, and to capture and capture the subject without limiting the imaging method. There is an effect that the obtained moving image signal can be encoded.

(実施の形態1)
以下、本発明の実施の形態1について、図面を参照しながら説明する。
(Embodiment 1)
Embodiment 1 of the present invention will be described below with reference to the drawings.

図1は、本発明の実施の形態1におけるビデオカメラ10を示す図である。ビデオカメラ10は、動画像符号化装置100と、撮像部200で構成される。   FIG. 1 is a diagram showing a video camera 10 according to Embodiment 1 of the present invention. The video camera 10 includes a moving image encoding device 100 and an imaging unit 200.

動画像符号化装置100は、撮像部200において生成された動画像信号の符号化及び、符号化して得られる符号化データの記録を行なう。さらに、動画像符号化装置100は、撮像部200によって被写体を撮像する際のフレームレートの設定変更を行なう。   The moving image encoding apparatus 100 performs encoding of a moving image signal generated in the imaging unit 200 and recording of encoded data obtained by encoding. Furthermore, the moving image encoding apparatus 100 changes the setting of the frame rate when the imaging unit 200 captures an object.

撮像部200は、動画像符号化装置100で設定されたフレームレートを基に、目的とする被写体の撮像を行い、動画像信号を生成する。生成した動画像信号は、動画像符号化装置100に出力される。   The imaging unit 200 captures a target subject based on the frame rate set by the video encoding device 100, and generates a video signal. The generated moving image signal is output to the moving image encoding apparatus 100.

さらに動画像符号化装置100は、フレームレート設定部101、符号化部102、記録部103、蓄積部104、制御部105から構成される。本実施の形態1においては、撮像部200で撮像された動画像信号は、一旦蓄積部104に蓄積され、符号化部102は蓄積部104に蓄積される動画像信号をピクチャ毎に読み出し、当該ピクチャが有するマクロブロック単位に符号化する構成とする。   Furthermore, the moving image encoding apparatus 100 includes a frame rate setting unit 101, an encoding unit 102, a recording unit 103, a storage unit 104, and a control unit 105. In the first embodiment, the moving image signal captured by the imaging unit 200 is temporarily accumulated in the accumulation unit 104, and the encoding unit 102 reads out the moving image signal accumulated in the accumulation unit 104 for each picture, Coding is performed in units of macroblocks included in a picture.

フレームレート設定部101は、撮像部200において被写体を撮像する際のフレームレートの設定を行なう。フレームレートの設定変更は、ユーザーからの変更指示があった場合に行なう等、どのようなタイミングでも構わない。また、フレームレート設定部101は、制御部105に対して撮像部200で設定されるフレームレートの情報(以下、FR情報と称す。)を通知する。例えば、フレームレートを変更した場合、制御部105に対して変更後のFR情報を通知する。さらに、撮像部200において撮像を開始する際には、撮像部200において予め設定されるFR情報を制御部105に通知する。   The frame rate setting unit 101 sets a frame rate when the imaging unit 200 images a subject. The frame rate setting can be changed at any timing such as when a change instruction is received from the user. Further, the frame rate setting unit 101 notifies the control unit 105 of frame rate information (hereinafter referred to as FR information) set by the imaging unit 200. For example, when the frame rate is changed, the changed FR information is notified to the control unit 105. Furthermore, when the imaging unit 200 starts imaging, the control unit 105 is notified of FR information preset in the imaging unit 200.

符号化部102は、撮像部200において生成された動画像信号の符号化を行なう。そして、符号化して得られる符号化データを記録部103に出力する。なお、動画像信号の符号化を行なう際は、例えば画面内予測又は、画面間予測を用いるH.264/AVC等の符号化規格で符号化するものとする。   The encoding unit 102 encodes the moving image signal generated in the imaging unit 200. Then, the encoded data obtained by encoding is output to the recording unit 103. Note that when encoding a moving image signal, for example, H.264 using intra prediction or inter prediction. It is assumed that encoding is performed using an encoding standard such as H.264 / AVC.

記録部103は、符号化部102から出力される符号化データを格納する。記録部103は、フラッシュメモリ、DRAM、強誘電体メモリ等の記録可能な部で構成される。   The recording unit 103 stores the encoded data output from the encoding unit 102. The recording unit 103 includes a recordable unit such as a flash memory, a DRAM, or a ferroelectric memory.

蓄積部104は、撮像部200から出力される動画像信号を蓄積する。蓄積部104は、フラッシュメモリ、DRAM、強誘電体メモリ等の記録可能な媒体で構成される。   The accumulation unit 104 accumulates the moving image signal output from the imaging unit 200. The storage unit 104 is composed of a recordable medium such as a flash memory, a DRAM, or a ferroelectric memory.

制御部105は、動画像符号化装置100全体の制御を行なう。具体的には、フレームレート設定部101からFR情報が通知された場合、符号化部102に対して符号化処理過程において適用する予測方式を設定する制御信号を出力する。例えば、予め設定されるFR情報が240fps未満のフレームレートの場合、画面間予測及び、画面内予測を用いる制御信号を出力し、240fps以上のフレームレートの場合、画面内予測を用いる制御信号を出力する。なお、240fps以上のフレームレートの場合、参照画像の使用が制限された画面間予測及び、画面内予測を用いる制御信号を符号化部102に出力しても構わない。   The control unit 105 controls the entire moving image encoding apparatus 100. Specifically, when the FR information is notified from the frame rate setting unit 101, a control signal for setting a prediction method to be applied in the encoding process is output to the encoding unit 102. For example, when the preset FR information is a frame rate of less than 240 fps, a control signal using inter-screen prediction and intra-screen prediction is output, and when the frame rate is 240 fps or higher, a control signal using intra-screen prediction is output. To do. Note that in the case of a frame rate of 240 fps or higher, a control signal using inter-screen prediction and intra-screen prediction in which the use of a reference image is restricted may be output to the encoding unit 102.

次に、符号化部102について図面を参照しながら説明する。   Next, the encoding unit 102 will be described with reference to the drawings.

図2は、符号部102の構成を示す模式図である。符号化部102は、減算器1001、直交変換部1002、量子化部1003、可変調符号化部1004、逆量子化部1005、逆直交変換部1006、加算器1007、デブロッキングフィルタ部1008、フレームメモリ1009、動きベクトル検出部1010、動き補償部1011、画面内予測方向検出部1012、画面内予測部1013、選択部1014で構成される。   FIG. 2 is a schematic diagram illustrating the configuration of the encoding unit 102. The encoding unit 102 includes a subtracter 1001, an orthogonal transform unit 1002, a quantization unit 1003, a modulation modulation encoding unit 1004, an inverse quantization unit 1005, an inverse orthogonal transform unit 1006, an adder 1007, a deblocking filter unit 1008, a frame. A memory 1009, a motion vector detection unit 1010, a motion compensation unit 1011, an intra-screen prediction direction detection unit 1012, an intra-screen prediction unit 1013, and a selection unit 1014 are configured.

減算器1001は、撮像部200から出力された動画像信号と、選択部1014から出力される画面内予測部1013又は、動き補償部1011にて生成された予測画像との差分をマクロブロック(以下、MBと称す。)毎に算出し、残差信号を生成する。そして、残差信号を直交変換部1002に出力する。   The subtracter 1001 calculates a difference between the moving image signal output from the imaging unit 200 and the predicted image generated by the in-screen prediction unit 1013 or the motion compensation unit 1011 output from the selection unit 1014 as a macroblock (hereinafter referred to as a macroblock). , And MB, and a residual signal is generated. Then, the residual signal is output to the orthogonal transform unit 1002.

直交変換部1002は、減算器1001から出力される残差信号を所定の処理単位であるMB毎に直交変換することでDCT係数を生成し、量子化部1003に出力する。   The orthogonal transform unit 1002 generates a DCT coefficient by performing orthogonal transform on the residual signal output from the subtracter 1001 for each MB that is a predetermined processing unit, and outputs the DCT coefficient to the quantization unit 1003.

量子化部1003は、直交変換部1002から出力されるDCT係数を、MB毎に設定される量子化パラメータを基に量子化を行い、量子化係数を生成する。そして、生成した量子化係数を可変調符号化部1004及び、逆量子化部1005に出力する。   The quantization unit 1003 quantizes the DCT coefficient output from the orthogonal transform unit 1002 based on a quantization parameter set for each MB, and generates a quantization coefficient. Then, the generated quantization coefficient is output to the modulable encoding unit 1004 and the inverse quantization unit 1005.

可変調符号化部1004は、量子化部1003から出力される量子化係数を可変調符号化することにより、符号化データを生成し、記録部103に出力する。   Modulatable encoding section 1004 generates encoded data by performing modulation modulation on the quantization coefficient output from quantization section 1003, and outputs the encoded data to recording section 103.

逆量子化部1005は、量子化部1003から出力される量子化係数を逆量子化することでDCT係数に復元し、逆直交変換部1006に出力する。   The inverse quantization unit 1005 restores a DCT coefficient by inverse quantization of the quantization coefficient output from the quantization unit 1003 and outputs the DCT coefficient to the inverse orthogonal transform unit 1006.

逆直交変換部1006は、逆量子化部1005から出力されるDCT係数を逆直交変換することで残差信号に復元し、加算器1007に出力する。   The inverse orthogonal transform unit 1006 performs inverse orthogonal transform on the DCT coefficient output from the inverse quantization unit 1005 to restore the residual signal, and outputs the residual signal to the adder 1007.

加算器1007は、逆直交変換部1006から出力された残差信号と、選択部1014から出力される画面内予測部1013又は、動き補償部1011にて生成された予測画像とをMB毎に加算して再構成画像を生成し、デブロッキングフィルタ部1008、画面内予測方向検出部1012及び、画面内予測部1013に出力する。   The adder 1007 adds the residual signal output from the inverse orthogonal transform unit 1006 and the prediction image generated by the intra prediction unit 1013 or the motion compensation unit 1011 output from the selection unit 1014 for each MB. Then, a reconstructed image is generated and output to the deblocking filter unit 1008, the intra-screen prediction direction detection unit 1012, and the intra-screen prediction unit 1013.

デブロッキングフィルタ部1008は、加算器1007から出力される再構成画像におけるMBの境界に対し、デブロッキングフィルタ処理を行ない、フレームメモリ1009に出力する。   The deblocking filter unit 1008 performs deblocking filter processing on the MB boundary in the reconstructed image output from the adder 1007 and outputs the result to the frame memory 1009.

フレームメモリ1009は、デブロッキングフィルタ部1008から出力される参照画像を蓄積する。フレームメモリ1009は、フラッシュメモリ、DRAM、強誘電体メモリ等の記録可能な媒体で構成される。なお、フレームメモリ1009は、蓄積部104と同一の記録装置で構成しても構わない。この場合、フレームメモリ1009と、蓄積部104は同一の記録デバイスで構成されると共に、記録する情報に応じて該記録デバイスの記録領域が論理的に分割されている構成となる。   The frame memory 1009 stores the reference image output from the deblocking filter unit 1008. The frame memory 1009 is composed of a recordable medium such as a flash memory, a DRAM, or a ferroelectric memory. Note that the frame memory 1009 may be configured by the same recording device as the storage unit 104. In this case, the frame memory 1009 and the storage unit 104 are configured by the same recording device, and the recording area of the recording device is logically divided according to information to be recorded.

動きベクトル検出部1010は、現在符号化対象であるMBに対して、フレームメモリ1009に蓄積されている参照画像を用いて動き検出を行い、動きベクトルを検出する。制御部105から動きベクトル検出部1010に対して制御信号が出力されている場合は、制御信号に従って、参照画像を制限したり、動き検出を停止したりする。   The motion vector detection unit 1010 detects a motion vector by performing motion detection on the MB that is the current encoding target using a reference image stored in the frame memory 1009. When a control signal is output from the control unit 105 to the motion vector detection unit 1010, the reference image is limited or motion detection is stopped according to the control signal.

動き補償部1011は、動きベクトル検出部1010によって検出した動きベクトルを基に、フレームメモリ1009に蓄積される参照画像に対して動き補償を行なった予測画像を生成する。なお、予測画像とは、現在符号化対象となっているMBに対して、既に符号化済みのマクロブロックから生成した再構成画像もしくは参照画像から予測した画像である。   Based on the motion vector detected by the motion vector detection unit 1010, the motion compensation unit 1011 generates a predicted image in which motion compensation is performed on the reference image stored in the frame memory 1009. Note that a predicted image is an image predicted from a reconstructed image or a reference image generated from a macroblock that has already been encoded with respect to an MB that is currently being encoded.

画面内予測方向検出部1012は、加算器1007から出力される再構成画像と、撮像部200から出力される動画像信号と、を基に、画面内予測を行なう際に適用する予測モードを検出する。そして、検出した予測モードを画面内予測部1013に出力する。   The intra-screen prediction direction detection unit 1012 detects a prediction mode applied when performing intra-screen prediction based on the reconstructed image output from the adder 1007 and the moving image signal output from the imaging unit 200. To do. Then, the detected prediction mode is output to the in-screen prediction unit 1013.

画面内予測部1013は、加算器1007から出力される再構成画像に対して画面内予測を行い、予測画像を生成する。そして、選択部1014に予測画像を出力する。   The intra-screen prediction unit 1013 performs intra-screen prediction on the reconstructed image output from the adder 1007, and generates a predicted image. Then, the prediction image is output to the selection unit 1014.

選択部1014は、画面内予測部1013から出力される予測画像と、動き補償部1011から出力される予測画像とを比較して、符号化部102が出力する最終的な符号化データの量が小さくなると判断される予測画像を選択して、減算器1001に出力する。また、制御部105から選択部1014に対して制御信号が出力されている場合は、その制御信号を基に、画面内予測部1013及び、動き補償部1011から出力される予測画像のうち、一方の予測画像を選択し、減算器1001に出力する。具体的には、制御信号に規定された予測方式で生成された予測画像を選択する。例えば、制御信号において画面内予測が規定されている場合、画面内予測で予測した予測画像を選択する構成となる。なお、選択部1014が画面内予測を選択する場合、動きベクトル検出部1010及び、動き補償部1011が動作しないように制御しても構わない。この場合、動きベクトルの算出及び、画面間予測を用いた予測画像の生成を行なう必要がないため、さらに動画像符号化装置100全体の処理量を低減することが可能となる効果を奏する。   The selection unit 1014 compares the predicted image output from the in-screen prediction unit 1013 with the predicted image output from the motion compensation unit 1011, and determines the final amount of encoded data output from the encoding unit 102. A predicted image that is determined to be smaller is selected and output to the subtracter 1001. Further, when a control signal is output from the control unit 105 to the selection unit 1014, one of prediction images output from the in-screen prediction unit 1013 and the motion compensation unit 1011 is based on the control signal. Are predicted and output to the subtractor 1001. Specifically, a prediction image generated by a prediction method defined in the control signal is selected. For example, when intra-screen prediction is defined in the control signal, a prediction image predicted by intra-screen prediction is selected. When the selection unit 1014 selects intra prediction, the motion vector detection unit 1010 and the motion compensation unit 1011 may be controlled not to operate. In this case, since it is not necessary to calculate a motion vector and generate a predicted image using inter-screen prediction, there is an effect that the processing amount of the entire moving image encoding apparatus 100 can be further reduced.

ここで、符号化部102に対し、制御部105から制御信号が入力された場合の動作について図面を用いて説明する。   Here, an operation when a control signal is input from the control unit 105 to the encoding unit 102 will be described with reference to the drawings.

図3は、動画像信号に含まれるピクチャの符号化中に、制御信号が入力された場合における、予測方式の変更動作を説明するための模式図である。   FIG. 3 is a schematic diagram for explaining an operation of changing a prediction method when a control signal is input during encoding of a picture included in a moving image signal.

図3に示すようにt番目のMB301を符号化している際に、制御部105から画面内予測を用いる制御信号が入力される状況を考える。この場合、次に符号化を行なうt+1番目のMB302以降のMBは、画面内予測のみを用いて符号化を行なう動作となる。なお、制御信号が入力された際に符号化対象となっているピクチャ303以降のピクチャは、画面内予測を用いて符号化される構成となる。   Consider a situation in which a control signal using intra prediction is input from the control unit 105 when the t-th MB 301 is encoded as shown in FIG. In this case, the t + 1-th MB 302 and subsequent MBs to be encoded next are encoded using only intra prediction. Note that the pictures after the picture 303 to be encoded when the control signal is input are encoded using intra prediction.

次に、符号化部102に対し、制御部105から制御信号が入力された場合の他の動作について説明する。   Next, another operation when a control signal is input from the control unit 105 to the encoding unit 102 will be described.

図3に示すように、t+1番目のMB302を符号化する際、参照画像の使用が制限された画面間予測及び、画面内予測を用いる制御信号が入力される場合、画面内予測若しくは、画面間予測を用いた符号化方式で符号化を行なう構成となる。この場合、画面間予測を用いる際は、参照画像の使用を制限するように規定されているため、現在符号化対象となっているピクチャ303と、時間的に最も近いピクチャを参照画像として設定し符号化を行なう構成となる。   As shown in FIG. 3, when encoding a t + 1-th MB 302, when an inter-screen prediction in which the use of a reference image is restricted and a control signal using intra-screen prediction are input, intra-screen prediction or inter-screen prediction It becomes the structure which encodes with the encoding system using prediction. In this case, when using inter-screen prediction, it is defined that the use of the reference image is restricted. Therefore, the picture 303 currently being encoded and the closest temporal picture are set as the reference image. The encoding is performed.

また画面間予測を用いる際、参照画像の使用を制限する他の方式として、t+1番目のMB302以降のMBを、0番目のMB304からt番目のMB301を符号化する際に最も多く参照された参照画像を用いて符号化する構成にしても構わない。上記のように構成することで、t+1番目以降のMBを符号化する際は、参照する参照画像は1枚に限定されることになる。そのため、動画像符号化装置100全体の処理量を低減することが可能となる効果を奏する。また、参照する参照画像が1枚に限定されるため、選択した参照画像以外の参照画像は不必要となり、フレームメモリ1009から開放することが可能となる。   As another method for restricting the use of the reference image when using inter-screen prediction, the reference that is most frequently referred to when encoding the t + 1th MB302 and subsequent MBs, and the 0th MB304 to the tth MB301 is referred to. You may make it the structure encoded using an image. With the configuration described above, when encoding the t + 1th and subsequent MBs, the reference image to be referred to is limited to one. Therefore, there is an effect that the processing amount of the entire moving image encoding apparatus 100 can be reduced. Further, since the reference image to be referred to is limited to one, reference images other than the selected reference image are unnecessary and can be released from the frame memory 1009.

次に、本発明の実施の形態1におけるビデオカメラ10の撮像動作に関して図面を参照しながら説明する。   Next, the imaging operation of the video camera 10 in Embodiment 1 of the present invention will be described with reference to the drawings.

図4は、本発明の実施の形態1におけるビデオカメラ10の具体的動作を示すフローチャートである。図4においては、ビデオカメラ10を用いて被写体を撮影しているときの、マクロブロックの符号化の動作を説明する。   FIG. 4 is a flowchart showing a specific operation of the video camera 10 according to Embodiment 1 of the present invention. In FIG. 4, a macroblock encoding operation when a subject is photographed using the video camera 10 will be described.

まず、符号化部102は、制御部105から制御信号が入力されるかを検出する(ステップS101)。検出しない場合は、通常符号化として、ステップS102に進む。通常符号化では、画面間予測を用いて予測画像を生成し(ステップS102)、次に画面内予測を用いて予測画像を生成する(ステップS103)。そして、画面間予測の予測画像と画面内予測の予測画像の選択を行い(ステップS104)、最後に予測画像を用いて符号化行い(ステップS105)、動作を終了する。   First, the encoding unit 102 detects whether a control signal is input from the control unit 105 (step S101). If not detected, the process proceeds to step S102 as normal encoding. In normal encoding, a prediction image is generated using inter-screen prediction (step S102), and then a prediction image is generated using intra-screen prediction (step S103). Then, a prediction image for inter-screen prediction and a prediction image for intra-screen prediction are selected (step S104). Finally, encoding is performed using the prediction image (step S105), and the operation ends.

ステップS101で、制御信号を検出した場合は、ステップS107に進む。ステップS107では、制御信号で規定される予測方式を検出し、画面間予測及び画面内予測である場合は、ステップS108に進み、画面内予測のみである場合は、ステップS109に進む。ステップS107で、画面間予測及び画面内予測であると判定された場合は、ステップS108で、参照画像が制限された画面間予測を用いて予測画像を生成する。そして、ステップS103に進み、以降は、ステップS101で通常符号化が選択されたときと同じ手順で符号化を行う。   If a control signal is detected in step S101, the process proceeds to step S107. In step S107, the prediction method specified by the control signal is detected. If the prediction method is inter-screen prediction and intra-screen prediction, the process proceeds to step S108. If only intra-screen prediction is performed, the process proceeds to step S109. If it is determined in step S107 that the prediction is inter-screen prediction or intra-screen prediction, a prediction image is generated using inter-screen prediction in which the reference image is limited in step S108. Then, the process proceeds to step S103, and thereafter, encoding is performed in the same procedure as when normal encoding is selected in step S101.

S107で画面内予測のみと判定された場合は、ステップS109で、画面内予測を用いて予測画像を生成する。ここで、このステップS109は、ステップS103と同等の動作である。そして、ステップS105に進み、予測画像を用いて符号化を行い、マクロブロックの符号化の処理を完了する。   If it is determined in S107 that only intra prediction is performed, a predicted image is generated using intra prediction in step S109. Here, this step S109 is the same operation as step S103. Then, the process proceeds to step S105, encoding is performed using the predicted image, and the macroblock encoding process is completed.

上記のように構成される本発明の実施の形態1における動画像符号化装置100は、低フレームレートから高フレームレートに切り換えた場合、撮像部200から入力される動画像信号を符号化する際に適用する予測方式を限定することが可能となる。そのため、動きベクトルの検出び、動き補償に係る処理量を低減することができ、画像サイズや、撮像時間等の制限を加えることなく撮像した動画像信号の符号化を行なうことが可能となる効果を奏する。   The moving picture coding apparatus 100 according to Embodiment 1 of the present invention configured as described above encodes a moving picture signal input from the imaging unit 200 when switching from a low frame rate to a high frame rate. It is possible to limit the prediction method applied to the. Therefore, it is possible to reduce the amount of processing related to motion vector detection and motion compensation, and it is possible to encode a captured moving image signal without limiting the image size, imaging time, or the like. Play.

(変形例)
本発明の実施の形態1における動画像符号化装置100の変形例に関して図面を参照しながら説明する。上記に説明した動画像符号化装置100において、符号化部102で符号化した符号化データは、記録部103に格納する構成であった。しかし、例えば240fpsのようなフレームレートで撮像した場合、符号化部102から記録部103に出力する符号化データの量も大きくなる。そのため、動画像符号化装置100のように、60fpsのような通常使用されるフレームレートと、240fpsのような高速なフレームレートとが同じ記録部103を使用する構成であれば、高速なフレームレートで撮像した場合、問題が生じる。
(Modification)
A modification of the moving picture coding apparatus 100 according to Embodiment 1 of the present invention will be described with reference to the drawings. In the moving image encoding apparatus 100 described above, the encoded data encoded by the encoding unit 102 is stored in the recording unit 103. However, for example, when imaging is performed at a frame rate such as 240 fps, the amount of encoded data output from the encoding unit 102 to the recording unit 103 also increases. Therefore, if the configuration uses the same recording unit 103 with a normally used frame rate such as 60 fps and a high frame rate such as 240 fps as in the moving image encoding apparatus 100, a high frame rate is used. Problems arise when taking images with.

そこで、図5に示すように、第1の記録部106と、第2の記録部107とを備える構成にする。ここで、第1の記録部106は、例えばDVD等、通常使用されるフレームレートで撮像した動画像信号の符号化データを、リアルタイムに記録可能な記録媒体で構成される。また、第2の記録部107は、例えばFLASHなど、高速なフレームレートで撮像した動画像信号の符号化データを、リアルタイムに記録可能な記録媒体で構成される。   Therefore, as shown in FIG. 5, the first recording unit 106 and the second recording unit 107 are provided. Here, the first recording unit 106 is configured by a recording medium that can record encoded data of a moving image signal captured at a normally used frame rate, such as a DVD, in real time. The second recording unit 107 is configured by a recording medium that can record encoded data of a moving image signal captured at a high frame rate, such as FLASH, in real time.

(実施の形態2)
次に、本発明の実施の形態2における動画像符号化装置600の動作に関して図面を参照しながら説明する。本発明の実施の形態1においては、60fps等の通常使用されるフレームレートから240fps等の高速なフレームレートに変更した場合、撮像部200から入力される動画像信号を符号化する際に適用する予測方式を適切に選択し、当該動画像信号の符号化を行なう構成であった。しかし、高速なフレームレートに変更され、画面内予測若しくは、画面間予測を行なう際に参照する参照画像を制限すると、符号化部102におけるフレームメモリ1009に蓄積される少なくとも一部の参照画像は使用されないことになる。
(Embodiment 2)
Next, the operation of the moving picture coding apparatus 600 according to Embodiment 2 of the present invention will be described with reference to the drawings. In the first embodiment of the present invention, when a frame rate that is normally used such as 60 fps is changed to a high frame rate such as 240 fps, it is applied when a moving image signal input from the imaging unit 200 is encoded. The configuration is such that a prediction method is appropriately selected and the moving image signal is encoded. However, when the frame rate is changed to a high frame rate and the reference image to be referred to when performing intra prediction or inter prediction is limited, at least a part of the reference image stored in the frame memory 1009 in the encoding unit 102 is used. Will not be.

そこで、本発明の実施の形態2においては、フレームレート設定部101から出力される制御信号によって符号化部102における予測方式が制限された場合、フレームメモリ1009が有する蓄積領域のうち、制限された予測方式で使用しない参照画像が蓄積される蓄積領域を開放し、開放した蓄積領域を一時的に撮像した動画像信号を蓄積する蓄積領域として使用することで、さらなる動画像符号化装置600の効率を向上させることを目的とする。   Therefore, in Embodiment 2 of the present invention, when the prediction method in the encoding unit 102 is limited by the control signal output from the frame rate setting unit 101, the storage area of the frame memory 1009 is limited. The efficiency of the moving picture coding apparatus 600 can be further increased by opening a storage area in which reference images that are not used in the prediction method are stored, and using the open storage area as a storage area for storing moving image signals temporarily captured. It aims at improving.

なお、本実施の形態2においては、蓄積部104が有する蓄積領域の一部にフレームメモリ1009が存在する構成とする。   Note that the second embodiment is configured such that the frame memory 1009 exists in a part of the storage area of the storage unit 104.

図6は、本発明の実施の形態2におけるビデオカメラ20を示す図である。なお、ビデオカメラ10が有する構成要素と同一のものについては同じ番号を付し、説明を省略する。ビデオカメラ20は、撮像部200、動画像符号化装置600から構成される。さらに、動画像符号化装置600は、動画像符号化装置100が有する制御部105に代え、制御部601を有する構成となっている。   FIG. 6 is a diagram showing the video camera 20 according to Embodiment 2 of the present invention. In addition, the same number is attached | subjected about the same component as the video camera 10, and description is abbreviate | omitted. The video camera 20 includes an imaging unit 200 and a moving image encoding device 600. Furthermore, the moving image encoding device 600 has a configuration including a control unit 601 instead of the control unit 105 included in the moving image encoding device 100.

制御部601は、制御部105の動作に加え、フレームレート設定部101から出力されるFR情報を検出した場合、当該FR情報に応じて蓄積部104に蓄積されるデータの開放及び、蓄積部104が有する蓄積領域の論理的な割り当ての設定変更を行う。   When the control unit 601 detects the FR information output from the frame rate setting unit 101 in addition to the operation of the control unit 105, the control unit 601 releases the data stored in the storage unit 104 according to the FR information, and stores the storage unit 104. The setting of the logical allocation of the storage area of the is changed.

図7は、制御部601における蓄積部104のデータ開放及び、蓄積領域の論理的な割り当ての設定変更を説明するための図である。   FIG. 7 is a diagram for explaining data release of the storage unit 104 and change of setting of logical allocation of storage regions in the control unit 601.

まず図7(a)は、動画像符号化装置600が通常のフレームレートで撮像している場合の蓄積部104が有する蓄積領域の構成を示す。通常のフレームレートで撮像している場合、蓄積領域は、撮像部200で撮像した動画像信号を蓄積する動画像信号蓄積領域701、符号化部102において画面間予測を行なう際に使用する参照画像を蓄積する参照画像蓄積領域702、符号化データ及び、自装置のアプリケーション等を蓄積する他の蓄積領域703とで構成される。なお、参照画像蓄積領域702は、符号化部102におけるフレームメモリ1009である。   First, FIG. 7A shows a configuration of a storage area included in the storage unit 104 when the moving image encoding apparatus 600 captures an image at a normal frame rate. When the image is captured at a normal frame rate, the accumulation area is a moving image signal accumulation area 701 for accumulating the moving image signal imaged by the imaging unit 200, and a reference image used when the encoding unit 102 performs inter-screen prediction. A reference image storage area 702 for storing the image data, and another storage area 703 for storing the encoded data, the application of the device itself, and the like. The reference image storage area 702 is the frame memory 1009 in the encoding unit 102.

次に、高速のフレームレートを示すFR情報を検出した場合、制御部601は蓄積部104が有する蓄積領域の設定変更を行なう。具体的には、図7(b)に示すように、参照画像蓄積領域702に蓄積される参照画像は開放され、撮像部200で撮像した動画像信号を拡張的に蓄積する拡張画像信号蓄積領域704として設定される。なお、開放する参照画像蓄積領域702は、制御部601が出力する制御信号に規定される予測方式で使用しない参照画像が蓄積される領域である。そのため、制御信号に規定される予測方式が画面間予測の場合、当該画面間予測で使用する参照画像を参照画像蓄積領域に残す必要がある。よって、高速のフレームレートに変更した後、参照画像蓄積領域の一部が拡張画像信号蓄積領域704と設定され、一部は参照画像蓄積領域として残るように蓄積部104は、制御部601によって設定される。なお、フレームメモリ1009は、蓄積部104と別々に構成しても構わない。   Next, when the FR information indicating the high-speed frame rate is detected, the control unit 601 changes the setting of the storage area that the storage unit 104 has. Specifically, as shown in FIG. 7B, the reference image stored in the reference image storage region 702 is released, and an extended image signal storage region in which moving image signals captured by the imaging unit 200 are stored in an expanded manner. 704 is set. The reference image storage area 702 to be opened is an area in which reference images that are not used in the prediction method defined in the control signal output by the control unit 601 are stored. Therefore, when the prediction method defined in the control signal is inter-screen prediction, it is necessary to leave a reference image used in the inter-screen prediction in the reference image accumulation area. Therefore, after changing to a high frame rate, the storage unit 104 is set by the control unit 601 so that a part of the reference image storage area is set as the extended image signal storage area 704 and a part remains as the reference image storage area. Is done. Note that the frame memory 1009 may be configured separately from the storage unit 104.

次に、制御部601による蓄積部104の動作タイミングについて図面を用いて説明する。   Next, the operation timing of the storage unit 104 by the control unit 601 will be described with reference to the drawings.

図8は、フレームレート設定部101において、60fps等の通常のフレームレートから240fps等の高速のフレームレートに変更されたときの蓄積部104の動作を説明する図である。また、符号化部102において、通常のフレームレートにおける画面間予測を行なう際に参照する参照画像の枚数は3枚と設定されているものとする。   FIG. 8 is a diagram illustrating the operation of the storage unit 104 when the frame rate setting unit 101 is changed from a normal frame rate such as 60 fps to a high frame rate such as 240 fps. In addition, it is assumed that the number of reference images to be referred to when performing inter-frame prediction at a normal frame rate in the encoding unit 102 is set to three.

撮像部200において通常のフレームレートが設定されている場合、撮像部200が撮像した動画像信号は一旦蓄積部104に蓄積される。符号化部102は、蓄積部104に蓄積された動画像信号を読み出して1/60秒で1枚の画像の符号化を行う。符号化部102で画像を符号化中に、次の動画像信号が、撮像部200から送られてくるので、蓄積部104に蓄積される動画像信号の枚数は、2枚である。   When the normal frame rate is set in the imaging unit 200, the moving image signal captured by the imaging unit 200 is temporarily stored in the storage unit 104. The encoding unit 102 reads out the moving image signal stored in the storage unit 104 and encodes one image in 1/60 seconds. While the encoding unit 102 is encoding an image, the next moving image signal is sent from the imaging unit 200, so the number of moving image signals stored in the storage unit 104 is two.

また、蓄積部104に蓄積される参照画像の枚数は、符号化に用いられる参照画像3枚と、現在符号化中の画像から生成される参照画像1枚とを合わせて、4枚である。   The number of reference images stored in the storage unit 104 is four, including three reference images used for encoding and one reference image generated from the image currently being encoded.

フレームレート設定部101において、フレームレートが60fpsから240fpsに変更されると、撮像手段は1/240秒ごとに画像を撮像して出力する。符号化部102は、60fpsで撮像された動画像信号の符号化が完了した後、240fpsで撮像した動画像信号を画面内符号化のみを使用して符号化する。画面内符号化のみを使用することで、1枚にかかる符号化の時間は短縮され、1/240秒で、1枚の符号化を完了する。   In the frame rate setting unit 101, when the frame rate is changed from 60 fps to 240 fps, the imaging unit captures and outputs an image every 1/240 seconds. After the encoding of the moving image signal captured at 60 fps is completed, the encoding unit 102 encodes the moving image signal captured at 240 fps using only intra-screen encoding. By using only intra-picture encoding, the encoding time for one sheet is shortened, and the encoding for one sheet is completed in 1/240 seconds.

フレームレート設定部101において、フレームレートが240fpsに変更されると、参照画像蓄積領域が開放され、蓄積部104に蓄積される参照画像の枚数が0枚もしくは1枚になる。開放された領域は、動画像信号を保存する拡張画像信号蓄積領域704として割り当てられ、撮像部200が1/240秒ごとに出力する動画像信号を蓄積する。蓄積部104に蓄積される動画像信号の枚数は、撮像部200が1/240秒ごとに動画像を出力するので、最大5枚となる。これらのデータは、蓄積部104における動画像信号蓄積領域701と、拡張画像信号蓄積領域704に蓄積される。   When the frame rate is changed to 240 fps in the frame rate setting unit 101, the reference image storage area is released, and the number of reference images stored in the storage unit 104 is 0 or 1. The open area is allocated as an extended image signal storage area 704 that stores a moving image signal, and stores a moving image signal output by the imaging unit 200 every 1/240 seconds. The number of moving image signals accumulated in the accumulating unit 104 is a maximum of five because the imaging unit 200 outputs a moving image every 1/240 seconds. These data are accumulated in the moving image signal accumulation area 701 and the extended image signal accumulation area 704 in the accumulation unit 104.

上記のように構成される本発明の実施の形態2における動画像符号化装置600は、通常のフレームレートから高速のフレームレートに切り換えた際に、符号化部102において使用する予測方式が変更された場合、制御部601によって蓄積部104に蓄積される参照画像のうち、符号化部102において使用しない参照画像を開放することができる。そのため、回路規模を増やすことなく、撮像部200から出力される動画像信号を蓄積するバッファを増やすことが可能となり、撮像方式を制限することなく被写体を撮像し、撮像して得られた動画像信号を符号化可能な効果を奏する。   In the moving picture coding apparatus 600 according to Embodiment 2 of the present invention configured as described above, the prediction scheme used in the coding unit 102 is changed when switching from a normal frame rate to a high frame rate. In this case, among the reference images stored in the storage unit 104 by the control unit 601, reference images that are not used in the encoding unit 102 can be released. For this reason, it is possible to increase the buffer for storing the moving image signal output from the imaging unit 200 without increasing the circuit scale, and the moving image obtained by capturing an image of the subject without limiting the imaging method. There is an effect that a signal can be encoded.

本発明は、フレームレートの異なる動画像を撮像する際に、高いフレームレートの画像を撮像する場合でも、回路を追加したり、処理量を大幅に増加させたりすることなく、符号化装置を実現することができる。   The present invention realizes an encoding device without adding a circuit or greatly increasing a processing amount even when capturing a high frame rate image when capturing moving images having different frame rates. can do.

また、通常のフレームレートの動画像撮像から、高FRの動画像撮像に移行する際、動画像撮像を停止することなく、シームレスに移行することを可能とする。   Further, when moving from normal frame rate moving image capturing to high FR moving image capturing, it is possible to make a seamless transition without stopping moving image capturing.

本発明は、特に、H.264/AVCで符号化されたデータを扱う場合に有効に作用する。   The present invention particularly relates to H.264. This is effective when data encoded by H.264 / AVC is handled.

本発明の実施の形態1におけるビデオカメラを示す図The figure which shows the video camera in Embodiment 1 of this invention. 符号化部102の構成を示す模式図Schematic diagram showing the configuration of the encoding unit 102 動画像信号に含まれるピクチャの符号化中に、制御信号が入力された場合における、予測方式の変更動作を説明するための模式図Schematic diagram for explaining the operation of changing the prediction method when a control signal is input during encoding of a picture included in a moving image signal 本発明の実施の形態1におけるマクロブロックを符号化する際の具体的動作を示すフローチャートThe flowchart which shows the specific operation | movement at the time of encoding the macroblock in Embodiment 1 of this invention. 本発明の実施の形態1におけるビデオカメラの変形例を示す図The figure which shows the modification of the video camera in Embodiment 1 of this invention. 本発明の実施の形態2におけるビデオカメラ20の構成を示す模式図Schematic diagram showing the configuration of the video camera 20 according to Embodiment 2 of the present invention. 制御部601における蓄積部104のデータ開放及び、蓄積領域の論理的な割り当ての設定変更を説明するための図The figure for demonstrating the data release of the accumulation | storage part 104 in the control part 601, and the setting change of the logical allocation of an accumulation | storage area | region. フレームレート設定部101において、60fps等の通常のフレームレートから240fps等の高速のフレームレートに変更されたときの蓄積部104の動作を説明する図The figure explaining operation | movement of the accumulation | storage part 104 when the frame rate setting part 101 changes from normal frame rates, such as 60 fps, to a high frame rate, such as 240 fps.

10、20 ビデオカメラ
100、500、600 動画像符号化装置
101 フレームレート設定部
102 符号化部
103 記録部
104 蓄積部
105、601 制御部
106 第1の記録部
107 第2の記録部
200 撮像部
301 t番目のMB
302 t+1番目のMB
303 符号化対象であるピクチャ
701 動画像信号蓄積領域
702 参照画像蓄積領域
703 他の蓄積領域
704 拡張画像信号蓄積領域
1001 減算器
1002 直交変換部
1003 量子化部
1004 可変調符号化部
1005 逆量子化部
1006 逆直交変換部
1007 加算器
1008 デブロッキングフィルタ部
1009 フレームメモリ
1010 動きベクトル検出部
1011 動き補償部
1012 画面内予測方向検出部
1013 画面内予測部
1014 選択部
DESCRIPTION OF SYMBOLS 10, 20 Video camera 100, 500, 600 Moving picture encoding apparatus 101 Frame rate setting part 102 Coding part 103 Recording part 104 Storage part 105,601 Control part 106 1st recording part 107 2nd recording part 200 Imaging part 301 tth MB
302 t + 1st MB
303 Picture to be coded 701 Moving image signal accumulation region 702 Reference image accumulation region 703 Other accumulation region 704 Extended image signal accumulation region 1001 Subtractor 1002 Orthogonal transform unit 1003 Quantization unit 1004 Modulation coding unit 1005 Inverse quantization Unit 1006 inverse orthogonal transform unit 1007 adder 1008 deblocking filter unit 1009 frame memory 1010 motion vector detection unit 1011 motion compensation unit 1012 intra-screen prediction direction detection unit 1013 intra-screen prediction unit 1014 selection unit

Claims (8)

複数のピクチャを有する動画像信号の符号化を行なう動画像符号化装置であって、
既に符号化済みのピクチャを基に生成される参照画像を蓄積する蓄積部と、
符号化対象のピクチャ内における符号化済みのマクロブロックを復号化して得られる画素を用いて予測画像を生成する画面内予測及び、前記参照画像から予測画像を生成する画面間予測のうち一方の予測方式を用いて、符号化対象であるマクロブロックに対応する予測画像を生成する予測画像生成部と、
前記予測画像を基に、前記動画像信号の符号化を行ない、符号化データを生成する符号化部と、
前記予測画像生成部の制御を行なう制御部と、を備え、
前記制御部は、前記動画像信号が撮像されるフレームレートに応じて前記予測画像生成部において適用する予測方式を設定することを特徴とする前記動画像符号化装置。
A moving image encoding apparatus for encoding a moving image signal having a plurality of pictures,
An accumulator for accumulating a reference image generated based on an already encoded picture;
One prediction of intra prediction for generating a prediction image using pixels obtained by decoding an encoded macroblock in a picture to be encoded, and inter prediction for generating a prediction image from the reference image A prediction image generation unit that generates a prediction image corresponding to a macroblock to be encoded using a method;
An encoding unit that encodes the moving image signal based on the predicted image and generates encoded data;
A control unit for controlling the predicted image generation unit,
The moving picture coding apparatus, wherein the control section sets a prediction method to be applied in the predicted picture generation section according to a frame rate at which the moving picture signal is captured.
前記制御部は、前記動画像信号が第1のフレームレートよりも高速の第2のフレームレートで撮像されている場合、当該第2のフレームレートで撮像された動画像信号に適用する前記予測画像を、前記画面内予測を用いて生成するよう前記予測画像生成部を制御する請求項1に記載の動画像符号化装置。 When the moving image signal is captured at a second frame rate that is faster than the first frame rate, the control unit applies the predicted image to the moving image signal captured at the second frame rate. The moving picture encoding apparatus according to claim 1, wherein the prediction image generation unit is controlled to generate the image using the intra prediction. 前記動画像符号化装置はさらに、前記動画像信号を撮像する撮像部と、
前記撮像部において撮像する際のフレームレートを設定するフレームレート設定部と、を備え、
前記動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第1のフレームレートよりも高速の第2のフレームレートに設定した場合、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面内予測を用いて生成するよう前記予測画像生成部を制御することを特徴とする請求項1に記載の動画像符号化装置。
The video encoding device further includes an imaging unit that images the video signal;
A frame rate setting unit that sets a frame rate for imaging in the imaging unit,
While the moving image encoding apparatus is encoding a picture, the control unit sets the frame rate in the imaging unit to a second frame rate that is faster than the first frame rate. In this case, the prediction image generation unit is controlled so as to generate the prediction image corresponding to an uncoded macroblock among the macroblocks included in the picture that is being encoded using intra prediction. The moving picture encoding apparatus according to claim 1.
前記動画像符号化装置がピクチャを符号化している途中で、前記制御部が、前記フレームレート設定部が前記撮像部におけるフレームレートを第1のフレームレートよりも高速の第2のフレームレートに設定した後、前記符号化途中のピクチャが有するマクロブロックのうち、未符号化のマクロブロックに対応する前記予測画像を、画面間予測を用いて生成する場合、当該画面間予測における前記参照画像の参照構造を制限するよう前記予測画像生成部を制御することを特徴とする請求項1に記載の動画像符号化装置。 While the moving image encoding apparatus is encoding a picture, the control unit sets the frame rate in the imaging unit to a second frame rate that is faster than the first frame rate. Then, when generating the predicted image corresponding to an uncoded macroblock among the macroblocks of the picture in the middle of encoding using inter-screen prediction, referencing the reference image in the inter-screen prediction The moving image encoding apparatus according to claim 1, wherein the prediction image generation unit is controlled so as to limit a structure. 前記制御部は、前記既に符号化済みのピクチャのうち、符号化対象であるマクロブロックを有するピクチャと時間的に最も近いピクチャを前記参照画像として用いるよう前記予測画像生成部を制御することを特徴とする請求項4に記載の動画像符号化装置。 The control unit controls the prediction image generation unit to use, as the reference image, a picture temporally closest to a picture having a macroblock to be encoded among the already encoded pictures. The moving picture encoding apparatus according to claim 4. 前記制御部は、符号化対象であるピクチャが有するマクロブロックのうち、既に符号化済みのマクロブロックが最も多く参照したピクチャを前記参照画像として用いるよう前記予測画像生成部を制御することを特徴とする請求項4に記載の動画像符号化装置。 The control unit controls the prediction image generation unit to use, as the reference image, a picture that is most referenced by an already-encoded macroblock among macroblocks included in a picture to be encoded. The moving picture encoding apparatus according to claim 4. 前記動画像符号化装置は、前記符号化情報を前記フレームレート毎に記録する複数の記録部を備え、
前記複数の記録部は、前記フレームレート毎に異なる記録媒体であることを特徴とする請求項1から請求項6に記載の動画像符号化装置。
The moving image encoding device includes a plurality of recording units that record the encoding information for each frame rate,
The moving image encoding apparatus according to claim 1, wherein the plurality of recording units are different recording media for each frame rate.
前記動画像符号化装置はさらに、前記蓄積部の制御を行なう制御部を備え、
前記蓄積部は、前記撮像された動画像信号と、前記参照画像を蓄積し、
前記符号化部は、前記蓄積部に蓄積される動画像信号の符号化を行い、
前記制御部は、前記蓄積部の記録領域のうち、前記符号化部において画面間予測を用いて前記予測画像を生成する際に参照しない参照画像が蓄積される領域を開放すると共に、開放した領域に前記撮像された動画像信号を蓄積するように記録領域の制御を行なうことを特徴とする請求項1から請求項7に記載の動画像符号化装置。
The moving image encoding apparatus further includes a control unit that controls the storage unit,
The storage unit stores the captured moving image signal and the reference image,
The encoding unit encodes a moving image signal stored in the storage unit,
The control unit releases an area in which a reference image that is not referred to when the encoding unit generates the predicted image using inter-screen prediction in the recording unit and stores the reference image. 8. The moving image encoding apparatus according to claim 1, wherein a recording area is controlled so as to store the captured moving image signal.
JP2009073298A 2009-03-25 2009-03-25 Moving image encoding device Pending JP2010226567A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009073298A JP2010226567A (en) 2009-03-25 2009-03-25 Moving image encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009073298A JP2010226567A (en) 2009-03-25 2009-03-25 Moving image encoding device

Publications (1)

Publication Number Publication Date
JP2010226567A true JP2010226567A (en) 2010-10-07

Family

ID=43043247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009073298A Pending JP2010226567A (en) 2009-03-25 2009-03-25 Moving image encoding device

Country Status (1)

Country Link
JP (1) JP2010226567A (en)

Similar Documents

Publication Publication Date Title
JP4708819B2 (en) Image processing apparatus, method, computer program, and storage medium
US8237815B2 (en) Image processing apparatus, control method therefor, for suppressing deterioration of image quality caused by a foreign substance
JP2009182623A (en) Image encoding method
JP2004200989A (en) Imaging apparatus and supervisory system
US8503855B2 (en) Image processing apparatus, control method therefor, and program
JP2002320198A (en) Dynamic image recorder
JPWO2010050089A1 (en) Encoding processing method and encoding processing apparatus in moving image compression encoding
JP5583439B2 (en) Image encoding apparatus and camera system
JP4724639B2 (en) Imaging device
JP2007214886A (en) Image processor
JP2005175974A (en) Imaging device
US7412079B2 (en) Image processing apparatus
JP2010226567A (en) Moving image encoding device
JP4564856B2 (en) Image encoding apparatus and imaging apparatus
US8953055B2 (en) Image pickup apparatus
JP2004180345A (en) Photographed image recording apparatus
JP4854580B2 (en) Image processing device
JP4574530B2 (en) Image coding apparatus and image coding method
JP4700992B2 (en) Image processing device
JP2009081727A (en) Image encoding apparatus, method of controlling therefor, and program
JP5219678B2 (en) Imaging device
JP5943757B2 (en) Image encoding apparatus and method
JP2014158130A (en) Image encoder
JP6016484B2 (en) Encoder
JP2014075708A (en) Moving image encoder and moving image encoding method