以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
Hereinafter, each embodiment of the present invention will be described in detail with reference to the drawings. However, the configurations described in the following embodiments are merely examples, and the scope of the present invention is not limited by the configurations described in the respective embodiments.
＜第１実施形態＞
図１は、第１実施形態に係る動画像符号化装置を適用した撮像装置１００の機能ブロック図である。撮像装置１００は、例えば、デジタルカメラ等である。撮像装置１００は、スマートフォン等の情報処理装置であってもよい。図１の撮像装置１００は、符号化に関する機能構成を重点的に示している。しかしながら、撮像装置１００は、表示部や操作部、電源部等の構成（一般的な撮像装置に設けられている構成）を有していてもよい。
<First Embodiment>
FIG. 1 is a functional block diagram of an image pickup apparatus 100 to which the moving image coding apparatus according to the first embodiment is applied. The image pickup device 100 is, for example, a digital camera or the like. The image pickup device 100 may be an information processing device such as a smartphone. The image pickup apparatus 100 of FIG. 1 focuses on the functional configuration related to coding. However, the image pickup apparatus 100 may have a configuration such as a display unit, an operation unit, and a power supply unit (a configuration provided in a general image pickup apparatus).
レンズ１０１は、被写体の光学像を撮像部１０２の撮像面に形成する撮像光学系である。撮像部１０２は、撮像面に形成された光学像を、複数の画素を備える撮像素子によって光電変換し、画像を表す電気信号（画像信号）に変換する。また、撮像部１０２は画像信号をＡ／Ｄ変換し、デジタルデータの画像データとして現像処理部１０３に供給する。本実施形態において撮像部１０２は動画像を撮影する。現像処理部１０３は、所定の画像処理を画像データに施す。所定の画像処理としては、ノイズ除去や色補間（デモザイク）、欠陥画素補正、ホワイトバランス調整、手振れ補正、周辺光量補正、ガンマ補正、色調補正、拡大縮小、ＹＣｂＣｒ形式への色変換等が適用され得る。なお、現像処理部１０３は、被写体検出やレンズ１０１のオートフォーカス制御、自動露出制御に用いる評価値の生成等、一般的な撮像装置１００において撮像画像に対して実行する各種の処理を実行することができる。現像処理部１０３は、画像データに画像処理を施した記録用の画像データを対象フレームバッファ１０４に供給する。
The lens 101 is an imaging optical system that forms an optical image of a subject on an imaging surface of an imaging unit 102. The image pickup unit 102 photoelectrically converts an optical image formed on the image pickup surface by an image pickup element including a plurality of pixels, and converts the optical image into an electric signal (image signal) representing the image. Further, the image pickup unit 102 A / D-converts the image signal and supplies it to the development processing unit 103 as digital data image data. In the present embodiment, the imaging unit 102 captures a moving image. The development processing unit 103 applies predetermined image processing to the image data. As predetermined image processing, noise removal, color interpolation (demosaic), defect pixel correction, white balance adjustment, camera shake correction, peripheral illumination correction, gamma correction, color tone correction, enlargement / reduction, color conversion to YCbCr format, etc. are applied. obtain. The development processing unit 103 executes various processes executed on the captured image in the general image pickup apparatus 100, such as subject detection, autofocus control of the lens 101, and generation of evaluation values used for automatic exposure control. Can be done. The development processing unit 103 supplies the target frame buffer 104 with image data for recording in which the image data is subjected to image processing.
対象フレームバッファ１０４は、現像処理部１０３から供給された画像データを一時的に格納する。対象フレームバッファ１０４に格納された画像データは、符号化の対象画像として、第１の符号化回路１０７および第２の符号化回路１０８によって符号化される。対象フレームバッファ１０４および参照画像を格納するための参照フレームバッファ１０５は、所定の記憶部（例えば、ＤＲＡＭ等）に記憶される。また、対象フレームバッファ１０４は、後述するローカルデコード画像生成部３２０によるローカルデコード画像データを生成するために用いる原画像を供給するため、複数枚の対象画像を格納する領域を有する。
The target frame buffer 104 temporarily stores the image data supplied from the development processing unit 103. The image data stored in the target frame buffer 104 is encoded by the first coding circuit 107 and the second coding circuit 108 as the target image for coding. The target frame buffer 104 and the reference frame buffer 105 for storing the reference image are stored in a predetermined storage unit (for example, DRAM or the like). Further, the target frame buffer 104 has an area for storing a plurality of target images in order to supply the original image used for generating the locally decoded image data by the local decoded image generation unit 320 described later.
参照フレームバッファ１０５は、後述するローカルデコード画像生成部３２０が出力したローカルデコード画像を一時的に格納する。図１に示される第１の符号化回路１０７および第２の符号化回路１０８は、参照フレームバッファ１０５に格納された画像データを、動き探索における参照画像として用いる。また、参照フレームバッファ１０５は、直前までに出力された複数枚のローカルデコード画像を格納するための領域を有する。
The reference frame buffer 105 temporarily stores the locally decoded image output by the locally decoded image generation unit 320 described later. The first coding circuit 107 and the second coding circuit 108 shown in FIG. 1 use the image data stored in the reference frame buffer 105 as a reference image in the motion search. Further, the reference frame buffer 105 has an area for storing a plurality of locally decoded images output up to the previous time.
制御手段としてのフレーム制御部１０６は、対象フレームバッファ１０４および参照フレームバッファ１０５からそれぞれ画像データを読み出して、第１の符号化回路１０７または第２の符号化回路１０８に供給する。第１の符号化回路１０７は、例えばＡＳＩＣやＦＰＧＡ等のハードウェア回路である。第１の符号化回路１０７は、フレーム制御部１０６が出力した画像データを符号化した符号化画像データを格納する画像ファイルを生成し、記録媒体１０９に記録する。記録媒体１０９は、例えば、半導体メモリカード等である。
The frame control unit 106 as a control means reads image data from the target frame buffer 104 and the reference frame buffer 105, respectively, and supplies the image data to the first coding circuit 107 or the second coding circuit 108. The first coding circuit 107 is a hardware circuit such as an ASIC or FPGA. The first coding circuit 107 generates an image file for storing the coded image data in which the image data output by the frame control unit 106 is encoded, and records the image file on the recording medium 109. The recording medium 109 is, for example, a semiconductor memory card or the like.
第２の符号化回路１０８は、第１の符号化回路１０７と同様、フレーム制御部１０６が出力した画像データ（対象画像）に基づいて符号化画像データを生成する。第２の符号化回路１０８は、第１の符号化回路１０７と同様、例えばＡＳＩＣやＦＰＧＡ等のハードウェア回路である。本実施形態では、第２の符号化回路１０８は、第１の符号化回路１０７と同様の構成であるとする。ただし、第２の符号化回路１０８の構成と第１の符号化回路１０７の構成とは部分的に異なっていてもよい。動画像符号化装置は、対象フレームバッファ１０４、参照フレームバッファ１０５、フレーム制御部１０６、第１の符号化回路１０７および第２の符号化回路１０８により構成されてもよい。この動画像符号化装置は、撮像装置１００に内蔵されてもよいし、単独の装置であってもよい。
Similar to the first coding circuit 107, the second coding circuit 108 generates coded image data based on the image data (target image) output by the frame control unit 106. The second coding circuit 108 is a hardware circuit such as an ASIC or FPGA, like the first coding circuit 107. In the present embodiment, it is assumed that the second coding circuit 108 has the same configuration as the first coding circuit 107. However, the configuration of the second coding circuit 108 and the configuration of the first coding circuit 107 may be partially different. The moving image coding device may be composed of a target frame buffer 104, a reference frame buffer 105, a frame control unit 106, a first coding circuit 107, and a second coding circuit 108. This moving image coding device may be built in the image pickup device 100, or may be a single device.
ここで、フレーム制御部１０６は、ランダムアクセスＧＯＰ構造を構成する参照関係に基づいて、画像データの供給先を決定する。図２は、ＨＥＶＣで標準的に用いられる８枚セットのランダムアクセスＧＯＰ構造を示した図である。図２の例では、画像＃０、＃１、＃２、＃３、＃４、＃５、＃６、＃７、＃８を１つのグループとして、ＧＯＰが構成される。例えば、画像＃０は、Ｉピクチャであり、画像＃１から＃７は、Ｂピクチャである。各画像は、それぞれ時間的に異なるフレームである。ＧＯＰを構成する各フレームを用いてフレーム間予測が行われる。
Here, the frame control unit 106 determines the supply destination of the image data based on the reference relationship constituting the random access GOP structure. FIG. 2 is a diagram showing a random access GOP structure of a set of eight, which is used as standard in HEVC. In the example of FIG. 2, the GOP is configured with images # 0, # 1, # 2, # 3, # 4, # 5, # 6, # 7, and # 8 as one group. For example, image # 0 is an I picture, and images # 1 to # 7 are B pictures. Each image is a frame that is different in time. Interframe prediction is performed using each frame that constitutes the GOP.
画像＃８は、８枚前の画像＃０を参照する。画像＃４は、４枚前の画像＃０および４枚後の画像＃８を参照する。画像＃２は、２枚前の画像＃０および２枚後の画像＃４を参照し、画像＃６も同様に２枚前の画像＃４および２枚後の画像＃８を参照する。画像＃１は、１枚前の画像＃０および１枚後の画像＃２を参照する。画像＃３、＃５、＃７も同様に１枚前の画像と１枚後の画像とを参照する。
Image # 8 refers to image # 0 eight sheets before. Image # 4 refers to image # 0 four images before and image # 8 four images after. Image # 2 refers to image # 0 two images before and image # 4 two images later, and image # 6 also refers to image # 4 two images before and image # 8 two images after. Image # 1 refers to the previous image # 0 and the next image # 2. Images # 3, # 5, and # 7 also refer to the previous image and the subsequent image.
従って、画像＃８は画像＃４に参照され、画像＃４は画像＃２および＃６に参照され、画像＃２は画像＃１および＃３に参照される。つまり、画像＃８は、参照距離（参照される関係にあるフレーム間の時間）が最も長い。このため、画像＃８は画像＃１から＃７の全てに影響を与える。その結果、画像＃８に劣化が生じると、ＧＯＰ構造に含まれる全体の画像に劣化が生じる。つまり、参照距離が最も長いピクチャの動きベクトルの検出精度が低下して画質が劣化する場合、ＧＯＰを構成する全画像の画質も劣化する。
Therefore, image # 8 is referenced by image # 4, image # 4 is referenced by images # 2 and # 6, and image # 2 is referenced by images # 1 and # 3. That is, image # 8 has the longest reference distance (time between frames in a referenced relationship). Therefore, image # 8 affects all of images # 1 to # 7. As a result, when the image # 8 is deteriorated, the entire image included in the GOP structure is deteriorated. That is, when the detection accuracy of the motion vector of the picture having the longest reference distance is lowered and the image quality is deteriorated, the image quality of all the images constituting the GOP is also deteriorated.
本実施形態では、フレーム制御部１０６は、最も長い参照距離を持つ画像＃８を対象画像とする場合、第１の符号化回路１０７に画像＃８を供給する。一方、フレーム制御部１０６は、他の複数の画像＃１〜＃７を対象画像とする場合、第２の符号化回路１０８に画像＃１〜＃７を供給する。第１の符号化回路１０７は、フレーム制御部１０６から供給された対象画像を予め定められた方式で符号化し、データ量を削減した符号化画像データを生成する。本実施形態において第１の符号化回路１０７および第２の符号化回路１０８は、動き補償予測符号化方式、例えばＨＥＶＣに準拠した符号化を実行するものとする。第１の符号化回路１０７および第２の符号化回路１０８は、フレーム間予測を用いて動画像を符号化する。そのため、フレーム制御部１０６は、対象フレームバッファ１０４に格納されている対象画像を読み出して第１の符号化回路１０７に供給する際には、水平および垂直方向に分割したブロック（対象ブロック）ごとに画像を供給する。また、フレーム制御部１０６は、参照フレームバッファ１０５に格納されている参照画像を読み出して第１の符号化回路１０７に供給する際には、対象ブロックに対応した領域（探索範囲）を供給する。
In the present embodiment, the frame control unit 106 supplies the image # 8 to the first coding circuit 107 when the image # 8 having the longest reference distance is set as the target image. On the other hand, when the other plurality of images # 1 to # 7 are the target images, the frame control unit 106 supplies the images # 1 to # 7 to the second coding circuit 108. The first coding circuit 107 encodes the target image supplied from the frame control unit 106 by a predetermined method, and generates coded image data with a reduced amount of data. In the present embodiment, the first coding circuit 107 and the second coding circuit 108 perform coding according to a motion compensation prediction coding method, for example, HEVC. The first coding circuit 107 and the second coding circuit 108 encode the moving image using the inter-frame prediction. Therefore, when the frame control unit 106 reads out the target image stored in the target frame buffer 104 and supplies it to the first coding circuit 107, each block (target block) divided in the horizontal and vertical directions is used. Supply the image. Further, when the frame control unit 106 reads out the reference image stored in the reference frame buffer 105 and supplies it to the first coding circuit 107, the frame control unit 106 supplies a region (search range) corresponding to the target block.
フレーム制御部１０６は、対象フレームバッファ１０４に格納されている対象画像を読み出して第２の符号化回路１０８に供給する際にも、対象ブロックごとに画像データを供給する。また、フレーム制御部１０６は、参照フレームバッファ１０５に格納されている参照画像を読み出して第２の符号化回路１０８に供給する際にも、対象ブロックごとに対応した領域（探索範囲）を供給する。
The frame control unit 106 also supplies image data for each target block when reading the target image stored in the target frame buffer 104 and supplying it to the second coding circuit 108. Further, when the frame control unit 106 reads out the reference image stored in the reference frame buffer 105 and supplies it to the second coding circuit 108, the frame control unit 106 also supplies a region (search range) corresponding to each target block. ..
次に、第１の符号化回路１０７および第２の符号化回路１０８について、図３を参照して説明する。図３は、符号化回路の機能ブロック図である。対象ブロックバッファ３０９は、フレーム制御部１０６を介して対象フレームバッファ１０４から供給された対象ブロックを順次格納する。参照エリアバッファ３１０は、フレーム制御部１０６を介して参照フレームバッファ１０５から供給された探索範囲を格納する。対象ブロックバッファ３０９および参照エリアバッファ３１０は、例えば、ＳＲＡＭで構成される。
Next, the first coding circuit 107 and the second coding circuit 108 will be described with reference to FIG. FIG. 3 is a functional block diagram of the coding circuit. The target block buffer 309 sequentially stores the target blocks supplied from the target frame buffer 104 via the frame control unit 106. The reference area buffer 310 stores the search range supplied from the reference frame buffer 105 via the frame control unit 106. The target block buffer 309 and the reference area buffer 310 are composed of, for example, SRAM.
動き探索部３１１は、参照エリアバッファ３１０に格納された探索範囲を探索して、対象ブロックバッファ３０９に格納されている対象ブロックの画像データと類似した領域を検出する。そして、動き探索部３１１は、対象画像におけるテンプレート画像の位置（例えばテンプレート画像の左上の頂点座標）を起点とし、探索範囲内で検出された位置の参照画像における座標を終点とするベクトルを動きベクトルとして検出する。動き探索部３１１は、検出した位置におけるテンプレート画像と参照画像との差分画像を算出し、直交変換部３１２に出力する。また、動き探索部３１１は、ローカルデコード画像を作成するために、探索範囲内で検出された位置のブロックを予測画像として動き補償部３１９に出力する。第１の符号化回路１０７の動き探索部３１１は、第１の動き探索手段に対応する。第２の符号化回路１０８の動き探索部３１１は、第２の動き探索手段に対応する。
The motion search unit 311 searches the search range stored in the reference area buffer 310, and detects an area similar to the image data of the target block stored in the target block buffer 309. Then, the motion search unit 311 uses a vector whose starting point is the position of the template image in the target image (for example, the coordinates of the upper left corner of the template image) and the coordinates of the position detected in the search range in the reference image as the ending point. Detect as. The motion search unit 311 calculates the difference image between the template image and the reference image at the detected position and outputs the difference image to the orthogonal transform unit 312. Further, the motion search unit 311 outputs a block at a position detected within the search range to the motion compensation unit 319 as a prediction image in order to create a locally decoded image. The motion search unit 311 of the first coding circuit 107 corresponds to the first motion search means. The motion search unit 311 of the second coding circuit 108 corresponds to the second motion search means.
直交変換部３１２は、上述した差分画像に対して直交変換（例えば、離散コサイン変換）を適用して変換係数を生成する。量子化部３１３は、量子化制御部３１４が出力するブロックごとの量子化ステップサイズ（または量子化パラメータ）に従って、直交変換部３１２が生成した変換係数を量子化する。量子化部３１３は、量子化した変換係数を、符号化ストリーム作成のために可変長符号化部３１５に出力するとともに、ローカルデコード画像作成のために逆量子化部３１７にも出力する。量子化制御部３１４は、可変長符号化部３１５から送られてくるブロックごとの発生符号量を用いて、目標とする符号量になるように量子化ステップサイズを決定し、量子化部３１３に出力する。
The orthogonal transform unit 312 applies an orthogonal transform (for example, a discrete cosine transform) to the above-mentioned difference image to generate a conversion coefficient. The quantization unit 313 quantizes the conversion coefficient generated by the orthogonal transformation unit 312 according to the quantization step size (or quantization parameter) for each block output by the quantization control unit 314. The quantization unit 313 outputs the quantized conversion coefficient to the variable-length coding unit 315 for creating a coded stream, and also outputs the quantized conversion coefficient to the inverse quantization unit 317 for creating a locally decoded image. The quantization control unit 314 determines the quantization step size so as to reach the target code amount by using the generated code amount for each block sent from the variable length coding unit 315, and the quantization unit 313 determines the quantization step size. Output.
可変長符号化部３１５は、量子化された変換係数に対してジグザグスキャンやオルタネートスキャン等を行い、変換係数を可変長符号化する。さらに、可変長符号化部３１５は、動きベクトルや量子化ステップサイズ、ブロック分割情報、適応オフセット処理用パラメータ等の符号化情報についても可変長符号化する。そして、可変長符号化部３１５は、可変長符号化した変換係数と符号化情報とに基づいて符号化ストリームを生成し、生成された符号化ストリームを記録媒体１０９に記録する。また、可変長符号化部３１５は、ブロックごとの発生符号量を算出する。算出された発生符号量は、上述したように、量子化制御部３１４に送られる。
The variable-length coding unit 315 performs a zigzag scan, an alternate scan, or the like on the quantized conversion coefficient, and encodes the conversion coefficient in a variable-length code. Further, the variable-length coding unit 315 also performs variable-length coding of coding information such as motion vectors, quantization step sizes, block division information, and adaptive offset processing parameters. Then, the variable-length coding unit 315 generates a coded stream based on the variable-length coded conversion coefficient and the coding information, and records the generated coded stream on the recording medium 109. Further, the variable length coding unit 315 calculates the generated code amount for each block. The calculated generated code amount is sent to the quantization control unit 314 as described above.
逆量子化部３１７は、量子化部３１３が出力する変換係数を逆量子化し、ローカルデコード用の変換係数を生成し、逆直交変換部３１８に出力する。逆直交変換部３１８は、変換係数に対して直交変換部３１２が適用した直交変換の逆変換（逆離散コサイン変換）を適用して差分画像を生成し、生成された差分画像を動き補償部３１９に出力する。動き補償部３１９は、動き探索部３１１からの予測画像と、逆直交変換部３１８からの差分画像とを加算して、ローカルデコード画像データを生成する。動き補償部３１９は、生成したローカルデコード用の画像を、ローカルデコード画像生成部３２０に出力する。
The inverse quantization unit 317 inversely quantizes the conversion coefficient output by the quantization unit 313, generates a conversion coefficient for local decoding, and outputs the conversion coefficient to the inverse orthogonal transformation unit 318. The inverse orthogonal transform unit 318 applies the inverse transform (inverse discrete cosine transform) of the orthogonal transform applied by the orthogonal transform unit 312 to the conversion coefficient to generate a difference image, and the generated difference image is used as a motion compensation unit 319. Output to. The motion compensation unit 319 adds the predicted image from the motion search unit 311 and the difference image from the inverse orthogonal transform unit 318 to generate locally decoded image data. The motion compensation unit 319 outputs the generated image for local decoding to the local decoding image generation unit 320.
ローカルデコード画像生成部３２０は、動き補償部３１９が出力したローカルデコード用の画像に対してデブロッキングフィルタを適用する。デブロッキングフィルタは、対象ブロックの境界における不連続な歪みを平滑化するためのフィルタである。また、ローカルデコード画像生成部３２０は、デブロッキングフィルタ適用後の画像データに対して、エッジ付近に発生する擬似輪郭（リンギング歪み）を抑制する目的で、適応オフセット処理を行う。ローカルデコード画像生成部３２０は、適応オフセット処理として、まずデブロッキングフィルタ適用後の画像データの各画素に対して、フレーム制御部１０６を介して対象フレームバッファ１０４から供給された原画像における同位置の画素との比較を行う。そして、ローカルデコード画像生成部３２０は、画素の比較結果に基づいて、画素値やエッジの状態についての評価および分類分けを行い、分類に応じたオフセットを加算する。なお、適応オフセット処理は必須ではない。デブロッキングフィルタ処理と適応オフセット処理とは、両者を併せてループ内フィルタと称されることがある。
The local decoding image generation unit 320 applies a deblocking filter to the image for local decoding output by the motion compensation unit 319. The deblocking filter is a filter for smoothing discontinuous distortion at the boundary of the target block. Further, the local decoded image generation unit 320 performs adaptive offset processing on the image data after applying the deblocking filter for the purpose of suppressing pseudo contours (ringing distortion) generated near the edges. As adaptive offset processing, the local decoded image generation unit 320 first applies the deblocking filter to each pixel of the image data at the same position in the original image supplied from the target frame buffer 104 via the frame control unit 106. Compare with pixels. Then, the local decoded image generation unit 320 evaluates and classifies the pixel value and the edge state based on the pixel comparison result, and adds the offset according to the classification. Note that adaptive offset processing is not essential. Both the deblocking filter processing and the adaptive offset processing are sometimes collectively referred to as an in-loop filter.
ローカルデコード画像生成部３２０からの出力は、ローカルデコード画像データとして参照フレームバッファ１０５に格納される。また、ローカルデコード画像生成部３２０は、適応オフセット処理用のパラメータを号化ストリームに含めるために可変長符号化部３１５に出力する。適応オフセット処理用のパラメータとしては、適応オフセット処理を行ったか否か、適応オフセット処理として何れの分類を用いたか、バンド位置、エッジ方向、オフセット値等がある。以上のような動作により、符号化ストリームおよびローカルデコード画像が作成される。
The output from the locally decoded image generation unit 320 is stored in the reference frame buffer 105 as locally decoded image data. Further, the local decoded image generation unit 320 outputs the parameters for adaptive offset processing to the variable length coding unit 315 in order to include them in the issue stream. Parameters for adaptive offset processing include whether or not adaptive offset processing has been performed, which classification was used for adaptive offset processing, band position, edge direction, offset value, and the like. The coded stream and the locally decoded image are created by the above operation.
次に、第１実施形態における画像の振り分けについて説明する。本実施形態の第１の符号化回路１０７と第２の符号化回路１０８とは、ランダムアクセスＧＯＰ構造において、並列に動作する。図４は、第１実施形態における画像をして入力から格納するまでの時間と各回路の処理時間との関係性を説明する図である。第１の符号化回路１０７が参照距離の最も長いフレームの動き探索を行う場合の探索範囲と、第２の符号化回路１０８が上記フレーム以外の複数のフレームの動き探索を行う際の探索範囲とは異なるものとする。また、処理時間と探索範囲とは比例するものとする。図４において、現像処理部１０３に入力された画像＃０から＃２４の２５枚の画像が対象フレームバッファ１０４に格納される。
Next, the distribution of images in the first embodiment will be described. The first coding circuit 107 and the second coding circuit 108 of the present embodiment operate in parallel in the random access GOP structure. FIG. 4 is a diagram for explaining the relationship between the time from input to storage of an image in the first embodiment and the processing time of each circuit. The search range when the first coding circuit 107 searches for the motion of the frame having the longest reference distance, and the search range when the second coding circuit 108 searches for the motion of a plurality of frames other than the above frame. Shall be different. In addition, the processing time is proportional to the search range. In FIG. 4, 25 images of images # 0 to # 24 input to the development processing unit 103 are stored in the target frame buffer 104.
ここで、第１の符号化回路１０７が画像＃０を処理する際の処理時間と、第２の符号化回路１０８の処理時間とは、画像１枚を入力してから格納するまでの時間と同じものとする。また、第１の符号化回路１０７および第２の符号化回路１０８が画像＃０を処理するときの処理時間は、第１の符号化回路１０７が画像＃８、＃１６、＃２４を処理するときの処理時間は８倍であるものとする。本実施形態では、第１の符号化回路１０７および第２の符号化回路１０８の処理としては、ローカルデコード画像を参照フレームバッファ１０５へ出力することも含むものとする。
Here, the processing time when the first coding circuit 107 processes the image # 0 and the processing time of the second coding circuit 108 are the time from the input of one image to the storage. Same thing. Further, the processing time when the first coding circuit 107 and the second coding circuit 108 process the image # 0 is such that the first coding circuit 107 processes the images # 8, # 16, and # 24. It is assumed that the processing time at this time is eight times. In the present embodiment, the processing of the first coding circuit 107 and the second coding circuit 108 includes outputting the locally decoded image to the reference frame buffer 105.
上述したように、画像＃８、＃１６、＃２４は、ランダムアクセスＧＯＰ構造における全ての画像に対して符号化劣化の影響が伝播する。従って、動きベクトルの検出精度を高めて、符号化劣化の影響を抑制する必要がある。本実施形態では、第２の符号化回路１０８による動き探索と同等の処理を、第１の符号化回路１０７は８回行う。つまり、第１の符号化回路１０７の動き探索部３１１が画像１枚についての動き探索を行う処理量は、第２の符号化回路１０８の動き探索部３１１が画像１枚についての動き探索を行う処理量の８倍である。これにより、第１の符号化回路１０７は、より広い範囲での動き探索を行い、動きベクトルの検出精度を高める。
As described above, the images # 8, # 16, and # 24 propagate the influence of the coding deterioration to all the images in the random access GOP structure. Therefore, it is necessary to improve the detection accuracy of the motion vector and suppress the influence of coding deterioration. In the present embodiment, the first coding circuit 107 performs the same processing as the motion search by the second coding circuit 108 eight times. That is, the amount of processing that the motion search unit 311 of the first coding circuit 107 performs the motion search for one image is that the motion search unit 311 of the second coding circuit 108 performs the motion search for one image. It is 8 times the processing amount. As a result, the first coding circuit 107 performs a motion search in a wider range and improves the detection accuracy of the motion vector.
図４に示されるように、最初に、画像＃０が対象フレームバッファ１０４に格納される。画像＃０が対象フレームバッファ１０４に格納された後、フレーム制御部１０６は、画像＃０を対象フレームバッファ１０４から読み出し、第１の符号化回路１０７に供給する。第１の符号化回路１０７は、供給された画像＃０を符号化する。本実施形態の動画像符号化では、先頭フレームは、画面内の空間的な情報を利用する画面内予測を用いて符号化されるものとする。従って、第１の符号化回路１０７は、画面内予測によって画像＃０を符号化する。
As shown in FIG. 4, image # 0 is first stored in the target frame buffer 104. After the image # 0 is stored in the target frame buffer 104, the frame control unit 106 reads the image # 0 from the target frame buffer 104 and supplies it to the first coding circuit 107. The first coding circuit 107 encodes the supplied image # 0. In the moving image coding of the present embodiment, the first frame is encoded by using the in-screen prediction that utilizes the spatial information in the screen. Therefore, the first coding circuit 107 encodes the image # 0 by the in-screen prediction.
画像＃０の符号化と並行して、画像＃１が対象フレームバッファ１０４に格納される。その後、画像＃２から＃８が対象フレームバッファ１０４に順次格納される。フレーム制御部１０６は、画像＃８が対象フレームバッファ１０４に格納された後、画像＃８を対象フレームバッファ１０４から読み出し、第１の符号化回路１０７に供給する。同時に、フレーム制御部１０６は、画像＃０のローカルデコード画像を参照フレームバッファ１０５から読み出し、第１の符号化回路１０７に供給する。第１の符号化回路１０７は、供給された画像＃８を符号化する。
Image # 1 is stored in the target frame buffer 104 in parallel with the coding of image # 0. After that, the images # 2 to # 8 are sequentially stored in the target frame buffer 104. After the image # 8 is stored in the target frame buffer 104, the frame control unit 106 reads the image # 8 from the target frame buffer 104 and supplies the image # 8 to the first coding circuit 107. At the same time, the frame control unit 106 reads the locally decoded image of image # 0 from the reference frame buffer 105 and supplies it to the first coding circuit 107. The first coding circuit 107 encodes the supplied image # 8.
第１の符号化回路１０７による画像＃８の符号化と並行して、画像＃９から＃１６が対象フレームバッファ１０４に順次格納される。ここで、第１の符号化回路１０７が画像＃８を符号化する時間と、画像＃９から＃１６の８枚の画像が対象フレームバッファ１０４に格納される時間とは同等である。第１の符号化回路１０７は、８枚分の画像入力の時間で画像＃８の符号化処理を行う。第１の符号化回路１０７が画像＃８の符号化を完了した後、フレーム制御部１０６は、画像＃１６を対象フレームバッファ１０４から読み出し、第１の符号化回路１０７に供給する。同時に、フレーム制御部１０６は、画像＃８のローカルデコード画像を参照フレームバッファ１０５から読み出し、第１の符号化回路１０７に供給する。
Images # 9 to # 16 are sequentially stored in the target frame buffer 104 in parallel with the coding of the image # 8 by the first coding circuit 107. Here, the time for the first coding circuit 107 to encode the image # 8 is equivalent to the time for the eight images of the images # 9 to # 16 to be stored in the target frame buffer 104. The first coding circuit 107 performs the coding process of the image # 8 in the time for inputting eight images. After the first coding circuit 107 completes the coding of the image # 8, the frame control unit 106 reads the image # 16 from the target frame buffer 104 and supplies the image # 16 to the first coding circuit 107. At the same time, the frame control unit 106 reads the locally decoded image of the image # 8 from the reference frame buffer 105 and supplies it to the first coding circuit 107.
フレーム制御部１０６は、画像＃１６が対象フレームバッファ１０４に格納された後、画像＃１６を対象フレームバッファ１０４から読み出し、第１の符号化回路１０７に供給する。第１の符号化回路１０７は、供給された画像＃１６を符号化する。第１の符号化回路１０７は、画像＃１６を符号化する場合も、画像＃８を符号化する場合と同様に、８枚分の時間をかけて処理を行う。第１の符号化回路１０７による画像＃１６の符号化と並行して、画像＃１７から＃２４が対象フレームバッファ１０４に順次格納される。
After the image # 16 is stored in the target frame buffer 104, the frame control unit 106 reads the image # 16 from the target frame buffer 104 and supplies the image # 16 to the first coding circuit 107. The first coding circuit 107 encodes the supplied image # 16. When the first coding circuit 107 encodes the image # 16, the processing takes time for eight images as in the case of coding the image # 8. Images # 17 to # 24 are sequentially stored in the target frame buffer 104 in parallel with the coding of the image # 16 by the first coding circuit 107.
ここで、第１の符号化回路１０７が画像＃８の符号化を完了した後、フレーム制御部１０６は、画像＃１から＃７を対象フレームバッファ１０４から読み出し、第２の符号化回路１０８に供給する。本実施形態では、フレーム制御部１０６は、第２の符号化回路１０８に対して、ＧＯＰ構造に従って、画像＃１から＃７を供給するものとする。フレーム制御部１０６は、第２の符号化回路１０８に対して、画像＃４、＃２、＃６、＃１、＃３、＃５、＃７の順で第２の符号化回路１０８に供給する。同時に、フレーム制御部１０６は、画像＃１から＃７の動き探索で参照するローカルデコード画像を参照フレームバッファ１０５から順次読み出して、第２の符号化回路１０８に供給する。
Here, after the first coding circuit 107 completes the coding of the image # 8, the frame control unit 106 reads the images # 1 to # 7 from the target frame buffer 104 and connects them to the second coding circuit 108. Supply. In the present embodiment, the frame control unit 106 supplies images # 1 to # 7 to the second coding circuit 108 according to the GOP structure. The frame control unit 106 supplies the second coding circuit 108 to the second coding circuit 108 in the order of images # 4, # 2, # 6, # 1, # 3, # 5, and # 7. do. At the same time, the frame control unit 106 sequentially reads out the locally decoded images referred to in the motion search of the images # 1 to # 7 from the reference frame buffer 105 and supplies them to the second coding circuit 108.
例えば、フレーム制御部１０６は、画像＃４の符号化が行われる場合、画像＃０、＃８のローカルデコード画像を読み出して、第２の符号化回路１０８に供給する。同時に、フレーム制御部１０６は、画像＃６の符号化が行われる場合、画像＃４、＃８のローカルデコード画像を読み出して、第２の符号化回路１０８に供給する。第２の符号化回路１０８は、供給された画像＃１から＃７をそれぞれ符号化する。
For example, when the image # 4 is coded, the frame control unit 106 reads out the locally decoded images of the images # 0 and # 8 and supplies them to the second coding circuit 108. At the same time, when the image # 6 is coded, the frame control unit 106 reads out the locally decoded images of the images # 4 and # 8 and supplies them to the second coding circuit 108. The second coding circuit 108 encodes the supplied images # 1 to # 7, respectively.
本実施形態では、第２の符号化回路１０８が画像＃１から＃７の７枚の画像を符号化する処理時間は、第１の符号化回路１０７が画像＃１６を符号化する処理時間よりも短いものとする。従って、第２の符号化回路１０８が画像＃７の符号化を完了するよりも前に、第１の符号化回路１０７が画像＃１６の符号化を完了することはない。つまり、画像＃１６の符号化よりも先に、画像＃１から＃７の符号化が完了する。
In the present embodiment, the processing time for the second coding circuit 108 to encode the seven images of images # 1 to # 7 is longer than the processing time for the first coding circuit 107 to encode the image # 16. Is also short. Therefore, the first coding circuit 107 does not complete the coding of the image # 16 before the second coding circuit 108 completes the coding of the image # 7. That is, the coding of the images # 1 to # 7 is completed before the coding of the image # 16.
図４に示されるように、第１の符号化回路１０７が画像＃１６の符号化を完了した後、フレーム制御部１０６は、画像＃２４を対象フレームバッファ１０４から読み出し、第１の符号化回路１０７に供給する。同時に、フレーム制御部１０６は、画像＃１６のローカルデコード画像を参照フレームバッファ１０５から読み出し、第１の符号化回路１０７に供給する。第１の符号化回路１０７は、画像＃８、＃１６を符号化する場合と同様に、８枚分の時間をかけて、画像＃２４を符号化する。
As shown in FIG. 4, after the first coding circuit 107 completes the coding of the image # 16, the frame control unit 106 reads the image # 24 from the target frame buffer 104 and reads the image # 24 from the target frame buffer 104, and the first coding circuit. Supply to 107. At the same time, the frame control unit 106 reads the locally decoded image of the image # 16 from the reference frame buffer 105 and supplies it to the first coding circuit 107. The first coding circuit 107 encodes the image # 24 over a period of eight sheets in the same manner as in the case of encoding the images # 8 and # 16.
フレーム制御部１０６は、第１の符号化回路１０７による画像＃１６の符号化が完了した後、画像＃１から＃７と同様に、画像＃９から＃１５を対象フレームバッファ１０４から順次読み出し、第２の符号化回路１０８に供給する。同時に、フレーム制御部１０６は、画像＃９から＃１５の動き探索で参照するローカルデコード画像を参照フレームバッファ１０５から順次読み出して、第２の符号化回路１０８に供給する。第２の符号化回路１０８は、供給された画像＃９から＃１５をそれぞれ符号化する。
After the coding of the image # 16 by the first coding circuit 107 is completed, the frame control unit 106 sequentially reads the images # 9 to # 15 from the target frame buffer 104 in the same manner as the images # 1 to # 7. It is supplied to the second coding circuit 108. At the same time, the frame control unit 106 sequentially reads out the locally decoded images referred to in the motion search of the images # 9 to # 15 from the reference frame buffer 105 and supplies them to the second coding circuit 108. The second coding circuit 108 encodes the supplied images # 9 to # 15, respectively.
第１の符号化回路１０７が画像＃２４の符号化を完了した後、フレーム制御部１０６は、画像＃９から＃１５と同様に、画像＃１７から＃２３を対象フレームバッファ１０４から読み出し、第２の符号化回路１０８に供給する。同時に、フレーム制御部１０６は、画像＃１７から＃２３の動き探索で参照するローカルデコード画像を参照フレームバッファ１０５から順次読み出して、第２の符号化回路１０８に供給する。第２の符号化回路１０８は、供給された画像＃１７から＃２３をそれぞれ符号化する。
After the first coding circuit 107 completes the coding of the image # 24, the frame control unit 106 reads the images # 17 to # 23 from the target frame buffer 104 and reads the images # 17 to # 23 from the target frame buffer 104 in the same manner as the images # 9 to # 15. It is supplied to the coding circuit 108 of 2. At the same time, the frame control unit 106 sequentially reads out the locally decoded images referred to in the motion search of the images # 17 to # 23 from the reference frame buffer 105 and supplies them to the second coding circuit 108. The second coding circuit 108 encodes the supplied images # 17 to # 23, respectively.
次に、探索範囲について説明する。図５は、第１実施形態の動き探索の探索範囲を示す図である。図５（ａ）は、第２の符号化回路１０８が画像＃８、＃１６、＃２４以外の他の画像を符号化する際に、対象画像４０１の中の対象ブロック４０２に対して、参照画像４０３の探索範囲４０４から動き探索を行う例を示す。図５（ｂ）は、第１の符号化回路１０７が画像＃８、＃１６、＃２４の画像を符号化する際に、対象画像４０１の対象ブロック４０２に対して、参照画像４０３の探索範囲４０５から動き探索する例を示す。探索範囲４０５は、探索範囲４０４に対して、水平方向に４倍、垂直方向に２倍の探索範囲として設定されている。つまり、探索範囲４０５は、探索範囲４０４の８倍の範囲となっている。上述したように、第１の符号化回路１０７は、画像８枚分の時間をかけて、符号化を行う。つまり、探索範囲４０５と探索範囲４０４との比は、第１の符号化回路１０７の処理時間と第２の符号化回路１０８との比と同じである。
Next, the search range will be described. FIG. 5 is a diagram showing a search range of the motion search of the first embodiment. FIG. 5A refers to the target block 402 in the target image 401 when the second coding circuit 108 encodes an image other than the images # 8, # 16, and # 24. An example of performing a motion search from the search range 404 of the image 403 is shown. FIG. 5B shows a search range of the reference image 403 with respect to the target block 402 of the target image 401 when the first coding circuit 107 encodes the images of the images # 8, # 16, and # 24. An example of motion search from 405 is shown. The search range 405 is set as a search range that is four times as large as the search range 404 in the horizontal direction and twice as large as the search range in the vertical direction. That is, the search range 405 is eight times the search range 404. As described above, the first coding circuit 107 takes time for eight images to perform coding. That is, the ratio of the search range 405 to the search range 404 is the same as the ratio of the processing time of the first coding circuit 107 to the second coding circuit 108.
図５（ｃ）は、図４の画像＃９の入力期間において、第１の符号化回路１０７が画像＃８の対象ブロック４０２に対して、探索範囲４０５内の探索範囲４０６から類似する箇所（類似箇所）を探索する例を示す。図５（ｄ）は、図４の画像＃１０の入力期間において、第１の符号化回路１０７が画像＃８の対象ブロック４０２に対して、探索範囲４０５内の探索範囲４０７から類似箇所を探索する例を示す。図５（ｅ）は、図４の画像＃１６の入力期間において、第１の符号化回路１０７が画像＃８の対象ブロック４０２に対して、探索範囲４０５内の探索範囲４０８から類似箇所を探索する例を示す。第２の符号化回路１０８が動き探索する際に設定される図５（ａ）の探索範囲４０６、４０７、４０８は、図４（ａ）の探索範囲４０４と同じサイズである。
FIG. 5C shows a location where the first coding circuit 107 is similar to the target block 402 in image # 8 from the search range 406 in the search range 405 during the input period of image # 9 in FIG. An example of searching for similar parts) is shown. In FIG. 5D, during the input period of image # 10 of FIG. 4, the first coding circuit 107 searches for a similar part from the search range 407 within the search range 405 with respect to the target block 402 of image # 8. Here is an example of how to do it. In FIG. 5 (e), during the input period of image # 16 of FIG. 4, the first coding circuit 107 searches for a similar part from the search range 408 within the search range 405 with respect to the target block 402 of image # 8. Here is an example of how to do it. The search ranges 406, 407, and 408 of FIG. 5A, which are set when the second coding circuit 108 performs motion search, have the same size as the search range 404 of FIG. 4A.
従って、図４に示されるように、第１の符号化回路１０７が画像＃８を符号化する場合、第１の符号化回路１０７の動き探索部３１１は、探索範囲の位置を変えながら８回の動き探索を行う。これにより、より広い範囲で動き探索を行うことが可能となる。第１の符号化回路１０７が画像＃１６、＃２４のそれぞれを符号化する場合も、画像＃８を符号化する場合と同様である。
Therefore, as shown in FIG. 4, when the first coding circuit 107 encodes the image # 8, the motion search unit 311 of the first coding circuit 107 changes the position of the search range eight times. Perform a motion search for. This makes it possible to search for movement in a wider range. The case where the first coding circuit 107 encodes each of the images # 16 and # 24 is the same as the case where the image # 8 is encoded.
次に、本実施形態の処理の流れについて説明する。図６は、第１実施形態の処理の流れを示すフローチャートである。Ｓ１０１において、第１の符号化回路１０７は、先頭フレームを画面内予測で符号化する。Ｓ１０２において、フレーム制御部１０６は、対象フレームバッファ１０４に格納されている画像を順次読み出していく。Ｓ１０３において、フレーム制御部１０６は、読み出した画像が、参照距離が最も長い画像であるかを判定する。フレーム制御部１０６は、Ｓ１０３でＹＥＳと判定した場合、Ｓ１０４において、読み出された画像（例えば、画像＃８）を、第１の符号化回路１０７に供給する。そして、Ｓ１０５において、第１の符号化回路１０７の動き探索部３１１は、設定された探索範囲４０５（探索範囲４０４より広い探索範囲）の中で動き探索を行う。
Next, the processing flow of the present embodiment will be described. FIG. 6 is a flowchart showing the processing flow of the first embodiment. In S101, the first coding circuit 107 encodes the first frame by in-screen prediction. In S102, the frame control unit 106 sequentially reads out the images stored in the target frame buffer 104. In S103, the frame control unit 106 determines whether the read image is the image having the longest reference distance. If the frame control unit 106 determines YES in S103, the frame control unit 106 supplies the read image (for example, image # 8) to the first coding circuit 107 in S104. Then, in S105, the motion search unit 311 of the first coding circuit 107 performs a motion search within the set search range 405 (search range wider than the search range 404).
一方、フレーム制御部１０６は、Ｓ１０３でＮＯと判定した場合、Ｓ１０６において、読み出された画像（例えば、画像＃９）を、第２の符号化回路１０８に供給する。そして、Ｓ１０７において、第２の符号化回路１０８の動き探索部３１１は、探索範囲４０４（所定の探索範囲）の中で動き探索を行う。Ｓ１０５の処理とＳ１０７の処理とは並列して行われる。Ｓ１０８において、フレーム制御部１０６は、処理が終了したかを判定する。例えば、フレーム制御部１０６は、所定の終了条件を満たしている場合に、処理が終了したと判定してもよい。フレーム制御部１０６は、Ｓ１０６でＮＯと判定した場合、処理をＳ１０２に戻す。フレーム制御部１０６は、Ｓ１０６でＹＥＳと判定した場合、処理を終了させる。
On the other hand, when the frame control unit 106 determines NO in S103, the frame control unit 106 supplies the read image (for example, image # 9) in S106 to the second coding circuit 108. Then, in S107, the motion search unit 311 of the second coding circuit 108 performs a motion search within the search range 404 (predetermined search range). The processing of S105 and the processing of S107 are performed in parallel. In S108, the frame control unit 106 determines whether the processing is completed. For example, the frame control unit 106 may determine that the process has been completed when the predetermined end condition is satisfied. When the frame control unit 106 determines NO in S106, the frame control unit 106 returns the process to S102. If the frame control unit 106 determines YES in S106, the frame control unit 106 ends the process.
以上説明したように、ランダムアクセスＧＯＰ構造において、第１の符号化回路１０７は、参照距離が最も長い画像に対する動き探索を行い、第２の符号化回路１０８は、他の複数の画像に対する動き探索を行う。そして、第１の符号化回路１０７が行う動き探索の探索範囲は、第２の符号化回路１０８が行う動き探索の探索範囲より広い。これにより、第１の符号化回路１０７による参照距離が最も長い画像に対する動き探索の処理量を、第２の符号化回路１０８による動き探索の処理量より多くすることができる。参照距離が最も長い画像に対する動き探索の処理量を多くすることで、動きベクトルの検出精度を向上させることができる。そして、ランダムアクセスＧＯＰ構造において参照距離が最も長い画像の画質劣化が抑制されることで、参照距離が最も長い画像を参照する他の画像の劣化も抑制される。その結果、動画全体の画質劣化を抑制することができる。
As described above, in the random access GOP structure, the first coding circuit 107 performs a motion search for the image having the longest reference distance, and the second coding circuit 108 searches for motion for a plurality of other images. I do. The search range of the motion search performed by the first coding circuit 107 is wider than the search range of the motion search performed by the second coding circuit 108. As a result, the amount of motion search processing for the image having the longest reference distance by the first coding circuit 107 can be made larger than the amount of motion search processing by the second coding circuit 108. By increasing the amount of motion search processing for the image having the longest reference distance, the motion vector detection accuracy can be improved. Then, by suppressing the deterioration of the image quality of the image having the longest reference distance in the random access GOP structure, the deterioration of other images that refer to the image having the longest reference distance is also suppressed. As a result, deterioration of the image quality of the entire moving image can be suppressed.
本実施形態では、第１の符号化回路１０７が行う動き探索の探索範囲が、第２の符号化回路１０８が行う動き探索の探索範囲より広い例を示したが、探索範囲は同じであってもよい。例えば、第１の符号化回路１０７は全探索法を用いて動き探索を実施し、第２の符号化回路１０８は、非特許文献１に記載されているような高速動き探索を実施してもよい。また、第１の符号化回路１０７は、テンプレート画像を１画素ずつずらしながらテンプレートマッチングを行い、第２の符号化回路１０８は、テンプレート画像のずらし量を２画素以上にしてテンプレートマッチングしてもよい。さらに、第１の符号化回路１０７は、対象画像および参照画像を縮小処理することなく、第２の符号化回路１０８は、対象画像および参照画像を縮小処理して、動き探索を実施してもよい。また、参照距離が最も長い画像に対する動き探索の処理は、他の画像に対する動き探索の処理より高精度な任意の手法が適用されてもよい。
In the present embodiment, an example is shown in which the search range of the motion search performed by the first coding circuit 107 is wider than the search range of the motion search performed by the second coding circuit 108, but the search range is the same. May be good. For example, the first coding circuit 107 may perform a motion search using the full search method, and the second coding circuit 108 may perform a high-speed motion search as described in Non-Patent Document 1. good. Further, the first coding circuit 107 may perform template matching while shifting the template image one pixel at a time, and the second coding circuit 108 may shift the template image to two or more pixels for template matching. .. Further, even if the first coding circuit 107 does not reduce the target image and the reference image, and the second coding circuit 108 reduces the target image and the reference image to perform motion search. good. Further, any method with higher accuracy than the motion search process for other images may be applied to the motion search process for the image having the longest reference distance.
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、縮小画像を用いた動き探索（縮小探索）を行った場合の検出位置から通常の動き探索を行う動き探索アルゴリズムが適用される。そして、第２実施形態では、縮小探索における探索範囲が、ランダムアクセスＧＯＰ構造における参照距離により変更される。これにより、第１実施形態のように、縮小探索を用いない場合と比較して、より広い範囲の動き探索を行うことが出来る。図７は、第２実施形態の動き探索の探索範囲を示す図である。図７（ａ）の例では、対象画像５０１の対象ブロック５０２の動きベクトルが検出される際に、類似箇所は、参照画像５０３から探索される。
<Second Embodiment>
Next, the second embodiment will be described. In the second embodiment, a motion search algorithm that performs a normal motion search from a detection position when a motion search (reduction search) using a reduced image is performed is applied. Then, in the second embodiment, the search range in the reduced search is changed by the reference distance in the random access GOP structure. As a result, a wider range of motion search can be performed as compared with the case where the reduction search is not used as in the first embodiment. FIG. 7 is a diagram showing a search range of the motion search of the second embodiment. In the example of FIG. 7A, when the motion vector of the target block 502 of the target image 501 is detected, a similar portion is searched from the reference image 503.
図７（ａ）では、画像を縮小しない場合において、参照画像５０３内の探索範囲５０４から対象ブロック５０２の類似箇所が探索される。図７（ｂ）では、画像を縮小する場合において、参照画像５０３内の探索範囲５０４から対象ブロック５０２の類似箇所が探索される。図７（ｂ）のうち、縮小対象画像５０５は、対象画像５０１を縮小した画像である。同様に、縮小対象ブロック５０６は対象ブロック５０２を縮小したブロックであり、縮小参照画像５０７は参照画像５０３を縮小した画像である。縮小探索範囲５０８は、探索範囲５０４と同様に一辺の画素数が１００画素であるものとする。本実施形態では、画像の縮小比が２分の１であるものとする。
In FIG. 7A, a similar portion of the target block 502 is searched from the search range 504 in the reference image 503 when the image is not reduced. In FIG. 7B, when the image is reduced, a similar portion of the target block 502 is searched from the search range 504 in the reference image 503. In FIG. 7B, the reduction target image 505 is a reduced image of the target image 501. Similarly, the reduction target block 506 is a reduction target block 502, and the reduction reference image 507 is a reduction of the reference image 503. As with the search range 504, the reduced search range 508 has 100 pixels on each side. In the present embodiment, it is assumed that the reduction ratio of the image is halved.
図７（ｃ）は、図７（ｂ）の縮小探索を、画像を縮小させない場合に対応させたときの例を示す。画像は縮小されているが、縮小探索範囲５０８は、探索範囲５０４と同じ大きさである。縮小比２分の１の縮小探索を用いることで、２倍広い範囲の探索を行うことができる。縮小探索が用いられることで、より広い範囲での探索が可能となり、動きベクトルの検出精度がさらに向上する。
FIG. 7C shows an example in which the reduction search of FIG. 7B is associated with the case where the image is not reduced. Although the image is reduced, the reduced search range 508 is the same size as the search range 504. By using a reduction search with a reduction ratio of 1/2, a search in a twice wider range can be performed. By using the reduced search, it is possible to search in a wider range, and the detection accuracy of the motion vector is further improved.
次に、第２実施形態の撮像装置６００について説明する。第１実施形態と同様の構成については、説明を省略する。図８は、第２実施形態に係る動画像符号化装置を適用した撮像装置６００の機能ブロック図である。図８において、フレーム制御部６０１、第１の縮小探索回路６０２、第２の縮小探索回路６０３および符号化回路６０８により動画像符号化装置が実現されてもよい。この動画像符号化装置は、撮像装置６００に内蔵されてもよいし、単独の装置であってもよい。
Next, the image pickup apparatus 600 of the second embodiment will be described. The description of the same configuration as that of the first embodiment will be omitted. FIG. 8 is a functional block diagram of the image pickup apparatus 600 to which the moving image coding apparatus according to the second embodiment is applied. In FIG. 8, the moving image coding device may be realized by the frame control unit 601, the first reduction search circuit 602, the second reduction search circuit 603, and the coding circuit 608. This moving image coding device may be built in the image pickup device 600, or may be a single device.
フレーム制御部６０１は、対象フレームバッファ１０４から画像データを読み出して、読み出した画像データを第１の縮小探索回路６０２または第２の縮小探索回路６０３に供給する。ここで、フレーム制御部６０１は、上述したランダムアクセスＧＯＰ構造を構成する参照関係に基づいて、第１の縮小探索回路６０２と第２の縮小探索回路６０３とのうち何れに画像データを供給するか決定する。フレーム制御部６０１は、最も長い参照距離を持つ画像（例えば、画像＃８）を対象画像とする場合、この対象画像を第１の縮小探索回路６０２に画像データを供給する。フレーム制御部６０１は、複数の他の画像（例えば、画像＃１〜＃７）を対象画像とする場合、複数の他の画像を第２の縮小探索回路６０３に画像データを供給する。
The frame control unit 601 reads the image data from the target frame buffer 104 and supplies the read image data to the first reduction search circuit 602 or the second reduction search circuit 603. Here, the frame control unit 601 supplies image data to either the first reduction search circuit 602 or the second reduction search circuit 603 based on the reference relationship constituting the above-mentioned random access GOP structure. decide. When the image having the longest reference distance (for example, image # 8) is used as the target image, the frame control unit 601 supplies the target image with image data to the first reduction search circuit 602. When a plurality of other images (for example, images # 1 to # 7) are set as the target image, the frame control unit 601 supplies the image data to the second reduction search circuit 603 for the plurality of other images.
フレーム制御部６０１は、対象フレームバッファ１０４から対象画像を読み出して第１の縮小探索回路６０２または第２の縮小探索回路６０３に供給する際には、水平方向および垂直方向に分割したブロック（対象ブロック）ごとに画像データを供給する。ここで、本実施形態における縮小探索は、参照フレームバッファ１０５に格納されているローカルデコード画像ではなく、対象フレームバッファ１０４に格納されている画像が使用されるものとする。そのため、フレーム制御部６０１は、対象ブロックを対象フレームバッファ１０４から読み出し、第１の縮小探索回路６０２または第２の縮小探索回路６０３に供給する。さらに、フレーム制御部６０１は、対象ブロックとともに、対象ブロックに対応した探索範囲を、第１の縮小探索回路６０２または第２の縮小探索回路６０３の探索位置に基づいて参照フレームバッファ１０５から読み出し、符号化回路６０８に供給する。
When the frame control unit 601 reads the target image from the target frame buffer 104 and supplies it to the first reduction search circuit 602 or the second reduction search circuit 603, the frame control unit 601 divides the block in the horizontal direction and the vertical direction (target block). ), Image data is supplied. Here, in the reduction search in the present embodiment, it is assumed that the image stored in the target frame buffer 104 is used instead of the locally decoded image stored in the reference frame buffer 105. Therefore, the frame control unit 601 reads the target block from the target frame buffer 104 and supplies it to the first reduction search circuit 602 or the second reduction search circuit 603. Further, the frame control unit 601 reads out the search range corresponding to the target block together with the target block from the reference frame buffer 105 based on the search position of the first reduction search circuit 602 or the second reduction search circuit 603, and codes. It is supplied to the conversion circuit 608.
第１の縮小探索回路６０２は、フレーム制御部６０１から供給された対象画像に対してブロック単位で動き探索を行い、探索位置をフレーム制御部６０１に通知する。第２の縮小探索回路６０３は、第１の縮小探索回路６０２と同様に、フレーム制御部６０１から供給された対象画像に対してブロック単位で動き探索を行い、探索位置をフレーム制御部６０１に通知する。
The first reduction search circuit 602 performs a motion search on the target image supplied from the frame control unit 601 in block units, and notifies the frame control unit 601 of the search position. Similar to the first reduction search circuit 602, the second reduction search circuit 603 performs a motion search on the target image supplied from the frame control unit 601 in block units, and notifies the frame control unit 601 of the search position. do.
次に、第１の縮小探索回路６０２および第２の縮小探索回路６０３について説明する。第１の縮小探索回路６０２と第２の縮小探索回路６０３との構成は同様である。図８において、第１の縮小探索回路６０２の各部の符号の末尾には「Ａ」が付されており、第２の縮小探索回路６０３の各部の符号の末尾には「Ｂ」が付されている。以下、第１の縮小探索回路６０２と第２の縮小探索回路６０３とを特に区別しない場合には、符号の末尾の「Ａ」および「Ｂ」は省略する。第１の縮小探索回路６０２および第２の縮小探索回路６０３は、フレーム縮小部６０４、対象ブロックバッファ６０５、参照エリアバッファ６０６および動き探索部６０７を有している。
Next, the first reduction search circuit 602 and the second reduction search circuit 603 will be described. The configuration of the first reduction search circuit 602 and the second reduction search circuit 603 is the same. In FIG. 8, "A" is added to the end of the code of each part of the first reduction search circuit 602, and "B" is added to the end of the code of each part of the second reduction search circuit 603. There is. Hereinafter, when the first reduction search circuit 602 and the second reduction search circuit 603 are not particularly distinguished, the "A" and "B" at the end of the reference numerals are omitted. The first reduction search circuit 602 and the second reduction search circuit 603 include a frame reduction unit 604, a target block buffer 605, a reference area buffer 606, and a motion search unit 607.
動き探索部６０７Ａは、第１の符号化回路１０７の動き探索部３１１に対応する。ただし、動き探索部６０７Ａが動き探索を行う画像は縮小されている。動き探索部６０７Ａは、第１の動き探索手段に対応する。動き探索部６０７Ｂは、第２の符号化回路１０８の動き探索部３１１に対応する。ただし、動き探索部６０７Ｂが動き探索を行う画像は縮小されている。動き探索部６０７Ｂは、第２の動き探索手段に対応する。第１実施形態と同様、動き探索部６０７Ａが行う動き探索の探索範囲は、動き探索部６０７Ｂが行う動き探索の探索範囲より広い。
The motion search unit 607A corresponds to the motion search unit 311 of the first coding circuit 107. However, the image in which the motion search unit 607A performs the motion search is reduced. The motion search unit 607A corresponds to the first motion search means. The motion search unit 607B corresponds to the motion search unit 311 of the second coding circuit 108. However, the image in which the motion search unit 607B performs the motion search is reduced. The motion search unit 607B corresponds to the second motion search means. Similar to the first embodiment, the search range of the motion search performed by the motion search unit 607A is wider than the search range of the motion search performed by the motion search unit 607B.
フレーム縮小部６０４は、フレーム制御部６０１から供給される対象ブロックに対して縮小処理を行い、縮小画像用の対象ブロックバッファ６０５に出力する。また、フレーム縮小部６０４は、フレーム制御部６０１から供給される探索範囲に対して縮小処理を行い、縮小画像用の参照エリアバッファ６０６に出力する。フレーム縮小部６０４は、画素間引きや、所定の画素ブロックごとの画素平均、低域通過フィルタを適用した縮小処理等を適用してもよい。対象ブロックバッファ６０５は、フレーム縮小部６０４から供給された対象ブロックを格納する。参照エリアバッファ６０６は、フレーム縮小部６０４から供給された探索範囲を格納する。対象ブロックバッファ６０５および参照エリアバッファ６０６は、例えば、ＳＲＡＭ等で構成されてもよい。
The frame reduction unit 604 performs reduction processing on the target block supplied from the frame control unit 601 and outputs it to the target block buffer 605 for the reduced image. Further, the frame reduction unit 604 performs reduction processing on the search range supplied from the frame control unit 601 and outputs it to the reference area buffer 606 for the reduced image. The frame reduction unit 604 may apply pixel thinning, pixel averaging for each predetermined pixel block, reduction processing to which a low-pass filter is applied, and the like. The target block buffer 605 stores the target block supplied from the frame reduction unit 604. The reference area buffer 606 stores the search range supplied from the frame reduction unit 604. The target block buffer 605 and the reference area buffer 606 may be composed of, for example, SRAM or the like.
縮小対象用の動き探索部６０７は、参照エリアバッファ６０６に格納された探索範囲を探索して、対象ブロックバッファ６０５に格納されている対象ブロックの画像データと類似した領域を検出する。そして、動き探索部６０７は、対象画像におけるテンプレート画像の位置を起点として、探索範囲内で検出された位置の参照画像における座標を終点とするベクトルに対して縮小比の逆数を乗算した後、動きベクトルとして検出する。例えば、上述したように縮小比が２分の１で縮小された画像における動きベクトルが（−３、７）であったとする。この場合、動き探索部６０７は、縮小比の逆数である「２」を動きベクトルの各要素に乗算した（−６、１４）を検出する。動き探索部６０７は、検出した動きベクトルをフレーム制御部６０１に出力する。
The motion search unit 607 for the reduction target searches the search range stored in the reference area buffer 606, and detects an area similar to the image data of the target block stored in the target block buffer 605. Then, the motion search unit 607 multiplies the vector whose starting point is the position of the template image in the target image and whose end point is the coordinates in the reference image of the position detected in the search range by the reciprocal of the reduction ratio, and then moves. Detect as a vector. For example, suppose that the motion vector in the image whose reduction ratio is reduced by half as described above is (-3, 7). In this case, the motion search unit 607 detects that each element of the motion vector is multiplied by "2", which is the reciprocal of the reduction ratio (-6, 14). The motion search unit 607 outputs the detected motion vector to the frame control unit 601.
符号化回路６０８は、フレーム制御部６０１から供給された対象画像を予め定められた方式で符号化し、データ量を削減した符号化画像データを生成する。符号化回路６０８は、第１実施形態における第１の符号化回路１０７または第２の符号化回路１０８と同様の構成である。符号化回路６０８は、第１の縮小探索回路６０２または第２の縮小探索回路６０３が検出した動きベクトルを基点にして、画像を縮小せずに、さらに動き探索を行って動きベクトルを検出する。つまり、符号化回路６０８の動き探索部３１１は、動き探索部６０７Ａが行う動き探索の結果および動き探索部６０７Ｂが行う動き探索の結果を用いて、動き探索を行う。縮小探索は処理量を削減することができるが、検出精度が低くなる。そのため、符号化回路６０８は、縮小探索の検出位置に対して、小さい探索範囲で細かく探索する。これにより、動きベクトルの検出精度が向上する。符号化回路６０８における動き探索部３１１は、第３の動き探索手段に対応する。
The coding circuit 608 encodes the target image supplied from the frame control unit 601 by a predetermined method, and generates coded image data with a reduced amount of data. The coding circuit 608 has the same configuration as the first coding circuit 107 or the second coding circuit 108 in the first embodiment. The coding circuit 608 uses the motion vector detected by the first reduction search circuit 602 or the second reduction search circuit 603 as a base point, and further performs a motion search to detect the motion vector without reducing the image. That is, the motion search unit 311 of the coding circuit 608 performs a motion search using the result of the motion search performed by the motion search unit 607A and the result of the motion search performed by the motion search unit 607B. The reduced search can reduce the amount of processing, but the detection accuracy is low. Therefore, the coding circuit 608 searches finely in a small search range with respect to the detection position of the reduced search. This improves the detection accuracy of the motion vector. The motion search unit 311 in the coding circuit 608 corresponds to the third motion search means.
次に、第２実施形態における画像の振り分けについて説明する。本実施形態の第１の縮小探索回路６０２と第２の縮小探索回路６０３と符号化回路６０８は、ランダムアクセスＧＯＰ構造において、並列に動作する。図９は、第２実施形態における画像をして入力から格納するまでの時間と各回路の処理時間との関係性を説明する図である。本実施形態では、第１の縮小探索回路６０２は、参照距離が最も長い画像の縮小動き探索を行い、第２の縮小探索回路６０３は、他の画像の縮小動き探索を行う。また、第１の縮小探索回路６０２による動き探索の探索範囲と第２の縮小探索回路６０３による動き探索の探索範囲とは異なるものとする。さらに、処理時間と探索範囲とは比例するものとする。そして、符号化回路６０８が動き探索を行う際の処理時間は、参照距離に依らず一定であるものとする。
Next, the distribution of images in the second embodiment will be described. The first reduction search circuit 602, the second reduction search circuit 603, and the coding circuit 608 of the present embodiment operate in parallel in the random access GOP structure. FIG. 9 is a diagram for explaining the relationship between the time from input to storage of an image in the second embodiment and the processing time of each circuit. In the present embodiment, the first reduction search circuit 602 searches for the reduction movement of the image having the longest reference distance, and the second reduction search circuit 603 searches for the reduction movement of another image. Further, it is assumed that the search range of the motion search by the first reduction search circuit 602 and the search range of the motion search by the second reduction search circuit 603 are different. Furthermore, the processing time and the search range shall be proportional. Then, it is assumed that the processing time when the coding circuit 608 performs the motion search is constant regardless of the reference distance.
図９において、現像処理部１０３から入力された画像＃０から＃２４の２５枚の画像が対象フレームバッファ１０４に格納される。符号化回路６０８が画像＃０を処理する際の処理時間および第２の縮小探索回路６０３の処理時間は、画像１枚を入力してから格納するまでの時間と同じものとする。また、第１の縮小探索回路６０２が画像＃８、＃１６、＃２４を処理する際の処理時間は、符号化回路６０８が画像＃０を処理する際の処理時間および第２の縮小探索回路６０３の処理時間の８倍であるものとする。なお、符号化回路６０８の処理は、ローカルデコード画像を参照フレームバッファ１０５へ出力することも含む。
In FIG. 9, 25 images of images # 0 to # 24 input from the development processing unit 103 are stored in the target frame buffer 104. The processing time when the coding circuit 608 processes the image # 0 and the processing time of the second reduction search circuit 603 are the same as the time from the input of one image to the storage. Further, the processing time when the first reduction search circuit 602 processes the images # 8, # 16, and # 24 is the processing time when the coding circuit 608 processes the image # 0 and the second reduction search circuit. It is assumed that it is 8 times the processing time of 603. The processing of the coding circuit 608 also includes outputting the locally decoded image to the reference frame buffer 105.
図９に示されるように、最初に、画像＃０が対象フレームバッファ１０４に格納される。画像＃０が格納された後、フレーム制御部６０１は、画像＃０を対象フレームバッファ１０４から読み出し、符号化回路６０８に供給する。符号化回路６０８は、供給された画像＃０を符号化する。第１実施形態と同様、符号化回路６０８は、画面内予測によって画像＃０を符号化する。また、画像＃０が対象フレームバッファ１０４に格納された後、画像＃１から＃８が対象フレームバッファ１０４に順次格納される。画像＃８が対象フレームバッファ１０４に格納された後、フレーム制御部６０１は、画像＃８を対象フレームバッファ１０４から読み出し、第１の縮小探索回路６０２に供給する。同時に、フレーム制御部６０１は、画像＃０を対象フレームバッファ１０４から読み出し、第１の縮小探索回路６０２に供給する。第１の縮小探索回路６０２は、供給された画像＃８に対して縮小処理および動き探索を行う。第１の縮小探索回路６０２は、他の画像（画像＃１等）の８枚分の時間をかけて、画像＃８の縮小探索を行う。
As shown in FIG. 9, image # 0 is first stored in the target frame buffer 104. After the image # 0 is stored, the frame control unit 601 reads the image # 0 from the target frame buffer 104 and supplies the image # 0 to the coding circuit 608. The coding circuit 608 encodes the supplied image # 0. Similar to the first embodiment, the coding circuit 608 encodes the image # 0 by the in-screen prediction. Further, after the image # 0 is stored in the target frame buffer 104, the images # 1 to # 8 are sequentially stored in the target frame buffer 104. After the image # 8 is stored in the target frame buffer 104, the frame control unit 601 reads the image # 8 from the target frame buffer 104 and supplies the image # 8 to the first reduction search circuit 602. At the same time, the frame control unit 601 reads the image # 0 from the target frame buffer 104 and supplies it to the first reduction search circuit 602. The first reduction search circuit 602 performs reduction processing and motion search on the supplied image # 8. The first reduction search circuit 602 takes time for eight images (image # 1, etc.) to perform a reduction search for image # 8.
第１の縮小探索回路６０２による画像＃８に対する縮小探索に並行して、画像＃９から＃１６が対象フレームバッファ１０４に順次格納される。第１の縮小探索回路６０２が画像＃８の縮小探索を完了した後、画像＃１７から＃２４が対象フレームバッファ１０４に順次格納される。また、第１の縮小探索回路６０２が画像＃８の縮小探索を完了した後、フレーム制御部６０１は、画像＃１６を対象フレームバッファ１０４から読み出し、第１の縮小探索回路６０２に供給する。同時に、フレーム制御部６０１は、画像＃８を対象フレームバッファ１０４から読み出し、第１の縮小探索回路６０２に供給する。第１の縮小探索回路６０２は、供給された画像＃１６に対して縮小処理および動き探索を行う。第１の縮小探索回路６０２は、他の画像（画像＃９等）の８枚分の時間をかけて、画像＃１６の縮小探索を行う。
Images # 9 to # 16 are sequentially stored in the target frame buffer 104 in parallel with the reduction search for the image # 8 by the first reduction search circuit 602. After the first reduction search circuit 602 completes the reduction search for image # 8, images # 17 to # 24 are sequentially stored in the target frame buffer 104. Further, after the first reduction search circuit 602 completes the reduction search of the image # 8, the frame control unit 601 reads the image # 16 from the target frame buffer 104 and supplies the image # 16 to the first reduction search circuit 602. At the same time, the frame control unit 601 reads the image # 8 from the target frame buffer 104 and supplies it to the first reduction search circuit 602. The first reduction search circuit 602 performs reduction processing and motion search on the supplied image # 16. The first reduction search circuit 602 takes time for eight images (image # 9, etc.) to perform a reduction search for image # 16.
フレーム制御部６０１は、第１の縮小探索回路６０２が画像＃８の縮小探索を完了した後、画像＃１から＃７を対象フレームバッファ１０４から順次読み出し、第２の縮小探索回路６０３に供給する。ここで、フレーム制御部６０１による画像＃１から＃７の供給はＧＯＰ構造に従って行われるものとする。画像＃４、＃２、＃６、＃１、＃３、＃５、＃７の順で、各画像が第２の縮小探索回路６０３に供給される。同時に、フレーム制御部６０１は、画像＃１から＃７の縮小探索で参照する画像を対象フレームバッファ１０４から順次読み出し、第２の縮小探索回路６０３に供給する。例えば、画像＃４が縮小探索されるときには画像＃０、＃８が読み出される。画像＃６が縮小探索されるときには画像＃４、＃８が読み出される。第２の縮小探索回路６０３は、供給された画像＃１から＃７のそれぞれに対して縮小処理および動き探索を行う。
After the first reduction search circuit 602 completes the reduction search of the image # 8, the frame control unit 601 sequentially reads the images # 1 to # 7 from the target frame buffer 104 and supplies them to the second reduction search circuit 603. .. Here, it is assumed that the images # 1 to # 7 are supplied by the frame control unit 601 according to the GOP structure. Each image is supplied to the second reduction search circuit 603 in the order of images # 4, # 2, # 6, # 1, # 3, # 5, and # 7. At the same time, the frame control unit 601 sequentially reads out the images referred to in the reduction search of the images # 1 to # 7 from the target frame buffer 104 and supplies them to the second reduction search circuit 603. For example, when the image # 4 is reduced and searched, the images # 0 and # 8 are read out. When the image # 6 is reduced and searched, the images # 4 and # 8 are read out. The second reduction search circuit 603 performs reduction processing and motion search for each of the supplied images # 1 to # 7.
また、第１の縮小探索回路６０２が画像＃８の縮小探索を完了した後、フレーム制御部６０１は、画像＃８を対象フレームバッファ１０４から読み出し、符号化回路６０８に供給する。同時に、フレーム制御部６０１は、第１の縮小探索回路６０２の検出結果に基づいて画像＃０のローカルデコード画像を参照フレームバッファ１０５から読み出し、符号化回路６０８に供給する。符号化回路６０８は、供給された画像＃８を符号化する。
Further, after the first reduction search circuit 602 completes the reduction search of the image # 8, the frame control unit 601 reads the image # 8 from the target frame buffer 104 and supplies the image # 8 to the coding circuit 608. At the same time, the frame control unit 601 reads the locally decoded image of the image # 0 from the reference frame buffer 105 based on the detection result of the first reduction search circuit 602 and supplies it to the coding circuit 608. The coding circuit 608 encodes the supplied image # 8.
符号化回路６０８が画像＃８の符号化を完了した後、フレーム制御部６０１は、画像＃１から＃７を対象フレームバッファ１０４から順次読み出し、符号化回路６０８に供給する。ここで、フレーム制御部６０１による画像＃１から＃７の供給は、上述した縮小探索と同様にＧＯＰ構造に従って行われるものとする。同時に、フレーム制御部６０１は、画像＃１から＃７の符号化で参照する画像を、第２の縮小探索回路６０３の検出結果に基づいて参照フレームバッファ１０５から順次読み出し、符号化回路６０８に供給する。符号化回路６０８は、供給された画像＃１から＃７を符号化する。画像＃１から＃７は、それぞれ、符号化が行われる前に縮小探索が完了している。例えば、画像＃４は縮小探索の後に符号化が行われ、画像＃２も同様に、縮小探索の後に符号化が行われる。以上のように、本実施形態では、符号化回路６０８の動き探索部３１１は、動き探索部６０７Ａおよび動き探索部６０７Ｂが縮小探索を行った後に、動き探索を行う。そして、符号化回路６０８は、画像の符号化を行う。
After the coding circuit 608 completes the coding of the image # 8, the frame control unit 601 sequentially reads the images # 1 to # 7 from the target frame buffer 104 and supplies them to the coding circuit 608. Here, it is assumed that the images # 1 to # 7 are supplied by the frame control unit 601 according to the GOP structure as in the reduction search described above. At the same time, the frame control unit 601 sequentially reads out the images referred to by the coding of the images # 1 to # 7 from the reference frame buffer 105 based on the detection result of the second reduction search circuit 603, and supplies the images to the coding circuit 608. do. The coding circuit 608 encodes the supplied images # 1 to # 7. The reduction search for each of the images # 1 to # 7 is completed before the coding is performed. For example, image # 4 is coded after the reduction search, and image # 2 is similarly coded after the reduction search. As described above, in the present embodiment, the motion search unit 311 of the coding circuit 608 performs the motion search after the motion search unit 607A and the motion search unit 607B perform the reduction search. Then, the coding circuit 608 encodes the image.
フレーム制御部６０１は、第１の縮小探索回路６０２が画像＃１６の縮小探索を完了した後、画像＃２４を対象フレームバッファ１０４から読み出し、第１の縮小探索回路６０２に供給する。同時に、フレーム制御部６０１は、画像＃１６を対象フレームバッファ１０４から読み出し、第１の縮小探索回路６０２に供給する。第１の縮小探索回路６０２は、供給された画像＃２４に対して縮小処理および動き探索を行う。第１の縮小探索回路６０２は、画像＃２４については、他の画像（画像＃１７等）の８枚分の時間をかけて処理を行う。
After the first reduction search circuit 602 completes the reduction search of the image # 16, the frame control unit 601 reads the image # 24 from the target frame buffer 104 and supplies the image # 24 to the first reduction search circuit 602. At the same time, the frame control unit 601 reads the image # 16 from the target frame buffer 104 and supplies it to the first reduction search circuit 602. The first reduction search circuit 602 performs reduction processing and motion search on the supplied image # 24. The first reduction search circuit 602 processes the image # 24 over a time equivalent to eight images (image # 17, etc.).
フレーム制御部６０１は、第１の縮小探索回路６０２が画像＃１６の縮小探索を完了した後、画像＃９から＃１５を対象フレームバッファ１０４から順次読み出し、画像＃１から＃７と同様に第２の縮小探索回路６０３に供給する。同時に、フレーム制御部６０１は、画像＃９から＃１５の縮小探索で参照する画像を対象フレームバッファ１０４から順次読み出し、第２の縮小探索回路６０３に供給する。第２の縮小探索回路６０３は、供給された画像＃９から＃１５のそれぞれに対して縮小処理および動き探索を行う。
After the first reduction search circuit 602 completes the reduction search of the image # 16, the frame control unit 601 sequentially reads the images # 9 to # 15 from the target frame buffer 104, and similarly to the images # 1 to # 7. It is supplied to the reduction search circuit 603 of 2. At the same time, the frame control unit 601 sequentially reads out the images referred to in the reduction search of the images # 9 to # 15 from the target frame buffer 104 and supplies them to the second reduction search circuit 603. The second reduction search circuit 603 performs reduction processing and motion search for each of the supplied images # 9 to # 15.
また、フレーム制御部６０１は、第１の縮小探索回路６０２が画像＃１６の縮小探索を完了した後、対象フレームバッファ１０４から画像＃１６を読み出して符号化回路６０８に供給する。同時に、フレーム制御部６０１は第１の縮小探索回路６０２の検出結果に基づいて画像＃８のローカルデコード画像を参照フレームバッファ１０５から読み出して符号化回路６０８に供給する。符号化回路６０８は、供給された画像＃１６を符号化する。
Further, the frame control unit 601 reads the image # 16 from the target frame buffer 104 and supplies the image # 16 to the coding circuit 608 after the first reduction search circuit 602 completes the reduction search of the image # 16. At the same time, the frame control unit 601 reads the locally decoded image of the image # 8 from the reference frame buffer 105 based on the detection result of the first reduction search circuit 602 and supplies it to the coding circuit 608. The coding circuit 608 encodes the supplied image # 16.
フレーム制御部６０１は、符号化回路６０８が画像＃１６の符号化を完了した後、画像＃９から＃１５を対象フレームバッファ１０４から順次読み出し、符号化回路６０８に供給する。同時に、フレーム制御部６０１は、画像＃９から＃１５の符号化で参照する画像を、第２の縮小探索回路６０３の検出結果に基づいて参照フレームバッファ１０５から順次読み出し、符号化回路６０８に供給する。符号化回路６０８は、供給された画像＃９から＃１５を符号化する。
After the coding circuit 608 completes the coding of the image # 16, the frame control unit 601 sequentially reads the images # 9 to # 15 from the target frame buffer 104 and supplies them to the coding circuit 608. At the same time, the frame control unit 601 sequentially reads out the images referred to by the coding of the images # 9 to # 15 from the reference frame buffer 105 based on the detection result of the second reduction search circuit 603, and supplies the images to the coding circuit 608. do. The coding circuit 608 encodes the supplied images # 9 to # 15.
フレーム制御部６０１は、第１の縮小探索回路６０２が画像＃２４の縮小探索を完了した後、画像＃１７から＃２３を対象フレームバッファ１０４から順次読み出し、画像＃１から＃７と同様に第２の縮小探索回路６０３に供給する。同時に、フレーム制御部６０１は、画像＃１７から＃２３の縮小探索で参照する画像を対象フレームバッファ１０４から順次読み出し、第２の縮小探索回路６０３に供給する。第２の縮小探索回路６０３は、供給された画像＃１７から＃２３のそれぞれに対して縮小処理および動き探索を行う。
After the first reduction search circuit 602 completes the reduction search of the image # 24, the frame control unit 601 sequentially reads the images # 17 to # 23 from the target frame buffer 104, and similarly to the images # 1 to # 7. It is supplied to the reduction search circuit 603 of 2. At the same time, the frame control unit 601 sequentially reads out the images referred to in the reduction search of the images # 17 to # 23 from the target frame buffer 104 and supplies them to the second reduction search circuit 603. The second reduction search circuit 603 performs reduction processing and motion search for each of the supplied images # 17 to # 23.
また、フレーム制御部６０１は、第１の縮小探索回路６０２が画像＃２４の縮小探索を完了した後、対象フレームバッファ１０４から画像＃２４を読み出して符号化回路６０８に供給する。同時に、フレーム制御部６０１は第１の縮小探索回路６０２の検出結果に基づいて画像＃１６のローカルデコード画像を参照フレームバッファ１０５から読み出して、符号化回路６０８に供給する。符号化回路６０８は、供給された画像＃２４を符号化する。
Further, the frame control unit 601 reads the image # 24 from the target frame buffer 104 and supplies the image # 24 to the coding circuit 608 after the first reduction search circuit 602 completes the reduction search of the image # 24. At the same time, the frame control unit 601 reads the locally decoded image of the image # 16 from the reference frame buffer 105 based on the detection result of the first reduction search circuit 602 and supplies it to the coding circuit 608. The coding circuit 608 encodes the supplied image # 24.
フレーム制御部６０１は、符号化回路６０８が画像＃２４の符号化を完了した後、画像＃１７から＃２３を対象フレームバッファ１０４から順次読み出し、符号化回路６０８に供給する。同時に、フレーム制御部６０１は、画像＃１７から＃２３の符号化で参照する画像を、第２の縮小探索回路６０３の検出結果に基づいて参照フレームバッファ１０５から順次読み出し、符号化回路６０８に供給する。符号化回路６０８は、供給された画像＃１７から＃２３を符号化する。
After the coding circuit 608 completes the coding of the image # 24, the frame control unit 601 sequentially reads the images # 17 to # 23 from the target frame buffer 104 and supplies them to the coding circuit 608. At the same time, the frame control unit 601 sequentially reads out the images referred to by the coding of the images # 17 to # 23 from the reference frame buffer 105 based on the detection result of the second reduction search circuit 603, and supplies the images to the coding circuit 608. do. The coding circuit 608 encodes the supplied images # 17 to # 23.
次に、第２実施形態の処理の流れについて説明する。図１０は、第２実施形態の処理の流れを示すフローチャートである。Ｓ２０１において、第１の符号化回路１０７は、先頭フレームを画面内予測で符号化する。Ｓ２０２において、フレーム制御部６０１は、対象フレームバッファ１０４に格納されている画像を順次読み出していく。Ｓ２０３において、フレーム制御部６０１は、読み出した画像が、参照距離が最も長い画像であるかを判定する。フレーム制御部６０１は、Ｓ２０３でＹＥＳと判定した場合、Ｓ２０４において、読み出された画像（例えば、画像＃８）を、第１の縮小探索回路６０２に供給する。そして、Ｓ２０５において、フレーム縮小部６０４Ａは、供給された画像を縮小する。次に、Ｓ２０６において、動き探索部６０７Ａは、動き探索部６０７Ｂが行う動き探索の探索範囲より広い探索範囲の中で動き探索を行う。
Next, the processing flow of the second embodiment will be described. FIG. 10 is a flowchart showing the processing flow of the second embodiment. In S201, the first coding circuit 107 encodes the first frame by in-screen prediction. In S202, the frame control unit 601 sequentially reads out the images stored in the target frame buffer 104. In S203, the frame control unit 601 determines whether the read image is the image having the longest reference distance. When the frame control unit 601 determines YES in S203, the frame control unit 601 supplies the read image (for example, image # 8) in S204 to the first reduction search circuit 602. Then, in S205, the frame reduction unit 604A reduces the supplied image. Next, in S206, the motion search unit 607A performs a motion search within a search range wider than the search range of the motion search performed by the motion search unit 607B.
一方、フレーム制御部６０１は、Ｓ２０３でＮＯと判定した場合、Ｓ２０７において、読み出された画像（例えば、画像＃９）を、第２の縮小探索回路６０３に供給する。そして、Ｓ２０７において、フレーム縮小部６０４Ｂは、供給された画像を縮小する。次に、Ｓ２０８において、動き探索部６０７Ｂは、所定の探索範囲の中で動き探索を行う。そして、Ｓ２０９において、符号化回路６０８の動き探索部３１１は、画像を縮小せずに動き探索を行う。Ｓ２０６の処理とＳ２０８の処理とＳ２０９の処理とは並列に行われる。Ｓ２１０において、フレーム制御部６０１は、処理が終了したかを判定する。フレーム制御部６０１は、Ｓ２１０でＮＯと判定した場合、処理をＳ２０２に戻す。フレーム制御部６０１は、Ｓ２１０でＹＥＳと判定した場合、処理を終了させる。
On the other hand, when the frame control unit 601 determines NO in S203, the frame control unit 601 supplies the read image (for example, image # 9) in S207 to the second reduction search circuit 603. Then, in S207, the frame reduction unit 604B reduces the supplied image. Next, in S208, the motion search unit 607B performs a motion search within a predetermined search range. Then, in S209, the motion search unit 311 of the coding circuit 608 performs a motion search without reducing the image. The processing of S206, the processing of S208, and the processing of S209 are performed in parallel. In S210, the frame control unit 601 determines whether or not the processing is completed. When the frame control unit 601 determines NO in S210, the frame control unit 601 returns the process to S202. When the frame control unit 601 determines YES in S210, the frame control unit 601 ends the process.
従って、本実施形態では、第１の縮小探索回路６０２および第２の縮小探索回路６０３は、各画像に対して、縮小探索を行う。これにより、縮小探索を行わない場合と比較して、広い範囲での動き探索が実現される。特に、本実施形態では、ランダムアクセスＧＯＰ構造において参照距離が最も長い画像（画像＃８、＃１６、＃２４）に対して、縮小探索の探索範囲を広げることができる。これにより、画像内の大きな動きも検出しやすくなる。従って、第２実施形態では、第１実施形態と同様の効果を得ることができるとともに、広い探索範囲で動き探索を行うことができる。
Therefore, in the present embodiment, the first reduction search circuit 602 and the second reduction search circuit 603 perform a reduction search for each image. As a result, a movement search in a wide range is realized as compared with the case where the reduction search is not performed. In particular, in the present embodiment, the search range of the reduced search can be expanded for the images (images # 8, # 16, # 24) having the longest reference distance in the random access GOP structure. This makes it easier to detect large movements in the image. Therefore, in the second embodiment, the same effect as that of the first embodiment can be obtained, and the motion search can be performed in a wide search range.
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications and changes can be made within the scope of the gist thereof. The present invention supplies a program that realizes one or more functions of each of the above-described embodiments to a system or device via a network or storage medium, and one or more processors of the computer of the system or device can program the program. It can also be realized by the process of reading and executing. The present invention can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
