JP2006295521A - Moving image compression apparatus and moving image pickup apparatus - Google Patents

Moving image compression apparatus and moving image pickup apparatus Download PDF

Info

Publication number
JP2006295521A
JP2006295521A JP2005113180A JP2005113180A JP2006295521A JP 2006295521 A JP2006295521 A JP 2006295521A JP 2005113180 A JP2005113180 A JP 2005113180A JP 2005113180 A JP2005113180 A JP 2005113180A JP 2006295521 A JP2006295521 A JP 2006295521A
Authority
JP
Japan
Prior art keywords
moving image
frame
image signal
frame rate
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005113180A
Other languages
Japanese (ja)
Inventor
Yuichi Yoshida
祐一 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005113180A priority Critical patent/JP2006295521A/en
Publication of JP2006295521A publication Critical patent/JP2006295521A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a moving image compression apparatus capable of suitably compressing a moving image in real time in accordance with a scene, and a moving image pickup apparatus. <P>SOLUTION: A frame judgment part 109 outputs a moving image signal of a second frame rate which consists of frames picked up (extracted) at a fixed interval out of frames of an inputted moving image signal of a first frame rate. Further the frame judgment part 109 outputs a moving image signal consisting of frames (operation frames) other than the frames extracted at the fixed interval to a difference adding part 117. The moving image signal indicates a difference between an individual block of the operation frame and a block allowed to correspond by a motion vector. The difference adding part 117 adds the absolute value of the difference. A quantization table selection part 119 selects a quantization table on the basis of the added result (total value) of the difference adding part 117. The selected quantization table is used for the quantization of the moving image signal of the second frame rate. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、動画像信号を圧縮する動画像圧縮装置に関する。また、本発明は、本動画像圧縮装置および撮像素子を備え、動画像の撮像および圧縮を行う動画像撮像装置にも関する。   The present invention relates to a moving image compression apparatus that compresses a moving image signal. The present invention also relates to a moving image imaging apparatus that includes a main moving image compression apparatus and an imaging element and performs imaging and compression of moving images.

動画の圧縮方法については、以下を目標にして、各種の符号化手法が企画および標準化され、放送や通信のアプリケーションにおいて用いられている。
MPEG-1:1.5Mb/s前後で、許容限度を上回る品質の動画を符号化する。
MPEG-2:16Mb/s前後で高品質な動画の符号化を行う。
MPEG-4:MPEG-2よりさらに高い高能率性、高度なデータ操作性、コンテンツ、使用環境に対する適応を実現する。
With regard to video compression methods, various encoding methods have been planned and standardized for the following purposes, and are used in broadcasting and communication applications.
MPEG-1: Encodes video with quality exceeding the allowable limit at around 1.5Mb / s.
MPEG-2: Encodes high-quality video at around 16 Mb / s.
MPEG-4: Realizes higher efficiency, higher data operability, content and usage environment than MPEG-2.

それぞれの圧縮方法において、通常の場合、一度圧縮率を設定すると、色々なシーンにおいても、同じ圧縮率でエンコードが行われる。その結果、冗長な画像が生成される場合もあれば、圧縮のしすぎによって劣化した画像が発生する場合もある。比較的簡単な計算により、歪みが出にくいように圧縮の符号化手法を変化させる方法が特許文献1に記載されている。この方法は、直前のフレームとの画像の差分を求め、差分量の大、中、小に応じて符号化手法を切り換えるものである。
特開2004−266720号公報
In each compression method, in a normal case, once the compression rate is set, encoding is performed at the same compression rate even in various scenes. As a result, a redundant image may be generated, or an image deteriorated due to excessive compression may occur. Patent Document 1 describes a method of changing a compression encoding method so that distortion is not easily generated by a relatively simple calculation. In this method, an image difference from the immediately preceding frame is obtained, and the coding method is switched according to the amount of difference, large, medium, or small.
JP 2004-266720 A

動画の圧縮においては、前述したように、一度圧縮率が設定されると、どのシーンにおいても同じ圧縮率でエンコードが行われるため、冗長な画像が生成されたり、圧縮のしすぎによって劣化した画像が発生したりする場合があるという問題があった。圧縮率を固定した場合、圧縮率を小さくすれば画質が良くなるが、圧縮率を必要以上に小さくすると、データ量が増え、システム全体の大きなコストアップとなる。また、特許文献1に記載された方法では、簡易な処理により圧縮率を向上させるという点では効果があるが、シーンに応じて圧縮率をきめ細かく決定することができないという問題があった。   In video compression, as described above, once the compression rate is set, encoding is performed at the same compression rate in any scene, so redundant images are generated or images deteriorated due to excessive compression. There was a problem that may occur. When the compression rate is fixed, the image quality is improved if the compression rate is reduced. However, if the compression rate is reduced more than necessary, the amount of data increases and the cost of the entire system increases. The method described in Patent Document 1 is effective in improving the compression rate by simple processing, but has a problem that the compression rate cannot be determined in detail according to the scene.

また、動画の圧縮においては、圧縮対象のフレームを分割した画像ブロックと、参照フレームを分割した画像ブロックとを、画像中の動きに基づいて対応付ける動きベクトルを求めるために行う画像ブロック同士の比較演算の計算量が膨大になる。そのため、高速な演算処理が必要となるので、実現コストが高いという問題があった。比較演算の計算量が膨大となるのは、1フレームを構成する画像データを複数のブロックに分割し、各ブロック毎に参照フレームのブロックと比較してフレーム間の動きベクトルを求める必要があり、周囲の一定範囲内でドットをずらしながらブロック間の比較演算を行うためである。   In video compression, a comparison operation between image blocks is performed to obtain a motion vector that associates an image block obtained by dividing a compression target frame with an image block obtained by dividing a reference frame based on motion in the image. The amount of calculation becomes enormous. Therefore, since high-speed arithmetic processing is required, there is a problem that the realization cost is high. The amount of calculation of the comparison operation is enormous. It is necessary to divide image data constituting one frame into a plurality of blocks, and to calculate a motion vector between the frames by comparing with each reference block. This is because the comparison operation between the blocks is performed while shifting the dots within a certain fixed range.

本発明は、上述した問題点に鑑みてなされたものであって、シーンに応じて適切な圧縮をリアルタイムに行うことができる動画像圧縮装置および動画像撮像装置を提供することを第1の目的とする。また、本発明は、動きベクトルを求めるための計算量を低減し、低コストで圧縮を行うことができる動画像圧縮装置および動画像撮像装置を提供することを第2の目的とする。   The present invention has been made in view of the above-described problems, and a first object thereof is to provide a moving image compression apparatus and a moving image imaging apparatus capable of performing appropriate compression in real time according to a scene. And A second object of the present invention is to provide a moving image compression apparatus and a moving image imaging apparatus that can reduce the amount of calculation for obtaining a motion vector and perform compression at low cost.

本発明は、上記の課題を解決するためになされたもので、請求項1に記載の発明は、第1のフレームレートの動画像信号を入力する動画像信号入力手段と、前記動画像信号入力手段から入力された前記第1のフレームレートの動画像信号のフレームを一定間隔で抽出し、第2のフレームレートの動画像信号を生成する信号生成手段と、前記第1のフレームレートの動画像信号を用いて、前記第2のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、前記選択手段によって選択された前記量子化テーブルを用いて、前記第2のフレームレートの動画像信号を圧縮する圧縮手段とを有する動画像圧縮装置である。   The present invention has been made to solve the above-described problems. The invention according to claim 1 is directed to a moving image signal input means for inputting a moving image signal having a first frame rate, and the moving image signal input. Means for extracting a frame of the moving image signal of the first frame rate inputted from the means at a constant interval and generating a moving image signal of the second frame rate; and a moving image of the first frame rate Using the signal, a selection means for selecting a quantization table used for compression of the moving image signal of the second frame rate, and the second frame rate using the quantization table selected by the selection means And a compression means for compressing the moving image signal.

請求項2に記載の発明は、請求項1に記載の動画像圧縮装置において、前記信号生成手段は、前記第1のフレームレートの動画像信号のフレームのうち、一定間隔で抽出したフレームを前記第2のフレームレートの動画像信号として前記圧縮手段へ出力すると共に、前記一定間隔で抽出したフレーム以外のフレームを前記選択手段へ出力することを特徴とする。   According to a second aspect of the present invention, in the moving picture compression apparatus according to the first aspect, the signal generating means extracts frames extracted at regular intervals from among the frames of the moving picture signal of the first frame rate. A moving image signal having a second frame rate is output to the compression unit, and frames other than the frames extracted at the predetermined interval are output to the selection unit.

請求項3に記載の発明は、請求項1に記載の動画像圧縮装置において、前記動画像信号入力手段から入力された前記第1のフレームレートの動画像信号のフレームを構成する画像データを複数の画像ブロックに分割する第1のブロック分割手段と、参照フレームを構成する画像データを複数の画像ブロックに分割する第2のブロック分割手段と、圧縮対象のフレームの前記画像ブロックと参照フレームの前記画像ブロックとを、画像中の動きに基づいて対応付ける動きベクトルを演算する動きベクトル演算手段とをさらに有することを特徴とする。   According to a third aspect of the present invention, in the moving picture compression apparatus according to the first aspect, a plurality of pieces of image data constituting a frame of the moving picture signal of the first frame rate input from the moving picture signal input means are provided. First block dividing means for dividing the image data into a plurality of image blocks, second block dividing means for dividing the image data constituting the reference frame into a plurality of image blocks, the image block of the compression target frame, and the reference frame The image processing apparatus further includes motion vector calculation means for calculating a motion vector for associating the image block with the motion in the image.

請求項4に記載の発明は、請求項3に記載の動画像圧縮装置において、前記選択手段は、前記動きベクトルによって対応付けられた前記画像ブロック間の差分を1フレーム内で加算し、前記差分の合計を算出する差分加算手段と、予め記録された量子化テーブルの中から、前記差分加算手段によって算出された前記差分の合計に基づいて、圧縮対象のフレームの圧縮に用いる量子化テーブルを選択する量子化テーブル選択手段とを有することを特徴とする。   According to a fourth aspect of the present invention, in the moving image compression apparatus according to the third aspect, the selection unit adds a difference between the image blocks associated by the motion vector within one frame, and the difference A difference adding means for calculating the sum of the two, and a quantization table used for compression of the compression target frame based on the sum of the differences calculated by the difference adding means from a previously recorded quantization table And a quantization table selecting means.

請求項5に記載の発明は、撮像領域を構成する複数の分割エリアの各々から画像信号を並列に出力する撮像素子と、前記撮像素子から出力された複数の前記画像信号を合成し、第1のフレームレートの動画像信号として出力する信号合成手段と、前記第1のフレームレートの動画像信号を入力する動画像信号入力手段と、前記動画像信号入力手段から入力された前記第1のフレームレートの動画像信号のフレームを一定間隔で抽出し、第2のフレームレートの動画像信号を生成する信号生成手段と、前記第1のフレームレートの動画像信号を用いて、前記第2のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、前記選択手段によって選択された前記量子化テーブルを用いて、前記第2のフレームレートの動画像信号を圧縮する圧縮手段とを有する動画像撮像装置である。   According to a fifth aspect of the present invention, an image sensor that outputs an image signal in parallel from each of a plurality of divided areas that constitute an imaging region and a plurality of the image signals output from the image sensor are combined, Signal synthesizing means for outputting as a moving image signal of the frame rate, moving image signal input means for inputting the moving image signal of the first frame rate, and the first frame inputted from the moving image signal input means The second frame is extracted using signal generation means for extracting a frame of a moving image signal of a rate at a constant interval and generating a moving image signal of a second frame rate, and the moving image signal of the first frame rate. A second frame rate moving unit using a selecting unit that selects a quantization table used for compressing the moving image signal of the rate, and the quantization table selected by the selecting unit; A moving picture imaging apparatus and a compressing means for compressing the image signal.

本発明によれば、映像出力のフレームレートよりも高フレームレートである第1フレームレートのフレームを用いて、映像出力となる第2フレームレートのフレームに対する量子化テーブルを選択することによって、シーンに応じた適切な圧縮をリアルタイムに行うことができるという効果が得られる。また、本発明によれば、第1フレームレートのフレームを用いて、圧縮に必要な動きベクトルを求めることによって、圧縮対象のフレームの画像ブロックと参照フレームの画像ブロックのマッチングにおける演算範囲を狭めることができるので、動きベクトルを求めるための計算量を大きく低減し、低コストで圧縮を行うことができる。   According to the present invention, by using a frame having a first frame rate that is higher than the frame rate of the video output and selecting a quantization table for a frame having the second frame rate that is the video output, The effect that the appropriate compression according to it can be performed in real time is acquired. According to the present invention, the calculation range in matching between the image block of the compression target frame and the image block of the reference frame is narrowed by obtaining a motion vector necessary for compression using the frame of the first frame rate. Therefore, the calculation amount for obtaining the motion vector can be greatly reduced, and compression can be performed at low cost.

以下、図面を参照し、本発明を実施するための最良の形態について説明する。図1は、本発明の第1の実施形態による動画像圧縮装置の構成を示すブロック図である。まず、図中の各構成の機能を説明する。動画像圧縮装置1において、A/D変換部101(動画像信号入力手段)は、所定のフレームレート(第1のフレームレート)で入力されたビデオ信号(動画像信号)を標本化・量子化し、デジタルデータに変換する。ビデオメモリ102は、A/D変換部101から出力された1フレーム分の画像データを記憶する。   The best mode for carrying out the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a moving image compression apparatus according to the first embodiment of the present invention. First, the function of each component in the figure will be described. In the moving image compression apparatus 1, the A / D conversion unit 101 (moving image signal input means) samples and quantizes a video signal (moving image signal) input at a predetermined frame rate (first frame rate). , Convert to digital data. The video memory 102 stores image data for one frame output from the A / D conversion unit 101.

ブロック切り出し部103(第1のブロック分割手段)は、ビデオメモリ102から出力された画像データを構成するフレーム内の画像全体をN×M画素(N,Mは自然数)のブロック(画像ブロック)に切り出す(分割する)。ブロック取り出し部104は、ブロック切り出し部103およびブロック切り出し部105(第2のブロック分割手段)によって切り出されたブロックを順次1ブロック毎に取り出す。ブロック切り出し部105は、ビデオメモリ106に格納された参照フレーム内の画像全体をN×M画素のブロック(画像ブロック)に切り出す(分割する)。ビデオメモリ106は参照フレームの画像データを記憶する。   The block cutout unit 103 (first block dividing unit) converts the entire image in the frame constituting the image data output from the video memory 102 into a block (image block) of N × M pixels (N and M are natural numbers). Cut out (divide). The block extraction unit 104 sequentially extracts the blocks extracted by the block extraction unit 103 and the block extraction unit 105 (second block dividing unit) for each block. The block cutout unit 105 cuts out (divides) the entire image in the reference frame stored in the video memory 106 into N × M pixel blocks (image blocks). The video memory 106 stores image data of reference frames.

動き補償予測部107(動きベクトル演算手段)は、圧縮対象のフレームと参照フレームとを用いて、ブロック毎に動きベクトルを算出する。動きベクトルの算出の際に、動き補償予測部107は、N×M画素のブロックに分割された画像フレームを用いて、分割後の各ブロックの周囲の限られた範囲内でブロックマッチングを行い、動きベクトルを求める。図2には、この様子が示されている。画像フレームのブロック分割の様子は、図2に示されるとおりである。動き補償予測部107は、例えば図2のブロックAの座標位置に対応する参照フレーム中のブロックaの同座標位置を中心として、定量ドット(例えば+−15ドット)ずつずらした範囲内でブロックマッチングを行う(図3参照)。1ドットずつ順番に位置ずらしを行い、ブロック同士の画素値の絶対値差分が最小になる位置から動きベクトルを求めている。この動きベクトルによって、ブロック毎の対応付けが行われる。   The motion compensation prediction unit 107 (motion vector calculation means) calculates a motion vector for each block using the compression target frame and the reference frame. When calculating a motion vector, the motion compensation prediction unit 107 performs block matching within a limited range around each block after division, using an image frame divided into N × M pixel blocks, Find the motion vector. FIG. 2 shows this state. A state of block division of the image frame is as shown in FIG. For example, the motion compensation predicting unit 107 performs block matching within a range shifted by a fixed amount of dots (for example, + -15 dots) around the same coordinate position of the block a in the reference frame corresponding to the coordinate position of the block A in FIG. (See FIG. 3). The position is shifted one dot at a time, and the motion vector is obtained from the position where the absolute value difference between the pixel values of the blocks is minimized. Correspondence for each block is performed by this motion vector.

演算部108は、画像の差分を求める処理部である。演算部108は、ブロック切り出し部103によって分割された個々のブロックと、動き補償予測部107が求めた動きベクトルによって対応付けられたブロックの間の差分を求める。図2を用いて説明すると、矢印200が、動き補償予測部107によって求められた動きベクトルを示している。この部分は、画素値の差分(ブロックA、および動きベクトルにより移動が関連付けられたブロックbの画素値の差分)が最小となり、移動等により対応付けられるエリアと想定される。演算部108は、このようにして求められたエリア間(ブロックA、および動きベクトルにより移動が関連付けられたブロックb)の個々の画素値の差分を求め、画素値の差分からなる差分画像の動画像信号をフレーム判定部109へ出力する。   The calculation unit 108 is a processing unit that calculates an image difference. The calculation unit 108 obtains a difference between each block divided by the block cutout unit 103 and a block associated with the motion vector obtained by the motion compensation prediction unit 107. If it demonstrates using FIG. 2, the arrow 200 has shown the motion vector calculated | required by the motion compensation prediction part 107. FIG. This portion is assumed to be an area where the difference between pixel values (the difference between the pixel values of the block A and the block b to which movement is associated by a motion vector) is minimized, and is associated by movement or the like. The calculation unit 108 obtains a difference between individual pixel values between the areas obtained in this way (block A and block b associated with movement by a motion vector), and a moving image of a difference image composed of the difference between pixel values. The image signal is output to the frame determination unit 109.

フレーム判定部109(信号生成手段)はフレームの処理の判定を行う。動画像圧縮装置1に入力された第1フレームレートのフレームは、圧縮率(量子化テーブル)や動きベクトルの算出の目的で使われるフレーム(以降、演算フレームと呼ぶ)を包含し、第2フレームレートのフレームは、映像フレームとして信号出力されるフレームとなる。フレーム判定部109は、フレームのシーケンシャル番号に基づいて、処理対象のフレームが映像フレームであるのか、それとも演算フレームであるのか判定する。フレーム判定部109は、入力された第1フレームレートの動画像信号のフレームのうち、シーケンシャル番号に基づいて一定間隔でピックアップ(抽出)したフレームを第2フレームレートのフレーム(映像フレーム)と判定し、そのフレームの動画像信号をDCT部110へ出力する。また、フレーム判定部109は、一定間隔で抽出したフレーム以外のフレームの動画像信号を差分加算部117へ出力する。   The frame determination unit 109 (signal generation means) determines frame processing. The frame of the first frame rate input to the moving image compression apparatus 1 includes a frame used for the purpose of calculating a compression rate (quantization table) and a motion vector (hereinafter referred to as an operation frame), and includes a second frame. The rate frame is a frame that is output as a video frame. The frame determination unit 109 determines whether the processing target frame is a video frame or a calculation frame based on the sequential number of the frame. The frame determination unit 109 determines a frame that is picked up (extracted) at regular intervals based on the sequential number as a second frame rate frame (video frame) among the frames of the input video signal having the first frame rate. The moving image signal of the frame is output to the DCT unit 110. Further, the frame determination unit 109 outputs a moving image signal of a frame other than the frames extracted at regular intervals to the difference addition unit 117.

ここで、第1フレームレートが高フレームレートである場合の映像フレームと演算フレームの処理方法について説明する。図4は、第1フレームレートのフレーム(図4(b)および(c))と、第1フレームレートのフレームから生成された第2フレームレートの映像フレーム(図4(a))を示している。図4(a)は、一例として、映像フレームが60コマ/秒であることを示している。図4(b)は120コマ/秒の高フレームレートでフレームが生成されている様子を示しており、図4(c)は、図4(b)におけるフレームレート以上の高フレームレートでフレームが生成されている様子を示している。   Here, a method of processing a video frame and a calculation frame when the first frame rate is a high frame rate will be described. FIG. 4 shows a first frame rate frame (FIGS. 4B and 4C) and a second frame rate video frame (FIG. 4A) generated from the first frame rate frame. Yes. FIG. 4A shows that the video frame is 60 frames / second as an example. FIG. 4B shows a state in which frames are generated at a high frame rate of 120 frames / second. FIG. 4C shows a frame at a high frame rate equal to or higher than the frame rate in FIG. It shows how it is being generated.

映像出力レートが図4(a)のように60コマ/秒であるとすると、図4(b)の(1)(3)(5)のフレームが映像フレームとして使用される。フレーム(2)(4)は動きベクトルの算出と、フレーム(3)(5)の圧縮率(量子化テーブル)を求めるのとに使われる。詳説すると、フレーム(2)は、フレーム(1)を参照フレームとした動きベクトルを求めるのに使われる。高フレームレートのフレームを用いると、フレームの周期間隔が短くなるので、移動体があった場合の移動距離は小さくなる。従って、周囲の限られた範囲だけでブロックマッチングを行えばよくなるので、動きベクトルの算出に要する時間は減少する。例えば、フレーム(1)とフレーム(3)との間で動きベクトルを求める場合と、フレーム(1)とフレーム(2)との間、およびフレーム(2)とフレーム(3)との間でそれぞれの動きベクトルを求めることによって、移動距離を少なくした場合とでは、後者の方が計算時間は減少する。   If the video output rate is 60 frames / second as shown in FIG. 4A, the frames (1), (3), and (5) in FIG. 4B are used as video frames. Frames (2) and (4) are used to calculate motion vectors and to obtain the compression ratio (quantization table) of frames (3) and (5). More specifically, the frame (2) is used to obtain a motion vector with the frame (1) as a reference frame. When a frame having a high frame rate is used, the frame interval is shortened, so that the moving distance when there is a moving object is reduced. Therefore, since it is only necessary to perform block matching only in a limited range in the surroundings, the time required for calculating a motion vector is reduced. For example, when obtaining a motion vector between frame (1) and frame (3), between frame (1) and frame (2), and between frame (2) and frame (3), respectively. When the movement distance is reduced by obtaining the motion vector, the latter requires less calculation time.

また、フレーム(2)は、動きベクトルによって対応付けられたブロック同士での絶対値差分を算出し、フレーム(3)の圧縮に用いられる量子化テーブルを求めるのにも使用される。この量子化テーブルは、フレーム(3)を、シーンに応じた適正な圧縮率で圧縮するのに役立つ。フレーム(4)も、同様に動きベクトルの算出と、フレーム(5)の圧縮に用いられる量子化テーブルを求めるのとに使用される。   The frame (2) is also used to calculate the absolute value difference between the blocks associated by the motion vector and to obtain a quantization table used for compression of the frame (3). This quantization table is useful for compressing the frame (3) at an appropriate compression rate according to the scene. Similarly, the frame (4) is used to calculate a motion vector and to obtain a quantization table used for compression of the frame (5).

第1フレームレートがさらに高フレームレートの場合を図4(c)に示す。フレーム(1)(4)(7)は映像フレームとして使用され、フレーム(2)(3)(5)(6)は演算フレームとして使用される。フレーム(4)の圧縮率(量子化テーブル)を求めるのに、フレーム(2)またはフレーム(3)を使用することができるが、処理時間が間に合えば、フレーム(2)よりもフレーム(3)を使うことが望ましい。これは、フレーム(1)と(2)を用いるよりも、フレーム(1)と(3)を用いた方が、フレーム(1)と(4)の間の変化量により近いからである。フレーム(3)が入力されたときには、フレーム(1)はビデオメモリ106に蓄積されており、フレーム(1)はフレーム(3)と共に量子化テーブルの設定に使われる。フレーム(5)と(6)はいずれもフレーム(7)の圧縮率(量子化テーブル)を求めるのに使用可能であるが、上記と同様に、フレーム(6)とフレーム(4)を用いて量子化テーブルが設定される。   FIG. 4C shows the case where the first frame rate is a higher frame rate. Frames (1), (4), and (7) are used as video frames, and frames (2), (3), (5), and (6) are used as operation frames. The frame (2) or the frame (3) can be used to obtain the compression ratio (quantization table) of the frame (4). However, if the processing time is in time, the frame (3) is better than the frame (2). It is desirable to use This is because the amount of change between frames (1) and (4) is closer to using frames (1) and (3) than using frames (1) and (2). When the frame (3) is input, the frame (1) is stored in the video memory 106, and the frame (1) is used for setting the quantization table together with the frame (3). Both frames (5) and (6) can be used to determine the compression rate (quantization table) of frame (7), but using frame (6) and frame (4) in the same manner as above. A quantization table is set.

図1に戻り、DCT部110および量子化部111(圧縮手段)は、映像フレームを処理する処理部である。DCT部110は、演算部108によって算出された、ブロック毎の差分値を示す差分画像の信号を空間周波数領域の信号に変換する(DCT変換)。この処理は一般的なMPEGの処理と同一であり、文献(「総合マルチメディア選書 MPEG 映像情報メディア学会編」オーム社出版局、平成8年4月20日発行)の5章(MPEGビデオ符号化)に記載されている。   Returning to FIG. 1, the DCT unit 110 and the quantization unit 111 (compression unit) are processing units that process video frames. The DCT unit 110 converts the signal of the difference image indicating the difference value for each block calculated by the calculation unit 108 into a signal in the spatial frequency domain (DCT conversion). This processing is the same as general MPEG processing, and Chapter 5 (MPEG Video Coding) of the literature ("Comprehensive Multimedia Selection, MPEG Video Information Media Society", published by Ohm Publishing, April 20, 1996). )It is described in.

量子化部111は、量子化テーブル選択部119によって選択された量子化テーブル120を用いてDCT係数の量子化を行い、画像圧縮を行う。量子化テーブル120は、前述した演算フレームを用いた処理で求められており、動きがあるシーンでは、量子化ステップが細かく刻まれ、圧縮率が小さく、画質が良くなるように設定されている。逆に動きがないシーンでは、量子化ステップの値が大きくなっており、画像の品質に影響ない範囲で、圧縮率が高く設定されている。   The quantization unit 111 quantizes the DCT coefficient using the quantization table 120 selected by the quantization table selection unit 119, and performs image compression. The quantization table 120 is obtained by the processing using the above-described calculation frame, and is set so that the quantization step is finely cut, the compression rate is small, and the image quality is improved in a scene with motion. Conversely, in a scene where there is no motion, the value of the quantization step is large, and the compression rate is set high within a range that does not affect the image quality.

また、量子化部111は出力のコピーを生成する。コピーの元となった出力およびそのコピーのうちの一方は可変長符号化部115およびバッファ116を介して、映像出力用の符号化データとして映像出力される。もう一方は、逆量子化部112、逆DCT部113、および演算部114を介してビデオメモリ106に格納され、圧縮の際のフレーム間差分を求めるための参照フレームとして利用される。   In addition, the quantization unit 111 generates a copy of the output. One of the copy output and the copy is output as video output encoded data via the variable length encoding unit 115 and the buffer 116. The other is stored in the video memory 106 via the inverse quantization unit 112, the inverse DCT unit 113, and the calculation unit 114, and is used as a reference frame for obtaining a difference between frames at the time of compression.

逆量子化部112は、量子化部111によって量子化されたフレームの逆量子化(伸張)を行う。逆DCT部113は周波数データの復号化を行う。演算部114は、演算部108がフレーム間の差分を求めた処理と逆の処理を行う処理部であり、逆DCT部113から出力された差分のデータと、ブロック切り出し部105によって分割されたデータとを加算し、元のフレームデータを復元する。演算部114によって復元されたフレームデータはビデオメモリ106に蓄積される。このようにして、映像フレームは元の画像データに戻され、フレーム間の動きベクトルを求める際に参照フレームとして利用される。   The inverse quantization unit 112 performs inverse quantization (expansion) on the frame quantized by the quantization unit 111. The inverse DCT unit 113 decodes the frequency data. The calculation unit 114 is a processing unit that performs a process opposite to the process in which the calculation unit 108 obtains a difference between frames, and the difference data output from the inverse DCT unit 113 and the data divided by the block cutout unit 105. Are added to restore the original frame data. The frame data restored by the calculation unit 114 is stored in the video memory 106. In this way, the video frame is returned to the original image data, and is used as a reference frame when obtaining a motion vector between frames.

可変長符号化部115は、映像フレームを映像データとして出力する処理部であり、映像フレームの圧縮(符号化)を行う。この可変長符号化部115は、出現頻度がより高いデータにより短いコードを割り当てる方法によって、可変長符号化を行う。バッファ116は、出力される符号化データのバッファリングを行うための蓄積手段である。バッファ116に蓄積された映像データは、順次符号化データとして取り出され、出力される。   The variable length encoding unit 115 is a processing unit that outputs a video frame as video data, and compresses (encodes) the video frame. The variable length coding unit 115 performs variable length coding by a method of assigning a short code to data having a higher appearance frequency. The buffer 116 is storage means for buffering output encoded data. The video data stored in the buffer 116 is sequentially extracted as encoded data and output.

差分加算部117(差分加算手段)、加算値保存部118、量子化テーブル選択部119(量子化テーブル選択手段)、および量子化テーブル120は、演算フレームの動画像信号を用いた量子化テーブルの選択および設定に関係している。差分加算部117には、フレーム判定部109によって振り分けられた演算フレームの動画像信号がブロック毎に入力される。この動画像信号は、演算フレームの個々のブロックと、動きベクトルによって対応付けられたブロックとの差分を示している。差分加算部117はこの差分の絶対値加算を行う。差分を加算した結果は、各ブロックの差分を加算する毎に加算値保存部118に保存される。1フレームを構成する全ブロックの差分が加算された、フレーム全体における合計値は、シーン間での動きの大きさの判断に用いられる。差分加算部117は合計値を量子化テーブル選択部119へ出力する。   The difference addition unit 117 (difference addition unit), the addition value storage unit 118, the quantization table selection unit 119 (quantization table selection unit), and the quantization table 120 include a quantization table using a moving image signal of an operation frame. Related to selection and setting. The difference addition unit 117 receives the moving image signal of the calculation frame distributed by the frame determination unit 109 for each block. This moving image signal indicates a difference between each block of the calculation frame and a block associated with the motion vector. The difference adding unit 117 adds the absolute values of the differences. The result of adding the difference is stored in the added value storage unit 118 every time the difference of each block is added. A total value in the entire frame, which is obtained by adding the differences of all the blocks constituting one frame, is used to determine the magnitude of motion between scenes. The difference addition unit 117 outputs the total value to the quantization table selection unit 119.

量子化テーブル選択部119は、差分加算部117による加算の結果(合計値)に基づいて量子化テーブルを選択する。差分加算部117から出力された合計値は、被写体の動きに基づいた動画像信号の変化を示している。合計値が大きかった場合(例えば合計値が所定値以上であった場合)には、画像中の動きが大きく、量子化テーブル選択部119は、量子化ステップの小さい量子化テーブルを選択する。逆に、合計値が小さかった場合(例えば合計値が所定値未満であった場合)には、画像中の動きが小さく、量子化テーブル選択部119は、量子化ステップの大きい量子化テーブルを選択する。これによって、シーンに応じた適切な量子化テーブルが選択される。量子化テーブル選択部119は、選択した量子化テーブルを量子化テーブル120として、量子化部111および逆量子化部112に設定する。   The quantization table selection unit 119 selects a quantization table based on the addition result (total value) by the difference addition unit 117. The total value output from the difference adding unit 117 indicates a change in the moving image signal based on the movement of the subject. When the total value is large (for example, when the total value is greater than or equal to a predetermined value), the motion in the image is large, and the quantization table selection unit 119 selects a quantization table with a small quantization step. Conversely, when the total value is small (for example, when the total value is less than the predetermined value), the motion in the image is small, and the quantization table selection unit 119 selects a quantization table with a large quantization step. To do. Thus, an appropriate quantization table corresponding to the scene is selected. The quantization table selection unit 119 sets the selected quantization table as the quantization table 120 in the quantization unit 111 and the inverse quantization unit 112.

次に、本実施形態による動画像圧縮装置1の動作を、図5および図6に示されるフローチャートを用いて説明する。動画像圧縮装置1に入力されたビデオ信号は、A/D変換部101によってデジタルデータに変換され、ビデオメモリ102に格納される(ステップS501)。ブロック切り出し部103は、ビデオメモリ102から出力された画像データをN×M画素のブロックに分割し、ブロック切り出し部105は、ビデオメモリ106から出力された参照フレームの画像データをN×M画素のブロックに分割する(ステップS502)。ブロック取り出し部104は、ブロック切り出し部103によって分割されたブロックを順番に取り出すと共に、ブロック切り出し部105によって分割された参照フレームのブロックの中から必要なブロックを取り出す(ステップS503)。   Next, the operation of the moving image compression apparatus 1 according to the present embodiment will be described using the flowcharts shown in FIGS. The video signal input to the moving image compression apparatus 1 is converted into digital data by the A / D converter 101 and stored in the video memory 102 (step S501). The block cutout unit 103 divides the image data output from the video memory 102 into N × M pixel blocks, and the block cutout unit 105 converts the reference frame image data output from the video memory 106 into N × M pixel blocks. Divide into blocks (step S502). The block extraction unit 104 sequentially extracts the blocks divided by the block cutout unit 103, and extracts a necessary block from the reference frame blocks divided by the block cutout unit 105 (step S503).

以後、ブロックの取り出しが終了した場合(ステップS504においてYESの場合)には、ステップS511の処理が行われる。これは、1フレームの最後のブロックの処理が終了したことを意味している。一方、ブロックの取り出しが終了していない場合(ステップS504においてNOの場合)には、ステップS505の処理が行われる。いずれの処理を行うかは、例えば図示せぬ制御部等によって判断され、各処理に対応した処理部の制御が行われる。   Thereafter, when block extraction is completed (YES in step S504), processing in step S511 is performed. This means that the processing of the last block of one frame has been completed. On the other hand, if the block extraction has not been completed (NO in step S504), the process of step S505 is performed. Which process is to be performed is determined by, for example, a control unit (not shown), and the processing unit corresponding to each process is controlled.

ステップS505において、動き補償予測部107は、取り出されたブロックと参照フレームのブロックとを用いて動きベクトルを求める。図2に示されるように、動き補償予測部107は各ブロック毎に、現在の対応する位置を中心としてある範囲を含むエリア内で画素位置をずらしながら、参照フレームとしてビデオメモリ106に格納されている画像データとのブロックマッチングを行う。動き補償予測部107は画素位置を順次ずらし、ブロックマッチングを行う両者の画素値の絶対値差分が最小になった位置を、ブロックが移動したエリアと捉え、動きベクトルを求める。   In step S505, the motion compensation prediction unit 107 obtains a motion vector using the extracted block and the block of the reference frame. As shown in FIG. 2, the motion compensation prediction unit 107 stores each block as a reference frame in the video memory 106 while shifting the pixel position within an area including a certain range centering on the current corresponding position. Block matching with existing image data. The motion compensation prediction unit 107 sequentially shifts the pixel position, and obtains a motion vector by regarding the position where the absolute value difference between the two pixel values for which block matching is performed as a minimum, as the area where the block has moved.

続いて、演算部108は、上記の動きベクトルによって対応付けられたブロック間の差分値を求める(ステップS506)。フレーム判定部109は、フレームのカウンタ値に基づいて、処理対象のフレームが映像フレームであるか否かを判断し、フレームの振り分けを行う(ステップS507)。処理対象のフレームが映像フレームであると判断した場合には、フレーム判定部109は、演算部108によって求められた差分値を示す動画像信号をDCT部110へ出力する。DCT部110は差分値にDCTを行い、空間周波数領域のDCT係数に変換する(ステップS508)。   Subsequently, the calculation unit 108 obtains a difference value between the blocks associated with the motion vector (step S506). The frame determination unit 109 determines whether or not the processing target frame is a video frame based on the frame counter value, and performs frame distribution (step S507). When it is determined that the processing target frame is a video frame, the frame determination unit 109 outputs a moving image signal indicating the difference value obtained by the calculation unit 108 to the DCT unit 110. The DCT unit 110 performs DCT on the difference value and converts it into DCT coefficients in the spatial frequency domain (step S508).

量子化部111は、量子化テーブル120で指定された量子化ステップを用いてDCT係数を量子化する(ステップS509)。この量子化ステップのサイズを小さくすると画質は向上するが、データ量が増加し、量子化ステップのサイズを大きくすると、画質が劣化し、データ量は減少するという性質を量子化ステップは有している。ステップS509以後、処理はステップS503に戻り、次のブロックが処理される。   The quantization unit 111 quantizes the DCT coefficient using the quantization step specified in the quantization table 120 (step S509). If the quantization step size is reduced, the image quality is improved, but the amount of data increases, and if the quantization step size is increased, the quantization step has the property that the image quality deteriorates and the data amount decreases. Yes. After step S509, the process returns to step S503, and the next block is processed.

一方、ステップS507において、処理対象のフレームが映像フレームではないと判断された場合、高フレームレートで撮像された演算フレームの処理(ステップS510)が行われる。ステップS510において、フレーム判定部109は、演算部108によって求められた差分値を示す動画像信号を差分加算部117へ出力する。差分加算部117は差分値を絶対値に変換し、前ブロックまでの加算値に加算する。この加算値は加算値保存部118に格納される。以後の処理はステップS503の処理に戻る。   On the other hand, if it is determined in step S507 that the processing target frame is not a video frame, processing of a calculation frame captured at a high frame rate (step S510) is performed. In step S <b> 510, the frame determination unit 109 outputs a moving image signal indicating the difference value obtained by the calculation unit 108 to the difference addition unit 117. The difference addition unit 117 converts the difference value into an absolute value and adds it to the addition value up to the previous block. This added value is stored in the added value storage unit 118. Subsequent processing returns to the processing of step S503.

なお、隣接する映像フレームの間に複数の演算フレームが存在する場合に、各演算フレームにおいてステップS510の処理が行われるが、以下のようにしてもよい。例えば、処理が次の演算フレームの処理に移った後、加算値保存部118に保存されている1つ前の演算フレームの加算値を消去してから次の演算フレームの加算値を書き込むようにすればよい。これによって、図4(c)のフレーム(4)の量子化テーブルが、フレーム(2)ではなくフレーム(3)の差分値の合計に基づいて選択されることになる。あるいは、フレームのシーケンシャル番号に基づいて、予め設定されたシーケンシャル番号を有する演算フレーム以外の演算フレームの差分加算処理をスキップするようにしてもよい。   Note that when there are a plurality of computation frames between adjacent video frames, the processing of step S510 is performed in each computation frame, but the following may be performed. For example, after the processing shifts to the processing of the next computation frame, the addition value of the previous computation frame stored in the addition value storage unit 118 is erased and then the addition value of the next computation frame is written. do it. As a result, the quantization table of frame (4) in FIG. 4C is selected based on the sum of the difference values of frame (3), not frame (2). Alternatively, based on the sequential number of the frame, the difference addition process for the calculation frames other than the calculation frame having the preset sequential number may be skipped.

ステップS511の処理は、1フレームの最後のブロックの処理が終了した場合の処理である。以後、処理対象のフレームが映像フレームである場合(ステップS511においてYESの場合)には、ステップS512の処理が行われる。また、処理対象のフレームが演算フレームである場合(ステップS511においてNOの場合)には、以後の処理はステップS514の処理となる。   The process of step S511 is a process when the process of the last block of one frame is completed. Thereafter, when the processing target frame is a video frame (YES in step S511), the process of step S512 is performed. If the processing target frame is a calculation frame (NO in step S511), the subsequent processing is processing in step S514.

ステップS512において、量子化部111はフレームのコピーを作成し、元のフレームおよびそのコピーのうち、一方を逆量子化部112へ出力し、他方を可変長符号化部115へ出力する。以後、映像フレームを処理する2系統の処理が並行して行われる(ステップS513)。これらの処理が図6(a)(b)に示されている。図6(a)において、可変長符号化部115は、それぞれ出現頻度がより高いデータに対して、より短いデータを割り当てることによって、量子化されたデータを符号化する(ステップS601)。可変長符号化部115は符号化後のデータをバッファ116に格納する(ステップS602)。このデータは符号化データとして出力される。   In step S512, the quantization unit 111 creates a copy of the frame, outputs one of the original frame and its copy to the inverse quantization unit 112, and outputs the other to the variable length coding unit 115. Thereafter, two processes for processing a video frame are performed in parallel (step S513). These processes are shown in FIGS. 6 (a) and 6 (b). In FIG. 6A, the variable length encoding unit 115 encodes quantized data by assigning shorter data to data having a higher appearance frequency (step S601). The variable length encoding unit 115 stores the encoded data in the buffer 116 (step S602). This data is output as encoded data.

また、図6(b)においては、動き補償の参照フレームとして映像フレームを後で用いる必要があるため、映像フレームを元の画像フレームに復号化し、ビデオメモリ106に格納する処理が行われる。逆量子化部112は、量子化テーブル120を用いて映像フレームの逆量子化を行い、映像フレームを逆DCT部113へ出力する(ステップS603)。逆DCT部113は、逆量子化された映像フレームの逆DCT変換を行い、映像フレームを演算部114へ出力する(ステップS604)。演算部114は、逆DCT部113から出力された映像フレームに対して、ブロック切り出し部105から出力された1フレーム分の差分以外の情報を加算して元の画像フレームに復号化し(ステップS605)、ビデオメモリ106に参照フレームとして格納する(ステップS606)。   In FIG. 6B, since it is necessary to use a video frame later as a motion compensation reference frame, a process of decoding the video frame into an original image frame and storing it in the video memory 106 is performed. The inverse quantization unit 112 performs inverse quantization of the video frame using the quantization table 120, and outputs the video frame to the inverse DCT unit 113 (step S603). The inverse DCT unit 113 performs inverse DCT transform on the inversely quantized video frame, and outputs the video frame to the arithmetic unit 114 (step S604). The calculation unit 114 adds information other than the difference of one frame output from the block cutout unit 105 to the video frame output from the inverse DCT unit 113 and decodes it to the original image frame (step S605). Then, it is stored in the video memory 106 as a reference frame (step S606).

図5に戻り、ステップS514以後は演算フレームの処理である。差分加算部117は、1フレーム分の各ブロックの差分の絶対値を加算した合計値を量子化テーブル選択部119へ出力する。量子化テーブル選択部119は、この合計値に基づいて、量子化テーブル120の選定を行う。合計値が大きい場合は、動きが激しいと想定されるので、量子化テーブル選択部119は、量子化ステップの小さい量子化テーブルを選択する。また、合計値が小さい場合は、動きが余りないと想定し、量子化テーブル選択部119は、量子化ステップの大きい量子化テーブルを選択する(ステップS514)。   Returning to FIG. 5, the processing after step S514 is processing of the calculation frame. The difference addition unit 117 outputs a total value obtained by adding the absolute values of the differences between the blocks for one frame to the quantization table selection unit 119. The quantization table selection unit 119 selects the quantization table 120 based on the total value. If the total value is large, it is assumed that the movement is intense, so the quantization table selection unit 119 selects a quantization table with a small quantization step. If the total value is small, it is assumed that there is not much movement, and the quantization table selection unit 119 selects a quantization table with a large quantization step (step S514).

量子化テーブル選択部119は、選択した量子化テーブルを量子化テーブル120として、量子化部111および逆量子化部112に設定する(ステップS515)。量子化テーブル120は、次の映像フレームの量子化および逆量子化に用いられる。なお、量子化テーブルは複数用意されており、差分の絶対値の合計の大きさに応じて、それらの中から量子化ステップの適した量子化テーブルが選択される。   The quantization table selection unit 119 sets the selected quantization table as the quantization table 120 in the quantization unit 111 and the inverse quantization unit 112 (step S515). The quantization table 120 is used for quantization and inverse quantization of the next video frame. A plurality of quantization tables are prepared, and a quantization table suitable for the quantization step is selected from them according to the total size of the absolute values of the differences.

上述したように、本実施形態によれば、映像出力のフレームレートよりも高フレームレートである第1フレームレートのフレームを用いて、映像出力となる第2フレームレートのフレームの圧縮に用いる量子化テーブルを選択することによって、シーンに応じた適切な圧縮をリアルタイムに行うことができる。また、フレーム間の動きが大きくなった場合には、量子化ステップが小さく設定され、その結果、圧縮率が縮小されるので、圧縮のしすぎによる画像の劣化を防ぐことができる。特に、木の葉や、一面に咲き誇った花が風に揺れているシーン等でも、不適切な圧縮率による画像の劣化を大幅に低減することができる。また、フレーム間の動きが小さい場合には、圧縮率が高めに設定されることとなるが、冗長な画像が生成されて、必要以上にデータ量が増えることを避けることができる。   As described above, according to the present embodiment, the quantization used for compression of the frame at the second frame rate that is the video output using the frame at the first frame rate that is higher than the frame rate of the video output. By selecting the table, appropriate compression according to the scene can be performed in real time. In addition, when the motion between frames becomes large, the quantization step is set small, and as a result, the compression rate is reduced. Therefore, it is possible to prevent image deterioration due to excessive compression. In particular, it is possible to greatly reduce image degradation due to an inappropriate compression rate even in a scene where a leaf or a flower that is in full bloom is swaying in the wind. In addition, when the motion between frames is small, the compression rate is set high, but it is possible to avoid generating redundant images and increasing the amount of data more than necessary.

また、本実施形態において、第1フレームレートのフレームのフレーム同士の時間間隔は、第2フレームレートのフレームよりも短く設定される。第1フレームレートのフレームを用いて、圧縮に必要な動きベクトルを求める処理を行うことによって、圧縮対象のフレームの画像ブロックと参照フレームの画像ブロックとの間のマッチングにおける演算範囲を狭めることができるので、動きベクトルを求めるための計算量を大きく低減し、低コストで高精細な画像の圧縮を行うことができる。   In this embodiment, the time interval between frames of the first frame rate is set to be shorter than that of the second frame rate. By performing processing for obtaining a motion vector necessary for compression using a frame at the first frame rate, the calculation range in matching between the image block of the compression target frame and the image block of the reference frame can be narrowed. Therefore, the amount of calculation for obtaining the motion vector can be greatly reduced, and high-definition images can be compressed at low cost.

次に、本発明の第2の実施形態を説明する。図7は、本実施形態による動画像撮像装置の構成を示すブロック図である。本実施形態による動画像撮像装置は、第1の実施形態による動画像圧縮装置1を備え、撮像素子から画素情報を並列に読み出すことによって、高フレームレートの動画像信号の生成を実現している。以下、既に説明を行った動画像圧縮装置1以外の構成の機能を説明する。撮像レンズ30は被写体から出射された出射光を集光する。固体撮像装置31(撮像素子)は、撮像レンズ30によって集光された出射光を入光し、電気信号に変換して複数の画像信号を出力する。撮像信号処理部32(信号合成手段)は、固体撮像装置31から出力された複数の画像信号を合成し、調整を行って、第1フレームレートの映像出力信号(ビデオ信号)として動画像圧縮装置1へ出力する。   Next, a second embodiment of the present invention will be described. FIG. 7 is a block diagram illustrating a configuration of the moving image capturing apparatus according to the present embodiment. The moving image imaging apparatus according to the present embodiment includes the moving image compression apparatus 1 according to the first embodiment, and realizes generation of a high frame rate moving image signal by reading pixel information in parallel from the image sensor. . Hereinafter, functions of configurations other than the moving image compression apparatus 1 already described will be described. The imaging lens 30 condenses the emitted light emitted from the subject. The solid-state imaging device 31 (imaging device) receives the emitted light collected by the imaging lens 30, converts it into an electrical signal, and outputs a plurality of image signals. The imaging signal processing unit 32 (signal synthesis unit) synthesizes and adjusts a plurality of image signals output from the solid-state imaging device 31, and adjusts the video signal as a first frame rate video output signal (video signal). Output to 1.

図8は、固体撮像装置31の内部構成を示している。固体撮像装置31において、撮像領域が複数のエリア(分割エリア)に分割され、各分割エリアから電荷信号が取り出されて、複数の出力信号として並列に出力される。撮像領域は撮像領域I、II、III、IVに4分割されている。垂直転送CCD315および水平転送CCD311によって撮像領域Iの電荷が読み出され、出力aとして出力される。垂直転送CCD316および水平転送CCD312によって撮像領域IIの電荷が読み出され、出力bとして出力される。垂直転送CCD317および水平転送CCD313によって撮像領域IIIの電荷が読み出され、出力cとして出力される。垂直転送CCD318および水平転送CCD314によって撮像領域IVの電荷が読み出され、出力dとして出力される。このように、撮像領域を分割し、並列的に画素信号を読み出すことにより、高フレームレートが実現されている。   FIG. 8 shows the internal configuration of the solid-state imaging device 31. In the solid-state imaging device 31, the imaging region is divided into a plurality of areas (divided areas), and a charge signal is extracted from each divided area and output in parallel as a plurality of output signals. The imaging area is divided into four imaging areas I, II, III, and IV. The charges in the imaging region I are read out by the vertical transfer CCD 315 and the horizontal transfer CCD 311 and output as an output a. The charges in the imaging region II are read out by the vertical transfer CCD 316 and the horizontal transfer CCD 312 and output as an output b. The charges in the imaging region III are read out by the vertical transfer CCD 317 and the horizontal transfer CCD 313 and output as an output c. The charges in the imaging region IV are read out by the vertical transfer CCD 318 and the horizontal transfer CCD 314 and output as an output d. Thus, a high frame rate is realized by dividing the imaging region and reading out pixel signals in parallel.

ここで、出力a〜dが得られるが、全て(4つ)の信号出力により、全画素領域から信号が読み出されることになる。撮像信号処理部32は出力a〜dを1フレーム単位でバッファリングし、合成して映像出力信号として出力する。この映像出力信号はビデオ入力としてA/D変換部101に入力される。A/D変換部101以下の処理は第1の実施形態と同様である。なお、本実施形態においては、CCDセンサを備えた撮像素子を用いて説明したが、CMOSセンサを備えた撮像素子を用いてもよい。   Here, outputs a to d are obtained, but signals are read from all the pixel regions by all (four) signal outputs. The imaging signal processing unit 32 buffers outputs a to d in units of one frame, synthesizes them, and outputs them as video output signals. This video output signal is input to the A / D converter 101 as a video input. The processes after the A / D converter 101 are the same as those in the first embodiment. In the present embodiment, the image sensor provided with the CCD sensor has been described. However, an image sensor provided with a CMOS sensor may be used.

上述したように本実施形態によれば、並列読出しを行う撮像素子を用いて画素信号を読み出すことによって、高フレームレートのフレーム取得が可能となり、本発明の動画像撮像装置の実現が容易となる。   As described above, according to the present embodiment, it is possible to acquire a frame at a high frame rate by reading out a pixel signal using an image pickup device that performs parallel reading, and it is easy to realize the moving image pickup apparatus of the present invention. .

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。   As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to these embodiments, and includes design changes and the like without departing from the gist of the present invention. .

本発明の第1の実施形態による動画像圧縮装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image compression apparatus by the 1st Embodiment of this invention. 本発明の第1の実施形態における動きベクトルの算出方法を説明するための参考図である。FIG. 5 is a reference diagram for explaining a motion vector calculation method according to the first embodiment of the present invention. 本発明の第1の実施形態における動きベクトルの算出方法を説明するための参考図である。FIG. 5 is a reference diagram for explaining a motion vector calculation method according to the first embodiment of the present invention. 本発明の第1の実施形態における映像フレームと演算フレームを説明するための参考図である。It is a reference diagram for demonstrating the video frame and calculation frame in the 1st Embodiment of this invention. 本発明の第1の実施形態による動画像圧縮装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the moving image compression apparatus by the 1st Embodiment of this invention. 本発明の第1の実施形態による動画像圧縮装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the moving image compression apparatus by the 1st Embodiment of this invention. 本発明の第2の実施形態による動画像圧縮装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving image compression apparatus by the 2nd Embodiment of this invention. 本発明の第2の実施形態による固体撮像装置の構成を示す概略構成図である。It is a schematic block diagram which shows the structure of the solid-state imaging device by the 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1・・・動画像圧縮装置、30・・・撮像レンズ、31・・・固体撮像装置、32・・・撮像信号処理部、101・・・A/D変換部、102,106・・・ビデオメモリ、103,105・・・ブロック切り出し部、104・・・ブロック取り出し部、107・・・動き補償予測部、108,114・・・演算部、109・・・フレーム判定部、110・・・DCT部、111・・・量子化部、112・・・逆量子化部、113・・・逆DCT部、115・・・可変長符号化部、116・・・バッファ、117・・・差分加算部、118・・・加算値保存部、119・・・量子化テーブル選択部、120・・・量子化テーブル、311,312,313,314・・・水平転送CCD、315,316,317,318・・・垂直転送CCD

DESCRIPTION OF SYMBOLS 1 ... Moving image compression apparatus, 30 ... Imaging lens, 31 ... Solid-state imaging device, 32 ... Imaging signal processing part, 101 ... A / D conversion part, 102, 106 ... Video Memory, 103, 105 ... Block cutout unit, 104 ... Block extraction unit, 107 ... Motion compensation prediction unit, 108,114 ... Calculation unit, 109 ... Frame determination unit, 110 ... DCT unit, 111 ... quantization unit, 112 ... inverse quantization unit, 113 ... inverse DCT unit, 115 ... variable length coding unit, 116 ... buffer, 117 ... difference addition 118, addition value storage unit, 119 ... quantization table selection unit, 120 ... quantization table, 311, 312, 313, 314 ... horizontal transfer CCD, 315, 316, 317, 318 ... Vertical transfer CCD

Claims (5)

第1のフレームレートの動画像信号を入力する動画像信号入力手段と、
前記動画像信号入力手段から入力された前記第1のフレームレートの動画像信号のフレームを一定間隔で抽出し、第2のフレームレートの動画像信号を生成する信号生成手段と、
前記第1のフレームレートの動画像信号を用いて、前記第2のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、
前記選択手段によって選択された前記量子化テーブルを用いて、前記第2のフレームレートの動画像信号を圧縮する圧縮手段と、
を有する動画像圧縮装置。
Moving image signal input means for inputting a moving image signal of a first frame rate;
Signal generating means for extracting a frame of the moving image signal of the first frame rate inputted from the moving image signal input means at a constant interval, and generating a moving image signal of the second frame rate;
Selecting means for selecting a quantization table to be used for compression of the moving image signal of the second frame rate using the moving image signal of the first frame rate;
Compression means for compressing the moving image signal of the second frame rate using the quantization table selected by the selection means;
A moving image compression apparatus.
前記信号生成手段は、前記第1のフレームレートの動画像信号のフレームのうち、一定間隔で抽出したフレームを前記第2のフレームレートの動画像信号として前記圧縮手段へ出力すると共に、前記一定間隔で抽出したフレーム以外のフレームを前記選択手段へ出力することを特徴とする請求項1に記載の動画像圧縮装置。   The signal generating means outputs frames extracted at regular intervals out of the frames of the moving image signal at the first frame rate to the compression means as moving image signals at the second frame rate, and the regular intervals The moving image compression apparatus according to claim 1, wherein a frame other than the frame extracted in step (a) is output to the selection unit. 前記動画像信号入力手段から入力された前記第1のフレームレートの動画像信号のフレームを構成する画像データを複数の画像ブロックに分割する第1のブロック分割手段と、
参照フレームを構成する画像データを複数の画像ブロックに分割する第2のブロック分割手段と、
圧縮対象のフレームの前記画像ブロックと参照フレームの前記画像ブロックとを、画像中の動きに基づいて対応付ける動きベクトルを演算する動きベクトル演算手段と、
をさらに有することを特徴とする請求項1に記載の動画像圧縮装置。
First block dividing means for dividing image data constituting a frame of the moving image signal of the first frame rate input from the moving image signal input means into a plurality of image blocks;
A second block dividing means for dividing the image data constituting the reference frame into a plurality of image blocks;
Motion vector computing means for computing a motion vector for associating the image block of the compression target frame with the image block of the reference frame based on the motion in the image;
The moving image compression apparatus according to claim 1, further comprising:
前記選択手段は、
前記動きベクトルによって対応付けられた前記画像ブロック間の差分を1フレーム内で加算し、前記差分の合計を算出する差分加算手段と、
予め記録された量子化テーブルの中から、前記差分加算手段によって算出された前記差分の合計に基づいて、圧縮対象のフレームの圧縮に用いる量子化テーブルを選択する量子化テーブル選択手段と、
を有することを特徴とする請求項3に記載の動画像圧縮装置。
The selection means includes
A difference adding means for adding a difference between the image blocks associated by the motion vector within one frame, and calculating a sum of the differences;
A quantization table selection unit that selects a quantization table to be used for compression of a frame to be compressed, based on the sum of the differences calculated by the difference addition unit, from pre-recorded quantization tables;
The moving picture compression apparatus according to claim 3, further comprising:
撮像領域を構成する複数の分割エリアの各々から画像信号を並列に出力する撮像素子と、
前記撮像素子から出力された複数の前記画像信号を合成し、第1のフレームレートの動画像信号として出力する信号合成手段と、
前記第1のフレームレートの動画像信号を入力する動画像信号入力手段と、
前記動画像信号入力手段から入力された前記第1のフレームレートの動画像信号のフレームを一定間隔で抽出し、第2のフレームレートの動画像信号を生成する信号生成手段と、
前記第1のフレームレートの動画像信号を用いて、前記第2のフレームレートの動画像信号の圧縮に用いる量子化テーブルを選択する選択手段と、
前記選択手段によって選択された前記量子化テーブルを用いて、前記第2のフレームレートの動画像信号を圧縮する圧縮手段と、
を有する動画像撮像装置。

An image sensor that outputs image signals in parallel from each of a plurality of divided areas constituting the imaging region;
A signal combining unit that combines the plurality of image signals output from the image sensor and outputs the image signals as a moving image signal having a first frame rate;
Moving image signal input means for inputting a moving image signal of the first frame rate;
Signal generating means for extracting a frame of the moving image signal of the first frame rate inputted from the moving image signal input means at a constant interval, and generating a moving image signal of the second frame rate;
Selecting means for selecting a quantization table to be used for compression of the moving image signal of the second frame rate using the moving image signal of the first frame rate;
Compression means for compressing the moving image signal of the second frame rate using the quantization table selected by the selection means;
A moving image pickup apparatus.

JP2005113180A 2005-04-11 2005-04-11 Moving image compression apparatus and moving image pickup apparatus Withdrawn JP2006295521A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005113180A JP2006295521A (en) 2005-04-11 2005-04-11 Moving image compression apparatus and moving image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005113180A JP2006295521A (en) 2005-04-11 2005-04-11 Moving image compression apparatus and moving image pickup apparatus

Publications (1)

Publication Number Publication Date
JP2006295521A true JP2006295521A (en) 2006-10-26

Family

ID=37415612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005113180A Withdrawn JP2006295521A (en) 2005-04-11 2005-04-11 Moving image compression apparatus and moving image pickup apparatus

Country Status (1)

Country Link
JP (1) JP2006295521A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019883A1 (en) * 2007-08-08 2009-02-12 Panasonic Corporation Imaging device, imaging method, and integrated circuit
JP2009260595A (en) * 2008-04-16 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> Quantization matrix switching method, video encoder, video encoding program, and its recording medium
JP2012203581A (en) * 2011-03-24 2012-10-22 Fujitsu Ltd Method for optimizing register arrangement, program for optimizing register arrangement, and device for optimizing register arrangement

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019883A1 (en) * 2007-08-08 2009-02-12 Panasonic Corporation Imaging device, imaging method, and integrated circuit
JP2009260595A (en) * 2008-04-16 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> Quantization matrix switching method, video encoder, video encoding program, and its recording medium
JP4676508B2 (en) * 2008-04-16 2011-04-27 日本電信電話株式会社 Quantization matrix switching method, video encoding device, and video encoding program
JP2012203581A (en) * 2011-03-24 2012-10-22 Fujitsu Ltd Method for optimizing register arrangement, program for optimizing register arrangement, and device for optimizing register arrangement

Similar Documents

Publication Publication Date Title
JP7211467B2 (en) Image encoding device, image encoding method, and program
TWI463878B (en) Image processing apparatus and method
JP4842945B2 (en) Panorama motion estimation and compensation
JP2022033737A (en) Decoding device
JP4575447B2 (en) Method and apparatus for generating virtual image regions for motion estimation and compensation of panoramic images
US8179969B2 (en) Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
EP3082337A1 (en) Variable block size encoder and encoding method
RU2513912C2 (en) Image processing method and apparatus
CN111295884A (en) Image processing apparatus and image processing method
JP5520122B2 (en) Data converter
WO2013150838A1 (en) Image processing device and image processing method
KR102518627B1 (en) Image encoding method, decoding method, encoder and decoder
JP2008193530A (en) Image recorder, image recording method and program
JP4574444B2 (en) Image decoding apparatus and method, image encoding apparatus and method, computer program, and storage medium
JP2015170994A (en) Image processor and method, image encoder and method, and image decoder and method
JP2005295505A (en) Moving image coding apparatus, moving image decoding apparatus, control method therefor, computer program, and computer-readable storage medium
JP2014007469A (en) Image coding device and image coding method
JP2006295521A (en) Moving image compression apparatus and moving image pickup apparatus
JP4514666B2 (en) Video encoding device
KR20220165256A (en) Video decoding method and apparatus
JP2008252512A (en) Imaging and recording apparatus
WO2016047250A1 (en) Signal processing apparatus, imaging apparatus and signal processing method
JP2006074520A (en) Motion vector detecting device
JP2018107683A (en) Dynamic image coding device and dynamic image decoding device
JP4312070B2 (en) Digital camera

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080701