JP2004254341A - Compression method of dynamic picture information and system thereof - Google Patents

Compression method of dynamic picture information and system thereof Download PDF

Info

Publication number
JP2004254341A
JP2004254341A JP2004122354A JP2004122354A JP2004254341A JP 2004254341 A JP2004254341 A JP 2004254341A JP 2004122354 A JP2004122354 A JP 2004122354A JP 2004122354 A JP2004122354 A JP 2004122354A JP 2004254341 A JP2004254341 A JP 2004254341A
Authority
JP
Japan
Prior art keywords
frame
block
information
compression
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004122354A
Other languages
Japanese (ja)
Inventor
Noriko Kajiki
紀子 加治木
Satoshi Tanabe
智 田辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NOA Inc OFF
OFFICE NOA Inc
Original Assignee
NOA Inc OFF
OFFICE NOA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NOA Inc OFF, OFFICE NOA Inc filed Critical NOA Inc OFF
Priority to JP2004122354A priority Critical patent/JP2004254341A/en
Publication of JP2004254341A publication Critical patent/JP2004254341A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a compression method of dynamic picture information, which can perform compression processing for a data permitting a forecasting code of an image information at a high compression rate and a high speed, as well as helps improvement in image quality, and to provide its system. <P>SOLUTION: A first mode of the present invention performs block dividing of an image in a frame, before an inter-frame compression processing and approximates (replaces) the each split block as a single plane defined by three elements of a pixel in the block. A second mode mutually compares a pixel, in an original image with a pixel in an image extended, after compression to output a difference information on each pixel; and if a pixel element which generates a larger difference than a parameter exists, a smaller block size is applied. A third mode, when making each spatially block-split I block distributed along a time base between each frame, does not insert the I block into a block position in a frame updated due to the occurrence of the difference between the frames with in a specified time period. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

本発明は、画像情報の予測符号が可能なデータを高い圧縮率で且つ高速で圧縮処理できると同時に、画質の向上をも図ることのできる動画像情報の圧縮方法およびそのシステムに関するものである。   The present invention relates to a method and a system for compressing moving image information, which can compress data capable of predictive coding of image information at a high compression rate and at a high speed, and also improve the image quality.

従来においては、画像信号を一旦別の信号に変換し、次にその変換された信号の統計的な性質を利用して、適当な符号を割り当てて符号化伝送を行なうのが通例である。この場合、1フレーム内の冗長度、例えば規則正しい模様の画像や平坦な画像では、隣接する画素の間の相関が強いので既に符号化された画素の値から次に符号化すべき画素の値をある程度予測でき、予測できなかった成分だけを抽出して符号化することにより大幅な情報圧縮を行なわせる、所謂予測符号化が行なわれている。   In the related art, it is customary to temporarily convert an image signal into another signal, and then perform coded transmission by assigning an appropriate code using the statistical properties of the converted signal. In this case, in the redundancy within one frame, for example, in an image of a regular pattern or a flat image, since the correlation between adjacent pixels is strong, the value of the pixel to be encoded next is reduced to some extent from the value of the already encoded pixel. So-called predictive encoding is performed, in which significant information compression is performed by extracting and encoding only the components that can be predicted and that cannot be predicted.

また、例えばテレビ電話等の動画像では、相続くフレームの画像が非常に似ており時間的な変化が限られていることが多く、このような時間的な冗長度はフレームにまたがる予測を用いたフレーム間予測符号化により除去できるものとされている。このとき、一般的には1個のシンボルに1個の符号語を割り当てるブロック符号を採用し、1フレームをそれより小さな画素ブロックに分割し、それぞれのブロック内では輝度の差が小さくなる性質を利用して情報圧縮に利用する、所謂ブロック符号化処理を採用している。   In addition, for example, in a moving image such as a videophone, images of successive frames are very similar, and temporal changes are often limited, and such temporal redundancy uses prediction over frames. It can be removed by the inter-frame prediction coding. At this time, in general, a block code in which one code word is assigned to one symbol is adopted, one frame is divided into smaller pixel blocks, and the difference in luminance in each block is reduced. A so-called block encoding process, which is used for information compression, is employed.

さらに、変換信号に効率の良い符号を割り当ててデータ圧縮を実現させる、所謂エントロピー符号化と、効率的な符号作成方法としてハフマン符号化法が知られている。その代表的なものとして算術符号があり、これはシンボル系列の出現確率に応じて確率数直線を区分分割し、分割された区間内の位置を示す2進小数値をその系列に対する符号とするものであり、符号語を算術演算により逐次的に構成していくものである。   Further, a so-called entropy coding for realizing data compression by allocating an efficient code to a converted signal and a Huffman coding method as an efficient code generation method are known. A typical example is an arithmetic code, which divides a probability number straight line according to the appearance probability of a symbol sequence, and uses a binary decimal value indicating a position in the divided section as a code for the sequence. That is, code words are sequentially formed by arithmetic operations.

加えて、従来においては、画像信号を効率的にコード化する3ステップのブロックコード化システムは、サンプリング、変換および定量化よりなっている。このときの画像信号の平面的な解像度および高周波成分を保持するためには、通常その周波数の最も高い周波数成分の2倍の速度でサンプリングする必要がある。   In addition, conventionally, a three-step block coding system for efficiently coding an image signal consists of sampling, transforming and quantifying. In order to maintain the planar resolution and high-frequency components of the image signal at this time, it is usually necessary to perform sampling at twice the speed of the highest frequency component of the frequency.

一方、MPEGにおいては、情報量の多い動画像を圧縮するために、できるだけ符号化効率を高くすることが好ましい。このため、従来においては、符号化済みの時間的に過去の画像信号のみを予測信号として用いる前方向予測(Pフレームによる処理)と、過去の画像信号に加えて時間的に未来の画像信号をも予測信号として用いる双方向予測(Bフレームによる処理)が存在する。また、従来のフレーム間予測符号化は、入力画像信号と予測画像信号との差分信号が伝送され、復元側では伝送されてきた差分信号と、既に復元されている予測画像信号とを加えることで原画像を復元する。このように復元側では、予測画像信号が用意されていなければフレーム間の復元が不可能となる。このため、過去と未来の画像信号を予測信号として使用せずに、フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)をフレーム間の予測画像として採用し、これを一定周期毎にフレーム列に挿入することで、画像の途中からの再生やデータエラーに対応させている。
なし
On the other hand, in MPEG, in order to compress a moving image having a large amount of information, it is preferable to increase the encoding efficiency as much as possible. For this reason, in the related art, forward prediction (processing using a P frame) using only the encoded temporally past image signal as a prediction signal, and temporally future image signal in addition to the past image signal. Also, there is bidirectional prediction (processing using a B frame) that is used as a prediction signal. Further, in the conventional inter-frame prediction coding, a difference signal between an input image signal and a prediction image signal is transmitted, and on the restoration side, the transmitted difference signal is added to the already restored prediction image signal. Restore the original image. In this way, on the restoration side, restoration between frames becomes impossible unless a predicted image signal is prepared. Therefore, instead of using past and future image signals as prediction signals, an I-frame (a reference frame in which an image is completed only with frames) processed by intra-frame coding is adopted as a predicted image between frames. Is inserted into the frame sequence at regular intervals to cope with reproduction from the middle of an image or a data error.
None

しかしながら、従来の画像信号情報圧縮方式では、煩雑なブロック符号化法を使用しているため、画像情報、音声情報等の予測符号が可能なデータを高い圧縮率で且つ高速で圧縮処理を行なうことが困難であった。また、動画像圧縮処理において、通常差分情報を圧縮する場合、すなわち、A1とA2とが近い値と予想され且つA2の情報以前にA1の値を知り得る場合において、A2−A1を0近傍の生起確率が高いと見なして従来のハフマン符号や算術符号等を使い圧縮する方法がとられているため、A1、A2の取り得る値が0〜nとすると、差分A2−A1の取り得る範囲は2n+1通りとなり、2n+1通りのハフマン符号語を準備しなければならない。しかし、実際にA2の取り得る値はn通りであり、n通りの符号は局所的に見ると使用されず、そのためそれだけ冗長な符号となる。さらに、フレーム間の差分を大きくとると画質の劣化が激しくなり、良質な画像が得られない等の問題点を有していた。   However, since the conventional image signal information compression method uses a complicated block coding method, it is necessary to perform high-speed compression processing on data that can be predicted and encoded, such as image information and audio information, at a high compression rate. Was difficult. In the moving image compression process, when normal difference information is compressed, that is, when A1 and A2 are expected to be close to each other and the value of A1 can be known before the information of A2, A2-A1 is set to a value close to 0. Since it is assumed that the occurrence probability is high and a conventional compression method using a Huffman code or an arithmetic code is used, if the possible values of A1 and A2 are 0 to n, the possible range of the difference A2-A1 is There are 2n + 1 ways, and 2n + 1 ways of Huffman code words must be prepared. However, there are actually n possible values for A2, and the n codes are not used locally when viewed locally, and are therefore redundant codes. Further, when the difference between the frames is made large, the image quality is greatly deteriorated, and there is a problem that a high quality image cannot be obtained.

この他、ブロックサイズを大きくした場合には、圧縮率は向上するが、原画のディテールが失われ、画質が劣化する。特に、一定色の背景と、大きく輝度が異なる細い線で構成されるような原画の場合、細い線が全く失われてしまうような現象が発生していた。   In addition, when the block size is increased, the compression ratio is improved, but the detail of the original image is lost and the image quality is deteriorated. In particular, in the case of an original image composed of a background of a fixed color and a thin line having a greatly different luminance, a phenomenon has occurred in which the thin line is completely lost.

さらに、MPEGにおいて、フレーム列に定期的に挿入されるIフレームは、フレーム内符号化で処理されるため、フレーム間の差分をとって符号化されるフレーム間符号化に比べて符号化効率が悪く、発生情報量が多くなることから、例えば高速通信回線が使用できない場合には、Iフレームの挿入頻度に制限がある。また、Iフレームのデータ量は他の差分フレームに比べて2〜10倍と大きいため、通信において要求される一定ビットレート性に反する方式である。すなわち、従来においては、定期的にIフレームをフレーム列に挿入しているため、処理時間がかなり長くなり、復元画像の表示が大幅に遅延している。しかも、それ自身のデータ量が大きいため、回復不可能なデータエラーがIフレームに生じる確率が高くなる。また、そのエラーの結果「基準」であるIフレームの再生(デコード)が不可能になった場合に、特別の工夫を行なっていなければ次のIフレームまで再生が中断してしまう。例えば、画像の再生において、何らかの原因でデータエラーが発生した場合、その小さな影響が拡大して多数のフレーム全体に影響を及ぼし、最悪の場合は再生が中断してしまう。さらに、Iフレームを一定間隔で挿入する従来の方式においては、任意の時間的位置のフレームから再生を開始させる場合に、先ず直近のIフレームを何らかの手段によってサーチし、そこから画像を再生し、目的の時間的位置のフレームに達してから再生画面を表示する必要があり、このIフレームのサーチが非常に手間の掛かるものであった。一方、上述した種々の弊害に対応する特別の工夫を行なえば、デコード処理系の負荷は当然増大する。加えて、再生処理においてもIフレームの再生は負荷が高く、Iフレームの処理能力を満たすための機能が処理系に要求されてしまう。   Furthermore, in MPEG, I-frames that are periodically inserted into a frame sequence are processed by intra-frame coding, so that the coding efficiency is lower than that of inter-frame coding, which is performed by taking the difference between frames. However, since the amount of generated information increases, for example, when a high-speed communication line cannot be used, there is a limit to the frequency of I-frame insertion. In addition, since the data amount of the I frame is 2 to 10 times as large as that of the other difference frames, this is a method that is contrary to the constant bit rate required for communication. That is, in the related art, since the I frame is periodically inserted into the frame sequence, the processing time becomes considerably long, and the display of the restored image is greatly delayed. Moreover, since the data amount of the data itself is large, the probability that an unrecoverable data error occurs in the I frame increases. Also, if the error makes it impossible to reproduce (decode) the I frame that is the "reference", the reproduction is interrupted until the next I frame unless special measures are taken. For example, when a data error occurs for some reason in image reproduction, the small effect is enlarged and affects many frames as a whole, and in the worst case, the reproduction is interrupted. Further, in the conventional method of inserting I frames at regular intervals, when starting reproduction from a frame at an arbitrary time position, first search for the nearest I frame by some means, reproduce an image therefrom, It is necessary to display the playback screen after reaching the frame at the target time position, and this I frame search is very troublesome. On the other hand, if special measures are taken to cope with the various adverse effects described above, the load on the decoding processing system naturally increases. In addition, in the reproduction process, the reproduction of the I-frame has a high load, and a function for satisfying the processing capability of the I-frame is required of the processing system.

そこで本発明は、叙上のような従来存した問題点に鑑み創出されたもので、画像情報、音声情報等の予測符号が可能なデータを、高い圧縮率で且つ高速で圧縮処理できると同時に、画質の向上をも図ることのできる動画像情報の圧縮方法およびそのシステムを提供することを第1の目的とする。   In view of the above, the present invention has been created in view of the above-described conventional problems, and can perform high-speed compression processing on data capable of predictive coding such as image information and audio information at a high compression rate. It is a first object of the present invention to provide a method and a system for compressing moving image information that can improve the image quality.

また、ブロックサイズを大きくして圧縮率を向上させた場合であっても、原画のディテールが失われず、画質が劣化することのない動画像情報の圧縮方法およびそのシステムを提供することを第2の目的とする。   It is also an object of the present invention to provide a method and a system for compressing moving image information in which details of an original image are not lost and image quality is not degraded even when the compression rate is improved by increasing the block size. The purpose of.

さらに、再生時でのデータエラーの発生による影響がフレーム全体に及んだり、これによって再生が中断することを防止し、しかも任意の時間的位置のフレームから再生を開始させる場合に、従来の如くまず直近のIフレームを何らかの手段によってサーチし、そこから画像を再生するというような手間の掛かる処理操作を省いて、任意の時間的位置の再生画面を容易に表示することのできる動画像情報の圧縮方法およびそのシステムを提供することを第3の目的とする。   Further, in order to prevent the influence of the occurrence of a data error at the time of reproduction from affecting the entire frame, thereby preventing the reproduction from being interrupted, and to start the reproduction from a frame at an arbitrary time position, as in the related art, First, a time-consuming processing operation such as searching for the nearest I-frame by some means and reproducing an image from the I-frame is omitted, and moving image information that can easily display a reproduction screen at an arbitrary time position is omitted. A third object is to provide a compression method and a system thereof.

このため、本発明の第1の態様である動画像情報の圧縮方法においては、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させたことで、上述した課題を解決した。
For this reason, in the moving image information compression method according to the first aspect of the present invention, pixels in spatially adjacent frames or pixels in temporally adjacent frames are compared with each other to determine the pixel element. The difference information is output, and whether the output difference information is a part larger than the given parameter or the other part is stored in a bit map, and the parameter stored in the bit map is stored. Is a method of compressing moving image information in which redundant information is reduced by performing a compression process on information of a large portion.
Before the inter-frame compression processing, the image in the frame is divided into blocks, and each divided block is approximated (substituted) as a single plane defined by three elements of the pixels in the block. Has solved the above-mentioned problem.

また、フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させ、該平面をパラメータとして用いてフレーム内圧縮処理を行なうことで、同じく上述した課題を解決した。   Before the inter-frame compression processing, the image in the frame is divided into blocks, and each divided block is approximated (replaced) as a single plane defined by three elements of pixels in the block. The above-described problem has also been solved by performing intra-frame compression processing using the plane as a parameter.

一方、本発明の第1の態様である動画像情報の圧縮システムにおいては、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存するビット・マップ情報記録手段と、該ビット・マップ情報記録手段によって保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する情報圧縮手段とを含む動画像情報の圧縮システムであって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させるブロック近似手段を有し、該ブロック近似手段によって得られた平面をパラメータとして用いてフレーム内圧縮を行なうことで、同じく上述した課題を解決した。
On the other hand, in the moving image information compression system according to the first aspect of the present invention, pixels in spatially adjacent frames or pixels in temporally adjacent frames are compared with each other to calculate the difference between pixel elements. Bit map information recording means for outputting information, and storing, in a bit map, whether the output difference information is a portion larger than a given parameter or a portion other than the given parameter; A moving image information compression system comprising: an information compression unit that reduces redundant information by performing a compression process on a portion of information larger than a parameter stored by the information recording unit;
Block approximation means for dividing an image in a frame into blocks and approximating (substituting) each divided block as a single plane defined by three elements of pixels in the block before the inter-frame compression processing. The above-mentioned problem has also been solved by performing intra-frame compression using the plane obtained by the block approximation means as a parameter.

本発明の第2の態様である動画像情報の圧縮方法においては、フレーム内圧縮処理は、画像全体をフレーム内圧縮に従い、n×m画素(n、mは2以上の整数)のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返すことで、同じく上述した課題を解決した。   In the moving image information compression method according to the second aspect of the present invention, the intra-frame compression process compresses the entire image in blocks of nxm pixels (n and m are integers of 2 or more) according to the intra-frame compression. Then, the pixels in the original image and the image expanded after compression are compared with each other, and the difference information of each pixel element is output. If there is a pixel element in which a difference larger than the parameter is present, a portion including the pixel element The above-described problem has also been solved by repeating the operation of applying a smaller block size to the surrounding area and the designated minimum block unit.

一方、本発明の第2の態様である動画像情報の圧縮システムにおいては、ブロック近似手段において、フレーム内圧縮処理は、画像全体をフレーム内圧縮に従い、n×m画素(n、mは2以上の整数)のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックを適用する操作を、指定された最小ブロック単位まで繰り返すことで、同じく上述した課題を解決した。   On the other hand, in the moving image information compression system according to the second aspect of the present invention, in the block approximating means, the intra-frame compression processing is performed by compressing the entire image in accordance with the intra-frame compression by nxm pixels (n and m are 2 or more Of the original image and the image decompressed and decompressed, and outputs difference information of each pixel element. If there is a pixel element having a difference larger than the parameter, The above-described problem has also been solved by repeating the operation of applying a smaller block to a portion including the pixel element and a portion surrounding the pixel element up to a designated minimum block unit.

本発明の第3の態様である動画像情報の圧縮方法においては、フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないことで、同じく上述した課題を解決した。   In the moving image information compression method according to the third aspect of the present invention, an I frame (a reference frame in which an image is completed only by a frame) processed by intra-frame encoding is used, and this I frame is spatially When distributing the divided I blocks in the time axis direction between the frames, a difference between the frames occurs within the designated period, and the I blocks are inserted into the updated block positions in the frames. By not doing so, the above-mentioned problem was solved.

一方、本発明の第3の態様である動画像情報の圧縮システムにおいては、フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させるIブロック挿入手段を有し、このIブロック挿入手段は、フレーム間の差分が指定期間内に発生して更新されるフレーム内のブロック位置には、Iブロックを挿入しないことで、同じく上述した課題を解決した。   On the other hand, the moving picture information compression system according to the third aspect of the present invention employs an I frame (a reference frame in which an image is completed only by a frame) processed by intra-frame coding, and There is provided an I-block inserting means for spatially dividing the blocks and distributing the divided I-blocks in the time axis direction between the frames, and the I-block inserting means generates a difference between frames within a designated period. The above-described problem was also solved by not inserting an I-block at a block position in a frame to be updated.

本発明の第1の態様である動画像情報の圧縮方法およびそのシステムの基本構造は、予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義された単一の平面として近似(置換)させ、該平面をパラメータとして用いてフレーム内圧縮処理を効率良く行なうものである。   The basic structure of the moving image information compression method and the system thereof according to the first aspect of the present invention is as follows: an intra-frame image is divided into blocks in advance, and all of the divided blocks are divided into pixel element sizes of each block; This is to approximate (replace) a single plane defined by three data of the inclination of the block in the x direction and the inclination of the block in the y direction, and to efficiently perform the intra-frame compression processing using the plane as a parameter. .

また、本発明の第2の態様である動画像情報の圧縮方法およびそのシステムの基本構造は、画像全体をフレーム内圧縮に従い、n×m画素(n、mは2以上の整数)のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返すことで、ブロックサイズを大きくして圧縮率を向上させた場合であっても、原画のディテールが失われず、画質が劣化することを防止するものである。   The basic structure of the moving image information compression method and the system thereof according to the second aspect of the present invention is as follows. The whole image is compressed into blocks of n × m pixels (n and m are integers of 2 or more) according to intra-frame compression. Compress and compare the pixels in the original image and the image expanded after compression with each other and output the difference information of each pixel element. If there is a pixel element having a difference larger than the parameter, the pixel element is included. The operation of applying a smaller block size to a part and its surrounding parts is repeated up to the specified minimum block unit, so that even if the block size is increased and the compression ratio is improved, the detail of the original image Is not lost and the image quality is prevented from deteriorating.

さらに、本発明の第3の態様である動画像情報の圧縮方法およびそのシステムの基本構造は、予めIフレームを空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないので、画像の再生に際し、1画面が完全に完成する予め定められたフレーム数の前から再生を開始し、目的の時間的位置のフレームに達してから再生画面を表示すれば良く、手間の掛かるIフレームのサーチ処理を行なわなくても、任意の時間的位置の再生画面を容易に表示できるものである。   Further, the basic structure of the moving picture information compression method and the system thereof according to the third aspect of the present invention is that an I-frame is spatially divided in advance, and the divided I-block is divided in the time axis direction between the respective frames. At the time of dispersing, no I-block is inserted at a block position in a frame that has been updated due to a difference between frames. Therefore, when an image is reproduced, a predetermined number of frames before one frame is completely completed when one image is completely reproduced. It is only necessary to start the playback from the desired time position and display the playback screen after reaching the frame at the target time position, and easily perform the playback screen at an arbitrary time position without performing a troublesome I frame search process. It can be displayed.

加えて、動画配信に際し、配信サーバ並びにデータ通信経路において、配信データ量が時間的に均一化するため、従来の技術を用いたコンテンツを配信する場合よりも高い配信性能が得られる。また、受信・再生側においては、単位時間当たりの受信量変動が小さくなるため、バッファリングに必要なメモリ量を削減でき、再生負荷も一定化することから、能力の低いシステムであっても安定した再生が可能となる。加えて、データエラーの再生に対する影響が小さいので、データエラーを無視して再生を続行することが可能となり、これによって配信側のシステムにおけるデータの再送を不要とし、且つ配信側の負荷を低減できる。さらに、マルチキャスト配信等による動画像放送が容易に実現できるものである。   In addition, at the time of moving image distribution, the distribution data amount becomes uniform over time in the distribution server and the data communication path, so that higher distribution performance can be obtained than in the case of distributing content using the conventional technology. Also, on the receiving / reproducing side, fluctuations in the amount of received data per unit time are small, so the amount of memory required for buffering can be reduced, and the reproduction load is constant, so that even systems with low capabilities can be stable. Playback that is possible. In addition, since the influence of the data error on the reproduction is small, it is possible to continue the reproduction ignoring the data error, thereby making it unnecessary to retransmit the data in the system on the distribution side and reducing the load on the distribution side. . Furthermore, moving image broadcasting by multicast distribution or the like can be easily realized.

本発明の第1の態様による動画像情報の圧縮方法およびそのシステムによれば、ブロック変換を削除することにより、画像情報の予測符号が可能なデータを高い圧縮率で且つ高速で圧縮処理をすることができ、画質・音質の劣化の低減を図っている。特に、従来においては、フレーム間の差分を大きくとると、画質が激しく劣化していたが、本発明の第1の態様によれば、画質の劣化を低減できるのである。すなわち、本発明の第1の態様によれば、ブロック内閾値に対して画質が急激に悪化せず、画質にリニアな変化を与えることができる。これにより、画質を悪化させずに通信ビットレートを容易に調整することができ、しかも、圧縮率も見た目では同様な画質を得ながら、約−20%〜50%程度の改善が可能となった。また、適応ハフマン圧縮処理や適応算術圧縮処理は、従来の差分情報生成とハフマン符号化又は差分情報生成と算術符号化という一連予測符号化処理を一括で処理し、符号語の効率化を図ることができ、画像情報の予測符号が可能なデータを効率的に圧縮できる。この他、本発明の第1の態様により削減(圧縮)されたデータは、平面を規定するもので、伸張するとグラデーションを示す平面となる。   According to the method and system for compressing moving image information according to the first aspect of the present invention, by removing block conversion, data capable of predictive coding of image information is compressed at a high compression rate and at high speed. It is possible to reduce the deterioration of image quality and sound quality. In particular, in the related art, if the difference between frames is large, the image quality is severely deteriorated. However, according to the first aspect of the present invention, the deterioration of the image quality can be reduced. That is, according to the first aspect of the present invention, it is possible to give a linear change to the image quality without sharply deteriorating the image quality with respect to the intra-block threshold value. As a result, the communication bit rate can be easily adjusted without deteriorating the image quality, and the compression ratio can be improved by about -20% to 50% while obtaining the same image quality in appearance. . In addition, the adaptive Huffman compression processing and the adaptive arithmetic compression processing are to collectively process conventional difference information generation and Huffman coding or a series of predictive coding processing of difference information generation and arithmetic coding to improve codeword efficiency. Thus, data capable of predictive coding of image information can be efficiently compressed. In addition, the data reduced (compressed) according to the first aspect of the present invention defines a plane, and becomes a plane showing gradation when expanded.

本発明の第2の態様による動画像情報の圧縮方法およびそのシステムによれば、ブロックサイズを大きくして圧縮率を向上させた場合であっても、原画のディテールが失われず、画質の劣化の低減を図ることができる。特に一定色の背景と、大きく輝度が異なる細い線で構成されるような原画の場合であっても、細い線が全く失われてしまうような事態を確実に防止できるのである。   According to the moving image information compression method and system according to the second aspect of the present invention, even when the compression ratio is improved by increasing the block size, the detail of the original image is not lost, and the image quality is not deteriorated. Reduction can be achieved. In particular, even in the case of an original image including a background of a fixed color and a thin line having a greatly different luminance, a situation in which the thin line is completely lost can be reliably prevented.

本発明の第3の態様による動画像情報の圧縮方法およびそのシステムによれば、予めIフレームを空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないので、画像の再生に際し、1画面が完全に完成する予め定められたフレーム数の前から再生を開始し、目的の時間的位置のフレームに達してから再生画面を表示すれば良く、手間の掛かるIフレームのサーチ処理を行なわなくても、任意の時間的位置の再生画面を容易に表示できる。加えて、動画配信に際し、配信サーバ並びにデータ通信経路において、配信データ量が時間的に均一化するため、従来の技術を用いたコンテンツを配信する場合よりも高い配信性能が得られる。また、受信・再生側においては、単位時間当たりの受信量変動が小さくなるため、バッファリングに必要なメモリ量を削減でき、再生負荷も一定化することから、能力の低いシステムであっても安定した再生が可能となる。加えて、データエラーの再生に対する影響が小さいので、データエラーを無視して再生を続行することが可能となり、これによって配信側のシステムにおけるデータの再送を不要とし、且つ配信側の負荷を低減できる。さらに、マルチキャスト配信等による動画像放送が容易に実現できるものである。   According to the moving image information compression method and system according to the third aspect of the present invention, when an I frame is spatially divided into blocks in advance, and when the divided I blocks are dispersed in the time axis direction between frames, Since no I-block is inserted at the block position in the frame that has been updated due to the difference between the frames, the reproduction is started before the predetermined number of frames at which one screen is completely completed when reproducing the image. Then, it is only necessary to display the reproduction screen after reaching the frame at the target temporal position, and it is possible to easily display the reproduction screen at an arbitrary temporal position without performing a troublesome I frame search process. In addition, at the time of moving image distribution, the distribution data amount becomes uniform over time in the distribution server and the data communication path, so that higher distribution performance can be obtained than in the case of distributing content using the conventional technology. Also, on the receiving / reproducing side, fluctuations in the amount of received data per unit time are small, so the amount of memory required for buffering can be reduced, and the reproduction load is constant, so that even systems with low capabilities can be stable. Playback that is possible. In addition, since the influence of the data error on the reproduction is small, it is possible to continue the reproduction ignoring the data error, thereby making it unnecessary to retransmit the data in the system on the distribution side and reducing the load on the distribution side. . Furthermore, moving image broadcasting by multicast distribution or the like can be easily realized.

まず、本発明の第1の態様である動画像情報の圧縮方法について説明する。
すなわち、本発明は、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータPよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータPよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させるものである。
First, a description will be given of a moving image information compression method according to a first embodiment of the present invention.
That is, according to the present invention, pixels in a spatially adjacent frame or pixels in a temporally adjacent frame are compared with each other to output difference information of pixel elements, and the output difference information is given. Whether a portion larger than the parameter P or a portion other than the parameter P is stored in a bit map, and information of a portion larger than the parameter P stored in the bit map is compressed to perform redundancy processing. A method of compressing moving image information that reduces unnecessary information,
Prior to the inter-frame compression processing, an image in a frame is divided into blocks, and each divided block is approximated (substituted) as a single plane defined by three elements of pixels in the block. .

また、フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させ、該平面をパラメータPとして用いてフレーム内圧縮処理を行なうものである。   Before the inter-frame compression processing, the image in the frame is divided into blocks, and each divided block is approximated (replaced) as a single plane defined by three elements of pixels in the block. Intra-frame compression processing is performed using the plane as a parameter P.

さらに、ビット・マップへ保存されたパラメータPよりも大きくない部分の情報は、変化の無い画素として処理(削除)するものである。   Further, information of a portion that is not larger than the parameter P stored in the bit map is processed (deleted) as a pixel having no change.

また、画素の3つの要素によって定義される単一の平面を構成するための近似方法として、平均又は最小二乗法を用いるものである。   Further, as an approximation method for forming a single plane defined by three elements of a pixel, an average or a least square method is used.

加えて、フレーム内圧縮処理において、平面は、ブロック内の画素のピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義されるものである。   In addition, in the intra-frame compression processing, the plane is defined by three data items: the size of the pixel element of the pixel in the block, the inclination of the block in the x direction, and the inclination of the block in the y direction.

また、ビット・マップに保存された情報は、ランレングス、修正READ(MR、MMR)、修正ハフマン(MH)及びJBIG方式からなる群から選択される少なくとも1つの2値画像符号化方法によって情報圧縮されるものである。   The information stored in the bit map is compressed by at least one binary image encoding method selected from the group consisting of run length, modified READ (MR, MMR), modified Huffman (MH), and JBIG. Is what is done.

この他、パラメータPよりも大きい部分の情報は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理によって情報圧縮されるものである。   In addition, information of a portion larger than the parameter P is information compressed by an adaptive Huffman encoding process having a Huffman table of the number of predicted information.

また、エントロピー符号化によって、フレーム間について冗長な情報をさらに削減するものである。   In addition, redundant information between frames is further reduced by entropy coding.

このエントロピー符号化は、予測情報数のハフマンテーブルを有し、その中から予測情報に基づいて選択された1つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルを有し、その中から予測情報に基づいて選択された1つのテーブルを使用して符号化する適応算術符号化処理によって行なわれるものである。   This entropy coding has a Huffman table of the number of prediction information, and has an adaptive Huffman coding process of coding using one table selected based on the prediction information from among them, or an arithmetic table of the number of prediction information. Then, it is performed by an adaptive arithmetic coding process in which coding is performed using one table selected based on prediction information from among them.

そして、ピクセル要素の差分情報を用いるものである。   Then, the difference information of the pixel elements is used.

また、差分情報は、フレーム間における画素tと画素t−1とを比較して出力された差分である。   The difference information is a difference output by comparing the pixel t and the pixel t−1 between frames.

さらに、フレーム間におけるn×m画素(n、mは2以上の整数)を1ブロックとして取り扱ったそれぞれの画素同士を比較して出力された差分情報を用いるものである。   Further, difference information output by comparing each pixel obtained by treating n × m pixels (n and m are integers of 2 or more) between frames as one block is used.

また、フレーム内におけるn×m画素(n、mは2以上の整数)を1ブロックとして取り扱い、前記フレーム間における画素tと画素t−1とを比較して出力された差分の情報を用いるものである。   Further, n × m pixels (n and m are integers of 2 or more) in a frame are treated as one block, and information of a difference output by comparing the pixel t and the pixel t−1 between the frames is used. It is.

加えて、フレーム間におけるn×m画素において、nは2のK乗(Kは自然数)、mは2のK’乗(K’は自然数)である。   In addition, in n × m pixels between frames, n is 2 to the Kth power (K is a natural number) and m is 2 to the K′th power (K ′ is a natural number).

また、フレーム間圧縮処理の前に、分割ブロックサイズが同一フレーム内で変化するフレーム内圧縮処理を行なうものである。   Further, before the inter-frame compression processing, an intra-frame compression processing in which the divided block size changes within the same frame is performed.

次に、本発明の第1の態様である動画像情報の圧縮システムについて説明する。   Next, a moving image information compression system according to a first embodiment of the present invention will be described.

すなわち、本発明は、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータPよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存するビット・マップ情報記録手段4と、該ビット・マップ情報記録手段4によって保存されたパラメータPよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する情報圧縮手段5とを含む動画像情報の圧縮システムであって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させるブロック近似手段を有し、該ブロック近似手段によって得られた平面をパラメータPとして用いてフレーム内圧縮を行なうものである。
That is, according to the present invention, pixels in a spatially adjacent frame or pixels in a temporally adjacent frame are compared with each other to output difference information of pixel elements, and the output difference information is given. A bit map information recording means 4 for storing in the bit map whether the part is larger than the parameter P or a part other than the parameter P; and the parameter P stored by the bit map information recording means 4 An information compression means for reducing redundant information by performing compression processing of a large portion of information;
Block approximation means for dividing an image in a frame into blocks and approximating (substituting) each divided block as a single plane defined by three elements of pixels in the block before the inter-frame compression processing. And performs intra-frame compression using the plane obtained by the block approximation means as a parameter P.

また、情報圧縮手段5は、ビット・マップ情報記録手段4で保存されたパラメータPよりも大きくない部分の情報を変化の無い画素として処理(削除)するものである。   The information compressing means 5 processes (deletes) information of a portion not larger than the parameter P stored in the bit map information recording means 4 as a pixel having no change.

さらに、ブロック近似手段において、画素の3つの要素によって定義される単一の平面を構成するための近似処理として、平均又は最小二乗法を用いるものである。   Further, in the block approximation means, an average or a least square method is used as an approximation process for forming a single plane defined by three elements of a pixel.

また、ブロック近似手段において、平面は、ブロック内の画素のピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義されるものである。   In the block approximation means, the plane is defined by three data items: the size of the pixel element of the pixel in the block, the inclination of the block in the x direction, and the inclination of the block in the y direction.

加えて、ビット・マップ情報記録手段4により保存される情報は、ランレングス、修正READ(MR、MMR)、修正ハフマン(MH)及びJBIG方式からなる群から選択される少なくとも1つの2値画像符号化処理によって情報圧縮されるものである。   In addition, the information stored by the bit map information recording means 4 is at least one binary image code selected from the group consisting of run length, modified READ (MR, MMR), modified Huffman (MH) and JBIG system. The information is compressed by the conversion process.

また、パラメータPよりも大きい部分の情報の圧縮処理を行なう情報圧縮手段5は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理を行なうものである。   The information compressing means 5 for compressing information of a portion larger than the parameter P performs adaptive Huffman encoding having a Huffman table of the number of predicted information.

この他、フレーム間の冗長な情報を削減するエントロピー符号化手段6を備え、このエントロピー符号化手段6は、予測情報数のハフマンテーブルの中から予測情報に基づいて選択された1つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルの中から予測情報に基づいて選択された1つのテーブルを使用して符号化する適応算術符号化処理を行なうものである。   In addition, an entropy encoding unit 6 for reducing redundant information between frames is provided. The entropy encoding unit 6 uses one table selected based on the prediction information from a Huffman table of the number of prediction information. Huffman coding or adaptive arithmetic coding using a single table selected based on prediction information from an arithmetic table of the number of prediction information.

また、ビット・マップ情報記録手段4において保存される差分情報は、フレーム内におけるn×m画素(n、mは2以上の整数)を1ブロックとして取り扱い、前記フレーム間における画素tと画素t−1とを比較して出力された差分である。   The difference information stored in the bit map information recording means 4 handles nxm pixels (n and m are integers of 2 or more) in a frame as one block, and the pixel t and the pixel t- This is a difference output by comparing with 1.

以下に、本発明の第1の態様である動画像情報の圧縮方法およびそのシステムについての一実施の形態を説明する。   Hereinafter, an embodiment of a method and system for compressing moving image information according to the first aspect of the present invention will be described.

図1は、動画像情報の圧縮経路の概略を示すブロック図である。例えば、ビデオカメラ、ディスクプレーヤあるいはビデオカセットプレーヤーのようなNTSC方式の装置から出力されたコンポジットのアナログ信号がアナログ・デジタル変換機1でデジタル信号に変換され、ビデオフレームの1本のラインを表わすものとしてデジタル出力され、バッファ2に蓄積される。尚、映像信号として、NTSC方式の装置から出力されたアナログ信号がアナログ・デジタル変換機1でデジタル信号に変換され、デジタル出力されてバッファ2に蓄積される旨が記載されているが、本発明はこれに何等限定されるものではない。すなわち、本発明は、所定の装置から出力される一般的な映像信号を含む全ての映像信号を、効率良く圧縮するものである。   FIG. 1 is a block diagram schematically showing a compression path of moving image information. For example, a composite analog signal output from an NTSC system device such as a video camera, a disc player, or a video cassette player is converted into a digital signal by the analog-to-digital converter 1 and represents one line of a video frame. And is stored in the buffer 2. It is described that an analog signal output from an NTSC system device is converted into a digital signal by an analog / digital converter 1 as a video signal, digitally output, and stored in a buffer 2. Is not limited to this. That is, the present invention efficiently compresses all video signals including general video signals output from a predetermined device.

また、図1に示すように、エンコーダ圧縮器3は、フレーム間における画素tと、画素t−1とを順次比較し、その差分が与えられた閾値であるパラメータPよりも大きい部分であるか又はそれ以外の部分であるかを1ビットのビット・マップへ保存するためのビット・マップ情報記録手段4を備えている。この画素tと、画素t−1との比較は、ピクセル要素(輝度又は色素等)によって行なう。ここで、tは時間を意味しており、現在tのフレームの画素(画素t)と、これに(フレーム内の位置において)対応する時間的に直前のt−1のフレームの画素(画素t−1)とを比較するものである。しかも、ビット・マップ情報記録手段4により保存された両画素t,t−1の差分がパラメータPよりも大きい部分の情報は圧縮処理を行ない、それ以外の部分の情報はフレーム間で変化の無い画素として処理(削除)する。パラメータPよりも大きい部分の情報は、例えば予測情報数のハフマンテーブルを有する適応ハフマン符号化処理による情報圧縮手段5によって圧縮処理される。そして、エンコーダ圧縮器3は、空間的、時間的に隣接した画素を比較し、差分情報を出力させることでフレーム間について冗長な情報を削減するための、例えば予測情報数の算術テーブルから予測情報をもとに選択される一つの算術テーブルを用いて符号化する適応算術符号化処理を行なうエントロピー符号化手段6を備えている。尚、画素tと画素t−1との差分は、これが与えられたパラメータPよりも大きくない差分であるときは、絶対値としてとらえることができる。また、パラメータPよりも大きいかそうでないかに拘わらず、この差分を絶対値としてとらえることもできる。   Further, as shown in FIG. 1, the encoder compressor 3 sequentially compares the pixel t and the pixel t−1 between frames, and determines whether the difference is larger than the given threshold value, the parameter P. Or a bit map information recording means 4 for storing the other part in a 1-bit bit map. The comparison between the pixel t and the pixel t-1 is performed based on a pixel element (luminance, pigment, or the like). Here, t means time, and a pixel of the current t frame (pixel t) and a corresponding pixel (pixel t) of the temporally immediately preceding t-1 frame (at a position in the frame). -1). In addition, information of a portion where the difference between the two pixels t and t-1 stored by the bit map information recording means 4 is larger than the parameter P is subjected to compression processing, and information of other portions is not changed between frames. Process (delete) as pixels. The information of the portion larger than the parameter P is compressed by the information compressing means 5 by the adaptive Huffman coding process having a Huffman table of the number of predicted information, for example. The encoder compressor 3 compares spatially and temporally adjacent pixels and outputs difference information to reduce redundant information between frames. For example, the encoder compressor 3 calculates prediction information from an arithmetic table of the number of prediction information. And entropy encoding means 6 for performing an adaptive arithmetic encoding process for encoding using one arithmetic table selected based on. The difference between the pixel t and the pixel t-1 can be regarded as an absolute value when the difference is not larger than the given parameter P. In addition, regardless of whether the difference is larger than the parameter P or not, the difference can be taken as an absolute value.

そして、図2に示すように、符号化(エンコーディング)の後、フレーム毎のブロックデータはビット・マップ情報記録手段4のメモリ10に送られ、ここで1フレーム時間遅延されて直前のフレームとして存在し、次いで、時間変数インパルス応答フィルタであるテンポラルフィルタ11でフィルタされる。フィルタの後、現在のフレームデータ13と直前のフレームデータ14とは、圧縮器によりフレーム間の冗長性について調べられその差が計算される。すなわち、比較手段12により符号化された各ブロックは、直前のフレームの対応するブロックと比較される。各ブロックはそれが変化のあるブロックであるか、それとも直前のブロックに対して変化の無いブロックであるかを定義する単一ビットのマークを付される。この過程によりブロック当たり1ビットのフレーム・ビットマップが作られる。このとき、フレーム毎のビット・マップは、フレーム間の比較により区別される。   Then, as shown in FIG. 2, after encoding (encoding), the block data for each frame is sent to the memory 10 of the bit map information recording means 4, where it is delayed by one frame time and is present as the immediately preceding frame. Then, it is filtered by a temporal filter 11 which is a time variable impulse response filter. After the filter, the current frame data 13 and the immediately preceding frame data 14 are checked for redundancy between frames by a compressor, and the difference is calculated. That is, each block encoded by the comparing means 12 is compared with the corresponding block of the immediately preceding frame. Each block is marked with a single bit that defines whether it is a changing block or a block that has not changed with respect to the previous block. This process creates a frame bitmap with one bit per block. At this time, the bit map for each frame is distinguished by comparison between frames.

本実施の形態においては、ブロックサイズを変えないフレーム内圧縮を基本原理としている。すなわち、図5に示すように、予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の大きさz、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義された単一の平面で近似(置換)させている。すなわち、フレーム内圧縮において、画像をまずブロック分割して、これらの分割ブロックを近似するための単一の平面に置き換える。この平面は、各ブロックのピクセル要素、例えばz:輝度の大きさ、x:x方向の傾き、y:y方向の傾きの3つの要素で定義することもできる。また、ブロックのピクセル要素の大きさz、ブロックのピクセル要素のx方向の傾き、ブロックのピクセル要素のy方向の傾きでも定義できる。さらに、ブロック内の画素のピクセル要素の大きさz、ブロック間のピクセル要素のx方向の傾き、ブロック間のピクセル要素のy方向の傾きでも定義できる。近似方法としては、例えば平均又は最小二乗法等を適用する。このように削減(圧縮)されたデータは、平面を規定するもので、伸張するとグラデーションを示す平面となる。このとき、ブロックを構成する画素数がsとすれば、フレーム内の圧縮率は3/sとなり、sの増大に伴い圧縮率は向上するが、画質は低下する。尚、ブロックのサイズと形状はn×m画素でn、mは2以上の整数であれば任意である。また、フレーム間におけるn×m画素において、nは2のK乗(Kは自然数)、mは2のK’乗(K’は自然数)としても良い。   In the present embodiment, the basic principle is intra-frame compression without changing the block size. That is, as shown in FIG. 5, the intra-frame image is divided into blocks in advance, and all the divided blocks are subjected to the pixel element size z of each block, the inclination of the block in the x direction, and the inclination of the block in the y direction. Is approximated (substituted) with a single plane defined by the three data items. That is, in intra-frame compression, an image is first divided into blocks, and these divided blocks are replaced with a single plane for approximating the divided blocks. This plane can also be defined by three pixel elements of each block, for example, z: magnitude of luminance, x: inclination in x direction, and y: inclination in y direction. Further, it can be defined by the size z of the pixel element of the block, the inclination of the pixel element of the block in the x direction, and the inclination of the pixel element of the block in the y direction. Furthermore, it can be defined by the size z of the pixel element of the pixel in the block, the inclination of the pixel element between blocks in the x direction, and the inclination of the pixel element between blocks in the y direction. As an approximation method, for example, an average or least square method is applied. The data thus reduced (compressed) defines a plane, and when expanded, becomes a plane showing gradation. At this time, if the number of pixels constituting the block is s, the compression ratio in the frame is 3 / s. As the s increases, the compression ratio improves, but the image quality decreases. The size and shape of the block are nxm pixels, and n and m are arbitrary as long as they are integers of 2 or more. In the n × m pixels between frames, n may be 2 to the power of K (K is a natural number), and m may be 2 to the power of K ′ (K ′ is a natural number).

次に、本実施の形態におけるフレーム間圧縮の基本原理について説明する。   Next, the basic principle of inter-frame compression in the present embodiment will be described.

すなわち、フレーム間圧縮の第1の方法としては、現フレームtの次のフレーム(t+1)の同一位置のブロックに対し上記フレーム内圧縮を行ない、z:ピクセル要素の大きさ、x:ブロックのx方向の傾き、y:ブロックのy方向の傾きの3つの要素において、z(t+1)、x(t+1)、y(t+1)を得る。そして、z(t)、x(t)、y(t)と、z(t+1)、x(t+1)、y(t+1)との二乗平均誤差を算出し、閾値kと比較する。その結果、閾値kを越える場合は、差分ありと判定する。あるいは、z(t)、x(t)、y(t)と、z(t+1)、x(t+1)、y(t+1)に対し、それぞれの閾値kz、kx、kyと比較し、差分が閾値kを越えている場合は、差分ありと判定する。差分ありと判定された場合には、フレーム内のブロックの位置を示すビット・マップにそれをマーキングする。このビット・マップは、前者の場合は1つ、後者の場合は3つ得られる。このビット・マップは0と1の羅列(バイナリデータ)であり、ランレングス圧縮等を使用して圧縮される。また、差分データΔz(t)=z(t+1)−z(t)、Δx(t)=x(t+1)−x(t)、Δy(t)=y(t+1)−y(t)は、エントロピー圧縮される。尚、第1の方法は、伸張を行なわないため、演算は軽いが、演算誤差が蓄積する場合がある。   That is, as a first method of the inter-frame compression, the above-mentioned intra-frame compression is performed on the block at the same position in the next frame (t + 1) of the current frame t, z: the size of the pixel element, x: x of the block Slope in direction, y: z (t + 1), x (t + 1), and y (t + 1) are obtained in three elements of the slope in the y direction of the block. Then, a mean square error between z (t), x (t), y (t) and z (t + 1), x (t + 1), y (t + 1) is calculated and compared with the threshold k. As a result, if it exceeds the threshold value k, it is determined that there is a difference. Alternatively, z (t), x (t), y (t) and z (t + 1), x (t + 1), y (t + 1) are compared with respective thresholds kz, kx, ky, and the difference is determined by the threshold. If it exceeds k, it is determined that there is a difference. If it is determined that there is a difference, the block is marked on a bit map indicating the position of the block in the frame. One bit map is obtained in the former case and three bit maps are obtained in the latter case. This bit map is a sequence of 0s and 1s (binary data) and is compressed using run-length compression or the like. Also, the difference data Δz (t) = z (t + 1) −z (t), Δx (t) = x (t + 1) −x (t), Δy (t) = y (t + 1) −y (t) are Entropy compressed. Note that the first method does not perform decompression, so that the calculation is light, but a calculation error may accumulate.

フレーム間圧縮の第2の方法としては、上記フレーム内圧縮の基本原理で圧縮したデータを伸張し、ブロックを構成するそれぞれのピクセル要素のデータを復元する。そして、次のフレーム(t+1)の同一位置のブロックを構成するブロック内の同一位置のピクセル要素のデータと、上記の復元されたピクセル要素のデータの二乗平均誤差を算出し、閾値kと比較する。その結果、閾値kを越える場合は、差分ありと判定する。差分ありと判定された場合には、フレーム内のブロックの位置を示すビット・マップにそれをマーキングする。このビット・マップは0と1の羅列(バイナリデータ)であり、ランレングス圧縮等を使用して圧縮される。また、差分データΔz(t)=z(t+1)−z(t)、Δx(t)=x(t+1)−x(t)、Δy(t)=y(t+1)−y(t)は、エントロピー圧縮される。尚、第2の方法は、伸張を行なうため、演算は重いが、演算誤差は蓄積しない。   As a second method of inter-frame compression, data compressed according to the basic principle of intra-frame compression is decompressed and data of each pixel element constituting a block is restored. Then, the root mean square error between the data of the pixel element at the same position in the block forming the same position of the next frame (t + 1) and the data of the restored pixel element is calculated and compared with the threshold value k. . As a result, if it exceeds the threshold value k, it is determined that there is a difference. If it is determined that there is a difference, the block is marked on a bit map indicating the position of the block in the frame. This bit map is a sequence of 0s and 1s (binary data) and is compressed using run-length compression or the like. Also, the difference data Δz (t) = z (t + 1) −z (t), Δx (t) = x (t + 1) −x (t), Δy (t) = y (t + 1) −y (t) are Entropy compressed. In the second method, since the expansion is performed, the calculation is heavy, but the calculation error is not accumulated.

フレーム間圧縮の第3の方法としては、現フレーム(t)と次のフレーム(t+1)の同一位置のブロックを構成するブロック内の同一位置のピクセル要素のデータの二乗平均誤差を算出し、閾値kと比較する。その結果、閾値kを越える場合は、差分ありと判定する。差分ありと判定された場合には、次のフレーム(t+1)の同一位置のブロックを構成するブロック内の同一位置のピクセル要素のデータとの差分ΔPを求め、これに対して前記フレーム内圧縮を行なう。そして、フレーム内のブロックの位置を示すビット・マップにそれをマーキングする。このビット・マップは0と1の羅列(バイナリデータ)であり、ランレングス圧縮等を使用して圧縮される。また、差分データΔPは、エントロピー圧縮される。尚、第3の方法は、差分判定を行なってから圧縮が行なわれるため、最も演算量が少なく、演算誤差も蓄積されない。   As a third method of inter-frame compression, a root-mean-square error of data of pixel elements at the same position in a block constituting a block at the same position in the current frame (t) and the next frame (t + 1) is calculated, and a threshold is calculated. Compare with k. As a result, if it exceeds the threshold value k, it is determined that there is a difference. If it is determined that there is a difference, a difference ΔP from the data of the pixel element at the same position in the block constituting the block at the same position in the next frame (t + 1) is calculated. Do. Then, it is marked on a bit map indicating the position of the block in the frame. This bit map is a sequence of 0s and 1s (binary data) and is compressed using run-length compression or the like. The difference data ΔP is subjected to entropy compression. In the third method, since the compression is performed after the difference determination is performed, the amount of calculation is the smallest, and no calculation error is accumulated.

また、前記ビット・マップ情報記録手段4により保存された1ビットのビット・マップ情報は、2値画像符号化として、ランレングス、修正READ(MR、MMR)、修正ハフマン(MH)、JBIG等の方式をもって情報圧縮される。具体的には、ランレングス符号化の場合には、一般にファクシミリ等で取り扱う2値の文書画像は白画素あるいは黒画素がある程度固まって出現する場合が多く、1次元方向に白あるいは黒の連続する画素の塊である、所謂ランを符号化の単位とし、その連続した画素数の長さをラン長として符号化するものである。例えば、公衆電話網利用のデジタルファクシミリでは、ランレングスモデルに対して白黒別々に構成した修正ハフマン符号を用いるのが通例である。     The 1-bit bit map information stored by the bit map information recording means 4 is a binary image encoding such as run-length, modified READ (MR, MMR), modified Huffman (MH), JBIG, etc. Information is compressed by the method. Specifically, in the case of run-length encoding, in general, a binary document image handled by facsimile or the like often has a certain number of white pixels or black pixels appearing to a certain extent, and white or black is continuous in one-dimensional direction. A so-called run, which is a lump of pixels, is used as an encoding unit, and the length of the number of consecutive pixels is encoded as a run length. For example, in a digital facsimile using a public telephone network, it is customary to use a modified Huffman code configured separately for black and white for a run length model.

さらに、修正ハフマン符号化(MH)の場合には、これは例えば画像密度8画素/mmで読み取り、1走査線当たり1728画素の白黒画素情報を得るファクシミリ伝送用1次元符号化方式として採用されており、MH符号とはこの連続した白画素の塊(白ラン)又は黒画素の塊(黒ラン)の長さであるランレングスを表現したもので、ある長さの白ラン、黒ランの発生確率には統計的偏りがあることを利用して可変長符号を割り付けることをデータ量圧縮の原理としている。   Further, in the case of the modified Huffman coding (MH), this is adopted as a one-dimensional coding method for facsimile transmission which reads at, for example, an image density of 8 pixels / mm and obtains black and white pixel information of 1728 pixels per scanning line. The MH code represents a run length which is the length of the continuous cluster of white pixels (white run) or the cluster of black pixels (black run), and the occurrence of a white run or black run of a certain length. The principle of data amount compression is to assign a variable length code using the probability that the probability has a statistical bias.

また、修正READ(MR、MMR)の場合には、これは例えば1次元符号化方式に加えて2次元符号化方式の標準として採用されるもので、MRの場合には、1次元符号化した後に、標準解像度で最大1本、高解像度で最大3本までの連続する走査線を2次元符号化するものであり、MMRの場合では、MR符号化方式を標準解像度、高解像度共に無限大に設定したものである。   In the case of the modified READ (MR, MMR), this is adopted as a standard of the two-dimensional encoding system in addition to the one-dimensional encoding system, and in the case of the MR, one-dimensional encoding is performed. Later, up to one continuous line at a standard resolution and up to three continuous lines at a high resolution are two-dimensionally encoded. In the case of MMR, the MR encoding method is infinite for both the standard resolution and the high resolution. It is set.

本発明に係る動画像情報の圧縮方法およびそのシステムの基本構造は、空間的、時間的に隣接した画素(ピクセル)を比較し、差分情報を出力させることでフレーム間について冗長な情報を削減することにある。すなわち、図2に示すように、フレーム間における画素tと、画素t−1とを順次比較し、その差分が与えられた閾値であるパラメータPよりも大きい部分であるか又はそれ以外の部分であるかを1ビットのビット・マップ情報として記録させる。そして、エントロピー符号化手段6は、フレーム内、フレーム間の夫々について出現する符号を予測し、予測からの僅かなズレを出力することで冗長な情報を削減する。このとき、符号化割り当てを行なって符号化伝送するときは、1画素当たりの平均符号長は平均情報量(エントロピー)以下にならないことは周知である。   The basic structure of the moving image information compression method and system according to the present invention is to reduce redundant information between frames by comparing spatially and temporally adjacent pixels (pixels) and outputting difference information. It is in. That is, as shown in FIG. 2, the pixel t and the pixel t−1 between the frames are sequentially compared, and the difference between the pixel t and the pixel t−1 is larger than a given parameter P which is a given threshold value, or at other portions. Is recorded as 1-bit bit map information. Then, the entropy coding unit 6 predicts a code appearing in each of the frames and between the frames, and outputs a slight deviation from the prediction to reduce redundant information. At this time, it is well known that, when coding transmission is performed by performing coding allocation, the average code length per pixel does not become less than the average information amount (entropy).

以下に、適応ハフマン符号化法のアルゴリズムについて説明する。適応ハフマン符号化は、差分情報生成とハフマン符号化という一連予測符号化処理を一括して行なうことで、符号語生成の効率化を図るものである。従来のハフマン符号化処理では、通常1つのハフマンテーブルを用いて符号語を生成し、動的ハフマン符号化処理では、1語符号化するたびにハフマンテーブルを更新したりする。これに対し、適応ハフマン符号化では、予測情報数のハフマンテーブル(符号表)を有し、複数のテーブルから予測情報をもとにテーブルセレクタにより1つのテーブルを選択し、これを用いて符号化を行なう。これにより、画像情報、音声情報等の予測符号が可能なデータを効率的に圧縮できるのである。   Hereinafter, the algorithm of the adaptive Huffman coding method will be described. Adaptive Huffman coding aims to increase the efficiency of codeword generation by performing a series of predictive coding processes of difference information generation and Huffman coding. In the conventional Huffman encoding process, a codeword is usually generated using one Huffman table, and in the dynamic Huffman encoding process, the Huffman table is updated every time one word is encoded. On the other hand, in the adaptive Huffman coding, a Huffman table (code table) of the number of prediction information is provided, one table is selected from a plurality of tables by a table selector based on the prediction information, and coding is performed using the table. Perform As a result, it is possible to efficiently compress data that can be predicted and encoded, such as image information and audio information.

次に、適応算術符号化法のアルゴリズムについて説明する。適応算術符号化は、差分情報生成と算術符号化という一連予測符号化処理を一括で処理することによって、符号語生成の効率化を図るものである。従来の算術符号化処理では、通常1つの生起確率テーブルを用いて符号語を生成し、動的算術符号では、1語符号化するたびに生起確率テーブルを更新したりする。これに対し、適応算術符号化では、予測情報数の算術テーブル(復号表)を有し、複数のテーブルから予測情報をもとにテーブルセレクタにより1つのテーブルを選択し、これを用いて符号化する。これにより、画像情報の予測符号が可能なデータを効率的に圧縮できるのである。   Next, the algorithm of the adaptive arithmetic coding method will be described. Adaptive arithmetic coding aims to increase the efficiency of codeword generation by processing a series of predictive coding processes, namely, difference information generation and arithmetic coding. In a conventional arithmetic coding process, a codeword is usually generated using one occurrence probability table, and in a dynamic arithmetic code, the occurrence probability table is updated every time one word is coded. On the other hand, in the adaptive arithmetic coding, an arithmetic table (decoding table) of the number of prediction information is provided, one table is selected from a plurality of tables by a table selector based on the prediction information, and coding is performed using the table. I do. As a result, data capable of predictive coding of image information can be efficiently compressed.

動画に対する適応変換符号化としては、伝送路バッファメモリの充足度を用いたフィードバック制御により変換係数をスケーリングした後に符号化する方法がとられる。この場合、代表的な画像に対する変換係数のヒストグラムを基に符号化しない無意係数を決める閾値、無意係数の連続性を符号化するランレングス符号及び有意係数を符号化する適応ハフマン符号化テーブルを求め、これに基づいて符号化する方法がとられている。   As the adaptive transform coding for a moving image, a method is employed in which a transform coefficient is scaled by feedback control using the sufficiency of a transmission path buffer memory and then coded. In this case, a threshold for determining an insignificant coefficient not to be encoded based on a histogram of transform coefficients for a representative image, a run-length code for encoding the continuity of the insignificant coefficient, and an adaptive Huffman encoding table for encoding a significant coefficient are obtained. , An encoding method based on this is adopted.

具体的な予測符号化回路の構成は、図3に示すように、アナログ・デジタル変換された画像入力データは途中で遅延され、前のデータ(最適な遅延をかけられたデータ)の値がテーブルセレクタに送られて符号化されると同時に、画像入力データを直接に符号化器に伝送させたものと比較されて差分がとられる。テーブルセレクタでは画像入力データに応じて、予測情報を基に符号表が選択されて符号化器へ送られ、そこで画像入力データを情報圧縮させることにより、調整された符号語とする。   As shown in FIG. 3, the specific configuration of the predictive encoding circuit is such that the analog-to-digital converted image input data is delayed halfway, and the value of the previous data (the data with the optimal delay) is stored in a table. At the same time as being sent to the selector and encoded, the difference is obtained by comparing the image input data with that transmitted directly to the encoder. In the table selector, a code table is selected based on the prediction information in accordance with the image input data and sent to the encoder, where the image input data is subjected to information compression to obtain an adjusted code word.

そして、具体的な予測復号化回路の構成は、図4に示すように、符号語は復号器へ伝送されると同時に、直接に送られた符号語を一旦テーブルセレクタに送り、そこで予測情報をもとに復号表が選択されて前記復号器へ送られ、すでに復号化された画素の値との差分をとることにより、調整された画像出力データとなる。   Then, as shown in FIG. 4, the specific structure of the predictive decoding circuit is that the codeword is transmitted to the decoder, and at the same time, the directly transmitted codeword is once sent to the table selector, where the prediction information is transmitted. A decoding table is originally selected and sent to the decoder, and the difference between the decoded table value and the already decoded pixel value is obtained to obtain adjusted image output data.

さらに、本発明の第2の態様である動画像情報の圧縮方法について説明する。   Further, a description will be given of a moving image information compression method according to the second embodiment of the present invention.

すなわち、本発明は、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータPよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータPよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、分割ブロックサイズが同一フレーム内で変化するフレーム内圧縮処理を行なうものである。
That is, according to the present invention, pixels in a spatially adjacent frame or pixels in a temporally adjacent frame are compared with each other to output difference information of pixel elements, and the output difference information is given. Whether a portion larger than the parameter P or a portion other than the parameter P is stored in a bit map, and information of a portion larger than the parameter P stored in the bit map is compressed to perform redundancy processing. A method of compressing moving image information that reduces unnecessary information,
Before the inter-frame compression processing, an intra-frame compression processing in which the divided block size changes within the same frame is performed.

また、フレーム内圧縮処理は、分割ブロックサイズを変化させながら、各ブロックの画素同士を互いに比較してピクセル要素の差分情報を出力させ、この差分情報がパラメータPよりも大きいときは、そのピクセル要素を含む部分に、より小さいブロックサイズを適用するものである。   The intra-frame compression process compares the pixels of each block with each other while changing the divided block size, and outputs difference information of pixel elements. When the difference information is larger than the parameter P, the pixel element The smaller block size is applied to the portion including.

さらに、ピクセル要素の差分情報がパラメータPよりも大きいとき、より小さいブロックサイズの適用を繰り返すものである。   Further, when the difference information of the pixel element is larger than the parameter P, the application of the smaller block size is repeated.

また、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させ、該平面をパラメータPとして用いるものである。   Further, an image in a frame is divided into blocks, each divided block is approximated (substituted) as a single plane defined by three elements of pixels in the block, and the plane is used as a parameter P. It is.

加えて、フレーム内圧縮処理において、平面は、ブロック内の画素のピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義されるものである。   In addition, in the intra-frame compression processing, the plane is defined by three data items: the size of the pixel element of the pixel in the block, the inclination of the block in the x direction, and the inclination of the block in the y direction.

また、フレーム内圧縮処理は、画像全体をフレーム内圧縮に従い、n×m画素(n、mは2以上の整数)のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータPよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返すものである。   In the intra-frame compression process, the whole image is compressed in blocks of nxm pixels (n and m are integers of 2 or more) in accordance with the intra-frame compression, and pixels in the original image and the image expanded after compression are mutually separated. An operation of outputting difference information of each pixel element by comparison and applying a smaller block size to a part including the pixel element and a part around the pixel element when a pixel element having a difference larger than the parameter P exists. Is repeated up to the designated minimum block unit.

この他、フレーム内圧縮処理をした結果、ブロックサイズに変化が無い場合は、フレーム間圧縮処理を行なうものである。   In addition, if there is no change in the block size as a result of the intra-frame compression processing, the inter-frame compression processing is performed.

また、ブロックサイズが大きくなる方向に変化する場合は、該ブロックのデータを差分をとらずにそのまま出力するものである。   When the block size changes in a direction to increase, the data of the block is output as it is without taking the difference.

さらに、ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮するものである。   Further, when the block size changes in a direction to decrease, a difference from the previous decompressed data is obtained for each part, and the difference is compressed by the corresponding block size.

次に、本発明の第2の態様である動画像情報の圧縮システムについて説明する。   Next, a moving image information compression system according to a second embodiment of the present invention will be described.

すなわち、本発明は、ブロック近似手段において、フレーム内圧縮処理は、画像全体をフレーム内圧縮に従い、n×m画素(n、mは2以上の整数)のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータPよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックを適用する操作を、指定された最小ブロック単位まで繰り返すものである。   That is, according to the present invention, in the block approximation means, the intra-frame compression process compresses the entire image in blocks of nxm pixels (n and m are integers of 2 or more) according to the intra-frame compression, and compresses the original image and the compressed image. The pixels in the image expanded later are compared with each other, and the difference information of each pixel element is output. When there is a pixel element in which a difference larger than the parameter P exists, a part including the pixel element and a part around the pixel element are included. , The operation of applying smaller blocks is repeated up to the designated minimum block unit.

また、ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズに変化がない場合は、フレーム間圧縮処理を行なうものである。   If the block approximating means does not change the block size as a result of the intra-frame compression processing, the inter-frame compression processing is performed.

さらに、ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが大きくなる方向に変化する場合は、当該ブロックのデータを差分をとらずにそのまま出力するものである。   Further, when the block approximating means changes in a direction in which the block size increases as a result of the intra-frame compression processing, the data of the block is output without taking the difference.

また、ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮するものである。   If the block approximation unit changes in a direction in which the block size decreases as a result of the intra-frame compression processing, a difference from the previous decompressed data is obtained for each part, and the difference is compressed using the corresponding block size. Things.

以下に、本発明の第2の態様である動画像情報の圧縮方法およびそのシステムについて、図6、図7に基づいて説明する。   Hereinafter, a method and system for compressing moving image information according to a second embodiment of the present invention will be described with reference to FIGS.

前述したようにブロックサイズを大きくした場合には、圧縮率は向上するが、原画のディテールが失われ、画質が劣化する。特に一定色の背景と、大きく輝度が異なる細い線で構成されるような原画の場合、細い線が全く失われてしまうような現象が発生する。これを解決するために、以下のような方法を用いる。尚、説明を簡便にするため、16×16画素の白黒画像を前提(一例)として説明する。   As described above, when the block size is increased, the compression ratio is improved, but the detail of the original image is lost, and the image quality is deteriorated. Particularly, in the case of an original image composed of a background of a fixed color and a thin line having a greatly different luminance, a phenomenon occurs in which the thin line is completely lost. In order to solve this, the following method is used. For the sake of simplicity, the description is based on a premise (example) of a 16 × 16 pixel monochrome image.

すなわち、図6に示すように、画像全体を前記したフレーム内圧縮に従い、16×16画素のブロックで圧縮(伸張)する。原画像と圧縮後に伸張した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、閾値d1と比較する。比較した結果、閾値d1を超える差分があるピクセル要素が存在した場合には、そのピクセル要素を含む部分を8×8画素のブロックで圧縮(伸張)する(図8の大円部分)。このとき、周囲も8×8画素で圧縮する。次に、原画像と圧縮後に伸張した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、閾値d2と比較する。比較した結果、閾値d2を超える差分があるピクセル要素が存在した場合には、そのピクセル要素を含む部分を4×4画素のブロックで圧縮(伸張)する(図8の中円部分)。このとき、周囲も4×4画素で圧縮する。さらに、原画像と圧縮後に伸張した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、閾値d3と比較する。比較した結果、閾値d3を超える差分があるピクセル要素が存在した場合には、そのピクセル要素を含む部分を2×2画素のブロックで圧縮(伸張)する(図8の小円部分)。このとき、周囲も2×2画素で圧縮する。このような方法により、高圧縮率を維持しつつ、原画像のディテールを失わずに圧縮が可能となる。   That is, as shown in FIG. 6, the entire image is compressed (expanded) in blocks of 16 × 16 pixels according to the above-described intra-frame compression. The pixels in the original image and the image expanded after compression are compared with each other to output difference information of each pixel element, and are compared with the threshold value d1. As a result of the comparison, when there is a pixel element having a difference exceeding the threshold value d1, the portion including the pixel element is compressed (expanded) by a block of 8 × 8 pixels (large circle portion in FIG. 8). At this time, the surrounding area is also compressed by 8 × 8 pixels. Next, the pixels in the original image and the image decompressed and expanded are compared with each other to output difference information of each pixel element, and are compared with the threshold value d2. As a result of the comparison, when there is a pixel element having a difference exceeding the threshold value d2, a portion including the pixel element is compressed (expanded) by a block of 4 × 4 pixels (the middle circle in FIG. 8). At this time, the surrounding area is also compressed by 4 × 4 pixels. Further, the pixels in the original image and the image expanded after compression are compared with each other, and the difference information of each pixel element is output, and is compared with the threshold value d3. As a result of the comparison, when there is a pixel element having a difference exceeding the threshold value d3, a portion including the pixel element is compressed (expanded) by a block of 2 × 2 pixels (small circle portion in FIG. 8). At this time, the surrounding area is also compressed by 2 × 2 pixels. According to such a method, it is possible to perform compression without losing the details of the original image while maintaining a high compression ratio.

次に、上記フレーム内圧縮処理をした結果、フレーム(t)においては図7(イ)、フレーム(t+1)においては図7(ロ)の圧縮画像が得られたとした場合の、フレーム間圧縮処理の方法について説明する。すなわち、ブロックサイズに変化がない1→1’、2→2’に関しては、前記フレーム間圧縮処理において説明したいずれかの方法で差分をとり、フレーム間圧縮を行なう。解像度が粗くなる方向に変化する4→4’については、4’は前のフレームに依存せず単独で伸張可能なキーブロック(キーフレーム)扱いにする。このとき差分はとらない。すなわち、該ブロック4’のデータを差分をとらずにそのまま出力するのである。解像度が密になる方向に変化する3→3’に関しては、3の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮する。   Next, as a result of the above-described intra-frame compression processing, the inter-frame compression processing when the compressed image shown in FIG. 7A for frame (t) and FIG. 7B for frame (t + 1) is obtained. The method will be described. That is, for 1 → 1 ′ and 2 → 2 ′ in which the block size does not change, the difference is obtained by any of the methods described in the inter-frame compression processing, and inter-frame compression is performed. As for 4 → 4 ′, which changes in the direction in which the resolution becomes coarse, 4 ′ is treated as a key block (key frame) that can be independently expanded without depending on the previous frame. No difference is taken at this time. That is, the data of the block 4 'is output as it is without taking the difference. As for 3 → 3 ′, which changes in the direction in which the resolution becomes denser, a difference from the decompressed data of 3 is obtained for each part, and the difference is compressed with a corresponding block size.

次に、本発明の第3の態様である動画像情報の圧縮方法について説明する。   Next, a description will be given of a moving image information compression method according to a third embodiment of the present invention.

すなわち、本発明は、フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させるものである。   That is, the present invention employs an I frame (a reference frame in which an image is completed only by a frame) processed by intra-frame coding, spatially divides the I frame in advance, and divides the divided I block into respective blocks. It is distributed in the time axis direction between frames.

また、空間的にブロック分割したそれぞれのIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないものである。   When each of the spatially divided I blocks is dispersed in the time axis direction between frames, a difference between frames occurs within a designated period, and an I block is updated at a block position in the updated frame. Is not inserted.

さらに、予めフレーム内の画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義される単一の平面で近似(置換)させると共に、フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、Iフレームをフレーム列に挿入することが可能な動画像情報の圧縮方法であって、
Iフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないものである。
Further, the image in the frame is divided into blocks in advance, and all of the divided blocks are defined by three data of the pixel element size of each block, the inclination of the block in the x direction, and the inclination of the block in the y direction. In addition to approximation (replacement) with a single plane, it is possible to adopt an I frame (a reference frame in which an image is completed only with a frame) processed by intra-frame coding and insert the I frame into a frame sequence. A method for compressing moving image information,
When an I-frame is divided into blocks in advance and the divided I-blocks are dispersed in the time axis direction between the respective frames, a difference between the frames occurs within a designated period, and the difference between the I-blocks is determined in the updated block position in the frame. Does not insert an I block.

また、空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータPよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータPよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないものである。
Further, pixels in spatially adjacent frames or pixels in temporally adjacent frames are compared with each other to output difference information of pixel elements, and the output difference information is compared with the given parameter P. Whether it is a large part or another part is stored in a bit map, and information of a part larger than the parameter P stored in the bit map is compressed to reduce redundant information. Moving image information compression method,
An I frame to be processed by intra-frame coding (a reference frame in which an image is completed only by a frame) is adopted, the I frame is spatially divided in advance, and the divided I block is divided into frames in the time axis direction. In the case of dispersing the data into the blocks, the I-block is not inserted at the block position in the updated frame where the difference between the frames occurs within the designated period.

さらに、本発明の第3の態様である動画像情報の圧縮システムについて説明する。   Furthermore, a moving image information compression system according to a third aspect of the present invention will be described.

すなわち、本発明は、フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させるIブロック挿入手段7を有するものである。   That is, the present invention employs an I frame (a reference frame in which an image is completed only by a frame) processed by intra-frame coding, spatially divides the I frame in advance, and divides the divided I block into respective blocks. It has an I-block insertion means 7 for dispersing in the time axis direction between frames.

また、Iブロック挿入手段7は、フレーム間の差分が指定期間内に発生して更新されるフレーム内のブロック位置には、Iブロックを挿入しないものである。   Further, the I-block inserting means 7 does not insert an I-block at a block position in a frame where a difference between frames occurs within a specified period and is updated.

加えて、予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義された単一の平面で近似(置換)させるブロック近似手段を有する動画像情報の圧縮システムであって、
フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を空間的に分割するIブロック化手段8と、この分割したIブロックを各フレーム間の時間軸方向に分散させるに際し、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置以外の箇所にIブロックを挿入するIブロック挿入手段7とを備えているものである。
In addition, the in-frame image is divided into blocks in advance, and all of the divided blocks are defined by three pieces of data of the pixel element size of each block, the inclination of the block in the x direction, and the inclination of the block in the y direction. A moving image information compression system having block approximation means for approximating (replacing) with a single plane,
I-blocking means 8 for spatially dividing an I frame to be processed by intra-frame coding (a reference frame in which an image is completed only by a frame), and distributing the divided I blocks in the time axis direction between the respective frames In this case, there is provided an I-block inserting means 7 for inserting an I-block into a portion other than the block position in the updated frame in which a difference between frames occurs within a designated period.

以下に、本発明の第3の態様である動画像情報の圧縮方法およびそのシステムについて、図8、図9に基づいて説明する。   Hereinafter, a moving image information compression method and a system thereof according to a third embodiment of the present invention will be described with reference to FIGS.

すなわち、途中からの画像再生(デコード)や、再生中に発生したデータエラーに対応するためのエンコード方式である。尚、本方式では、3つ以上のフレーム全体を圧縮対象とする動き予測・補償技術を用いない圧縮アルゴリズムを前提条件とする。まず、フレーム内予測により符号化されたフレームすなわちIフレームを、空間的に単数もしくは複数のブロックに分割し、これらの分割されたIブロックを時間軸方向に分散させる(Iブロック化)。尚、このようなIブロック化におけるブロックサイズや分割形状等は任意に変更でき、しかもランダムに選択しても良い。   That is, it is an encoding method for responding to image reproduction (decoding) from the middle or a data error occurring during reproduction. In this method, a compression algorithm that does not use a motion prediction / compensation technique for compressing three or more entire frames is a precondition. First, a frame coded by intra-frame prediction, that is, an I frame is spatially divided into one or a plurality of blocks, and these divided I blocks are dispersed in a time axis direction (I block formation). Note that the block size, division shape, and the like in such I-blocking can be arbitrarily changed and may be randomly selected.

具体的には、図8に示すように、8×8画素のIフレームを、2×2画素のブロックに空間的に分割して16個のIブロックとし、これらをフレーム列に一定周期毎に挿入させるのであるが、これでは、フレーム間の差分出力が発生した部分(情報量の多い動きのある部分)とIブロック(このブロック自体の発生情報量が他の差分フレームよりも多い)が重なる場合に無駄なIブロックを挿入することとなって情報量が極端に増えるため、回復不可能なデータエラーが、挿入されたIフレームの位置に生じてしまう。これを回避するために、エンコード側の処理速度に問題が無い場合には、フレーム間の差分が指定期間内に発生して更新(差分出力)されたブロックに対しては、Iブロックを挿入しないのである。   Specifically, as shown in FIG. 8, an I frame of 8 × 8 pixels is spatially divided into blocks of 2 × 2 pixels to form 16 I blocks, and these are arranged in a frame sequence at regular intervals. In this case, a portion where a difference output between frames occurs (a portion having a large amount of motion) and an I block (the amount of generated information of this block itself is larger than other difference frames) are overlapped. In such a case, useless I blocks are inserted and the amount of information is extremely increased, so that an unrecoverable data error occurs at the position of the inserted I frame. In order to avoid this, if there is no problem in the processing speed on the encoding side, an I block is not inserted into a block that has been updated (differential output) due to a difference between frames occurring within a specified period. It is.

具体的なエンコード方式について、図9に基づいて説明する。尚、ここでは1つの例として、8×8画素のIフレームを、Iブロック化手段8により1×2画素のブロックに空間的に分割して、32個のIブロックを形成している。一方、画像のフレームは16×16画素を最大ブロックとし、このブロックが8×8画素で構成される動画像を1つの例としている。また、図9では、便宜上、第n+11から第n+32までを省略している。   A specific encoding method will be described with reference to FIG. Here, as one example, an I frame of 8 × 8 pixels is spatially divided into 1 × 2 pixel blocks by the I blocking means 8 to form 32 I blocks. On the other hand, a frame of an image has a maximum block of 16 × 16 pixels, and one example is a moving image in which this block is composed of 8 × 8 pixels. Further, in FIG. 9, for convenience, the n + 11 to n + 32 are omitted.

まず、図中の黒色部分で示されるIブロックは、横方向に1×2画素のブロック単位で挿入される。画像右上から最大2×2画素のブロックを更新(差分出力)する必要がある物体(濃灰色部分:物体が背景を進む差分出力ブロック)が、左下に移動して行く。そして、第n+3フレームまでは、通常のIブロック挿入処理が行なわれる。これに対し、第n+3フレームの右上に出現した物体により当該ブロックは更新(差分出力)され、その結果、第n+4フレームに挿入予定であったIブロックは挿入されない(斜線部分)。尚、図中の薄灰色部分は物体が移動したため、もとの背景に戻る差分出力ブロックである。前記Iブロックが挿入されない処理は、この例の場合では第n+7フレーム、第n+8フレームに出現する。すなわち、第n+5フレームでの物体の移動による、もとの背景に戻る差分出力ブロック(薄灰色部分)が、更新される部分として第n+7フレームに1ブロック存在すれば、1×2画素のブロック単位のIブロックのうち、右側の1つのブロックだけがその位置に挿入されない。また、第n+4フレームと第n+5フレームでの物体の移動による、もとの背景に戻る差分出力ブロック(薄灰色部分)が、更新される部分として第n+8フレームに横方向に1×2画素のブロックとなって存在すれば、1×2画素のブロック単位のIブロックがその位置に挿入されない。この場合、Iブロックが挿入されない時間基準(近い過去)は、全てのブロックの位置にIブロックが挿入されるのに必要なフレーム数(8×8÷2=32フレーム)である。つまり、32フレーム以内に物体の動き等によって更新(差分出力)された位置のブロックには、Iブロックが挿入されないのである。一方、任意の時間的位置のフレームから再生を開始させるには、1画面が完全に完成する予め定められたフレーム数前からデコードを開始し、目的の時間的位置のフレームに達してから再生画面を表示すれば良い。   First, an I block indicated by a black portion in the figure is inserted in the horizontal direction in units of 1 × 2 pixel blocks. An object (a dark gray portion: a difference output block in which the object advances in the background) that needs to update (differential output) a block of up to 2 × 2 pixels from the upper right of the image moves to the lower left. Then, up to the (n + 3) th frame, normal I-block insertion processing is performed. On the other hand, the block is updated (differential output) by the object appearing at the upper right of the (n + 3) th frame, and as a result, the I block that is to be inserted into the (n + 4) th frame is not inserted (hatched portion). The light gray portion in the figure is a difference output block that returns to the original background because the object has moved. The processing in which the I block is not inserted appears in the (n + 7) th frame and the (n + 8) th frame in this case. That is, if there is one difference output block (light gray portion) that returns to the original background due to the movement of the object in the (n + 5) th frame in the (n + 7) th frame as a portion to be updated, a block unit of 1 × 2 pixels , Only one block on the right side is not inserted at that position. Also, a difference output block (light gray portion) that returns to the original background due to the movement of the object in the (n + 4) th frame and the (n + 5) th frame is a block of 1 × 2 pixels in the (n + 8) th frame in the horizontal direction as a portion to be updated. , An I block in units of 1 × 2 pixels is not inserted at that position. In this case, the time reference (near past) in which the I block is not inserted is the number of frames (8 × 8 ÷ 2 = 32 frames) necessary for inserting the I block at the positions of all the blocks. That is, the I block is not inserted into the block at the position updated (differential output) due to the motion of the object or the like within 32 frames. On the other hand, in order to start reproduction from a frame at an arbitrary temporal position, decoding is started from a predetermined number of frames before one screen is completely completed, and after a frame at a target temporal position is reached, the reproduction screen is started. Should be displayed.

動画像情報の圧縮経路の概略を示したブロック図である。FIG. 3 is a block diagram schematically illustrating a compression path of moving image information. ビットマップ情報記録手段に記録されている情報の比較経路の概略を示したブロック図である。FIG. 4 is a block diagram schematically showing a comparison path of information recorded in bitmap information recording means. 符号化経路の概略を示した説明図である。FIG. 4 is an explanatory diagram schematically showing an encoding path. 復号化経路の概略を示した説明図である。It is an explanatory view showing an outline of a decoding path. 分割した画像ブロックを近似させるための、ブロックのピクセル要素の大きさz、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義された平面を示す説明図である。FIG. 9 is an explanatory diagram showing a plane defined by three data of a size z of a pixel element of a block, an inclination of the block in an x direction, and an inclination of a block in a y direction for approximating a divided image block. パラメータよりも大きい差分が生じるピクセル要素が存在したとき、その部分及び周囲の部分に、より小さいブロックサイズを適用する操作を説明した画像の平面図である。FIG. 13 is a plan view of an image illustrating an operation of applying a smaller block size to a pixel element and a surrounding area when a pixel element having a difference larger than a parameter exists. フレーム間圧縮を説明するための画像を示しており、(イ)はフレーム(t)の平面図、(ロ)はフレーム(t+1)の平面図である。5A and 5B show images for explaining inter-frame compression, in which FIG. 5A is a plan view of a frame (t), and FIG. 5B is a plan view of a frame (t + 1). Iフレームを構成する複数のIブロックを示した平面図である。FIG. 3 is a plan view showing a plurality of I blocks constituting an I frame. フレーム間におけるIブロックの挿入状態を示した説明図である。FIG. 11 is an explanatory diagram showing an insertion state of an I block between frames.

符号の説明Explanation of reference numerals

1…アナログ・デジタル変換機 2…バッファ
3…エンコーダ圧縮器 4…ビット・マップ情報記録手段
5…情報圧縮手段 6…エントロピー符号化手段
7…Iブロック挿入手段 8…Iブロック化手段
10…メモリ 11…テンポラルフィルタ
12…比較手段 13…現在のフレームデータ
14…直前のフレームデータ
DESCRIPTION OF SYMBOLS 1 ... Analog-to-digital converter 2 ... Buffer 3 ... Encoder compressor 4 ... Bit map information recording means 5 ... Information compression means 6 ... Entropy coding means 7 ... I block insertion means 8 ... I block formation means 10 ... Memory 11 ... temporal filter 12 ... comparing means 13 ... current frame data 14 ... immediate frame data

Claims (43)

空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させたことを特徴とする動画像情報の圧縮方法。
Pixels in a spatially adjacent frame or pixels in a temporally adjacent frame are compared with each other to output difference information of pixel elements, and in a portion where the output difference information is larger than a given parameter. Moving image information for reducing redundant information by storing, in a bit map, whether or not there is a certain portion or the other portion, and compressing information of a portion larger than the parameter stored in the bit map Compression method,
Prior to the inter-frame compression processing, the image in the frame was divided into blocks, and each divided block was approximated (replaced) as a single plane defined by three elements of pixels in the block. A method of compressing moving image information that is a feature.
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させ、該平面をパラメータとして用いてフレーム内圧縮処理を行なう請求項1記載の動画像情報の圧縮方法。   Prior to the inter-frame compression processing, the image in the frame is divided into blocks, and each divided block is approximated (replaced) as a single plane defined by three elements of the pixels in the block. 2. The method for compressing moving image information according to claim 1, wherein the intra-frame compression processing is performed using the parameter as a parameter. ビット・マップへ保存されたパラメータよりも大きくない部分の情報は、変化の無い画素として処理(削除)する請求項1又は2記載の動画像情報の圧縮方法。   3. The moving image information compression method according to claim 1, wherein information of a portion not larger than the parameter stored in the bit map is processed (deleted) as a pixel having no change. 画素の3つの要素によって定義される単一の平面を構成するための近似方法として、平均又は最小二乗法を用いる請求項1乃至3のいずれか記載の動画像情報の圧縮方法。   4. The moving image information compression method according to claim 1, wherein an average method or a least square method is used as an approximation method for forming a single plane defined by three elements of pixels. フレーム内圧縮処理において、平面は、ブロック内の画素のピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義される請求項1乃至4のいずれか記載の動画像情報の圧縮方法。   5. The intra-frame compression process, wherein the plane is defined by three data items: a size of a pixel element of a pixel in the block, an inclination of the block in the x direction, and an inclination of the block in the y direction. Video information compression method. ビット・マップに保存された情報は、ランレングス、修正READ(MR、MMR)、修正ハフマン(MH)及びJBIG方式からなる群から選択される少なくとも1つの2値画像符号化方法によって情報圧縮される請求項1乃至5のいずれか記載の動画像情報の圧縮方法。   The information stored in the bit map is information compressed by at least one binary image encoding method selected from the group consisting of run length, modified READ (MR, MMR), modified Huffman (MH), and JBIG. A method for compressing moving image information according to claim 1. パラメータよりも大きい部分の情報は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理によって情報圧縮される請求項1乃至6のいずれか記載の動画像情報の圧縮方法。   7. The moving image information compression method according to claim 1, wherein information of a portion larger than the parameter is compressed by an adaptive Huffman encoding process having a Huffman table of the number of prediction information. エントロピー符号化によって、フレーム間について冗長な情報をさらに削減する請求項1乃至7のいずれか記載の動画像情報の圧縮方法。   8. The moving image information compression method according to claim 1, wherein redundant information between frames is further reduced by entropy coding. エントロピー符号化は、予測情報数のハフマンテーブルを有し、その中から予測情報に基づいて選択された1つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルを有し、その中から予測情報に基づいて選択された1つのテーブルを使用して符号化する適応算術符号化処理によって行なわれる請求項8記載の動画像情報の圧縮方法。   Entropy coding has a Huffman table of the number of prediction information, and has an adaptive Huffman coding process of coding using one table selected based on the prediction information from among them or an arithmetic table of the number of prediction information. 9. The method for compressing moving image information according to claim 8, wherein the method is performed by an adaptive arithmetic coding process of coding using one table selected based on the prediction information from among them. ピクセル要素の差分情報を用いる請求項1乃至9のいずれか記載の動画像情報の圧縮方法。   10. The moving image information compression method according to claim 1, wherein difference information of pixel elements is used. 差分情報は、フレーム間における画素tと画素t−1とを比較して出力された差分である請求項1乃至10のいずれか記載の動画像情報の圧縮方法。   The moving image information compression method according to any one of claims 1 to 10, wherein the difference information is a difference output by comparing a pixel t and a pixel t-1 between frames. フレーム間におけるn×m画素(n、mは2以上の整数)を1ブロックとして取り扱ったそれぞれの画素同士を比較して出力された差分情報を用いる請求項1乃至11のいずれか記載の動画像情報の圧縮方法。   The moving image according to any one of claims 1 to 11, wherein n * m pixels (n and m are integers of 2 or more) between frames are treated as one block, and difference information output by comparing respective pixels is used. Information compression method. フレーム内におけるn×m画素(n、mは2以上の整数)を1ブロックとして取り扱い、前記フレーム間における画素tと画素t−1とを比較して出力された差分の情報を用いる請求項1乃至12のいずれか記載の動画像情報の圧縮方法。   2. An n.times.m pixel (n and m are integers of 2 or more) in a frame is treated as one block, and information on a difference output by comparing a pixel t and a pixel t-1 between the frames is used. 13. The method for compressing moving image information according to any one of claims 12 to 12. フレーム間におけるn×m画素において、nは2のK乗(Kは自然数)、mは2のK’乗(K’は自然数)である請求項1乃至13のいずれか記載の動画像情報の圧縮方法。   14. In the n × m pixels between frames, n is 2 to the power of K (K is a natural number) and m is 2 to the power of K ′ (K ′ is a natural number). Compression method. フレーム間圧縮処理の前に、分割ブロックサイズが同一フレーム内で変化するフレーム内圧縮処理を行なう請求項1乃至14のいずれか記載の動画像情報の圧縮方法。   15. The moving image information compression method according to claim 1, wherein an intra-frame compression process in which a divided block size changes within the same frame is performed before the inter-frame compression process. 空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム間圧縮処理の前に、分割ブロックサイズが同一フレーム内で変化するフレーム内圧縮処理を行なうことを特徴とする動画像情報の圧縮方法。
Pixels in a spatially adjacent frame or pixels in a temporally adjacent frame are compared with each other to output difference information of pixel elements, and in a portion where the output difference information is larger than a given parameter. Moving image information for reducing redundant information by storing, in a bit map, whether or not there is a certain portion or the other portion, and compressing information of a portion larger than the parameter stored in the bit map Compression method,
A method for compressing moving image information, comprising performing an intra-frame compression process in which a divided block size changes within the same frame before the inter-frame compression process.
フレーム内圧縮処理は、分割ブロックサイズを変化させながら、各ブロックの画素同士を互いに比較してピクセル要素の差分情報を出力させ、この差分情報がパラメータよりも大きいときは、そのピクセル要素を含む部分に、より小さいブロックサイズを適用する請求項16記載の動画像情報の圧縮方法。   The intra-frame compression process compares the pixels of each block with each other while changing the divided block size, and outputs difference information of the pixel element. If the difference information is larger than the parameter, the portion including the pixel element is included. 17. The moving picture information compression method according to claim 16, wherein a smaller block size is applied to the moving picture information. ピクセル要素の差分情報がパラメータよりも大きいとき、より小さいブロックサイズの適用を繰り返す請求項16又は17記載の動画像情報の圧縮方法。   18. The moving image information compression method according to claim 16, wherein when the difference information of the pixel elements is larger than the parameter, application of a smaller block size is repeated. フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させ、該平面をパラメータとして用いる請求項16乃至18のいずれか記載の動画像情報の圧縮方法。   17. An image in a frame is divided into blocks, each divided block is approximated (replaced) as a single plane defined by three elements of pixels in the block, and the plane is used as a parameter. 18. The method for compressing moving image information according to any one of 18. フレーム内圧縮処理において、平面は、ブロック内の画素のピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義される請求項16乃至19のいずれか記載の動画像情報の圧縮方法。   20. The intra-frame compression process, wherein the plane is defined by three data items: a size of a pixel element of a pixel in the block, an inclination of the block in the x direction, and an inclination of the block in the y direction. Video information compression method. フレーム内圧縮処理は、画像全体をフレーム内圧縮に従い、n×m画素(n、mは2以上の整数)のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックサイズを適用する操作を、指定された最小ブロック単位まで繰り返す請求項16乃至20のいずれか記載の動画像情報の圧縮方法。   In the intra-frame compression processing, the entire image is compressed in blocks of nxm pixels (n and m are integers of 2 or more) in accordance with the intra-frame compression, and the pixels in the original image and the image expanded after compression are compared with each other. Output the difference information of each pixel element, and when there is a pixel element having a difference larger than the parameter, specify an operation of applying a smaller block size to a portion including the pixel element and a portion around the pixel element 21. The moving image information compression method according to claim 16, wherein the method is repeated up to the minimum block unit. フレーム内圧縮処理をした結果、ブロックサイズに変化が無い場合は、フレーム間圧縮処理を行なう請求項16乃至21のいずれか記載の動画像情報の圧縮方法。   22. The moving image information compression method according to claim 16, wherein if the block size does not change as a result of the intra-frame compression processing, the inter-frame compression processing is performed. ブロックサイズが大きくなる方向に変化する場合は、該ブロックのデータを差分をとらずにそのまま出力する請求項16乃至21のいずれか記載の動画像情報の圧縮方法。   22. The moving image information compression method according to claim 16, wherein when the block size changes in a direction to increase, the data of the block is output as it is without taking a difference. ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮する請求項16乃至21のいずれか記載の動画像情報の圧縮方法。   22. The moving image information compression according to claim 16, wherein when the block size changes in a decreasing direction, a difference from the previous decompressed data is obtained for each part, and the difference is compressed with the corresponding block size. Method. フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる請求項1乃至24のいずれか記載の動画像情報の圧縮方法。   An I frame to be processed by intra-frame coding (a reference frame in which an image is completed only by a frame) is adopted, the I frame is spatially divided in advance, and the divided I block is divided into frames in the time axis direction. 25. The moving image information compression method according to claim 1, wherein the moving image information is distributed. 空間的にブロック分割したそれぞれのIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しない請求項25記載の動画像情報の圧縮方法。   When distributing each of the spatially divided I blocks in the time axis direction between frames, an I block is inserted at a block position in the updated frame where a difference between frames occurs within a specified period. 26. The moving image information compression method according to claim 25, wherein the compression is not performed. 予めフレーム内の画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義される単一の平面で近似(置換)させると共に、フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、Iフレームをフレーム列に挿入することが可能な動画像情報の圧縮方法であって、
Iフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないことを特徴とする動画像情報の圧縮方法。
An image in a frame is divided into blocks in advance, and all of the divided blocks are simply defined by three data items, ie, the pixel element size of each block, the inclination of the block in the x direction, and the inclination of the block in the y direction. A moving image that can be approximated (replaced) by one plane, and employs an I frame (a reference frame in which an image is completed only with a frame) processed by intra-frame encoding and inserts the I frame into a frame sequence A method of compressing information,
When an I-frame is divided into blocks in advance and the divided I-blocks are dispersed in the time axis direction between the respective frames, a difference between the frames occurs within a designated period, and the difference between the I-blocks is determined in the updated block position in the frame. Is a method for compressing moving image information, wherein I blocks are not inserted.
空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存し、該ビット・マップへ保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する動画像情報の圧縮方法であって、
フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させる際、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置には、Iブロックを挿入しないことを特徴とする動画像情報の圧縮方法。
Pixels in a spatially adjacent frame or pixels in a temporally adjacent frame are compared with each other to output difference information of pixel elements, and in a portion where the output difference information is larger than a given parameter. Moving image information for reducing redundant information by storing, in a bit map, whether or not there is a certain portion or the other portion, and compressing information of a portion larger than the parameter stored in the bit map Compression method,
An I frame to be processed by intra-frame coding (a reference frame in which an image is completed only by a frame) is adopted, the I frame is spatially divided in advance, and the divided I block is divided into frames in the time axis direction. A method of compressing moving image information, wherein an I-block is not inserted at a block position in a frame updated when a difference between frames occurs within a specified period when the image data is distributed.
空間的に隣接したフレーム内における画素同士又は時間的に隣接したフレーム間における画素同士を互いに比較してピクセル要素の差分情報を出力させ、出力された差分情報が与えられたパラメータよりも大きい部分であるか又はそれ以外の部分であるかを、ビット・マップへ保存するビット・マップ情報記録手段と、該ビット・マップ情報記録手段によって保存されたパラメータよりも大きい部分の情報の圧縮処理を行なうことで冗長な情報を削減する情報圧縮手段とを含む動画像情報の圧縮システムであって、
フレーム間圧縮処理の前に、フレーム内の画像をブロック分割し、分割された各ブロックを、該ブロック内の画素の3つの要素によって定義される単一の平面として近似(置換)させるブロック近似手段を有し、該ブロック近似手段によって得られた平面をパラメータとして用いてフレーム内圧縮を行なうことを特徴とする動画像情報の圧縮システム。
Pixels in a spatially adjacent frame or pixels in a temporally adjacent frame are compared with each other to output difference information of pixel elements, and in a portion where the output difference information is larger than a given parameter. Bit map information recording means for storing whether there is or not a part in a bit map, and performing compression processing of information of a part larger than the parameter stored by the bit map information recording means And a information compression means for reducing redundant information in the moving image information compression system,
Block approximation means for dividing an image in a frame into blocks and approximating (substituting) each divided block as a single plane defined by three elements of pixels in the block before the inter-frame compression processing. Wherein the intra-frame compression is performed using the plane obtained by the block approximation means as a parameter.
情報圧縮手段は、ビット・マップ情報記録手段で保存されたパラメータよりも大きくない部分の情報を変化の無い画素として処理(削除)する請求項29記載の動画像情報の圧縮システム。   30. The moving image information compression system according to claim 29, wherein the information compression unit processes (deletes) information of a portion not larger than the parameter stored by the bit map information recording unit as a pixel having no change. ブロック近似手段において、画素の3つの要素によって定義される単一の平面を構成するための近似処理として、平均又は最小二乗法を用いる請求項29又は30記載の動画像情報の圧縮システム。   31. The moving image information compression system according to claim 29, wherein the block approximation unit uses an average or a least squares method as an approximation process for forming a single plane defined by three elements of pixels. ブロック近似手段において、平面は、ブロック内の画素のピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義される請求項29乃至31のいずれか記載の動画像情報の圧縮システム。   32. The block approximation unit according to claim 29, wherein the plane is defined by three data items: a size of a pixel element of a pixel in the block, an inclination of the block in the x direction, and an inclination of the block in the y direction. Video information compression system. ビット・マップ情報記録手段により保存される情報は、ランレングス、修正READ(MR、MMR)、修正ハフマン(MH)及びJBIG方式からなる群から選択される少なくとも1つの2値画像符号化処理によって情報圧縮される請求項29乃至32のいずれか記載の動画像情報の圧縮システム。   The information stored by the bit map information recording means is obtained by at least one binary image encoding process selected from the group consisting of run length, modified READ (MR, MMR), modified Huffman (MH), and JBIG. 33. The moving image information compression system according to claim 29, wherein the compression is performed. パラメータよりも大きい部分の情報の圧縮処理を行なう情報圧縮手段は、予測情報数のハフマンテーブルを有する適応ハフマン符号化処理を行なう請求項29乃至33のいずれか記載の動画像情報の圧縮システム。   The moving image information compression system according to any one of claims 29 to 33, wherein the information compression means for performing the compression processing of the information larger than the parameter performs the adaptive Huffman encoding processing having a Huffman table of the number of prediction information. フレーム間の冗長な情報を削減するエントロピー符号化手段を備え、このエントロピー符号化手段は、予測情報数のハフマンテーブルの中から予測情報に基づいて選択された1つのテーブルを用いて符号化する適応ハフマン符号化処理又は予測情報数の算術テーブルの中から予測情報に基づいて選択された1つのテーブルを使用して符号化する適応算術符号化処理を行なう請求項29乃至34のいずれか記載の動画像情報の圧縮システム。   An entropy encoding unit for reducing redundant information between frames, wherein the entropy encoding unit performs encoding using one table selected based on the prediction information from a Huffman table of the number of prediction information. The moving image according to any one of claims 29 to 34, wherein Huffman encoding processing or adaptive arithmetic encoding processing for encoding is performed using one table selected based on prediction information from an arithmetic table of the number of prediction information. Image information compression system. ビット・マップ情報記録手段において保存される差分情報は、フレーム内におけるn×m画素(n、mは2以上の整数)を1ブロックとして取り扱い、前記フレーム間における画素tと画素t−1とを比較して出力された差分である請求項29乃至35のいずれか記載の動画像情報の圧縮システム。   The difference information stored in the bit map information recording means treats n × m pixels (n and m are integers of 2 or more) in a frame as one block, and determines a pixel t and a pixel t−1 between the frames. The moving image information compression system according to any one of claims 29 to 35, wherein the difference is a difference output by comparison. ブロック近似手段において、フレーム内圧縮処理は、画像全体をフレーム内圧縮に従い、n×m画素(n、mは2以上の整数)のブロックで圧縮して、原画像と圧縮後に伸長した画像における画素同士を互いに比較して各ピクセル要素の差分情報を出力させ、パラメータよりも大きい差分が生じるピクセル要素が存在した場合に、そのピクセル要素を含む部分及びその周囲の部分に、より小さいブロックを適用する操作を、指定された最小ブロック単位まで繰り返す請求項29乃至36のいずれか記載の動画像情報の圧縮システム。   In the block approximation means, the intra-frame compression process is performed by compressing the entire image in blocks of nxm pixels (n and m are integers of 2 or more) in accordance with the intra-frame compression, and pixels in the original image and the image expanded after compression. The differences are compared with each other, and the difference information of each pixel element is output. When there is a pixel element having a difference larger than the parameter, a smaller block is applied to a portion including the pixel element and a portion around the pixel element. 37. The moving picture information compression system according to claim 29, wherein the operation is repeated up to a designated minimum block unit. ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズに変化がない場合は、フレーム間圧縮処理を行なう請求項29乃至37のいずれか記載の動画像情報の圧縮システム。   The moving image information compression system according to any one of claims 29 to 37, wherein the block approximation means performs an inter-frame compression process if the block size does not change as a result of the intra-frame compression process. ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが大きくなる方向に変化する場合は、当該ブロックのデータを差分をとらずにそのまま出力する請求項29乃至38のいずれか記載の動画像情報の圧縮システム。   The moving image according to any one of claims 29 to 38, wherein, when the block approximation unit changes in a direction in which the block size increases as a result of the intra-frame compression processing, the data of the block is output as it is without taking a difference. Information compression system. ブロック近似手段において、フレーム内圧縮処理をした結果、ブロックサイズが小さくなる方向に変化する場合は、前の伸張データとの差分を各部分について求め、これを該当するブロックサイズにて圧縮する請求項29乃至38のいずれか記載の動画像情報の圧縮システム。   In the block approximation means, when the block size changes as a result of the intra-frame compression processing, a difference from the previous decompressed data is obtained for each part, and the difference is compressed with the corresponding block size. 39. A moving image information compression system according to any one of 29 to 38. フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を採用し、このIフレームを予め空間的にブロック分割し、この分割したIブロックを各フレーム間の時間軸方向に分散させるIブロック挿入手段を有する請求項29乃至40のいずれか記載の動画像情報の圧縮システム。   An I frame to be processed by intra-frame coding (a reference frame in which an image is completed only by a frame) is adopted, the I frame is spatially divided in advance, and the divided I block is divided into frames in the time axis direction. 41. The moving picture information compression system according to claim 29, further comprising an I-block inserting unit for dispersing the moving picture information into a plurality of video data. Iブロック挿入手段は、フレーム間の差分が指定期間内に発生して更新されるフレーム内のブロック位置には、Iブロックを挿入しない請求項41記載の動画像情報の圧縮システム。   42. The moving picture information compression system according to claim 41, wherein the I-block inserting means does not insert the I-block at a block position in the frame where the difference between the frames occurs within a specified period and is updated. 予めフレーム内画像をブロック分割し、その分割されたブロックの全てを、各ブロックのピクセル要素の大きさ、ブロックのx方向の傾き、ブロックのy方向の傾きの3つのデータで定義された単一の平面で近似(置換)させるブロック近似手段を有する動画像情報の圧縮システムであって、
フレーム内符号化で処理されるIフレーム(フレームだけで画像が完成する基準フレーム)を空間的に分割するIブロック化手段と、この分割したIブロックを各フレーム間の時間軸方向に分散させるに際し、フレーム間の差分が指定期間内に発生して更新されたフレーム内のブロック位置以外の箇所にIブロックを挿入するIブロック挿入手段とを備えたことを特徴とする動画像情報の圧縮システム。
The intra-frame image is divided into blocks in advance, and all of the divided blocks are converted into a single unit defined by three data of the pixel element size of each block, the inclination of the block in the x direction, and the inclination of the block in the y direction. A moving image information compression system having block approximation means for approximating (substituting) with a plane of
I-blocking means for spatially dividing an I-frame (a reference frame for which an image is completed only by a frame) processed by intra-frame encoding, and distributing the divided I-blocks in the time axis direction between the respective frames. A moving image information compression system comprising: an I-block inserting unit that inserts an I-block into a portion other than a block position in a frame in which a difference between frames occurs within a designated period and is updated.
JP2004122354A 2000-11-01 2004-04-16 Compression method of dynamic picture information and system thereof Pending JP2004254341A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004122354A JP2004254341A (en) 2000-11-01 2004-04-16 Compression method of dynamic picture information and system thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000334440 2000-11-01
JP2004122354A JP2004254341A (en) 2000-11-01 2004-04-16 Compression method of dynamic picture information and system thereof

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001337217A Division JP3560946B2 (en) 2000-06-06 2001-11-01 Moving image information compression method and system

Publications (1)

Publication Number Publication Date
JP2004254341A true JP2004254341A (en) 2004-09-09

Family

ID=33031638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004122354A Pending JP2004254341A (en) 2000-11-01 2004-04-16 Compression method of dynamic picture information and system thereof

Country Status (1)

Country Link
JP (1) JP2004254341A (en)

Similar Documents

Publication Publication Date Title
US7085424B2 (en) Method and system for compressing motion image information
US6912318B2 (en) Method and system for compressing motion image information
US8941514B2 (en) Image coding and decoding system using variable length coding and variable length decoding
USRE40783E1 (en) Adaptive variable-length coding and decoding methods for image data
US7454073B2 (en) Video compression using multiple variable length coding processes for multiple classes of transform coefficient blocks
JP5231243B2 (en) Encoding apparatus and encoding method
CA2436437A1 (en) Moving picture information compressing method and its system
US6631161B1 (en) Method and system for compressing motion image information
JP3560946B2 (en) Moving image information compression method and system
JP2000165873A (en) Compression method for moving picture information and its system
EP1453322A1 (en) Moving picture information compression method and system thereof
JP3337160B2 (en) Image processing method and image processing apparatus
JP2004254341A (en) Compression method of dynamic picture information and system thereof
JP3958033B2 (en) Method and system for compressing moving picture information
KR20030083703A (en) Moving picture information compressing method and its system
EP1170956A2 (en) Method and system for compressing motion image information
JPH10271502A (en) Compression method for moving image information and its system
JPH07107470A (en) Picture decoding device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070409

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070730