JP2005123738A - Apparatus and method of image processing, and electronic camera - Google Patents
Apparatus and method of image processing, and electronic camera Download PDFInfo
- Publication number
- JP2005123738A JP2005123738A JP2003354141A JP2003354141A JP2005123738A JP 2005123738 A JP2005123738 A JP 2005123738A JP 2003354141 A JP2003354141 A JP 2003354141A JP 2003354141 A JP2003354141 A JP 2003354141A JP 2005123738 A JP2005123738 A JP 2005123738A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- encoded data
- moving image
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、MPEG符号化方式による動画像の特定のフレームをJPEG符号化方式による静止画像として記録する画像処理装置及び方法に関し、特に、電子カメラに用いて好適な画像処理装置及び方法に関する。 The present invention relates to an image processing apparatus and method for recording a specific frame of a moving image using an MPEG encoding method as a still image using a JPEG encoding method, and more particularly to an image processing device and method suitable for use in an electronic camera.
近年普及しているディジタルカメラの画像圧縮機能には、静止画像符号化方式としてJPEG符号化方式が広く用いられ、動画像符号化方式としてMPEG符号化方式が広く用いられている。 In an image compression function of a digital camera that has become widespread in recent years, the JPEG encoding method is widely used as a still image encoding method, and the MPEG encoding method is widely used as a moving image encoding method.
JPEG符号化方式においては、符号化対象の静止画像を8×8画素のブロックに分割し、各ブロックを離散コサイン変換(以下、「DCT」と称す。)して、変換係数ブロックを生成する。その後、変換係数ブロック内の各変換係数を量子化し、量子化した変換係数を一定の順序で走査し、この時に変換係数が連続して0となる個数と、変換係数が0以外の値の組に対して、可変長符号を割り当てて符号化する。 In the JPEG encoding method, a still image to be encoded is divided into 8 × 8 pixel blocks, and each block is subjected to discrete cosine transform (hereinafter referred to as “DCT”) to generate a transform coefficient block. After that, each transform coefficient in the transform coefficient block is quantized, and the quantized transform coefficients are scanned in a certain order. At this time, a combination of the number of transform coefficients continuously 0 and a value other than 0 for the transform coefficients. On the other hand, a variable length code is assigned and encoded.
一方、MPEG符号化方式においては、動画像シーケンスの中から特定の間隔で「フレーム内(イントラ)符号化ピクチャ」を設定し、当該フレーム内符号化ピクチャに対して上記JPEG符号化方式と同様に、ブロック分割、DCT及び量子化を行い、量子化された変換係数に対して可変長符号を用いて符号化を行う。そして、フレーム内符号化ピクチャ以外の画像については、動き補償フレーム間予測を行って「フレーム間予測(インター)符号化ピクチャ」を生成し、予測誤差に対しDCT及び量子化を行い、量子化した変換係数に対し可変長符号を用いて符号化を行う。 On the other hand, in the MPEG coding system, “intra-frame (intra) coded pictures” are set at a specific interval from the moving image sequence, and the intra-frame coded pictures are set in the same manner as the JPEG coding system. Block division, DCT, and quantization are performed, and the quantized transform coefficient is encoded using a variable length code. For images other than intra-frame coded pictures, motion-compensated inter-frame prediction is performed to generate an “inter-frame prediction (inter) -encoded picture”, and DCT and quantization are performed on the prediction error and quantized. The transform coefficient is encoded using a variable length code.
上述のように、MPEG符号化方式及びJPEG符号化方式は、共にDCTを用いる点で共通しているが、符号化データのフォーマット、使用する可変長符号及び量子化の方法等が異なるため、両者の符号化データ間には互換性はない。例えば、MPEGではピクチャ内で量子化値を変更することが可能であるが、JPEGではピクチャ単位で量子化値が固定されている。 As described above, both the MPEG encoding method and the JPEG encoding method are common in that DCT is used, but both the encoded data format, the variable length code used, the quantization method, and the like are different. There is no compatibility between the encoded data. For example, in MPEG, the quantization value can be changed within a picture, but in JPEG, the quantization value is fixed in units of pictures.
このため、MPEG符号化されたフレーム内符号化ピクチャをJPEG符号化方式のフォーマットへ変換する場合には、一旦、MPEG符号化データをMPEGデコーダによって符号化前の画像に復号し、復号した画像をJPEGエンコーダに入力して、符号化し直す必要がある。このため、符号化の繰り返しによる画質の劣化、処理時間の増大などの問題が生じていた。 For this reason, when converting an MPEG-encoded intra-frame encoded picture to a JPEG encoding format, the MPEG encoded data is once decoded by the MPEG decoder into an image before encoding, and the decoded image is It is necessary to input to the JPEG encoder and re-encode. For this reason, problems such as degradation of image quality and increase in processing time due to repeated encoding have occurred.
これに対する、従来技術として、以下に示すような画像データ処理装置(例えば、特許文献1参照。)が提案されている。 In contrast to this, an image data processing apparatus as described below (see, for example, Patent Document 1) has been proposed.
図7は、従来のフォーマット変換回路の構成を示すブロック図である。特許文献1によれば、図7に示す画像データ処理装置は、フォーマット変換回路の構成に関する発明である。特許文献1に記載の装置では、ヘッダ解析器302で動画像符号化方式のヘッダを解析すると同時に、可変長復号器303で動画像符号化方式に基づく可変長符号化データの復号を行い、量子化パラメータ変換器304で量子化パラメータの変換を行った後、ヘッダ符号化器305で静止画符号化方式のヘッダを生成し、可変長符号化器306で静止画符号化方式に基づく可変長符号化データを生成する。
FIG. 7 is a block diagram showing a configuration of a conventional format conversion circuit. According to Patent Document 1, the image data processing device shown in FIG. 7 is an invention relating to the configuration of a format conversion circuit. In the apparatus described in Patent Document 1, the
このように上記特許文献1に記載の装置では、フォーマット変換の際に、符号化データの逆量子化及び逆直交変換を行うことなくフォーマット変換するので、画質を損うことなく動画符号化方式から静止画符号化方式への変換が可能となっている。
しかしながら、上述したような従来の装置をディジタルカメラに搭載する場合には、MPEG符号化方式で符号化したフレーム内符号化ピクチャの符号化データを、JPEG符号化方式へ変換するための「専用の変換回路」が必要であった。このような専用の変換回路を設けることは、画像の符号化及び復号を行う画像処理装置が搭載されるLSIの回路規模の増大を招き、製品コストを増加させてしまうという課題があった。 However, when a conventional apparatus as described above is installed in a digital camera, a “dedicated” for converting encoded data of an intra-frame encoded picture encoded by the MPEG encoding method into the JPEG encoding method. Conversion circuit "was necessary. Providing such a dedicated conversion circuit causes an increase in the circuit scale of an LSI on which an image processing apparatus that performs image encoding and decoding is mounted, resulting in an increase in product cost.
本発明は、このような事情を考慮してなされたものであり、動画像符号化方式から静止画像符号化方式へのフォーマット変換を専用の変換回路を使用することなく、従来装置と比べてLSI等の回路の小規模化を実現して、コストの削減を図ることができる画像処理装置及び方法並びに電子カメラを提供することを目的とする。 The present invention has been made in consideration of such a situation, and the format conversion from the moving picture coding system to the still picture coding system is performed in an LSI as compared with the conventional apparatus without using a dedicated conversion circuit. An object of the present invention is to provide an image processing apparatus and method, and an electronic camera that can reduce the cost by reducing the circuit scale.
上記課題を解決するために、本発明は、動画像を取得する動画像取得手段と、
前記動画像を周波数変換して第1の変換係数を取得する周波数変換手段と、
前記第1の変換係数を量子化する量子化手段と、
前記量子化手段で量子化された前記第1の変換係数を、イントラ符号化及びインター符号化とを適応的に用いて符号化する第1の符号化形式を用いて符号化することにより第1の符号化データを生成する符号化手段と、
前記第1の符号化形式に関する第1の付加情報を生成し、前記第1の符号化データに付加する生成手段と、
前記第1の付加情報が付加された前記第1の符号化データを記憶する記憶手段と、
前記記憶手段から取り出された前記第1の符号化データを、該第1の符号化データに付加された前記第1の付加情報に基づいて復号する復号化手段とを備える画像処理装置であって、
前記動画像中の所定フレーム画像を指定するフレーム指定手段をさらに備え、
前記符号化手段が、前記フレーム指定手段で指定された前記フレーム画像についてイントラ符号化し、
前記復号化手段が、前記フレーム指定手段で指定された前記フレーム画像についての符号化データを前記記憶手段から取り出して復号することにより第2の変換係数を生成し、
前記符号化手段が、前記第2の変換係数を第2の符号化形式を用いて符号化することにより第2の符号化データを生成し、
前記生成手段が、前記第2の符号化形式に関する第2の付加情報を生成し、前記第2の符号化データに付加し、
前記記憶手段が、前記第2の付加情報が付加された前記第2の符号化データを記憶する
ことを特徴とする。
In order to solve the above problems, the present invention provides a moving image acquisition means for acquiring a moving image,
Frequency conversion means for frequency-converting the moving image to obtain a first conversion coefficient;
Quantization means for quantizing the first transform coefficient;
The first transform coefficient quantized by the quantizing means is encoded by using a first encoding format that encodes adaptively using intra coding and inter coding. Encoding means for generating encoded data of:
Generating means for generating first additional information related to the first encoding format and adding the first additional information to the first encoded data;
Storage means for storing the first encoded data to which the first additional information is added;
An image processing apparatus comprising: a decoding unit configured to decode the first encoded data extracted from the storage unit based on the first additional information added to the first encoded data. ,
A frame designating unit for designating a predetermined frame image in the moving image;
The encoding means performs intra encoding on the frame image specified by the frame specifying means;
The decoding means generates a second transform coefficient by taking out and decoding the encoded data for the frame image designated by the frame designation means from the storage means,
The encoding means generates second encoded data by encoding the second transform coefficient using a second encoding format;
The generating means generates second additional information related to the second encoding format and adds the second additional information to the second encoded data;
The storage means stores the second encoded data to which the second additional information is added.
また、本発明に係る画像処理方法は、動画像を取得する動画像取得工程と、
前記動画像中の所定フレーム画像を指定するフレーム指定工程と、
前記動画像を周波数変換して第1の変換係数を取得する周波数変換工程と、
前記第1の変換係数を量子化する量子化工程と、
前記量子化工程で量子化された前記第1の変換係数を、イントラ符号化及びインター符号化とを適応的に用いて符号化する第1の符号化形式を用いて符号化することにより第1の符号化データを生成する第1の符号化工程と、
前記第1の符号化形式に関する第1の付加情報を生成し、前記第1の符号化データに付加する第1の生成工程と、
前記第1の付加情報が付加された前記第1の符号化データを所定の記憶装置に記憶する第1の記憶工程と、
前記記憶装置に記憶された前記第1の符号化データのうち、前記フレーム指定工程で指定された前記フレーム画像に関する符号化データを取り出して復号することにより第2の変換係数を取得する復号化工程と、
復号された前記第2の変換係数を第2の符号化形式を用いて符号化することにより第2の符号化データを生成する第2の符号化工程と、
前記第2の符号化形式に関する第2の付加情報を生成し、前記第2の符号化データに付加する第2の生成工程と、
前記第2の付加情報が付加された前記第2の符号化データを前記記憶装置に記憶する第2の記憶工程とを有し、
前記符号化工程では、前記フレーム指定工程で指定された前記フレーム画像に対してイントラ符号化することを特徴とする。
The image processing method according to the present invention includes a moving image acquisition step of acquiring a moving image,
A frame designating step of designating a predetermined frame image in the moving image;
A frequency conversion step of frequency-converting the moving image to obtain a first conversion coefficient;
A quantization step of quantizing the first transform coefficient;
The first transform coefficient quantized in the quantization step is encoded by using a first encoding format in which intra encoding and inter encoding are adaptively used for encoding. A first encoding step for generating encoded data of
Generating a first additional information related to the first encoding format, and adding the first additional information to the first encoded data;
A first storage step of storing the first encoded data to which the first additional information is added in a predetermined storage device;
A decoding step of obtaining a second transform coefficient by extracting and decoding the encoded data related to the frame image specified in the frame specifying step from the first encoded data stored in the storage device When,
A second encoding step of generating second encoded data by encoding the decoded second transform coefficient using a second encoding format;
Generating a second additional information related to the second encoding format and adding the second additional information to the second encoded data; and
A second storage step of storing in the storage device the second encoded data to which the second additional information is added,
In the encoding step, intra encoding is performed on the frame image specified in the frame specifying step.
さらに、本発明は、上記特徴を有する画像処理装置を備える電子カメラであって、
シーンを撮影する動画像撮影手段と、
動画像又は静止画像を表示する液晶表示装置とをさらに備え、
前記画像取得手段が、前記動画像撮影手段によって撮影された動画像を取得することを特徴とする。
Furthermore, the present invention is an electronic camera comprising an image processing device having the above characteristics,
Moving image shooting means for shooting a scene;
A liquid crystal display device for displaying a moving image or a still image;
The image acquisition unit acquires a moving image captured by the moving image capturing unit.
本発明によれば、動画像符号化方式から静止画像符号化方式へのフォーマット変換を専用の変換回路を使用することなく、静止画像及び動画像を符号化及び復号する回路を利用することでフォーマット変換が可能であり、従来装置と比べて小規模の回路で実現でき、コストの削減を図ることが可能である。また、専用の変換回路をなくしたことによる処理結果への影響もなく、従来装置と同様に、直交変換及び量子化の繰り返しによる画質劣化がなく、かつ、短時間でのフォーマット変換が可能である。 According to the present invention, the format conversion from the moving image encoding method to the still image encoding method is performed by using a circuit for encoding and decoding a still image and a moving image without using a dedicated conversion circuit. Conversion is possible, and it can be realized with a smaller circuit compared to the conventional apparatus, and cost can be reduced. In addition, there is no influence on the processing result due to the elimination of the dedicated conversion circuit, and there is no deterioration in image quality due to repeated orthogonal transformation and quantization as in the conventional apparatus, and format conversion in a short time is possible. .
以下、図面を参照して、動画像データ及び静止画像データの符号化及び復号並びに符号化方式の変換を行う画像処理装置の一実施形態について具体的に説明する。 Hereinafter, an embodiment of an image processing apparatus that performs encoding and decoding of moving image data and still image data and conversion of an encoding method will be described in detail with reference to the drawings.
図1は、本発明の一実施形態に係る画像符号化及び復号を行う画像処理装置の構成を示すブロック図である。図1に示すように、本実施形態に係る画像処理装置は、動き予測器10、選択器11、DCT器12、量子化器13、可変長符号化器14、ヘッダ生成器15、メモリ16、ヘッダ解析器17、可変長復号化器18、逆量子化器19、IDCT器20、動き補償器21、フレームメモリ22及び制御部23を備えている。また、本実施形態に係る画像処理装置は、静止画符号化方式として「JPEG」方式を、動画符号化方式として「MPEG」方式を用いるものとする。以下、本実施形態の画像処理装置の動作例について図面を参照して具体的に説明する。
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus that performs image encoding and decoding according to an embodiment of the present invention. As shown in FIG. 1, the image processing apparatus according to the present embodiment includes a
最初に、本実施形態に係る画像変換装置において、符号化が行われる際の動作について説明する。図2は、本実施形態に係る画像変換装置における符号化が行われる際の動作例を説明するためのフローチャートである。 First, an operation when encoding is performed in the image conversion apparatus according to the present embodiment will be described. FIG. 2 is a flowchart for explaining an operation example when encoding is performed in the image conversion apparatus according to the present embodiment.
まず、動き予測器10は、MPEG符号化が行われている場合には、入力画像信号50とフレームメモリ22に格納されている参照フレームから動きベクトルを検出してフレーム間差分信号を生成し、フレーム間予測符号化ピクチャ51を出力する(ステップS11)。次いで、選択器11は、制御部23からの指示により、符号化対象が静止画像信号、又は、MPEGのフレーム内符号化ピクチャ(Iピクチャ)である場合には、入力画像信号50を選択して出力する。一方、符号化対象がMPEGのフレーム間予測符号化ピクチャ(Pピクチャ又はBピクチャ)である場合には、選択器11は、フレーム間予測符号化ピクチャ51を選択して出力する(ステップS12)。
First, when MPEG encoding is performed, the
そして、DCT器12は、選択器11から出力された画像信号に対し離散コサイン変換を行って変換係数を出力する(ステップS13)。さらに、量子化器13は、制御部23から指定された量子化テーブル及び量子化スケール値に基づいて、変換係数を量子化する。量子化された変換係数は、可変長符号化器14と逆量子化器19の両方に出力される(ステップS14)。
Then, the
符号化方式としてMPEG方式が選択され、符号化対象がIピクチャ又はPピクチャである場合には、参照画像を生成するために、量子化された変換係数に対し逆量子化器19による逆量子化(ステップS15)、及び、IDCT器20による逆離散コサイン変換を行う(ステップS16)。そして、逆離散コサイン変換により復号されたピクチャがPピクチャであれば(ステップS17)、動き補償器21によりフレームメモリ22に格納されている参照画像を用いて動き補償を行った後(ステップS18)、フレームメモリ22に動き補償されたピクチャを出力して格納する(ステップS19)。一方、復号されたピクチャがIピクチャであれば(ステップS17)、動き補償をせずにIDCT器20からフレームメモリ22へピクチャを格納する(ステップS19)。
When the MPEG method is selected as the encoding method and the encoding target is an I picture or a P picture, an inverse quantization by the
また、可変長符号化器14は、JPEGとMPEGのそれぞれに対応する可変長符号化テーブルを備えている。そこで、可変長符号化器14は、制御部23から指定された符号化方式に基づいて、いずれかの可変長符号化テーブルを選択し(ステップS20)、選択された可変長符号化テーブルを用いて量子化された変換係数を可変長符号化する(ステップS21)。次いで、ヘッダ生成器15は、制御部23から指定された符号化方式に基づいて、その符号化方式のデータフォーマットに必要なヘッダを生成し、可変長符号化器14から出力された可変長符号化データに当該ヘッダを付加して、メモリ16へ出力されて格納される(ステップS22)。
The
次に、本実施形態に係る画像処理装置において、復号が行われる際の動作を説明する。図3は、本実施形態に係る画像処理装置における復号が行われる際の動作例を説明するためのフローチャートである。 Next, an operation when decoding is performed in the image processing apparatus according to the present embodiment will be described. FIG. 3 is a flowchart for explaining an operation example when decoding is performed in the image processing apparatus according to the present embodiment.
まず、メモリ16に格納された符号化データが読み出され、ヘッダ解析器17に入力される(ステップS31)。ヘッダ解析器17は、制御部23から指定された符号化方式に基づいて、入力された符号化データのヘッダを解析し、可変長符号を抽出して可変長復号化器18に出力する(ステップS32)。可変長復号化器18は、JPEGとMPEGのそれぞれに対応する可変長復号化テーブルを備えている。そこで、可変長復号化器18は、制御部23から指定された符号化方式に基づいていずれかの可変長復号化テーブルを選択し(ステップS33)、入力された可変長符号を量子化された変換係数へ復号する(ステップS34)。
First, the encoded data stored in the
量子化された変換係数は逆量子化器19によって逆量子化された後(ステップS35)、IDCT器20によって逆離散コサイン変換がなされ、復号された画像信号52が生成される(ステップS36)。ここで、JPEG復号を行っている場合には(ステップS37)、本実施形態の画像処理装置の外部へ復号された画像信号52がそのまま出力される(ステップS39)。一方、MPEG復号を行っている場合には(ステップS37)、復号された画像信号52がフレーム間差分信号(フレーム間予測符号化ピクチャ)であれば、動き補償器21によって動き補償されて(ステップS38)、本実施形態に係る画像変換装置の外部へ出力される(ステップS39)。尚、復号された画像信号52がフレーム内信号(フレーム内符号化ピクチャ)である場合は、JPEG復号時と同様に、そのまま出力される(ステップS39)。
The quantized transform coefficient is inversely quantized by the inverse quantizer 19 (step S35), and then subjected to inverse discrete cosine transform by the
次に、本実施形態の画像処理装置において、MPEG符号化方式からJPEG符号化方式へのフォーマット変換が行われる際の動作について説明する。図4は、本実施形態に係る画像処理装置におけるMPEGからJPEGへのフォーマット変換例を説明するためのフローチャートである。 Next, an operation when format conversion from the MPEG encoding method to the JPEG encoding method is performed in the image processing apparatus of the present embodiment will be described. FIG. 4 is a flowchart for explaining an example of format conversion from MPEG to JPEG in the image processing apparatus according to the present embodiment.
制御部23は、動画像の符号化中に静止画像への変換の指示を外部から受けると(ステップS41)、以下の動作を行う。すなわち、フレーム内符号化ピクチャ(Iピクチャ)を生成するために、選択器11に対し入力画像信号50を選択して出力させる。また、量子化器13に対し、ピクチャ内で固定した量子化スケーリング値を指定する。さらに、可変長符号化器14及びヘッダ生成器15に対しては、MPEG符号化方式を指定する。この指示に基づいて、上述した手順で各部において処理が行われる。すなわち、入力画像信号50はDCT器12で離散コサイン変換された後、量子化器13においてピクチャ内で固定された量子化スケーリング値で量子化され、可変長符号化器14でMPEGフレーム内符号化ピクチャとして可変長符号化されてヘッダ生成器15で生成されたヘッダが付加された後、メモリ16へ格納される(ステップS42)。
When receiving an instruction for conversion to a still image from the outside during encoding of a moving image (step S41), the
メモリ16へ格納されたMPEGフレーム内符号化ピクチャの符号化データは、一連の動画像シーケンスに対する符号化が終了した後に、或いは、動画像符号化中の空き時間等を利用して、所定のタイミングでJPEG符号化データへフォーマット変換される。または、動画像を構成するフレームの入力ブランキング期間を利用してフォーマット変換することも可能である。
The encoded data of the MPEG intra-frame encoded picture stored in the
フォーマット変換処理を開始するに先立ち、制御部23は、可変長符号化器14及びヘッダ生成器15に対してはJPEG符号化方式を指定し、ヘッダ生成器17及び可変長復号化器18に対してはMPEG符号化方式を指定する(ステップS43)。
Prior to starting the format conversion process, the
メモリ16からMPEGフレーム内符号化ピクチャの符号化データが読み出されると、ヘッダ解析器17及び可変長復号化器18によって、当該符号化データに対しヘッダの解析と可変長復号が行われ、量子化された変換係数が生成される(ステップS44)。量子化された変換係数は、可変長符号化器14へ入力され、JPEG符号化データとして可変長符号化された後(ステップS45)、ヘッダ生成器15によってJPEG符号化データに必要なヘッダが付加されて、メモリ16へ出力されて格納される(ステップS46)。
When the encoded data of the MPEG intra-frame encoded picture is read from the
以上説明したように、本発明の一実施形態に係る画像処理装置では、静止画像変換指示が出されると、動画像符号化時にフレーム内符号化を選択して量子化スケーリング値を固定して符号化するので、逆量子化及び逆離散コサイン変換により画像信号へ復号することなくMPEGからJPEGへのフォーマット変換を行うことができ、離散コサイン変換及び量子化の繰り返しによる画質劣化を防ぐ効果が得られる。また、フォーマット変換を、画像符号化用の可変長符号化器14及びヘッダ生成器15と、画像復号用のヘッダ解析器17及び可変長復号化器18を利用して行うので、フォーマット変換用の特殊な回路を設ける必要がなく、その結果、回路規模を増大させることなくフォーマット変換を実現できる。
As described above, in the image processing apparatus according to an embodiment of the present invention, when a still image conversion instruction is issued, encoding is performed by selecting intra-frame coding at the time of moving image coding and fixing the quantization scaling value. Therefore, the format conversion from MPEG to JPEG can be performed without decoding into an image signal by inverse quantization and inverse discrete cosine transform, and the effect of preventing image quality deterioration due to repeated discrete cosine transform and quantization can be obtained. . Since the format conversion is performed using the
尚、本発明によれば、上述したMPEG符号化方式及びJPEG符号化方式以外の符号化方式を用いた場合であっても、同様の要領に従って実施することが可能である。また、本実施形態では、周波数変換として離散コサイン変換(DCT)を用いているが、それ以外の例えば離散フーリエ変換(DFT)等を用いても同様の要領で実施することが可能である。 According to the present invention, even when an encoding method other than the MPEG encoding method and the JPEG encoding method described above is used, the present invention can be carried out according to the same procedure. In this embodiment, discrete cosine transform (DCT) is used as frequency transform. However, other methods such as discrete Fourier transform (DFT) can be used in the same manner.
次に、上述した本発明の一実施形態に係る画像処理装置を実装した電子カメラの実施例について説明する。 Next, an example of an electronic camera in which the image processing apparatus according to the embodiment of the present invention described above is mounted will be described.
図5は、本発明の一実施形態に係る画像処理装置を実装した電子カメラの構成を示すブロック図である。本実施形態に係る電子カメラは、上述した画像処理装置100を備えている。以下、本実施形態に係る電子カメラの動作例について、図面を参照しながら具体的に説明する。図6は、本発明の一実施形態に係る電子カメラの動作例を説明するためのフローチャートである。
FIG. 5 is a block diagram illustrating a configuration of an electronic camera in which an image processing apparatus according to an embodiment of the present invention is mounted. The electronic camera according to the present embodiment includes the
動画像撮影ボタン102が押されると、電子カメラ制御部103は動画像符号化開始の指示を画像処理装置100に与える(ステップS61)。これにより、CCD104から入力され、A/D変換器105によりディジタル変換された動画像信号が、画像処理装置100に入力され、MPEG符号化方式で符号化されてメモリ106へ格納される(ステップS62)。尚、撮影終了後にユーザがMPEG符号化された動画像を再生するときは、メモリ106からMPEG符号化データが読み出され、画像処理装置100により上述したように復号が行われて画像メモリ108へ転送され、LCD107に表示される。
When the moving
ここで、動画像撮影中に静止画像撮影ボタン101が押されると、電子カメラ制御部103は、動画像を構成するフレームのうちボタンが押下されたときのフレームにタグ等を付し、静止画像として変換されるフレームを指定しておく(ステップS63)。さらに、動画像撮影終了後、或いは、動画像符号化中の空き時間等を利用して、画像処理装置100に静止画像変換指示を与える(ステップS64)。尚、画像処理装置100は、動画像撮影中に静止画像撮影ボタン101が押された場合には、入力された動画像信号を、量子化スケール値を固定してフレーム内符号化し、メモリ106へ格納している。そこで、動画像撮影終了後、或いは、動画像符号化中の空き時間に、メモリ106から量子化スケール値が固定されたフレーム内符号化データが読み出され、MPEG符号化方式からJPEG符号化方式へのフォーマット変換が実行された後、メモリ106へ格納される(ステップS65)。尚、メモリ106は、前述した画像処理装置100内部のメモリ16を用いるようにしてもよい。
Here, when the still
このように、本実施形態に係る電子カメラでは、前述した画像処理装置100を備えることにより、電子カメラに必要な回路規模を従来装置よりも小さくして、コストの低減を図ることができる一方で、画質の劣化や変換時間についても従来装置と変わらないものが実現される。そして、動画像撮影中に静止画像撮影ボタン101が押されると、MPEG符号化方式からJPEG符号化方式へのフォーマット変換が実行できるので、電子カメラのユーザが撮影中に動画像を構成するピクチャのうち任意のピクチャを静止画像として記録することができる。
As described above, in the electronic camera according to the present embodiment, the
尚、本発明は、複数の機器(例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置等)に適用してもよい。 Note that the present invention can be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), but a device (for example, a copier, a facsimile machine, etc.) composed of a single device You may apply to.
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(又は記憶媒体)を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Also, an object of the present invention is to supply a recording medium (or storage medium) on which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. Needless to say, this can also be achieved when the MPU) reads and executes the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) or the like running on the computer based on an instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program code read from the recording medium is written in a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the case where the CPU or the like provided in the card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。 When the present invention is applied to the recording medium, program code corresponding to the flowchart described above is stored in the recording medium.
10 動き予測器
11 選択器
12 DCT器
13 量子化器
14 可変長符号化器
15 ヘッダ生成器
16 メモリ
17 ヘッダ解析器
18 可変長復号化器
19 逆量子化器
20 IDCT器
21 動き補償器
22 フレームメモリ
23 制御部
50 入力画像信号
51 フレーム間予測符号化ピクチャ
52 画像信号
DESCRIPTION OF
Claims (14)
前記動画像を周波数変換して第1の変換係数を取得する周波数変換手段と、
前記第1の変換係数を量子化する量子化手段と、
前記量子化手段で量子化された前記第1の変換係数を、イントラ符号化及びインター符号化とを適応的に用いて符号化する第1の符号化形式を用いて符号化することにより第1の符号化データを生成する符号化手段と、
前記第1の符号化形式に関する第1の付加情報を生成し、前記第1の符号化データに付加する生成手段と、
前記第1の付加情報が付加された前記第1の符号化データを記憶する記憶手段と、
前記記憶手段から取り出された前記第1の符号化データを、該第1の符号化データに付加された前記第1の付加情報に基づいて復号する復号化手段とを備える画像処理装置であって、
前記動画像中の所定フレーム画像を指定するフレーム指定手段をさらに備え、
前記符号化手段が、前記フレーム指定手段で指定された前記フレーム画像についてイントラ符号化し、
前記復号化手段が、前記フレーム指定手段で指定された前記フレーム画像についての符号化データを前記記憶手段から取り出して復号することにより第2の変換係数を生成し、
前記符号化手段が、前記第2の変換係数を第2の符号化形式を用いて符号化することにより第2の符号化データを生成し、
前記生成手段が、前記第2の符号化形式に関する第2の付加情報を生成し、前記第2の符号化データに付加し、
前記記憶手段が、前記第2の付加情報が付加された前記第2の符号化データを記憶する
ことを特徴とする画像処理装置。 Moving image acquisition means for acquiring a moving image;
Frequency conversion means for frequency-converting the moving image to obtain a first conversion coefficient;
Quantization means for quantizing the first transform coefficient;
The first transform coefficient quantized by the quantizing means is encoded by using a first encoding format that encodes adaptively using intra coding and inter coding. Encoding means for generating encoded data of:
Generating means for generating first additional information related to the first encoding format and adding the first additional information to the first encoded data;
Storage means for storing the first encoded data to which the first additional information is added;
An image processing apparatus comprising: a decoding unit configured to decode the first encoded data extracted from the storage unit based on the first additional information added to the first encoded data. ,
A frame designating unit for designating a predetermined frame image in the moving image;
The encoding means performs intra encoding on the frame image specified by the frame specifying means;
The decoding means generates a second transform coefficient by taking out and decoding the encoded data for the frame image designated by the frame designation means from the storage means,
The encoding means generates second encoded data by encoding the second transform coefficient using a second encoding format;
The generating means generates second additional information related to the second encoding format and adds the second additional information to the second encoded data;
The image processing apparatus, wherein the storage unit stores the second encoded data to which the second additional information is added.
逆量子化された前記第3の変換係数を逆周波数変換する逆周波数変換手段と
をさらに備えることを特徴とする請求項1に記載の画像処理装置。 Inverse quantization means for inversely quantizing the third transform coefficient obtained by decoding the second encoded data by the decoding means with a predetermined quantization parameter;
The image processing apparatus according to claim 1, further comprising: an inverse frequency transform unit that performs inverse frequency transform on the third transform coefficient that has been inversely quantized.
前記復号化手段が、前記第1及び第2の復号化形式のそれぞれに対応する復号化テーブルを保持しており、
前記符号化手段における符号化処理時に該符号化手段で参照される符号化テーブルの種類及び前記復号化手段における復号処理時に該復号化手段で参照される復号化テーブルの種類を指定する指定手段をさらに備えることを特徴とする請求項1から3までのいずれか1項に記載の画像処理装置。 The encoding means holds an encoding table corresponding to each of the first and second encoding formats;
The decoding means holds a decoding table corresponding to each of the first and second decoding formats;
Designating means for designating a type of an encoding table referred to by the encoding means during the encoding process in the encoding means and a type of a decoding table referred to by the decoding means during the decoding process in the decoding means; The image processing apparatus according to any one of claims 1 to 3, further comprising:
前記符号化手段が、MPEG符号化形式を用いて前記動画像を符号化してMPEG符号化データを生成し、JPEG符号化形式を用いて前記フレーム画像を符号化してJPEG符号化データを生成する
ことを特徴とする請求項1から4までのいずれか1項に記載の画像処理装置。 The first encoding format is an MPEG encoding format, and the second encoding format is a JPEG encoding format,
The encoding means encodes the moving image using an MPEG encoding format to generate MPEG encoded data, and encodes the frame image using a JPEG encoding format to generate JPEG encoded data. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus.
前記復号化手段が、可変長復号化テーブルを用いて前記第1又は第2の符号化データを可変長復号する
ことを特徴とする請求項1から5までのいずれか1項に記載の画像処理装置。 The encoding means performs variable length encoding of the first or second transform coefficient using a variable length encoding table to generate the first or second encoded data;
The image processing according to any one of claims 1 to 5, wherein the decoding unit performs variable-length decoding on the first or second encoded data using a variable-length decoding table. apparatus.
前記逆周波数変換手段が、逆量子化された前記第3の変換係数を逆離散コサイン変換することにより動画像又は静止画像を取得する
ことを特徴とする請求項2に記載の画像処理装置。 The frequency conversion means obtains the first transform coefficient by performing discrete cosine transform on the moving image;
The image processing apparatus according to claim 2, wherein the inverse frequency transform unit obtains a moving image or a still image by performing inverse discrete cosine transform on the third transform coefficient that has been inversely quantized.
前記記憶手段が前記動画像取得手段によって取得された前記動画像から生成された第1の符号化データをすべて記憶した後に、前記フレーム画像を復号する
ことを特徴とする請求項1から7までのいずれか1項に記載の画像処理装置。 The frame designating unit obtains a predetermined frame image of the moving image designated during acquisition of the moving image by the moving image obtaining unit;
8. The frame image is decoded after the storage unit stores all the first encoded data generated from the moving image acquired by the moving image acquisition unit. The image processing apparatus according to any one of the above.
前記動画像中の所定フレーム画像を指定するフレーム指定工程と、
前記動画像を周波数変換して第1の変換係数を取得する周波数変換工程と、
前記第1の変換係数を量子化する量子化工程と、
前記量子化工程で量子化された前記第1の変換係数を、イントラ符号化及びインター符号化とを適応的に用いて符号化する第1の符号化形式を用いて符号化することにより第1の符号化データを生成する第1の符号化工程と、
前記第1の符号化形式に関する第1の付加情報を生成し、前記第1の符号化データに付加する第1の生成工程と、
前記第1の付加情報が付加された前記第1の符号化データを所定の記憶装置に記憶する第1の記憶工程と、
前記記憶装置に記憶された前記第1の符号化データのうち、前記フレーム指定工程で指定された前記フレーム画像に関する符号化データを取り出して復号することにより第2の変換係数を取得する復号化工程と、
復号された前記第2の変換係数を第2の符号化形式を用いて符号化することにより第2の符号化データを生成する第2の符号化工程と、
前記第2の符号化形式に関する第2の付加情報を生成し、前記第2の符号化データに付加する第2の生成工程と、
前記第2の付加情報が付加された前記第2の符号化データを前記記憶装置に記憶する第2の記憶工程とを有し、
前記符号化工程では、前記フレーム指定工程で指定された前記フレーム画像に対してイントラ符号化する
ことを特徴とする画像処理方法。 A moving image acquisition step of acquiring a moving image;
A frame designating step of designating a predetermined frame image in the moving image;
A frequency conversion step of frequency-converting the moving image to obtain a first conversion coefficient;
A quantization step of quantizing the first transform coefficient;
The first transform coefficient quantized in the quantization step is encoded by using a first encoding format in which intra encoding and inter encoding are adaptively used for encoding. A first encoding step for generating encoded data of
Generating a first additional information related to the first encoding format, and adding the first additional information to the first encoded data;
A first storage step of storing the first encoded data to which the first additional information is added in a predetermined storage device;
A decoding step of obtaining a second transform coefficient by extracting and decoding the encoded data related to the frame image specified in the frame specifying step from the first encoded data stored in the storage device When,
A second encoding step of generating second encoded data by encoding the decoded second transform coefficient using a second encoding format;
Generating a second additional information related to the second encoding format and adding the second additional information to the second encoded data; and
A second storage step of storing in the storage device the second encoded data to which the second additional information is added,
In the encoding step, the frame image specified in the frame specifying step is intra-encoded.
動画像を取得する動画像取得手順と、
前記動画像中の所定フレーム画像を指定するフレーム指定手順と、
前記動画像を周波数変換して第1の変換係数を取得する周波数変換手順と、
前記第1の変換係数を量子化する量子化手順と、
前記量子化手順で量子化された前記第1の変換係数を、イントラ符号化及びインター符号化とを適応的に用いて符号化する第1の符号化形式を用いて符号化することにより第1の符号化データを生成する第1の符号化手順と、
前記第1の符号化形式に関する第1の付加情報を生成し、前記第1の符号化データに付加する第1の生成手順と、
前記第1の付加情報が付加された前記第1の符号化データを所定の記憶装置に記憶する第1の記憶手順と、
前記記憶装置に記憶された前記第1の符号化データのうち、前記フレーム指定工程で指定された前記フレーム画像に関する符号化データを取り出して復号することにより第2の変換係数を取得する復号化手順と、
復号された前記第2の変換係数を第2の符号化形式を用いて符号化することにより第2の符号化データを生成する第2の符号化手順と、
前記第2の符号化形式に関する第2の付加情報を生成し、前記第2の符号化データに付加する第2の生成手順と、
前記第2の付加情報が付加された前記第2の符号化データを前記記憶装置に記憶する第2の記憶手順とを実行させ、
前記符号化手順では、前記フレーム指定手順で指定された前記フレーム画像に対してイントラ符号化を実行させることを特徴とするプログラム。 On the computer,
A moving image acquisition procedure for acquiring a moving image;
A frame designation procedure for designating a predetermined frame image in the moving image;
A frequency conversion procedure for frequency-converting the moving image to obtain a first conversion coefficient;
A quantization procedure for quantizing the first transform coefficient;
The first transform coefficient quantized by the quantization procedure is encoded by using a first encoding format that adaptively uses intra encoding and inter encoding. A first encoding procedure for generating encoded data of:
Generating a first additional information related to the first encoding format, and adding the first additional information to the first encoded data;
A first storage procedure for storing the first encoded data to which the first additional information is added in a predetermined storage device;
A decoding procedure for obtaining a second transform coefficient by taking out and decoding the encoded data related to the frame image specified in the frame specifying step from the first encoded data stored in the storage device When,
A second encoding procedure for generating second encoded data by encoding the decoded second transform coefficient using a second encoding format;
Generating a second additional information related to the second encoding format and adding the second additional information to the second encoded data;
A second storage procedure for storing the second encoded data to which the second additional information is added in the storage device;
In the encoding procedure, an intra encoding is executed on the frame image specified in the frame specifying procedure.
シーンを撮影する動画像撮影手段と、
動画像又は静止画像を表示する液晶表示装置とをさらに備え、
前記画像取得手段が、前記動画像撮影手段によって撮影された動画像を取得することを特徴とする電子カメラ。 An electronic camera comprising the image processing device according to any one of claims 1 to 9,
Moving image shooting means for shooting a scene;
A liquid crystal display device for displaying a moving image or a still image;
The electronic camera, wherein the image acquisition unit acquires a moving image captured by the moving image capturing unit.
静止画像撮影ボタンと、
前記動画像撮影ボタンが押下された場合、前記動画像撮影手段に動画像の撮影を指示する第1の指示手段と、
動画像撮影中に前記静止画像撮影ボタンが押下された場合、押下されたときの前記動画像撮影手段で撮影された前記動画像データ中の該静止画像撮影ボタンが押下されたときのフレーム画像を前記フレーム指定手段に指定させる第2の指示手段と
をさらに備えることを特徴とする請求項13に記載の電子カメラ。 A video shooting button,
Still image shooting button,
First instruction means for instructing the moving image shooting means to shoot a moving image when the moving image shooting button is pressed;
When the still image shooting button is pressed during moving image shooting, the frame image when the still image shooting button in the moving image data shot by the moving image shooting means when pressed is pressed The electronic camera according to claim 13, further comprising: a second instruction unit that causes the frame designation unit to designate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003354141A JP2005123738A (en) | 2003-10-14 | 2003-10-14 | Apparatus and method of image processing, and electronic camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003354141A JP2005123738A (en) | 2003-10-14 | 2003-10-14 | Apparatus and method of image processing, and electronic camera |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005123738A true JP2005123738A (en) | 2005-05-12 |
Family
ID=34612216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003354141A Withdrawn JP2005123738A (en) | 2003-10-14 | 2003-10-14 | Apparatus and method of image processing, and electronic camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005123738A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119431B (en) * | 2006-08-01 | 2010-08-25 | 环达电脑(上海)有限公司 | Image data scaling system and method |
JP2012199721A (en) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | Signature device, signature method, and signature program |
JP2015026258A (en) * | 2013-07-26 | 2015-02-05 | 三菱電機株式会社 | Document generation device |
CN110335188A (en) * | 2019-05-21 | 2019-10-15 | 广西链全科技有限公司 | A kind of method and its private key information extracting method storing public and private key using picture |
CN110418209A (en) * | 2019-06-24 | 2019-11-05 | 华为技术有限公司 | A kind of information processing method and terminal device applied to transmission of video |
-
2003
- 2003-10-14 JP JP2003354141A patent/JP2005123738A/en not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101119431B (en) * | 2006-08-01 | 2010-08-25 | 环达电脑(上海)有限公司 | Image data scaling system and method |
JP2012199721A (en) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | Signature device, signature method, and signature program |
JP2015026258A (en) * | 2013-07-26 | 2015-02-05 | 三菱電機株式会社 | Document generation device |
CN110335188A (en) * | 2019-05-21 | 2019-10-15 | 广西链全科技有限公司 | A kind of method and its private key information extracting method storing public and private key using picture |
CN110335188B (en) * | 2019-05-21 | 2023-07-11 | 青岛尚融数字科技有限公司 | Method for storing public and private keys by using pictures and private key information extraction method thereof |
CN110418209A (en) * | 2019-06-24 | 2019-11-05 | 华为技术有限公司 | A kind of information processing method and terminal device applied to transmission of video |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4682102B2 (en) | Image coding apparatus and image coding method | |
JP2011130410A (en) | Encoding method, decoding method and apparatus thereof | |
KR20060109290A (en) | Image decoding device, image decoding method, and image decoding program | |
WO2009130886A1 (en) | Moving image coding device, imaging device and moving image coding method | |
JP5195032B2 (en) | Encoding device / decoding device, encoding method / decoding method, and program | |
KR101147744B1 (en) | Method and Apparatus of video transcoding and PVR of using the same | |
US10728544B2 (en) | Encoding device, encoding method, decoding device, and decoding method | |
KR100510756B1 (en) | Image decoding apparatus and method and image reproducing apparatus | |
KR20070009494A (en) | Method and apparatus for encoding/decoding video data | |
CN106028031B (en) | Video encoding device and method, video decoding device and method | |
JPH0795566A (en) | Method and device for encoding image | |
JP2005123738A (en) | Apparatus and method of image processing, and electronic camera | |
JP2011082629A (en) | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and program | |
JP2009218965A (en) | Image processor, imaging device mounted with the same and image reproduction device | |
JP6875566B2 (en) | Moving image prediction coding device, moving image prediction decoding device, moving image prediction coding method, moving image prediction decoding method and moving image prediction decoding program | |
US20090074054A1 (en) | Resolution-converting apparatus, resolution-converting method and previewing apparatus | |
JP2008289105A (en) | Image processing device and imaging apparatus equipped therewith | |
JP2004120415A (en) | Device and method for converting moving picture data stream | |
US11490121B2 (en) | Transform device, decoding device, transforming method, and decoding method | |
JPH0984011A (en) | Moving image coding system converter | |
JP2009278473A (en) | Image processing device, imaging apparatus mounting the same, and image reproducing device | |
JP2006295492A (en) | Image processing apparatus | |
JP6649212B2 (en) | Encoding device, decoding device, and image processing system | |
JP2015002371A (en) | Image coding device, image coding method and program | |
KR100771119B1 (en) | Plurality of image data merging method and device thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070109 |