JP2002237953A - Image data processing unit and its method, and camera system - Google Patents
Image data processing unit and its method, and camera systemInfo
- Publication number
- JP2002237953A JP2002237953A JP2001031478A JP2001031478A JP2002237953A JP 2002237953 A JP2002237953 A JP 2002237953A JP 2001031478 A JP2001031478 A JP 2001031478A JP 2001031478 A JP2001031478 A JP 2001031478A JP 2002237953 A JP2002237953 A JP 2002237953A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel block
- input
- data
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Television Systems (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、所定の画素ブロッ
クごとに入力する画像データを合成して、画像データの
データ数を変換する画像データ処理装置およびその方
法、ならびに当該画像データ処理装置を有するカメラシ
ステムに係り、例えば、8×8画像データの集合が処理
単位として入出力されるJPEG符号器・復号器のイン
ターフェイス部において、輝度信号と色差信号とのデー
タ数の比を変換する処理を行う画像データ処理装置およ
びその方法、ならびに当該画像データ処理装置を有する
カメラシステムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention has an image data processing apparatus and method for synthesizing image data input for each predetermined pixel block and converting the number of image data, and the image data processing apparatus. According to the camera system, for example, in an interface section of a JPEG encoder / decoder in which a set of 8 × 8 image data is input / output as a processing unit, a process of converting a data ratio of a luminance signal and a color difference signal is performed. The present invention relates to an image data processing device and method, and a camera system having the image data processing device.
【0002】[0002]
【従来の技術】デジタルビデオで扱われる画像データの
フォーマットは、一般的にRGB形式よりも輝度信号Y
と色差信号(クロマ信号)CrおよびCbによる形式
(YCrCb形式)の方が多い。これは、自然画におい
てクロマ信号の帯域が輝度信号より狭い傾向があるた
め、クロマ信号のサンプリング周波数を輝度信号に比べ
て低くすることができ、これにより画像データの量を削
減できるからである。輝度信号Yとクロマ信号Crおよ
びクロマ信号Cbのサンプリング周波数の比率(以降、
YCrCb比と呼ぶ)は、一般的にY:Cr:Cb=
(4:4:4)、(4:2:2)、(4:1:1)の3
種類の比率が使用されている。解像度の低いテレビモニ
ターなどで再生する場合、データ量の少ないYCrCb
比(4:1:1)であっても画質の劣化はあまり大きく
ならない。2. Description of the Related Art Generally, the format of image data handled in digital video is a luminance signal Y that is smaller than that of an RGB format.
And the color difference signal (chroma signal) Cr and Cb (YCrCb format). This is because, in a natural image, the band of the chroma signal tends to be narrower than the luminance signal, so that the sampling frequency of the chroma signal can be made lower than that of the luminance signal, thereby reducing the amount of image data. The ratio of the sampling frequency of the luminance signal Y to the chroma signal Cr and the chroma signal Cb (hereinafter, referred to as
YCrCb ratio) is generally Y: Cr: Cb =
(4: 4: 4), (4: 2: 2), (4: 1: 1)
Type ratios are used. When playing back on a TV monitor with low resolution, YCrCb with a small amount of data
Even with the ratio (4: 1: 1), the deterioration of the image quality is not so large.
【0003】このようなデジタル画像データの記録/再
生装置では、通常、上述の一般的なYCrCb比のいず
れにも対応できるようになっている。ただし、画像デー
タの処理に使用するメモリ容量を節約するため、インタ
ーフェイス部で画像データのYCrCb比を(4:2:
2)や(4:1:1)など情報量の少ない比率に変換さ
せて、内部の画像処理部においては全て同じYCrCb
比の画像データを処理する場合が多い。[0003] Such a digital image data recording / reproducing apparatus can usually cope with any of the above-mentioned general YCrCb ratios. However, in order to save the memory capacity used for processing the image data, the YCrCb ratio of the image data is set to (4: 2:
2) or (4: 1: 1) such that the ratio of the information amount is small, and all of the internal image processing units have the same YCrCb
In many cases, image data of a ratio is processed.
【0004】図10は、一般的なデジタルビデオ用画像
処理装置のインターフェイス部の構成を説明するための
図である。図10に示す画像処理装置は、YCrCb比
変換部1、YCrCb比変換部2、フレームメモリ3、
フレームメモリコントローラ4、および画像処理部5を
有する。FIG. 10 is a diagram for explaining a configuration of an interface unit of a general digital video image processing apparatus. The image processing apparatus shown in FIG. 10 includes a YCrCb ratio converter 1, a YCrCb ratio converter 2, a frame memory 3,
It has a frame memory controller 4 and an image processing unit 5.
【0005】YCrCb比変換部1は、例えばCCDな
どを含む撮像装置において生成された所定のYCrCb
比を有するYCrCb形式の画像データSinを入力
し、入力された画像データSinをYCrCb比(4:
1:1)に変換する。YCrCb比変換部2は、フレー
ムメモリ・コントローラ4から入力したYCrCb比
(4:1:1)の画像データを、出力先に応じた所定の
比率に変換して出力する。[0005] The YCrCb ratio conversion unit 1 is provided with a predetermined YCrCb ratio generated in an image pickup device including a CCD or the like.
The YCrCb format image data Sin having a ratio is input, and the input image data Sin is converted to a YCrCb ratio (4:
1: 1). The YCrCb ratio conversion unit 2 converts the image data having the YCrCb ratio (4: 1: 1) input from the frame memory controller 4 into a predetermined ratio corresponding to the output destination and outputs the converted data.
【0006】フレームメモリ3は、画像処理部5におい
て処理されるYCrCb比(4:1:1)の画像データ
を、画像フレーム単位で記憶する。画像データの書き込
みおよび読み出しは、フレームメモリ・コントローラ4
からの制御に応じて行われる。フレームメモリ・コント
ローラ4は、YCrCb比変換部1やYCrCb比変換
部、画像処理部3からの要求に応じて、フレームメモリ
3に対する画像データの書き込みまたは読み出しを制御
する。画像処理部5は、YCrCb比(4:1:1)の
画像データに対して、例えば画像データのフィルタ処理
や、アスペクト比の変換処理など、所定の画像処理を行
う。The frame memory 3 stores image data of a YCrCb ratio (4: 1: 1) processed by the image processing unit 5 in image frame units. Writing and reading of image data is performed by the frame memory controller 4
This is performed according to the control from. The frame memory controller 4 controls writing or reading of image data to or from the frame memory 3 in response to a request from the YCrCb ratio conversion unit 1, the YCrCb ratio conversion unit, and the image processing unit 3. The image processing unit 5 performs predetermined image processing on the image data having the YCrCb ratio (4: 1: 1), such as image data filtering and aspect ratio conversion.
【0007】撮像装置等において生成され所定のYCr
Cb比を有する画像データは、YCrCb比変換部1に
おいてYCrCb比(4:1:1)の画像データに変換
された後、画像処理部5において所定の画像処理を行わ
れる。この画像処理の過程において、画像データはフレ
ームメモリ・コントローラ4の制御によりフレームメモ
リ3に記憶され、処理に応じてフレームメモリ3から読
み出される。画像処理部5による処理が終了したYCr
Cb比(4:1:1)の画像データは、YCrCb比変
換部2において出力先の仕様に応じたYCrCb比に変
換される。A predetermined YCr generated in an imaging device or the like
The image data having the Cb ratio is converted into image data having a YCrCb ratio (4: 1: 1) by the YCrCb ratio conversion unit 1, and then predetermined image processing is performed by the image processing unit 5. In the course of this image processing, the image data is stored in the frame memory 3 under the control of the frame memory controller 4, and is read from the frame memory 3 in accordance with the processing. YCr that has been processed by the image processing unit 5
The image data of the Cb ratio (4: 1: 1) is converted by the YCrCb ratio conversion unit 2 into a YCrCb ratio according to the specification of the output destination.
【0008】動画を扱うデジタルビデオなどにおいて
は、図10に示す画像処理装置のように、一般的にYC
rCb比(4:1:1)の画像データがシステム内部で
処理されている。また、比較的データ量の少ないデジタ
ル・スチルカメラなどでは、YCrCb比(4:2:
2)の画像データがシステム内部で処理される場合が多
い。しかし、デジタルビデオにおいても静止画の入出力
はYCrCb比(4:2:2)で行なわれることが多
い。このように、処理する画像データのYCrCb比が
異なった種々の装置で生成される画像データを利用する
ために、YCrCb比の変換技術はデジタル映像の記録
/再生装置にとって欠かせない技術となっている。[0008] In digital video or the like that handles moving images, generally, as in the image processing apparatus shown in FIG.
Image data with an rCb ratio (4: 1: 1) is processed inside the system. In a digital still camera having a relatively small data amount, a YCrCb ratio (4: 2:
The image data of 2) is often processed inside the system. However, even in digital video, still image input / output is often performed at a YCrCb ratio (4: 2: 2). As described above, in order to use image data generated by various devices having different YCrCb ratios of image data to be processed, the conversion technology of the YCrCb ratio is an indispensable technology for a digital video recording / reproducing device. I have.
【0009】[0009]
【発明が解決しようとする課題】ところで、JPEG(J
oint Photographic Exparts Group)による画像データ圧
縮法では、縦8画素×横8画素=64画素の画素ブロッ
クの集合体であるMCU(Minimum Coded Unit)が、画
像の圧縮または伸張におけるデータ処理の単位として扱
われている。However, JPEG (J
In the image data compression method by Oint Photographic Exparts Group), an MCU (Minimum Coded Unit), which is a set of pixel blocks of 8 × 8 pixels = 64 pixels, is treated as a unit of data processing in image compression or expansion. Have been done.
【0010】図11、図12および図13は、それぞれ
YCrCb比(4:4:4)、YCrCb比(4:2:
2)およびYCrCb比(4:1:1)における1つの
MCUを示している。FIGS. 11, 12 and 13 show the YCrCb ratio (4: 4: 4) and the YCrCb ratio (4: 2:
2) and one MCU at YCrCb ratio (4: 1: 1).
【0011】図11に示すように、YCrCb比(4:
4:4)のMCUにおいては、1つの輝度信号Yに対し
て1つのクロマ信号(Cr、Cb)が対応している。こ
れに対して図12に示すように、YCrCb比(4:
2:2)のMCUにおいては、水平ライン上に並ぶ2つ
の輝度信号Yに対して1つのクロマ信号(Cr、Cb)
が対応している。また図13に示すように、YCrCb
比(4:1:1)のMCUにおいては、水平ライン上に
並ぶ4つの輝度信号Yに対して1つのクロマ信号(C
r、Cb)が対応している。As shown in FIG. 11, the YCrCb ratio (4:
In the 4: 4) MCU, one luminance signal Y corresponds to one chroma signal (Cr, Cb). On the other hand, as shown in FIG. 12, the YCrCb ratio (4:
In the 2: 2) MCU, one chroma signal (Cr, Cb) is provided for two luminance signals Y arranged on a horizontal line.
Is supported. Further, as shown in FIG.
In the MCU having the ratio (4: 1: 1), one chroma signal (C) is provided for four luminance signals Y arranged on a horizontal line.
r, Cb) correspond.
【0012】このようなYCrCb比の変換を行う場
合、クロマ信号を補間する処理(クロマ補間)が不可欠
となる。ただし、上述したMCUごとに入出力されるデ
ータに対しクロマ補間を行なうためには、隣接する2つ
の8×8画素ブロックに分かれたクロマ信号を用いて補
間処理を行なう必要がある。このため従来の方法では、
MCUごとに分割された画像データを一旦ラインメモリ
上に1水平ライン分記憶させ、この記憶された画像デー
タを用いてクロマ補間処理が行われていた。When such conversion of the YCrCb ratio is performed, a process of interpolating a chroma signal (chroma interpolation) is indispensable. However, in order to perform chroma interpolation on data input / output for each MCU, it is necessary to perform interpolation processing using chroma signals divided into two adjacent 8 × 8 pixel blocks. Therefore, in the conventional method,
Image data divided for each MCU is temporarily stored in a line memory for one horizontal line, and chroma interpolation processing is performed using the stored image data.
【0013】図14は、YCrCb比(4:2:2)の
MCUにおける2つのクロマ信号8×8画素ブロック
を、YCrCb比(4:1:1)のMCUにおける1つ
のクロマ信号8×8画素ブロックに変換する補間処理を
示している。画素ブロックB1および画素ブロックB2
は、変換前のクロマ信号8×8画素ブロックを示してお
り、画素ブロックB3は変換後のクロマ信号8×8画素
ブロックを示している。FIG. 14 shows two chroma signal 8 × 8 pixel blocks in an MCU having a YCrCb ratio (4: 2: 2) and one chroma signal 8 × 8 pixel in an MCU having a YCrCb ratio (4: 1: 1). 9 shows an interpolation process for converting into a block. Pixel block B1 and pixel block B2
Indicates a chroma signal 8 × 8 pixel block before conversion, and a pixel block B3 indicates a chroma signal 8 × 8 pixel block after conversion.
【0014】データ量の多いYCrCb比(4:2:
2)の画像データから、データ量の少ないYCrCb比
(4:1:1)の画像データへクロマ補間を行う場合、
通常、水平ライン方向に隣接する複数(図13の例にお
いては3つ)の画像データが合成されて、1つの画像デ
ータが生成される。図14の垂直方向に並んだ領域L1
〜L3の画素は、水平方向に隣接する8×8画素ブロッ
クの境界にあり、クロマ補間において異なる8×8画素
ブロックに属する画像データと合成される。The YCrCb ratio (4: 2:
When chroma interpolation is performed from the image data of 2) to image data having a small data amount and a YCrCb ratio (4: 1: 1),
Usually, a plurality of (three in the example of FIG. 13) image data adjacent in the horizontal line direction are synthesized to generate one image data. Region L1 arranged in the vertical direction in FIG.
The pixels L3 to L3 are located at the boundary between horizontally adjacent 8 × 8 pixel blocks, and are combined with image data belonging to different 8 × 8 pixel blocks in chroma interpolation.
【0015】図15は、YCrCb比(4:2:2)か
らYCrCb比(4:1:1)への変換を行う、従来の
JPEGインターフェイス回路の構成例を示している。
図15に示すJPEGインターフェイス回路は、YCr
Cb比変換回路1、フレームメモリ3、MCUメモリ6
およびラインメモリ7を有しており、図10と図15の
同一符号は同一の構成要素を示している。FIG. 15 shows an example of the configuration of a conventional JPEG interface circuit for converting a YCrCb ratio (4: 2: 2) into a YCrCb ratio (4: 1: 1).
The JPEG interface circuit shown in FIG.
Cb ratio conversion circuit 1, frame memory 3, MCU memory 6
And a line memory 7, and the same reference numerals in FIGS. 10 and 15 indicate the same components.
【0016】MCUメモリ6は、JPEG方式の画像圧
縮または伸張を行う回路ブロック(以降、JPEG回路
と呼ぶ)からMCUごとに分割されて順次入力されるY
CrCb比(4:2:2)の画像データを、MCUごと
に記憶する記憶装置である。通常、書き込み用と読み出
し用のメモリを別に設けた2バンクの構成を有してお
り、書き込み用のメモリと読み出し用のメモリを交互に
切り換えることによって、JPEG回路からの画像デー
タの書き込みと、フレームメモリ3に対する画像データ
の読み出しを同時に行っている。ラインメモリ7は、フ
レームメモリ3に記憶された1フレーム分の画像データ
から、水平ラインの1ライン分の画像データを読み出し
て記憶する。The MCU memory 6 is divided for each MCU from a circuit block (hereinafter, referred to as a JPEG circuit) for performing image compression or decompression in the JPEG system, and is sequentially input as Y.
This storage device stores image data having a CrCb ratio (4: 2: 2) for each MCU. Usually, it has a two-bank configuration in which a memory for writing and a memory for reading are separately provided. By alternately switching between the memory for writing and the memory for reading, the writing of image data from the JPEG circuit and the frame Reading of image data from the memory 3 is performed simultaneously. The line memory 7 reads out and stores one horizontal line of image data from one frame of the image data stored in the frame memory 3.
【0017】JPEG回路において伸張されて、MCU
ごとに入力されるYCrCb比(4:2:2)の画像デ
ータは、1MCUずつMCUメモリ6に格納される。そ
して、8×8画素ブロックにブロック化された画像デー
タがラインデータに並び替えられて、フレームメモリ3
に書き込まれる。この処理が1フレームの画像データの
全MCUに対して反復されることにより、フレームメモ
リ3上に1フレームの画像データが記憶される。The MCU is expanded in the JPEG circuit and
The image data of the YCrCb ratio (4: 2: 2) inputted every time is stored in the MCU memory 6 for each MCU. Then, the image data divided into 8 × 8 pixel blocks is rearranged into line data, and
Is written to. This process is repeated for all MCUs of one frame of image data, so that one frame of image data is stored in the frame memory 3.
【0018】次いで、フレームメモリ3から1ライン分
の画像データが順次読み出されて、ラインメモリ7に格
納される。ラインメモリ7に格納された画像データは、
YCrCb比変換部1におけるクロマ補間によってYC
rCb比(4:2:2)からYCrCb比(4:1:
1)に変換され、再びラインメモリ7に格納される。1
ライン分の変換が終了した後、変換された画像データは
再度フレームメモリに書き戻される。この処理が全ライ
ンについて反復されることによりYCrCb比(4:
1:1)に変換された1フレーム分の画像データがフレ
ームメモリ3に記憶される。Next, one line of image data is sequentially read from the frame memory 3 and stored in the line memory 7. The image data stored in the line memory 7 is
Chroma interpolation in the YCrCb ratio converter 1
From the rCb ratio (4: 2: 2) to the YCrCb ratio (4: 1:
1) and stored in the line memory 7 again. 1
After the conversion for the line is completed, the converted image data is written back to the frame memory again. This process is repeated for all lines to obtain a YCrCb ratio (4:
One frame of image data converted to 1: 1) is stored in the frame memory 3.
【0019】このような処理形態では、1ラインに並ん
だデータに対しクロマ補間が実行されるため、より広範
囲のデータを合成させる補間処理が可能になり、画質の
向上が期待できる。しかし、一度フレームメモリ3に格
納された画像データを一旦ラインメモリ7に読み込ま
せ、再度フレームメモリに書き戻す処理となるため、メ
モリに対する書き込み処理が多くなり、処理速度が低下
してしまう問題がある。またクロマ補間のためのライン
メモリ7をわざわざ設けなくてはならず、回路規模を増
大させてしまう問題もある。In such a processing mode, since the chroma interpolation is performed on the data arranged in one line, an interpolation process for synthesizing a wider range of data becomes possible, and an improvement in image quality can be expected. However, since the image data once stored in the frame memory 3 is once read into the line memory 7 and then written back to the frame memory again, there is a problem that the number of writing processes to the memory increases and the processing speed decreases. . Further, the line memory 7 for chroma interpolation must be provided, which causes a problem of increasing the circuit scale.
【0020】また、YCrCb比(4:1:1)からY
CrCb比(4:2:2)へ画像データを拡張させる従
来のクロマ補間処理の方法にも、以下に述べるような問
題点がある。From the YCrCb ratio (4: 1: 1),
The conventional chroma interpolation method for expanding image data to a CrCb ratio (4: 2: 2) also has the following problems.
【0021】図16は、YCrCb比(4:1:1)の
MCUにおける1つのクロマ信号8×8画素ブロック
を、YCrCb比(4:2:2)のMCUにおける2つ
のクロマ信号8×8画素ブロックに変換する補間処理を
示している。画素ブロックB4および画素ブロックB5
は、変換後のクロマ信号8×8画素ブロックに対応する
4×8画素の画素ブロックであり、変換前の8×8画素
ブロックが半分に分割された画素ブロックである。ま
た、画素ブロックB6および画素ブロックB7は、それ
ぞれ画素ブロックB4および画素ブロックB5の変換後
の画素ブロックに対応する。FIG. 16 shows one chroma signal 8 × 8 pixel block in an MCU with a YCrCb ratio (4: 1: 1) and two chroma signal 8 × 8 pixels in an MCU with a YCrCb ratio (4: 2: 2). 9 shows an interpolation process for converting into a block. Pixel block B4 and pixel block B5
Is a 4 × 8 pixel block corresponding to the converted chroma signal 8 × 8 pixel block, and is a half-divided 8 × 8 pixel block before conversion. The pixel blocks B6 and B7 correspond to the pixel blocks after the conversion of the pixel blocks B4 and B5, respectively.
【0022】データ量の少ないYCrCb比(4:1:
1)の画像データから、データ量の多いYCrCb比
(4:2:2)の画像データへクロマ補間を行う場合、
水平ライン方向に隣接する複数(図15の例においては
2つ)の画像データが合成され、この合成された画像デ
ータが元の画像データの間に補間される。図15の垂直
方向に並んだ領域L4〜L6の画素は、水平方向に隣接
する4×8画素ブロックの境界にあり、クロマ補間にお
いて異なる4×8画素ブロックに属する画像データと合
成される。The YCrCb ratio (4: 1:
When chroma interpolation is performed from the image data of 1) to image data having a large data amount and a YCrCb ratio (4: 2: 2),
A plurality of (two in the example of FIG. 15) image data adjacent in the horizontal line direction are synthesized, and the synthesized image data is interpolated between the original image data. The pixels in the regions L4 to L6 arranged in the vertical direction in FIG. 15 are at the boundaries between the 4 × 8 pixel blocks adjacent in the horizontal direction, and are combined with image data belonging to different 4 × 8 pixel blocks in chroma interpolation.
【0023】図17は、YCrCb比(4:1:1)か
らYCrCb比(4:2:2)への変換を行う、従来の
JPEGインターフェイス回路の構成例を示している。
図17に示すJPEGインターフェイス回路は、YCr
Cb比変換回路2、フレームメモリ3およびMCUメモ
リ6を有しており、図10および図15と図17の同一
符号は同一の構成要素を示している。FIG. 17 shows an example of the configuration of a conventional JPEG interface circuit for converting a YCrCb ratio (4: 1: 1) to a YCrCb ratio (4: 2: 2).
The JPEG interface circuit shown in FIG.
It has a Cb ratio conversion circuit 2, a frame memory 3 and an MCU memory 6, and the same reference numerals in FIGS. 10, 15 and 17 denote the same components.
【0024】図17の例においては、既にフレームメモ
リ3に1フレーム分の画像データが記憶されている。こ
のフレームメモリ3に記憶された画像データから1MC
U分の画像データが順次読み出されて一旦MCUメモリ
6に格納される。MCUメモリ6に格納された1MCU
の画像データから、さらに4×8画素ブロックごとの画
像データがYCrCb比変換部2に読み出されて、YC
rCb比(4:1:1)からYCrCb比(4:2:
2)への変換が実行される。これによりYCrCb比変
換部2からは8×8画素ブロックごとの画像データが順
次出力される。この変換の際に、MCUメモリ6から読
み出す4×8画素ブロックの画像データに含まれていな
い画像データが合成に使用される場合には、フレームメ
モリ3からこの画像データが直接読み出されて合成に使
用される。In the example shown in FIG. 17, one frame of image data is already stored in the frame memory 3. From the image data stored in the frame memory 3, 1MC
U image data is sequentially read out and temporarily stored in the MCU memory 6. 1 MCU stored in MCU memory 6
Image data for each 4 × 8 pixel block is read out to the YCrCb ratio converter 2 from the image data of
From the rCb ratio (4: 1: 1) to the YCrCb ratio (4: 2:
The conversion to 2) is performed. As a result, the YCrCb ratio converter 2 sequentially outputs image data for each 8 × 8 pixel block. At the time of this conversion, if image data that is not included in the image data of the 4 × 8 pixel block read from the MCU memory 6 is used for synthesis, the image data is directly read from the frame memory 3 and synthesized. Used for
【0025】大量のデータを格納する必要があるフレー
ムメモリ3には、一般的にDRAMやSRAMといった
記憶デバイスが大量に使用されることが多いが、このよ
うなメモリ装置から必要なデータを読み出すための回路
は複雑であり、処理速度を低下させてしまう問題があ
る。またフレームメモリ3にアクセスするための回路が
YCrCb比変換部2のために追加されるため、回路規
模を増大させてしまう問題もある。In general, a storage device such as a DRAM or an SRAM is often used in a large amount for the frame memory 3 that needs to store a large amount of data. Is complicated and there is a problem that the processing speed is reduced. Further, since a circuit for accessing the frame memory 3 is added for the YCrCb ratio converter 2, there is a problem that the circuit scale is increased.
【0026】本発明はかかる事情に鑑みてなされたもの
であり、その目的は、所定の画素ブロックごとに入力す
る画像データを合成して、画像データのデータ数を変換
する処理において、従来の方式に比べて回路規模を小さ
くすることができ、処理速度を高速化できる画像データ
処理装置およびその方法、ならびに当該画像データ処理
装置を有したカメラ・システムを提供することにある。The present invention has been made in view of the above circumstances, and an object of the present invention is to combine image data to be input for each predetermined pixel block and convert the number of image data by a conventional method. An object of the present invention is to provide an image data processing apparatus and method capable of reducing the circuit scale and increasing the processing speed as compared with the above, and a camera system having the image data processing apparatus.
【0027】[0027]
【課題を解決するための手段】上記の目的を達成するた
め、本発明の画像データ処理装置は、所定の画素ブロッ
クごとに入力する画像データを所定の小画素ブロックご
とに合成し、画像データのデータ数を変換する画像デー
タ処理装置であって、上記画素ブロックの所定の領域に
含まれる画像データを保持するデータ保持手段と、上記
所定の画素ブロックごとに入力する画像データを、上記
小画素ブロックごとに所定の重み付けを与えて合成し、
当該合成データから少なくとも1つの画像データを生成
し、上記小画素ブロックの一部の画像データが、上記入
力画像データの画素ブロックに隣接する他の画素ブロッ
クの上記所定領域に含まれる場合、当該小画素ブロック
の一部の画像データを上記データ保持手段から入力し、
当該入力した画像データを含む当該小画素ブロックの画
像データに上記所定の重み付けを与えて合成し、当該合
成データから少なくとも1つの画像データを生成する画
像データ生成手段とを有する。In order to achieve the above object, an image data processing apparatus according to the present invention synthesizes image data input for each predetermined pixel block for each predetermined small pixel block, and outputs the image data. An image data processing device for converting the number of data, comprising: data holding means for holding image data included in a predetermined area of the pixel block; and image data input for each of the predetermined pixel blocks, Are given weights for each and synthesized.
At least one image data is generated from the composite data, and when a part of the image data of the small pixel block is included in the predetermined region of another pixel block adjacent to the pixel block of the input image data, Partial image data of the pixel block is input from the data holding unit,
Image data generating means for giving the predetermined weight to the image data of the small pixel block including the input image data and synthesizing the image data to generate at least one image data from the synthesized data.
【0028】また、上記データ保持手段は、上記画像デ
ータ生成手段に入力される画像データのうち、上記所定
領域の画像データを保持する。The data holding means holds the image data of the predetermined area among the image data input to the image data generating means.
【0029】また、上記画素ブロックごとに入力する画
像データを保持するとともに、既に保持された画素ブロ
ックの画像データを上記画像データ生成手段に出力する
画素ブロック保持手段を有し、上記データ保持手段は、
上記画素ブロック保持手段に入力される画像データのう
ち、上記所定領域に含まれる画像データを保持する。The image processing apparatus further includes a pixel block holding unit for holding the image data input for each pixel block and outputting the image data of the pixel block already held to the image data generating unit. ,
The image data included in the predetermined area among the image data input to the pixel block holding unit is held.
【0030】本発明の画像データ処理装置によれば、上
記データ保持手段において、上記画素ブロックの所定の
領域に含まれる画像データが保持される。また、上記画
像データ生成手段において、上記所定の画素ブロックご
とに入力される画像データが、上記小画素ブロックごと
に所定の重み付けを与えられて合成され、当該合成デー
タから少なくとも1つの画像データが生成される。上記
小画素ブロックの一部の画像データが、上記入力画像デ
ータの画素ブロックに隣接する他の画素ブロックの上記
所定領域に含まれる場合、当該小画素ブロックの一部の
画像データが上記データ保持手段から上記画像データ生
成手段に入力され、当該入力された画像データを含む当
該小画素ブロックの画像データに上記所定の重み付けが
与えられて合成され、当該合成データから少なくとも1
つの画像データが生成される。According to the image data processing device of the present invention, the data holding means holds the image data contained in the predetermined area of the pixel block. In the image data generating means, the image data input for each of the predetermined pixel blocks is synthesized by giving a predetermined weight to each of the small pixel blocks, and at least one image data is generated from the synthesized data. Is done. When a part of the image data of the small pixel block is included in the predetermined area of another pixel block adjacent to the pixel block of the input image data, the image data of a part of the small pixel block is stored in the data holding unit. Is input to the image data generating means, the image data of the small pixel block including the input image data is given the predetermined weight, and is synthesized.
One image data is generated.
【0031】第1の観点に係る本発明の画像データ処理
装置では、上記データ保持手段において、上記画像デー
タ生成手段に入力される画像データのうち、上記所定領
域の画像データが保持される。In the image data processing apparatus according to the first aspect of the present invention, the data holding means holds the image data of the predetermined area among the image data input to the image data generating means.
【0032】第2の観点に係る本発明の画像データ処理
装置では、上記画素ブロック保持手段において、上記画
素ブロックごとに入力される画像データが保持されると
ともに、既に保持された画素ブロックの画像データが上
記画像データ生成手段に出力される。上記データ保持手
段には、上記画素ブロック保持手段に入力される画像デ
ータのうち、上記所定領域に含まれる画像データが保持
される。In the image data processing apparatus according to the second aspect of the present invention, the pixel block holding means holds the image data input for each pixel block and the image data of the pixel block already held. Is output to the image data generating means. The data holding unit holds image data included in the predetermined area among image data input to the pixel block holding unit.
【0033】本発明の画像データ処理方法は、所定の画
素ブロックごとに入力する画像データを所定の小画素ブ
ロックごとに合成し、画像データのデータ数を変換する
画像データ処理方法であって、上記画素ブロックの所定
の領域に含まれる画像データを保持するデータ保持ステ
ップと、上記所定の画素ブロックごとに入力する画像デ
ータを、上記小画素ブロックごとに所定の重み付けを与
えて合成し、当該合成データから少なくとも1つの画像
データを生成し、上記小画素ブロックの一部の画像デー
タが、上記入力画像データの画素ブロックに隣接する他
の画素ブロックの上記所定領域に含まれる場合、上記デ
ータ保持ステップにおいて保持された当該一部の画像デ
ータを入力し、当該入力した画像データを含む当該小画
素ブロックに上記所定の重み付けを与えて合成し、当該
合成データから少なくとも1つの画像データを生成する
画像データ生成ステップとを有する。An image data processing method according to the present invention is a method for processing image data for combining image data input for each predetermined pixel block for each predetermined small pixel block and converting the number of image data. A data holding step of holding image data included in a predetermined area of the pixel block; and image data input for each of the predetermined pixel blocks are synthesized by giving a predetermined weight to each of the small pixel blocks, and And generating at least one image data from the image data, and when the partial image data of the small pixel block is included in the predetermined area of another pixel block adjacent to the pixel block of the input image data, The held partial image data is input, and the small pixel block including the input image data is input into the small pixel block. It was synthesized by applying a constant weighting, and an image data generation step of generating at least one image data from the combined data.
【0034】また、上記データ保持ステップは、上記画
像データ生成ステップにおいて入力される画像データの
うち、上記所定領域の画像データを保持する。The data holding step holds the image data of the predetermined area among the image data input in the image data generating step.
【0035】また、上記画素ブロックごとに入力する画
像データを保持するとともに、既に保持された画素ブロ
ックの画像データを上記画像データ生成ステップにおい
て出力する画素ブロック保持ステップを有し、上記デー
タ保持ステップは、上記画素ブロック保持ステップにお
いて入力される画像データのうち、上記画素ブロックの
上記所定領域に含まれる画像データを保持する。In addition, the method includes a pixel block holding step of holding the image data input for each pixel block and outputting the image data of the pixel block already held in the image data generating step. And holding the image data included in the predetermined area of the pixel block among the image data input in the pixel block holding step.
【0036】本発明の画像データ処理方法によれば、上
記データ保持ステップにおいて、上記画素ブロックの所
定の領域に含まれる画像データが保持される。また、上
記画像データ生成手段において、上記所定の画素ブロッ
クごとに入力される画像データが、上記小画素ブロック
ごとに所定の重み付けを与えられて合成され、当該合成
データから少なくとも1つの画像データが生成される。
上記小画素ブロックの一部の画像データが、上記入力画
像データの画素ブロックに隣接する他の画素ブロックの
上記所定領域に含まれる場合、上記データ保持ステップ
において保持された当該一部の画像データが入力され、
当該入力された画像データを含む当該小画素ブロックに
上記所定の重み付けが与えられて合成され、当該合成デ
ータから少なくとも1つの画像データが生成される。According to the image data processing method of the present invention, in the data holding step, image data included in a predetermined area of the pixel block is held. In the image data generating means, the image data input for each of the predetermined pixel blocks is synthesized by giving a predetermined weight to each of the small pixel blocks, and at least one image data is generated from the synthesized data. Is done.
When a part of the image data of the small pixel block is included in the predetermined area of another pixel block adjacent to the pixel block of the input image data, the part of the image data held in the data holding step is Entered,
The predetermined weights are given to the small pixel blocks including the input image data to be synthesized, and at least one image data is generated from the synthesized data.
【0037】第1の観点に係る本発明の画像データ処理
方法では、上記画像データ生成ステップにおいて入力さ
れる画像データのうち、上記所定領域の画像データが上
記データ保持ステップで保持される。In the image data processing method according to the first aspect of the present invention, of the image data input in the image data generating step, the image data of the predetermined area is held in the data holding step.
【0038】第2の観点に係る本発明の画像データ処理
方法は、上記画素ブロック保持ステップにおいて、上記
画素ブロックごとに入力される画像データが保持される
とともに、既に保持された画素ブロックの画像データが
上記画像データ生成ステップにおいて出力される。上記
データ保持ステップでは、上記画素ブロック保持ステッ
プにおいて入力される画像データのうち、上記画素ブロ
ックの上記所定領域に含まれる画像データが保持され
る。In the image data processing method according to the second aspect of the present invention, in the pixel block holding step, the image data input for each pixel block is held and the image data of the pixel block already held is stored. Are output in the image data generating step. In the data holding step, of the image data input in the pixel block holding step, image data included in the predetermined area of the pixel block is held.
【0039】本発明のカメラシステムは、所望の画像を
撮影し、撮影した画像の各画素に対応する画像データを
生成する撮影手段と、上記撮影手段において生成された
画像データに対して所定の処理を行い、当該処理後の画
像データを、所定の画素ブロックごとに入出力する処理
手段と、上記処理手段から所定の画素ブロックごとに入
力する画像データを所定の小画素ブロックごとに合成
し、画像データのデータ数を変換する画像データ処理装
置とを有し、上記画像データ処理装置は、上記画素ブロ
ックの所定の領域に含まれる画像データを保持するデー
タ保持手段と、上画素ブロックごとに入力する画像デー
タを、上記小画素ブロックごとに所定の重み付けを与え
て合成し、当該合成データから少なくとも1つの画像デ
ータを生成し、上記小画素ブロックの一部の画像データ
が、上記入力画像データの画素ブロックに隣接する他の
画素ブロックの上記所定領域に含まれる場合、当該一部
の画像データを上記データ保持手段から入力し、当該入
力した画像データを含む当該小画素ブロックの画像デー
タに上記所定の重み付けを与えて合成し、当該合成デー
タから少なくとも1つの画像データを生成する画像デー
タ生成手段とを含む。A camera system according to the present invention includes a photographing means for photographing a desired image and generating image data corresponding to each pixel of the photographed image, and a predetermined processing for the image data generated by the photographing means. Processing means for inputting / outputting the processed image data for each predetermined pixel block, and image data input for each predetermined pixel block from the processing means for each predetermined small pixel block, An image data processing device for converting the number of data, wherein the image data processing device inputs data for each upper pixel block, and a data holding unit for holding image data included in a predetermined area of the pixel block The image data is synthesized by giving a predetermined weight to each of the small pixel blocks, and at least one image data is generated from the synthesized data. When a part of the image data of the pixel block is included in the predetermined area of another pixel block adjacent to the pixel block of the input image data, the part of the image data is input from the data holding unit, Image data generating means for giving the predetermined weight to the image data of the small pixel block including the obtained image data and synthesizing the image data to generate at least one image data from the synthesized data.
【0040】[0040]
【発明の実施の形態】<第1の実施形態>先ず、本発明
の第1の実施形態について、図1〜図4を参照しながら
説明する。図1は、本発明の第1の実施形態の画像デー
タ処理装置を説明するための概略的な構成図である。図
1に示す画像データ処理装置は、データ数変換部20お
よびフレームメモリ30を有する。また、データ数変換
部20は、データ保持部21、画像データ生成部22お
よび画素ブロックメモリ23を有する。なお、データ保
持部21は、本発明のデータ保持手段の一実施形態であ
る。画像データ生成部22は、本発明の画像データ生成
手段の一実施形態である。画素ブロックメモリ23は、
本発明の画素ブロック保持手段の一実施形態である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS <First Embodiment> First, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic configuration diagram for explaining an image data processing device according to a first embodiment of the present invention. The image data processing device illustrated in FIG. 1 includes a data number conversion unit 20 and a frame memory 30. The data number conversion unit 20 includes a data holding unit 21, an image data generation unit 22, and a pixel block memory 23. The data holding unit 21 is an embodiment of the data holding unit of the present invention. The image data generator 22 is an embodiment of the image data generator of the present invention. The pixel block memory 23
5 is an embodiment of a pixel block holding unit of the present invention.
【0041】まず、図1に示す画像データ処理装置の各
構成要素について説明する。First, each component of the image data processing apparatus shown in FIG. 1 will be described.
【0042】フレームメモリ30は、データ数変換部2
0においてデータ数が変換された画像データをフレーム
単位で記憶する記憶装置であり、記憶した画像データを
画像処理を行う他のブロックに出力する。例えばビデオ
カメラの画像処理部に対してYCrCb比(4:1:
1)に変換された画像データを出力する。フレームメモ
リ30には、例えばSDRAM(Synchronous DRAM)な
どの高速、大容量の記憶デバイスが使用される。The frame memory 30 includes a data number converter 2
A storage device that stores the image data whose data number has been converted at 0 in units of frames, and outputs the stored image data to another block that performs image processing. For example, the YCrCb ratio (4: 1:
The image data converted in 1) is output. For the frame memory 30, for example, a high-speed, large-capacity storage device such as an SDRAM (Synchronous DRAM) is used.
【0043】データ数変換部20は、1フレームの画像
を区分する所定の画素ブロックごとに順次入力した画像
データのデータ数を変換するブロックである。図1の例
においては、図示しないJPEG回路から8×8画素の
画素ブロックごとに入力される画像データC422−i
nのYCrCb比を、YCrCb比(4:2:2)から
YCrCb比(4:1:1)に変換し、変換された画像
データを8×8画素ブロックごとにフレームメモリ30
へ記憶させる。The data number conversion unit 20 is a block for converting the data number of the sequentially input image data for each predetermined pixel block which divides an image of one frame. In the example of FIG. 1, image data C422-i input from a JPEG circuit (not shown) for each 8 × 8 pixel block.
n is converted from the YCrCb ratio (4: 2: 2) to the YCrCb ratio (4: 1: 1), and the converted image data is stored in the frame memory 30 for each 8 × 8 pixel block.
To be stored.
【0044】画像データ生成部22は、所定の画素ブロ
ックごとに入力される画像データを、所定の小画素ブロ
ックごとに所定の重み付けを与えて合成し、1つまたは
複数の画像データを生成する。図1の例では、図示しな
いJPEG回路から入力される8×8画素ブロックごと
の画像データが所定の小画素ブロックごとに合成され
て、水平方向のデータ数が半分に減縮され、2つのクロ
マ信号8×8画素ブロックに対して1つのクロマ信号8
×8画素ブロックが出力される。The image data generating unit 22 combines image data input for each predetermined pixel block by giving a predetermined weight to each predetermined small pixel block, and generates one or a plurality of image data. In the example of FIG. 1, image data for each 8 × 8 pixel block input from a JPEG circuit (not shown) is synthesized for each predetermined small pixel block, the number of data in the horizontal direction is reduced by half, and two chroma signals are output. One chroma signal 8 for an 8 × 8 pixel block
A × 8 pixel block is output.
【0045】例えば、1画素分ずつの重なりを持ちなが
ら水平ライン上に整列している3つの隣接した画素のブ
ロックが小画素ブロックとして設定された場合におい
て、1小画素ブロックの3つの画像データが合成により
1つの画像データに変換されると、画像データの数は半
分に減縮される。これは、図14に示したYCrCb比
(4:2:2)からYCrCb比(4:1:1)への変
換に相当する。For example, when a block of three adjacent pixels arranged on a horizontal line while overlapping one pixel at a time is set as a small pixel block, three pieces of image data of one small pixel block are When the image data is converted into one image data by synthesis, the number of image data is reduced by half. This corresponds to the conversion from the YCrCb ratio (4: 2: 2) shown in FIG. 14 to the YCrCb ratio (4: 1: 1).
【0046】また例えば、1画素分ずつの重なりを持ち
ながら水平ライン上に整列している2つの隣接した画素
のブロックが小画素ブロックとして設定された場合にお
いて、1小画素ブロックの2つの画像データの合成によ
り2つの画像データが生成されると、画像データの数は
2倍に拡大される。これは、図16に示したYCrCb
比(4:1:1)からYCrCb比(4:2:2)への
変換に相当する。図16の例においては、1つの小画素
ブロックから2種類の合成比(50%対50%、100
%対0%)によって2つの画像データが生成されてい
る。Further, for example, when a block of two adjacent pixels arranged on a horizontal line while overlapping each other by one pixel is set as a small pixel block, two image data of one small pixel block are set. Is generated, the number of image data is doubled. This corresponds to the YCrCb shown in FIG.
This corresponds to conversion from the ratio (4: 1: 1) to the YCrCb ratio (4: 2: 2). In the example of FIG. 16, two types of synthesis ratios (50% to 50%, 100
% To 0%), two image data are generated.
【0047】ただし、この小画素ブロック内の全ての画
像データが、画像データ生成部22に入力される所定の
画素ブロック内(図1の例では1つの8×8画素ブロッ
ク内)に含まれているとは限らず、一部が隣接する他の
画素ブロック内に含まれている場合がある。例えば、図
14において画素ブロックB1の領域L2に含まれる画
像データは、右側に隣接した画素ブロックB2の左端の
画像データと合成される。However, all the image data in the small pixel block is included in a predetermined pixel block (in the example of FIG. 1, one 8 × 8 pixel block) input to the image data generation unit 22. There is a case where a part is included in another adjacent pixel block. For example, in FIG. 14, the image data included in the area L2 of the pixel block B1 is combined with the image data at the left end of the pixel block B2 adjacent to the right.
【0048】このように、現在入力している画素ブロッ
ク内に、合成される小画素ブロックの一部の画像データ
が含まれておらず、この画素ブロックと隣接した他の画
素ブロックの境界領域にこの画像データが含まれている
場合、画像データ生成部22は、データ保持部21にあ
らかじめ保持された該当する画像データを入力して、こ
の入力した画像データを合成に使用する。As described above, the currently input pixel block does not include a part of the image data of the small pixel block to be synthesized, and is located in the boundary area of another pixel block adjacent to this pixel block. When the image data is included, the image data generation unit 22 inputs the corresponding image data held in the data holding unit 21 in advance, and uses the input image data for synthesis.
【0049】データ保持部21は、画像データ生成部2
2に所定の画素ブロックごとに入力される画像データの
うち、画素ブロックの所定の境界領域に含まれる画像デ
ータを保持する。この境界領域は、小画素ブロックが隣
接した画素ブロック間にまたがって設定された領域であ
り、1つの画素ブロックの補間処理を行うときに必要と
なる画像データが含まれた、隣接する他の画素ブロック
の領域である。例えば図14における領域L1〜L3
や、図16における領域L4〜L6がこの境界領域に相
当する。The data holding unit 21 includes the image data generation unit 2
2 holds image data included in a predetermined boundary area of the pixel block among image data input for each predetermined pixel block. This boundary area is an area in which a small pixel block is set to extend between adjacent pixel blocks, and is adjacent to another pixel including image data necessary for performing interpolation processing of one pixel block. Block area. For example, regions L1 to L3 in FIG.
Also, the regions L4 to L6 in FIG. 16 correspond to this boundary region.
【0050】ただし、図1の例に示したデータ数変換部
20では、画像データ生成部22とデータ保持部21に
共通の画像データC422−inが入力されているた
め、例えば図16における領域L4〜L6のように、ま
だ画像データ生成部22に入力されていない画素ブロッ
クの画像データは保持できない。すなわち、図1の例に
示したデータ保持部21には、既に画像データ生成部2
2に入力された画素ブロックの所定境界領域の画像デー
タが保持されている。However, in the data number converter 20 shown in the example of FIG. 1, since the image data C422-in common to the image data generator 22 and the data holder 21 is input, for example, the area L4 in FIG. As in L6, image data of a pixel block that has not yet been input to the image data generation unit 22 cannot be held. That is, the data holding unit 21 shown in the example of FIG.
2, image data of a predetermined boundary area of the pixel block input is held.
【0051】画素ブロックメモリ23は、画像データ生
成部22において生成されたYCrCb比(4:1:
1)の画像データを、所定の画素ブロックずつ記憶す
る。メモリ23は、例えば書き込み用と読み出し用のメ
モリを別に設けた2バンクの構成にしても良い。2バン
クの構成にすることで、書き込み用のメモリと読み出し
用のメモリを交互に切り換えて、画像データ生成部22
において生成された画像データの書き込みと、フレーム
メモリ3に対する画像データの読み出しを同時に行なう
ことができる。The pixel block memory 23 stores the YCrCb ratio (4: 1:
The image data of 1) is stored for each predetermined pixel block. The memory 23 may have a two-bank configuration in which, for example, a memory for writing and a memory for reading are separately provided. With the configuration of two banks, the memory for writing and the memory for reading are alternately switched, and the image data generating unit 22 is switched.
And writing of the image data to the frame memory 3 can be performed simultaneously.
【0052】ここで、図1に示したデータ数変換部20
におけるデータ保持部21および画像データ生成部22
の構成例について詳細に説明する。図2は、図1に示し
たデータ保持部21および画像データ生成部22の構成
例を示している。図2に示すデータ保持部21は、レジ
スタ211、レジスタ212、およびセレクタ213を
有する。また、図2に示す画像データ生成部22は、ラ
ッチ部221、ラッチ部222、係数乗算部223〜係
数乗算部225、加算部226、およびセレクタ227
を有する。Here, the data number converter 20 shown in FIG.
Data storage unit 21 and image data generation unit 22
The configuration example will be described in detail. FIG. 2 shows a configuration example of the data holding unit 21 and the image data generation unit 22 shown in FIG. The data holding unit 21 illustrated in FIG. 2 includes a register 211, a register 212, and a selector 213. 2 includes a latch unit 221, a latch unit 222, a coefficient multiplying unit 223 to a coefficient multiplying unit 225, an adding unit 226, and a selector 227.
Having.
【0053】レジスタ211は、信号xcb−enがイ
ネーブル状態のときに、入力される画像データC422
−inを読み込んで保持する。信号xcb−enは、ク
ロマ信号Cbの画素ブロックにおける所定の境界領域に
おいてイネーブル状態になる信号であり、例えば図14
の領域L1〜L3の画像データC422−inが入力さ
れるタイミングでイネーブルになる。この場合、レジス
タ211にはクロマ信号Cbの8×8画素ブロックにお
ける境界領域(右端)の画像データが保持される。The register 211 stores the input image data C422 when the signal xcb-en is enabled.
-In is read and held. The signal xcb-en is a signal that is enabled in a predetermined boundary area in the pixel block of the chroma signal Cb, for example, as shown in FIG.
Are enabled at the timing when the image data C422-in of the regions L1 to L3 are input. In this case, the register 211 holds the image data of the boundary area (right end) in the 8 × 8 pixel block of the chroma signal Cb.
【0054】また、図2の例において、レジスタ211
は単純なシリアル入力のシフトレジスタの構成を有して
おり、入力で画像データが保持される度に、既に保持さ
れている画像データが順次シフトしてセレクタ213に
出力される。そして、レジスタ211から出力される画
像データが、次の8×8画素ブロックの左端において画
像データが合成される場合に使用される。Also, in the example of FIG.
Has a simple serial input shift register configuration. Every time image data is held by an input, the already held image data is sequentially shifted and output to the selector 213. The image data output from the register 211 is used when the image data is synthesized at the left end of the next 8 × 8 pixel block.
【0055】レジスタ212は、信号xcr−enがイ
ネーブル状態のときに、入力される画像データC422
−inを読み込んで保持する。信号xcr−enは、ク
ロマ信号Crの画素ブロックにおける所定の境界領域に
おいてイネーブル状態になる信号であり、例えば図14
の領域L1〜L3の画像データC422−inが入力さ
れるタイミングでイネーブルになる。この場合、レジス
タ212にはクロマ信号Crの8×8画素ブロックにお
ける境界領域(右端)の画像データが保持される。When the signal xcr-en is in the enable state, the register 212 receives the input image data C422.
-In is read and held. The signal xcr-en is a signal that is enabled in a predetermined boundary region in the pixel block of the chroma signal Cr, for example, as shown in FIG.
Are enabled at the timing when the image data C422-in of the regions L1 to L3 are input. In this case, the register 212 holds the image data of the boundary area (right end) in the 8 × 8 pixel block of the chroma signal Cr.
【0056】また、レジスタ212もレジスタ211と
同様に単純なシリアル入力のシフトレジスタの構成を有
しており、入力で画像データが保持される度に、既に保
持されている画像データが順次シフトしてセレクタ21
3に出力される。そして、レジスタ212から出力され
る画像データが、次の8×8画素ブロックの左端におい
て画像データの合成に使用される。The register 212 also has a simple serial input shift register configuration similar to the register 211. Every time image data is held by an input, the already held image data is sequentially shifted. Selector 21
3 is output. Then, the image data output from the register 212 is used for synthesizing the image data at the left end of the next 8 × 8 pixel block.
【0057】セレクタ213は、選択信号area−c
rに応じてレジスタ211またはレジスタ212の何れ
か一方を選択し、選択されたレジスタの画像データをセ
レクタ227に出力する。画像データC422−inが
クロマ信号Cbの場合、選択信号area−crにより
レジスタ211を選択し、画像データC422−inが
クロマ信号Crの場合レジスタ212を選択する。The selector 213 outputs the selection signal area-c.
One of the register 211 and the register 212 is selected according to r, and the image data of the selected register is output to the selector 227. When the image data C422-in is the chroma signal Cb, the register 211 is selected by the selection signal area-cr, and when the image data C422-in is the chroma signal Cr, the register 212 is selected.
【0058】ラッチ部221は、クロック信号CLK1
に同期して画像データC422−inを保持し、保持し
たデータをラッチ部222および係数乗算部224に出
力する。ラッチ部222は、クロック信号CLK1に同
期してラッチ部221から入力した画像データを保持
し、保持したデータをセレクタ227に出力する。The latch section 221 has a clock signal CLK1.
, And outputs the held data to the latch unit 222 and the coefficient multiplication unit 224. The latch unit 222 holds the image data input from the latch unit 221 in synchronization with the clock signal CLK1, and outputs the held data to the selector 227.
【0059】セレクタ227は、選択信号blk−le
ftに応じて、ラッチ部222またはセレクタ213の
何れかを選択し、選択されたブロックからの画像データ
を出力する。8×8画素ブロックにおける所定の境界領
域(例えば図14の領域L1〜L3)において、選択信
号blk−leftによりセレクタ213を選択し、そ
れ以外の領域においてラッチ部222を選択する。The selector 227 outputs the selection signal blk-le
According to ft, either the latch unit 222 or the selector 213 is selected, and image data from the selected block is output. In a predetermined boundary region (for example, regions L1 to L3 in FIG. 14) in the 8 × 8 pixel block, the selector 213 is selected by the selection signal blk-left, and the latch unit 222 is selected in other regions.
【0060】係数乗算部223は、画像データC422
−inに所定の重み係数(図2の例では1/4)を乗
じ、この乗算結果を加算部226に出力する。係数乗算
部224は、ラッチ部221が保持する画像データに所
定の重み係数(図2の例では1/2)を乗じ、この乗算
結果を加算部226に出力する。係数乗算部225は、
セレクタ227からの画像データに所定の重み係数(図
2の例では1/4)を乗じ、この乗算結果を加算部22
6に出力する。なお、図2の例において係数乗算部22
3〜係数乗算部225で乗ぜられる係数は1/2や1/
4などの2の巾乗の係数であるので、これらの係数乗算
部223〜係数乗算部225は単純なビットシフト回路
で実現可能であり、複雑な乗算回路は必要ない。The coefficient multiplying unit 223 outputs the image data C422
−in is multiplied by a predetermined weighting coefficient (1 / in the example of FIG. 2), and the result of the multiplication is output to the adding section 226. The coefficient multiplication unit 224 multiplies the image data held by the latch unit 221 by a predetermined weighting coefficient (1/2 in the example of FIG. 2), and outputs the multiplication result to the addition unit 226. The coefficient multiplication unit 225
The image data from the selector 227 is multiplied by a predetermined weighting coefficient (1/4 in the example of FIG. 2), and the multiplication result is added to the adder 22.
6 is output. Note that, in the example of FIG.
The coefficient multiplied by the coefficient multiplier 225 is 1/2 or 1 /
Since the coefficients are powers of 2 such as 4, these coefficient multipliers 223 to 225 can be realized by a simple bit shift circuit, and a complicated multiplier is not required.
【0061】加算部226は、係数乗算部223〜係数
乗算部225から出力されるデータを加算し、加算結果
として得られる画像データC411−outを画素ブロ
ックメモリ23に出力する。The adder 226 adds the data output from the coefficient multipliers 223 to 225 and outputs image data C411-out obtained as an addition result to the pixel block memory 23.
【0062】次に上述した構成を有する、図1および図
2に示した画像データ処理装置の動作について説明す
る。Next, the operation of the image data processing apparatus shown in FIGS. 1 and 2 having the above configuration will be described.
【0063】図16に示す従来技術では、一度フレーム
メモリに1フレーム分のデータを全て書き込んでから1
ラインずつクロマ補間を行なっていたが、図1に示す画
像データ処理装置では、JPEG回路から順次入力され
る8×8画素ブロックごとの画像データC422−in
に対して直接YCrCb比変換が行われる。そして、変
換済み画像データC411−outは、一旦画素ブロッ
クメモリ23に格納された後、フレームメモリ30に書
き込まれる。YCrCb比変換におけるクロマ補間で必
要となるクロマ信号の画像データは、クロマ補間の処理
と同時にデータ保持部21で保持され、次に読み込まれ
る8×8画素ブロックの画像データに対してクロマ補間
を行なう際に、このデータ保持部21で保持された画像
データが使用される。In the prior art shown in FIG. 16, once all data for one frame is once written to the frame memory,
Although the chroma interpolation is performed line by line, the image data processing device shown in FIG. 1 uses image data C422-in for each 8 × 8 pixel block sequentially input from the JPEG circuit.
Is directly subjected to YCrCb ratio conversion. Then, the converted image data C411-out is temporarily stored in the pixel block memory 23 and then written into the frame memory 30. The image data of the chroma signal required for the chroma interpolation in the YCrCb ratio conversion is held in the data holding unit 21 at the same time as the chroma interpolation processing, and chroma interpolation is performed on the image data of the next 8 × 8 pixel block to be read. At this time, the image data held by the data holding unit 21 is used.
【0064】まず、データ保持部21における画像デー
タの保持動作について説明する。JPEG回路から順次
入力される8×8画素ブロックごとの画像データC42
2−inのうち、画素ブロックの所定の境界領域に含ま
れる画像データが、クロマ信号Crおよびクロマ信号C
bごとにレジスタ211またはレジスタ212でそれぞ
れ保持される。この境界領域は、例えば図14の領域L
1〜L3に示される、8×8画素ブロックの右端の領域
である。画像データC422−inがクロマ信号Cbの
場合にはレジスタ211が、クロマ信号Crの場合には
レジスタ212がセレクタ213に選択され、これらの
レジスタに保持された境界領域の画像データがセレクタ
227に出力される。First, the operation of holding image data in the data holding unit 21 will be described. Image data C42 for each 8 × 8 pixel block sequentially input from the JPEG circuit
In the 2-in, the image data included in the predetermined boundary area of the pixel block includes the chroma signal Cr and the chroma signal C.
The data is stored in the register 211 or the register 212 for each b. This boundary area is, for example, the area L in FIG.
This is the area at the right end of the 8 × 8 pixel block indicated by 1 to L3. When the image data C422-in is the chroma signal Cb, the register 211 is selected by the selector 213. When the image data C422-in is the chroma signal Cr, the image data of the boundary area held in these registers is output to the selector 227. Is done.
【0065】このレジスタ211およびレジスタ212
は、上述したようにシフトレジスタの構成を有してお
り、保持された境界領域の画像データはこのシフトレジ
スタ中を順次シフトしてセレクタ213から出力され
る。例えば、図14において1つの8×8画素ブロック
の水平ライン上を左から右へ、また垂直ライン上を上か
ら下へ画像データが順次入力される場合、現在の画素ブ
ロックの左端の画像データが入力される時点において、
この画像データに隣接する前回入力された8×8画素ブ
ロックの右端の画像データ(例えば領域L1の画像デー
タ)が、レジスタ211またはレジスタ212から出力
されている。この右端の画像データがセレクタ227を
介して画像データ生成部22に入力されて、画像データ
の合成に使用される。その後、画像データがこの水平ラ
イン上の左から右へ順次入力され、現在の8×8画素ブ
ロックの右端の画像データ(領域L2の画像データ)が
画像データC422−inとして入力されると、この入
力に同期して信号xcb−enまたは信号xcr−en
がイネーブルとなり、この右端の画像データがレジスタ
211またはレジスタ212に保持される。またこれと
ともに、この前の合成に使用された画像データ(領域L
1の画像データ)はレジスタから消去される。このよう
に、レジスタ211およびレジスタ212には8×8画
素ブロックの右端の画像データが次々と入力され、画像
データの合成に使用された後レジスタから消去される。The register 211 and the register 212
Has a shift register configuration as described above, and the held image data of the boundary area is sequentially shifted in the shift register and output from the selector 213. For example, in FIG. 14, when image data is sequentially input from left to right on a horizontal line of one 8 × 8 pixel block and from top to bottom on a vertical line, the image data at the left end of the current pixel block is At the time of entry,
The right end image data (for example, image data of the area L1) of the previously input 8 × 8 pixel block adjacent to this image data is output from the register 211 or the register 212. The rightmost image data is input to the image data generation unit 22 via the selector 227, and is used for synthesizing the image data. Thereafter, the image data is sequentially input from left to right on the horizontal line, and the right end image data (image data of the area L2) of the current 8 × 8 pixel block is input as image data C422-in. The signal xcb-en or the signal xcr-en in synchronization with the input
Is enabled, and the rightmost image data is held in the register 211 or the register 212. At the same time, the image data (region L
1 is deleted from the register. As described above, the rightmost image data of the 8 × 8 pixel block is sequentially input to the registers 211 and 212, and is used for synthesizing the image data and then deleted from the registers.
【0066】次に、画像データ生成部22における画像
データの生成動作について説明する。ラッチ部221お
よびラッチ部222は、クロック信号CLK1に同期し
て入力される画像データC422−inの2クロック分
前までの画像データを保持するシフトレジスタを構成し
ており、このシフトレジスタからクロック信号CLK1
に同期して3つの隣接する画像データが順次出力されて
いる。通常、セレクタ227はラッチ部222を選択し
ており、この3つの隣接する画像データに係数乗算部2
23〜係数乗算部225の重み係数が与えられ、加算部
226で合成された画像データC411−outが生成
される。Next, the operation of generating image data in the image data generating section 22 will be described. The latch unit 221 and the latch unit 222 constitute a shift register that holds image data up to two clocks before the image data C422-in input in synchronization with the clock signal CLK1. CLK1
, Three adjacent image data are sequentially output. Normally, the selector 227 selects the latch unit 222, and the three adjacent image data are added to the coefficient multiplying unit 2
23 to the weighting coefficient of the coefficient multiplying unit 225, and the image data C411-out synthesized by the adding unit 226 is generated.
【0067】画像データC422−inの2クロック分
前の画像データ(すなわち画像データS25)が8×8
画素ブロックの右端の画像データである場合、この右端
の画像データは他の2つの画像データに対して上段の水
平ライン上にあり、隣接した3画素の小画素ブロックに
含まれていない。一方、データ保持部21のセレクタ2
13から出力されている隣の8×8画素ブロックの右端
の画像データが、この小画素ブロックに含まれている。
このタイミングにおいて信号blk−leftが切り換
わり、データ保持部21がセレクタ227により選択さ
れ、データ保持部21に保持された左隣の8×8画素ブ
ロックの右端の画像データと他の2つの画像データが合
成されて、画像データC411−outが生成される。The image data two clocks before the image data C422-in (that is, the image data S25) is 8 × 8.
When the image data is the rightmost image data of the pixel block, the rightmost image data is on the upper horizontal line with respect to the other two image data, and is not included in the adjacent small pixel block of three pixels. On the other hand, the selector 2 of the data holding unit 21
The image data at the right end of the adjacent 8 × 8 pixel block output from 13 is included in this small pixel block.
At this timing, the signal blk-left is switched, the data holding unit 21 is selected by the selector 227, and the rightmost image data of the 8 × 8 pixel block on the left and held by the data holding unit 21 and the other two image data Are combined to generate image data C411-out.
【0068】図3は、図2に示したデータ保持部21お
よび画像データ生成部22によるYCrCb比(4:
2:2)からYCrCb比(4:1:1)への変換を説
明するための図である。図3において、画像データC10
〜画像データC17は、YCrCb比(4:2:2)のク
ロマ信号8×8画素ブロックの1水平ライン分の画像デ
ータを示し、画像データC07は、画像データC10〜画像
データC17の水平ラインに対して1段上の水平ラインの
右端の画像データを示している。また画像データC’10
〜画像データC’13は、画像データC10〜画像データC
17がYCrCb比(4:1:1)へ変換された後の画像
データを示している。FIG. 3 shows the YCrCb ratio (4: 4) of the data holding unit 21 and the image data generating unit 22 shown in FIG.
FIG. 4 is a diagram for explaining conversion from 2: 2) to a YCrCb ratio (4: 1: 1). In FIG. 3, image data C10
The image data C17 indicates image data for one horizontal line of an 8 × 8 pixel block of a chroma signal having a YCrCb ratio (4: 2: 2), and the image data C07 corresponds to the horizontal line of the image data C10 to image data C17. On the other hand, the image data at the right end of the horizontal line one level higher is shown. The image data C'10
~ Image data C'13 are image data C10 ~ image data C
Reference numeral 17 denotes image data after conversion into the YCrCb ratio (4: 1: 1).
【0069】図3において、画像データC10〜画像デー
タC17は左から順次画像データC422−inとして入
力されている。画像データC11が入力された時点におい
て、この2クロック分前の画像データC07は画像データ
C10および画像データC11と異なる水平ライン上にあ
り、後の2つの画像データと隣接していない。したがっ
て、画像データC07と画像データC10および画像データ
C11とを同一の小画素ブロックとして合成してしまう
と、全く隣接していない画像データを合成することにな
り、適切な補間処理が行われない。そこで、図2に示す
画像データ生成部22においては、画像データC11が入
力されるタイミングで信号blk−leftが切り換わ
り、データ保持部21に保持された画像データと、画像
データC10および画像データC11とが合成され、画像デ
ータC411−outが生成される。上述したように、
データ保持部21には前回入力された8×8画素ブロッ
クの右端の画像データであって、画像上において画像デ
ータC10の左隣に隣接する画像データが保持されている
ので、この画像データと画像データC10および画像デー
タC11とが合成されることにより、適切な補間処理が行
われる。In FIG. 3, the image data C10 to C17 are sequentially input as image data C422-in from the left. When the image data C11 is input, the image data C07 two clocks earlier is on a different horizontal line from the image data C10 and the image data C11, and is not adjacent to the two subsequent image data. Therefore, if the image data C07, the image data C10, and the image data C11 are combined as the same small pixel block, image data that are not completely adjacent to each other will be combined, and appropriate interpolation processing will not be performed. Therefore, in the image data generation unit 22 shown in FIG. 2, the signal blk-left is switched at the timing when the image data C11 is input, and the image data held in the data holding unit 21 is compared with the image data C10 and the image data C11. Are combined to generate image data C411-out. As mentioned above,
The data holding unit 21 holds the image data at the right end of the previously input 8 × 8 pixel block and the image data adjacent to the left of the image data C10 on the image. An appropriate interpolation process is performed by combining the data C10 and the image data C11.
【0070】図4は、図2に示したデータ保持部21お
よび画像データ生成部22における各信号のタイミング
を示す図である。なお、図4bの下側に付された符号
(C07、C10〜C17)および図4jの下側に付された符
号(C’10〜C’17)は、図3の同一符号の画像データ
それぞれに対応している。FIG. 4 is a diagram showing the timing of each signal in the data holding unit 21 and the image data generation unit 22 shown in FIG. Note that the reference numerals (C07, C10 to C17) attached to the lower side of FIG. 4B and the reference numerals (C'10 to C'17) attached to the lower side of FIG. It corresponds to.
【0071】画像データC422−in(図4b)は、
クロック信号CLK1(図4a)に同期してデータ数変
換部20に順次入力されている。図4において8つの画
像データ(C10〜C17)は、1つの8×8画素ブロック
の1水平ライン分の画像データに相当する。The image data C422-in (FIG. 4B)
The data is sequentially input to the data number converter 20 in synchronization with the clock signal CLK1 (FIG. 4A). In FIG. 4, eight image data (C10 to C17) correspond to image data for one horizontal line of one 8.times.8 pixel block.
【0072】選択信号area−cr(図4c)は、入
力される画像信号がクロマ信号Crの場合にハイレベル
となってレジスタ212を選択し、クロマ信号Cbの場
合にローレベルとなってレジスタ211を選択する信号
である。図4においては入力される画像信号がクロマ信
号Crの場合の例についてのみ示されているので、選択
信号area−crはハイレベル一定となっている。The selection signal area-cr (FIG. 4c) becomes a high level when the input image signal is the chroma signal Cr and selects the register 212, and becomes a low level when the input image signal is the chroma signal Cb and the register 211 becomes the low level. Is a signal for selecting. FIG. 4 shows only an example in which the input image signal is the chroma signal Cr, so that the selection signal area-cr is constant at a high level.
【0073】画像データS22(図4d)は、画像デー
タC422−inに重み係数’1/4’の重み付けが与
えられたデータである。また、画像データS23(図4
e)は画像データC422−inの1クロック前に入力
された画像データに重み係数’1/2’の重み付けが与
えられたデータであり、画像データS24(図4f)
は、画像データC422−inの2クロック前に入力さ
れた画像データに重み係数’1/4’の重み付けが与え
られたデータである。このデータS22〜データS24
が加算部226において合成されることにより、画像デ
ータC411−out(図4j)が生成されている。The image data S22 (FIG. 4d) is data in which the image data C422-in is weighted with a weighting factor of "1/4". Further, the image data S23 (FIG. 4)
e) is data in which the image data input one clock before the image data C422-in is weighted by the weighting factor '1/2', and is image data S24 (FIG. 4f).
Is data in which image data input two clocks before the image data C422-in is weighted by the weighting factor '1/4'. This data S22 to data S24
Are combined in the adder 226 to generate image data C411-out (FIG. 4j).
【0074】ただし、クロック信号CLK1に同期して
生成される画像データC411−outは画像データC
422−inと同数であるので、画像データC411−
outを半分に間引く必要がある。図4に示すタイミン
グ図では、クロック信号CLK1の周波数が半分に分周
された信号xwe(図4k)が、画素ブロックメモリ2
3に対するデータ書き込みのイネーブル信号として用い
られている。信号xweがローレベルになるタイミング
において画像データC411−outが画素ブロックメ
モリ23へ書き込まれるため、画像データC411−o
utは半分に間引かれる。However, the image data C411-out generated in synchronization with the clock signal CLK1 is
422-in, the image data C411-
out needs to be halved. In the timing chart shown in FIG. 4, a signal xwe (FIG. 4k) obtained by dividing the frequency of the clock signal CLK1 by half is supplied to the pixel block memory 2
3 is used as a data write enable signal. Since the image data C411-out is written into the pixel block memory 23 at the timing when the signal xwe becomes low level, the image data C411-o is output.
ut is decimated in half.
【0075】セレクタ227の選択信号blk−lef
t(図4g)は、ローレベルにおいてラッチ部222を
選択し、ハイレベルにおいてデータ保持部21のセレク
タ213を選択する信号である。図4に示すように、画
像データC422−inの2クロック前の画像データ
と、後の2つの画像データの水平ラインが異なるタイミ
ングにおいて、選択信号blk−leftはハイレベル
となる。例えば、画像データC422−inとして入力
された画像データC11の2クロック前の画像データC07
と、後の2つの画像データC10および画像データC11の
水平ラインが異なるタイミングT11において、選択信号
blk−leftがハイレベルになっている。このタイ
ミングT11において、データ保持部21のセレクタ21
3から出力される画像データS21(60h)に重み係
数’1/4’の重み付けが与えられたデータ値(18
h)と、データS22(12h)およびデータS23
(22h)とが合成されて、画像データC411−ou
t(4Ch)が生成されている。The selection signal blk-ref of the selector 227
t (FIG. 4G) is a signal that selects the latch unit 222 at the low level and selects the selector 213 of the data holding unit 21 at the high level. As shown in FIG. 4, at a timing when the horizontal line of the image data two clocks before the image data C422-in and the horizontal line of the two subsequent image data are different, the selection signal blk-left goes high. For example, image data C07 two clocks before image data C11 input as image data C422-in.
And the selection signal blk-left is at the high level at the timing T11 when the horizontal lines of the subsequent two image data C10 and the image data C11 are different. At this timing T11, the selector 21 of the data holding unit 21
3 is a data value (18) in which image data S21 (60h) output from
h), data S22 (12h) and data S23
(22h) and the image data C411-ou
t (4Ch) has been generated.
【0076】信号xcr−en(図4h)はレジスタ2
12に対する書き込みのイネーブル信号であり、8×8
画素ブロックの水平ラインの右端の画像データが入力さ
れるタイミングにおいてローレベルとなって、入力され
た画像データC422−inがレジスタ212に保持さ
れる。例えば図4において、8×8画素ブロックの水平
ラインの右端の画像データ信号C17が入力されるタイミ
ングT17において信号xcr−enはローレベルとな
り、画像データ信号C17がレジスタ212に保持され
る。また、これにともなってレジスタ212の出力値が
更新され、これを受けたセレクタ213からの画像デー
タS21(図4i)が値’60h’から値’70’に変
化している。The signal xcr-en (FIG. 4h) is
12 is a write enable signal for 8 × 8
At the timing when the rightmost image data of the horizontal line of the pixel block is input, the level becomes low, and the input image data C422-in is held in the register 212. For example, in FIG. 4, at timing T17 when the image data signal C17 at the right end of the horizontal line of the 8 × 8 pixel block is input, the signal xcr-en becomes low level, and the image data signal C17 is held in the register 212. In addition, the output value of the register 212 is updated accordingly, and the image data S21 (FIG. 4i) from the selector 213 receiving the update is changed from the value '60h' to the value '70'.
【0077】なお、図4においてはクロマ信号Crの場
合におけるタイミングが示されているが、クロマ信号C
bの場合も同様である。すなわち、選択信号area−
crをローレベルに設定し、選択信号xcr−enを選
択信号xcb−enに置き換えることによって、上述の
説明はクロマ信号Cbの場合にも適用可能である。FIG. 4 shows the timing in the case of the chroma signal Cr.
The same applies to the case of b. That is, the selection signal area-
By setting cr to low level and replacing the selection signal xcr-en with the selection signal xcb-en, the above description can be applied to the case of the chroma signal Cb.
【0078】また、上述した信号xcb−enや信号x
cr−en、選択信号blk−left、選択信号ar
ea−crなどの各制御信号は、クロマ信号Crおよび
クロマ信号Cbを含む1つのMCU内において一定のタ
イミングを有している。そこで、例えば入力される画素
ブロックの1MCUの始めに初期化され、画像データの
入力とともに計数を行なうカウンタを用意し、このカウ
ンタの計数値をデコードすることによって、各制御信号
を簡単に生成させることができる。The signal xcb-en and the signal x
cr-en, selection signal blk-left, selection signal ar
Each control signal such as ea-cr has a certain timing in one MCU including the chroma signal Cr and the chroma signal Cb. Therefore, for example, a counter which is initialized at the beginning of one MCU of an input pixel block and counts with input of image data is prepared, and each control signal can be easily generated by decoding the count value of the counter. Can be.
【0079】以上説明したように、図1および図2に示
す画像データ処理装置によれば、例えばJPEG回路に
対して入出力される8×8画素ブロックの画像データの
ように、所定の画素ブロックごとに入力される画像デー
タに対して所定のデータ数の変換(例えばYCrCb比
変換)を行う場合において、従来方式のように、入力さ
れる画像データをフレームメモリ上に1フレーム分記憶
させてから1ライン分ずつの画像データをラインメモリ
に読み込んで補間処理を行う必要はなく、補間に必要な
画像データを適宜データ保持部21に保持させて合成に
利用することにより、画素ブロックごとに入力される画
像データに対して直接データ数の変換を行うことができ
る。これにより、フレームメモリやラインメモリに対し
て画像データを読み書きさせる処理が省略されるので、
データの処理速度を高速化することができる。また、従
来方式のラインメモリには1水平ライン分で数百個の画
像データを保持させる必要があるが、図2のデータ保持
部21には数個(例えば1つの8×8画素ブロック分の
8個)の画像データを保持させるだけで済むので、回路
規模を大幅に減少させることができる。As described above, according to the image data processing apparatus shown in FIGS. 1 and 2, for example, a predetermined pixel block, such as an 8 × 8 pixel block of image data input / output to / from a JPEG circuit, is used. When a predetermined number of data conversions (for example, YCrCb ratio conversion) are performed on the input image data for each time, the input image data is stored in a frame memory for one frame as in the conventional method. There is no need to read the image data for each line into the line memory and perform the interpolation processing. The image data necessary for the interpolation is appropriately held in the data holding unit 21 and used for the synthesis, so that the data is input for each pixel block. The number of data can be directly converted for the image data. As a result, the process of reading and writing image data from and to the frame memory and line memory is omitted,
Data processing speed can be increased. Further, it is necessary for the conventional line memory to hold several hundreds of image data for one horizontal line, but the data holding unit 21 of FIG. 2 stores several (for example, one 8 × 8 pixel block). Since only eight (8) image data need be stored, the circuit scale can be significantly reduced.
【0080】<第2の実施形態>次に、本発明の第2の
実施形態について、図5〜図8を参照しながら説明す
る。第1の実施形態と第2の実施形態の異なる点は、第
1の実施形態において、データ保持部21には画像デー
タ生成部22に既に入力された画像データの一部が保持
されるのに対して、第2の実施形態においては、画像デ
ータ生成部に入力される前の画像データを、先にデータ
保持部41へ保持できる点にある。<Second Embodiment> Next, a second embodiment of the present invention will be described with reference to FIGS. The difference between the first embodiment and the second embodiment is that in the first embodiment, the data holding unit 21 holds a part of the image data already input to the image data generation unit 22. On the other hand, in the second embodiment, the image data before being input to the image data generation unit can be stored in the data storage unit 41 first.
【0081】図5は、本発明の第2の実施形態の画像デ
ータ処理装置を説明するための概略的な構成図である。
図5に示す画像データ処理装置は、データ数変換部40
およびフレームメモリ50を有する。また、データ数変
換部40は、データ保持部41、画像データ生成部42
および画素ブロックメモリ43を有する。なお、データ
保持部41は、本発明のデータ保持手段の一実施形態で
ある。画像データ生成部42は、本発明の画像データ生
成手段の一実施形態である。画素ブロックメモリ43
は、本発明の画素ブロック保持手段の一実施形態であ
る。FIG. 5 is a schematic configuration diagram for explaining an image data processing apparatus according to the second embodiment of the present invention.
The image data processing device shown in FIG.
And a frame memory 50. The data number conversion unit 40 includes a data holding unit 41, an image data generation unit 42
And a pixel block memory 43. Note that the data holding unit 41 is an embodiment of the data holding unit of the present invention. The image data generator 42 is an embodiment of the image data generator of the present invention. Pixel block memory 43
Is an embodiment of the pixel block holding means of the present invention.
【0082】まず、図5に示す画像データ処理装置の各
構成要素について説明する。First, each component of the image data processing apparatus shown in FIG. 5 will be described.
【0083】フレームメモリ50は、画像データをフレ
ーム単位で記憶する記憶装置であり、記憶した画像デー
タを画素ブロックメモリ43に対して所定の画素ブロッ
ク単位で出力するとともに、この画像データの一部をデ
ータ保持部41に出力する。フレームメモリ50には、
例えばSDRAMなどの高速、大容量の記憶デバイスが
使用される。The frame memory 50 is a storage device for storing image data in units of frames. The frame memory 50 outputs the stored image data to the pixel block memory 43 in units of predetermined pixel blocks, and stores a part of the image data. The data is output to the data holding unit 41. In the frame memory 50,
For example, a high-speed, large-capacity storage device such as an SDRAM is used.
【0084】データ数変換部40は、フレームメモリ5
0に記憶された1フレーム分の画像データから所定の画
素ブロックごとに画像データを順次読みだして画像デー
タのデータ数を変換するブロックである。図5の例にお
いては、フレームメモリ50から所定の画素ブロック
(例えば4×8画素ブロック)ごとに読み出した画像デ
ータC411−inのYCrCb比を、YCrCb比
(4:1:1)からYCrCb比(4:2:2)に変換
し、変換された画像データを8×8画素ブロックごとに
図示しないJPEG回路へ出力する。The data number conversion unit 40 includes a frame memory 5
This block sequentially reads out image data for each predetermined pixel block from one frame of image data stored in 0 and converts the number of image data. In the example of FIG. 5, the YCrCb ratio of the image data C411-in read for each predetermined pixel block (for example, a 4 × 8 pixel block) from the frame memory 50 is changed from the YCrCb ratio (4: 1: 1) to the YCrCb ratio ( 4: 2: 2), and outputs the converted image data to a JPEG circuit (not shown) for each 8 × 8 pixel block.
【0085】画素ブロックメモリ43は、フレームメモ
リ50に記憶された画像データを所定の画素ブロックず
つ読み出して記憶する。図5の例においては、フレーム
メモリ50に記憶されたYCrCb比(4:1:1)の
画像データを、MCUごとに読み出して記憶する。画素
ブロックメモリ43は、例えば書き込み用と読み出し用
のメモリを別に設けた2バンクの構成を有しても良い。
この場合、書き込み用のメモリと読み出し用のメモリが
交互に切り換えられることにより、フレームメモリ50
からの画像データの書き込みと、画像データ生成部42
およびデータ保持部41に対する画像データの読み出し
が同時に行われる。The pixel block memory 43 reads out the image data stored in the frame memory 50 by a predetermined pixel block and stores it. In the example of FIG. 5, the image data of the YCrCb ratio (4: 1: 1) stored in the frame memory 50 is read and stored for each MCU. The pixel block memory 43 may have a two-bank configuration in which, for example, a memory for writing and a memory for reading are separately provided.
In this case, the memory for writing and the memory for reading are alternately switched, so that the frame memory 50 is switched.
The image data from the image data generation unit 42
And reading of image data from the data holding unit 41 is performed simultaneously.
【0086】画像データ生成部42は、画素ブロックメ
モリ43から所定の画素ブロックごとに読み出した画像
データを、所定の小画素ブロックごとに所定の重み付け
を与えて合成し、1つまたは複数の画像データを生成す
る。図5の例では、画素ブロックメモリ43から4×8
画素ブロックごとに読み出された画像データが所定の小
画素ブロックごとに合成されて、水平方向のデータ数を
2倍に拡張され、1つの4×8画素ブロックに対して1
つの8×8画素ブロックが生成される。The image data generating unit 42 combines the image data read out from the pixel block memory 43 for each predetermined pixel block by giving a predetermined weight to each predetermined small pixel block, and synthesizes one or more image data. Generate In the example of FIG. 5, 4 × 8
The image data read out for each pixel block is combined for each predetermined small pixel block, the number of data in the horizontal direction is doubled, and one 4 × 8 pixel block has one image data.
Two 8 × 8 pixel blocks are generated.
【0087】例えば、1画素分ずつの重なりを持ちなが
ら水平ライン上に整列している3つの隣接した画素のブ
ロックが小画素ブロックとして設定された場合におい
て、1小画素ブロックの3つの画像データが合成により
1つの画像データに変換されると、画像データの数は半
分に減縮される。これは、図14に示したYCrCb比
(4:2:2)からYCrCb比(4:1:1)への変
換に相当する。また例えば、1画素分ずつの重なりを持
ちながら水平ライン上に整列している2つの隣接した画
素のブロックが小画素ブロックとして設定された場合に
おいて、1小画素ブロックの2つの画像データの合成に
より2つの画像データが生成されると、画像データの数
は2倍に拡大される。これは、図16に示したYCrC
b比(4:1:1)からYCrCb比(4:2:2)へ
の変換に相当する。For example, when a block of three adjacent pixels arranged on a horizontal line while overlapping one pixel at a time is set as a small pixel block, three pieces of image data of one small pixel block are When the image data is converted into one image data by synthesis, the number of image data is reduced by half. This corresponds to the conversion from the YCrCb ratio (4: 2: 2) shown in FIG. 14 to the YCrCb ratio (4: 1: 1). Further, for example, when a block of two adjacent pixels arranged on a horizontal line while overlapping each other by one pixel is set as a small pixel block, the two image data of one small pixel block are combined. When two image data are generated, the number of image data is doubled. This corresponds to the YCrC shown in FIG.
This corresponds to conversion from the b ratio (4: 1: 1) to the YCrCb ratio (4: 2: 2).
【0088】ただし、この小画素ブロック内の全ての画
像データが、画像データ生成部42に入力される所定の
画素ブロック内(図5の例では4×8画素ブロック内)
に含まれているとは限らず、一部が隣接する他の画素ブ
ロック内に含まれている場合がある。例えば、図16に
おいて4×8画素ブロックB4の右端の画像データは、
その右側に隣接した画素ブロックB5の領域L5に含ま
れる画像データと合成されることにより、画素ブロック
B6の右端の画像データを生成する。However, all the image data in the small pixel block is stored in a predetermined pixel block input to the image data generating section 42 (in the example of FIG. 5, within a 4 × 8 pixel block).
Is not always included in the pixel block, and a part may be included in another adjacent pixel block. For example, in FIG. 16, the image data at the right end of the 4 × 8 pixel block B4 is
The image data at the right end of the pixel block B6 is generated by being combined with the image data included in the area L5 of the pixel block B5 adjacent to the right side.
【0089】このように、現在入力している画素ブロッ
ク内に、合成される小画素ブロックの一部の画像データ
が含まれておらず、この画素ブロックと隣接した他の画
素ブロックの境界領域にこの画像データが含まれている
場合、画像データ生成部42は、データ保持部41にあ
らかじめ保持された該当する画像データを入力して、画
像データの合成に使用する。As described above, the currently input pixel block does not include a part of the image data of the small pixel block to be synthesized, and is located in the boundary area of another pixel block adjacent to this pixel block. When the image data is included, the image data generation unit 42 inputs the corresponding image data held in the data holding unit 41 in advance, and uses the input image data for synthesizing the image data.
【0090】データ保持部41は、画像データ生成部4
2に所定の画素ブロックごとに入力される画像データの
うち、画素ブロックの所定の境界領域に含まれる画像デ
ータを保持する。この境界領域は、小画素ブロックが隣
接した画素ブロック間にまたがって設定された領域であ
り、1つの画素ブロックの補間処理を行うときに必要と
なる画像データが含まれた、隣接する他の画素ブロック
の領域である。例えば図14における領域L1〜L3
や、図16における領域L4〜L6がこの境界領域に相
当する。The data holding unit 41 includes the image data generation unit 4
2 holds image data included in a predetermined boundary area of the pixel block among image data input for each predetermined pixel block. This boundary area is an area in which a small pixel block is set to extend between adjacent pixel blocks, and is adjacent to another pixel including image data necessary for performing interpolation processing of one pixel block. Block area. For example, regions L1 to L3 in FIG.
Also, the regions L4 to L6 in FIG. 16 correspond to this boundary region.
【0091】図5の例に示したデータ数変換部40で
は、図1の例に示したデータ数変換部20のように画像
データ生成部とデータ保持部に共通の画像データが入力
されておらず、データ保持部41には画像データ生成部
42より前段の画素ブロックメモリ43に入力される画
像データが保持される。また上述したように、画素ブロ
ックメモリ43では、フレームメモリ50からの画像デ
ータを書き込みながら、既に書き込まれた画像データを
画像データ生成部42に読み出すことができるので、例
えば画素ブロックメモリ43に書き込まれながら、まだ
画像データ生成部42に読み出されていない画像データ
をデータ保持部41に保持させることができる。すなわ
ち、データ保持部41には画像データ生成部42に入力
される前の画像データを保持させることができる。In the data number conversion unit 40 shown in the example of FIG. 5, common image data is input to the image data generation unit and the data holding unit like the data number conversion unit 20 shown in the example of FIG. Instead, the data holding unit 41 holds the image data input to the pixel block memory 43 at a stage preceding the image data generation unit 42. Further, as described above, in the pixel block memory 43, the image data already written can be read out to the image data generation unit 42 while writing the image data from the frame memory 50. However, it is possible to cause the data holding unit 41 to hold image data that has not yet been read by the image data generation unit 42. That is, the data holding unit 41 can hold the image data before being input to the image data generation unit 42.
【0092】したがって、例えば図16における領域L
4〜L6のように、まだ画像データ生成部42に入力さ
れていない画素ブロックの画像データも保持させること
ができる。また、例えばデータ保持部41のデータ保持
数を適当に設定することによって、図1の例に示したデ
ータ保持部21と同様に、既に画像データ生成部42に
入力された画素ブロックの所定境界領域の画像データを
保持させることも可能である。Therefore, for example, the region L in FIG.
As in 4-L6, image data of a pixel block that has not yet been input to the image data generation unit 42 can be held. Also, for example, by appropriately setting the number of data held in the data holding unit 41, similarly to the data holding unit 21 shown in the example of FIG. Can be stored.
【0093】ここで、図5に示したデータ数変換部40
におけるデータ保持部41および画像データ生成部42
の構成例について詳細に説明する。図6は、図5に示し
たデータ保持部41および画像データ生成部42の構成
例を示している。図5に示すデータ保持部41は、レジ
スタ411、レジスタ412、およびセレクタ413を
有する。また、図6に示す画像データ生成部42は、ラ
ッチ部421、加算部422、係数乗算部423、およ
びセレクタ424を有する。Here, the data number converter 40 shown in FIG.
Data storage unit 41 and image data generation unit 42
The configuration example will be described in detail. FIG. 6 illustrates a configuration example of the data holding unit 41 and the image data generation unit 42 illustrated in FIG. The data holding unit 41 illustrated in FIG. 5 includes a register 411, a register 412, and a selector 413. The image data generation unit 42 illustrated in FIG. 6 includes a latch unit 421, an addition unit 422, a coefficient multiplication unit 423, and a selector 424.
【0094】レジスタ411は、信号xcb−enがイ
ネーブル状態のときに、入力される画像データC411
−inを読み込んで保持する。信号xcb−enは、ク
ロマ信号Cbの画素ブロックにおける所定の境界領域に
おいてイネーブル状態になる信号であり、例えば図16
の領域L4〜L6の画像データC411−inが入力さ
れるタイミングでイネーブルになる。この場合、レジス
タ411にはクロマ信号Cbの4×8画素ブロックにお
ける境界領域(左端)の画像データが保持される。The register 411 stores the input image data C411 when the signal xcb-en is enabled.
-In is read and held. The signal xcb-en is a signal that is enabled in a predetermined boundary area in the pixel block of the chroma signal Cb, for example, as shown in FIG.
Are enabled at the timing when the image data C411-in of the regions L4 to L6 are input. In this case, the register 411 holds the image data of the boundary area (left end) in the 4 × 8 pixel block of the chroma signal Cb.
【0095】また、図6の例において、レジスタ411
は単純なシリアル入力のシフトレジスタの構成を有して
おり、入力から画像データが保持される度に、既に保持
されている画像データが順次シフトしてセレクタ413
に出力される。そして、レジスタ411から出力される
画像データが、4×8画素ブロックの右端において画像
データの合成に使用される。Further, in the example of FIG.
Has a simple serial input shift register configuration. Each time image data is held from the input, the already held image data is sequentially shifted and the selector 413 is shifted.
Is output to Then, the image data output from the register 411 is used for synthesizing the image data at the right end of the 4 × 8 pixel block.
【0096】レジスタ412は、信号xcr−enがイ
ネーブル状態のときに、入力される画像データC411
−inを読み込んで保持する。信号xcr−enは、ク
ロマ信号Crの画素ブロックにおける所定の境界領域に
おいてイネーブル状態になる信号であり、例えば図15
の領域L4〜L6の画像データC411−inが入力さ
れるタイミングでイネーブルになる。この場合、レジス
タ412にはクロマ信号Crの4×8画素ブロックにお
ける境界領域(左端)の画像データが保持される。The register 412 stores the input image data C411 when the signal xcr-en is enabled.
-In is read and held. The signal xcr-en is a signal that is enabled in a predetermined boundary region in a pixel block of the chroma signal Cr, and is, for example, a signal shown in FIG.
Are enabled at the timing when the image data C411-in of the regions L4 to L6 are input. In this case, the register 412 holds the image data of the boundary area (left end) in the 4 × 8 pixel block of the chroma signal Cr.
【0097】また、レジスタ412もレジスタ411と
同様に単純なシリアル入力のシフトレジスタの構成を有
しており、入力から画像データが保持される度に、既に
保持されている画像データが順次シフトしてセレクタ4
13に出力される。そして、レジスタ412から出力さ
れる画像データが、4×8画素ブロックの右端において
画像データが合成される場合に使用される。The register 412 also has a simple serial input shift register configuration like the register 411. Every time image data is held from the input, the already held image data is sequentially shifted. Selector 4
13 is output. The image data output from the register 412 is used when the image data is synthesized at the right end of the 4 × 8 pixel block.
【0098】セレクタ413は、選択信号area−c
rに応じてレジスタ411またはレジスタ412の何れ
か一方を選択し、選択されたレジスタの画像データをセ
レクタ424に出力する。画像データC411−inが
クロマ信号Cbの場合、選択信号area−crにより
レジスタ411を選択し、画像データC411−inが
クロマ信号Crの場合レジスタ412を選択する。The selector 413 outputs the selection signal area-c
One of the register 411 and the register 412 is selected according to r, and the image data of the selected register is output to the selector 424. When the image data C411-in is the chroma signal Cb, the register 411 is selected by the selection signal area-cr, and when the image data C411-in is the chroma signal Cr, the register 412 is selected.
【0099】ラッチ部421は、クロック信号CLK2
に同期して画像データC411−inを保持し、保持し
たデータを加算部422に出力する。The latch section 421 receives the clock signal CLK2
In synchronization with the image data C411-in, and outputs the held data to the adder 422.
【0100】セレクタ424は、選択信号blk−ri
ghtに応じて、画像データC411−inまたはデー
タ保持部41の出力画像データの何れかを選択し、選択
された画像データを出力する。画素ブロックの所定の境
界領域(例えば図16の領域L4〜L6)において、選
択信号blk−rightによりデータ保持部41から
の出力画像データを選択し、それ以外の領域において画
像データC411−inを選択する。The selector 424 selects the selection signal blk-ri
In response to the ght, either the image data C411-in or the output image data of the data holding unit 41 is selected, and the selected image data is output. In a predetermined boundary area (for example, areas L4 to L6 in FIG. 16) of the pixel block, the output image data from the data holding unit 41 is selected by the selection signal blk-right, and the image data C411-in is selected in other areas. I do.
【0101】加算部422は、ラッチ部421において
保持された画像データS42とセレクタ424からの画
像データS43とを加算し、加算結果を係数乗算部42
3へ出力する。The addition section 422 adds the image data S42 held in the latch section 421 and the image data S43 from the selector 424, and outputs the addition result to the coefficient multiplication section 42.
Output to 3.
【0102】係数乗算部423は、加算部422におい
て合成された画像データに所定の係数(図6の例では1
/2)を乗じ、この乗算結果を図示しないJPEG回路
などに出力する。図6の例のように乗ぜられる係数が2
の巾乗である場合は、単純なビットシフト回路によって
実現可能である。The coefficient multiplying section 423 adds a predetermined coefficient (1 in the example of FIG. 6) to the image data synthesized by the adding section 422.
/ 2), and outputs the result of the multiplication to a JPEG circuit (not shown). As shown in the example of FIG.
Can be realized by a simple bit shift circuit.
【0103】次に上述した構成を有する、図5および図
6に示した画像データ処理装置の動作について説明す
る。Next, the operation of the image data processing apparatus having the above-described configuration and shown in FIGS. 5 and 6 will be described.
【0104】図17に示す従来の方式では、MCUごと
の画像データがフレームメモリ3からMCUメモリ6に
読み込まれているとともに、これとは別に、YCrCb
比変換回路2もフレームメモリ3から独自のタイミング
で画像データを読み込んでいた。これに対し、図5の例
に示す画像データ処理装置では、フレームメモリ50か
ら画素ブロックメモリ43へMCUごとに読み込まれる
画像データの一部がデータ保持部41にも適宜保持され
ており、データ保持部41が画素ブロックメモリ43に
対して独自のタイミングでフレームメモリ3にアクセス
することはない。In the conventional method shown in FIG. 17, image data for each MCU is read from the frame memory 3 into the MCU memory 6, and separately from the YCrCb
The ratio conversion circuit 2 also reads image data from the frame memory 3 at its own timing. On the other hand, in the image data processing apparatus shown in the example of FIG. 5, a part of the image data read for each MCU from the frame memory 50 to the pixel block memory 43 is also appropriately held in the data holding unit 41. The unit 41 does not access the frame memory 3 at a unique timing with respect to the pixel block memory 43.
【0105】まず、データ保持部41における画像デー
タの保持動作について説明する。画素ブロックメモリか
ら順次入力される4×8画素ブロックごとの画像データ
C411−inのうち、4×8画素ブロックの所定の境
界領域に含まれる画像データが、クロマ信号Crおよび
クロマ信号Cbごとにレジスタ411またはレジスタ4
12でそれぞれ保持される。この境界領域は、例えば図
16の領域L4〜L6に示される、4×8画素ブロック
の左端の領域である。画像データC411−inがクロ
マ信号Cbの場合にはレジスタ411が、クロマ信号C
rの場合にはレジスタ412がセレクタ413に選択さ
れ、これらのレジスタに保持された境界領域の画像デー
タがセレクタ424に入力される。First, the operation of holding image data in the data holding unit 41 will be described. Of the image data C411-in for each 4 × 8 pixel block sequentially input from the pixel block memory, the image data included in a predetermined boundary area of the 4 × 8 pixel block is registered for each of the chroma signal Cr and the chroma signal Cb. 411 or register 4
12 respectively. This boundary area is, for example, the left end area of the 4 × 8 pixel block shown in the areas L4 to L6 in FIG. When the image data C411-in is the chroma signal Cb, the register 411 stores the chroma signal Cb.
In the case of r, the register 412 is selected by the selector 413, and the image data of the boundary area held in these registers is input to the selector 424.
【0106】このレジスタ411およびレジスタ412
は、上述したようにシフトレジスタの構成を有してお
り、保持された境界領域の画像データはこのシフトレジ
スタ中を順次シフトしてセレクタ413から出力され
る。例えば、図16において1つの4×8画素ブロック
の水平ライン上を左から右へ、また垂直ライン上を上か
ら下へ画像データが順次入力される場合、現在入力され
ている4×8画素ブロックB4の右端の画像データが入
力される時点において、この画像データに隣接する次回
入力予定の4×8画素ブロックB5の左端の画像データ
(領域L5の画像データ)が、レジスタ411またはレ
ジスタ412から出力されている。この左端の画像デー
タがセレクタ424を介して画像データ生成部42に入
力されて、画像データの合成に使用される。また、レジ
スタ411およびレジスタ412には4×8画素ブロッ
クの左端の画像データがフレームメモリ50から次々と
入力され、画像データの合成に使用された後レジスタか
ら消去される。These registers 411 and 412
Has a shift register configuration as described above, and the held image data of the boundary area is sequentially shifted in the shift register and output from the selector 413. For example, in FIG. 16, when image data is sequentially input from left to right on a horizontal line of one 4 × 8 pixel block and from top to bottom on a vertical line, the currently input 4 × 8 pixel block At the time when the rightmost image data of B4 is input, the leftmost image data (image data of the area L5) of the next input scheduled 4 × 8 pixel block B5 adjacent to this image data is output from the register 411 or 412. Have been. The left end image data is input to the image data generation unit 42 via the selector 424, and is used for synthesizing the image data. Further, the left end image data of the 4 × 8 pixel block is sequentially input to the registers 411 and 412 from the frame memory 50, and after being used for synthesizing the image data, is deleted from the registers.
【0107】次に、画像データ生成部42における画像
データの生成動作について説明する。ラッチ部421に
おいては、画像データC411−inに対してクロック
信号CLK2の1クロック分前の画像データS42が生
成され、これにより隣接した2つの画素データ(画像デ
ータC411−inおよび画像データS42)が生成さ
れる。通常、セレクタ424は画像データC411−i
nを選択しているので、この2つの隣接する画像データ
が加算部422で加算されて係数乗算部423で係数’
1/2’を乗ぜられる。すなわち、2つの隣接する画像
データの平均値が画像データC422−outとして生
成される。Next, the operation of generating image data in the image data generating section 42 will be described. In the latch unit 421, image data S42 one clock before the clock signal CLK2 is generated with respect to the image data C411-in, whereby two adjacent pixel data (image data C411-in and image data S42) are generated. Generated. Normally, the selector 424 selects the image data C411-i
Since n has been selected, the two adjacent image data are added by the adder 422, and the coefficient
Multiplied by 1/2 '. That is, an average value of two adjacent image data is generated as the image data C422-out.
【0108】ただし、YCrCb比(4:1:1)から
YCrCb比(4:2:2)の変換であるために、画像
データC422−outは画像データC411−inの
倍のサンプリング周波数を有していなくてはならない。
そのため、画像データC411−inのサンプリングク
ロック信号に対し、ラッチ部421に入力されるクロッ
ク信号CLK2は倍の周波数を有している。したがっ
て、クロック信号CLK2の1クロックおきに画像デー
タC411−inと画像データS42が同じ値になり、
変換前の画像データC411−inと変換後の画像デー
タC422−outが同じ値になる。However, since the conversion is from the YCrCb ratio (4: 1: 1) to the YCrCb ratio (4: 2: 2), the image data C422-out has a sampling frequency twice that of the image data C411-in. Must be.
Therefore, the frequency of the clock signal CLK2 input to the latch unit 421 is twice that of the sampling clock signal of the image data C411-in. Therefore, the image data C411-in and the image data S42 have the same value every other clock of the clock signal CLK2,
The image data C411-in before the conversion and the image data C422-out after the conversion have the same value.
【0109】画像データC411−inが4×8画素ブ
ロックの左端の画像データである場合、この左端の画像
データは画像データS42に対して下段の水平ライン上
にあり、隣接した2画素の小画素ブロックに含まれてい
ない。一方、データ保持部41のセレクタ413から出
力されている右隣の4×8画素ブロックの左端の画像デ
ータが、この小画素ブロックに含まれている。このタイ
ミングにおいて信号blk−rightが切り換わり、
データ保持部41がセレクタ424により選択され、デ
ータ保持部41に保持された右隣の4×8画素ブロック
の左端の画像データと画像データS42が合成されて、
画像データC422−outが生成される。When the image data C411-in is the leftmost image data of the 4 × 8 pixel block, the leftmost image data is on the lower horizontal line with respect to the image data S42, and is a small pixel of two adjacent pixels. Not included in the block. On the other hand, the left end image data of the 4 × 8 pixel block on the right side output from the selector 413 of the data holding unit 41 is included in this small pixel block. At this timing, the signal blk-right switches,
The data holding unit 41 is selected by the selector 424, and the left end image data of the 4 × 8 pixel block on the right held by the data holding unit 41 is combined with the image data S42,
Image data C422-out is generated.
【0110】図7は、図6に示したデータ保持部41お
よび画像データ生成部42によるYCrCb比(4:
1:1)からYCrCb比(4:2:2)への変換を説
明するための図である。図7において、画像データC10
〜画像データC13は、YCrCb比(4:1:1)の4
×8画素ブロックの1水平ライン分の画像データを示
し、画像データC20は、画像データC10〜画像データC
13の水平ラインに対して1段下の水平ラインの左端の画
像データを示している。また画像データC’10〜画像デ
ータC’17は、画像データC10〜画像データC13がYC
rCb比(4:2:2)へ変換された後の画像データを
示している。FIG. 7 shows the YCrCb ratio (4: 4) of the data holding unit 41 and the image data generating unit 42 shown in FIG.
FIG. 3 is a diagram for explaining conversion from 1: 1) to a YCrCb ratio (4: 2: 2). In FIG. 7, the image data C10
The image data C13 has a YCrCb ratio (4: 1: 1) of 4
Image data for one horizontal line of a × 8 pixel block, and image data C20 includes image data C10 to image data C
The image data at the left end of the horizontal line one stage below the 13 horizontal lines is shown. The image data C′10 to C′17 are YC, and the image data C10 to C13 are YC.
The image data after conversion into the rCb ratio (4: 2: 2) is shown.
【0111】図7において、画像データC10〜画像デー
タC13は左から順次画像データC411−inとして入
力されている。4×8画素ブロックの左端にある画像デ
ータC20が画像データC411−inとして入力された
時点において、この1クロック前の画像データC13は画
像データC20と異なる水平ライン上にあり、隣接してい
ない。したがって、画像データC20と画像データC13を
同一の小画素ブロックとして合成してしまうと、全く隣
接していない画像データを合成することになり、適切な
補間処理が行われない。そこで、図6に示す画像データ
生成部42においては、4×8画素ブロックの左端の画
像データが入力されるタイミングで信号blk−rig
htが切り換わり、データ保持部41に保持された画像
データと画像データC13とが合成され、画像データC4
22−outが生成される。上述したように、データ保
持部41には次に供給される4×8画素ブロックの左端
の画像データであって、画像上において画像データC13
の右隣に隣接する画像データが保持されているので、こ
の画像データと画像データC13とが合成されることによ
り、適切な補間処理が行われる。In FIG. 7, the image data C10 to C13 are sequentially input as image data C411-in from the left. When the image data C20 at the left end of the 4 × 8 pixel block is input as the image data C411-in, the image data C13 one clock before is on a different horizontal line from the image data C20 and is not adjacent. Therefore, if the image data C20 and the image data C13 are combined as the same small pixel block, image data that is not adjacent at all will be combined, and appropriate interpolation processing will not be performed. Therefore, in the image data generating unit 42 shown in FIG. 6, the signal blk-rig is input at the timing when the leftmost image data of the 4 × 8 pixel block is input.
ht is switched, the image data held in the data holding unit 41 and the image data C13 are combined, and the image data C4
22-out is generated. As described above, the data holding unit 41 stores the image data at the left end of the next supplied 4 × 8 pixel block and the image data C13 on the image.
Since the image data adjacent to the right of is stored, the image data and the image data C13 are combined to perform an appropriate interpolation process.
【0112】図8は、図6に示したデータ保持部41お
よび画像データ生成部42における各信号のタイミング
を示す図である。なお、図8bの下側に付された符号
(C10〜C13、C20)および図8hの下側に付された符
号(C10’〜C’17)は、図7の同一符号の画像データ
にそれぞれ対応している。また、図dおよび図eにおい
て点線で囲まれた画像データの平均化処理(a〜e)
は、図7の同一符号の処理に対応している。FIG. 8 is a diagram showing the timing of each signal in the data holding unit 41 and the image data generating unit 42 shown in FIG. Note that the reference numerals (C10 to C13, C20) attached to the lower side of FIG. 8B and the reference numerals (C10 ′ to C′17) attached to the lower side of FIG. Yes, it is. Also, averaging processing of image data surrounded by dotted lines in FIGS. D and e (a to e)
Correspond to the processes of the same reference numerals in FIG.
【0113】クロック信号CLK2(図8a)は、画像
データC411−in(図8b)のサンプリング周波数
に対して2倍の周波数を有している。画像データC41
1−inは、このクロック信号CLK2に同期してラッ
チ部421に保持される。この保持された画像データS
42(図8d)は、画像データC411−inのサンプ
リング周期に対して半周期遅れたタイミングを有してい
る。セレクタ424が画像データC411−inを選択
している場合、この画像データS42と画像データC4
11−inとが加算部422および係数乗算部423に
おいて平均化され、画像データC422−out(図8
h)として生成される。例えば、図8の平均化処理a〜
平均化処理dにおいて、セレクタ424が出力する画像
データS43(図8e)は画像データC411−inと
等しくなっており、この画像データS43と画像データ
S42が平均化されて画像データC422−outが生
成されている。なお、平均化処理aおよび平均化処理c
は画像データS42と画像データC411−inが同一
の値となるため、変換前の画像データC411−inと
等しいデータがそのまま変換後の画像データC422−
outとして出力される。The clock signal CLK2 (FIG. 8A) has twice the frequency of the sampling frequency of the image data C411-in (FIG. 8B). Image data C41
1-in is held in the latch unit 421 in synchronization with the clock signal CLK2. This held image data S
42 (FIG. 8D) has a timing delayed by a half cycle with respect to the sampling cycle of the image data C411-in. When the selector 424 selects the image data C411-in, the image data S42 and the image data C4
11-in is averaged by the adding unit 422 and the coefficient multiplying unit 423, and image data C422-out (FIG. 8)
h). For example, the averaging processes a to
In the averaging process d, the image data S43 (FIG. 8e) output from the selector 424 is equal to the image data C411-in, and the image data S43 and the image data S42 are averaged to generate the image data C422-out. Have been. The averaging process a and the averaging process c
Since the image data S42 and the image data C411-in have the same value, the same data as the image data C411-in before the conversion is used as it is.
Output as out.
【0114】セレクタ424の選択信号blk−rig
ht(図8f)は、ローレベルにおいて画像データをC
411−in選択し、ハイレベルにおいてデータ保持部
41を選択する信号である。選択信号blk−righ
tは通常ローレベルになっており、これにより画像デー
タS42と画像データC411−inの平均化処理が実
行される。画像データC411−inとして4×8画素
ブロックの左端の画像データが入力されると、選択信号
blk−rightはハイレベルとなって、データ保持
部41から出力される画像データS41(図8g)が選
択される。The selection signal blk-rig of the selector 424
ht (FIG. 8f) indicates that the image data is
411-in is a signal for selecting the data holding unit 41 at a high level. Select signal blk-right
t is normally at a low level, whereby the averaging process of the image data S42 and the image data C411-in is executed. When the image data at the left end of the 4 × 8 pixel block is input as the image data C411-in, the selection signal blk-right goes high, and the image data S41 (FIG. 8g) output from the data holding unit 41 is output. Selected.
【0115】例えば平均化処理eにおいて選択信号bl
k−rightはハイレベルとなっており、データ保持
部41から出力される画像データS41(84h)が画
像データS43として加算部422に入力される。この
画像データS43と画像データS42(4Ch)とが平
均化されることにより、画像データC422−out
(68h)が生成されている。For example, in the averaging process e, the selection signal bl
k-right is at a high level, and the image data S41 (84h) output from the data holding unit 41 is input to the adding unit 422 as image data S43. By averaging the image data S43 and the image data S42 (4Ch), the image data C422-out is obtained.
(68h) has been generated.
【0116】選択信号area−cr(図8c)は、入
力される画像信号がクロマ信号Crの場合にハイレベル
となってレジスタ412を選択し、クロマ信号Cbの場
合にローレベルとなってレジスタ411を選択する信号
である。図8においては入力される画像信号がクロマ信
号Crの場合の例についてのみ示されているので、選択
信号area−crはハイレベル一定となっている。な
お、図8においてはクロマ信号Crの場合におけるタイ
ミングが示されているが、クロマ信号Cbの場合も同様
である。すなわち、選択信号area−crをローレベ
ルに設定することによって、上述の説明はクロマ信号C
bの場合にも適用可能である。The selection signal area-cr (FIG. 8c) goes high when the input image signal is the chroma signal Cr to select the register 412, and goes low when the input image signal is the chroma signal Cb to the register 411. Is a signal for selecting. FIG. 8 shows only an example in which the input image signal is the chroma signal Cr, so that the selection signal area-cr is constant at a high level. FIG. 8 shows the timing in the case of the chroma signal Cr, but the same applies to the case of the chroma signal Cb. That is, by setting the selection signal area-cr to low level, the above description
This is also applicable to the case of b.
【0117】また、信号xcb−enや信号xcr−e
n、選択信号blk−right、選択信号area−
crなどの各制御信号は、クロマ信号Crおよびクロマ
信号Cbを含む1つの4×8画素ブロック内において一
定のタイミングを有している。そこで、例えば4×8画
素ブロックの始めに初期化され、画像データの入力とと
もに計数を行なうカウンタを用意し、このカウンタの計
数値をデコードすることによって各制御信号を容易に生
成させることができる。Further, the signal xcb-en and the signal xcr-e
n, select signal blk-right, select signal area-
Each control signal such as cr has a certain timing in one 4 × 8 pixel block including the chroma signal Cr and the chroma signal Cb. Therefore, for example, a counter which is initialized at the beginning of a 4 × 8 pixel block and counts in response to input of image data is prepared, and each control signal can be easily generated by decoding the count value of the counter.
【0118】以上説明したように、図5および図6に示
す画像データ処理装置によれば、第1の実施形態と同様
に補間に必要な画像データを適宜データ保持部41に保
持させて合成に利用することにより、画素ブロックごと
に入力される画像データに対して直接データ数の変換を
行うことができる。これにより、フレームメモリやライ
ンメモリに対して画像データを読み書きさせる処理が省
略されるので、データの処理を高速化することができ、
回路規模を大幅に減少させることができる。As described above, according to the image data processing apparatus shown in FIGS. 5 and 6, similarly to the first embodiment, the image data necessary for interpolation is appropriately held in the data holding unit 41 and synthesized. By using this, the number of data can be directly converted to image data input for each pixel block. As a result, the process of reading and writing image data from and to the frame memory and the line memory is omitted, so that the speed of data processing can be increased.
The circuit scale can be significantly reduced.
【0119】さらに、画素ブロックメモリ43において
所定の画素ブロックごとに入力する画像データを書き込
みながら、既に書き込まれた画素ブロックの画像データ
を画像データ生成部42に出力しており、データ保持部
41は、画素ブロックメモリ43に入力される画像デー
タのうち、画素ブロックの所定領域に含まれる画像デー
タを保持している。したがって、例えば画素ブロックメ
モリ43から画像データ生成部42へ画像データを順次
転送させながら、まだ画像データ生成部42に入力され
ていない画像データをデータ保持部41に保持させるこ
とができる。すなわち、データ保持部41には画像デー
タ生成部42に入力される前の画像データを保持させる
ことができる。したがって、例えば図16における領域
L4〜L6のように、まだ画像データ生成部42に入力
されていない画素ブロックの画像データで、補間処理に
必要な画像データをデータ保持部41にあらかじめ保持
させることができる。またこの場合、フレームメモリ5
0から画素ブロックメモリ43に読み出される画像デー
タの一部をデータ保持部41に保持させるので、フレー
ムメモリ50に対するアクセス処理が単純化されて処理
を高速化できるとともに、データ保持部41から直接フ
レームメモリ50にアクセスするための複雑な回路が不
要になり、回路規模を減少させることができる。Further, while writing image data to be input for each predetermined pixel block in the pixel block memory 43, the image data of the already written pixel block is output to the image data generation unit 42, and the data holding unit 41 And image data contained in a predetermined area of a pixel block among image data input to the pixel block memory 43. Therefore, for example, while the image data is sequentially transferred from the pixel block memory 43 to the image data generation unit 42, the image data not yet input to the image data generation unit 42 can be stored in the data storage unit 41. That is, the data holding unit 41 can hold the image data before being input to the image data generation unit 42. Therefore, for example, image data necessary for the interpolation process with the image data of the pixel block not yet input to the image data generation unit 42, such as the regions L4 to L6 in FIG. it can. In this case, the frame memory 5
Since part of the image data read from 0 to the pixel block memory 43 is held in the data holding unit 41, the access processing to the frame memory 50 can be simplified and the processing can be speeded up. A complicated circuit for accessing the 50 is unnecessary, and the circuit scale can be reduced.
【0120】<第3の実施形態>図9は、本発明の第3
の実施形態のカメラシステム100を説明するための概
略的な構成図である。カメラシステム100は、光学系
101、CCD102、A/D変換部103、画像圧縮
部104、SDRAM114およびCPU115を有す
る。また、画像圧縮部104は、CCD信号処理部10
5、バス106、バッファ107、SDRAMインター
フェイス(SDRAMI/F)108、JPEG処理部
109a、JPEGインターフェイス部109b、クロ
ック生成部110、システムコントローラ111、CP
Uインターフェイス(CPUI/F)112およびメモ
リコントローラ113を有する。<Third Embodiment> FIG. 9 shows a third embodiment of the present invention.
It is a schematic structure figure for explaining camera system 100 of an embodiment. The camera system 100 includes an optical system 101, a CCD 102, an A / D conversion unit 103, an image compression unit 104, an SDRAM 114, and a CPU 115. Further, the image compression unit 104 includes the CCD signal processing unit 10.
5, bus 106, buffer 107, SDRAM interface (SDRAM I / F) 108, JPEG processing unit 109a, JPEG interface unit 109b, clock generation unit 110, system controller 111, CP
It has a U interface (CPU I / F) 112 and a memory controller 113.
【0121】光学系101は、使用者の操作により所望
の画像を撮像し、その光信号をCCD102の撮像面上
に結像させる。CCD102は、光学系101により結
像された撮像面上の光信号を電気信号に変換し、アナロ
グ画像信号としてA/D変換部103に出力する。A/
D変換部103は、CCD102より入力されたアナロ
グ画像信号を所定の階調のデジタル画像信号に変換し、
画像圧縮部104のCCD信号処理部105に出力す
る。The optical system 101 captures a desired image by a user's operation, and forms the optical signal on the image capturing surface of the CCD 102. The CCD 102 converts an optical signal formed on the imaging surface by the optical system 101 into an electric signal, and outputs the electric signal to the A / D converter 103 as an analog image signal. A /
The D conversion unit 103 converts the analog image signal input from the CCD 102 into a digital image signal of a predetermined gradation,
Output to the CCD signal processing unit 105 of the image compression unit 104.
【0122】画像圧縮部104のCCD信号処理部10
5は、システムコントローラ111の制御に基づいて、
入力されるデジタル画像信号をR(赤)、G(緑)、B
(青)の各色信号に分離し、各色信号に対して色再現性
のためガンマ補正を行い、さらに輝度信号とクロマ信号
を生成する。生成された輝度信号とクロマ信号からなる
画像データは、バス106を介してバッファ107に出
力される。The CCD signal processing unit 10 of the image compression unit 104
5 is based on the control of the system controller 111,
R (red), G (green), B
Each color signal of (blue) is separated, gamma correction is performed on each color signal for color reproducibility, and a luminance signal and a chroma signal are generated. The generated image data including the luminance signal and the chroma signal is output to the buffer 107 via the bus 106.
【0123】バッファ107は、CCD信号処理部10
5よりバス106を介して入力される画像データを順次
記憶し、一定量蓄えられたら、メモリコントローラ11
3の制御に基づいて、SDRAMI/F108に出力す
る。また、SDRAMI/F108から入力される、S
DRAM114より読み出された画像データを一時的に
記憶し、バス106を介してJPEG処理部109に出
力する。SDRAMI/F108は、画像圧縮部104
の外部メモリであって、メモリコントローラ113の制
御に基づいて、バッファ107より入力される所定の単
位ごとの画像データをSDRAM114に記憶する。ま
た、SDRAM114に記憶されている画像データを、
8×8画素ブロックごとに読み出し、バッファ107に
出力する。The buffer 107 is provided for the CCD signal processor 10.
5 sequentially stores the image data inputted via the bus 106, and when a certain amount is stored, the memory controller 11
3 to the SDRAM I / F 108 based on the control. Further, S input from the SDRAM I / F 108
The image data read from the DRAM 114 is temporarily stored and output to the JPEG processing unit 109 via the bus 106. The SDRAM I / F 108 is an image compression unit 104
And stores the image data of each predetermined unit inputted from the buffer 107 in the SDRAM 114 under the control of the memory controller 113. Further, the image data stored in the SDRAM 114 is
The data is read out for each 8 × 8 pixel block and output to the buffer 107.
【0124】JPEG処理部109aは、JPEGイン
ターフェイス部109bを介して8×8画素ブロックご
とに入力される画像データをJPEG符号化して、符号
化ビットストリームを生成する。そして、生成した符号
化ビットストリームをJPEGインターフェイス部、バ
ス106およびCPUI/F112を介してCPU11
5に出力する。[0124] The JPEG processing unit 109a performs JPEG encoding on image data input for each 8x8 pixel block via the JPEG interface unit 109b to generate an encoded bit stream. Then, the generated encoded bit stream is transmitted to the CPU 11 via the JPEG interface unit, the bus 106 and the CPU I / F 112.
5 is output.
【0125】JPEGインターフェイス部109bは、
システムコントローラ111の制御に基づいてSDRA
M114より読み出され、バッファ107およびバス1
06を介して所定の画像ブロックごとに入力される画像
データのYCrCb比を変換し、変換された画像データ
を8×8画素ブロックごとにJPEG処理部109aへ
出力する。また、JPEG処理部109aにおいて生成
された符号化ビットストリームを、バス106およびC
PUI/F112を介してCPU115に出力する。The JPEG interface unit 109b is
SDRA based on the control of the system controller 111
M114, the buffer 107 and the bus 1
The Y / C converter converts the YCrCb ratio of the image data input for each predetermined image block through the unit 06, and outputs the converted image data to the JPEG processing unit 109a for each 8 × 8 pixel block. Also, the coded bit stream generated in the JPEG processing unit 109a is
Output to CPU 115 via PUI / F112.
【0126】なお、JPEGインターフェイス部109
bは、第1の実施形態または第2の実施形態にいて説明
した画像データ生成部およびデータ保持部を有してお
り、補間に必要な画像データを適宜データ保持部に保持
させて画像データ生成部における画像データの補間処理
に利用して、所定の画素ブロックごとに入力される画像
データに対して直接YCrCb比の変換処理を行なって
いる。Note that the JPEG interface unit 109
b has the image data generation unit and the data holding unit described in the first embodiment or the second embodiment, and causes the data holding unit to appropriately hold the image data necessary for the interpolation to generate the image data. The conversion of the YCrCb ratio is directly performed on the image data input for each predetermined pixel block by using the interpolation of the image data in the section.
【0127】クロック生成部110は、システムコント
ローラ111の制御に基づいて、画像圧縮部104内の
各部で使用するクロックを生成し、その各構成部に提供
する。バス106は、画像圧縮部104内のデータバス
を模式的に示したものである。このバス106を介し
て、CCD信号処理部105からバッファ107へおよ
びバッファ107からJPEGインターフェイス部10
9bへの画像データの転送、および、JPEGインター
フェイス部109bからCPUI/F112への符号化
ビットストリームの転送などが行なわれる。The clock generation unit 110 generates a clock to be used in each unit in the image compression unit 104 based on the control of the system controller 111 and provides the clock to each component. The bus 106 schematically shows a data bus in the image compression unit 104. Via this bus 106, the CCD signal processing unit 105 sends the signal to the buffer 107 and the buffer 107 sends the signal to the JPEG interface 10.
The transfer of image data to the CPU 9b and the transfer of an encoded bit stream from the JPEG interface unit 109b to the CPU I / F 112 are performed.
【0128】システムコントローラ111は、CPU1
15の制御に基づいて動作し、画像圧縮部104の動
作、すなわち、入力される画像データのSDRAM11
4への記憶、SDRAM114に記憶された画像データ
のJPEG処理部109への転送、JPEG処理部10
9aにおけるJPEG符号化、および、符号化された画
像データのCPU115への出力などの動作が適切に行
なえるように、画像圧縮部104の各構成部を制御す
る。CPUI/F112は、CPU115とのインター
フェイスであり、CPU115からの制御信号、画像信
号の入力、CPU115への制御信号、符号化データの
出力などを行なう。メモリコントローラ113は、シス
テムコントローラ111の制御に基づいて、バッファ1
07およびSDRAMI/F108を制御し、画像デー
タのSDRAM114への記憶およびSDRAM114
に記憶された画像データの読み出しなどを制御する。The system controller 111 includes the CPU 1
15, the operation of the image compression unit 104, that is, the SDRAM 11 of the input image data.
4, the transfer of the image data stored in the SDRAM 114 to the JPEG processing unit 109, the JPEG processing unit 10
Each component of the image compression unit 104 is controlled so that operations such as JPEG encoding in 9a and output of encoded image data to the CPU 115 can be appropriately performed. The CPU I / F 112 is an interface with the CPU 115, and performs control signals from the CPU 115, input of image signals, control signals to the CPU 115, output of encoded data, and the like. The memory controller 113 controls the buffer 1 based on the control of the system controller 111.
07 and the SDRAM I / F 108 to store the image data in the SDRAM 114 and the SDRAM 114
And controls the reading of the image data stored in the.
【0129】SDRAM114は、撮影された輝度信号
およびクロマ信号からなる画像データを一時的に記憶す
るメモリである。光学系101〜A/D変換部103で
撮影された画像データは、一旦SDRAM114に記憶
された後、JPEG処理部109に順次供給され、符号
化され、CPU115に出力され、記憶、表示、伝送な
どに用いられる。CPU115は、光学系101〜画像
圧縮部104およびSDRAM114による所望の画像
の撮像、画像処理、画像データの記憶・再生、JPEG
符号化、JPEG符号化データの記憶、表示、伝送など
の各処理が適切に行なわれ、カメラシステム100が全
体として所望の動作をするように、カメラシステム10
0の各構成部を制御する。The SDRAM 114 is a memory for temporarily storing image data composed of a photographed luminance signal and chroma signal. Image data photographed by the optical systems 101 to the A / D conversion unit 103 is temporarily stored in the SDRAM 114, then sequentially supplied to the JPEG processing unit 109, encoded, output to the CPU 115, and stored, displayed, transmitted, and the like. Used for The CPU 115 captures a desired image by the optical system 101 to the image compression unit 104 and the SDRAM 114, performs image processing, stores and reproduces image data, and executes JPEG.
The camera system 10 is controlled so that each processing such as encoding, storage, display, and transmission of JPEG encoded data is appropriately performed, and the camera system 100 performs a desired operation as a whole.
0 is controlled.
【0130】このような構成のカメラシステム100に
おいては、まず、使用者の操作により光学系101によ
り所望の画像が撮像されると、CCD102において光
信号から電気信号に変換されて画像信号が生成される。
その画像信号は、A/D変換部103でアナログ信号か
らデジタル信号に変換され、さらに画像圧縮部104の
CCD信号処理部105において各色信号に分解され、
ガンマ補正が施された後、輝度信号とクロマ信号からな
る画像データに変換される。この画像データは、バッフ
ァ107、SDRAMI/F108を介して一旦SDR
AM114に記憶された後、所定の画素ブロックごとに
順次読み出されてJPEGインターフェイス部109b
においてYCrCb比を変換され、8×8画素ブロック
ごとにJPEG処理部109aに入力される。JPEG
処理部109aにおいては、順次入力される8×8画素
ブロックごとの画像データがJPEG符号化され、所定
のフォーマットのJPEG符号化データストリームが生
成される。このJPEG符号化データストリームがCP
UI/F112を介してCPU115に出力され、記
憶、表示、伝送などの処理が行なわれる。In the camera system 100 having such a configuration, first, when a desired image is picked up by the optical system 101 by a user's operation, the CCD 102 converts the light signal into an electric signal to generate an image signal. You.
The image signal is converted from an analog signal into a digital signal by the A / D converter 103, and further decomposed into each color signal by the CCD signal processor 105 of the image compressor 104.
After the gamma correction, the image data is converted into image data including a luminance signal and a chroma signal. This image data is temporarily transferred to the SDR via the buffer 107 and the SDRAM I / F 108.
After being stored in the AM 114, it is sequentially read out for each predetermined pixel block and
Is converted into a YCrCb ratio, and input to the JPEG processing unit 109a for each 8 × 8 pixel block. JPEG
In the processing unit 109a, the image data of each sequentially input 8 × 8 pixel block is JPEG encoded, and a JPEG encoded data stream of a predetermined format is generated. This JPEG encoded data stream is CP
The data is output to the CPU 115 via the UI / F 112, and processing such as storage, display, and transmission is performed.
【0131】以上説明したように、図9に示したカメラ
システムでは、JPEGインターフェイス部109bに
所定の画素ブロックごとに入力される画像データに対し
て直接データ数の変換処理を行うことができる。これに
より、フレームメモリやラインメモリに対して画像デー
タを読み書きさせる処理が省略されるので、データの処
理を高速化することができ、回路規模を大幅に減少させ
ることができる。As described above, in the camera system shown in FIG. 9, the conversion of the number of data can be directly performed on the image data input to the JPEG interface unit 109b for each predetermined pixel block. As a result, the process of reading and writing image data from and to the frame memory and line memory is omitted, so that data processing can be speeded up and the circuit scale can be significantly reduced.
【0132】なお、本発明は上述した第1の実施形態〜
第3の実施形態に限定されない。例えば、上述した第1
の実施形態においてはYCrCb比の変換によりデータ
数が減縮される場合のみが示されているが、画像データ
の合成を行う単位ブロックである小画素ブロックと重み
付けは任意に設定可能であるので、データ数が拡張され
る場合についても適用可能である。逆に、上述した第2
の実施形態においてはYCrCb比の変換によりデータ
数が拡張される場合のみが示されているが、データ数が
減縮される場合についても適用可能である。The present invention relates to the above-described first to third embodiments.
The invention is not limited to the third embodiment. For example, the first
In the above embodiment, only the case where the number of data is reduced by the conversion of the YCrCb ratio is shown. It is also applicable when the number is expanded. Conversely, the second
In the embodiment, only the case where the number of data is expanded by the conversion of the YCrCb ratio is shown, but the present invention can be applied to the case where the number of data is reduced.
【0133】[0133]
【発明の効果】本発明によれば、所定の画素ブロックご
とに入力される画像データに対して直接データ数の変換
を行うことができる。これにより、フレームメモリやラ
インメモリなどに対して画像データを読み書きさせる処
理が省略されるので、データの処理速度を高速化するこ
とができる。また、画像データの記憶に必要なメモリ容
量が小さくなるので、回路規模を縮小させることができ
る。また、フレームメモリに対するアクセス処理が単純
化されるので、データの処理速度を高速化できる。直接
フレームメモリにアクセスするための複雑な回路を削減
できるので、回路規模を減少させることができる。According to the present invention, the number of data can be directly converted to image data input for each predetermined pixel block. This eliminates the process of reading and writing image data from and to the frame memory and the line memory, so that the data processing speed can be increased. Further, since the memory capacity required for storing image data is reduced, the circuit scale can be reduced. In addition, since the process of accessing the frame memory is simplified, the data processing speed can be increased. Since the number of complicated circuits for directly accessing the frame memory can be reduced, the circuit scale can be reduced.
【図1】本発明の第1の実施形態の画像データ処理装置
を説明するための概略的な構成図である。FIG. 1 is a schematic configuration diagram for explaining an image data processing device according to a first embodiment of the present invention.
【図2】図1に示したデータ保持部および画像データ生
成部の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of a data holding unit and an image data generation unit illustrated in FIG. 1;
【図3】図2に示したデータ保持部および画像データ生
成部によるYCrCb比(4:2:2)からYCrCb
比(4:1:1)への変換を説明するための図である。FIG. 3 shows a YCrCb ratio (4: 2: 2) obtained by the data holding unit and the image data generating unit shown in FIG. 2;
It is a figure for explaining conversion to a ratio (4: 1: 1).
【図4】図2に示したデータ保持部および画像データ生
成部における各信号のタイミングを示す図である。FIG. 4 is a diagram illustrating timings of respective signals in a data holding unit and an image data generation unit illustrated in FIG. 2;
【図5】本発明の第2の実施形態の画像データ処理装置
を説明するための概略的な構成図である。FIG. 5 is a schematic configuration diagram for explaining an image data processing device according to a second embodiment of the present invention.
【図6】図5に示したデータ保持部および画像データ生
成部の構成例を示している。FIG. 6 illustrates a configuration example of a data holding unit and an image data generation unit illustrated in FIG. 5;
【図7】図6に示したデータ保持部および画像データ生
成部によるYCrCb比(4:1:1)からYCrCb
比(4:2:2)への変換を説明するための図である。FIG. 7 shows a YCrCb ratio (4: 1: 1) obtained by the data holding unit and the image data generating unit shown in FIG. 6;
It is a figure for explaining conversion to a ratio (4: 2: 2).
【図8】図6に示したデータ保持部および画像データ生
成部における各信号のタイミングを示す図である。FIG. 8 is a diagram illustrating timings of respective signals in a data holding unit and an image data generation unit illustrated in FIG. 6;
【図9】本発明の第3の実施形態のカメラシステムを説
明するための概略的な構成図である。FIG. 9 is a schematic configuration diagram illustrating a camera system according to a third embodiment of the present invention.
【図10】一般的なデジタルビデオ用画像処理ICのイ
ンターフェイス部の構成を示す図である。FIG. 10 is a diagram showing a configuration of an interface unit of a general digital video image processing IC.
【図11】YCrCb比(4:4:4)の画像データの
MCUを示す図である。FIG. 11 is a diagram showing an MCU of image data having a YCrCb ratio (4: 4: 4).
【図12】YCrCb比(4:2:2)の画像データの
MCUを示す図である。FIG. 12 is a diagram illustrating an MCU of image data having a YCrCb ratio (4: 2: 2).
【図13】YCrCb比(4:1:1)の画像データの
MCUを示す図である。FIG. 13 is a diagram illustrating an MCU of image data having a YCrCb ratio (4: 1: 1).
【図14】YCrCb比(4:2:2)のMCUにおけ
る2つのクロマ信号8×8画素ブロックを、YCrCb
比(4:1:1)のMCUにおける1つのクロマ信号8
×8画素ブロックに変換する補間処理を説明するための
図である。FIG. 14 is a block diagram showing two chroma signal 8 × 8 pixel blocks in an MCU having a YCrCb ratio (4: 2: 2).
One chroma signal 8 in MCU with ratio (4: 1: 1)
FIG. 9 is a diagram for describing an interpolation process of converting into an × 8 pixel block.
【図15】YCrCb比(4:2:2)からYCrCb
比(4:1:1)への変換を行う、従来のJPEGイン
ターフェイス回路の構成例を示す図である。FIG. 15 shows a YCrCb ratio based on the YCrCb ratio (4: 2: 2).
FIG. 10 is a diagram illustrating a configuration example of a conventional JPEG interface circuit that performs conversion to a ratio (4: 1: 1).
【図16】YCrCb比(4:1:1)のMCUにおけ
る1つのクロマ信号8×8画素ブロックを、YCrCb
比(4:2:2)のMCUにおける2つのMCUのクロ
マ信号に変換する補間処理を説明するための図である。FIG. 16 shows one chroma signal 8 × 8 pixel block in an MCU having a YCrCb ratio (4: 1: 1).
FIG. 14 is a diagram for describing interpolation processing for converting into chroma signals of two MCUs in an MCU having a ratio (4: 2: 2).
【図17】YCrCb比(4:1:1)からYCrCb
比(4:2:2)への変換を行う、従来のJPEGイン
ターフェイス回路の構成例を示す図である。FIG. 17 shows a YCrCb ratio (4: 1: 1)
FIG. 11 is a diagram illustrating a configuration example of a conventional JPEG interface circuit that performs conversion to a ratio (4: 2: 2).
20…データ数変換部、21…データ保持部、211,
212…レジスタ、213…セレクタ、22…画像デー
タ生成部、221,222…ラッチ部、223〜225
…係数乗算部、226…加算部、227…セレクタ、2
3…画素ブロックメモリ、30…フレームメモリ、40
…データ数変換部、41…データ保持部、411,41
2…レジスタ、413…セレクタ、42…画像データ生
成部、421…ラッチ部、422…加算部、423…係
数乗算部、424…セレクタ、43…画素ブロックメモ
リ、50…フレームメモリ、100…カメラシステム、
101…光学系、102…CCD、103…A/D変換
部、104…画像圧縮部、105…CCD信号処理部、
106…バス、107…バッファ、108…SDRAM
インターフェイス、109a…JPEG処理部、109
b…JPEGインターフェイス部、110…クロック生
成部、111…システムコントローラ、112…CPU
インターフェイス、113…メモリコントローラ20: data number conversion unit, 21: data holding unit, 211,
212 register, 213 selector, 22 image data generator, 221, 222 latch unit, 223-225
... Coefficient multiplying section, 226... Adding section, 227.
3 ... pixel block memory, 30 ... frame memory, 40
... Data number conversion unit, 41 Data holding unit, 411, 41
2. Register 413 Selector 42 Image data generator 421 Latch 422 Adder 423 Coefficient multiplier 424 Selector 43 Pixel block memory 50 Frame memory 100 Camera system ,
101: optical system, 102: CCD, 103: A / D conversion unit, 104: image compression unit, 105: CCD signal processing unit,
106 bus, 107 buffer, 108 SDRAM
Interface, 109a ... JPEG processing unit, 109
b: JPEG interface unit, 110: clock generation unit, 111: system controller, 112: CPU
Interface, 113 ... Memory controller
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C022 AA13 AC69 5C057 AA01 AA06 DC01 EA02 EA07 EH01 EL01 EM00 GF01 GG03 GG04 GJ01 GJ04 5C059 KK06 KK11 LC00 MA00 PP01 PP16 SS15 UA02 UA05 UA38 5C078 AA04 BA21 CA25 DA00 DA01 DA02 DA22 DB04 DB13 EA00 ──────────────────────────────────────────────────続 き Continuing on the front page F term (reference) 5C022 AA13 AC69 5C057 AA01 AA06 DC01 EA02 EA07 EH01 EL01 EM00 GF01 GG03 GG04 GJ01 GJ04 5C059 KK06 KK11 LC00 MA00 PP01 PP16 SS15 UA02 UA05 UA38 5C21 DA04 DA04 EA00
Claims (19)
データを所定の小画素ブロックごとに合成し、画像デー
タのデータ数を変換する画像データ処理装置であって、 上記画素ブロックの所定の領域に含まれる画像データを
保持するデータ保持手段と、 上記所定の画素ブロックごとに入力する画像データを、
上記小画素ブロックごとに所定の重み付けを与えて合成
し、当該合成データから少なくとも1つの画像データを
生成し、上記小画素ブロックの一部の画像データが、上
記入力画像データの画素ブロックに隣接する他の画素ブ
ロックの上記所定領域に含まれる場合、当該小画素ブロ
ックの一部の画像データを上記データ保持手段から入力
し、当該入力した画像データを含む当該小画素ブロック
の画像データに上記所定の重み付けを与えて合成し、当
該合成データから少なくとも1つの画像データを生成す
る画像データ生成手段とを有する画像データ処理装置。1. An image data processing apparatus for combining image data input for each predetermined pixel block for each predetermined small pixel block and converting the number of image data, comprising: Data holding means for holding included image data, and image data input for each of the predetermined pixel blocks,
At least one image data is generated from the synthesized data by giving a predetermined weight to each of the small pixel blocks, and at least one image data of the small pixel block is adjacent to the pixel block of the input image data. When the image data is included in the predetermined area of another pixel block, a part of the image data of the small pixel block is input from the data holding unit, and the image data of the small pixel block including the input image data is converted to the predetermined image data. An image data processing device comprising: image data generating means for generating images by weighting and synthesizing the data to generate at least one image data from the synthesized data.
生成手段に入力される画像データのうち、上記所定領域
の画像データを保持する、 請求項1に記載の画像データ処理装置。2. The image data processing device according to claim 1, wherein the data holding unit holds image data of the predetermined area among image data input to the image data generation unit.
ータを保持するとともに、既に保持された画素ブロック
の画像データを上記画像データ生成手段に出力する画素
ブロック保持手段を有し、 上記データ保持手段は、上記画素ブロック保持手段に入
力される画像データのうち、上記所定領域に含まれる画
像データを保持する、 請求項1に記載の画像データ処理装置。3. A pixel block holding unit that holds image data input for each pixel block and outputs image data of the pixel block already held to the image data generation unit. 2. The image data processing device according to claim 1, wherein the image data included in the predetermined area among image data input to the pixel block holding unit is held.
ック信号に同期して入力する画像データのうち、最近の
入力画像データから上記第1のクロック信号の所定クロ
ック数前までの入力画像データを保持し、上記最近の入
力画像データおよび上記保持された画像データに、入力
順序に応じた所定の重み付けを与えて合成し、当該合成
された画像データを第2のクロック信号に同期して出力
し、上記最近の入力画像データおよび上記保持された画
像データのうちの一部の画像データと、上記入力画像デ
ータの画素ブロックに隣接する他の画素ブロックの上記
所定領域に含まれる画像データとが上記小画素ブロック
を構成する場合、当該所定領域に含まれる画像データを
上記データ保持手段から入力し、当該入力した画像デー
タを含む当該小画素ブロックの画像データに上記所定の
重み付けを与えて合成し、当該合成された画像データを
第2のクロック信号に同期して出力する、請求項1に記
載の画像データ処理装置。4. The image data generating means according to claim 1, wherein, of the image data input in synchronization with the first clock signal, the input image data from a most recent input image data to a predetermined number of clocks before the first clock signal. And synthesizes the latest input image data and the held image data by giving a predetermined weight according to the input order, and outputs the synthesized image data in synchronization with a second clock signal. The image data included in the predetermined area of another pixel block adjacent to the pixel block of the input image data and a part of the latest input image data and the stored image data are included. When configuring the small pixel block, image data included in the predetermined area is input from the data holding unit, and the small pixel including the input image data is input. 2. The image data processing device according to claim 1, wherein the image data of the blocks is combined by giving the predetermined weight, and the combined image data is output in synchronization with a second clock signal.
ック信号に同期して入力する画像データのうち、最近の
入力画像データから第2のクロック信号の所定クロック
数前までの入力画像データを、上記第2のクロック信号
に同期して保持し、上記最近の入力画像データおよび上
記保持された画像データに、入力順序に応じた所定の重
み付けを与えて合成し、上記最近の入力画像データおよ
び上記保持された画像データのうちの一部の画像データ
と、上記入力画像データの画素ブロックに隣接する他の
画素ブロックの上記所定領域に含まれる画像データとが
上記小画素ブロックを構成する場合、当該所定領域に含
まれる画像データを上記データ保持手段から入力し、当
該入力した画像データを含む当該小画素ブロックの画像
データに上記所定の重み付けを与えて合成する、 請求項1に記載の画像データ処理装置。5. The image data generating means according to claim 1, wherein, of the image data input in synchronization with the first clock signal, input image data from a most recent input image data to a predetermined number of clocks before the second clock signal is input. Holding the data in synchronization with the second clock signal, applying a predetermined weighting to the latest input image data and the stored image data in accordance with an input order, and synthesizing the latest input image data and the stored image data. When a part of the stored image data and the image data included in the predetermined area of another pixel block adjacent to the pixel block of the input image data constitutes the small pixel block, The image data included in the predetermined area is input from the data holding unit, and the image data of the small pixel block including the input image data is input to the image data of the predetermined pixel block. The image data processing device according to claim 1, wherein the image data is combined by giving weights.
記画素ブロック単位で伸張し、上記画素ブロックごとに
上記データ保持手段および上記画像データ生成手段に出
力する画像伸張手段を有する、 請求項1に記載の画像データ処理装置。6. An image decompression unit for decompressing image data compressed by a predetermined method in units of said pixel blocks, and outputting to said data holding unit and said image data generation unit for each of said pixel blocks. An image data processing device according to claim 1.
れた画像データを、所定の方式により上記画素ブロック
単位で圧縮する画像圧縮手段を有する、 請求項1に記載の画像データ処理装置。7. The image data processing device according to claim 1, further comprising image compression means for compressing the image data synthesized by said image data generation means in a unit of said pixel block by a predetermined method.
データを所定の小画素ブロックごとに合成し、画像デー
タのデータ数を変換する画像データ処理方法であって、 上記画素ブロックの所定の領域に含まれる画像データを
保持するデータ保持ステップと、 上記所定の画素ブロックごとに入力する画像データを、
上記小画素ブロックごとに所定の重み付けを与えて合成
し、当該合成データから少なくとも1つの画像データを
生成し、上記小画素ブロックの一部の画像データが、上
記入力画像データの画素ブロックに隣接する他の画素ブ
ロックの上記所定領域に含まれる場合、上記データ保持
ステップにおいて保持された当該一部の画像データを入
力し、当該入力した画像データを含む当該小画素ブロッ
クに上記所定の重み付けを与えて合成し、当該合成デー
タから少なくとも1つの画像データを生成する画像デー
タ生成ステップとを有する画像データ処理方法。8. An image data processing method for synthesizing image data input for each predetermined pixel block for each predetermined small pixel block and converting the number of image data, comprising: A data holding step of holding included image data, and image data input for each of the predetermined pixel blocks,
At least one image data is generated from the synthesized data by giving a predetermined weight to each of the small pixel blocks, and at least one image data of the small pixel block is adjacent to the pixel block of the input image data. When included in the predetermined area of another pixel block, the partial image data held in the data holding step is input, and the predetermined weight is given to the small pixel block including the input image data. Synthesizing and generating at least one image data from the synthesized data.
ータ生成ステップにおいて入力される画像データのう
ち、上記所定領域の画像データを保持する、 請求項8に記載の画像データ処理方法。9. The image data processing method according to claim 8, wherein the data holding step holds image data of the predetermined area among the image data input in the image data generating step.
データを保持するとともに、既に保持された画素ブロッ
クの画像データを上記画像データ生成ステップにおいて
出力する画素ブロック保持ステップを有し、 上記データ保持ステップは、上記画素ブロック保持ステ
ップにおいて入力される画像データのうち、上記画素ブ
ロックの上記所定領域に含まれる画像データを保持す
る、 請求項8に記載の画像データ処理方法。10. A pixel block holding step of holding image data input for each pixel block and outputting image data of the already held pixel block in the image data generation step. 9. The image data processing method according to claim 8, wherein, among the image data input in the pixel block holding step, image data included in the predetermined area of the pixel block is held.
のクロック信号に同期して入力する画像データのうち、
最近の入力画像データから上記第1のクロック信号の所
定クロック数前までの入力画像データを保持し、上記最
近の入力画像データおよび上記保持された画像データ
に、入力順序に応じた所定の重み付けを与えて合成し、
当該合成された画像データを第2のクロック信号に同期
して出力し、上記最近の入力画像データおよび上記保持
された画像データのうちの一部の画像データと、上記入
力画像データの画素ブロックに隣接する他の画素ブロッ
クの上記所定領域に含まれる画像データとが上記小画素
ブロックを構成する場合、上記データ保持ステップにお
いて保持された当該所定領域に含まれる画像データを入
力し、当該入力した画像データを含む当該小画素ブロッ
クの画像データに上記所定の重み付けを与えて合成し、
当該合成された画像データを第2のクロック信号に同期
して出力する、 請求項8に記載の画像データ処理方法。11. The image data generating step according to claim 1, wherein
Of the image data input in synchronization with the clock signal of
The input image data from the latest input image data up to a predetermined number of clocks before the first clock signal is held, and a predetermined weight is assigned to the latest input image data and the held image data according to an input order. Give and combine,
The combined image data is output in synchronization with a second clock signal, and is output to a part of the latest input image data and the held image data and a pixel block of the input image data. When the image data included in the predetermined area of another adjacent pixel block constitutes the small pixel block, the image data included in the predetermined area held in the data holding step is input, and the input image is input. The image data of the small pixel block including the data is combined by giving the predetermined weight to the image data,
The image data processing method according to claim 8, wherein the combined image data is output in synchronization with a second clock signal.
のクロック信号に同期して入力する画像データのうち、
最近の入力画像データから第2のクロック信号の所定ク
ロック数前までの入力画像データを、上記第2のクロッ
ク信号に同期して保持し、上記最近の入力画像データお
よび上記保持された画像データに、入力順序に応じた所
定の重み付けを与えて合成し、上記最近の入力画像デー
タおよび上記保持された画像データのうちの一部の画像
データと、上記入力画像データの画素ブロックに隣接す
る他の画素ブロックの上記所定領域に含まれる画像デー
タとが上記小画素ブロックを構成する場合、上記データ
保持ステップにおいて保持された当該所定領域に含まれ
る画像データを入力し、当該入力した画像データを含む
当該小画素ブロックの画像データに上記所定の重み付け
を与えて合成する、 請求項8に記載の画像データ処理方法。12. The image data generating step according to claim 1, wherein
Of the image data input in synchronization with the clock signal of
The input image data from the latest input image data to a predetermined number of clocks before the second clock signal is held in synchronization with the second clock signal, and the latest input image data and the held image data are stored in the latest input image data and the held image data. A predetermined weighting is given in accordance with the input order, the image data is synthesized, and some of the recent input image data and the held image data are stored in the input image data and the other image data adjacent to the pixel block of the input image data. When the image data included in the predetermined area of the pixel block constitutes the small pixel block, the image data included in the predetermined area held in the data holding step is input, and the image data including the input image data is input. The image data processing method according to claim 8, wherein the image data of the small pixel block is combined by giving the predetermined weight.
像データ生成ステップにおいて入力される画像データ
を、所定のフォーマットで圧縮された画像データから上
記画素ブロック単位で伸張して生成する画像伸張ステッ
プを有する、 請求項8に記載の画像データ処理方法。13. An image decompression step of decompressing image data input in the data holding step and the image data generation step from the image data compressed in a predetermined format in units of the pixel blocks to generate the image data. Item 9. The image data processing method according to Item 8.
生成された画像データを、上記画素ブロック単位で圧縮
する画像圧縮ステップを有する、 請求項8に記載の画像データ処理方法。14. The image data processing method according to claim 8, further comprising an image compression step of compressing the image data generated in the image data generation step on a pixel block basis.
各画素に対応する画像データを生成する撮影手段と、 上記撮影手段において生成された画像データに対して所
定の処理を行い、当該処理後の画像データを、所定の画
素ブロックごとに入出力する処理手段と、 上記処理手段から所定の画素ブロックごとに入力する画
像データを所定の小画素ブロックごとに合成し、画像デ
ータのデータ数を変換する画像データ処理装置とを有
し、 上記画像データ処理装置は、 上記画素ブロックの所定の領域に含まれる画像データを
保持するデータ保持手段と、 上画素ブロックごとに入力する画像データを、上記小画
素ブロックごとに所定の重み付けを与えて合成し、当該
合成データから少なくとも1つの画像データを生成し、
上記小画素ブロックの一部の画像データが、上記入力画
像データの画素ブロックに隣接する他の画素ブロックの
上記所定領域に含まれる場合、当該一部の画像データを
上記データ保持手段から入力し、当該入力した画像デー
タを含む当該小画素ブロックの画像データに上記所定の
重み付けを与えて合成し、当該合成データから少なくと
も1つの画像データを生成する画像データ生成手段とを
含む、 カメラシステム。15. A photographing means for photographing a desired image and generating image data corresponding to each pixel of the photographed image; and performing predetermined processing on the image data generated by said photographing means. Processing means for inputting and outputting the subsequent image data for each predetermined pixel block; and combining image data input for each predetermined pixel block from the processing means for each predetermined small pixel block, thereby reducing the number of pieces of image data. An image data processing device for converting, the image data processing device includes: a data holding unit that holds image data included in a predetermined area of the pixel block; and an image data input for each upper pixel block. A predetermined weighting is given to each small pixel block to synthesize, and at least one image data is generated from the synthesized data;
When the partial image data of the small pixel block is included in the predetermined area of another pixel block adjacent to the pixel block of the input image data, the partial image data is input from the data holding unit, A camera system comprising: image data of the small pixel block including the input image data; combining the image data by applying the predetermined weight; and generating at least one image data from the combined data.
タ生成手段に入力される画像データのうち、上記所定領
域の画像データを保持する、 請求項15に記載のカメラシステム。16. The camera system according to claim 15, wherein said data holding means holds image data of said predetermined area among image data input to said image data generating means.
とに入力する画像データを保持するとともに、既に保持
された画素ブロックの画像データを上記画像データ生成
手段に出力する画素ブロック保持手段を有し、 上記データ保持手段は、上記画素ブロック保持手段に入
力される画像データのうち、上記所定領域に含まれる画
像データを保持する、 請求項15に記載のカメラシステム。17. A pixel block holding means for holding image data inputted from the processing means for each of the pixel blocks, and for outputting the already held image data of the pixel block to the image data generating means, 16. The camera system according to claim 15, wherein the data holding unit holds image data included in the predetermined area among image data input to the pixel block holding unit.
れた画像データを上記画素ブロック単位で伸張し、上記
画素ブロックごとに上記データ保持手段および上記画像
データ生成手段に出力する画像伸張手段を有する、 請求項15に記載のカメラシステム。18. The image processing apparatus according to claim 1, wherein the processing unit expands the image data compressed by a predetermined method in a unit of the pixel block, and outputs the image data to the data holding unit and the image data generating unit for each pixel block. The camera system according to claim 15, comprising:
手段において生成された画像データを、所定の方式によ
り上記画素ブロック単位で圧縮する画像圧縮手段を有す
る、 請求項15に記載のカメラシステム。19. The camera system according to claim 15, wherein said processing means has image compression means for compressing the image data generated by said image data generation means in units of said pixel blocks by a predetermined method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001031478A JP2002237953A (en) | 2001-02-07 | 2001-02-07 | Image data processing unit and its method, and camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001031478A JP2002237953A (en) | 2001-02-07 | 2001-02-07 | Image data processing unit and its method, and camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002237953A true JP2002237953A (en) | 2002-08-23 |
Family
ID=18895556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001031478A Pending JP2002237953A (en) | 2001-02-07 | 2001-02-07 | Image data processing unit and its method, and camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002237953A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008146406A1 (en) * | 2007-06-01 | 2008-12-04 | Thomson Licensing | Image processing device and method for pixel data conversion |
JP2009163660A (en) * | 2008-01-10 | 2009-07-23 | Seiko Epson Corp | Image processing circuit, and image processor |
JP2009218974A (en) * | 2008-03-12 | 2009-09-24 | Mega Chips Corp | Image processing apparatus |
-
2001
- 2001-02-07 JP JP2001031478A patent/JP2002237953A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008146406A1 (en) * | 2007-06-01 | 2008-12-04 | Thomson Licensing | Image processing device and method for pixel data conversion |
US8368706B2 (en) | 2007-06-01 | 2013-02-05 | Gvbb Holdings S.A.R.L. | Image processing device and method for pixel data conversion |
JP2009163660A (en) * | 2008-01-10 | 2009-07-23 | Seiko Epson Corp | Image processing circuit, and image processor |
JP2009218974A (en) * | 2008-03-12 | 2009-09-24 | Mega Chips Corp | Image processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9628710B2 (en) | Imaging apparatus | |
US7230643B2 (en) | Digital camera with electronic zooming function | |
JP4253881B2 (en) | Imaging device | |
US7474838B2 (en) | Signal processing apparatus, control method for signal processing apparatus, imaging apparatus and recording/reproducing apparatus | |
US7391932B2 (en) | Apparatus and method for selecting image to be displayed | |
JP2002237953A (en) | Image data processing unit and its method, and camera system | |
JPH11289551A (en) | Display device and its control method | |
JP4158245B2 (en) | Signal processing device | |
JP4264602B2 (en) | Image processing device | |
JP4540191B2 (en) | Image processing device | |
CN100583955C (en) | Imaging apparatus and image data processing method | |
JP2000115693A (en) | Image data recording method and device, image data reproducing method and device, information recording medium and computer-readable recording medium | |
JP2003087640A (en) | Imaging apparatus, signal processor, and control method | |
JP3443989B2 (en) | Signal generation circuit for vertical contour enhancement circuit and aspect ratio conversion circuit | |
JPH10313441A (en) | Video recorder | |
KR20000011790A (en) | Imaging apparatus and recording/reproducing apparatus | |
JPH08221562A (en) | Image signal processor | |
JP2004135007A (en) | Apparatus and method for processing image data and camera system | |
JPH10187117A (en) | Image processing system and image processing method | |
JP2002218486A (en) | Signal processing unit and signal processing method | |
JPH11168690A (en) | Signal processor for digital still camera | |
JPH0491583A (en) | Video signal processing circuit |