JP2006303693A - Electronic camera provided with function of generating reduced picture - Google Patents

Electronic camera provided with function of generating reduced picture Download PDF

Info

Publication number
JP2006303693A
JP2006303693A JP2005119760A JP2005119760A JP2006303693A JP 2006303693 A JP2006303693 A JP 2006303693A JP 2005119760 A JP2005119760 A JP 2005119760A JP 2005119760 A JP2005119760 A JP 2005119760A JP 2006303693 A JP2006303693 A JP 2006303693A
Authority
JP
Japan
Prior art keywords
block
electronic camera
unit
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005119760A
Other languages
Japanese (ja)
Inventor
Toshihisa Kuroiwa
壽久 黒岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2005119760A priority Critical patent/JP2006303693A/en
Publication of JP2006303693A publication Critical patent/JP2006303693A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology of implementing resolution conversion at a high speed. <P>SOLUTION: An electronic camera includes an imaging section, a block average processing section, and a resolution conversion section. The imaging section images an object to output image data. The block average processing section captures the image data and averages the image data by each predetermined pixel block to output an average by each block. The resolution conversion section applies resolution conversion to the averages while sequentially capturing the averages outputted from the block average processing section. Particularly, the electronic camera produces a reduced picture by using a "reduction of number of pixels in the first stage" by the block average processing section and a "reduction of number of pixels in the second stage" by the resolution conversion section. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、縮小画像の生成機能を備える電子カメラに関する。   The present invention relates to an electronic camera having a reduced image generation function.

電子カメラ内の信号処理では、画像の縦横画素数を縮小する処理が頻繁に実施される。例えば、スチル撮影時の電子カメラでは、撮像画像を縮小して、所望の記録解像度へ変換したり、クイックビュー画像やサムネイル画像の生成が行われる。また、再生時の電子カメラでは、記録媒体から読み出した画像をモニタ表示解像度へ変換したり、拡大表示用の任意解像度へ変換する処理が実施される。さらに、スルー画表示時の電子カメラでは、撮像素子からライン間引きで読み出された動画像(ドラフト画像)を、モニタ表示解像度へ変換する処理が実施される。   In signal processing in an electronic camera, processing for reducing the number of vertical and horizontal pixels of an image is frequently performed. For example, in an electronic camera at the time of still shooting, a captured image is reduced and converted to a desired recording resolution, or a quick view image or a thumbnail image is generated. Further, in the electronic camera at the time of reproduction, processing for converting the image read from the recording medium into the monitor display resolution or the arbitrary resolution for enlarged display is performed. Further, in the electronic camera when displaying a through image, a process of converting a moving image (draft image) read out from the image sensor by line thinning into a monitor display resolution is performed.

特許文献1には、このような解像度変換技術として、解像度変換を下記の2段階に分けて実施する技術が開示されている。
[第1段階] まず、入力画像の水平方向の帯域を制限する(水平ローパス処理)。この処理画像から水平画素を間引いて、サムネイル準備画像を生成する。
[第2段階] 次に、このサムネイル準備画像の垂直方向の帯域を制限する(垂直ローパス処理)。この処理画像から垂直画素を間引いて、サムネイル画像を求める。
上記処理において、水平および垂直のローパス処理は、モアレを防止して良質な縮小画像を生成するために必要な処理となる。
特開2003−199016号公報(図2など)
Patent Document 1 discloses a technique for performing resolution conversion in the following two stages as such a resolution conversion technique.
[First Stage] First, the horizontal band of the input image is limited (horizontal low-pass processing). A thumbnail preparation image is generated by thinning out horizontal pixels from the processed image.
[Second Stage] Next, the vertical band of this thumbnail preparation image is limited (vertical low-pass processing). A thumbnail image is obtained by thinning out vertical pixels from the processed image.
In the above processing, horizontal and vertical low-pass processing is processing necessary to prevent moire and generate a high-quality reduced image.
JP 2003-199016 A (FIG. 2 etc.)

ところで、特許文献1の解像度変換技術では、水平と垂直の2段階に分けて解像度変換を実施する。
この場合、水平ローパス処理と垂直ローパス処理とを独立に実施するため、それぞれのローパス処理に十分なラインバッファを備える必要があり、回路規模が大きくなりやすい。
また、水平方向と垂直方向に独立に解像度変換を実施するため、処理データの流れが複雑になりやすい。そのため、これら2段階の処理をパイプライン式に高速並行処理することは非常に困難になる。
そこで、本発明では、単純な流れで解像度変換を高速実施するための技術を提供することを目的とする。
By the way, in the resolution conversion technique of Patent Document 1, resolution conversion is performed in two stages, horizontal and vertical.
In this case, since the horizontal low-pass process and the vertical low-pass process are performed independently, it is necessary to provide a sufficient line buffer for each low-pass process, and the circuit scale tends to increase.
In addition, since the resolution conversion is performed independently in the horizontal direction and the vertical direction, the flow of processing data tends to be complicated. For this reason, it is very difficult to perform high-speed parallel processing of these two stages in a pipeline manner.
Accordingly, an object of the present invention is to provide a technique for performing resolution conversion at high speed with a simple flow.

《1》 本発明の電子カメラは、撮像部、ブロック平均処理部、および解像度変換部を備える。
撮像部は、被写体を撮像して画像データを出力する。
ブロック平均処理部は、画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力する。
解像度変換部は、ブロック平均処理部から出力される平均値を順次取り込みながら、平均値に解像度変換を施す。
特に、本発明の電子カメラは、ブロック平均処理部による「第1段階の画素数削減」と、解像度変換部による「第2段階の画素数削減」とによって、段階的に縮小画像を生成することを特徴とする。
<< 1 >> The electronic camera of the present invention includes an imaging unit, a block average processing unit, and a resolution conversion unit.
The imaging unit images a subject and outputs image data.
The block average processing unit takes in the image data, averages it for each predetermined pixel block, and outputs an average value for each block.
The resolution conversion unit performs resolution conversion on the average value while sequentially taking in the average value output from the block average processing unit.
In particular, the electronic camera of the present invention generates a reduced image step by step by the “first stage pixel number reduction” by the block average processing unit and the “second stage pixel number reduction” by the resolution conversion unit. It is characterized by.

《2》 なお好ましくは、ブロック平均処理部は、区分加算部、および平均部を備える。
区分加算部は、画像データをブロック別に区分して加算し、ブロック別の加算値を求める。
平均部は、ブロック別の加算値を平均して平均値を算出する。
<< 2 >> Preferably, the block average processing unit includes a section addition unit and an average unit.
The division addition unit divides and adds the image data for each block to obtain an addition value for each block.
The averaging unit calculates the average value by averaging the addition values for each block.

《3》 また好ましくは、区分加算部は、ブロック別にデータを加算するデータ領域を複数備える。区分加算部は、画像データの走査入力をブロック別に区分して生じる端数ブロックをデータ領域に加算して暫定値として残す。そして、区分加算部は、以後の走査入力時に、端数ブロックの残りのデータを該データ領域の暫定値に加算する。 << 3 >> Preferably, the section addition unit includes a plurality of data areas in which data is added for each block. The division adding unit adds the fractional block generated by dividing the scan input of the image data into blocks and leaves it as a provisional value. Then, the division adding unit adds the remaining data of the fractional block to the provisional value of the data area at the time of subsequent scanning input.

《4》 なお好ましくは、電子カメラは、画像データを格納するためのメモリと、メモリから画像データを所定の転送単位ごとにDMA転送して、ブロック平均処理部へ与える転送部を備える
《5》 また好ましくは、電子カメラは、ライン数を減数した画像データを生成するライン減数部を備える。ブロック平均処理部は、ライン数を減数した画像データを、画素ブロックに区分して平均する。
<< 4 >> Preferably, the electronic camera includes a memory for storing image data, and a transfer unit that DMA-transfers image data from the memory for each predetermined transfer unit and supplies the data to the block average processing unit. << 5 >> Preferably, the electronic camera includes a line reduction unit that generates image data obtained by reducing the number of lines. The block average processing unit classifies the image data obtained by reducing the number of lines into pixel blocks and averages them.

《6》 なお好ましくは、ブロック平均処理部は、ブロック別の加算の係数和を2のべき乗に設定し、ブロック別の加算値を係数和で除算する処理をビットシフト処理で実施する。 <6> Preferably, the block average processing unit sets the coefficient sum of addition for each block to a power of 2, and performs a process of dividing the addition value for each block by the coefficient sum by a bit shift process.

《7》 また好ましくは、ブロック平均処理部は、ブロック別のデータを加算する加算器と、加算器から出力される加算値に対して、加算器の係数和の逆数を乗算する固定小数点の乗算器とを備える。 << 7 >> Also preferably, the block average processing unit adds an adder for each block, and a fixed-point multiplication for multiplying the addition value output from the adder by the reciprocal of the coefficient sum of the adder With a vessel.

《8》 なお好ましくは、電子カメラは、加算器の係数和を求め、係数和の逆数を算出して乗算器に設定する設定部を備える。 << 8 >> Preferably, the electronic camera includes a setting unit that obtains a coefficient sum of the adder, calculates an inverse number of the coefficient sum, and sets the multiplier in the multiplier.

《9》 また好ましくは、ブロック平均処理部は、複数種の色成分を混在配置してなるRAWデータを取り込む。ブロック平均処理部は、画素ブロック内の同種色成分ごとに平均して、ブロック単位に複数種の色成分を揃える。 << 9 >> Also preferably, the block average processing unit captures RAW data in which a plurality of types of color components are mixedly arranged. The block average processing unit averages the same color components in the pixel block and arranges a plurality of types of color components for each block.

本発明は、次の2段階に分けて縮小画像を生成する。
(第1段階)画像データを画素ブロックに区分し、ブロック別に平均値を求める。
(第2段階)ブロック別の平均値に解像度変換を実施し、所望する縦横画素数の縮小画像を生成する。
In the present invention, a reduced image is generated in the following two stages.
(First stage) Image data is divided into pixel blocks, and an average value is obtained for each block.
(Second stage) Resolution conversion is performed on the average value for each block, and a reduced image having a desired number of vertical and horizontal pixels is generated.

上記の第1段階では、画素ブロックの個数まで、画像データの画素数を低減することができる。さらに、第1段階では、ブロック平均によって、2次元ローパス処理も同時に実施される。そのため、モアレ防止用のローパス処理を省いたり、あるいは軽くすることが可能になり、モアレ防止の処理負荷を軽減することができる。   In the first stage, the number of pixels of the image data can be reduced to the number of pixel blocks. Further, in the first stage, two-dimensional low-pass processing is also performed simultaneously by block averaging. Therefore, it is possible to omit or reduce the low-pass processing for preventing moiré, and to reduce the processing load for preventing moiré.

このような長所により、本発明の段階処理では、データの流れが単純化されて、解像度変換を高速実施することが可能になる。   Due to such advantages, in the step processing of the present invention, the flow of data is simplified, and resolution conversion can be performed at high speed.

[電子カメラの構成説明]
図1は、本実施形態における電子カメラ11のシステムブロック図である。
図2は、図1中に示す画像処理回路16の内部ブロック図である。
以下、図1および図2に基づいて、電子カメラ11の構成を説明する。
電子カメラ11には、撮影レンズ12が装着される。この撮影レンズ12の像空間には、撮像素子13が配置される。この撮像素子13は、読み出しシーケンスの切り換えにより、全画素読み出しにより記録画像を得るモードと、ライン間引きをしながらドラフト画像を読み出すドラフトモードとをモード選択できる。
撮像素子13の出力は、A/D変換部14,および撮像素子13のインターフェース回路(不図示)を介して画像処理回路16に入力される。
[Description of electronic camera configuration]
FIG. 1 is a system block diagram of an electronic camera 11 in the present embodiment.
FIG. 2 is an internal block diagram of the image processing circuit 16 shown in FIG.
Hereinafter, the configuration of the electronic camera 11 will be described with reference to FIGS. 1 and 2.
A photographing lens 12 is attached to the electronic camera 11. An image sensor 13 is disposed in the image space of the photographing lens 12. The image sensor 13 can select a mode for obtaining a recorded image by reading all pixels and a draft mode for reading a draft image while thinning lines by switching the readout sequence.
The output of the image sensor 13 is input to the image processing circuit 16 via the A / D converter 14 and the interface circuit (not shown) of the image sensor 13.

この画像処理回路16は、次の構成を備える。
(1)信号処理部43・・欠陥画素補正、黒レベルクランプ(OBクランプ)、ゲイン調整、ホワイトバランス調整、階調変換(ガンマ補正など)、色補間、色変換または色処理などを実施する。この信号処理部43は、入力バッファ45および出力バッファ46を備え、画像データを高速転送するためのピクチャーバス21を介してSDRAM(Synchronous DRAM)35との間で画像データをやり取りする。全画素読み出しによる記録用の画像データ(スチル画撮影)の場合は、一般にホワイトバランス調整前までの処理、すなわち欠陥画素補正、黒レベルクランプ(OBクランプ)、ゲイン調整の各処理を行い、処理済みの画像データを出力バッファ46を介して一旦SDRAM35に記憶させる。さらに、信号処理部43は、露出/焦点/ホワイトバランス用の検波結果を出力し、レジスタ44に格納する。MPU(Micro Processor unit)24は、システムバス23を介してこれらの検波結果をレジスタ44から読み出し、露出/焦点/ホワイトバランスの制御を行うことができる。
(2)ブロック平均処理部71・・区分加算部74(加算器を含む)と、平均部75とを備えて構成される。
平均部75としては、後述する高速処理の観点から、ビットシフト器で実現することが好ましい。
次に、平均部75として好ましいのは、固定小数点の乗算器である。MPU24は画素ブロックの係数和の逆数を算出して、この乗算器に設定する。乗算器は、区分加算部74から出力される加算値に、この逆数を固定小数点で乗算することにより、ブロック別の平均値を求める。
なお、平均部75として、除算器を使用してもよい。MPU24は画素ブロックの係数和を求めて、この除算器に設定する。除算器は、区分加算部74から出力される加算値を、この係数和で除算することにより、ブロック別の平均値を求める。
(3)解像度変換部72・・ブロック別の平均値を順次取り込む。このブロック別の平均値からなる平均化画像を、予め定められた縦横画素数に解像度変換して縮小画像を生成する。
(4)空間フィルタ51・・輪郭強調、ノイズ除去などの空間フィルタ処理を実施する。
(5)色差間引き部52・・4:2:2などの色間引きを行う。出力バッファ53を介して、ピクチャーバス21に接続されており、色間引きされた画像データはSDRAM35に記憶される。
(6)転送部73・・ピクチャーバス21およびバスインターフェース22を介して、SDRAM35のDMA転送を実施する。
The image processing circuit 16 has the following configuration.
(1) Signal processing unit 43... Performs defective pixel correction, black level clamp (OB clamp), gain adjustment, white balance adjustment, gradation conversion (gamma correction, etc.), color interpolation, color conversion or color processing. The signal processing unit 43 includes an input buffer 45 and an output buffer 46, and exchanges image data with an SDRAM (Synchronous DRAM) 35 via the picture bus 21 for high-speed transfer of image data. In the case of image data for recording by reading all pixels (still image shooting), generally processing up to white balance adjustment, that is, defective pixel correction, black level clamp (OB clamp), and gain adjustment have been processed. Are temporarily stored in the SDRAM 35 via the output buffer 46. Further, the signal processing unit 43 outputs the detection result for exposure / focus / white balance and stores it in the register 44. An MPU (Micro Processor Unit) 24 can read these detection results from the register 44 via the system bus 23 and control exposure / focus / white balance.
(2) The block average processing unit 71... Is configured to include a section addition unit 74 (including an adder) and an average unit 75.
The average unit 75 is preferably realized by a bit shifter from the viewpoint of high-speed processing described later.
Next, a fixed point multiplier is preferable as the averaging unit 75. The MPU 24 calculates the reciprocal of the coefficient sum of the pixel block and sets it in this multiplier. The multiplier obtains an average value for each block by multiplying the addition value output from the section addition unit 74 by this reciprocal by a fixed point.
A divider may be used as the averaging unit 75. The MPU 24 calculates the coefficient sum of the pixel block and sets it in this divider. The divider obtains an average value for each block by dividing the addition value output from the section addition unit 74 by this coefficient sum.
(3) Resolution converter 72... The average value for each block is sequentially fetched. The reduced image is generated by converting the resolution of the averaged image composed of the average value for each block into a predetermined number of vertical and horizontal pixels.
(4) Spatial filter 51... Performs spatial filter processing such as edge enhancement and noise removal.
(5) The color difference thinning unit 52... 4: 2: 2 is thinned out. The image data which is connected to the picture bus 21 via the output buffer 53 and whose color is thinned out is stored in the SDRAM 35.
(6) Transfer unit 73... DMA transfer of the SDRAM 35 via the picture bus 21 and the bus interface 22.

撮像素子13から出力された記録用の画像は、画像処理回路16で処理された後、専用バスを介して画像圧縮部17に入力されるか、あるいは一旦SDRAM35に記憶された後、ピクチャーバス21を介して画像圧縮部17に入力される。画像圧縮部17で生成された画像圧縮ファイルは、ピクチャーバス21を介して一旦SDRAM35に記憶された後、システムバス23を介して読み出され、次いでカードIF29を介して、メモリカード30に記録保存される。   The recording image output from the image sensor 13 is processed by the image processing circuit 16 and then input to the image compression unit 17 via the dedicated bus, or once stored in the SDRAM 35 and then the picture bus 21. To the image compression unit 17. The compressed image file generated by the image compression unit 17 is temporarily stored in the SDRAM 35 via the picture bus 21, read out via the system bus 23, and then recorded and stored in the memory card 30 via the card IF 29. Is done.

一方、撮像素子13から出力されたドラフト画像は、画像処理回路16で処理された後、ピクチャーバス21を介して一旦SDRAM35に記憶され、次にSDRAM35から読み出されて表示部19に入力される。この表示部19は、液晶パネル20に、ドラフト画像から生成された動画像を表示する。
さらに、ピクチャーバス21およびシステムバス23は、バスインターフェース22を介して、SDRAM35などに接続されており、これらのバスを介してSDRAM35にデータを記憶したり、SDRAM35からデータを読み出したりする。また、システムバス23には、MPU24などが接続される。
On the other hand, the draft image output from the image sensor 13 is processed by the image processing circuit 16, and then temporarily stored in the SDRAM 35 via the picture bus 21, and then read from the SDRAM 35 and input to the display unit 19. . The display unit 19 displays a moving image generated from the draft image on the liquid crystal panel 20.
Further, the picture bus 21 and the system bus 23 are connected to the SDRAM 35 and the like via the bus interface 22, and data is stored in the SDRAM 35 and data is read from the SDRAM 35 via these buses. Further, the MPU 24 and the like are connected to the system bus 23.

[画素ブロックの設定について]
図3は、ブロック平均化処理を説明する図である。
区分加算部74は、設定された画像入力元から取り込んだ入力画像を、横N画素×縦M画素の画素ブロックに区分する。この場合、N≠Mとすることにより、ブロック平均処理後の画像アスペクト比を変更することが可能になる。なお、ブロック平均化後のアスペクト比を維持する場合は、N=Mに設定すればよい。
[Pixel block settings]
FIG. 3 is a diagram for explaining the block averaging process.
The division adding unit 74 divides the input image captured from the set image input source into pixel blocks of horizontal N pixels × vertical M pixels. In this case, by setting N ≠ M, the image aspect ratio after the block averaging process can be changed. In order to maintain the aspect ratio after block averaging, N = M may be set.

さらに、画素ブロックのサイズ設定(N,M)については、後段の解像度変換部72においてモアレを発生しない参照範囲のサイズまで大きくすることが好ましい。
また、画素ブロックのN,Mをどちらも2のべき乗に選ぶことが好ましい。例えば、2×2、4×2、4×4、8×4、8×8・・などである。これらの画素ブロックは、内部の画素数NMが常に2のべき乗となる。そのため、ブロック平均処理部71は、画素ブロック内のデータを単純に累積加算し、その累積加算値をビットシフトダウンするだけで平均値を高速に算出することが可能になる。
Furthermore, it is preferable that the size setting (N, M) of the pixel block is increased to a reference range size that does not cause moire in the resolution conversion unit 72 in the subsequent stage.
Further, it is preferable to select N and M of the pixel block to be a power of 2. For example, 2 × 2, 4 × 2, 4 × 4, 8 × 4, 8 × 8, etc. In these pixel blocks, the number of internal pixels NM is always a power of two. Therefore, the block average processing unit 71 can calculate the average value at high speed by simply accumulating the data in the pixel block and bit-shifting down the accumulated addition value.

なお、N,Mの少なくとも一方が2のべき乗ではない場合には、画素ブロック中央の画素(群)に対して重み付け係数を付加して、全体の係数和を2のべき乗に調整すればよい。さらに、中央の画素(群)の個々の重み付け係数をそれぞれ2のべき乗に設定することにより、中央の画素(群)の重み付けをビットシフトアップで高速実施することが可能になる。   If at least one of N and M is not a power of 2, a weighting coefficient may be added to the pixel (group) in the center of the pixel block to adjust the overall coefficient sum to a power of 2. Furthermore, by setting the individual weighting coefficients of the central pixel (group) to powers of 2, respectively, it becomes possible to perform the weighting of the central pixel (group) at a high speed by bit-shifting up.

図4[A]〜[D]は、このように設定された画素ブロックの重み付け比率を示す図である。例えば、図4[A]では、中央画素のデータを3ビットシフトアップした値(8倍)と、周囲8画素のデータとを累積加算し、累積加算値を4ビットシフトダウン(1/16倍)すればよい。   4A to 4D are diagrams showing the weighting ratios of the pixel blocks set in this way. For example, in FIG. 4A, the value obtained by shifting up the data of the center pixel by 3 bits (8 times) and the data of surrounding 8 pixels are cumulatively added, and the cumulative added value is shifted down by 4 bits (1/16 times). )do it.

[縮小画像のサイズ可変について]
ところで、電子カメラ11では、多様な局面で画像縮小が実施されるため、画像の縮小率を柔軟に変更する必要がある。このような縮小率の変更は、MPU24が、ブロック平均処理部71に画素ブロックのサイズや重み係数を設定し、解像度変換部72に対する解像度変換を微調整することによって可能になる。
[About variable size of reduced image]
By the way, since the electronic camera 11 performs image reduction in various aspects, it is necessary to flexibly change the image reduction rate. Such a change in the reduction ratio is made possible by the MPU 24 setting the pixel block size and weighting factor in the block average processing unit 71 and finely adjusting the resolution conversion for the resolution conversion unit 72.

この場合、ブロック平均処理部71は、最大の画素ブロックにも対応できるように、内部のデータ領域のビット幅などを設計する必要がある。この設計について具体例をあげて説明する。
まず、電子カメラ11の最大撮像解像度は設計仕様によって決定される。ここでは、5Mピクセルの画像(2592画素×1944画素)とする。この画像を、クイックビュー画像(ここでは640画素×480画素)に縮小する場合、おおよそ縦横1/4倍の縮小を行えばよい。この縦横1/4倍を一回当たりの最大縮小率とすれば、画素ブロックの最大サイズはN=M=4に設定される。この4×4の画素ブロック単位に平均化処理を実施した場合、画像の実際のサイズは「(2592×1944)→(648×486)」と変化する。この平均化画像を後段の解像度変換部72で更に縮小して、表示用の画像(640×480)を得ればよい。
In this case, the block average processing unit 71 needs to design the bit width of the internal data area so that it can cope with the largest pixel block. This design will be described with a specific example.
First, the maximum imaging resolution of the electronic camera 11 is determined by design specifications. Here, it is assumed that the image is 5M pixels (2592 pixels × 1944 pixels). When this image is reduced to a quick view image (here, 640 pixels × 480 pixels), it is only necessary to reduce the image by about 1/4 in the vertical and horizontal directions. If this vertical and horizontal 1/4 times is the maximum reduction ratio per time, the maximum size of the pixel block is set to N = M = 4. When the averaging process is performed in units of 4 × 4 pixel blocks, the actual size of the image changes from “(2592 × 1944) → (648 × 486)”. The averaged image may be further reduced by the resolution conversion unit 72 in the subsequent stage to obtain a display image (640 × 480).

この場合、解像度変換部72の縮小率は以下のようになる。
640÷648 = 480÷486 = 1/1.0125 = 0.9876・・・
解像度変換部72の変倍率が1%ステップで可変となっていれば、その変倍率として「0.98」か「0.99」を選択すればよい。変倍率が「0.98」の場合は画像サイズが(635×476)となり、変倍率が「0.99」の場合は画像サイズが(641×481)となる。このとき、足りない画素については黒レベルなどで埋め合わせればよい。また、余分な画素は周辺部を切り捨てればよい。
In this case, the reduction rate of the resolution conversion unit 72 is as follows.
640 ÷ 648 = 480 ÷ 486 = 1 / 1.0125 = 0.9876 ...
If the scaling factor of the resolution converter 72 is variable in 1% steps, “0.98” or “0.99” may be selected as the scaling factor. When the scaling factor is “0.98”, the image size is (635 × 476), and when the scaling factor is “0.99”, the image size is (641 × 481). At this time, the missing pixels may be compensated with a black level or the like. Further, it is only necessary to cut off the peripheral portion of the extra pixels.

この説明から明らかなように、5Mピクセル(2592画素×1944画素)もの大きな画像であっても「N=M=4」のブロック平均で足りる。たとえ15Mピクセル(4760画素×3360画素)もの大きな画像であっても「N=M=7」のブロック平均で充分に足りる。したがって、ブロック平均処理部71としては、N=4〜7程度の最大画素ブロックに対応すれば、殆どの電子カメラ仕様を満足することができる。   As is clear from this explanation, a block average of “N = M = 4” is sufficient even for an image as large as 5M pixels (2592 pixels × 1944 pixels). Even for an image as large as 15 M pixels (4760 pixels × 3360 pixels), a block average of “N = M = 7” is sufficient. Therefore, if the block average processing unit 71 corresponds to the maximum pixel block of N = 4 to 7, most of the electronic camera specifications can be satisfied.

[更に画像を縮小するケースについて]
上記説明では、フル解像度の画像から表示用のクイックビュー画像(640画素×480画素)を作成する場合を想定した。しかし、電子カメラ11では、更に小さなサムネイル画像(160画素×120画素)も作成しなければならない。このサムネイル画像に対応するには、ブロック平均処理部71の最大画素ブロックを更に大きくしなければならず、ブロック平均処理部71の回路規模が大きくなるという懸念がある。
[About the case of further reducing the image]
In the above description, it is assumed that a quick view image (640 pixels × 480 pixels) for display is created from a full resolution image. However, the electronic camera 11 must also create a smaller thumbnail image (160 pixels × 120 pixels). In order to cope with this thumbnail image, the maximum pixel block of the block average processing unit 71 must be further increased, and there is a concern that the circuit scale of the block average processing unit 71 becomes large.

本実施形態では、この問題を、ブロック平均処理部71の多段処理によって解決する。一般に、クイックビュー画像は、電子カメラ11のスチル撮影直後に表示するため、サムネイル画像よりも先に生成される。そこで、先に生成されるクイックビュー画像(または、その解像度微調整前の平均化画像)をN=M=4の画素ブロックでもう一度ブロック平均化することにより、サムネイル画像を段階的に生成することが可能になる。
このような画像縮小の多段処理により、ブロック平均処理部71の最大画素ブロックのサイズを抑えて、回路規模を縮小することが可能になる。
In the present embodiment, this problem is solved by multistage processing of the block average processing unit 71. In general, the quick view image is displayed immediately after the still photography of the electronic camera 11, and thus is generated before the thumbnail image. Therefore, a thumbnail image is generated stepwise by performing block averaging of the quick view image generated earlier (or the averaged image before fine adjustment of the resolution) again with N = M = 4 pixel blocks. Is possible.
By such multi-stage processing of image reduction, it is possible to reduce the circuit scale while suppressing the size of the maximum pixel block of the block average processing unit 71.

[剰余ブロックが生じるケースについて]
次に、ブロック平均処理部71が、画像データを画素ブロックに完全に分割できずに、剰余ブロックが生じるケースについて説明する。例えば、4Mピクセルの画像(2288画素×1716画素)をクイックビュー画像(640画素×480画素)に縮小する場合、3画素×3画素の画素ブロックを使用する。しかしながら、水平画素数は3では割り切れないため、水平1画素足りない剰余ブロックが発生する。
[About the case where a remainder block occurs]
Next, the case where the block average processing unit 71 cannot completely divide the image data into pixel blocks and a remainder block occurs will be described. For example, when a 4M pixel image (2288 pixels × 1716 pixels) is reduced to a quick view image (640 pixels × 480 pixels), a pixel block of 3 pixels × 3 pixels is used. However, since the number of horizontal pixels is not divisible by 3, a surplus block that does not have one horizontal pixel is generated.

このような剰余ブロックについては、剰余分の水平2画素を切り捨てるか、あるいは折り返し1画素分を付加して、画素ブロックを完成させることになる。剰余2画素を切り捨てる場合は、左右両端の1画素を切り捨てる方が画像の対称性を維持できる観点から好ましい。
しかし、各ラインの2画素目から始まるブロックデータをSDRAM35などから読み出すことは容易ではない(バースト的な読み出しにおけるアドレスの制約のため)。そのため、各ラインの1画素目から読み出してブロック平均処理部71に入力し、ブロック平均処理部71内でライン先頭の1画素を捨てる方が動作は単純になる。各ラインの最後の1画素を捨てる場合も同様である。しかし、この動作のためには同一ブロック内の画素の読み出しにおいて、次のラインに移動するタイミングを1画素ずらす必要が生じる。
With respect to such a surplus block, the surplus horizontal two pixels are discarded, or one pixel is added back to complete the pixel block. In the case of discarding the remaining two pixels, it is preferable to discard one pixel at both the left and right ends from the viewpoint of maintaining the symmetry of the image.
However, it is not easy to read block data starting from the second pixel of each line from the SDRAM 35 or the like (due to address restrictions in bursty reading). For this reason, it is simpler to read from the first pixel of each line and input to the block average processing unit 71 and discard the first pixel in the line within the block average processing unit 71. The same applies when the last pixel of each line is discarded. However, for this operation, it is necessary to shift the timing of moving to the next line by one pixel when reading out pixels in the same block.

一方、1画素加えてブロック分割する場合は、右端に付け加える方が簡単になる。この1画素をSDRAM35上に用意しておくことは、MPU24のソフトウェア処理となるため、動作速度の観点からは好ましくない。
そのため、画素ブロックのデータの入力過程でブロック平均処理部71は右端のブロックの検出を行い、右端のブロックが検出された場合はブロック平均処理部71が各ラインの右端で1画素分の折り返しを行うことが好ましい。このような動作により、余計なオーバーヘッド時間を必要とせずに、剰余ブロックの処理が達成される。剰余ブロックを切り捨てる方式に比べて、この方式は視野が狭くならない点でも好ましい。
On the other hand, when the block is divided by adding one pixel, it is easier to add it to the right end. Preparing one pixel on the SDRAM 35 is a software process of the MPU 24 and is not preferable from the viewpoint of operation speed.
Therefore, in the process of inputting pixel block data, the block average processing unit 71 detects the rightmost block, and when the rightmost block is detected, the block average processing unit 71 performs folding for one pixel at the right end of each line. Preferably it is done. By such an operation, processing of the remainder block is achieved without requiring extra overhead time. Compared to the method of discarding the remainder block, this method is preferable in that the field of view is not narrowed.

ところで、縦横に同様の剰余ブロックが生じる場合、剰余ブロックの処理によって画像のアスペクト比を殆ど変化しない。しかし、上記例では、縦方向に剰余ブロックが生じないため、1〜2画素分だけアスペクト比が変化する。この場合、後段の解像度変換部72において、垂直方向の縮小率を定め、水平方向の縮小率は垂直方向の縮小率と同じ値とする。そして、解像度変換部72による画像の縮小を行った後で、垂直方向の画素数に合わせて各ラインの右端の画素を切り捨ててアスペクト比を最終的に合わせると良い。このようにすれば、ブロック平均処理部71と解像度変換部72の縮小率の合計が、垂直方向と水平方向で全く同一となって歪みが発生しないからである。   By the way, when similar residual blocks occur vertically and horizontally, the aspect ratio of the image is hardly changed by the processing of the residual blocks. However, in the above example, since the residual block does not occur in the vertical direction, the aspect ratio changes by one or two pixels. In this case, the resolution conversion unit 72 in the subsequent stage determines the vertical reduction ratio, and the horizontal reduction ratio is set to the same value as the vertical reduction ratio. Then, after the image is reduced by the resolution converter 72, the right end pixel of each line is cut off according to the number of pixels in the vertical direction, and the aspect ratio is finally adjusted. This is because the sum of the reduction ratios of the block average processing unit 71 and the resolution conversion unit 72 is exactly the same in the vertical direction and the horizontal direction, and no distortion occurs.

[走査入力のブロック区分について]
図3に示す入力画像は、画素ブロック単位に区分された走査入力である。このような走査入力は、画素ブロック単位の区分走査を、画素ブロックごとに繰り返すものである。
通常の画像の走査入力を、このようにブロック区分するには、例えば、本発明者による特開2004−260265号公報に記載の画素抽出回路を使用すれば可能になる。なお、この画素抽出回路は、画素の最小間隔ごとに画素ブロックを抽出する機能を有するが、本実施形態の区分動作ではそこまで必要としないため、この機能については省略すればよい。また、上記公報の画素抽出回路は、画面周辺において画素を折り返すことで、剰余ブロックを補うことも可能になる。
なお、区分加算部74が、SDRAM35から画像データを読み出しする際のメモリアドレス順を変更することで、一般的な画像の走査データを、上記の区分走査に変換することも可能である。
[About block classification of scan input]
The input image shown in FIG. 3 is a scan input divided into pixel blocks. Such scanning input repeats segment scanning in units of pixel blocks for each pixel block.
In order to block-divide a normal image scan input in this way, for example, it is possible to use a pixel extraction circuit described in Japanese Patent Application Laid-Open No. 2004-260265 by the present inventor. This pixel extraction circuit has a function of extracting a pixel block for each minimum pixel interval. However, this function is not necessary so far in the segmentation operation of the present embodiment, and this function may be omitted. In addition, the pixel extraction circuit of the above publication can also make up for the remainder block by folding pixels around the screen.
Note that the segment addition unit 74 can convert the scan data of a general image into the segment scan described above by changing the memory address order when the image data is read from the SDRAM 35.

[転送部73を用いた高速転送への対応]
ところで、ブロック平均処理部71が、ブロック平均処理を行う場合、画像データを1画素ずつ入力していては、処理が遅くなる。そこで、SDRAM35の画像データを、バースト的なDMA転送で、ブロック平均処理部71に与えるケースが好ましい。
[Support for high-speed transfer using the transfer unit 73]
By the way, when the block average processing unit 71 performs the block average processing, if the image data is input pixel by pixel, the processing becomes slow. Therefore, it is preferable that the image data of the SDRAM 35 is given to the block average processing unit 71 by bursty DMA transfer.

このようなバースト転送では、1回当たりの転送データ数を多くするほど、余計なクロックサイクルを省いて高速なデータ転送が実現する。しかし、上述したように画素ブロックのサイズはN=5程度と小さい。そのため、画素ブロックの水平画素数単位のDMA転送は効率が悪く、高速なデータ転送が実現できない。   In such burst transfer, the higher the number of transfer data per transfer, the faster data transfer can be realized by eliminating extra clock cycles. However, as described above, the size of the pixel block is as small as N = 5. Therefore, DMA transfer in units of the number of horizontal pixels in the pixel block is inefficient and high-speed data transfer cannot be realized.

DMA転送と画素ブロックの整合をとるには、区切りの良いデータ数(ワード数)まで一度にDMA転送を行うことである。つまり、32ビットデータバスであれば4バイト/ワードであるから、この4バイトと上に挙げたブロック1辺(水平画素数分)のバイト数の公倍数をバースト的なDMA転送1単位のデータ数とするのである。その様にすれば必ずブロックの境界で1単位のDMA転送を終了させられると共に、バースト的なDMA転送1単位のデータ数も大きくすることができる。よって、このブロック平均処理においても高速なデータ転送が行われることになる。これらの結論を基に、1単位のDMA転送におけるデータ数を各ブロックサイズについて求めておく(データバスは32ビットとする)。   In order to match the DMA transfer and the pixel block, it is necessary to perform DMA transfer at a time up to the number of well-delimited data (number of words). In other words, since it is 4 bytes / word in the case of a 32-bit data bus, the number of data per burst DMA transfer is obtained by multiplying the 4 bytes and the common multiple of the number of bytes of one side (the number of horizontal pixels) listed above. It is. In this way, one unit of DMA transfer can always be terminated at a block boundary, and the number of data in one bursty DMA transfer can be increased. Therefore, high-speed data transfer is also performed in this block averaging process. Based on these conclusions, the number of data in one unit of DMA transfer is obtained for each block size (the data bus is 32 bits).

・(2×2)画素のブロックの場合
RGB4:4:4/YCbCr4:4:4画像データ(24ビット/画素) : 4 × 6 = 24バイト
YCbCr4:2:2画像データ(16ビット/画素) : 4 × 4 = 16バイト
・(3×3)画素のブロックの場合
RGB4:4:4/YCbCr4:4:4画像データ(24ビット/画素) : 4 × 9 = 36バイト
YCbCr4:2:2画像データ(16ビット/画素) : 4 × 6 = 24バイト
・(4×4)画素のブロックの場合
RGB4:4:4/YCbCr4:4:4画像データ(24ビット/画素) : 4 × 12 = 48バイト
YCbCr4:2:2画像データ(16ビット/画素) : 4 × 8 = 32バイト
・(5×5)画素のブロックの場合
RGB4:4:4/YCbCr4:4:4画像データ(24ビット/画素) : 4 × 15 = 60バイト
YCbCr4:2:2画像データ(16ビット/画素) : 4 × 10 = 40バイト
・ (2 × 2) pixel block
RGB4: 4: 4 / YCbCr4: 4: 4 image data (24 bits / pixel): 4 x 6 = 24 bytes
YCbCr4: 2: 2 image data (16 bits / pixel): 4 × 4 = 16 bytes • (3 × 3) pixel block
RGB4: 4: 4 / YCbCr4: 4: 4 image data (24 bits / pixel): 4 x 9 = 36 bytes
YCbCr4: 2: 2 image data (16 bits / pixel): 4 × 6 = 24 bytes • (4 × 4) pixel block
RGB4: 4: 4 / YCbCr4: 4: 4 image data (24 bits / pixel): 4 x 12 = 48 bytes
YCbCr4: 2: 2 image data (16 bits / pixel): 4 × 8 = 32 bytes • (5 × 5) pixel block
RGB4: 4: 4 / YCbCr4: 4: 4 image data (24 bits / pixel): 4 x 15 = 60 bytes
YCbCr4: 2: 2 image data (16 bits / pixel): 4 × 10 = 40 bytes

SDRAM35の特性を考慮すると、16ワード(4×16=64バイト)程度のバースト転送が効率的である。上記に挙げた数値は全てこの値を下回っているため、適当に整数倍して16ワード(64バイト)に近づけても良い。特に、ブロックサイズが小さい場合は、その様にして転送のデータ数を増やす方が良い。ところで、この様にDMA転送1単位のデータ数を増やした場合は、複数のブロックの画像データを一括してブロック平均処理部71に入力することになる。したがって、1回のDMA転送では、画素ブロックが完全に揃わず、端数ブロックが発生することになる。   Considering the characteristics of the SDRAM 35, burst transfer of about 16 words (4 × 16 = 64 bytes) is efficient. Since the numerical values listed above are all lower than this value, they may be appropriately multiplied by an integer to approach 16 words (64 bytes). In particular, when the block size is small, it is better to increase the number of transfer data in this way. By the way, when the number of data of one DMA transfer is increased in this way, the image data of a plurality of blocks are input to the block average processing unit 71 at once. Accordingly, in one DMA transfer, pixel blocks are not completely aligned, and fractional blocks are generated.

[端数ブロックの処理について]
ここでは、図5を用いて、転送部73のDMA転送によって発生する端数ブロックの処理について説明する。まず、区分加算部74は、転送1回分に含まれる端数ブロックの個数だけ、データ領域を確保する。これらのデータ領域は加算動作に先立って初期化される。
区分加算部74は、転送1回分のデータを取り込み、端数ブロックに分割する。図5に示す例では、転送1回当たり4つの端数ブロックが含まれるため、4つの端数ブロックに区分される。区分加算部74は、これら端数ブロックごとにデータをデータ領域に(重み付け)加算し、暫定値を得る。この動作を画素ブロックが完全に揃う転送回数まで繰り返すことにより、ブロック別の加算値を求めることができる。
[About fractional block processing]
Here, processing of the fractional block generated by the DMA transfer of the transfer unit 73 will be described with reference to FIG. First, the division adding unit 74 secures data areas by the number of fractional blocks included in one transfer. These data areas are initialized prior to the addition operation.
The division adding unit 74 takes in data for one transfer and divides it into fractional blocks. In the example shown in FIG. 5, four fractional blocks are included per transfer, and therefore, the data is divided into four fractional blocks. The division adding unit 74 adds (weights) the data to the data area for each of these fractional blocks to obtain a provisional value. By repeating this operation up to the number of transfers in which the pixel blocks are completely aligned, the addition value for each block can be obtained.

なお、ブロック別の加算値が完成する順番は、図5では、左側の画素ブロックからの順となる。前のブロックの加算値が出力されてから次のブロックの加算値が出力されるまでには、ブロック1辺分の転送サイクル分だけタイムラグが生じる。そこで、平均部75(ビットシフト器、除算器、固定小数点乗算器)が、平均値算出をこの転送サイクルの期間中に完了できるなら、区分加算部74と平均部75とによるパイプライン処理を遅滞なく実施することが可能になる。   Note that the order of completing the addition value for each block is the order from the left pixel block in FIG. There is a time lag for the transfer cycle of one side of the block from when the added value of the previous block is output until the added value of the next block is output. Therefore, if the averaging unit 75 (bit shifter, divider, fixed point multiplier) can complete the average value calculation during this transfer cycle, the pipeline processing by the division adder 74 and the averaging unit 75 is delayed. It becomes possible to implement without.

[信号処理部43の入力バッファ45の活用について]
ブロック平均処理部71の前段である信号処理部43は、入力バッファ45を備える。この入力バッファ45を介して縮小すべき画像を与えることにより、信号処理部43のいずれかの信号処理と、ブロック平均処理部71とをパイプライン式に並行処理することが可能になる。例えば、「RGB→YCbCr」や「YCbCr→RGB」のような色変換と、ブロック平均処理部71によるブロック平均化(LPF処理と間引き)を並行処理することができる。
[Utilization of input buffer 45 of signal processing unit 43]
The signal processing unit 43, which is the previous stage of the block average processing unit 71, includes an input buffer 45. By providing an image to be reduced via the input buffer 45, any one of the signal processing of the signal processing unit 43 and the block average processing unit 71 can be processed in parallel in a pipeline manner. For example, color conversion such as “RGB → YCbCr” or “YCbCr → RGB” and block averaging (LPF processing and thinning) by the block average processing unit 71 can be performed in parallel.

なお、JPEGデータの伸長画像のように縮小すべき画像が「YCbCr4:2:2」の場合は、色差信号(CbとCr)をまず補間しないと色変換が行えない。このような場合は、色変換処理の前に「YCbCr4:2:2→YCbCr4:4:4」といった色差補間処理が必要になる。この色差補間回路は単純な2画素平均で良いため(画像の右端では折り返しが必要)、回路規模はさほど大きくならない。このような簡易な色差補間を先に実施することにより、その後のブロック平均化や解像度変換において、3つの信号成分をセットで処理することが可能になる。   If the image to be reduced is “YCbCr4: 2: 2”, such as a decompressed image of JPEG data, color conversion cannot be performed unless the color difference signals (Cb and Cr) are first interpolated. In such a case, a color difference interpolation process such as “YCbCr4: 2: 2 → YCbCr4: 4: 4” is required before the color conversion process. Since this color difference interpolation circuit may be a simple two-pixel average (returning is necessary at the right end of the image), the circuit scale does not increase so much. By performing such simple color difference interpolation first, it becomes possible to process three signal components as a set in the subsequent block averaging and resolution conversion.

[ブロック平均化前にライン数を減数する場合]
フル解像度の画像データから表示用画像データ(640×480)を作成する場合、これまでは全ての画像データをブロック平均処理部71に入力するものと仮定してきた。画質を劣化させないためには、フル解像度の入力が好ましい。しかし、表示用画像(640×480)のような小さな画像を作成する場合に、フル解像度の入力はオーバースペックとなる場合もある。そのため、画質を多少犠牲にしても良いような場合は、適当にラインを間引いてブロック平均処理部71の処理負荷を軽くすることが好ましい。例えば、(5×5)画素のブロック平均を行う場合は、2ライン間引いて(5×3)画素のブロック平均を求めればよい。このような処理により、ブロック平均処理部71の処理速度を高速化することができる。なお、1ブロック内のラインが間引かれているため、ブロック平均処理のためのフィルタ係数は変更することが好ましい。
[When the number of lines is reduced before block averaging]
When creating display image data (640 × 480) from full-resolution image data, it has been assumed that all image data is input to the block average processing unit 71 so far. In order not to deteriorate the image quality, full resolution input is preferable. However, when a small image such as a display image (640 × 480) is created, the full resolution input may be over-spec. Therefore, when the image quality may be somewhat sacrificed, it is preferable to reduce the processing load of the block average processing unit 71 by appropriately thinning out the lines. For example, when the block average of (5 × 5) pixels is performed, the block average of (5 × 3) pixels may be obtained by thinning out two lines. By such processing, the processing speed of the block average processing unit 71 can be increased. Since the lines in one block are thinned out, it is preferable to change the filter coefficient for the block averaging process.

[クイックビュー画像の更なる高速生成について]
上述した説明では、ブロック平均化に先だって、フル解像度のYCbCr画像データを生成する場合について説明した。しかし、この順序ではクイックビュー画像(640×480)の生成が後回しになるため、クイックビュー表示がその分だけ遅れてしまう。
クイックビュー表示を早めるためには、フル解像度のYCbCr画像データの生成を待たずに、RAWデータ(RGB原色Bayer配列のデータなど)から直接にクイックビュー画像を生成することが好ましい。
[Further quick generation of quick view images]
In the above description, the case of generating full-resolution YCbCr image data prior to block averaging has been described. However, in this order, the generation of the quick view image (640 × 480) is postponed, and the quick view display is delayed accordingly.
In order to speed up the quick view display, it is preferable to generate a quick view image directly from RAW data (RGB primary color Bayer array data or the like) without waiting for generation of full resolution YCbCr image data.

図6は、このRAWデータのブロック平均化処理を説明する図である。
まず、ブロック平均処理部71は、色補間処理前のRAWデータを取り込み、画素ブロック内の色成分別にブロック平均処理を実施する。このような処理により、高解像度画像の色補間処理を省略して、画素ブロック単位にRGB成分を揃えた平均化画像を直に生成することができる(図6[A]参照)。解像度変換部72が、この平均化画像に解像度変換を実施することにより、クイックビュー画像を高速生成することが可能になる。
FIG. 6 is a diagram for explaining the block averaging processing of the RAW data.
First, the block average processing unit 71 takes in RAW data before color interpolation processing, and performs block average processing for each color component in the pixel block. By such processing, the color interpolation processing of the high resolution image can be omitted, and an averaged image in which the RGB components are aligned for each pixel block can be directly generated (see FIG. 6 [A]). The resolution conversion unit 72 performs resolution conversion on the averaged image, so that a quick view image can be generated at high speed.

また、図6[B]に示すように、色成分別のブロック平均処理により、ベイヤ配列データを一旦生成することもできる。この場合は、ブロック平均処理部71から出力されるデータは、低解像度のRAWデータとなる。解像度変換部72が、この低解像度のRAWデータに対して簡易な色補間処理および解像度変換処理を実施することにより、クイックビュー画像を高速生成することが可能になる。   In addition, as shown in FIG. 6B, Bayer array data can be generated once by block averaging processing for each color component. In this case, data output from the block average processing unit 71 is low-resolution RAW data. The resolution conversion unit 72 performs a simple color interpolation process and resolution conversion process on the low-resolution RAW data, so that a quick view image can be generated at high speed.

尚、この場合は色補間処理の前にブロック平均処理部を配置することが好ましい。これは、図2に示すブロック平均処理部とは別の構成であり、信号処理部43の内部構成に含めることが好ましい。   In this case, it is preferable to arrange a block average processing unit before the color interpolation processing. This is a configuration different from the block average processing unit shown in FIG. 2, and is preferably included in the internal configuration of the signal processing unit 43.

[実施形態の補足事項]
なお、本実施形態では、画像データを矩形や正方形に区切って画素ブロックを設定している。しかしながら、本発明は画素ブロックの形状等に限定されるものではない。画素ブロックを円形や楕円形の内側に位置する画素群から構成してもよい。また、モアレの除去効果を高めるために、画素ブロックのサイズをブロック間隔よりも大きくすることにより、隣接ブロック間で若干の重複域を設けてもよい。逆に、画像の鮮明度を高めるために、画素ブロックのサイズを小さくすることにより、隣接ブロック間に若干の隙間を設けてもよい。
[Supplementary items of the embodiment]
In the present embodiment, pixel blocks are set by dividing image data into rectangles and squares. However, the present invention is not limited to the shape of the pixel block. You may comprise a pixel block from the pixel group located inside circular or an ellipse. Further, in order to enhance the moire removal effect, a slight overlap area may be provided between adjacent blocks by making the pixel block size larger than the block interval. Conversely, in order to increase the definition of the image, a small gap may be provided between adjacent blocks by reducing the size of the pixel block.

以上説明したように、本発明は、電子カメラの画像処理などに利用可能な技術である。   As described above, the present invention is a technique that can be used for image processing of an electronic camera.

本実施形態における電子カメラ11のシステムブロック図である。It is a system block diagram of the electronic camera 11 in this embodiment. 画像処理回路16の内部ブロック図である。2 is an internal block diagram of an image processing circuit 16. FIG. ブロック平均化処理の一例を説明する図である。It is a figure explaining an example of a block averaging process. 加重平均の重み係数を示す図である。It is a figure which shows the weighting coefficient of a weighted average. 端数ブロックの処理を説明する図である。It is a figure explaining the process of a fraction block. このRAWデータのブロック平均化処理を説明する図である。It is a figure explaining the block averaging process of this RAW data.

符号の説明Explanation of symbols

11…電子カメラ,12…撮影レンズ,13…撮像素子,16…画像処理回路,21…ピクチャーバス,22…バスインターフェース,23…システムバス,24…MPU,30…メモリカード,35…SDRAM,43…信号処理部,45…入力バッファ,71…ブロック平均処理部,72…解像度変換部,73…転送部,74…区分加算部,75…平均部
DESCRIPTION OF SYMBOLS 11 ... Electronic camera, 12 ... Shooting lens, 13 ... Image sensor, 16 ... Image processing circuit, 21 ... Picture bus, 22 ... Bus interface, 23 ... System bus, 24 ... MPU, 30 ... Memory card, 35 ... SDRAM, 43 ... Signal processing unit, 45 ... Input buffer, 71 ... Block average processing unit, 72 ... Resolution conversion unit, 73 ... Transfer unit, 74 ... Section addition unit, 75 ... Average unit

Claims (9)

被写体を撮像して画像データを出力する撮像部と、
前記画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力するブロック平均処理部と、
前記ブロック平均処理部から出力される前記平均値を順次取り込みながら、前記平均値に解像度変換を施す解像度変換部とを備え、
前記ブロック平均処理部による「第1段階の画素数削減」と、前記解像度変換部による「第2段階の画素数削減」とによって、段階的に縮小画像を生成する
ことを特徴とする電子カメラ。
An imaging unit for imaging a subject and outputting image data;
A block average processing unit that captures the image data, averages it for each predetermined pixel block, and outputs an average value for each block;
A resolution conversion unit that performs resolution conversion on the average value while sequentially capturing the average value output from the block average processing unit;
An electronic camera, wherein reduced images are generated step by step by “first stage pixel number reduction” by the block average processing unit and “second stage pixel number reduction” by the resolution conversion unit.
請求項1に記載の電子カメラにおいて、
前記ブロック平均処理部は、
前記画像データを前記ブロック別に区分して加算し、前記ブロック別の加算値を求める区分加算部と、
前記ブロック別の加算値を平均して前記平均値を算出する平均部とを有する
ことを特徴とする電子カメラ。
The electronic camera according to claim 1,
The block average processing unit
A division addition unit that divides and adds the image data for each block, and obtains an addition value for each block;
An electronic camera comprising: an averaging unit that averages the addition values for each block to calculate the average value.
請求項2に記載の電子カメラにおいて、
前記区分加算部は、前記ブロック別にデータを加算するデータ領域を複数備え、前記画像データの走査入力を前記ブロック別に区分して生じる端数ブロックを前記データ領域に加算して暫定値として残し、以後の走査入力時に前記端数ブロックの残りのデータを該データ領域の前記暫定値に加算する
ことを特徴とする電子カメラ。
The electronic camera according to claim 2,
The division adding unit includes a plurality of data areas for adding data for each block, adding a fractional block generated by dividing the scan input of the image data for each block to the data area and leaving it as a provisional value. An electronic camera, wherein the remaining data of the fractional block is added to the provisional value in the data area at the time of scanning input.
請求項1ないし請求項3のいずれか1項に記載の電子カメラにおいて、
前記画像データを格納するメモリと、
前記メモリから 前記画像データを所定の転送単位ごとにDMA転送して、前記ブロック平均処理部へ与える転送部を備えた
ことを特徴とする電子カメラ。
The electronic camera according to any one of claims 1 to 3,
A memory for storing the image data;
An electronic camera comprising: a transfer unit that DMA-transfers the image data from the memory for each predetermined transfer unit and supplies the DMA data to the block average processing unit.
請求項1ないし請求項4のいずれか1項に記載の電子カメラにおいて、
ライン数を減数した画像データを生成するライン減数部を備え、
前記ブロック平均処理部は、
ライン数を減数した画像データを、画素ブロックに区分して平均する
ことを特徴とする電子カメラ。
The electronic camera according to any one of claims 1 to 4,
A line reduction unit that generates image data with the number of lines reduced,
The block average processing unit
An electronic camera characterized by averaging image data with the number of lines reduced into pixel blocks.
請求項1ないし請求項5のいずれか1項に記載の電子カメラにおいて、
前記ブロック平均処理部は、前記ブロック別の加算の係数和を2のべき乗に設定し、前記ブロック別の加算値を前記係数和で除算する処理をビットシフト処理で実施する
ことを特徴とする電子カメラ。
The electronic camera according to any one of claims 1 to 5,
The block average processing unit sets the coefficient sum of addition for each block to a power of 2, and performs a process of dividing the addition value for each block by the coefficient sum by a bit shift process. camera.
請求項1ないし請求項5のいずれか1項に記載の電子カメラにおいて、
前記ブロック平均処理部は、
前記ブロック別のデータを加算する加算器と、
前記加算器から出力される加算値に、前記加算器の係数和の逆数を乗算する固定小数点の乗算器とを備える
ことを特徴とする電子カメラ。
The electronic camera according to any one of claims 1 to 5,
The block average processing unit
An adder for adding the data for each block;
An electronic camera comprising: a fixed-point multiplier that multiplies an addition value output from the adder by an inverse of a coefficient sum of the adder.
請求項7に記載の電子カメラにおいて、
前記加算器の係数和を求め、前記係数和の逆数を算出して前記乗算器に設定する設定部を備えた
ことを特徴とする電子カメラ。
The electronic camera according to claim 7,
An electronic camera comprising: a setting unit that obtains a coefficient sum of the adder, calculates an inverse of the coefficient sum, and sets the coefficient sum in the multiplier.
請求項1ないし請求項8のいずれか1項に記載の電子カメラにおいて、
前記ブロック平均処理部は、
複数種の色成分を混在配置してなるRAWデータを取り込み、前記画素ブロック内の同種の色成分ごとに平均することにより、ブロック単位に複数種の色成分を揃える
ことを特徴とする電子カメラ。
The electronic camera according to any one of claims 1 to 8,
The block average processing unit
An electronic camera characterized in that a plurality of types of color components are arranged in units of blocks by taking in RAW data including a mixture of a plurality of types of color components and averaging the data for each color component of the same type in the pixel block.
JP2005119760A 2005-04-18 2005-04-18 Electronic camera provided with function of generating reduced picture Withdrawn JP2006303693A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005119760A JP2006303693A (en) 2005-04-18 2005-04-18 Electronic camera provided with function of generating reduced picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005119760A JP2006303693A (en) 2005-04-18 2005-04-18 Electronic camera provided with function of generating reduced picture

Publications (1)

Publication Number Publication Date
JP2006303693A true JP2006303693A (en) 2006-11-02

Family

ID=37471493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005119760A Withdrawn JP2006303693A (en) 2005-04-18 2005-04-18 Electronic camera provided with function of generating reduced picture

Country Status (1)

Country Link
JP (1) JP2006303693A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008150017A1 (en) * 2007-06-07 2008-12-11 Sony Corporation Signal processing method and signal processing device
JP2012195901A (en) * 2011-03-18 2012-10-11 Buffalo Inc Image transfer device and image transfer method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008150017A1 (en) * 2007-06-07 2008-12-11 Sony Corporation Signal processing method and signal processing device
EP2157802A1 (en) * 2007-06-07 2010-02-24 Sony Corporation Signal processing method and signal processing device
CN101682788B (en) * 2007-06-07 2012-02-15 索尼株式会社 Signal processing method and signal processing device
US8269850B2 (en) 2007-06-07 2012-09-18 Sony Corporation Signal processing method and signal processing system
JP5240194B2 (en) * 2007-06-07 2013-07-17 ソニー株式会社 Signal processing method and signal processing apparatus
EP2157802A4 (en) * 2007-06-07 2015-04-01 Sony Corp Signal processing method and signal processing device
JP2012195901A (en) * 2011-03-18 2012-10-11 Buffalo Inc Image transfer device and image transfer method

Similar Documents

Publication Publication Date Title
US7636498B2 (en) Image processing apparatus
US7136110B2 (en) Image signal processing apparatus
US8630511B2 (en) Image processing apparatus and method for image resizing matching data supply speed
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
WO2004068852A1 (en) Imaging system
TWI504246B (en) Ringing suppression in video scalers
EP2847998B1 (en) Systems, methods, and computer program products for compound image demosaicing and warping
JP5569042B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2011239231A (en) Image processing apparatus and control method of image processing apparatus
JPWO2004051987A1 (en) Imaging device
JP2006211610A (en) Imaging system
JP4133283B2 (en) Image processing apparatus, image processing method, and digital still camera
JP2011223146A (en) Electronic camera
JP2006303693A (en) Electronic camera provided with function of generating reduced picture
KR100719988B1 (en) Image signal processing device
JP2004260265A (en) Pixel extracting circuit having pixel turning over function, and image pickup apparatus
JP5246045B2 (en) Moving image processing apparatus and video camera apparatus using the same
JP7183015B2 (en) Image processing device, image processing method, and program
JP2006262382A (en) Image processing apparatus
JP4132264B2 (en) Image signal processing circuit
JP2002359856A (en) Data conversion circuit and digital camera
JP5841359B2 (en) Image processing apparatus, control method therefor, and program
JP4035542B2 (en) Imaging device
JP2005159916A (en) Imaging device
JP4249909B2 (en) Signal processing apparatus and signal processing method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080701