JP2010153942A

JP2010153942A - Image processing apparatus, image processing method, and program

Info

Publication number: JP2010153942A
Application number: JP2008326686A
Authority: JP
Inventors: Masato Soshi; 正人曽雌
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2008-12-23
Filing date: 2008-12-23
Publication date: 2010-07-08
Anticipated expiration: 2028-12-23
Also published as: JP5152670B2

Abstract

<P>PROBLEM TO BE SOLVED: To improve efficiency of image processing without increasing a circuit scale. <P>SOLUTION: In an image data transfer section 15, an image conversion section 12, an image correction section 13, and a pixel number conversion section 14 are connected together directly and made to operate for image processing using no buffer. In this case, the number of lines calculated back from the number of output lines is determined as the number of input/output lines of each image processing section. In the image data transfer section 15, an NR section 16 and a distortion correction section 17 which use a buffer are interposed halfway among the image conversion section 12, image correction section 13, and pixel number conversion section 14 for image processing using the buffer. In this case, the number of lines of a prestage image processing section is determined according to the number of lines which can be processed by a poststage image processing section together at a time. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and a program.

従来より、デジタルカメラや、携帯電話等の撮影機能を有する画像処理装置では、画像を生成する場合、撮像素子から取り込んだベイヤデータ（元画像データ）に対して、ＹＵＶデータへの変換、シェーディング補正や、エッジ強調などの画像補正、ノイズリダクション、歪曲補正、拡大・縮小などの各処理を行っている。 Conventionally, in an image processing apparatus having a photographing function such as a digital camera or a mobile phone, when generating an image, Bayer data (original image data) captured from an image sensor is converted into YUV data, shading correction, Image correction such as edge enhancement, noise reduction, distortion correction, and enlargement / reduction are performed.

上述したような各処理を行う場合に、画像全体を処理しようとすると、各処理回路が非常に大きくなってしまうため、画像を横方向に所定のライン数ごとに分割するとともに（この分割した単位をベルトと呼ぶ）、分割した元画像データに画像処理で必要となる画像データ（リングピクセル）を付加して各種画像処理を行う技術が知られている（例えば、特許文献１参照）。
特開２００６−２１１４０２号公報 When each of the processes described above is performed, if an entire image is processed, each processing circuit becomes very large. Therefore, the image is divided into a predetermined number of lines in the horizontal direction (this divided unit). Is called a belt), and a technique for performing various image processing by adding image data (ring pixels) necessary for image processing to the divided original image data is known (see, for example, Patent Document 1).
JP 2006-211402 A

上述したように、元画像データを小さく分割し、分割した元画像データに画像処理で必要となる画像データ（リングピクセル）を付加して順番に処理していくような画像処理回路においては、画像の分割サイズ（ベルトサイズ）が小さくなる程、入力された画像サイズ（処理量）に対して出力される画像サイズが小さくなる。例えば、図１１（ａ）に示すように、１ベルト＝４０ラインの画像データに対して画像処理を行う場合には、１ベルト＝８０ラインのリングピクセルが必要となり、図１１（ｂ）に示すように、１ベルト＝２０ラインの画像データに対して画像処理を行う場合には、１ベルト＝８０ラインのリングピクセルが必要となる。 As described above, in an image processing circuit that divides original image data into small pieces, adds image data (ring pixels) necessary for image processing to the divided original image data, and sequentially processes the image, The smaller the divided size (belt size), the smaller the output image size with respect to the input image size (processing amount). For example, as shown in FIG. 11 (a), when image processing is performed on image data of 1 belt = 40 lines, a ring pixel of 1 belt = 80 lines is required, as shown in FIG. 11 (b). Thus, when image processing is performed on image data of 1 belt = 20 lines, ring pixels of 1 belt = 80 lines are required.

このため、画像の分割サイズ（ベルトサイズ）が小さくなる程、ベルトの数が増え、各処理回路に入力するトータルのデータ量が増大する。例えば、図１２（ａ）に示すように、画像処理後の画像データが１２０ラインであったとすると、図１２（ｂ）に示すように、１ベルト＝４０ライン時には、３つのベルト（それぞれにリングピクセルが含まれる）に対して画像処理しなければならず、図１２（ｃ）に示すように、１ベルト＝２０ライン時には、６つのベルト（それぞれにリングピクセルが含まれる）に対して画像処理しなければならない。 For this reason, as the image division size (belt size) decreases, the number of belts increases and the total amount of data input to each processing circuit increases. For example, as shown in FIG. 12 (a), if the image data after image processing is 120 lines, as shown in FIG. 12 (b), when 1 belt = 40 lines, there are three belts (rings for each belt). Image processing must be performed for 6 belts (each including a ring pixel) when 1 belt = 20 lines as shown in FIG. 12C. Must.

このように、画像の分割サイズ（ベルトサイズ）が小さくなる程、画像全体に対して画像処理を施すための処理回数が多くなって、画像生成の処理速度は遅くなり、画像処理の効率が低下する。さらには、データバスの使用率が上がるため、他の画像生成に関係ない優先度の低い処理が遅くなるという問題がある。 As described above, the smaller the image division size (belt size), the greater the number of processes for performing image processing on the entire image, the processing speed of image generation becomes slower, and the efficiency of image processing decreases. To do. Furthermore, since the usage rate of the data bus increases, there is a problem that processing with low priority not related to other image generation is delayed.

ところで、実際の画像処理においては、処理中の画像データを一時保持するバッファを用いてノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う場合と、このようなノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない、すなわちバッファを用いない画像処理を行う場合とがある。 By the way, in actual image processing, a case where noise reduction processing (NR processing) or distortion correction processing is performed using a buffer that temporarily stores image data being processed, and such noise reduction processing (NR processing) or distortion are performed. There are cases where correction processing is not performed, that is, image processing without using a buffer is performed.

バッファを用いて画像処理を行う場合には、バッファに一時保持するので、分割された画像データに対する１回の処理が終わる毎に破棄する必要がない。このため、画像の分割サイズ（ベルトサイズ）が、バッファを用いない場合に比べて多少大きい方が効率的に処理できる。言い換えると、画像の分割サイズ（ベルトサイズ）が小さいと、効率的に画像処理を行うことができない。 When image processing is performed using a buffer, it is temporarily stored in the buffer, so that it is not necessary to discard each time processing of divided image data is completed. For this reason, processing can be efficiently performed when the image division size (belt size) is slightly larger than when the buffer is not used. In other words, if the image division size (belt size) is small, image processing cannot be performed efficiently.

これに対して、バッファを用いない画像処理を行う場合には、画像処理に要する処理能力を考慮すると、画像の分割サイズ（ベルトサイズ）は、ある程度小さくなくてはならない。つまり、処理中の画像を一時的に保持しないので、画像の分割サイズ（ベルトサイズ）を大きくすると、一度に、大量のデータ処理を行わせる必要があるため、回路規模の増大につながる。 On the other hand, when performing image processing without using a buffer, the image division size (belt size) must be small to some extent in consideration of the processing capability required for image processing. In other words, since the image being processed is not temporarily stored, increasing the image division size (belt size) requires a large amount of data to be processed at a time, leading to an increase in circuit scale.

従来技術では、回路規模の増大を避けるため、画像の分割サイズ、すなわち画像処理ライン数を、最終出力のライン数に合わせて、前段の処理回路が処理するライン数を設定していた。すなわち、バッファを用いない画像処理に合わせて設定していた。このため、バッファを用いる画像処理であっても、バッファを用いない画像処理に合わせた分割サイズ、すなわち画像処理ライン数で画像処理を行わなければらならず、画像処理が非効率になってしまうという問題があった。 In the prior art, in order to avoid an increase in circuit scale, the number of lines processed by the processing circuit in the previous stage is set in accordance with the division size of the image, that is, the number of image processing lines, according to the number of lines of the final output. That is, it is set in accordance with image processing that does not use a buffer. For this reason, even in the case of image processing using a buffer, it is necessary to perform image processing with a division size adapted to image processing not using a buffer, that is, the number of image processing lines, which makes the image processing inefficient. There was a problem.

そこで本発明は、元画像を分割し、分割した各画像に対してその周辺画像データを付加して行う画像処理において、回路規模を増大させることなく、画像処理の効率を向上させることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。 Therefore, the present invention provides an image that can improve the efficiency of image processing without increasing the circuit scale in image processing performed by dividing an original image and adding peripheral image data to each divided image. It is an object to provide a processing device, an image processing method, and a program.

上記目的達成のため、請求項１記載の発明は、画像データを分割し、分割した画像データを順番に画像処理する画像処理装置であって、前記分割された画像データに対して、異なる画像処理を行う複数の画像処理手段と、前記複数の画像処理手段から少なくとも１つ以上の画像処理手段を選択する選択手段と、前記画像処理選択手段により選択された少なくとも１つ以上の画像処理手段により実行される画像処理に応じて、前記画像データの分割数を変更する分割数変更手段と、前記選択手段により選択された少なくとも１つ以上の画像処理手段による画像処理の実行順を制御する実行順制御段とを備えることを特徴とする。 In order to achieve the above object, an invention according to claim 1 is an image processing apparatus that divides image data and sequentially processes the divided image data, and performs different image processing on the divided image data. Executed by a plurality of image processing means for performing, a selection means for selecting at least one image processing means from the plurality of image processing means, and at least one image processing means selected by the image processing selection means Execution order control for controlling the order of image processing performed by at least one or more image processing means selected by the selection means, and a division number changing means for changing the number of divisions of the image data in accordance with the image processing to be performed And a step.

また、好ましい態様として、例えば請求項２記載のように、請求項１記載の画像処理装置において、前記複数の画像処理手段は、前記分割された画像データの周囲にリングピクセルを付加して画像処理を行うことを特徴とする。 Further, as a preferred aspect, for example, as in claim 2, in the image processing apparatus according to claim 1, the plurality of image processing means add a ring pixel around the divided image data to perform image processing. It is characterized by performing.

また、好ましい態様として、例えば請求項３記載のように、請求項１または２記載の画像処理装置において、前記複数の画像処理手段は、画像処理中の画像データを一時的に保持するバッファを用いずに画像処理を行う少なくとも１つ以上の第１の画像処理手段と、前記バッファを用いて画像処理を行う少なくとも１つ以上の第２の画像処理手段とを含むことを特徴とする。 As a preferred aspect, for example, as in claim 3, in the image processing apparatus according to claim 1 or 2, the plurality of image processing means use a buffer that temporarily holds image data during image processing. And at least one or more first image processing means for performing image processing, and at least one or more second image processing means for performing image processing using the buffer.

また、好ましい態様として、例えば請求項４記載のように、請求項３記載の画像処理装置において、前記選択手段は、前記複数の画像処理手段の中から、前記第１の画像処理手段を少なくとも１つ以上選択する第１の選択動作と、前記第１の画像処理手段に加えて、前記第２の画像処理手段を少なくとも１つ以上選択する第２の選択動作とを含むことを特徴とする。 Further, as a preferred aspect, for example, as in claim 4, in the image processing apparatus according to claim 3, the selection unit selects at least one of the first image processing unit from the plurality of image processing units. It includes a first selection operation for selecting one or more and a second selection operation for selecting at least one of the second image processing means in addition to the first image processing means.

また、好ましい態様として、例えば請求項５記載のように、請求項４記載の画像処理装置において、前記選択手段に対して、前記第１の選択動作を行わせるか、前記第２の選択動作を行わせるかを指示する選択動作指示手段を更に備えることを特徴とする。 Further, as a preferred aspect, for example, as in claim 5, in the image processing apparatus according to claim 4, the selection unit is caused to perform the first selection operation, or the second selection operation is performed. It further comprises selection operation instruction means for instructing whether to perform the operation.

また、好ましい態様として、例えば請求項６記載のように、請求項３乃至５のいずれかに記載の画像処理装置において、前記分割数変更手段は、前記選択手段により前記少なくとも１つ以上の第１の画像処理手段が選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定し、前記選択手段により前記第１の画像処理手段に加えて、前記少なくとも１つ以上の第２の画像処理手段が選択された場合には、前記選択された前記第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定することを特徴とする。 Further, as a preferred aspect, for example, as in claim 6, in the image processing apparatus according to any one of claims 3 to 5, the division number changing unit is configured to select the at least one or more first by the selection unit. When the image processing means is selected, the image data is divided based on the number of processing lines in the at least one selected first image processing means determined in accordance with the number of final output lines. When the selection means selects the at least one second image processing means in addition to the first image processing means, the selected first image processing is performed. The number of divisions of the image data is determined based on the maximum number of processing lines of the means.

また、上記目的達成のため、請求項７記載の発明は、画像データを分割し、分割した画像データを順番に複数の画像手段により所定の実行順で画像処理する画像処理方法であって、前記複数の画像処理手段から少なくとも１つ以上の画像処理手段を選択するステップと、前記選択された少なくとも１つ以上の画像処理手段により実行される画像処理に応じて、前記画像データの分割数を変更するステップと、前記選択された少なくとも１つ以上の画像処理手段による画像処理の実行順を制御するステップとを含むことを特徴とする。 In order to achieve the above object, the invention described in claim 7 is an image processing method for dividing image data and performing image processing on the divided image data in order by a plurality of image means in a predetermined execution order. Selecting at least one or more image processing means from a plurality of image processing means, and changing the number of divisions of the image data in accordance with the image processing executed by the selected at least one or more image processing means And a step of controlling the execution order of the image processing by the selected at least one or more image processing means.

また、好ましい態様として、例えば請求項８記載のように、請求項７記載の画像処理方法において、前記複数の画像処理手段は、前記分割された画像データの周囲にリングピクセルを付加して画像処理を行うことを特徴とする。 As a preferred aspect, for example, as in claim 8, the image processing method according to claim 7, wherein the plurality of image processing means add a ring pixel around the divided image data to perform image processing. It is characterized by performing.

また、好ましい態様として、例えば請求項９記載のように、請求項７または８記載の画像処理方法において、前記画像処理手段を選択するステップは、前記複数の画像処理手段の中から、画像処理中の画像データを一時的に保持するバッファを用いずに画像処理を行う第１の画像処理手段を少なくとも１つ以上選択するか、前記第２の画像処理手段に加え、前記バッファを用いて画像処理を行う第２の画像処理手段を少なくとも１つ以上選択することを特徴とする。 Further, as a preferred aspect, for example, as in claim 9, in the image processing method according to claim 7 or 8, the step of selecting the image processing means is performing image processing from the plurality of image processing means. At least one or more first image processing means for performing image processing without using a buffer that temporarily holds image data of the image data is selected, or in addition to the second image processing means, image processing is performed using the buffer. It is characterized in that at least one second image processing means for performing is selected.

また、好ましい態様として、例えば請求項１０記載のように、請求項９記載の画像処理方法において、前記第１の選択動作を行わせるか、前記第２の選択動作を行わせるかを指示するステップを更に含むことを特徴とする。 Further, as a preferred aspect, for example, as in claim 10, in the image processing method according to claim 9, the step of instructing whether to perform the first selection operation or the second selection operation. Is further included.

また、好ましい態様として、例えば請求項１１記載のように、請求項９または１０記載の画像処理方法において、前記分割数を変更するステップは、前記第１の画像処理手段が少なくとも１つ以上選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定するステップと、前記第１の画像処理手段に加えて、前記第２の画像処理手段が少なくとも１つ以上選択された場合には、前記選択された第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定するステップとを含むことを特徴とする。 As a preferred aspect, for example, as in claim 11, in the image processing method according to claim 9 or 10, in the step of changing the number of divisions, at least one of the first image processing means is selected. In this case, the step of determining the number of divisions of the image data based on the number of processing lines in the selected at least one or more first image processing means determined according to the number of final output lines; In addition to the first image processing means, when at least one of the second image processing means is selected, based on the maximum number of processing lines of the selected first image processing means, the And determining the number of divisions of the image data.

また、上記目的達成のため、請求項１２記載の発明は、画像データを分割し、分割した画像データを順番に複数の画像手段により所定の実行順で画像処理する画像処理装置のコンピュータに、前記複数の画像処理手段から少なくとも１つ以上の画像処理手段を選択する機能、前記選択された少なくとも１つ以上の画像処理手段と前記設定された実行順とに応じて、前記画像データの分割数を変更する機能、前記選択された少なくとも１つ以上の画像処理手段による画像処理の実行順を制御する機能、を実行させることを特徴とする。 In order to achieve the above object, an invention according to claim 12 is provided in a computer of an image processing apparatus that divides image data and sequentially processes the divided image data by a plurality of image means in a predetermined execution order. According to the function of selecting at least one or more image processing means from a plurality of image processing means, the selected at least one or more image processing means and the set execution order, the number of divisions of the image data is determined. A function of changing, and a function of controlling an execution order of image processing by the selected at least one or more image processing means are executed.

また、好ましい態様として、例えば請求項１３記載のように、請求項１２記載のプログラムにおいて、前記分割数を変更する機能として、前記第１の画像処理手段が少なくとも１つ以上選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定する機能、前記第１の画像処理手段に加えて、前記第２の画像処理手段が少なくとも１つ以上選択された場合には、前記選択された第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定する機能、を実行させることを特徴とする。 As a preferred mode, for example, as in claim 13, in the program according to claim 12, when at least one of the first image processing means is selected as the function of changing the number of divisions A function of determining the number of divisions of the image data based on the number of processing lines in the at least one selected first image processing means determined in accordance with the number of final output lines, the first image In addition to the processing means, when at least one of the second image processing means is selected, the number of divisions of the image data based on the maximum number of processing lines of the selected first image processing means. The function of determining the function is executed.

この発明によれば、元画像を分割し、分割した各画像に対してその周辺画像データを付加して行う画像処理において、回路規模を増大させることなく、画像処理の効率を向上させることができるという利点が得られる。 According to the present invention, in image processing performed by dividing an original image and adding peripheral image data to each divided image, the efficiency of image processing can be improved without increasing the circuit scale. The advantage is obtained.

以下、本発明の実施の形態を、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの略構成を示すブロック図である。図において、ＣＰＵ１は、所定のプログラムを実行することにより、後述する当該デジタルカメラの各部の動作（撮影、画像処理など）を制御する。ＡＳＩＣ２は、後述するＣＣＤ４から入力したベイヤデータに対して、ＹＵＶデータ変換、エッジ強調やシェーディング補正などの画像補正、画像の拡大や縮小、また、必要に応じてノイズ除去や、歪画像の歪曲補正を行う。また、ＡＳＩＣ２は、後述するＣＣＤ４から入力された画像データに対して各種画像処理等を施してＬＣＤ６に表示する。 A. Configuration of Embodiment FIG. 1 is a block diagram showing a schematic configuration of a digital camera according to an embodiment of the present invention. In the figure, the CPU 1 controls the operation (photographing, image processing, etc.) of each part of the digital camera described later by executing a predetermined program. The ASIC 2 performs YUV data conversion, image correction such as edge enhancement and shading correction, enlargement and reduction of the image, and noise removal and distortion correction of the distorted image as necessary with respect to Bayer data input from the CCD 4 described later. Do. Further, the ASIC 2 performs various image processing and the like on the image data input from the CCD 4 to be described later and displays the image data on the LCD 6.

ＲＡＭ３は、ＣＰＵ１や、ＡＳＩＣ２の動作に係る各種パラメータや、撮像された画像データ、該画像データに対して画像処理を施した後の画像データなどを保存するとともに、画像処理での途中結果を一時保存する。特に、本実施形態では、一部の画像処理（ノイズ除去、歪曲補正）において必要とされるバッファ領域がＲＡＭ３に確保される。ＣＣＤ４は、レンズ等の光学系を通して結像された画像を電気信号として取り込み、撮像画像データ（以下、元画像データ、またはベイヤデータという）としてＡＳＩＣ２に供給する。 The RAM 3 stores various parameters related to the operation of the CPU 1 and the ASIC 2, captured image data, image data after image processing is performed on the image data, and temporarily stores intermediate results in the image processing. save. In particular, in this embodiment, a buffer area required for some image processing (noise removal, distortion correction) is secured in the RAM 3. The CCD 4 captures an image formed through an optical system such as a lens as an electrical signal, and supplies the imaged image data (hereinafter referred to as original image data or Bayer data) to the ASIC 2.

ＲＯＭ５は、ＣＰＵ１、ＡＳＩＣ２で実行される所定のプログラムや、動作パラメータなどを記憶する。特に、本実施形態では、各種画像処理で用いられるパラメータなどが記憶する。ＬＣＤ６は、各種メニュー画面や、メニュー画面での各種設定項目、動作パラメータ、撮影時のスルー画像、撮影された元画像データなどを表示する。キーボード７は、各種撮影パラメータ、動作モードを設定・指定するためのボタンや、シャッタボタンなどからなる。電源部８は、各種バッテリ（一次電池、二次電池など）からなり、上述した各部を動作させるための電源を供給する。 The ROM 5 stores predetermined programs executed by the CPU 1 and the ASIC 2, operation parameters, and the like. In particular, in this embodiment, parameters used in various image processes are stored. The LCD 6 displays various menu screens, various setting items on the menu screen, operation parameters, a through image at the time of shooting, original image data that has been shot, and the like. The keyboard 7 includes buttons for setting and specifying various shooting parameters and operation modes, a shutter button, and the like. The power supply unit 8 includes various batteries (primary battery, secondary battery, etc.) and supplies power for operating the above-described units.

次に、図２は、本実施形態によるＡＳＩＣ２の構成を示すブロック図である。図において、ＡＳＩＣ２は、ＤＭＡＣ（Dynamic Memory Access Controller）９、メモリ制御部１０、ＣＣＤ制御部１１、画像変換部１２、画像補正部１３、画素数変換部１４、画像データ転送部１５、ＮＲ（Noise Reduction：ノイズリダクション）部１６、歪曲補正部１７、キーボード制御部１８、及びＬＣＤ制御部１９からなる。 Next, FIG. 2 is a block diagram showing a configuration of the ASIC 2 according to the present embodiment. In the figure, an ASIC 2 includes a dynamic memory access controller (DMAC) 9, a memory control unit 10, a CCD control unit 11, an image conversion unit 12, an image correction unit 13, a pixel number conversion unit 14, an image data transfer unit 15, an NR (Noise). A reduction (noise reduction) unit 16, a distortion correction unit 17, a keyboard control unit 18, and an LCD control unit 19.

ＤＭＡＣ９は、ＣＰＵ１を介さずに、メモリ制御部１０を用いてＲＡＭ３や、ＲＯＭ５に直接アクセスし、元画像データの保存や、読み込み、あるいは、後述する各種画像処理部への引き渡しなどを制御する。メモリ制御部１０は、ＤＭＡＣ９による制御の下、直接、ＲＡＭ３や、ＲＯＭ５にアクセスして、ＤＭＡＣ９とＲＡＭ３や、ＲＯＭ５との間でデータの受け渡しを行う。ＣＣＤ制御部１１は、ＣＣＤ４を駆動制御し、ＣＣＤ４で取り込んだ元画像データをＤＭＡＣ９に供給する。 The DMAC 9 directly accesses the RAM 3 and the ROM 5 by using the memory control unit 10 without using the CPU 1 to control the storage and reading of the original image data or the transfer to various image processing units described later. The memory control unit 10 directly accesses the RAM 3 and the ROM 5 under the control of the DMAC 9 and exchanges data between the DMAC 9 and the RAM 3 and the ROM 5. The CCD control unit 11 drives and controls the CCD 4 and supplies the original image data captured by the CCD 4 to the DMAC 9.

画像変換部１２は、元画像データをＹＵＶデータに変換し、画像補正部１３に供給する。画像補正部１３は、供給される画像データに対して、エッジ強調や、シェーディング補正などの画像補正を行い、画素数変換部１４に供給する。すなわち、画像変換部１２、画像補正部１３、画素数変換部１４は、直結されており、画像処理が終わった画像データを、順次、次の処理部へ引き渡すことができるよう構成されている。画素数変換部１４は、供給される画像データの拡大や、縮小を行う。画像データ転送部１５は、上記画像変換部１２、画像補正部１３、または画素数変換部１４がＲＡＭ３との間で画像データの入出力を行う場合に、ＤＭＡＣ９との間で転送処理を制御する。 The image conversion unit 12 converts the original image data into YUV data and supplies the YUV data to the image correction unit 13. The image correction unit 13 performs image correction such as edge enhancement and shading correction on the supplied image data, and supplies the image data to the pixel number conversion unit 14. That is, the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 are directly connected, and are configured so that image data that has undergone image processing can be sequentially delivered to the next processing unit. The pixel number conversion unit 14 enlarges or reduces the supplied image data. The image data transfer unit 15 controls transfer processing with the DMAC 9 when the image conversion unit 12, the image correction unit 13, or the pixel number conversion unit 14 inputs / outputs image data to / from the RAM 3. .

ＮＲ部１６は、画像データに対してノイズ除去を行う。また、歪曲補正部１７は、画像データに対して台形歪みなどを除去する歪曲補正を行う。キーボード制御部１８は、キーボード７の入力（スキャン）を制御する。ＬＣＤ制御部１９は、ＤＭＡＣ９から供給される元画像データや、画像処理が施された画像データなどのＬＣＤ６への表示を制御する The NR unit 16 performs noise removal on the image data. The distortion correction unit 17 performs distortion correction for removing trapezoidal distortion and the like on the image data. The keyboard control unit 18 controls input (scanning) of the keyboard 7. The LCD control unit 19 controls the display on the LCD 6 of the original image data supplied from the DMAC 9 and the image data subjected to image processing.

本実施形態では、ユーザによってキーボード７から指示（変更）されるか、あるいは、撮影モード（スナップ、遠景、スポーツ、夜景）が選択（変更）されることによって、撮影モード毎に予め設定（またはユーザ設定）された画像処理モードが自動的に選択（変更）されるか、あるいは、撮影時の露出や、コントラストなどの状況に応じて、画像処理モードが選択（変更）される。 In the present embodiment, an instruction (change) is made from the keyboard 7 by the user, or a shooting mode (snap, distant view, sports, night view) is selected (changed) to set in advance for each shooting mode (or the user). The set image processing mode is automatically selected (changed), or the image processing mode is selected (changed) depending on the situation such as exposure and contrast at the time of shooting.

本実施形態では、上記画像処理モードとして、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない、すなわちバッファを用いない第１の画像処理モードと、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う、すなわちバッファを用いる第２の画像処理モードとを用意している。 In the present embodiment, as the image processing mode, noise reduction processing (NR processing) and distortion correction processing are not performed, that is, a first image processing mode without using a buffer, noise reduction processing (NR processing) and distortion correction processing. A second image processing mode using a buffer is prepared.

そして、本実施形態では、第１の画像処理モード、または第２の画像処理モードのどちらを実行するかに応じて、すなわち大容量バッファを用いて画像処理を行うか否かに応じて、各画像処理部での入出力ライン数を変更するようになっている（入出力ライン数を決めることで画像データの分割サイズ（ベルトサイズ）も決まる）。そのため、画像変換部１２、画像補正部１３、画素数変換部１４に対して、１回で処理すべき画像データのサイズ（ライン数）を指示することで、画像変換部１２、画像補正部１３、画素数変換部１４の動作を変更している。 In the present embodiment, depending on whether the first image processing mode or the second image processing mode is executed, that is, depending on whether image processing is performed using a large-capacity buffer, The number of input / output lines in the image processing unit is changed (the division size (belt size) of the image data is also determined by determining the number of input / output lines). Therefore, the image conversion unit 12, the image correction unit 13, and the image correction unit 13 are instructed to the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 by specifying the size (number of lines) of image data to be processed at one time. The operation of the pixel number conversion unit 14 is changed.

概念的には、バッファを用いない第１の画像処理モードでは、画像変換部１２、画像補正部１３、画素数変換部１４において、可変できるライン数の中で、より大きなライン数を１回に処理するライン数として指定し、バッファを用いる第２の画像処理モードでは、後段の画像処理部が１回に処理できるライン数に応じて、前段の画像処理部のライン数を決定する。なお、各画像処理部での入出力ライン数（ベルトサイズ）の具体例については後述する。 Conceptually, in the first image processing mode that does not use a buffer, the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 change a larger number of lines at a time out of the variable number of lines. In the second image processing mode that designates the number of lines to be processed and uses a buffer, the number of lines in the preceding image processing unit is determined according to the number of lines that can be processed at one time by the subsequent image processing unit. A specific example of the number of input / output lines (belt size) in each image processing unit will be described later.

図３は、本実施形態による、バッファを必要とするノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない第１の画像処理モードでの画像データの流れを示すブロック図である。なお、ここでは、画像データの流れのみを説明し、各部で入出力される画像データのサイズについては後述する。 FIG. 3 is a block diagram illustrating the flow of image data in the first image processing mode in which noise reduction processing (NR processing) that requires a buffer and distortion correction processing are not performed according to the present embodiment. Here, only the flow of image data will be described, and the size of image data input / output in each unit will be described later.

第１の画像処理モードでは、ＲＡＭ３に保存されたベイヤデータは、画像データ転送部１５により読み出され、画像変換部１２、画像補正部１３、画素数変換部１４へと順に供給されながら、各部で所定の画像処理が行われ、画像データ転送部１５に渡された後、ＲＡＭ３に保存される。 In the first image processing mode, the Bayer data stored in the RAM 3 is read out by the image data transfer unit 15 and is supplied to the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 in order. Predetermined image processing is performed, transferred to the image data transfer unit 15, and stored in the RAM 3.

図４は、本実施形態による、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う、すなわちバッファを用いる第２の画像処理モードでの画像データの流れを示すブロック図である。ここでは、上述した第１の画像処理モードと同様に、画像データの流れのみを説明し、各部で入出力される画像データのサイズについては後述する。 FIG. 4 is a block diagram illustrating a flow of image data in the second image processing mode in which noise reduction processing (NR processing) and distortion correction processing according to the present embodiment are performed, that is, a buffer is used. Here, as in the first image processing mode described above, only the flow of image data will be described, and the size of image data input / output in each unit will be described later.

第２の画像処理モードでは、ＲＡＭ３に保存されたベイヤデータは、画像データ転送部１５により読み出され、画像変換部１２に供給され、画像変換が行われた後、画像データ転送部１５に渡され、一旦、ＲＡＭ３に保存される。次に、ＲＡＭ３に保存された画像データは、ＮＲ部１６に読み出され、ノイズリダクション処理が行われた後、ＲＡＭ３に保存される。 In the second image processing mode, the Bayer data stored in the RAM 3 is read by the image data transfer unit 15, supplied to the image conversion unit 12, subjected to image conversion, and then passed to the image data transfer unit 15. Once stored in the RAM 3. Next, the image data stored in the RAM 3 is read out to the NR unit 16, subjected to noise reduction processing, and then stored in the RAM 3.

ＲＡＭ３に保存された画像データは、再び、画像データ転送部１５により読み出され、画像補正部１３に供給され、画像補正が行われた後、画像データ転送部１５に渡され、一旦、ＲＡＭ３に保存される。次に、ＲＡＭ３に保存された画像データは、歪曲補正部１７に読み出され、歪曲補正が行われた後、ＲＡＭ３に保存される。 The image data stored in the RAM 3 is read again by the image data transfer unit 15, supplied to the image correction unit 13, subjected to image correction, passed to the image data transfer unit 15, and temporarily stored in the RAM 3. Saved. Next, the image data stored in the RAM 3 is read by the distortion correction unit 17, subjected to distortion correction, and then stored in the RAM 3.

次に、ＲＡＭ３に保存された画像データは、再び、画像データ転送部１５により読み出され、画素数変換部１４に供給され、画素数変換が行われた後、画像データ転送部１５に渡され、ＲＡＭ３に保存される。 Next, the image data stored in the RAM 3 is read again by the image data transfer unit 15, supplied to the pixel number conversion unit 14, subjected to pixel number conversion, and then transferred to the image data transfer unit 15. , Stored in the RAM 3.

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図５乃至７は、本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、ＣＰＵ１は、画像処理モードの選択（または変更）があったか否かを判断する（ステップＳ１０）。そして、画像処理モードの選択（または変更）がない場合には、その他の処理へ進む。 B. Operation of Embodiment Next, the operation of the above-described embodiment will be described.
5 to 7 are flowcharts for explaining the operation of the digital camera according to the present embodiment. First, the CPU 1 determines whether or not an image processing mode has been selected (or changed) (step S10). If no image processing mode is selected (or changed), the process proceeds to other processing.

一方、画像処理モードが選択（または変更）されると、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない、すなわちバッファを用いない第１の画像処理モードであるか否かを判断する（ステップＳ１２）。そして、第１の画像処理モードが選択（または変更）された場合には、ＣＰＵ１は、画像変換部１２、画像補正部１３、画素数変換部１４を直結して動作させるよう画像データ転送部１５に指示する（ステップＳ１４）。 On the other hand, when the image processing mode is selected (or changed), it is determined whether or not the noise reduction processing (NR processing) or distortion correction processing is not performed, that is, whether or not the first image processing mode does not use a buffer ( Step S12). When the first image processing mode is selected (or changed), the CPU 1 causes the image data transfer unit 15 to directly connect the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 to operate. (Step S14).

画像データ転送部１５は、上記指示を受けると、画像変換部１２、画像補正部１３、画素数変換部１４に対して出力ライン数から計算したライン数を設定する（ステップＳ１６）。すなわち、各画像処理部において、可変できる出力ライン数の中で、より大きな出力ライン数を１回に処理するライン数として指定する。 When receiving the above instruction, the image data transfer unit 15 sets the number of lines calculated from the number of output lines to the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 (step S16). That is, in each image processing unit, among the variable number of output lines, a larger number of output lines is designated as the number of lines to be processed at one time.

次に、画像データ転送部１５は、ＲＡＭ３にベイヤデータが格納されたか否かを判断し（ステップＳ１８）、ベイヤデータが格納されるまで待機し（ステップＳ１８のＮＯ）、ベイヤデータが格納されると、ベルトカウンタを初期化「０」し（ステップＳ２０）、ベルトカウンタを「１」だけインクリメントし（ステップＳ２２）、ベイヤデータからリングピクセルを含む１１２×３６ピクセル分を画像変換部１２に対して出力する（ステップＳ２４）。 Next, the image data transfer unit 15 determines whether or not Bayer data is stored in the RAM 3 (Step S18), and waits until Bayer data is stored (NO in Step S18). The counter is initialized to “0” (step S20), the belt counter is incremented by “1” (step S22), and 112 × 36 pixels including ring pixels are output to the image conversion unit 12 from the Bayer data (step S22). S24).

画像変換部１２は、上記入力された画像データ（１１２×３６ピクセル）を、ＹＵＶデータに変換し、９２×１６ピクセルで画像補正部１３に出力する（ステップＳ２６）。画像補正部１３は、上記入力された画像データ（９２×１６ピクセル）に対して画像補正処理を施し、８６×１０ピクセルで画素数変換部１４に出力する（ステップＳ２８）。画素数変換部１４は、入力された画像データを拡大し、１６０×８ピクセルで画像データ転送部１５に出力する（ステップＳ３０） The image conversion unit 12 converts the input image data (112 × 36 pixels) into YUV data, and outputs the YUV data to the image correction unit 13 with 92 × 16 pixels (step S26). The image correction unit 13 performs image correction processing on the input image data (92 × 16 pixels) and outputs the image data to the pixel number conversion unit 14 at 86 × 10 pixels (step S28). The pixel number conversion unit 14 enlarges the input image data and outputs it to the image data transfer unit 15 at 160 × 8 pixels (step S30).

画像データ転送部１５では、上記１６０×８ピクセルの画像データを、ＤＭＡＣ９を介してＲＡＭ３に格納する。次に、全ベルト分、終了したか否かを判断し（ステップＳ３４）、全ベルト分終了していない場合には、ステップＳ２２に戻り、次のベルトに対して、上述したステップＳ２４〜Ｓ３２を繰り返し実行する。そして、全ベルト分終了した場合には、当該処理を終了する。 The image data transfer unit 15 stores the 160 × 8 pixel image data in the RAM 3 via the DMAC 9. Next, it is determined whether or not all belts have been completed (step S34). If all belts have not been completed, the process returns to step S22, and the above steps S24 to S32 are performed for the next belt. Run repeatedly. Then, when all the belts have been completed, the process ends.

一方、ステップＳ１２で、第１の画像処理モードでないと判断されると（ステップＳ１２のＮＯ）、ＣＰＵ１は、画像変換部１２、画像補正部１３、画素数変換部１４での処理を、最大処理ライン数で動作させるように画像データ転送部１５に指示する（ステップＳ３６）。画像データ転送部１５は、上記指示を受けると、画像変換部１２、画像補正部１３を、最大処理ライン数に設定し、直結でないことを設定する（ステップＳ３８）。
次に、画像データ転送部１５は、ＲＡＭ３にベイヤデータが格納されたか否かを判断し（ステップＳ４０）、ベイヤデータが格納されるまで待機し（ステップＳ４０のＮＯ）、ベイヤデータが格納されると、ベルトカウンタを初期化「０」し（ステップＳ４２）、ベルトカウンタを「１」だけインクリメントし（ステップＳ４４）、ベイヤデータからリングピクセルを含む１１２×６４ピクセル分を画像変換部１２に対して出力する（ステップＳ４６）。 On the other hand, if it is determined in step S12 that the mode is not the first image processing mode (NO in step S12), the CPU 1 performs processing in the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 as maximum processing. The image data transfer unit 15 is instructed to operate with the number of lines (step S36). Upon receiving the above instruction, the image data transfer unit 15 sets the image conversion unit 12 and the image correction unit 13 to the maximum number of processing lines and sets that they are not directly connected (step S38).
Next, the image data transfer unit 15 determines whether or not Bayer data is stored in the RAM 3 (Step S40), and waits until the Bayer data is stored (NO in Step S40). The counter is initialized to “0” (step S42), the belt counter is incremented by “1” (step S44), and 112 × 64 pixels including ring pixels are output to the image conversion unit 12 from the Bayer data (step S44). S46).

画像変換部１２は、上記入力された画像データ（１１２×６４ピクセル）を、ＹＵＶデータに変換し、９２×４４ピクセルで画像補正部１３に出力する（ステップＳ４８）。画像補正部１３は、上記入力された画像データ（９２×４４ピクセル）をＤＭＡＣ９を介してＲＡＭ３（バッファ）に書き込む（ステップＳ５０）。ＮＲ部１６は、該ＲＡＭ３（バッファ）に保存された画像データ（９２×４４ピクセル）に対してノイズリダクションを施す（ステップＳ５２）。画像データ転送部１５は、ノイズリダクションされた画像データ（９２×４４ピクセル）を読み込み、画像補正部１３に出力する（ステップＳ５４）。 The image conversion unit 12 converts the input image data (112 × 64 pixels) into YUV data, and outputs the YUV data to the image correction unit 13 with 92 × 44 pixels (step S48). The image correction unit 13 writes the input image data (92 × 44 pixels) into the RAM 3 (buffer) via the DMAC 9 (step S50). The NR unit 16 performs noise reduction on the image data (92 × 44 pixels) stored in the RAM 3 (buffer) (step S52). The image data transfer unit 15 reads the noise-reduced image data (92 × 44 pixels) and outputs it to the image correction unit 13 (step S54).

画像補正部１３は、上記入力された画像データ（９２×４４ピクセル）に対して画像補正処理を施し、８６×３６ピクセルで画像データ転送部１５に出力する（ステップＳ５６）。画像データ部１５は、入力された画像データ（８６×３６ピクセル）を、ＤＭＡＣ９を介してＲＡＭ３（バッファ）に書き込む（ステップＳ５８）。次に、歪曲補正部１７は、該ＲＡＭ３（バッファ）に保存された画像データ（８６×３６ピクセル）に対して歪曲補正を施す（ステップＳ６０）。 The image correction unit 13 performs image correction processing on the input image data (92 × 44 pixels) and outputs the image data to the image data transfer unit 15 at 86 × 36 pixels (step S56). The image data unit 15 writes the input image data (86 × 36 pixels) into the RAM 3 (buffer) via the DMAC 9 (step S58). Next, the distortion correction unit 17 performs distortion correction on the image data (86 × 36 pixels) stored in the RAM 3 (buffer) (step S60).

画像データ転送部１５は、歪曲補正された画像データ（８６×３６ピクセル）を読み込み、画素数変換部１４に出力する（ステップＳ６２）。画素数変換部１４は、入力された画像データを拡大し、１６０×８ピクセルで画像データ転送部１５に出力する（ステップＳ６４）。画像データ転送部１５では、上記１６０×８ピクセルの画像データを、ＤＭＡＣ９を介してＲＡＭ３に格納する。次に、全ベルト分、終了したか否かを判断し（ステップＳ６８）、全ベルト分終了していない場合には、ステップＳ４４に戻り、次のベルトに対して、上述したステップＳ４６〜Ｓ６６を繰り返し実行する。そして、全ベルト分終了した場合には、当該処理を終了する。 The image data transfer unit 15 reads the distortion corrected image data (86 × 36 pixels) and outputs it to the pixel number conversion unit 14 (step S62). The pixel number conversion unit 14 enlarges the input image data and outputs it to the image data transfer unit 15 at 160 × 8 pixels (step S64). The image data transfer unit 15 stores the 160 × 8 pixel image data in the RAM 3 via the DMAC 9. Next, it is determined whether or not the process has been completed for all belts (step S68). If the process has not been completed for all belts, the process returns to step S44, and the above-described steps S46 to S66 are performed for the next belt. Run repeatedly. Then, when all the belts have been completed, the process ends.

次に、本実施形態についてより具体的に説明する。
図８（ａ）〜（ｃ）は、元画像に対して、第１の動作モードでの処理の流れと、第２の動作モードでの処理の流れを示す概念図である。 Next, this embodiment will be described more specifically.
FIGS. 8A to 8C are conceptual diagrams showing the flow of processing in the first operation mode and the flow of processing in the second operation mode for the original image.

まず、図８（ａ）に示すように、元画像のベイヤデータの一部を２倍に拡大してＹＵＶデータとして出力する場合について説明する。この場合、画像変換部１２のリングピクセルは、上下左右に１０ピクセル、画像補正部１３のリングピクセルは、上下左右に３ピクセル、画素数変換部１４のリングピクセルは、上下左右に３ピクセル必要なものとする。最終出力画像は、水平１６０ピクセル、垂直１２０ピクセルとし、出力の１ベルトのライン数は、８ピクセルとする。各種サイズの設定、及び経路の設定は、ＣＰＵ１が画像データ転送部１５に対して設定する。 First, as shown in FIG. 8A, a case where a part of the Bayer data of the original image is doubled and output as YUV data will be described. In this case, the ring pixel of the image conversion unit 12 requires 10 pixels vertically and horizontally, the ring pixel of the image correction unit 13 requires 3 pixels vertically and horizontally, and the ring pixel of the pixel number converter 14 requires 3 pixels vertically and horizontally. Shall. The final output image is 160 pixels horizontally and 120 pixels vertically, and the number of lines for one belt of output is 8 pixels. Various sizes and routes are set by the CPU 1 for the image data transfer unit 15.

ＮＲや歪曲補正を行わない場合、すなわち、第１の画像処理モードでは、図３に示すように、画像変換部１２、画像補正部１３、画素数変換部１４を直結して使用する。この場合、必要なデータは、図８（ｂ）に示すように、ＮＲ部１６と歪面補正部１７とを除いた場合と同様になる。最終出力の１ベルト分１６０ｘ８ピクセルを出力するためには、画素数変換部１２に対して、１／２の８０ｘ４ピクセル＋画素数変換部１４のリングピクセル３ｘ２である８６ｘ１０ピクセルの画像データを入力する必要がある。 When NR or distortion correction is not performed, that is, in the first image processing mode, as shown in FIG. 3, the image conversion unit 12, the image correction unit 13, and the pixel number conversion unit 14 are directly connected and used. In this case, the necessary data is the same as the case where the NR unit 16 and the distorted surface correction unit 17 are excluded, as shown in FIG. In order to output 160 × 8 pixels for one belt of the final output, the image data of 86 × 10 pixels that are ½ 80 × 4 pixels + ring pixel 3 × 2 of the pixel number conversion unit 14 is input to the pixel number conversion unit 12. There is a need.

同様にして、画像補正部１３には、８６ｘ１０ピクセルに画像補正部１３のリングピクセルを加えた９２ｘ１６ピクセルの画像データを、画像変換部１２には、９２ｘ１６ピクセルに画像変換部１２のリングピクセルを加えた１１２ｘ３６ピクセルの画像データを入力する必要がある。 Similarly, 92 × 16 pixel image data obtained by adding the image correction unit 13 ring pixel to 86 × 10 pixels is added to the image correction unit 13, and the ring pixel of the image conversion unit 12 is added to 92 × 16 pixels to the image conversion unit 12. It is necessary to input image data of 112 × 36 pixels.

一方、ＮＲや歪曲補正を行う場合、すなわち、第２の画像処理モードでは、図４に示すように、直結できるモジュールの間でＮＲや歪曲補正を行うためにバッファを用いるので、画像処理毎にＲＡＭ３へのデータ入出力を行う必要がある。この場合、図８（ｃ）に示すように、画像変換部１２の最大処理ライン数を入力６４ライン、出力４４ライン、画像補正部１３の最大処理ライン数を入力４４ライン、出力３８ラインとする。 On the other hand, when performing NR and distortion correction, that is, in the second image processing mode, as shown in FIG. 4, a buffer is used to perform NR and distortion correction between modules that can be directly connected. It is necessary to input / output data to / from the RAM 3. In this case, as shown in FIG. 8C, the maximum processing line number of the image conversion unit 12 is 64 input lines and 44 output lines, and the maximum processing line number of the image correcting unit 13 is 44 input line and 38 output lines. .

この結果、本実施形態では、画像変換部１２、及び画像補正部１３で、２ベルトのみの処理で必要サイズ分の処理を行うことができる。必要なサイズ６０ライン分に対し、画像変換部１２では、２ベルトで８８ライン分、画像補正部１３では、２ベルトで７６ライン分の処理ができるため、２ベルトのみの処理でよい。最終出力である画素数変換部１４だけは、第１の画像処理モード時と同じように、１５ベルト分繰り返すことで、１６０ｘ１２０ピクセルの出力画像が得られる。 As a result, in the present embodiment, the image conversion unit 12 and the image correction unit 13 can perform processing for a necessary size by processing with only two belts. For the required size of 60 lines, the image conversion unit 12 can process 88 lines with 2 belts, and the image correction unit 13 can process 76 lines with 2 belts. Only the pixel number conversion unit 14 that is the final output repeats 15 belts in the same manner as in the first image processing mode, thereby obtaining an output image of 160 × 120 pixels.

図９、及び図１０は、第１、第２の画像処理モードにおける、画像変換部１２でのベルト処理範囲を示す概念図である。図９に示すように、画像変換部１２への入力が３６ライン／ベルトである場合、出力では、１６ライン／ベルトとなるため、出力側でベルトの重複ができ、処理するデータ量が大きくなる。 9 and 10 are conceptual diagrams showing the belt processing range in the image conversion unit 12 in the first and second image processing modes. As shown in FIG. 9, when the input to the image conversion unit 12 is 36 lines / belt, the output is 16 lines / belt, so the belt can be overlapped on the output side, and the amount of data to be processed increases. .

一方、図１０に示すように、画像変換部１２への入力が６４ライン／ベルトである場合、出力では、４４ライン／ベルトとなり、重複部分がない。すなわち、バッファを用いる第２の画像処理モードでは、画像変換部１２、画像補正部１３での１ベルトの処理ライン数を処理モジュールの最大値にするとともに、処理ベルト数をその最大値のライン数にあわせて決定し（処理ベルトの数を少なくし）、データ処理を行うことで、リングピクセルによる余分なデータ処理を少なくすることができ、画像処理速度を速めることができる。 On the other hand, as shown in FIG. 10, when the input to the image conversion unit 12 is 64 lines / belt, the output is 44 lines / belt, and there is no overlapping portion. That is, in the second image processing mode using the buffer, the number of processing lines for one belt in the image conversion unit 12 and the image correction unit 13 is set to the maximum value of the processing module, and the number of processing belts is set to the maximum number of lines. By performing the data processing in accordance with (reducing the number of processing belts) and performing data processing, it is possible to reduce the extra data processing by the ring pixels and increase the image processing speed.

ここで、図８（ｂ）に示す第１の画像処理モードと図８（ｃ）に示す第２の画像処理モードとでの画像変換部１２、画像補正部１３の入出力のためのメモリアクセスのバイト数を比較する。なお、１ピクセル２バイトとする。図８（ｂ）に示す第１の画像処理モードの場合には、（１１２ｘ３６ｘ２＋９２ｘ１６ｘ２＋９２ｘ１６ｘ２＋８６ｘ１０ｘ２）ｘ１５ｂｅｌｔ＝２３５０８０バイトとなる。一方、図８（ｃ）に示す第２の画像処理モードの場合は、（１１２ｘ６４ｘ２＋９２ｘ４４ｘ２＋９２ｘ４４ｘ２＋８６ｘ３８ｘ２）ｘ２ｂｅｌｔ＝７４１２８バイトとなり、メモリアクセス量が大幅に削減されることが分かる。なお、上記計算式では、画像処理回路への出力側と入力側の両方のアクセス数を加算している。 Here, memory access for input / output of the image conversion unit 12 and the image correction unit 13 in the first image processing mode shown in FIG. 8B and the second image processing mode shown in FIG. 8C. Compare the number of bytes. One pixel is 2 bytes. In the case of the first image processing mode shown in FIG. 8B, (112 × 36 × 2 + 92 × 16 × 2 + 92 × 16 × 2 + 86 × 10 × 2) × 15belt = 235080 bytes. On the other hand, in the case of the second image processing mode shown in FIG. 8C, (112 × 64 × 2 + 92 × 44 × 2 + 92 × 44 × 2 + 86 × 38 × 2) × 2belt = 74128 bytes, which indicates that the memory access amount is significantly reduced. In the above formula, the number of accesses on both the output side and the input side to the image processing circuit is added.

上述した実施形態によれば、画像処理において、バッファを用いない第１の画像処理モードを実行するか、バッファを用いる第２の画像処理モードを実行するかに応じて、画像処理を行う各処理部で入出力するライン数、処理ベルト数を、各処理部での処理能力に応じて変更することで、それぞれの画像処理モードにおけるデータ処理を最適化したので、リングピクセルによる余分なデータ処理を行うことがなくなり、メモリアクセスが少なくなることで、処理速度を速くすることができるとともに、画像処理以外の他の処理部によるメモリアクセスの待機時間を短縮することができる。 According to the above-described embodiment, in image processing, each process for performing image processing depending on whether the first image processing mode that does not use a buffer or the second image processing mode that uses a buffer is executed. By changing the number of lines input and output and the number of processing belts according to the processing capacity of each processing unit, data processing in each image processing mode is optimized, so extra data processing by ring pixels is performed. Since the processing is not performed and the memory access is reduced, the processing speed can be increased and the waiting time for the memory access by other processing units other than the image processing can be shortened.

本発明の実施形態によるデジタルカメラの略構成を示すブロック図である。It is a block diagram which shows the schematic structure of the digital camera by embodiment of this invention. 本実施形態によるＡＳＩＣ２の構成を示すブロック図である。It is a block diagram which shows the structure of ASIC2 by this embodiment. 本実施形態による、バッファを必要とするノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない第１の画像処理モードでの画像データの流れを示すブロック図である。It is a block diagram which shows the flow of the image data in the 1st image processing mode which does not perform the noise reduction process (NR process) and distortion correction process which require a buffer by this embodiment. 本実施形態による、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う、すなわちバッファを用いる第２の画像処理モードでの画像データの流れを示すブロック図である。It is a block diagram which shows the flow of the image data in the 2nd image processing mode which performs a noise reduction process (NR process) and a distortion correction process by this embodiment, ie, uses a buffer. 本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the digital camera according to the present embodiment. 本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the digital camera according to the present embodiment. 本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。4 is a flowchart for explaining the operation of the digital camera according to the present embodiment. 本実施形態において、元画像に対して、第１の動作モードでの処理の流れと、第２の動作モードでの処理の流れを示す概念図である。In this embodiment, it is a conceptual diagram which shows the flow of a process in a 1st operation mode with respect to an original image, and the flow of a process in a 2nd operation mode. 本実施形態において、第１の画像処理モードにおける、画像変換部１２でのベルト処理範囲を示す概念図である。In this embodiment, it is a conceptual diagram which shows the belt processing range in the image conversion part 12 in a 1st image processing mode. 本実施形態において、第２の画像処理モードにおける、画像変換部１２でのベルト処理範囲を示す概念図である。In this embodiment, it is a conceptual diagram which shows the belt processing range in the image conversion part 12 in 2nd image processing mode. 従来技術による、画像処理時における画像データのライン数／ベルトとリングピクセルの大きさとの関係を示す概念図である。It is a conceptual diagram which shows the relationship between the number of lines of image data at the time of image processing / belt and the size of a ring pixel by a prior art. 従来技術による、画像の分割サイズ（ベルトサイズ）と処理データ量との関係を示す概念図である。It is a conceptual diagram which shows the relationship between the division size (belt size) of an image and the amount of processing data by a prior art.

Explanation of symbols

１ＣＰＵ
２ＡＳＩＣ
３ＲＡＭ
４ＣＣＤ
５ＲＯＭ
６ＬＣＤ
７キーボード
８電源部
９ＤＭＡＣ
１０メモリ制御部
１１ＣＣＤ制御部
１２画像変換部
１３画像補正部
１４画素数変換部
１５画像データ転送部
１６ＮＲ部
１７歪曲補正部
１８キーボード制御部
１９ＬＣＤ制御部 1 CPU
2 ASIC
3 RAM
4 CCD
5 ROM
6 LCD
7 Keyboard 8 Power supply 9 DMAC
DESCRIPTION OF SYMBOLS 10 Memory control part 11 CCD control part 12 Image conversion part 13 Image correction part 14 Pixel number conversion part 15 Image data transfer part 16 NR part 17 Distortion correction part 18 Keyboard control part 19 LCD control part

Claims

An image processing apparatus that divides image data and sequentially processes the divided image data,
A plurality of image processing means for performing different image processing on the divided image data;
Selecting means for selecting at least one image processing means from the plurality of image processing means;
Division number changing means for changing the number of divisions of the image data in accordance with image processing executed by at least one or more image processing means selected by the image processing selection means;
An image processing apparatus comprising: an execution order control stage that controls an execution order of image processing by at least one image processing means selected by the selection means.

The image processing apparatus according to claim 1, wherein the plurality of image processing units perform image processing by adding ring pixels around the divided image data.

The plurality of image processing means includes at least one or more first image processing means for performing image processing without using a buffer that temporarily holds image data being processed, and image processing using the buffer. The image processing apparatus according to claim 1, further comprising at least one second image processing unit that performs the processing.

The selection means includes, in addition to the first selection operation for selecting at least one of the first image processing means from the plurality of image processing means, and the second image processing means. The image processing apparatus according to claim 3, further comprising: a second selection operation that selects at least one of the image processing means.

5. The image processing according to claim 4, further comprising selection operation instruction means for instructing the selection means to perform the first selection operation or the second selection operation. apparatus.

The division number changing means includes
In the case where the at least one or more first image processing means is selected by the selection means, the selected at least one or more first image processing means determined in accordance with the number of final output lines. Determine the number of divisions of the image data based on the number of processing lines,
When the selection means selects the at least one second image processing means in addition to the first image processing means, the maximum processing line of the selected first image processing means. 6. The image processing apparatus according to claim 3, wherein the number of divisions of the image data is determined based on the number.

An image processing method that divides image data and sequentially processes the divided image data by a plurality of image means in a predetermined execution order,
Selecting at least one image processing means from the plurality of image processing means;
Changing the number of divisions of the image data in accordance with image processing executed by the selected at least one or more image processing means;
Controlling the order of execution of image processing by the selected at least one or more image processing means.

The image processing method according to claim 7, wherein the plurality of image processing means perform image processing by adding ring pixels around the divided image data.

The step of selecting the image processing means includes at least one first image processing means for performing image processing from among the plurality of image processing means without using a buffer that temporarily holds image data being processed. 9. The method according to claim 7, wherein at least one or more second image processing means for performing image processing using the buffer is selected in addition to the second image processing means. Image processing method.

The image processing method according to claim 9, further comprising a step of instructing whether to perform the first selection operation or the second selection operation.

The step of changing the number of divisions includes:
When at least one of the first image processing means is selected, based on the number of processing lines in the selected at least one or more first image processing means determined in accordance with the number of final output lines. Determining the number of divisions of the image data;
In addition to the first image processing means, when at least one of the second image processing means is selected, based on the maximum number of processing lines of the selected first image processing means, the The image processing method according to claim 9, further comprising: determining a division number of the image data.

A computer of an image processing apparatus that divides image data and sequentially processes the divided image data by a plurality of image means in a predetermined execution order.
A function of selecting at least one image processing means from the plurality of image processing means;
A function of changing the number of divisions of the image data according to the selected at least one or more image processing means and the set execution order;
A function of controlling the execution order of image processing by the selected at least one or more image processing means;
A program characterized by having executed.

As a function of changing the number of divisions,
When at least one of the first image processing means is selected, based on the number of processing lines in the selected at least one or more first image processing means determined in accordance with the number of final output lines. A function for determining the number of divisions of the image data;
In addition to the first image processing means, when at least one of the second image processing means is selected, based on the maximum number of processing lines of the selected first image processing means, the 13. The program according to claim 12, wherein a function for determining the number of divisions of image data is executed.