JP2013175803A

JP2013175803A - Image processing device and camera

Info

Publication number: JP2013175803A
Application number: JP2012037419A
Authority: JP
Inventors: Toru Miyakoshi; 徹宮越
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-02-23
Filing date: 2012-02-23
Publication date: 2013-09-05

Abstract

PROBLEM TO BE SOLVED: To lighten image processing burdens other than compressed code processing.SOLUTION: An image processing device 1 comprises: image input means 15a for inputting a plurality of successively photographed frame images; image processing means 15c for performing predetermined image processing on frame images; encode processing means 15d for performing encode processing on frame images; correlation determination means 15b, 15h for determining whether there is correlation between preceding and following frame images for each block region used in encode processing; and control means 15h for controlling the image processing means 15c and the encode processing means 15d, respectively, so that when image processing and encode processing are performed on an image of the first frame and then image processing is performed on images of the second and subsequent frames, image processing aimed at the first region which was determined as having no correlation is performed and image processing aimed at the second region which was determined as having correlation is omitted.

Description

本発明は、画像処理装置、およびカメラに関する。 The present invention relates to an image processing apparatus and a camera.

連写撮影において、ＪＰＥＧ等の圧縮処理量を軽減する技術が知られている（特許文献１参照）。１フレーム前のブロックデータと現フレームのブロックデータとを比較して、判定閾値以内の誤差である場合に圧縮処理を施さずに処理負担を軽減する点が開示されている。 In continuous shooting, a technique for reducing the amount of compression processing such as JPEG is known (see Patent Document 1). It is disclosed that the block data of one frame before and the block data of the current frame are compared, and if the error is within the determination threshold, the processing load is reduced without performing compression processing.

特開２００６−２４９９３号公報JP 2006-24993 A

従来技術では、圧縮符号化処理以外の画像処理負担の軽減について検討がなされていなかった。 In the prior art, no consideration has been given to reducing the burden of image processing other than compression encoding processing.

本発明による画像処理装置は、連写撮影された複数のフレーム画像を入力する画像入力手段と、フレーム画像に対して所定の画像処理を行う画像処理手段と、フレーム画像に対して符号化処理を行う符号化処理手段と、前後するフレーム画像間の相関の有無を、符号化処理で用いるブロック領域ごとに判定する相関判定手段と、１フレーム目の画像に対して画像処理と符号化処理とを行い、２フレーム目以降の画像に対して画像処理を行う際、相関無しが判定されている第１領域を対象に画像処理を行い、相関有りが判定されている第２領域を対象にする画像処理を省略するように画像処理手段および符号化処理手段をそれぞれ制御する制御手段と、を備える。 An image processing apparatus according to the present invention includes an image input unit that inputs a plurality of frame images taken continuously, an image processing unit that performs predetermined image processing on the frame image, and an encoding process on the frame image. Encoding processing means to perform, correlation determination means for determining the presence or absence of correlation between the preceding and following frame images for each block region used in the encoding processing, and image processing and encoding processing for the first frame image When performing image processing on the second and subsequent frames, the image processing is performed on the first area determined to have no correlation, and the second area is determined to have correlation. And control means for controlling the image processing means and the encoding processing means so as to omit the processing.

本発明によれば、圧縮符号化処理以外の画像処理負担を軽減することができる。 According to the present invention, it is possible to reduce an image processing burden other than compression encoding processing.

本発明の一実施の形態による画像処理装置を搭載したデジタルカメラの構成を例示するブロック図である。1 is a block diagram illustrating the configuration of a digital camera equipped with an image processing apparatus according to an embodiment of the present invention. ＣＰＵが連写時に実行する処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the process which CPU performs at the time of continuous shooting. ブロック領域を説明する図である。It is a figure explaining a block area. 相関有りを判定した領域と、相関無しを判定した領域とを例示する図である。It is a figure which illustrates the area | region which determined with correlation, and the area | region which determined with no correlation. 画像データの流れを例示する図である。It is a figure which illustrates the flow of image data.

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による画像処理装置を搭載したデジタルカメラの構成を例示するブロック図である。図１において、デジタルカメラ１は、撮影レンズ１１と、絞り１２と、シャッター１３と、撮像素子１４と、画像処理エンジン１５と、ＤＲＡＭ１６と、フラッシュメモリ１７と、画像表示器１９とを有し、着脱可能な外部メモリ１８が装着されている。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of a digital camera equipped with an image processing apparatus according to an embodiment of the present invention. In FIG. 1, the digital camera 1 includes a photographing lens 11, an aperture 12, a shutter 13, an image sensor 14, an image processing engine 15, a DRAM 16, a flash memory 17, and an image display 19. A removable external memory 18 is attached.

撮影レンズ１１は、被写体像を撮像素子１４の撮像面に結像させる。絞り１２は、撮像素子１４へ導かれる光束を制限する。シャッター１３は、光路を開閉することにより、被写体光束を撮像素子１４へ導く状態と該被写体光束を遮断する状態とを切替える。撮像素子１４は、たとえばＣＭＯＳイメージセンサによって構成され、結像されている被写体像を光電変換する。 The photographing lens 11 forms a subject image on the imaging surface of the image sensor 14. The diaphragm 12 limits the light beam guided to the image sensor 14. The shutter 13 switches between a state in which the subject light flux is guided to the image sensor 14 and a state in which the subject light flux is blocked by opening and closing the optical path. The image sensor 14 is constituted by, for example, a CMOS image sensor, and photoelectrically converts a formed subject image.

画像処理エンジン１５は、光電変換後の画像信号に対して所定の画像処理および圧縮符号化処理などを行う。画像処理エンジン１５は、前処理部１５ａと、相関検出部１５ｂと、画像処理部１５ｃと、画像符号化部１５ｄと、ＤＲＡＭ制御部１５ｅと、フラッシュメモリ制御部１５ｆと、外部メモリ制御部１５ｇと、ＣＰＵ１５ｈと、画像表示制御部１５ｉとを含む。 The image processing engine 15 performs predetermined image processing and compression coding processing on the image signal after photoelectric conversion. The image processing engine 15 includes a preprocessing unit 15a, a correlation detection unit 15b, an image processing unit 15c, an image encoding unit 15d, a DRAM control unit 15e, a flash memory control unit 15f, and an external memory control unit 15g. CPU 15h and an image display control unit 15i.

前処理部１５ａは、撮像素子１４からの画像信号を受けてＡ／Ｄ変換などの前処理を行う。相関検出部１５ｂは、画像データをフレーム間で比較して相関の有無を検出する。たとえば、画像を所定のブロック領域に分割し、該分割領域ごとに相関の有無を検出する。本実施形態では、画像符号化部１５ｄが符号化処理の中で行うブロック処理（たとえば離散コサイン変換（ＤＣＴ）など）で用いるブロックと、相関検出部１５ｂが相関検出に用いるブロックとを共通にする。 The preprocessing unit 15a receives an image signal from the image sensor 14 and performs preprocessing such as A / D conversion. The correlation detection unit 15b compares the image data between frames and detects the presence or absence of correlation. For example, the image is divided into predetermined block areas, and the presence or absence of correlation is detected for each divided area. In the present embodiment, a block used in block processing (for example, discrete cosine transform (DCT)) performed by the image encoding unit 15d in the encoding process and a block used by the correlation detection unit 15b for correlation detection are made common. .

画像処理部１５ｃは、画像データに対して画像処理を行う。画像処理は、たとえば、RAWデータからYUVデータへの変換処理、エッジ強調処理、像ボケ付加処理、およびノイズ除去処理などを含む。画像符号化部１５ｄは、ＪＰＥＧなどの圧縮方式で画像を圧縮する符号化処理、および圧縮された画像を伸張する復号化処理を行う。 The image processing unit 15c performs image processing on the image data. The image processing includes, for example, conversion processing from RAW data to YUV data, edge enhancement processing, image blur addition processing, noise removal processing, and the like. The image encoding unit 15d performs an encoding process for compressing an image by a compression method such as JPEG and a decoding process for expanding the compressed image.

ＤＲＡＭ制御部１５ｅは、ＤＲＡＭ１６に対するデータ書込みやデータ読出しを制御する。ＤＲＡＭ１６は揮発性のメモリであって、ＣＰＵ１５ｈがプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＤＲＡＭ１６は、上記相関検出処理、画像処理、および画像符号化／複合化処理の際に一時的にデータを一時記憶するバッファメモリとしても使用される。 The DRAM control unit 15 e controls data writing and data reading with respect to the DRAM 16. The DRAM 16 is a volatile memory, and is used as a work memory for the CPU 15h to expand the program when the program is executed. The DRAM 16 is also used as a buffer memory for temporarily storing data during the correlation detection process, the image process, and the image encoding / combining process.

フラッシュメモリ制御部１５ｆは、フラッシュメモリ１７に対するデータ書込みやデータ読出しを制御する。フラッシュメモリ１７は不揮発性のメモリであって、ＣＰＵ１５ｈが実行するプログラムのデータや、プログラム実行時に読込まれる種々のパラメータなどを記憶する。 The flash memory control unit 15 f controls data writing and data reading with respect to the flash memory 17. The flash memory 17 is a non-volatile memory, and stores data of a program executed by the CPU 15h, various parameters read when the program is executed, and the like.

外部メモリ制御部１５ｇは、外部メモリ１８に対するデータ書込みやデータ読出しを制御する。外部メモリ１８は、メモリカードなどの記憶媒体であり、デジタルカメラ１に対して着脱可能に構成されている。外部メモリ１８には、保存用の画像データが書込まれる。また、外部メモリ１８からは、記録されている画像データが読出される。 The external memory control unit 15 g controls data writing and data reading with respect to the external memory 18. The external memory 18 is a storage medium such as a memory card and is configured to be detachable from the digital camera 1. Image data for storage is written in the external memory 18. The recorded image data is read from the external memory 18.

ＣＰＵ１５ｈは、フラッシュメモリ１７に記録されているプログラムに基づいて、画像処理エンジン１５の動作を制御する他、デジタルカメラ１の全体動作を制御する。画像表示制御部１５ｉは、デジタルカメラ１の背面に搭載された画像表示器１９（背面液晶モニタ）の表示制御を行う。画像表示器１９は、外部メモリ１８に記録されている画像データに基づく再生画像や、デジタルカメラ１に機能設定を行うための設定メニュー画面などを表示する。また、ユーザーによってデジタルカメラ１が撮影モードに設定されると、撮像素子１４が時系列で取得した画像の表示用画像データを表示する。これにより、画像表示器１９にスルー画が表示される。 The CPU 15 h controls the overall operation of the digital camera 1 in addition to controlling the operation of the image processing engine 15 based on the program recorded in the flash memory 17. The image display control unit 15 i performs display control of the image display 19 (back liquid crystal monitor) mounted on the back surface of the digital camera 1. The image display 19 displays a playback image based on the image data recorded in the external memory 18, a setting menu screen for setting functions on the digital camera 1, and the like. In addition, when the digital camera 1 is set to the shooting mode by the user, the image sensor 14 displays image data for display of images acquired in time series. As a result, a through image is displayed on the image display 19.

本実施形態は、連写撮影時に画像処理部１５ｃで画像処理を行う際に、相関検出部１５ｂによって相関有りが検出されている現フレームの画像のブロック領域に対しては画像処理を省略し、代わりに前フレームの画像の対応するブロック領域についての画像処理結果を用いる。連写時の画像処理負担を軽くして、より高速の連写撮影を行うためである。 In this embodiment, when image processing is performed by the image processing unit 15c during continuous shooting, image processing is omitted for the block region of the image of the current frame in which the presence of correlation is detected by the correlation detection unit 15b. Instead, the image processing result for the corresponding block area of the image of the previous frame is used. This is to reduce the image processing burden during continuous shooting and to perform higher-speed continuous shooting.

ＣＰＵ１５ｈが連写時に実行する処理の流れについて、図２のフローチャートを参照して説明する。ＣＰＵ１５ｈは、連写撮影が指示された場合に図２による処理を起動させる。図２のステップＳ１１において、ＣＰＵ１５ｈは撮像素子１４を露光させる。たとえば、露出演算結果に基づいて絞り１２およびシャッター１３を制御して、撮像素子１４に所定時間蓄積動作をさせてステップＳ１２へ進む。 The flow of processing executed by the CPU 15h during continuous shooting will be described with reference to the flowchart of FIG. The CPU 15h activates the processing shown in FIG. 2 when continuous shooting is instructed. In step S <b> 11 of FIG. 2, the CPU 15 h exposes the image sensor 14. For example, the diaphragm 12 and the shutter 13 are controlled based on the exposure calculation result, and the image sensor 14 is allowed to accumulate for a predetermined time, and the process proceeds to step S12.

ステップＳ１２において、ＣＰＵ１５ｈは、露光データ（画像信号）をRAWデータとしてＤＲＡＭ１６へ一時記憶させる。具体的には、撮像素子１４から読出した信号を前処理部１５ａでＡ／Ｄ変換させる。そして、ＤＲＡＭ制御部１５ｅへ指示を送ってＡ／Ｄ変換後のRAWデータをＤＲＡＭ１６へ一時記憶させてステップＳ１３へ進む。ステップＳ１２においてＤＲＡＭ１６へ記憶したRAWデータが「現フレーム」の画像に相当する。 In step S12, the CPU 15h temporarily stores exposure data (image signal) in the DRAM 16 as RAW data. Specifically, the signal read from the image sensor 14 is A / D converted by the preprocessing unit 15a. Then, an instruction is sent to the DRAM control unit 15e to temporarily store the RAW data after A / D conversion in the DRAM 16, and the process proceeds to step S13. The RAW data stored in the DRAM 16 in step S12 corresponds to the “current frame” image.

ステップＳ１３において、ＣＰＵ１５ｈは、連写撮影の１枚目か否かを判定する。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶したRAWデータが連写１枚目である場合にステップＳ１３を肯定判定してステップＳ１４へ進む。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶したRAWデータが連写１枚目でない（すなわち連写２枚目以降である）場合にステップＳ１３を否定判定してステップＳ１７へ進む。 In step S13, the CPU 15h determines whether or not it is the first continuous shooting. If the RAW data stored in the DRAM 16 is the first continuous shot, the CPU 15h makes a positive determination in step S13 and proceeds to step S14. When the RAW data stored in the DRAM 16 is not the first continuous shot (that is, after the second continuous shot), the CPU 15h makes a negative determination in step S13 and proceeds to step S17.

ステップＳ１４において、ＣＰＵ１５ｈは、ＤＲＡＭ１６内のRAWデータ（連写１枚目）に所定の画像処理を行わせてステップＳ１５へ進む。本実施形態では、画像処理部１５ｃが少なくともRAWデータからYUVデータへの変換処理を行う。YUVデータは、輝度データYおよび色差データU,Vで表される画像データである。ＣＰＵ１５ｈは、YUVデータへの変換処理以外の他の処理（エッジ強調処理、像ボケ付加処理、およびノイズ除去処理など）を行う設定がなされている場合には、設定に応じた画像処理を画像処理部１５ｃにさらに行わせる。ＣＰＵ１５ｈは、ＤＲＡＭ制御部１５ｅへ指示を送り、画像処理後のYUVデータをＤＲＡＭ１６へ一時記憶させる。 In step S14, the CPU 15h performs predetermined image processing on the RAW data (first continuous shot) in the DRAM 16 and proceeds to step S15. In the present embodiment, the image processing unit 15c performs at least conversion processing from RAW data to YUV data. YUV data is image data represented by luminance data Y and color difference data U and V. If the CPU 15h is set to perform processing other than the conversion processing to YUV data (edge enhancement processing, image blur addition processing, noise removal processing, etc.), the image processing corresponding to the setting is performed as image processing. The part 15c is further performed. The CPU 15h sends an instruction to the DRAM control unit 15e, and temporarily stores the YUV data after image processing in the DRAM 16.

ステップＳ１５において、ＣＰＵ１５ｈは画像符号化部１５ｄへ指示を送り、ＤＲＡＭ１６に記憶されているYUVデータ（連写１枚目）に圧縮符号化処理を行わせてステップＳ１６へ進む。ステップＳ１６において、ＣＰＵ１５ｈは外部メモリ制御部１５ｇへ指示を送り、圧縮符号化データを外部メモリ１８に書き込み記録させて、ステップＳ１１へ戻る。 In step S15, the CPU 15h sends an instruction to the image encoding unit 15d, performs compression encoding processing on the YUV data (first continuous shot) stored in the DRAM 16, and proceeds to step S16. In step S16, the CPU 15h sends an instruction to the external memory control unit 15g, writes and records the compressed encoded data in the external memory 18, and returns to step S11.

連写２枚目以降である場合のステップＳ１７において、ＣＰＵ１５ｈは、相関検出部１５ｂへ指示を送り、「前フレーム」のRAWデータと「現フレーム」のRAWデータとを比較して相関の有無を検出させる。「現フレーム」の１枚前に取得（露光）され、ＤＲＡＭ１６に記憶されているRAWデータが「前フレーム」の画像に相当する。相関検出部１５ｂは、上述した画像符号化部１５ｄが圧縮符号化処理の中で用いたブロック領域ごとに、フレーム間でRAWデータを比較して相関の有無を検出する。相関検出部１５ｂは、たとえば、フレーム間でRAWデータの差分をとり、ブロック領域ごとに差分の平均値を比較して相関性強度を判定する。相関検出部１５ｂは、ブロック領域における上記平均値の差が所定の判定閾値より小さい場合は、当該ブロック領域において相関有りを判定し、平均値の差が上記判定閾値以上の場合には当該ブロック領域において相関無しを判定する。 In step S17 in the case of the second and subsequent shots, the CPU 15h sends an instruction to the correlation detection unit 15b and compares the RAW data of the “previous frame” with the RAW data of the “current frame” to determine whether there is a correlation. Let it be detected. The RAW data acquired (exposed) one frame before the “current frame” and stored in the DRAM 16 corresponds to the image of the “previous frame”. The correlation detection unit 15b detects the presence or absence of correlation by comparing RAW data between frames for each block region used in the compression encoding process by the image encoding unit 15d described above. For example, the correlation detection unit 15b calculates a correlation strength by taking a difference of RAW data between frames and comparing an average value of the differences for each block region. The correlation detection unit 15b determines that there is a correlation in the block area when the difference between the average values in the block area is smaller than a predetermined determination threshold, and the block area when the difference between the average values is equal to or greater than the determination threshold. It is determined whether there is no correlation.

ステップＳ１８において、ＣＰＵ１５ｈは、「現フレーム」のブロック領域ごとに、相関が強い領域であるか否かを判定する。ＣＰＵ１５ｈは、相関検出部１５ｂにおいて上記相関有りが判定されている場合にステップＳ１８を肯定判定してステップＳ１９へ進む。ＣＰＵ１５ｈは、相関検出部１５ｂにおいて上記相関無しが判定されている場合には、ステップＳ１８を否定判定してステップＳ２０へ進む。 In step S <b> 18, the CPU 15 h determines whether or not each block area of “current frame” is an area having a strong correlation. If the correlation detection unit 15b determines that the correlation is present, the CPU 15h makes a positive determination in step S18 and proceeds to step S19. If the correlation detection unit 15b determines that there is no correlation, the CPU 15h makes a negative determination in step S18 and proceeds to step S20.

ステップＳ１９において、ＣＰＵ１５ｈは、当該ブロック領域に関し「前フレーム」における画像処理後のYUVデータを「現フレーム」における画像処理結果として流用する。具体的には、相関有りが判定されているブロック領域については、「現フレーム」の当該ブロック領域について画像処理部１５ｃで画像処理を行わない。ＣＰＵ１５ｈは、たとえばＤＲＡＭ制御部１５ｅへ指示を送り、「前フレーム」における画像処理後のYUVデータの複製を「現フレーム」における画像処理結果としてＤＲＡＭ１６へ一時記憶させてステップＳ２１へ進む。 In step S19, the CPU 15h diverts the YUV data after the image processing in the “previous frame” regarding the block area as the image processing result in the “current frame”. Specifically, for the block area determined to be correlated, the image processing unit 15 c does not perform image processing on the block area of “current frame”. For example, the CPU 15h sends an instruction to the DRAM control unit 15e, temporarily stores a copy of the YUV data after the image processing in the “previous frame” in the DRAM 16 as the image processing result in the “current frame”, and proceeds to step S21.

ステップＳ２０において、ＣＰＵ１５ｈは画像処理部１５ｃへ指示を送り、ＤＲＡＭ１６内に記憶されている「現フレーム」のRAWデータのうち、相関無しが判定されているブロック領域のRAWデータに対して所定の画像処理を行わせてステップＳ２１へ進む。これにより画像処理部１５ｃは、少なくともRAWデータからYUVデータへの変換処理を行う。画像処理部１５ｃはさらに、YUVデータへの変換処理以外の他の処理を行う設定がなされている場合には、当該ブロック領域のYUVデータに対して設定に応じた画像処理を行う。ＣＰＵ１５ｈはＤＲＡＭ制御部１５ｅへ指示を送り、画像処理後のYUVデータをＤＲＡＭ１６へ一時記憶させる。 In step S20, the CPU 15h sends an instruction to the image processing unit 15c, and among the RAW data of the “current frame” stored in the DRAM 16, a predetermined image is applied to the RAW data in the block area determined to have no correlation. The process proceeds to step S21. Thus, the image processing unit 15c performs at least conversion processing from RAW data to YUV data. Further, when the setting for performing processing other than the conversion processing to YUV data is made, the image processing unit 15c performs image processing according to the setting on the YUV data of the block area. The CPU 15h sends an instruction to the DRAM control unit 15e, and temporarily stores the YUV data after image processing in the DRAM 16.

図３は、ブロック領域を説明する図である。図３に記載した格子は、画像符号化部１５ｄが圧縮符号化処理の中で用いるブロック領域３１を表し、たとえば、ｎ×ｎ画素の領域である。画像処理部１５ｃは、このブロック領域３１の周囲にそれぞれ所定画素分（たとえば、(ｍ−ｎ)/２、ただしｍ＞ｎ）の糊代として外枠３２を設ける。ブロック領域の周囲に「(ｍ−ｎ)/２」画素の糊代を設ける理由は、画像処理にフィルタ処理を含む場合において、ブロック領域３１の端部におけるフィルタ処理が困難なことによる。フィルタ処理用の糊代として外枠３２を設けると、ブロック領域３１の端部を注目画素としてフィルタ処理を行う場合にブロック領域３１の外側の外枠３２に含まれる画素信号を用いてフィルタ処理を行えるから、ブロック領域３１の外側の画素信号を用いずにフィルタ処理を行う場合に比べて、適切なフィルタ処理結果が得られる。 FIG. 3 is a diagram for explaining the block area. The grid described in FIG. 3 represents the block area 31 used by the image encoding unit 15d in the compression encoding process, and is an area of n × n pixels, for example. The image processing unit 15c provides an outer frame 32 around the block region 31 as a margin for a predetermined pixel (for example, (mn) / 2, where m> n). The reason why the margin of “(mn) / 2” pixels is provided around the block area is that it is difficult to perform the filter process at the end of the block area 31 when the image process includes the filter process. When the outer frame 32 is provided as a glue margin for the filter processing, the filter processing is performed using the pixel signal included in the outer frame 32 outside the block region 31 when the filter processing is performed using the end of the block region 31 as the target pixel. Therefore, an appropriate filter processing result can be obtained as compared with the case where the filter processing is performed without using the pixel signal outside the block region 31.

ここで、エッジ強調処理、像ボケ付加処理、およびノイズ除去処理は、いずれもローパスフィルタ処理を含むので、上記外枠３２を設けることは適切なフィルタ処理結果を得る上で重要である。画像処理部１５ｃは、処理を行うように設定されている画像処理の種別や、該画像処理で必要とされる周波数成分に応じて外枠３２の大きさ、すなわち糊代を構成する画素数を異ならせる。たとえば、ローパスフィルタの遮断周波数が低いほど画素数を増やし、遮断周波数が高いほど画素数を減らす。 Here, since the edge enhancement process, the image blur addition process, and the noise removal process all include a low-pass filter process, the provision of the outer frame 32 is important in obtaining an appropriate filter process result. The image processing unit 15c determines the size of the outer frame 32 according to the type of image processing set to perform processing and the frequency component required for the image processing, that is, the number of pixels constituting the paste margin. Make it different. For example, the number of pixels is increased as the cutoff frequency of the low-pass filter is lower, and the number of pixels is decreased as the cutoff frequency is higher.

図４は、「前フレーム」と「現フレーム」との間の相関有りを判定した領域（すなわちステップＳ１８を肯定判定した領域）と、相関無しを判定した領域（すなわちステップＳ１８を否定判定した領域）とを例示する図である。図４において、領域４１、４２、４３、４４、４５は相関無しを判定した領域であり、領域４１〜４５以外の他の領域は相関有りを判定した領域である。この場合のＣＰＵ１５ｈは、ＤＲＡＭ１６内に記憶されている「現フレーム」のRAWデータのうち、領域４１〜４５に対応するブロック領域のRAWデータに対して、それぞれ所定の画像処理を行わせる。なお、図４に例示した相関有り領域と相関無し領域は一例である。ＣＰＵ１５ｈは、新しいフレーム画像を取得する度に「現フレーム」および「前フレーム」のRAWデータを更新する。すなわち、新フレームのRAWデータを「現フレーム」として取り扱い、それまで「現フレーム」であったRAWデータを「前フレーム」のRAWデータとして扱う。 FIG. 4 shows a region where the presence of correlation between the “previous frame” and the “current frame” is determined (ie, a region where step S18 is positively determined), and a region where there is no correlation (ie, a region where step S18 is negatively determined). ). In FIG. 4, areas 41, 42, 43, 44, and 45 are areas where no correlation is determined, and other areas other than the areas 41 to 45 are areas where correlation is determined. In this case, the CPU 15 h performs predetermined image processing on the RAW data in the block areas corresponding to the areas 41 to 45 among the “current frame” RAW data stored in the DRAM 16. The correlated area and the uncorrelated area illustrated in FIG. 4 are examples. The CPU 15h updates the “current frame” and “previous frame” RAW data each time a new frame image is acquired. That is, the RAW data of the new frame is handled as the “current frame”, and the RAW data that was the “current frame” until then is handled as the RAW data of the “previous frame”.

ステップＳ２１において、ＣＰＵ１５ｈは、画像全体の画像処理結果を入手したか否かを判定する。ＣＰＵ１５ｈは、「現フレーム」を構成する全てのブロック領域においてステップＳ１９またはＳ２０の処理を終了した場合に、ステップＳ２１を肯定判定してステップＳ２２へ進む。ＣＰＵ１５ｈは、ステップＳ１９およびＳ２０のいずれの処理も行っていないブロック領域が「現フレーム」の中に存在する場合には、ステップＳ２１を否定判定してステップＳ１８へ戻る。 In step S21, the CPU 15h determines whether the image processing result of the entire image has been obtained. The CPU 15h makes an affirmative decision in step S21 and proceeds to step S22 when the process of step S19 or S20 is completed in all the block areas constituting the “current frame”. If there is a block area in the “current frame” in which neither of the processes in steps S19 and S20 is performed, the CPU 15h makes a negative determination in step S21 and returns to step S18.

ステップＳ２２において、ＣＰＵ１５ｈは、連写撮影の最後のフレームか否かを判定する。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶させたRAWデータが最後の１枚である場合にステップＳ２２を肯定判定して図２による処理を終了する。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶させたRAWデータが最後の１枚ではない（すなわち、次フレームの露光が指示されている）場合にステップＳ２２を否定判定してステップＳ１１へ戻る。 In step S22, the CPU 15h determines whether or not it is the last frame of continuous shooting. If the RAW data stored in the DRAM 16 is the last one, the CPU 15h makes an affirmative decision in step S22 and ends the processing in FIG. If the RAW data stored in the DRAM 16 is not the last one (that is, the next frame exposure is instructed), the CPU 15h makes a negative determination in step S22 and returns to step S11.

図５は、画像データの流れを例示する図である。前処理部１５ａから出力されたRAWデータは、ＤＲＡＭ１６に一時記憶される。後述する変形例４の場合は、RAWデータに加えて評価値データもＤＲＡＭ１６に一時記憶される。相関検出部１５ｂは、ＤＲＡＭ１６から読み出されたRAWデータに基づいて相関の有無を判定する。後述する変形例４の場合は、ＤＲＡＭ１６から読み出された評価値データに基づいて相関の有無を判定する。 FIG. 5 is a diagram illustrating the flow of image data. The RAW data output from the preprocessing unit 15a is temporarily stored in the DRAM 16. In the case of Modification 4 to be described later, evaluation value data is also temporarily stored in the DRAM 16 in addition to RAW data. The correlation detection unit 15b determines the presence or absence of correlation based on the RAW data read from the DRAM 16. In the case of Modification 4 to be described later, the presence or absence of correlation is determined based on the evaluation value data read from the DRAM 16.

画像処理部１５ｃがRAWデータからYUVデータへの変換処理を行う場合、ＤＲＡＭ１６から読み出されたRAWデータに基づいて変換処理が行われ、変換後のYUVデータがＤＲＡＭ１６に一時記憶される。画像処理部１５ｃがノイズ除去処理を行う場合、ＤＲＡＭ１６から読み出されたYUVデータに基づいてノイズ除去処理が行われ、処理後のYUVデータがＤＲＡＭ１６に一時記憶される。 When the image processing unit 15 c performs conversion processing from RAW data to YUV data, the conversion processing is performed based on the RAW data read from the DRAM 16, and the converted YUV data is temporarily stored in the DRAM 16. When the image processing unit 15 c performs noise removal processing, noise removal processing is performed based on the YUV data read from the DRAM 16, and the processed YUV data is temporarily stored in the DRAM 16.

画像符号化部１５ｄが圧縮符号化処理処理を行う場合、ＤＲＡＭ１６から読み出されたYUVデータに基づいて圧縮符号化処理が行われ、処理後の符号化データがＤＲＡＭ１６に一時記憶される。外部メモリ制御部１５ｇが外部メモリ１８に対するデータ書込みを行う場合、ＤＲＡＭ１６から読み出された符号化データに基づいて書き込み処理を行う。 When the image encoding unit 15d performs the compression encoding process, the compression encoding process is performed based on the YUV data read from the DRAM 16, and the encoded data after the process is temporarily stored in the DRAM 16. When the external memory control unit 15g writes data to the external memory 18, the writing process is performed based on the encoded data read from the DRAM 16.

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、連写撮影された複数のフレーム画像を入力する前処理部１５ａと、フレーム画像に対して所定の画像処理を行う画像処理部１５ｃと、フレーム画像に対して符号化処理を行う画像符号化部１５ｄと、前後するフレーム画像間の相関の有無を、符号化処理で用いるブロック領域３１ごとに判定する相関検出部１５ｂおよびＣＰＵ１５ｈと、１フレーム目の画像に対して画像処理と符号化処理とを行い、２フレーム目以降の画像に対して画像処理を行う際、相関無しが判定されている領域４１〜４５を対象に画像処理を行い、相関有りが判定されている他の領域（領域４１〜４５以外）を対象にする画像処理を省略するように画像処理部１５ｃおよび画像符号化部１５ｄをそれぞれ制御するＣＰＵ１５ｈと、を備えるようにした。これにより、圧縮符号化処理以外の画像処理負担を軽減することができ、ひいては連写速度の高速化を実現できる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The digital camera 1 includes a pre-processing unit 15a that inputs a plurality of frame images taken continuously, an image processing unit 15c that performs predetermined image processing on the frame image, and encoding the frame image. An image encoding unit 15d that performs processing, and a correlation detection unit 15b and a CPU 15h that determine whether or not there is a correlation between preceding and following frame images for each block region 31 used in the encoding processing, and an image for the first frame image When the image processing is performed on the second and subsequent images by performing the processing and the encoding processing, the image processing is performed on the areas 41 to 45 in which it is determined that there is no correlation, and it is determined that there is a correlation. A CPU 15h that controls the image processing unit 15c and the image encoding unit 15d so as to omit image processing for other regions (other than the regions 41 to 45). Was Unishi. As a result, it is possible to reduce the image processing burden other than the compression encoding process, and consequently, it is possible to increase the continuous shooting speed.

（２）上記（１）のデジタルカメラ１において、ＣＰＵ１５ｈは、「現フレーム」に対する画像処理後の画像を、「現フレーム」の領域４１〜４５に対する画像処理後のYUVデータと、「前フレーム」の他の領域（領域４１〜４５以外）に対する画像処理後のYUVデータとで構成するようにした。これにより、フレーム画像の全域に対して画像処理を行う場合に比べて、圧縮符号化処理以外の画像処理負担を軽減できる。なお、一般にフレーム画像の全域に対して画像処理を行うよりも、前後するフレーム画像間の相関有無を判定する処理の方が負担が小さいので、相関有無の判定処理が増えるとしても、全体として画像処理の負担を抑えることができる。 (2) In the digital camera 1 of the above (1), the CPU 15h displays the image after the image processing for the “current frame”, the YUV data after the image processing for the areas 41 to 45 of the “current frame”, and the “previous frame”. It is made up of YUV data after image processing for other areas (other than areas 41 to 45). Thereby, compared with the case where image processing is performed on the entire area of the frame image, it is possible to reduce the image processing burden other than the compression encoding processing. Note that in general, it is less burdensome to perform the process of determining the presence / absence of correlation between the preceding and subsequent frame images than to perform image processing on the entire area of the frame image. The processing burden can be reduced.

（３）上記（１）または（２）のデジタルカメラ１において、画像処理はフィルタ処理を含み、画像処理部１５ｃは、フィルタ処理をブロック領域３１を囲む外枠３２に含まれる画素データを用いて行うようにした。これにより、ブロック領域３１の外側の画素データを用いずにフィルタ処理を行う場合に比べて、適切なフィルタ処理結果が得られる。 (3) In the digital camera 1 of the above (1) or (2), the image processing includes filter processing, and the image processing unit 15c uses the pixel data included in the outer frame 32 surrounding the block region 31 for the filter processing. I did it. Thereby, an appropriate filter processing result can be obtained as compared with the case where the filter processing is performed without using the pixel data outside the block region 31.

（４）上記（１）〜（３）のいずれかのデジタルカメラ１において、画像処理は、エッジ強調処理、像ボケ付加処理、およびノイズ除去処理の少なくとも１つである。いずれの場合も、各処理において行うフィルタ処理で適切な処理結果が得られる。 (4) In the digital camera 1 of any one of (1) to (3), the image processing is at least one of edge enhancement processing, image blur addition processing, and noise removal processing. In any case, an appropriate processing result can be obtained by the filter processing performed in each processing.

（５）上記（３）または（４）のデジタルカメラ１において、画像処理部１５ｃは、外枠３２を画像処理の種類に応じて異ならせるようにしたので、適切にフィルタ処理を行うことができる。 (5) In the digital camera 1 of the above (3) or (4), the image processing unit 15c changes the outer frame 32 according to the type of image processing, and therefore can appropriately perform the filtering process. .

（変形例１）
上記実施形態では、相関検出部１５ｂがブロック領域ごとに差分の平均値を比較して相関性強度を判定する例を説明した。この代わりに、ブロック領域ごとに差分の標準偏差を比較して相関性強度を判定するようにしてもよい。また、ブロック領域ごとに差分の最大値、最小値を比較して相関性強度を判定するようにしてもよい。 (Modification 1)
In the above embodiment, the example in which the correlation detection unit 15b determines the correlation strength by comparing the average value of the differences for each block region has been described. Instead, the correlation strength may be determined by comparing the standard deviation of the difference for each block region. Further, the correlation strength may be determined by comparing the maximum value and the minimum value of the differences for each block region.

（変形例２）
相関検出部１５ｂはまた、以下のように相関有無の判定を行ってもよい。変形例２では、それぞれのフレームにおいてブロック領域内の画素のRAWデータを加算し、加算して得た評価値をフレーム間で比較して相関の有無を検出する。相関検出部１５ｂは、たとえば、フレーム間で対応するブロック領域における評価値の差分をとり、この差分に基づいて相関性強度を判定する。相関検出部１５ｂは、ブロック領域における評価値の差が所定の判定閾値より小さい場合は相関有りを判定し、評価値の差が上記判定閾値以上の場合には相関無しを判定する。 (Modification 2)
The correlation detection unit 15b may also determine whether or not there is a correlation as follows. In the second modification, the RAW data of the pixels in the block area is added in each frame, and the evaluation value obtained by the addition is compared between the frames to detect the presence or absence of correlation. For example, the correlation detection unit 15b takes a difference between evaluation values in corresponding block areas between frames, and determines the correlation strength based on the difference. The correlation detection unit 15b determines that there is a correlation when the difference between the evaluation values in the block area is smaller than a predetermined determination threshold, and determines that there is no correlation when the difference between the evaluation values is equal to or greater than the determination threshold.

（変形例３）
さらにまた、相関検出部１５ｂは、相関有無の判定を以下のように行ってもよい。変形例３では、上記RAWデータまたは変形例２において算出した評価値から動きベクトルを算出する。算出した動きベクトルが所定の条件を満たす（有効）場合に該動きベクトルを考慮した座標の画素でRAWデータの差分をとる。相関検出部１５ｂは、たとえば、フレーム間で上記差分をとり、ブロック領域ごとに差分の平均値を比較して相関性強度を判定する。相関検出部１５ｂは、ブロック領域における平均値の差が所定の判定閾値より小さい場合は、当該ブロックにおいて相関有りを判定し、平均値の差が上記判定閾値以上の場合には相関無しを判定する。 (Modification 3)
Furthermore, the correlation detection unit 15b may determine whether or not there is a correlation as follows. In Modification 3, a motion vector is calculated from the RAW data or the evaluation value calculated in Modification 2. When the calculated motion vector satisfies a predetermined condition (valid), the difference of the RAW data is taken with the pixel of the coordinate considering the motion vector. For example, the correlation detection unit 15b determines the correlation strength by taking the difference between frames and comparing the average value of the differences for each block region. The correlation detection unit 15b determines that there is a correlation in the block when the difference between the average values in the block area is smaller than a predetermined determination threshold, and determines that there is no correlation when the difference between the average values is equal to or greater than the determination threshold. .

（変形例４）
相関検出部１５ｂが行う評価値算出処理を前処理部１５ａに組込むように構成してもよい。この場合の前処理部１５ａは、撮像素子１４から読出した信号をＡ／Ｄ変換し、画素単位のデータ（RAWデータ）と、ブロック領域ごとに加算したデータ（評価値）とを出力する。評価値は、変形例２の評価値に相当する。ＣＰＵ１５ｈは、RAWデータを「現フレーム」のデータとしてＤＲＡＭ１６に一時記憶させるとともに、評価値データもＤＲＡＭ１６に一時記憶させておく。変形例４では、あらかじめ評価値データをＤＲＡＭ１６に記憶しておくことで、相関検出部１５ｂが評価値を算出することなしにＤＲＡＭ１６に記憶されている評価値を参照できるので、ステップＳ１７における相関検出が容易になる。 (Modification 4)
You may comprise so that the evaluation value calculation process which the correlation detection part 15b performs is integrated in the pre-processing part 15a. In this case, the preprocessing unit 15a performs A / D conversion on the signal read from the image sensor 14, and outputs pixel-unit data (RAW data) and data (evaluation value) added for each block area. The evaluation value corresponds to the evaluation value of Modification 2. The CPU 15 h temporarily stores the RAW data as “current frame” data in the DRAM 16 and also temporarily stores the evaluation value data in the DRAM 16. In the modified example 4, since the evaluation value data is stored in the DRAM 16 in advance, the correlation detection unit 15b can refer to the evaluation value stored in the DRAM 16 without calculating the evaluation value. Therefore, the correlation detection in step S17 is performed. Becomes easier.

（変形例５）
外枠３２を構成する画素数を、相関検出結果に応じて決定してもよい。上記実施形態では、相関検出部１５ｂが算出したフレーム間のRAWデータの差分の平均値の差が所定の判定閾値以上であれば、当該ブロック領域において相関無しを判定した。あるいは、フレーム間で対応するブロック領域における評価値の差分をとり、この評価値の差が所定の判定閾値以上であれば相関なしを判定した（変形例２、４）。変形例５のＣＰＵ１５ｈは、フレーム間の差分が所定の判定閾値より大きい第２判定閾値より小さい場合には、相関が全くないわけではないので、外枠３２を構成する画素数を「現フレーム」の場合と同じにする。一方、フレーム間の差分が第２判定閾値を超える場合には、相関なしとして外枠３２を構成する画素数を「現フレーム」の値から変更する。 (Modification 5)
The number of pixels constituting the outer frame 32 may be determined according to the correlation detection result. In the above embodiment, if the difference between the average values of RAW data differences between frames calculated by the correlation detection unit 15b is equal to or greater than a predetermined determination threshold, it is determined that there is no correlation in the block area. Alternatively, the difference between the evaluation values in the corresponding block areas between frames is taken, and if the difference between the evaluation values is equal to or greater than a predetermined determination threshold, it is determined that there is no correlation (Modifications 2 and 4). When the difference between frames is smaller than a second determination threshold value that is larger than a predetermined determination threshold value, the CPU 15h according to the fifth modification does not mean that there is no correlation, so the number of pixels constituting the outer frame 32 is set to “current frame”. Same as above. On the other hand, when the difference between frames exceeds the second determination threshold, the number of pixels constituting the outer frame 32 is changed from the value of “current frame” as no correlation.

（変形例６）
上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、連続するフレーム画像を有する画像データを読み込んで、後から所定の画像処理を行う画像処理装置として、たとえばパソコンなどに適用することも可能である。 (Modification 6)
In the embodiment described above, the case where the present invention is applied to a camera has been described. However, the present invention can also be applied to, for example, a personal computer as an image processing apparatus that reads image data having continuous frame images and performs predetermined image processing later.

上記実施形態では連写撮影を例に説明したが、動画を撮影する場合にも適用してよいのはいうまでもない。 In the above embodiment, continuous shooting has been described as an example, but it goes without saying that the present invention may also be applied to shooting moving images.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態および変形例を適宜組み合わせた構成としてもよい。 The above description is merely an example, and is not limited to the configuration of the above embodiment. Moreover, it is good also as a structure which combined the said embodiment and the modified example suitably.

１…デジタルカメラ
１１…撮影レンズ
１４…撮像素子
１５…画像処理エンジン
１５ａ…前処理部
１５ｂ…相関検出部
１５ｃ…画像処理部
１５ｄ…画像符号化部
１５ｅ…ＤＲＡＭ制御部
１５ｇ…外部メモリ制御部
１５ｈ…ＣＰＵ
１６…ＤＲＡＭ
１７…フラッシュメモリ
１８…外部メモリ
１９…画像表示器 DESCRIPTION OF SYMBOLS 1 ... Digital camera 11 ... Shooting lens 14 ... Imaging element 15 ... Image processing engine 15a ... Pre-processing part 15b ... Correlation detection part 15c ... Image processing part 15d ... Image encoding part 15e ... DRAM control part 15g ... External memory control part 15h ... CPU
16 ... DRAM
17 ... Flash memory 18 ... External memory 19 ... Image display

Claims

Image input means for inputting a plurality of continuously shot frame images;
Image processing means for performing predetermined image processing on the frame image;
Encoding processing means for performing encoding processing on the frame image;
Correlation determination means for determining the presence or absence of correlation between the preceding and following frame images for each block region used in the encoding process;
When the image processing and the encoding processing are performed on the first frame image, and the image processing is performed on the second and subsequent frames, the first region in which no correlation is determined is targeted. Control means for performing the image processing and controlling the image processing means and the encoding processing means respectively so as to omit the image processing for the second region determined to have the correlation;
An image processing apparatus comprising:

The image processing apparatus according to claim 1.
The control means includes an image after image processing for the target frame, an image after image processing for the first region of the target frame, and an image after image processing for the second region of the previous frame of the target frame. And an image processing apparatus.

The image processing apparatus according to claim 1 or 2,
The image processing apparatus includes a filtering process, and the image processing unit performs the filtering process using pixel data included in a predetermined range surrounding the block area.

In the image processing device according to any one of claims 1 to 3,
The image processing apparatus is characterized in that the image processing is at least one of edge enhancement processing, image blur addition processing, and noise removal processing.

The image processing apparatus according to claim 3 or 4,
The image processing apparatus, wherein the image processing unit changes the predetermined range according to a type of image processing.

A camera equipped with the image processing apparatus according to claim 1.