JP2010226694A - Image processor and method of image processing - Google Patents

Image processor and method of image processing Download PDF

Info

Publication number
JP2010226694A
JP2010226694A JP2009190855A JP2009190855A JP2010226694A JP 2010226694 A JP2010226694 A JP 2010226694A JP 2009190855 A JP2009190855 A JP 2009190855A JP 2009190855 A JP2009190855 A JP 2009190855A JP 2010226694 A JP2010226694 A JP 2010226694A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image data
distance
image
block
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009190855A
Other languages
Japanese (ja)
Other versions
JP5434361B2 (en )
Inventor
Haike Guan
Giichi Watanabe
義一 渡邊
海克 関
Original Assignee
Ricoh Co Ltd
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor, a method of image processing, and a digital still camera capable of providing a high quality blurred image regardless of photographic subject and performing high speed processing. <P>SOLUTION: The image processor is supplied with image data and distance information made up of a distance to a main photographic object and a distance to a non-main photographic object and performs blur processing on the image data. In this image processor, there are provided: a distance dividing means for dividing the distance information into divided-distance information constituted of a predetermined number of steps; an area determining means for determining areas of the image data based on brightness and/or chrominance and providing the result of determining areas as output; a labeling means for establishing correspondence between the divided-distance information and the result of determining areas and providing label data as output; a smoothing means for smoothing image data with different processing corresponding to the predetermined number of steps and providing smoothed image data as output; and a synthesis processing means for providing, as output, synthesized image data produced by synthesizing the image data and the smoothed image data based on the label data. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像処理装置、画像処理方法及びデジタルスチルカメラに関する。 The present invention relates to an image processing apparatus, an image processing method, and a digital still camera.

コンパクトデジタルカメラで用いられる撮像素子の面積は、一眼レフカメラで用いられる撮像素子の面積や銀塩フィルムよりも小さい。 The area of ​​the imaging element used in a compact digital camera is smaller than the area or a silver-halide film of an image sensor used in the single-lens reflex camera. そのため、コンパクトデジタルカメラでは同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は一眼レフカメラよりも短い。 Therefore, a compact digital camera focal length of the photographing optical system necessary for taking an image of the same field angle is less than the single-lens reflex camera. 焦点距離が短いと、撮影光学系のFナンバーを同じにしても、被写界深度が深くなってしまう。 If the focal length is short, even in the same F-number of the photographic optical system, the depth of field becomes deeper. ここで、焦点距離が短くなることに比例させてFナンバーを小さくする(明るくする)ことができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大してしまう。 Here, in proportion to the focal length is shortened to reduce the F-number by (brightening) that it can be made shallow depth of field if it is necessary to large diameter of the imaging optical system, the size and cost increases. このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合ってしまう。 Therefore, when imaging a compact digital camera, resulting in focus against a relatively wide distance range. これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所ともなるが、ポートレートのように背景を大きくぼかすような撮影は困難となり問題である。 This is also the advantage in that image with less blurring is obtained when photographing the image of the same brightness, imaging such as blurring increases the background as a portrait is a matter difficult.

上記した問題に対して、画像処理により背景をぼかす技術が特許文献1〜4において提案されている。 Against the above-mentioned problems, a technique of blurring the background is proposed in Patent Documents 1 to 4 by image processing. これらのカメラでは、距離や画角内の位置に応じて主要被写体を抜き出し、背景部分にぼかし処理を行っている。 In these cameras, extracted main subject in accordance with the position of the distance and the field in the angle, is performed blurring processing on the background portion. 特に、特許文献1及び2に係る技術では、画面の各領域における被写体までの距離を測定し、距離に応じて主要被写体を分離し、距離に応じたぼかし強度でぼかし処理を行っているため、より自然な画像を得ることができる。 In particular, in the technique according to Patent Documents 1 and 2, which measures the distance to the subject in each area of ​​the screen, to separate the main subject in accordance with the distance, it is performed blurring in blur intensity corresponding to the distance, it is possible to obtain a more natural image.

しかしながら特許文献1に係る技術では、撮影面を縦方向、あるいは横方向に分割した測距結果に基づき主要被写体を決定すると共に、非主要被写体部分にぼかし処理を行っているが、実際の被写体は複雑な形状をしていることから、測距結果だけを用いて被写体領域を判定してしまうと、ぼけ形状が被写体と一致しないという問題、即ち、主要被写体へのぼけの食い込みの問題や、非主要被写体部分におけるぼけの抜けの問題が発生してしまう。 However, in the technology according to Patent Document 1, longitudinal imaging surface, or in conjunction with determining the main subject on the basis of the measurement result of dividing laterally is performed blurring processing on non-main subject portion, the actual subject since it is a complicated shape, when using only measurement result thus determined object region, a problem that blur shape does not match the subject, i.e., bite issues and the blur of the main subject, the non blurring of omission problem occurs in the main subject portion. また、特許文献1に係る技術のぼかし処理においては、平均化に用いるデータ数を主要被写体との距離に応じて連続的に変化させてぼかし処理を行っているため、処理に時間がかかるという問題や、専用のハードウェアを構成する必要がありコストが増大するという問題が生じる。 In the blur processing of the technology according to Patent Document 1, for continuously varied according to the number of data used for averaging the distance to the main subject is performing blurring processing, a problem that lengthy process and, a problem that the cost it is necessary to configure a dedicated hardware is increased occurs.

さらに特許文献2に係る技術では、多重フォーカス法により、撮影対象範囲の複数の点までの距離を検出し、検出した距離に基づいてぼかし処理をおこなっているが、距離を計測できる被写体が、コントラストの高いエッジ部分を含む被写体に限られるため、非主要被写体の種類によっては正しい測距結果を得ることができず、非主要被写体部分にぼけの抜けが発生してしまう。 The technique further according to Patent Document 2, the multi-focus method, and detects the distance to a plurality of points of the imaging target range, although performing blurring processing on the basis of the distance detected, the distance can be measured subject, contrast since limited to subject including high edge portion of can not obtain a correct measurement result depending on the type of non-main subject, omission of blur is generated in the non-main subject portion. また、特許文献2に係る技術のぼかし処理においては、距離から求めた錯乱円径の差に相当する範囲が分散するように、画素毎にフィルタ特性を変えてぼかし処理を行っているため、処理に時間がかかるという問題や、専用のハードウェアを構成する必要がありコストが増大するという問題が生じる。 In the blur processing of the technology according to Patent Document 2, so that the range is dispersed corresponds to the difference between the circle of confusion diameter determined from the distance, because a blurring process by changing the filter characteristic for each pixel, processing and the problem that it takes a long time, the problem of cost it is necessary to configure a dedicated hardware is increased occurs.

これに対して特許文献5では、CCDAFによって測距を行うと共に、主要被写体を抽出することで、特別なハードウェアや処理を必要とすることなく、背景(非主要被写体に相当する。)画像のぼかし処理を行う技術が開示されている。 Patent Document 5 contrast, performs distance measurement by CCDAF, by extracting the main subject, without requiring special hardware and processing, (corresponding to the non-main subject.) Background image technique for performing blurring processing is disclosed. かかる技術によれば、簡易な構成でぼかし処理を行うことができる。 According to this technique, it is possible to perform the blurring process with a simple configuration. しかしながら、特許文献5に係る技術では、主要被写体領域の判定においては測距結果を用いて輪郭抽出を行っているものの、背景部分については考慮されておらず、ぼけ形状が被写体と一致しない場合がある。 However, in the technology according to Patent Document 5, although performing contour extraction using distance measurement results in the determination of the main subject area, is not considered a background portion, it may blur the shape does not coincide with the subject is there. よって、被写体抽出の高精度化が望まれる。 Therefore, accuracy of the subject extraction is desired.

本発明は、以上の様な状況を鑑みて為されたものであって、被写体によらず高品位なぼかし画像が得られると共に、高速に処理できる画像処理装置、画像処理方法及びデジタルスチルカメラを提供することを目的としている。 The present invention was made in view of the above such a situation, with a high-quality blurred image regardless of the subject is obtained, the image processing apparatus capable of processing at high speed, the image processing method and a digital still camera It is an object of the present invention to provide.

上記課題を解決するために本発明に係る画像処理装置、画像処理方法及びデジタルスチルカメラは、具体的には下記(1)〜(19)に記載の技術的特徴を有する。 The image processing apparatus according to the present invention in order to solve the above problems, an image processing method, and a digital still camera, in particular with the technical features described in the following (1) to (19).
(1):主要被写体画像データと非主要被写体画像データとを含む画像データと、主要被写体までの距離と非主要被写体までの距離とからなる距離情報が入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記距離情報を所定の段数からなる分割距離情報に分割する距離分割手段と、前記画像データを輝度及び/または色度に基づいて領域判定して領域判定結果を出力する領域判定手段と、前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング手段と、前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化手段と、前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処 (1): performing the image data, a distance information consisting of a distance to the distance and the non-main subject to the main subject is input, the blurring processing on the image data including the main object image data and the non-main subject image data an image processing apparatus, a distance dividing means for dividing the divided distance information comprising the distance information from a predetermined number, and outputs the area determination results by the determination area based on the image data to the luminance and / or chromaticity and area determination means, and labeling means for outputting in association with the label data and the divided distance information and the region determination result, the smoothed image data by smoothing the image data with a different processing according to the predetermined number of stages and smoothing means for outputting, synthetic processing for outputting the synthesized composite image data on the basis of said smoothed image data and the image data on the label data 手段と、具備することを特徴とする画像処理装置である。 And means, an image processing apparatus characterized by comprising.

(2):前記距離分割手段は、前記距離情報をN段からなる分割距離情報に分割し、 (2): the distance dividing means divides the divided distance information comprising the distance information from the N stages,
前記平滑化手段は、前記画像データを(N−1)の異なる処理をもって平滑化して、(N−1)の異なる平滑化画像データを出力することを特徴とする上記(1)に記載の画像処理装置である。 It said smoothing means, the image data is smoothed with a different processing of (N-1), (N-1) different images according to (1), and outputs the smoothed image data it is a processing apparatus. (但し、Nは2以上の整数である。) (Where, N represents an integer of 2 or more.)

(3):前記画像データを縮小する縮小手段を備え、前記領域判定手段は、前記縮小手段で縮小した画像データにおける領域を判定することを特徴とする上記(1)または(2)に記載の画像処理装置である。 (3): comprising a reduction means for reducing the image data, the area determination unit, according to the above (1) or (2), characterized in that to determine the region in the image data reduced by said reduction means an image processing apparatus.

(4):前記ラベルデータを拡大する拡大手段を備えることを特徴とする上記(3)に記載の画像処理装置である。 (4): The image processing apparatus according to (3), characterized in that it comprises a magnifying means for enlarging the label data.

(5):前記合成画像データを平滑化する合成画像データ平滑化手段を備えることを特徴とする上記(1)乃至(4)のいずれか1項に記載の画像処理装置である。 (5): The image processing apparatus according to any one of the above characterized in that it comprises the composite image data smoothing means for smoothing the synthetic image data (1) to (4).

(6):前記合成処理手段は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記(1)乃至(4)のいずれか1項に記載の画像処理装置である。 (6): the combining processing unit, an image processing apparatus according to any one of the above (1) to (4), characterized in that synthesized by weighted addition of the image data and the smoothed image data it is.

(7):前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化手段を備え、 (7): including the label data smoothing means for outputting the smoothed label data obtained by smoothing the label data,
前記合成処理手段は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記(6)に記載の画像処理装置である。 The synthesis processing unit is an image processing apparatus according to (6), characterized in that the synthesized weighted addition of the image data and the smoothed image data by the smoothed label data.

(8):前記ラベリング手段は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする上記(1)乃至(7)のいずれか1項に記載の画像処理装置である。 (8): the labeling means is an image processing apparatus according to item 1 one of the above (1) to (7) and performing a predetermined weighting to the divided distance information consisting of the predetermined number .

(9):入力された主要被写体画像データと非主要被写体画像データとを含む画像データにぼかし処理を行う画像処理方法であって、入力された主要被写体までの距離と非主要被写体までの距離とからなる距離情報を所定の段数からなる分割距離情報に分割する距離分割工程と、前記画像データを輝度及び/または色度に基づいて領域判定して領域判定結果を出力する領域判定工程と、前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング工程と、前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化工程と、前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理工程と、を具備するこ (9): the distance an image processing method for performing blurring processing on image data including the inputted and main object image data non-main subject image data, the distance to the non-main subject to the main subject that is input consisting distance information a predetermined number of stages consisting of the distance dividing step of dividing the division distance information, the area determination step of outputting an area decision result the image data and area determination based on the luminance and / or chromaticity, the and labeling step of outputting the label data division distance information and the region determination result in association with a smoothing step of outputting the smoothed image data by smoothing the image data with a different processing according to the predetermined number of stages , child anda synthesis processing step of outputting the synthesized image data synthesized on the basis of said smoothed image data and the image data on the label data を特徴とする画像処理方法である。 Which is the image processing method characterized.

(10):前記距離分割工程は、前記距離情報をN段からなる分割距離情報に分割し、前記平滑化工程は、前記画像データを(N−1)の異なる処理をもって平滑化して、(N−1)の異なる平滑化画像データを出力することを特徴とする上記(9)に記載の画像処理方法である。 (10): the distance division step, the distance information is divided into divided distance information consisting of N stages, wherein the smoothing step smoothes with different processing of said image data (N-1), (N the image processing method according to the above (9), characterized in that outputs different smoothed image data of -1). (但し、Nは2以上の整数である。) (Where, N represents an integer of 2 or more.)

(11):前記画像データを縮小する縮小工程を備え、前記領域判定工程は、前記縮小工程で縮小した画像データにおける領域を判定することを特徴とする上記(9)または(10)に記載の画像処理方法である。 (11): includes a reduction step of reducing the image data, the area determination step, according to the above (9) or (10), characterized in that to determine the region in the image data reduced by the reduction step the image processing method.

(12):前記ラベルデータを拡大する拡大工程を備えることを特徴とする上記(11)に記載の画像処理方法である。 (12): The image processing method according to the above (11), characterized in that it comprises an enlarged step of expanding the label data.

(13):前記合成画像データを平滑化する合成画像データ平滑化工程を備えることを特徴とする上記(9)乃至(12)のいずれか1項に記載の画像処理方法である。 (13): The image processing method according to any one of the above, characterized in that it comprises the synthetic image data smoothing step of smoothing the composite image data (9) to (12).

(14):前記合成処理工程は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記(9)乃至(12)のいずれか1項に記載の画像処理方法である。 (14): the synthetic processing step, image processing method according to any one of the above (9) to (12), characterized in that synthesizes the image data and the smoothed image data weighted addition it is.

(15):前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化工程を備え、前記合成処理工程は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記(14)に記載の画像処理方法である。 (15): including the label data smoothing step of outputting the smoothed label data obtained by smoothing the label data, the synthetic processing step, weighted addition of the image data and the smoothed image data by the smoothed label data the image processing method according to the above (14), characterized in that to synthesize.

(16):前記ラベリング工程は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする上記(9)乃至(15)のいずれか1項に記載の画像処理方法である。 (16): the labeling step is a image processing method according to item 1 one of the above (9) to (15), characterized in that performing a predetermined weighting to the divided distance information consisting of the predetermined number .

(17):上記(1)乃至(8)のいずれか1項に記載の画像処理装置を備えたことを特徴とするデジタルスチルカメラである。 (17): is a digital still camera comprising the image processing apparatus according to any one of the above (1) to (8).

(18):画像データと、距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記画像データを輝度及び/または色度に基づいて複数の領域に分割する領域分割手段と、前記画像データを複数のブロックに分割するブロック分割手段と、前記距離情報に基づいて前記複数のブロック毎にブロック距離を設定するブロック距離設定手段と、前記複数の領域を前記ブロック距離に基づいて判定して主要被写体領域と非主要被写体領域とに分割する主要被写体領域抽出手段と、前記複数のブロックの中で前記主要被写体領域と前記非主要被写体領域との境界線を有するブロックに対して、当該ブロック内における前記主要被写体領域中の画素には、当該画素の距離に、または前記主要被写体領域に属するブロックに (18): and the image data, the distance information and is input, an image processing apparatus that performs blurring processing on the image data, a region that divides the image data into a plurality of regions based on luminance and / or chromaticity dividing means, a block dividing means for dividing the image data into a plurality of blocks, and the block distance setting means for setting a block length for each of the plurality of blocks based on the distance information, the block length of the plurality of regions a block having a main subject region extraction means for dividing to the the main subject area and the non-main subject region determination, the boundary line between the main subject region and the non-main subject region among the plurality of blocks based on in contrast, the pixels in the main subject region in the block is the distance of the pixel or the block belonging to the main subject area けるブロック距離に基づき、第1の補正距離を設定し、当該ブロック内における前記非主要被写体領域中の画素には、当該画素の距離に、または当該ブロックに隣接し、且つ前記非主要被写体領域に属するブロックにおけるブロック距離に基づき、第2の補正距離を設定する補正距離設定手段と、前記ブロック距離、前記第1の補正距離及び前記第2の補正距離に基づいて前記画像データにぼかし処理を行うぼかし処理手段と、を具備することを特徴とする画像処理装置である。 Based on the kicking block distance, set the first correction distance, the pixels in the non-main subject region in the block is the distance of the pixel or adjacent to the block, and the non-main subject area based on the block length in the blocks belonging performs a correction distance setting means for setting a second correction distance, the block distance, the blur processing on the image data based on the first correction distance and the second correction distance an image processing apparatus characterized by comprising: a blurring processing means.

(19):前記複数のブロックの中で前記非主要被写体領域に属するブロックであり、且つ誤測距により適正なブロック距離が設定されていない誤測距ブロックを判定する誤測距ブロック判定手段と、前記誤測距ブロックのブロック距離を、当該誤測距ブロックの周辺のブロックであり、且つ前記非主要被写体領域に属するブロックのブロック距離により補正して、補正ブロック距離を設定する誤測距ブロック補正手段と、を具備し、前記ぼかし処理手段は、前記ブロック距離、前記第1の補正距離、前記第2の補正距離、及び前記補正ブロック距離に基づいて前記画像データにぼかし処理を行うことを特徴とする上記(18)に記載の画像処理装置である。 (19): a block which belongs to the non-main subject region among the plurality of blocks, and erroneous distance measurement block determining means for determining an erroneous distance measurement block not proper block distance is set by and erroneous distance measurement the block length of the erroneous distance measurement block, the a block near the erroneous distance measurement block and said corrected by block distance of the block belonging to the non-main subject area, erroneous distance measurement block sets the correction block distance comprising a correction unit, wherein the blurring processing unit, said block length, wherein the first correction distance, the second correction distance, and to carry out blurring processing on the image data based on the correction block distance the image processing apparatus according to (18), characterized.

上記(1)、(2)、(9)または(10)に記載の構成によれば、主要被写体と非主要被写体(例えば背景)とを適切に分離することができ、高品位なぼかし画像が得られると共に、ぼかし処理を高速に行うことができる。 (1), (2), (9) or According to the configuration described in (10), it is possible to appropriately separate the main object and the non-main subject (e.g. background), high-quality blurred image with the resulting, it is possible to perform the blurring process on a high speed.

上記(3)、(4)、(11)または(12)に記載の構成によれば、さらにぼかし処理を更に高速に行うことができる。 (3), (4), (11) or according to the configuration described in (12), it can be performed to further higher speed blurring processing.

上記(5)または(13)に記載の構成によれば、さらに高品位なぼかし画像が得られる。 According to the configuration described in (5) or (13), high-quality blur image is obtained further.

上記(6)または(14)に記載の構成によれば、元の画像データと平滑化された平滑化画像データ間や、異なる強度で平滑化された平滑化画像データ間のつなぎ目を目立たなくすることができ、高品位なぼかし画像が得られる。 According to the configuration described in (6) or (14), inconspicuous and between the original image data and the smoothed smoothed image data, the joint between the smoothed at different intensity smoothed image data it can be a high-quality blur image is obtained.

上記(7)または(15)に記載の構成によれば、元の画像データと平滑化された平滑化画像データ間や、異なる強度で平滑化された平滑化画像データ間のつなぎ目をさらに目立たなくすることができ、さらに高品位なぼかし画像が得られる。 According to the configuration described in (7) or (15), not more inconspicuous and between the original image data and the smoothed smoothed image data, the joint between the smoothed at different intensity smoothed image data it can be a high-quality blur image is obtained further.

上記(8)または(16)に記載の構成によれば、主要被写体の領域(元の画像データを合成対象とする領域;ぼかしを生じさせない領域)にぼけが食い込むことを防止することができ、さらに高品位なぼかし画像が得られる。 According to the configuration described in (8) or (16), the area of ​​the main subject; it is possible to prevent the biting blur (a region of the original image data and synthesis target region that does not cause blurring), further high quality blurred image is obtained.

上記(17)に記載の構成によれば、高品位かつ高速なぼかし処理を行うデジタルスチルカメラを実現することができる。 According to the configuration described in (17), it is possible to realize a digital still camera to perform high-quality and high-speed shading process.

上記(18)または(19)に記載の構成によれば、誤測距により生じたぼけ食い込み、ぼけ抜けを解消できる。 According to the configuration described in (18) or (19), bite blur caused by erroneous distance measurement can be eliminated omission blur. 即ち、抽出した主要被写体以外の領域(非主要被写体領域)をぼかすとき、誤測距による主要被写体に生じるぼけ食い込み、主要被写体以外の領域に生じるぼけ抜けを解消でき、違和感のない背景ぼかし画像処理ができる。 That is, when the blur the extracted other than the main subject area (non-main subject area), bite blur occurring to the main subject by erroneous distance measurement, can eliminate the omission blur occurring in a region other than the main subject, no sense of discomfort background blurred image processing can.

本発明によれば、被写体によらず高品位なぼかし画像が得られると共に、高速に処理できる画像処理装置、画像処理方法及びデジタルスチルカメラを提供することができる。 According to the present invention, can be provided with high-quality blurred image regardless of the subject is obtained, the image processing apparatus capable of processing at high speed, the image processing method and a digital still camera.

本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示すブロック図である。 It is a block diagram showing a configuration of a digital still camera device and a connecting device according to the present invention. 本発明に係るデジタルスチルカメラにおける一実施の形態の外観を示す上面図である。 It is a top view showing an appearance of an embodiment of a digital still camera according to the present invention. 図2のデジタルスチルカメラの外観を示す正面図である。 It is a front view showing an appearance of a digital still camera in FIG. 図2のデジタルスチルカメラの外観を示す背面図である。 It is a rear view showing an appearance of a digital still camera in FIG. 本発明に係るデジタルスチルカメラにおける第1の実施の形態および第2の実施の形態の動作フローである。 Is an operation flow of the first embodiment and the second embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第1の実施の形態の画像処理を示す図である。 It is a diagram showing an image processing of the first embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第1の実施の形態のAF評価値の変化を示す図である。 Is a graph showing changes in the AF evaluation value of the first embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第1の実施の形態のAF評価値のHPFで演算対象となる画素を示す図である。 It is a diagram illustrating a pixel to be calculated by the HPF of the AF evaluation value of the first embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第1の実施の形態のAFエリアの被写体までの距離と所定範囲を示す図である。 It is a diagram showing the distance and the predetermined range to the subject in the AF area in the first embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第1の実施の形態のラベリングの領域割り当てを説明するための説明図である。 It is an explanatory diagram for explaining a labeling area allocation of the first embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第1の実施の形態の平滑化工程及び合成処理工程を説明するための説明図である。 It is an explanatory diagram for explaining a first embodiment of the smoothing step and combining processing step in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第1の実施の形態のフィルタ係数の分布を示す図である。 It is a diagram showing the distribution of the filter coefficient of the first embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第2の実施の形態のラベルデータのビット割当を説明するための説明図である。 It is an explanatory diagram for explaining the bit assignment of the label data of the second embodiment in the digital still camera according to the present invention. 本発明に係るデジタルスチルカメラにおける第2の実施の形態の平滑化工程及び合成処理工程を説明するための説明図である。 It is an explanatory diagram for explaining the second embodiment of the smoothing step and combining processing step in the digital still camera according to the present invention. 本発明に係る画像処理装置に入力される画像データのサンプル図である。 It is a sample diagram of an image data input to the image processing apparatus according to the present invention. 図15に示すサンプル図に測距結果を重ね合わせた図である。 It is a view obtained by superposing the distance measurement result to the sample diagram shown in Figure 15. 本発明にかかる画像処理装置のその他の実施の形態における構成を示すブロック図である。 Is a block diagram illustrating the construction of another embodiment of an image processing apparatus according to the present invention. 図15に示すサンプル図における領域の分割の例を示すための図である。 It is a diagram for illustrating an example of a division of the region in the sample diagram shown in Figure 15. 本発明にかかる画像処理装置のその他の実施の形態1における領域分割の処理フローの例を示す図である。 An example of a process flow of the area division in accordance with a first other embodiment of an image processing apparatus according to the present invention. FIG. 距離情報取得部108の詳細内部構成を示す図である。 Distance information is a diagram showing a detailed internal configuration of the acquisition unit 108. 図15に示すサンプル図に顔検出結果を重ね合わせた図である。 Diagrams superimposed face detection result to a sample diagram shown in Figure 15. 誤測距ブロックEのブロック距離と周辺のブロックのブロック距離との差を示すグラフである。 Is a graph showing the difference between the block length of the erroneous distance measurement block block distance and near blocks of E. 誤測距ブロックEと周辺のブロックとの配置関係を示す説明図である。 It is an explanatory diagram showing the arrangement of an erroneous distance measurement block E and the surrounding blocks. 5×5のGaussianフィルタの一例を示す図である。 5 is a diagram showing an example of a Gaussian filter × 5. ぼけ関数DB110の一例を示す図である。 Is a diagram illustrating an example of the blurring function DB 110. デジタルカメラのハードウェア構成を示すブロック図である。 It is a block diagram showing a hardware configuration of a digital camera. 本発明にかかる画像処理装置のその他の実施の形態1におけるぼかし処理の処理フローの例を示す図である。 An example of a process flow of the blurring process according to the first other embodiment of an image processing apparatus according to the present invention. FIG. その他の実施の形態2における画像処理装置のハードウェア構成を示すブロック図である。 Is a block diagram showing a hardware configuration of an image processing apparatus according to a second other embodiment. 本発明にかかる画像処理装置のその他の実施の形態2におけるぼかし処理の処理フローの例を示す図である。 An example of a process flow of the blurring in the second other embodiment of an image processing apparatus according to the present invention. FIG.

本発明に係る画像処理装置は、主要被写体画像データと非主要被写体画像データとを含む画像データと、主要被写体までの距離と非主要被写体までの距離とからなる距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記距離情報を所定の段数からなる分割距離情報に分割する距離分割手段と、前記画像データを輝度及び/または色度に基づいて領域判定して領域判定結果を出力する領域判定手段と、前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング手段と、前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化手段と、前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像 The image processing apparatus according to the present invention, the image data including the main object image data and the non-main object image data, and distance information consisting of a distance to the distance and the non-main subject to the main subject is input, the image an image processing apparatus that performs blurring processing on the data, and the distance dividing means for dividing the divided distance information comprising the distance information from a predetermined number of stages, the image data to determine regions based on luminance and / or chromaticity an area judging means for outputting a region determination result, the divided distance information and the area determination result and labeling means for outputting label data in association with, the image data with a different processing according to the predetermined number smoothes and smoothing means for outputting the smoothed image data Te, composite image and the smoothed image data and the image data synthesized on the basis of the label data ータを出力する合成処理手段と、を具備することを特徴とする。 Characterized by comprising a synthesis processing means for outputting over data, the.

次に、本発明に係る画像処理装置、画像処理方法及びデジタルスチルカメラについてさらに詳細に説明する。 Next, the image processing apparatus according to the present invention will be described in detail an image processing method and a digital still camera.
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。 The embodiments described below, that is a preferred embodiment because technically preferable various limitations of the present invention is attached, the scope of the present invention is to limit the present invention in the following description unless described, it is not limited to these embodiments.

〔第1の実施の形態〕 First Embodiment
以下、図面を参照しながら本発明の第1の実施の形態について具体的に説明する。 It will be specifically described first embodiment of the present invention with reference to the drawings.
図1に本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示す。 It shows the configuration of a digital still camera device and a connection device according to the present invention in FIG. 図1において、01は、デジタルスチルカメラ装置である。 In Figure 1, 01 is a digital still camera device. 02は、デジタルスチルカメラ装置01全体の制御を行うために設けられた、CPU、NANDフラッシュメモリ、SDRAM、タイマー等からなるシステム制御部である。 02, is provided in order to perform the digital still camera apparatus 01 overall control, a system controller comprising CPU, NAND flash memory, SDRAM, the timer or the like. 03は、撮像のために設けられた、光学系部品を駆動するためのモータや、CCDを駆動するためのCCD駆動回路、A/D変換器等からなる、撮像部である。 03, provided for imaging, motors and for driving the optical system parts, CCD driving circuit for driving the CCD, an A / D converter or the like, an image pickup unit.

04は、撮像部で得られた画像信号(画像データ)に種々の画像処理を施すと共に、撮像部03のCCD駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用DSP(デジタルシグナルプロセッサ)、RAM等からなる画像処理部である。 04, is performed with various image processing on the image signal obtained by the image pickup unit (image data), it performs zooming, focusing, exposure adjustment and the like by controlling the CCD driving timing of the imaging unit 03, a lens driving motor, also the image processing DSP (digital signal processor) provided for performing compression and decompression of an image, an image processing unit including a RAM or the like. 05は、画像処理部04で処理された画像信号をLCDへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しLCDへ表示するために設けられたD/A変換器、オンスクリーンディスプレイコントローラ等からなる表示制御部である。 05 performs signal processing for displaying the image signal processed by the image processing unit 04 to the LCD, also generates various graphic image for the user interface provided for display to the LCD D / a converter, a display control unit consisting of an on-screen display controller or the like.

06は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたLCDである。 06 displays the image, also, an LCD which is provided to display the graphics for the user interface. 07は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラ等からなる記録メディアインターフェイス部である。 07 is a recording medium interface portion consisting of a memory card controller or the like provided for the interface with the recording medium. 08は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられたフラッシュメモリ等からなる、デジタルスチルカメラ装置01から着脱可能な記録メディアである。 08, a flash memory or the like provided to store various information coils round the compressed image signal and the image is a recording medium detachable from the digital still camera 01.

09は、ダイヤル等のユーザーインターフェイスの状態検出を行い、またメインCPUへの主電源制御を行うために設けられた、サブCPU等からなるハードキーインターフェイス部である。 09 performs state detection of the user interface, such as a dial, also provided to perform the main power supply control to the main CPU, a hard key interface section composed of a sub CPU or the like. 10は、USB接続してデータ通信を行うために設けられた、通信コントローラからなる通信インターフェイス部である。 10 is provided to perform data communication with USB connection, a communication interface section composed of a communication controller. 11は、デジタルスチルカメラ装置01とUSB接続して、デジタルスチルカメラ装置01からの画像を転送して再生したり、デジタルスチルカメラ装置01へ各種設定を行うためのPC(パーソナルコンピュータ)である。 11, a digital still camera device 01 and with a USB connection, a digital still camera device image by transferring or playing from 01, the digital still camera 01 to the PC for performing various settings (personal computer).

12は、撮影モードを設定するための、モードダイヤルである。 12, for setting the shooting mode is a mode dial. 13は、撮影を指示するための、レリーズキーである。 13, for instructing the shooting, a release key. 14は、撮像を行うためのCCDである。 14 is a CCD for performing imaging. 15は、光学像をCCD14上に結像させるための、レンズである。 15, for forming an optical image on the CCD 14, a lens.

図2は本発明のデジタルスチルカメラの一実施の形態の外観を示す上面図である。 Figure 2 is a top view showing an appearance of an embodiment of a digital still camera of the present invention. 図3は図2のデジタルスチルカメラの外観を示す正面図である。 Figure 3 is a front view showing an appearance of a digital still camera in FIG. 図4は図2のデジタルスチルカメラの外観を示す背面図である。 Figure 4 is a rear view showing an appearance of a digital still camera in FIG.
図2〜4において、デジタルスチルカメラ本体1の上面には、レリーズシャッタ(SW1)62、モードダイヤル(SW2)63、およびサブLCD64が配置されている。 In Figure 2-4, the upper surface of the digital still camera 1, a release shutter (SW1) 62, the mode dial (SW2) 63, and sub-LCD64 it is disposed. デジタルスチルカメラ本体1の正面には、SDカード/電池蓋65、ストロボ発光部66、光学ファインダ67、リモコン受光部69、鏡胴ユニット70が配置されている。 The front face of the digital still camera main body 1, SD card / battery lid 65, a flash emitter 66, an optical finder 67, a remote control light receiving unit 69, a lens barrel unit 70 is disposed. デジタルスチルカメラ本体1の背面には、AFLED71、ストロボLED72、ズームスイッチ(ワイド)(SW3)73、ズームスイッチ(遠隔)(SW4)74、セルフタイマ/削除スイッチ(SW5)75、メニュースイッチ(SW6)76、上/ストロボスイッチ(SW7)77が配置されている。 The rear of the digital still camera 1, AFLED71, flash LED 72, a zoom switch (wide) (SW3) 73, a zoom switch (remote) (SW4) 74, a self-timer / delete switch (SW5) 75, a menu switch (SW6) 76, the upper / strobe switch (SW7) 77 is disposed. さらに、デジタルスチルカメラ本体1の背面には、右スイッチ(SW8)78、ディスプレイスイッチ(SW9)79、下/ストロボスイッチ(SW10)80、左/画像確認スイッチ(SW11)81、オーケースイッチ(SW12)82、LCDモニタ83および電源スイッチ(SW13)84が配置されている。 Further, on the rear surface of the digital still camera 1, the right switch (SW8) 78, a display switch (SW9) 79, the lower / strobe switch (SW10) 80, a left / image confirmation switch (SW11) 81, OK switch (SW12) 82, LCD monitor 83 and a power switch (SW13) 84 is disposed. またさらに、デジタルスチルカメラ本体1の背面には、光学ファインダ67が正面と同様の位置に配置されている。 Furthermore, on the rear surface of the digital still camera main body 1, an optical viewfinder 67 is disposed in the same position as the front. この光学ファインダ67は、装置の正面から背面まで挿通した状態で固定されている。 The optical viewfinder 67 is fixed in a state of being inserted to the back from the front of the device.

まず、従来の起動動作について説明する。 It will be described first conventional boot operation. 利用者が電源ボタン84を押下すると、ハードキーインターフェイス部09はメインCPUへの電源供給をオンする。 When the user presses the power button 84, the hard key interface section 09 turns on the power supply to the main CPU. システム制御部02内のメインCPUは、まずNANDフラッシュメモリのブート部からアクセス(プログラム実行)を開始し、ブートプログラムによってプログラム・データをSDRAMへ転送する。 The main CPU in the system control unit 02 starts the access (program execution) First from the boot of the NAND flash memory, and transfers the program data to the SDRAM by the boot program. SDRAMへの転送が完了すると、プログラムの実行ポインタ(プログラムカウンタ)を、転送したSDRAM上のプログラムに移し、以降はSDRAM上のプログラムにより起動処理を開始する。 When the transfer to the SDRAM is completed, the program execution pointer (program counter), and transferred to the program on the SDRAM which transferred, thereafter begins the starting process by the program on the SDRAM.

起動処理には、OS(オペレーティングシステム)の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。 The start up procedure, OS initialization and lens barrel counterbore out process (operating system), and the like initialization processing of the recording medium. 鏡胴の繰り出し処理は、画像処理部04を介して撮像部03のレンズ駆動モータに所定の間隔(2mS)毎にパルス信号を与えることで行う。 Feeding processing of the lens barrel is performed by giving a pulse signal every predetermined interval (2 mS) to the lens drive motor of the imaging unit 03 through the image processing unit 04. また、記録メディア08の初期化処理は、記録メディアインターフェイス部07を介して記録メディア08への電源とクロックを供給した後、記録メディア08へ初期化コマンドを発する。 Further, initialization processing of the recording medium 08, after supplying power and clock to the recording medium 08 via the recording medium interface unit 07 issues an initialization command to the recording medium 08. 実際の初期化処理は記録メディア08内で行われ、システム制御部02はその完了を検知するために記録メディア08のステータスを10mS間隔でポーリングする。 The actual initialization process is performed in the recording medium 08, the system controller 02 polls at 10mS intervals the status of the recording medium 08 to detect the completion.

続いて撮影時の動作について説明する。 Next, the operation at the time of shooting will be described. 利用者は撮影に先立ち、図2〜4に示されている種々のキー、ダイヤルを操作し、撮影モード(高画質モード、低画質モード等)を決定する。 User before shooting, various keys shown in Figures 2-4, to operate the dial, shooting mode (high image quality mode, a low image quality mode, etc.) to determine. 利用者の操作内容はハードキーインターフェイス部09を通じてシステム制御部02で判別され、システム制御部02は、操作に応じて表示制御部05へガイダンスグラフィックを生成して、利用者に次操作を促す。 Operation contents of the user are determined by the system control section 02 via the hard key interface section 09, the system control unit 02 generates a guidance graphics to the display control unit 05 in response to the operation, prompting the next operation to the user. システム制御部02は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部04へ設定する。 The system control unit 02, the photographing mode is determined, to set the process parameters according to the mode to the image processing unit 04.

あるいはまた、利用者はズームスイッチ73,74を操作し、画角(構図)を決定する。 Alternatively, the user operates the zoom switch 73 and 74, to determine the angle of view of the (composition). 利用者の操作内容はハードキーインターフェイス部09を通じてシステム制御部02で判別され、システム制御部02は、操作に応じて撮像部03を制御しレンズを駆動する。 The operation contents of the user are determined in the system control section 02 via the hard key interface section 09, the system controller 02 drives the control to lens imaging unit 03 in response to the operation. 撮像部03は画像処理部04からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。 Imaging unit 03 under the control of the image processing unit 04, prior to the actual shooting, starts an imaging operation for displaying a monitoring image.

撮像されたデータは連続的に画像処理部04へ送られ、画像処理部04では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部05へ送る。 Captured data is sent continuously to the image processing unit 04, and sends the image processing unit 04 in the color space conversion, gamma correction, after performing processing such as white balance adjustment, the image data to the display control unit 05. 表示制御部05では、画像データを信号処理してLCD06へ表示し、利用者へ撮像状態を提示する。 The display control unit 05 displays the image data signal processing to the LCD 06, presents the imaging condition to the user. レリーズボタン13が押されると、その操作はモード設定と同様にしてハードキーインターフェイス部09を通じてシステム制御部02で判別される。 When the release button 13 is depressed, its operation is determined by the system control section 02 via the hard key interface section 09 in the same manner as the mode setting.

撮像部03は画像処理部04からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部04へ送り、画像処理部04は、撮影モードに応じた画像処理、圧縮処理を行う。 Under the control of the imaging unit 03 is an image processing section 04, after the focusing, sends the image captured to the image processing unit 04, the image processing unit 04, image processing, compression processing is performed in accordance with the photographing mode. システム制御部02は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部07を通じて記録メディア08へ書き込む。 The system control unit 02 reads out the compressed image data, further after adding the header information is written via the recording medium interface unit 07 to the recording medium 08. 以上で一連の撮影動作を完了する。 Complete a series of photographing operations above.

次いで、本発明において特徴となる画像処理の動作フローについてより詳細に説明する。 Next, it will be described in more detail operation flow of the image processing as a feature in the present invention.
先ず、本発明の第1の実施の形態である、元の画像データを平滑化して平滑化画像データを1面作成して元の画像データと合成し、必要に応じてこれを繰り返す(本実施の形態の場合3回繰り返す)例について説明する。 First, a first embodiment of the present invention, combined with the original image data to create one surface smoothed image data by smoothing the original image data, repeating this as necessary (present of repeated 3 times if the form) example will be described.

動作フローを図5(A)に示す。 The operation flow shown in FIG. 5 (A). この動作フローはレリーズボタン13が押された後の、撮影時の動作を示している。 The operation flow after the release button 13 is pressed, it shows the operation at the time of shooting.
撮影動作を開始すると、システム制御部02は画像処理部04及び撮像部03を制御し、CCDAFのスキャン動作を行う(step01−001)。 Upon starting the shooting operation, the system controller 02 controls the image processing unit 04 and the imaging unit 03, performs a scanning operation of CCDAF (step01-001).
続いてシステム制御部02は、撮影領域内の位置毎のピーク位置の判定を行う(step01−002)。 Subsequently, the system controller 02 makes a determination of the peak position for each position of the imaging area (step01-002).

ここでCCDAFの概要ついて説明する。 Here with an overview of CCDAF will be described.
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、撮像素子で光電変換された映像信号によって画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御して焦点調節を行う。 Generally, in the electronic imaging apparatus having a two-dimensional image pickup device such as a digital camera or a video camera, detects the sharpness of the screen by converted video signal photoelectrically by the imaging device, the focusing lens as the sharpness is maximized performing focus adjustment by controlling the position. 通常、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。 Usually, the sharpness is reduced in a state where focus is blurred, increases as the subject is in focus, reaches a maximum value in a state in which focus is fully fit.
CCDAFは、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする方法である。 CCDAF gradually with moving the focus lens from the infinity end to the near end, imaging an object at a plurality of positions, the position of the plurality of image data captured, the focus lens most sharpness higher image obtained which is a method of in-focus position.

以下、図6を参照しながら説明する。 It will be described below with reference to FIG.
図6(A)において、100は画像の撮影領域全体、101は1つのAF評価値エリアを示している。 In FIG. 6 (A), 100 is the entire imaging area of ​​the image, 101 shows one of the AF evaluation value area.
図6(A)に示すように、AF評価値エリアは、撮影領域内を均等に分割した16×12の小領域となっており、CCDAFにより各小領域101毎のAF評価値(小領域101内の画像のコントラストの積算値)が得られる。 Figure 6 As shown in (A), AF evaluation value area is a small area of ​​the equally divided 16 × 12 a photographing region, AF evaluation values ​​of each small region every 101 by CCDAF (small region 101 integrated value of the contrast of the image of the) is obtained.

システム制御部02は、各小領域101毎に、CCDAFのスキャンにより得られたレンズ位置毎のAF評価値を、所定のアルゴリズムに基づき解析し、AF評価値のピーク位置に相当するレンズの位置を判定する。 System controller 02, in each of the small regions 101 each, the AF evaluation value for each lens position obtained by scanning the CCDAF, analyzed based on the predetermined algorithm, the position of the lens corresponding to the peak position of the AF evaluation value judge.
さらにシステム制御部02は、各小領域101毎に、現在のズーム位置からレンズの駆動位置を距離情報に変換する。 Further, the system controller 02, in each of the small regions 101 each, to convert the current zoom position driving position of the lens on the distance information.

このCCDAFにおけるレンズ位置(合焦距離)とAF評価値との関係の一例を図7に示す。 Indicating the lens position in the CCDAF and (focus distance) an example of the relation between the AF evaluation value in FIG.
図7において、横軸はレンズ位置及びレンズ位置に対応した合焦する距離、縦軸はAF評価値を示している。 7, the horizontal axis represents a distance to focus corresponding to the lens position and the lens position, and the vertical axis represents the AF evaluation value.
また、901は遠距離にある被写体(例えば非主要被写体である図6(C)の背景の空部分102)のスキャンに伴うAF評価値の変化を示した波形、902は同じく中距離にある被写体(例えば非主要被写体である図6(C)の背景の縁石部分103)のスキャンに伴うAF評価値の変化を示した波形、903は同じく近距離にある被写体(例えば主要被写体である図6(C)の人物部分104)のスキャンに伴うAF評価値の変化を示した波形である。 Further, 901 waveforms showing changes of an object AF evaluation value associated with the scan (e.g., empty portion 102 of the background of FIG. 6 is a non-main subject (C)) in the far, the subject in the same medium distance is 902 Figure 6 is a waveform illustrating the change in the AF evaluation value associated with the scan (e.g., non-main is subject curb portion 103 of the background of FIG. 6 (C)), the subject (e.g., the main subject also a short distance 903 ( it is a waveform illustrating the change in the AF evaluation value associated with the scanning of the person portion 104) of C).
ここで、AF評価値はAF評価値エリア101内の各画素に対し、水平方向の画素間でHPF(ハイパスフィルター)の演算を行い、得られた高周波成分を加算したものである。 Here, the AF evaluation value for each pixel in the AF evaluation value area 101, performs the operation of HPF (high pass filter) between the horizontal direction of the pixels, is obtained by adding the obtained high-frequency components.

HPFの係数は、例えば、ki={−1,−2,6,−2,−1}といった値が用いられる。 Coefficient of the HPF, for example, ki = {- 1, -2,6, -2, -1} values ​​such is used.
k0は注目画素の水平方向−2の座標の画素に乗算される係数、k1は注目画素の水平方向−1の座標の画素に乗算される係数、k2は注目画素に乗算される係数、k3は注目画素の水平方向+1の座標の画素に乗算される係数、k4は注目画素の水平方向+2の座標の画素に乗算される係数である。 k0 is a coefficient obtained by multiplying with a pixel of the coordinates of the horizontal -2 target pixel, the coefficient k1 is obtained by multiplying with a pixel located at the coordinates in the horizontal direction -1 of a pixel of interest, k2 is a coefficient obtained by multiplying with a pixel of interest, k3 is coefficients to be multiplied to the pixel coordinate in the horizontal direction of the target pixel + 1, k4 is a coefficient obtained by multiplying with a pixel located at the coordinates in the horizontal direction + 2 of the pixel of interest.

このAF評価値の演算を、図8に示すAF評価値エリア内の5画素を抜き出したものを例に挙げて具体的に説明する。 The calculation of the AF evaluation value is specifically described as an example an extract of the five pixels of the AF evaluation value area shown in FIG.
図8において、1001は、注目画素の水平方向−2の座標の画素、1002は、注目画素の水平方向−1の座標の画素、1003は、注目画素、1004は、注目画素の水平方向+1の座標の画素、1005は、注目画素の水平方向+2の座標の画素を示している。 8, 1001, the pixel coordinates of the horizontal -2 target pixel 1002, the coordinates of pixels in the horizontal direction -1 of a pixel of interest, 1003, the pixel of interest, 1004, of the target pixel in the horizontal direction +1 pixel coordinates 1005 shows the coordinates of pixels in the horizontal direction + 2 of the pixel of interest. AF評価値は、下記式(1)で求められる。 AF evaluation values ​​is obtained by the following formula (1).

(AF評価値) = k0×(1001の画素の値) + k1×(1002の画素の値) + k2×(1003の画素の値) + k3×(1004の画素の値) + k4×(1005の画素の値) ・・・式(1) (The value of the pixels of 1004) (AF evaluation value) = k0 × (1001 pixels values) + k1 × (1002 pixels values) + k2 × (1003 pixels values) + k3 × + k4 × (1005 of the value of the pixel) equation (1)

AF評価値から距離情報を取得するには、下記式(2−1)で示されるガウスの結像方程式、 To obtain the distance information from the AF evaluation value, the Gaussian imaging equation represented by the following formula (2-1),
1/a+1/b=1/f ・・・式(2−1) 1 / a + 1 / b = 1 / f ··· formula (2-1)
から、下記式(2−2)として求められる。 From, obtained as the following equation (2-2).
a=bf/(b−f) ・・・式(2−2) a = bf / (bf) ··· formula (2-2)

ここで、a:レンズから被写体までの距離、b:レンズから撮像素子間の距離、f:レンズの焦点距離、である。 Here, a: distance from the lens to the subject, b: distance between the imaging element from the lens, f: focal length of the lens. レンズから被写体までの距離aが求める距離情報である。 A distance information obtaining the distance a to the object from the lens. レンズの焦点距離fは、撮影時のズーム位置により一意に求められる。 The focal length f of the lens is uniquely determined by the zoom position at the time of shooting. レンズから撮像素子間の距離bは、AF評価値のピークの得られたフォーカスレンズの位置から一意に求められる。 The distance between the imaging element from the lens b is uniquely determined from the position of the focus lens obtained peak of the AF evaluation value. 以上により、画角100内の全領域のAF評価値エリア101毎の距離情報を得ることができる。 Thus, it is possible to obtain the distance information of the AF evaluation value for each area 101 in the entire area of ​​the view angle 100.

なお、被写体のコントラストが低く、ピークが得られなかったエリアについては、その周辺のエリアのピーク位置で補完処理を行うと良い。 Incidentally, the contrast of the subject is low, the area in which the peak can not be obtained, when the complementary processing at a peak position of the surrounding area may.

以上の様に、実際の距離情報はAF評価値のピーク位置から一意に求められるため、以降の説明ではピーク位置を距離と同義のものとして説明する。 As described above, the actual distance because the information is determined uniquely from the peak position of the AF evaluation value, it is described as a peak position of the distance as defined in the following description.

図6(A)の各領域(AF評価値エリア101)の中の値は、step01−002で判定された各領域でのピーク位置を示している。 Values ​​in the respective regions (AF evaluation value area 101) shown in FIG. 6 (A) shows a peak position of each region determined by Step01-002.
続いてシステム制御部02は、測距結果(ピーク位置;距離情報)を、所定の段数N段(本実施の形態ではN=4)に分割して分割距離情報とする(step01−003;距離分割工程)。 Subsequently, the system controller 02, measurement result; (peak position distance information) (in this embodiment N = 4) given number N stages and divided distance information is divided into (Step01-003; Distance dividing step). この所定の段数Nは2以上の任意の整数である。 The predetermined number N is an integer of 2 or greater. このときNが大きくなるほどぼかし画像はより高品位となるが、Nが大きくなり過ぎると処理に時間がかかるため好ましくない。 Blurred image as where N is large is a higher quality, is not preferred because it takes time to process the N becomes too large.

このstep01−002では、まず、システム制御部02は、AFエリア107の被写体(主要被写体)までの距離と、所定範囲内の距離にあるAF評価値エリア101をまとめて主要被写体ブロックとして判定する。 This step01-002 first determines, the system controller 02, and the distance to the subject in the AF area 107 (main subject), as the main subject block are collectively AF evaluation value area 101 at a distance within a predetermined range.
図6(A)において、網掛けで示された107はAFエリアを示している。 In FIG. 6 (A), 107 indicated by hatching indicates the AF area. このAFエリア107は画角100内の中心である必要はなく、撮像対象となる主要被写体に対応した画角100内の任意の位置をユーザーが指定することができる。 The AF area 107 need not be the center of the view angle 100, an arbitrary position within the angle of view 100 that corresponds to the main subject to be imaged can be user-specified.

AFエリア107の被写体までの距離と、主要被写体ブロックを決定するための所定範囲を、図9を参照しながら説明する。 And distance to the subject in the AF area 107, a predetermined range for determining a main subject block will be described with reference to FIG.
図9において、横軸は無限遠から近距離に向けた距離、1101から1105、および1108は、図6(C)のような被写体を、step01−002で測距した、各部の距離を示している。 9, the distance is the horizontal axis towards infinity to a close, 1101 from 1105 and 1108, a subject such as in FIG. 6 (C), and ranging in Step01-002, indicates the distance of each portion .

1101は、背景の空部分102までの距離、1102は、背景の縁石部分103までの距離、1103は、人物104の頭部までの距離、1104は、人物104の顔部までの距離、1105は、人物104の胸部までの距離である。 1101, distance to empty portion 102 of the background, 1102, the distance to the curb portion 103 of the background, 1103, the distance to the head of a person 104, 1104, the distance to the face portion of the person 104, 1105 a distance to the chest of a person 104. 1108は、背景の町並み105と海106までの距離である。 1108 is the distance to the town 105 and the sea 106 background.

AFエリア107は、図6(A)に示すように、人物の顔部に設定されており、AFエリア107の被写体までの距離は1104と等しい。 AF area 107, as shown in FIG. 6 (A), is set to face portion of the person, the distance to the subject in the AF area 107 is equal to 1104.

1106、1107は、主要被写体ブロックを決定するための所定範囲を示しており、1106は近距離側の範囲、1107は遠距離側の範囲である。 1106 and 1107 shows a predetermined range for determining a main subject block, 1106 in the range of the short distance side, 1107 is in the range of long distance side.
図9の例では、1103、1104、1105が所定範囲に含まれる。 In the example of FIG. 9, 1103, 1104, 1105 it is included in a predetermined range.
以上のような判定に基づき、本実施の形態では図6(B)の114で示したエリアを、主要被写体ブロックとして判定する。 Based on the determination as described above, determines the area shown in the embodiment in 114 of FIG. 6 (B), as the main subject block.

尚、この所定範囲1106、1107は、レンズの焦点距離とAFエリアの被写体までの距離に基づき、あらかじめシステム制御部02内に記憶されているテーブルを参照することで設定される。 The predetermined range 1106 and 1107, based on the distance to the subject the focal distance and the AF area of ​​the lens, are set by referring to the table stored in advance in the system control 02.
設定は、レンズの焦点距離が長い場合には所定範囲は短く、レンズの焦点距離が短い場合には所定範囲は長く設定され、また、AFエリアの被写体までの距離が長い場合には所定範囲は長く、AFエリアの被写体までの距離が短い場合には所定範囲は短く、設定される。 Setting, when the focal length of the lens is long in a predetermined range shorter, predetermined range when the focal length of the lens is short is set to be longer, and the predetermined range when the distance to the subject in the AF area is long long, the predetermined range when the distance to the subject in the AF area is short short, is set.
あるいは、他の方法として、図6(A)の測距結果(距離情報)の値の分布から自動決定するようにしても良い。 Alternatively, as another method, it may be automatically determined from the distribution of values ​​in FIG. 6 the distance measurement results of (A) (distance information).

図6(B)の各領域(AF評価値エリア101)の値が0となっているブロックが主要被写体ブロックである。 Block with a value of 0 for each area (AF evaluation value area 101) shown in FIG. 6 (B) is a main subject block.
本実施の形態における非主要被写体である背景部分については、主要被写体ブロック以外の領域の図6(A)の測距結果(距離情報)の値の分布から、値を残りの3段階に分割する。 For non-main is subject background portion of this embodiment divides the distribution of values ​​of the distance measurement result (distance information) of FIG. 6 in the region other than the main subject block (A), complete the remaining three stages .
本実施の形態では、値が11未満である領域(図6(B)の値が3)、値が11以上15未満である領域(図6(B)の値が2)、値が15以上である領域(図6(B)の値が1)の3段階に分割している。 In the present embodiment, the region value is less than 11 (the value shown in FIG. 6 (B) is 3), the area value is less than 11 or more 15 (the value shown in FIG. 6 (B) is 2), the value is 15 or more region (the value shown in FIG. 6 (B) is 1) is divided into three stages is.
尚、本実施の形態では非主要被写体は背景のみから構成されているが、本発明における非主要被写体とは主要被写体の前景のみから構成されていても良く、背景と前景とから構成されていても良い。 Incidentally, in this embodiment, but non-main subject is composed of only the background, the non-main subject in the present invention may be composed of only the foreground of the main object, it is composed of a background and foreground it may be.

続けてシステム制御部02は、画像処理部04を制御して、撮影画像(画像データ)を別画像として所定の画像サイズ(本実施の形態では320×240)に縮小(step01−004;縮小工程)し、縮小して得られた画像を元に領域判定を行う(step01−005;領域判定工程)。 Continued system control unit 02 controls the image processing unit 04, captured image reduction (image data) on a predetermined image size as a separate image (320 × 240 in the present embodiment) (Step01-004; reduction step ), and it performs area determination based on the image obtained by reducing (step01-005; region determination step).

領域の判定は、画像データの輝度と色差に基づき、隣接する画素との差が所定の値(本実施の形態では10)未満の場合には同一の領域として判定を行う(下記式(3)参照。)。 Determination of regions, based on brightness and color difference of the image data, when the difference between adjacent pixels is less than the predetermined value (10 in this embodiment) performs the determination as the same region (the following formula (3) reference.). 尚、本実施の形態では画像データの輝度と色差に基づき領域の判定を行っているが、本発明における領域判定は、画像データの輝度または色差に基づき行うものであっても良い。 Although in this embodiment is performed for regions based on luminance and color difference image data, area determination in the present invention, may perform based on the luminance or chrominance of the image data.

abs(Y1−Y0)+abs(U1−U0)+abs(V1−V0) < 10 abs (Y1-Y0) + abs (U1-U0) + abs (V1-V0) <10
・・・式(3) Equation (3)

上記式(3)において、Y0、U0、V0が基準となる画素の輝度または色差、Y1、U1、V1が隣接する画素の輝度または色差の値である。 In the above formula (3), the value of Y0, U0, V0 is the reference pixels of luminance or chrominance, Y1, U1, luminance or chrominance pixels V1 are adjacent.
abs()は、括弧内の値の絶対値を得る処理を示している。 abs () indicates the process of obtaining the absolute value of the value in parentheses.
基準となる画素の位置を画像全体に移動しながら判定を行うことで、明るさと色の近い領域を判定することができる。 The reference position of the pixel by performing the determination while moving the entire image, it is possible to determine the region near the brightness and color.

step01−005の領域判定工程の結果である領域判定結果を図6(D)に示す。 The region determination result is the result of the area determination step of step01-005 shown in FIG. 6 (D). 図6(D)において太線及び/または細線で囲まれた各領域が、輝度や色差に基づいて画像データのグルーピングを行った領域判定の結果である。 Each area surrounded by bold lines and / or thin lines in FIG. 6 (D) is the result of area determination was carried out grouping of the image data on the basis of the luminance and color difference.
尚、本実施の形態では後述するように非主要被写体である背景の領域の全てにぼけ処理を行うが、主要被写体からの位置が所定の範囲内である非主要被写体に対してはぼけ処理を行わないことが望ましい。 In the present embodiment performs the blurring process to all areas of the background are non-main object as described later, the position of the main subject blur processing for the non-main subject is within a predetermined range it is desirable not to perform. 即ち、非主要被写体領域の中で、主要被写体からの位置が所定の距離の範囲外である非主要被写体の領域に対してぼけ処理を行うことが望ましい。 That is, in the non-main subject area, the position of the main object it is desirable to perform the blurring process on the region of the non-main object is outside the predetermined distance.

続けてシステム制御部02は、領域の割当(ラベリング)を行う(step01−006;ラベリング工程)。 System control unit 02 continues performs region assignment of (labeling) (Step01-006; labeling step).
ラベリングは、step01−005で領域判定した各領域(図6(D);領域判定結果)と、step01−003で分割した測距結果(図6(B);分割距離情報)を重ね合わせて判定する。 Labeling, each region determined area Step01-005 (Fig 6 (D); region determination results), divided measurement result in Step01-003 (Fig 6 (B); divided distance information) by superimposing the determination to. 即ち、領域判定工程により抽出された各領域がそれぞれ有する画素は、N段の分割距離情報のいずれと多く重なるかをカウントし、重なりの多い段の分割距離情報に各領域をそれぞれ割り当てたラベリングデータを出力する。 That is, the pixels each region has respectively extracted by the area determination step, the labeling data counted either many overlaps of divided distance information N stages were assigned each area respectively in descending stage divided distance information overlapping to output.

このラベリングの方法について、図10を用いて具体的に説明する。 The method of this labeling will be specifically described with reference to FIG. 10.
図10において、太線で囲まれた700は分割距離情報が0(1段目)のAF評価値エリア、同じく701は分割距離情報が1(2段目)のAF評価値エリア、同じく702は分割距離情報が2(3段目)のAF評価値エリア、同じく703は分割距離情報が3(4段目)のAF評価値エリアを示している。 10, 700 surrounded by a thick line AF evaluation value area of ​​the divided distance information 0 (first stage), also 701 AF evaluation value area of ​​the divided distance information 1 (second stage), also 702 divided distance information AF evaluation value area 2 (third stage), and also 703 divided distance information indicates the AF evaluation value area 3 (fourth stage). これらの領域700,701,702,703は図示のとおり太線で囲まれた領域であって、20×20個の細線で囲まれた画素705からそれぞれ構成されている。 These regions 700,701,702,703 can be surrounded by a thick line as shown regions, it is structured from the pixels 705 surrounded by 20 × 20 pieces of thin wire. 前述したように、領域判定は320×240に縮小した画像で行っているため、16×12のAF評価値エリアと重ね合わせると、各AF評価値エリアが20×20画素を含むことになる。 As described above, since the region determination is performed on an image obtained by reducing the 320 × 240, when superimposed with the AF evaluation value area of ​​16 × 12, so that the AF evaluation value area includes 20 × 20 pixels.
また、波線で囲んだ円形の領域704は、重ね合わせた領域判定結果で示される1つの領域である。 Further, a circular region 704 surrounded by a broken line is one of the area indicated by the area determination results obtained by overlapping.

システム制御部02は、領域704内に重なり合っている各AF評価値エリア700〜703が有する画素数をカウントし、カウントされた画素数が最も多い分割距離情報に領域704の割り当てを行うが、その際に、分割距離情報が0のAF評価値エリア(主要被写体領域)と重なる画素に対しては、所定の重み付け(本実施の形態では3倍でカウント)を行い、判定する。 The system control unit 02 counts the number of pixels having each AF evaluation value area 700 to 703 that overlap in the region 704, the number of counted pixels to assign areas 704 largest division distance information, the when the, for pixels overlapping the divided distance information is 0 AF evaluation value area (main subject area), the (count three times in this embodiment) predetermined weighting, determines. 尚、本実施の形態では各領域内でカウントされた画素数が最も多い分割距離情報が複数ある場合は、0に近いものを優先して割り当てを行う。 In the case in the present embodiment in which the number of pixels counted in each area is a plurality of largest division distance information, it performs assignment preferentially close to 0.

図10の例における本実施の形態の具体的な算出について説明する。 It described specific calculation in the present embodiment in the example of FIG. 10.
分割距離情報が0の領域の画素数は77画素で、3倍の重み付けを行うため231画素相当、分割距離情報が1の領域の画素数は120画素、分割距離情報が2の領域の画素数は204画素、分割距離情報が3の領域の画素数は143画素となり、領域704には、測距結果0を割り当てる。 The number of pixels of the divided distance information 0 of a region at 77 pixels, corresponding 231 pixels for performing three times the weighting, the number of pixels is 120 pixels of the divided distance information is 1 region, the number of pixels of the divided distance information is 2 region is 204 pixels, the number of pixels of the divided distance information is three area becomes 143 pixels, the region 704, allocates the ranging result 0. 割り当てでは、領域判定に用いた画素数(320×240)画素に等しいラベルデータを作成し、この領域704の位置に相当するラベルデータの値を0に設定する。 The assignment creates equal label data to the number of pixels (320 × 240) pixels used for area determination, the value of the label data corresponding to the position of the region 704 is set to 0.

この分割距離情報が0の領域への重み付けを行うことにより、領域判定結果において小領域が生成され、それが分割距離情報の境界に重なり合っているような場合に、その小領域を0にすることができ、結果として(その小領域が主要被写体の場合)主要被写体へぼけが食い込むことを防止することができる。 By this division distance information to weight to 0 in the region, the small region is generated in the region determination result, it is the case that overlap a boundary of the divided distance information, to the small region to 0 it can be, as a result it is possible to prevent (the small area when the main object) which bite blur the main subject.
本実施例では主要被写体に対して3倍の重み付けを行っているが、これ以外の値でも良い。 In this embodiment is carried out 3 times weight to the main subject, it may be other values. あるいは、割り当てを行う領域において、主要被写体領域に相当する分割距離情報である「0」との重なりが1画素以上ある場合には当該領域にラベル値「0」を設定するような方法も有効である。 Alternatively, in the region of allocating, division distance manner is information overlap between "0" sets the label value "0" in the area in the case where there is at least one pixel is also effective that corresponds to the main subject area is there.

同様に判定において、分割距離情報が1の領域が割り当てられた場合にはラベル値1を、分割距離情報が2の領域が割り当てられた場合にはラベル値2を、分割距離情報が3の領域が割り当てられた場合にはラベル値3を設定して320×240のラベルデータを作成する。 In determining Similarly, the label value 1 if the divided distance information 1 region is allocated, the label value 2 when divided distance information 2 area is allocated, divided distance information is three area to create a label data of 320 × 240 to set the label value 3 if is assigned.

図6の例では、図6(D)の太線で囲った領域が、ラベルデータの設定結果を示しており、108の領域(本実施の形態における主要被写体の領域に相当する。)には0が、109及び110の領域には1が、111及び112の領域には2が、113の領域には3が設定される。 In the example of FIG. 6, a region surrounded by a bold line shown in FIG. 6 (D) is shows the result of setting the label data, in the region of 108 (. Corresponding to the area of ​​the main subject in this embodiment) 0 but 1 in the region of 109 and 110, 2 in the region of 111 and 112, 3 is set in the region of 113.

以上のように、step01−005,006での処理は、縮小した画像を元に行われる。 Thus, treatment with step01-005,006 is performed based on the reduced image. step01−005,006で説明したような複雑な処理は、CPUで行う必要がある為、縮小した画像を元に行うことで高速に処理することができる。 Complicated processing as described in step01-005,006, since it is necessary to perform by a CPU, a can be performed at high speed by performing based on reduced image.

続けてシステム制御部02は、ラベルデータの拡大を行う(step01−007;拡大処理)。 System control unit 02 continuously, enlarges the label data (step01-007; enlargement process). 拡大は最近傍法により0、1、2、3以外の中間値が生成されないように行い、撮影画像データのサイズと同じサイズに拡大する。 Expansion was carried out so that the intermediate value is not generated except 0,1,2,3 by nearest neighbor method, to expand the same size as the size of the captured image data.

以下、平滑化工程と合成処理工程について、図11を参照しながら説明する。 Hereinafter, the smoothing step and combining processing step will be described with reference to FIG.
システム制御部02は、画像処理部04を制御し、撮影画像データ(元画像データ)のコピーを生成し(step01−008、図11(1))、更に、撮影画像データ(元画像データ)のぼかし画像(平滑化画像データ)を生成する(step01−009、図11(2);平滑化工程の一部)。 The system control unit 02 controls the image processing unit 04, generates a copy of the captured image data (original image data) of (Step01-008, 11 (1)), further, the shot image data (original image data) generating a blurred image (smoothed image data) (step 01-009, 11 (2); a portion of the smoothing process).

ここで、ぼかし処理(平滑化画像データの生成)の詳細について図5(C)のフローに基づいて説明する。 Here it will be described with reference to the flow shown in FIG. 5 (C) For details of the blur processing (generation of the smoothed image data).
システム制御装置02は、ラベルデータのラベル値に基づき、下記表1に示すような処理内容を決定する(step03−001)。 The system control unit 02, based on the label value of the label data, determines processing contents shown in Table 1 (step03-001).

表1において、ラベル値はラベルデータの値(値の大きい方が大きなぼけを生ずる)、縮小処理はラベル値により決定する縮小処理の縮小率(画像の一辺の長さの比)、を示している。 In Table 1, the label value (produce larger big blur value) value of the label data, reduction processing shows the (ratio of the length of one side of the image) reduction ratio of the reduction process of determining the label value there. 即ち、大きなぼけを得る場合には、画像をより小さく縮小してから空間フィルタ処理を行う。 That is, in the case of obtaining a large blur performs spatial filter processing from the reduced smaller images. このときの縮小処理は、バイリニア法により、画像データの画素数を減らすようにサンプリングを行う。 Reduction processing in this case, the bi-linear method, perform sampling to reduce the number of pixels of the image data.
尚、縮小処理の縮小率の分母の値16は、画像の水平サイズと垂直サイズの公約数となる値が設定されており、縮小後の画像サイズは水平方向、垂直方向共に小数点以下の端数を生じない。 Note that the denominator of the value 16 of the reduction ratio of reduction processing, the value to be a common divisor of the horizontal and vertical size of the image is set with the image size in the horizontal direction after the reduction, the decimal fraction in the vertical directions It does not occur.

これにより、縮小処理や拡大処理における丸めによる誤差を排除することができ、縮小拡大後の画像サイズを正確に元画像に合わせることができ、ひいては、後述する合成処理の処理結果の画像品位を向上することができる。 Thus, it is possible to eliminate errors due to rounding of the reduction processing and enlargement processing, image size after scaling can be adjusted to exactly the original image and thus improve the image quality of the processing result of the combination process described below can do.

ラベル値が、1の場合には、縮小処理を行わずに空間フィルタの処理(ぼかし処理)のみを行う(step03−002、003)。 Label value, in the case of 1, only the processing of the spatial filter (blurring processing) without a reduction process (Step03-002,003).
空間フィルタの処理は、システム制御部02からの設定に基づき画像処理部04で実行される。 Processing of the spatial filter is performed by the image processing unit 04 based on the setting from the system controller 02.
空間フィルタ処理では、下記式(4)のように入力画像(In(x,y))にフィルタ係数(k(ix,iy))を演算し、出力画像(Out(x,y))を得る。 In spatial filtering calculates the input image as shown in Equation (4) (In (x, y)) to the filter coefficient (k (ix, iy)), to obtain an output image (Out (x, y)) .

ここで、In:入力画像、Out:出力画像、k:フィルタ係数、fs:フィルタサイズ(本実施の形態では7)、である。 Here, an In: input image, Out: output image, k: the filter coefficients, fs: (in the present embodiment 7) filter size, is. また上記式4において、座標の演算結果(x+ix―fs/2、及びy+iy−fs/2)は、整数に切り捨て、かつ、入力画像内を指し示す様にクリップされる。 In the above formula 4, the coordinates of the calculation result (x + ix-fs / 2, and y + iy-fs / 2) is truncated to an integer, and is clipped so as point to the input image.
次に、フィルタ係数の例を図12に示す。 Next, an example of a filter coefficient in FIG.

ラベル値が2以上の場合には、一旦画像を縮小処理した後、空間フィルタの処理(ぼかし処理)を行い、しかる後に拡大処理を行うことで元のサイズに戻す(step03−004〜006)。 When the label value is 2 or more, once after reduction processing of the image, it performs processing of the spatial filter (blurring process) to return to its original size by performing enlargement processing thereafter (Step03-004~006).
拡大処理では、step03−004で行われる縮小率の逆数分の拡大処理を行い、結果、画像データのサイズは元の大きさとなる。 In the enlargement processing performs enlargement processing of the inverse number of the reduction ratio is carried out by Step03-004, result, the size of the image data is the original size.
尚、拡大処理は、バイリニア法により、画像の画素数を増やすようにサンプリングを行う。 Incidentally, enlargement processing, the bilinear method to sample so as to increase the number of pixels of the image.

これらの縮小、空間フィルタ、拡大の処理は、システム制御部02からの設定に基づき画像処理部04で実行される。 These reduction, the processing of the spatial filter, expansion is performed by the image processing unit 04 based on the setting from the system controller 02. また、ラベル値が0である領域とは主要被写体に対応した領域であるため、対応したぼかし処理は存在せず、ラベル値が1,2,3の場合にのみ対応したぼかし処理が存在する。 Moreover, since the label value is an area corresponding to the main subject from the region is zero, the blurring processing corresponding absent, the label values ​​exist is blurring processing corresponding only to the case of 1,2,3. 即ち、前記N段に分割した場合、N−1通りの異なるぼかし処理を行うことでN−1通りの平滑化画像データを生成する。 That is, the case of dividing into N stages to generate a smoothed image data of the N-1 types by performing different blurring processing of District N-1.

以下、図5(A)のフローに戻り説明する。 Following description returns to the flow of FIG. 5 (A).
合成処理(step01−010;合成処理工程)では、step01−008で生成したコピー画像(元の画像データ)に、step01−009でぼかし処理を施した画像(平滑化画像データ)を合成する。 Synthesis processing; In (Step01-010 synthetic process), the copy image generated by Step01-008 (original image data), combining images (smoothed image data) subjected to the blurring process with step 01-009.
合成は、ラベルデータのラベル値に基づいて行われ、ラベル値1に対応したぼかし処理を行った画像(平滑化画像データの1つ)のラベル値が1の位置の画素を、コピー画像に上書き処理する(図11(3))。 Overwrite compositing is performed based on the label value of the label data, the pixel of the position of the label value is 1 (one smoothed image data) image subjected to blurring processing corresponding to the label value 1, the copy image processing (FIG. 11 (3)).
以上と同様の処理を、ラベル値2、3に対して繰り返し行う(step01−009〜011、図11(4)〜(7))ことで合成画像データを得る。 The same processing as above, repeated relative label value 2,3 (Step01-009~011, 11 (4) to (7)) to obtain a composite image data by.

続いてシステム制御部02は、各ラベル値同士の境目に位置する画素に対して、空間フィルタの処理を行う(step01−012、図11(8);合成画像データ平滑化工程)。 Subsequently, the system controller 02, for pixels located at the boundary of each label value to each other, the process of the spatial filter (Step01-012, 11 (8); the combined image data smoothing step).
この空間フィルタの処理(ぼかし処理)は、step03−003と同じ処理であっても良いし、図12のフィルタ係数を全て1にした様な簡略化した処理であっても良い。 Processing of the spatial filter (blurring process) may be the same process as Step03-003, it may be a process in which all simplified like the one the filter coefficients of FIG.
この処理により、各ラベル値の異なる領域の間のつなぎ目を目立たなくする事が出来る。 This process can be inconspicuous joint between the different regions of each label value.
最後に、以上の処理をした画像を、従来と同様に圧縮、記録して処理を完了する(step01−013)。 Finally, the image processing was described above, conventional compressed similarly to complete the recording processing (step01-013).

〔第2の実施の形態〕 Second Embodiment
次に、本発明の第2の実施の形態である、元の画像データを平滑化して平滑化画像データを(必要に応じて複数面、本実施の形態では3面)作成した後に、加重加算により元の画像データと合成する例について説明する。 Next, a second embodiment of the present invention, (s face if necessary, three sides in this embodiment) the smoothed image data by smoothing the original image data after creating, weighted addition It will be described an example of synthesizing an original image data by.

動作フローを図5(B)に示す。 The operation flow shown in FIG. 5 (B). 本動作フローは第1の実施の形態と同様に、レリーズボタン13が押された後の、撮影時の動作を示している。 This operation flow as in the first embodiment, after the release button 13 is pressed, shows the operation at the time of shooting. 尚、これ以外の動作については説明を省略する。 Incidentally, it omitted for operations other than this.
また、step02−001〜005の動作は、step01−001〜005の動作と同じであるため説明を省略する。 The operation of step02-001~005 is omitted because it is same as the operation of Step01-001~005.

step02−006において、システム制御部02は、領域の割当(ラベリング)を行うが、第1の実施の形態とはラベルデータのフォーマットが異なる。 In Step02-006, the system controller 02, performs the area allocation of (labeling), and the first embodiment the format of the label data is different.

ラベルデータのフォーマットの例を図13に示す。 An example of the format of the label data shown in FIG. 13.
図13は、1画素に相当するラベルデータのビット割当を示しており、上位2ビット(bit7,bit6)は、第1の実施の形態と同じ内容のラベル値、下位6ビット(bit5〜bit0)は、後述する加重加算の係数を示している。 Figure 13 shows the bit assignment of the label data corresponding to one pixel, the upper two bits (bit7, bit6) is the label value of the same content as the first embodiment, the lower six bits (bit5~bit0) shows the coefficients of weighted addition, which will be described later.
その他の動作(領域に重なりあった画素をカウントし、画素数の多い分割距離情報に割り当てを行う等)については、第1の実施の形態と同じであるため説明を省略する。 (Counting the pixels overlap the region, such as the allocation to the more divided distance information number of pixels) other operations for is omitted because it is same as in the first embodiment.

システム制御部02は、第1の実施の形態と同様に各領域が有するそれぞれの画素に対して分割距離情報が0の領域が割り当てられた場合にはラベル値0を、分割距離情報が1の領域が割り当てられた場合にはラベル値1を、分割距離情報が2の領域が割り当てられた場合にはラベル値2を、分割距離情報が3の領域が割り当てられた場合にはラベル値3を設定したラベルデータを作成する。 The system control unit 02, when the region of the divided distance information 0 is assigned to each of pixels having each region as in the first embodiment is in the label value 0, divided distance information is 1 the label value 1 if the area is allocated, the label value 2 when divided distance information 2 area is allocated, the label value of 3 when divided distance information 3 area is allocated to create the set label data. これと同時に、加重加算の係数部分は、0に初期化する。 At the same time, the coefficient part of the weighted addition is initialized to 0.

続けて、システム制御部02は、ラベルデータに対して空間フィルタの処理(平滑化)を行い、平滑化ラベルデータを生成する(step02−007;ラベルデータ平滑化手段)。 Subsequently, the system control unit 02 performs processing of the spatial filter (smoothing) on ​​the label data to generate smoothed label data (Step02-007; label data smoothing means).
この処理は、step03−003と同じ処理であっても良いし、図12のフィルタ係数を全て1にしたような簡略化した処理であっても良い。 This process may be the same process as Step03-003, it may be a process that is simplified, such as all the filter coefficients of FIG 1.

この処理により、上位2ビットのラベル値が加重加算部に分散され、ラベルデータをbit6とbit5の間に小数点を置いたデータとして見た場合に、1.5や、2.5といった中間値が生成されることになる。 This process label value of the upper 2 bits are distributed to the weighted addition unit, when viewed label data as data put a decimal point between the bit6 and bit5, 1.5 and 2.5 the intermediate values ​​such as It will be produced.
これにより、後述する加重加算において、ラベル値が異なる各領域の間のつなぎ目を目立たなくすることができる。 Thus, it is possible in a weighted addition to be described later, the label value is inconspicuous joint between different respective regions.

更にシステム制御部02は、平滑化ラベルデータの拡大を行う(step02−008;拡大工程)が、第1の実施の形態とは異なり、拡大はバイリニア法により行う。 Further the system controller 02 performs the expansion of the smoothed label data (step02-008; expanding step) is different from the first embodiment, expansion is carried out by bi-linear method.
これにより、加重加算の係数値が更に分散することになり、後述する加重加算において、ラベル値の異なる各領域の間のつなぎ目をより目立たなくすることができる。 This makes it possible coefficient values ​​weighted addition is further dispersed, can be in the weighted addition, which will be described later, and more inconspicuous the seam between the regions having different label values.

以下、平滑化工程と合成処理工程について、図14を参照しながら説明する。 Hereinafter, the smoothing step and combining processing step will be described with reference to FIG. 14.
システム制御部02は、画像処理部04を制御し、撮影画像データ(元の画像データ)のぼかし画像である平滑化画像データを生成する。 The system control unit 02 controls the image processing unit 04, and generates a smoothed image data is a blurred image of the photographed image data (original image data).
平滑化工程については、第1の実施の形態と同じであり、ラベル値1、2、3に対して繰り返し行い(step02−009〜010)、各々別のぼかし画像(N−1の異なる平滑化画像データ;本実施の形態の場合3つ)を生成する(図14(1)〜(3))。 The smoothing step is the same as in the first embodiment, repeated relative label value 1,2,3 (step02-009~010), different smoothing each separate blurred image (N-1 image data; three in the present embodiment) for generating a (FIG. 14 (1) to (3)).

合成処理工程(step02−011)では、撮影画像データ(元の画像データ)とstep02−009〜010で生成した3つの平滑化画像データ(図14(1)〜(3))を合成処理する。 In the combining step (Step02-011), synthesized processing the captured image data (original image data) and three smoothed image data generated in Step02-009~010 (FIG. 14 (1) to (3)).
合成は、ラベルデータのラベル値及び加重加算の係数、即ち平滑化ラベルデータに基づき行う。 Synthesis coefficient of the label value and the weighted addition of the label data, i.e. carried out based on the smoothed label data.

ラベル値が0の場合には、撮影画像データ(元の画像データ)とラベル値1で平滑化処理を行った画像(図14(1))間で下記式(5−1)により加重加算を行う。 When the label value is 0, the weighted addition according to the following equation (5-1) between the photographed image data (original image data) and the label value 1 in image subjected to smoothing processing (FIG. 14 (1)) do.

合成画像データの画素値 = ((元の画像データの画素値 × (64 − 加重加算係数)) + (ラベル値1で平滑化処理を行った平滑化画像データの画素値 × 加重加算係数)) / 64 Pixel values ​​of the composite image data = ((pixel value × of the original image data (64 - weighted-addition coefficient)) + (pixel value × weighted addition of a smoothing image data subjected to the smoothing process in label value 1)) / 64
・・・式(5−1) Equation (5-1)

ラベル値が1の場合には、ラベル値1で平滑化処理を行った画像(図14(1))とラベル値2で平滑化処理を行った画像(図14(2))間で下記式(5−2)により加重加算を行う。 When the label value is 1, the image (FIG. 14 (1)) was carried out a smoothing process with label values ​​1 and label value 2 in the image subjected to smoothing processing (FIG. 14 (2)) the following equation between performing a weighted addition by (5-2).

合成画像データの画素値 = ((ラベル値1で平滑化処理を行った平滑化画像データの画素値 × (64 − 加重加算係数)) + (ラベル値2で平滑化処理を行った平滑化画像データの画素値 × 加重加算係数)) / 64 Pixel values ​​of the composite image data = ((pixel value × label value smoothed image data subjected to the smoothing process by 1 (64 - weighted-addition coefficient)) + (smoothed image subjected to smoothing processing the label value 2 pixel value × weighted-addition coefficient data)) / 64
・・・式(5−2) Equation (5-2)

ラベル値が2の場合には、ラベル値2で平滑化処理を行った画像(図14(2))とラベル値3で平滑化処理を行った画像(図14(3))間で下記式(5−3)により加重加算を行う。 When the label value is 2, the image subjected to smoothing processing the label value image subjected to smoothing processing in 2 (FIG. 14 (2)) and the label value 3 (FIG. 14 (3)) between the following formula performing a weighted addition by (5-3).

合成画像データの画素値 = ((ラベル値2で平滑化処理を行った平滑化画像データの画素値 × (64 − 加重加算係数)) + (ラベル値3で平滑化処理を行った平滑化画像データの画素値 × 加重加算係数)) / 64 Pixel values ​​of the composite image data = ((label value 2 at the pixel value × smoothed image data subjected to the smoothing processing (64 - weighted-addition coefficient)) + (smoothed image subjected to label value 3 in the smoothing process pixel value × weighted-addition coefficient data)) / 64
・・・式(5−3) Equation (5-3)

ラベル値が3の場合には、(合成画像データの画素値 = ラベル値3で平滑化処理を行った平滑化画像データの画素値)とする。 When the label value is 3, and (pixel values ​​of the smoothed image data subjected to the smoothing process by the pixel value = label value 3 of the composite image data).

以上の合成処理工程により、ラベル値の異なる各領域の間のつなぎ目を目立たなくする事が出来る。 By the above synthesis process, the label value of it is able to obscure the seams between different respective regions.
最後に、以上の処理をした画像を、従来と同様に圧縮、記録して処理を完了する(step02−012)。 Finally, the image processing was described above, conventional compressed similarly to complete the recording processing (step02-012).

以上、元の画像データを平滑化して平滑化画像データを1面作成して元の画像データと合成し、必要に応じてこれを繰り返す例(第1の実施の形態)、及び、元の画像データを平滑化して平滑化画像データを(必要に応じて複数面、本実施の形態では3面)作成した後に、加重加算により元の画像データと合成する例(第2の実施の形態)の2つの実施の形態について説明したが、これらの差異についてさらに説明する。 Above, it was synthesized with the original image data by smoothing the original image data to create one surface smoothed image data, repeating this as necessary Example (first embodiment), and the original image (multi-surface if desired, three sides in this embodiment) the smoothed image data data by smoothing after creating, examples of synthesizing the original image data by weighted addition of the (second embodiment) It has been described two embodiments, but further describe these differences.

第1の実施の形態は第2の実施の形態に対して、使用するメモリを少なくすることができる。 The first embodiment can reduce to the second embodiment, the memory used. 図11において、第1の実施の形態は(1)、(3)、(5)、(7)、(8)は同じメモリ領域を使用しており、また、(2)、(4)、(6)は同じメモリ領域を用いることができ、第2の実施の形態が元の画像データと同じサイズの3面のメモリ(図14(1)〜(3))を必要とするのに対し、2面のメモリ領域があれば処理することができる。 11, the first embodiment (1), (3), (5), (7), (8) is using the same memory region, (2), (4), (6) it may be made of the same memory area, whereas the second embodiment requires memory of three surfaces of the same size as the original image data (FIG. 14 (1) to (3)) can memory areas two faces are processed, if any.

一方で、第2の実施の形態は第1の実施の形態に対し、より高品位な画質を得ることができる。 On the other hand, the second embodiment can be to the first embodiment, obtain higher quality images. 第1の実施の形態が合成後の画像に対してつなぎ目を空間フィルタにより補正しているのに対し、第2の実施の形態ではあらかじめつなぎ目を考慮したラベルデータを生成しているため、ラベル値の異なる各領域の間のつなぎ目をより自然に処理することができる。 While the first embodiment is corrected by the spatial filter joint to the image after the synthesis, since in the second embodiment are generating label data in consideration of the previously joint, the label value it can be processed more naturally different joint between each region.

以上説明した第1及び第2の実施の形態のそれぞれにおいては、ラベル値に基づき、ぼかし処理の処理内容(ぼかし量)を決定する例について示したが、更に、ラベル値の元となる測距結果(図6(A))に基づいてぼかし処理の処理内容(ぼかし量)を決定するようにしても良い。 In each of the first and second embodiments described above, on the basis of the label values, is shown an example of determining the processing content of the blur processing (blurring amount), further, the original label value ranging results may be determined the processing content of the blurring process (blurring amount) on the basis of (Fig. 6 (a)). その場合、システム制御部02内に、step01−003で説明した各ラベル値を決定する距離範囲に応じた、表1に相当する処理内容決定のテーブルを保持しておくことで実現できる。 In that case, the system control unit 02, corresponding to the distance range to determine the respective label values ​​described Step01-003, can be realized by holds the table of the processing content determination corresponding to Table 1.

更には、利用者がぼかし強度を設定する事ができるようにしても良い。 In addition, the user may also be able to set the blur intensity. その場合、システム制御部02内に、利用者の設定したぼかし強度に応じた、表1に相当する処理内容決定のテーブルを保持しておくことで実現できる。 In that case, the system control unit 02, corresponding to the set blur strength of the user, can be realized by holds the table of the processing content determination corresponding to Table 1.

次に、本発明のその他の実施の形態(第2の発明)について説明する。 It will be described other embodiments of the present invention (second invention).
本発明のその他の実施の形態にかかる画像処理装置は、画像データと、距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記画像データを輝度及び/または色度に基づいて複数の領域に分割する領域分割手段と、前記画像データを複数のブロックに分割するブロック分割手段と、前記距離情報に基づいて前記複数のブロック毎にブロック距離を設定するブロック距離設定手段と、前記複数の領域を前記ブロック距離に基づいて判定して主要被写体領域と非主要被写体領域とに分割する主要被写体領域抽出手段と、前記複数のブロックの中で前記主要被写体領域と前記非主要被写体領域との境界線を有するブロックに対して、当該ブロック内における前記主要被写体領域中の画素には、当該画素の距離に、ま The image processing apparatus according to another embodiment of the present invention includes an image data, distance information and is input, an image processing apparatus that performs blurring processing on the image data, the luminance the image data and / or color block distance setting for setting a block distance and area dividing means for dividing into a plurality of regions, a block dividing means for dividing the image data into a plurality of blocks, for each of the plurality of blocks based on said distance information based on the time means and said a main subject region extracting means for dividing the plurality of regions is determined in the main subject area and the non-main subject area based on the block length, the main subject region among the plurality of blocks with non the block having a boundary line between the main subject area, the pixels in the main subject region in the inner block, the distance between the pixels, or は前記主要被写体領域に属するブロックにおけるブロック距離に基づき、第1の補正距離を設定し、当該ブロック内における前記非主要被写体領域中の画素には、当該画素の距離に、または当該ブロックに隣接し、且つ前記非主要被写体領域に属するブロックにおけるブロック距離に基づき、第2の補正距離を設定する補正距離設定手段と、前記ブロック距離、前記第1の補正距離及び前記第2の補正距離に基づいて前記画像データにぼかし処理を行うぼかし処理手段と、を具備することを特徴とする。 Based on the block length in block belonging to the main subject area, sets a first correction distance, the pixels in the non-main subject region in the block is the distance of the pixel or adjacent to the block and based on said non-main subject block distance in the block belonging to the region, a correction distance setting means for setting a second correction distance, the block length, the first correction distance and on the basis of the second correction distance characterized in that it comprises a and a blurring processing means for blurring the image data.
また、前記複数のブロックの中で前記非主要被写体領域に属するブロックであり、且つ誤測距により適正なブロック距離が設定されていない誤測距ブロックを判定する誤測距ブロック判定手段と、前記誤測距ブロックのブロック距離を、当該誤測距ブロックの周辺のブロックであり、且つ前記非主要被写体領域に属するブロックのブロック距離により補正して、補正ブロック距離を設定する誤測距ブロック補正手段と、を具備し、前記ぼかし処理手段は、前記ブロック距離、前記第1の補正距離、前記第2の補正距離、及び前記補正ブロック距離に基づいて前記画像データにぼかし処理を行うことが好ましい。 Also, the a block belonging to the non-main subject region among the plurality of blocks, and the erroneous distance measurement block determining means for determining an erroneous distance measurement block not proper block distance is set by erroneous distance measurement, the the block length of the erroneous distance measurement block, a block of the peripheral of the erroneous distance measurement block, and then corrected by the block length of the blocks belonging to the non-main subject region, erroneous setting the correction block distance ranging block correcting means If, comprising a said blurring processing means, the block length, the first correction distance, the second correction distance, and is possible to perform blurring processing on the image data based on the correction block distance preferable.
以下、図面を参照しながら本発明のその他の実施の形態についてさらに詳細に説明する。 It is described in more detail below other embodiments of the present invention with reference to the drawings.

〔その他の実施の形態1〕 [Embodiment 1 of other embodiments]
図15は画像処理装置に入力される画像データのサンプル図であり、7×10のブロックに分割されている。 Figure 15 is a sample diagram of an image data input to the image processing apparatus is divided into blocks of 7 × 10. Aはオブジェクト1、Bはオブジェクト2、Cはオブジェクト3をそれぞれ表し、ここではAが主要被写体、B及びCが非主要被写体である。 A object 1, B is the object 2, C represents the object 3, respectively, where A is the main subject, B and C are non-main subject.
図16は図15に示すサンプル図に測距結果を重ね合わせた図である。 Figure 16 is a diagram obtained by superposing the distance measurement result to the sample diagram shown in Figure 15. 図16中のAで表される人物のオブジェクト1の輪郭部にある輪郭部ブロックDは、Aと、B及び/またはCが重なるブロックである。 Contour block D at the contour portion of the object 1 of a person represented by A in FIG. 16 is a block and A, and B and / or C overlap. 換言すると、輪郭部ブロックDは、(後述する)主要被写体領域と非主要被写体領域との境界線を有するブロックである。 In other words, contour block D is a block which has a boundary line between (described later) the main subject region and the non-main subject area.
輪郭部ブロックDでは複数の被写体が重なっているため、輪郭部ブロックDの(後述する)ブロック距離は正確なものとならない。 Since a plurality of subjects in the contour block D overlap, (described later) of the contour block D block distance is not a accurate. このため、輪郭部ブロックDにブロック距離をそのまま適用するとぼけの食い込みやぼけ抜けが発生してしまう。 Therefore, omission bite or blurring of innocent applying the block distance as it occurs in the contour portion block D. また、非主要被写体に属する誤測距ブロックEは、被写体の動きや輝度値が低いなどの影響により正確な測距ができず、適正なブロック距離が設定されない。 Further, the distance measuring block E erroneous belonging to the non-main subject can not accurately ranging due to the effects of low motion and luminance value of the subject, the proper block distance is not set.

図17は本発明にかかる画像処理装置のその他の実施の形態における構成を示すブロック図である。 Figure 17 is a block diagram illustrating the construction of another embodiment of an image processing apparatus according to the present invention.
本実施の形態にかかる画像処理装置は、画像入力部101、画像領域分割部102、主要被写体抽出部103、画像ぼかし処理部104、画像合成処理部105、画像出力部106、カメラパラメータ入力部107、距離情報取得部108、ぼけ関数取得部109、ぼけ関数DB110、主要被写体周辺誤測距ブロック修正部111、主要被写体以外領域の誤測距ブロック修正部112を備えている。 The image processing apparatus according to this embodiment, the image input unit 101, the image region dividing unit 102, the main subject extracting section 103, the image blurring processing unit 104, an image synthesis processing unit 105, the image output unit 106, the camera parameter input unit 107 the distance information obtaining unit 108, the blurring function acquiring unit 109, the blurring function DB 110, and includes the main subject peripheral erroneous distance measurement block correction section 111, an erroneous distance measurement block correction unit 112 in the region other than the main subject.
次に、各部について説明する。 Next, a description will be given of each part.

(画像入力部101) (Image input unit 101)
画像入力部101では、デジタルカメラなどの撮影装置、もしくはスキャナーなどの画像入力装置により画像データが入力される。 The image input unit 101, image data is input by an image input device such as a photographing device, or a scanner such as a digital camera.

(画像領域分割部102) (Image area dividing unit 102)
領域分割手段である画像領域分割部102では、画像処理により画像データを複数の領域に分割する。 The image region dividing unit 102 is an area dividing means divides the image data into a plurality of regions by the image processing.
画像のエッジ、色などの情報を利用し、画像のコントラスト、色の特性が近い画素をまとめて一つの領域にして、画像データを複数の領域に分割する。 The edges of the image, using information such as color, image contrast, color characteristics in the one region collectively pixels close, divides the image data into a plurality of regions. 図18に示すように、色とコントラストの近い画素を集める塊、Aオブジェクト1、Bオブジェクト2、C背景の領域に分割される。 As shown in FIG. 18, the mass to collect color and pixels close contrast, it is divided into regions of A object 1, B object 2, C background.
画像データの領域の分割は図18に示すように、ほぼ同じ色の領域を一つの塊として、抽出する。 Divided areas of the image data as shown in FIG. 18, as one lump substantially areas of the same color is extracted. 画像データにおいて隣り合う画素の色の差を計算して、色差がある閾値以下であれば同じ塊と判断する。 By calculating the difference between the color of adjacent pixels in the image data, it is determined that the same lump if less than the threshold value there is a color difference. もしくは、コントラストがほぼ同じの塊を一つの領域として抽出する方法であってもよい。 Or it may be a method of contrast is extracted about the same mass as one region.

図19は本発明にかかる画像処理装置のその他の実施の形態における領域分割の処理フローの例を示す図である。 Figure 19 is a diagram showing an example of a process flow of the area division in the other embodiment of an image processing apparatus according to the present invention. 各工程step04−1〜5について、順に説明する。 Each step Step04-1~5, will be described in order.
step04−1:画像を色空間変換(YUV変換) step04-1: image color space conversion of the (YUV conversion)
まず画像を色空間変換し、RGB画像をYUVに変換する。 First image is a color space conversion, and converts the RGB image into YUV. ここで、Yは画像の輝度であり、UとVは画素の色特性を現す。 Here, Y is the luminance of the image, U and V represent the color characteristics of the pixel. Uは輝度信号とB信号の差分であり、Vは輝度とR信号の差分である。 U is the difference between the luminance signal and the B signal, V is a difference between the luminance and R signals.

step04−2:フィルタ処理 次にY、U、Vそれぞれの成分に対してフィルタリング処理を行う。 Step04-2: Filtering then Y, U, the filtering process with respect to V each component performs. フィルタリングの処理により、ノイズ成分や急激に変化する小さい領域を平均化し、同じ特性の塊を作りやすくする。 The filtering process averages the small area that varies noise component and rapidly, to facilitate creating a mass of the same characteristics. フィルタリングのフィルタについては、ノイズ除去、平滑効果が得られるものであれば良く、例えば、平滑効果があるGaussianを使っても良い。 The filtering of the filter, noise removal, as long as smoothness effect can be obtained, for example, may use Gaussian with smoothing effect.

step04−3:領域生成 フィルタリングしたY、U、V成分では、隣り合う画素の差分がある閾値より小さければ、同じ塊と判断し、塊を生成する。 Step04-3: region generating the filtered Y, U, the V component, is smaller than a certain threshold difference of adjacent pixels, it is determined that the same lump, produces a mass. このとき、Y、U、Vそれぞれに閾値を設定する。 In this case, setting the threshold Y, U, each V. 閾値の設定は実験により、予め調整し、設定しておく。 By setting the threshold experiments, previously adjusted, it is set. それぞれの閾値は、予めメモリに保存しておく。 Each threshold keep in the memory in advance.
このようにして、特性差の少ない小領域を生成する。 Thus, to produce a small subregion of characteristic difference. このとき、色成分であるU、Vの閾値で領域分割しても良いし、輝度値Yの閾値も含めてそれぞれの閾値で領域分割しても良い。 In this case, U is a color components, may be divided into areas with a threshold and V, it may be divided into areas with respective threshold, including a threshold luminance value Y.
図18に示すように同じ色の塊であるオブジェクトA、オブジェクトB、背景Cが分離される。 Objects of the same color mass as shown in FIG. 18 A, an object B, the background C are separated.

step04−4:微小領域削除 ノイズや孤立点の影響で、極小さい微小領域が生成される場合がある。 Step04-4: the influence of the minute area deleting noise and isolated points, sometimes tiny microscopic region is generated. ここで、領域面積の閾値を設けて、閾値面積より小さい微小領域を隣の領域と融合する。 Here, a threshold value is provided in the region area, fusing the smaller micro area than the threshold area and neighboring areas. 融合するとき隣の領域との輝度、色差が最も少ない領域と合成する。 Luminance of the adjacent region when fused, the color difference is combined with the smallest area. 最小面積の閾値は調整でき、予め設定する。 Threshold of minimum area can be adjusted to preset.

step04−5:領域分割結果出力 微小領域削除後、融合した領域を出力する。 Step04-5: After the segmentation result output small area deleted, and outputs the fused region. 融合した領域は色の近いもしくはコントラストの変化が少ない融合領域である。 Fused region is near or fusion regions with little change in the contrast color.
図18に示すように同じ色、コントラストの塊であるオブジェクトA、オブジェクトB、背景Cが分離される。 Same color as shown in FIG. 18, the object A is a mass of contrast, the object B, and the background C are separated.

(距離情報取得部108) (Distance information acquisition unit 108)
距離情報取得部108は、画像データを複数のブロックに分割し、複数のブロック毎に距離情報(ブロック距離)を取得する。 The distance information obtaining unit 108 divides the image data into a plurality of blocks, and acquires the distance information (block distance) for each of a plurality of blocks. (ブロック分割手段、ブロック距離設定手段) (Block dividing unit, block distance setting means)
尚、本実施の形態では画像データを7×10の正方形に等分割するが、複数のブロックの数や形状は任意であることは言うまでもない。 Incidentally, in the present embodiment is equally divides the image data into a square 7 × 10, it is needless to say the number and shape of the plurality of blocks is optional.

図20に距離情報取得部108の詳細内部構成を示す。 Figure 20 shows a detailed internal configuration of the distance information obtaining unit 108.
縮小画像入力部201は複数の異なる焦点位置の画像データを入力し、カメラレンズのフォーカスを調整するレンズ焦点調整部205はレンズの焦点を調整する。 Reduced image input unit 201 inputs image data of a plurality of different focal positions, the lens focal point adjusting unit 205 for adjusting the focus of the camera lens to adjust the focus of the lens.
エッジ情報計算部202は入力された異なる焦点の複数枚の画像データから複数の画像ブロックに分割し、それぞれのブロックでのコントラスト値の平均値を求める。 Edge information calculating unit 202 divides the plurality of image data having different focal input to a plurality of image blocks, an average value of the contrast values ​​in each block. 複数枚の画像データ内での同じ位置のブロックのコントラスト値を比較し、最もコントラスト値の高い画像はそのブロックに焦点があっていると判断され、その画像フレームの焦点位置から、距離情報計算部203が撮影距離(ブロック距離)を計算する。 Comparing the contrast value of the block at the same position in the plurality of image data, high image most contrast value is determined that is in focus on the block, from the focal position of the image frame, the distance information calculation unit 203 calculates the shooting distance (block distance). すべてのブロックでの撮影距離情報を計算すると、ブロックごとの距離情報(ブロック距離)を取得できる。 Calculating the shooting distance information on all the blocks, it can be acquired distance for each block information (block distance). 距離情報出力部204は取得した距離情報(ブロック距離)を出力する。 Distance information output unit 204 outputs the acquired distance information (block distance).
尚、距離情報取得部はこの形態に限られるものではなく、別の距離測定センサーを使用して距離情報を取得しても良い。 The distance information acquisition unit is not limited to this embodiment may acquire the distance information by using a different distance measuring sensor.

(主要被写体抽出部103) (The main subject extraction section 103)
主要被写体抽出手段である主要被写体抽出部103は、画像領域分割部102で分割された小領域を組み合わせ、意味のあるオブジェクトを抽出する。 A main subject extracting unit main subject extracting unit 103 combines small regions divided by the image region dividing unit 102, and extracts the object meaningful. オブジェクトは画像の前景と背景、人物を意味する。 Object refers to the foreground and background of the image, a person. オブジェクト抽出するとき、色情報、エッジ情報、距離情報を利用できる。 When the object extracted, color information, edge information, the distance information can be utilized. 図15に示すようにブロック単位で距離情報が取れる場合、距離情報を参考値として、分割した小領域を組み合わせて、オブジェクトを抽出する。 If the distance information can be taken in block units, as shown in FIG. 15, the distance information as the reference value, a combination of small regions obtained by dividing, extracts objects. 例えば、領域分割処理では人物の頭、体をそれぞれ、小領域とし2つの領域として分割されることもあるが、距離情報では頭領域内のブロックと体領域内ブロックの距離ほぼ同じであり、頭と体を組み合わせて、一つのオブジェクトとして抽出する。 For example, the head of the person in the area dividing process, respectively the body, but also be divided as two regions with small areas, the distance of the block and body regions in the block head in the area in the distance information is almost the same, the head and a combination of the body is extracted as one object. また、隣の木の距離は異なるので、別のオブジェクトとして抽出する。 In addition, the distance next to the tree extracts as different because, another object.

尚、意味のあるオブジェクトとは前景、背景を区別することを意味する。 Note that an object with a sense means to distinguish foreground, background. 本発明では非主要被写体のぼかしを目的とするため、前景、背景区別できて、オブジェクト間の距離が分かればよい。 Since the present invention for the purpose of blurring the non-main subject, foreground, made background distinction may knowing the distance between objects.
図18に示すようにオブジェクトA、オブジェクトB、と背景Cの距離差が分かれば、それぞれを分離できる。 Object A, as shown in FIG. 18, the object B, and knowing the distance difference of the background C, it can be separated, respectively.
画像領域分割部102によりオブジェクトの塊A、B、Cを作ったので、距離情報から、オブジェクトA、BとCの距離の違いが分かれば、それぞれに対してぼかし処理すればよい。 Objects of mass A by the image region dividing unit 102, B, because made C, from the distance information, the object A, if the difference in the distance B and C is known, may be blurring for each.
そのため、図面の図15に示すように、A、B、Cのそれぞれの領域に確信度の高いブロックがあれば、そのブロックを用いて、オブジェクト間の距離情報を得られる。 Therefore, as shown in Figure 15 of the drawings, A, B, if there is a block of high confidence in the respective regions and C, using the block, obtained distance information between objects. また、距離情報が取れない部分があっても、処理は可能である。 Further, even if the portion where the distance information can not be taken, it is possible processing. 例として、各オブジェクトの中で、1つのブロックで距離情報を得らたら、オブジェクトの距離情報として使える。 As an example, in each object, Tara Tokura distance information in one block, used as the distance information of an object. ほかのブロックの距離情報が取られなくでもよい。 May be not the distance information of the other block is taken.
尚、確信度の高いブロックとは、オブジェクト領域と重なるオブジェクト画素のみ持っているブロックである。 Note that the high confidence block is a block that has only object pixels overlapping the object region. 図16に示すようにオブジェクトAにおけるブロックDを除いた中央部の4つブロックは確信度の高いブロックである。 Four blocks of the central portion excluding the block D in the object A, as shown in FIG. 16 is a high degree of certainty block.

次に、主要被写体抽出方法について説明する。 Next, a description will be given main object extraction method. カメラパラメータ入力部107から撮影のフォーカス位置を入力する。 From the camera parameter input unit 107 inputs the focus position of the photographing. カメラのフォーカス位置は主要被写体にフォーカスするので、フォーカス位置と同じ距離のオブジェクトは主要被写体となる。 Since the focus position of the camera to focus on the main object, the object of the same distance as the focus position is the main subject. 例えば図18に示すオブジェクトAの人物にフォーカス位置になると、同じ距離の人物は主要被写体になる。 For example, become the focus position to the person object A shown in FIG. 18, a person of the same distance is a main object. そして、主要被写体が属する領域を主要被写体領域、属しない領域を非主要被写体領域とする。 Then, main subject area the area where the main subject belongs, an area that does not belong to non-main subject area.
図21に示すように顔検知を行う場合、顔領域が含まれるオブジェクトが主要被写体となる。 When performing face detection as shown in FIG. 21, an object that has a face area is the main subject. また、複数顔が検知されたときは、主要顔領域が含まれるオブジェクトが主要被写体となる。 Also, when multiple faces are detected, an object that has a major face area is the main subject. 顔位置はカメラパラメータとして、カメラパラメータ入力部107を介してカメラ等から入力される。 Face position as the camera parameter input from the camera or the like through the camera parameter input unit 107.
尚、主要顔領域とは、顔検出で検出された矩形顔領域である。 Note that the major face area, a rectangular face area detected by the face detection. 図21で、オブジェクトAの顔領域に重なる黒い矩形枠領域は主要顔領域である。 In Figure 21, the black rectangular frame region overlapping the face region of the object A is a major face area.

(主要被写体周辺誤測距ブロック修正部111) (Main subject peripheral erroneous distance measurement block correction unit 111)
補正距離設定手段である主要被写体周辺誤測距ブロック修正部111は、主要被写体抽出部103で抽出された主要被写体の領域情報(主要被写体領域)を用いて、カメラなどから得られた距離情報を補正処理する。 Erroneous main object near a correction distance setting unit distance measuring block correction unit 111 uses the area information of the main subject extracted by the main subject extracting section 103 (main subject area), the distance information obtained from a camera the correction processing. 即ち、複数のブロックの中で主要被写体領域と非主要被写体領域との境界線を有するブロックに対して、得られたブロック距離に換えて新たな距離を設定する。 That is, the block having a boundary line between the main subject area and the non-main subject region among the plurality of blocks, sets a new distance instead of the obtained block distance.

図16に示すように人物主要オブジェクトの周辺にある輪郭部ブロックDは正確なブロック距離が設定されていない。 Contour block D in the neighborhood of the person leading the object as shown in FIG. 16 does not correct block distance is set. 例えば、これらのブロックの半分を主要被写体領域が占め、残りの半分を背景領域が占めるため、ブロック内のコントラストの平均値を取ると、正確なブロック距離とならない。 For example, half of these blocks occupies the main subject area, to occupy the remaining half is the background area, taking the average value of the contrast in the block, not a precise block distance. このため、輪郭部ブロックDでは、主要被写体領域中の画素は主要被写体の距離をこれらの画素の距離(第1の補正距離)とする。 Therefore, the contour block D, the pixels in the main subject region is a distance of the main subject and the distance of these pixels (first correction distance). 残りのブロック内の画素(非主要被写体領域中の画素)は非主要被写体領域に属する隣のブロックの距離で画素の距離(第2の補正距離)を設定する。 The remaining pixels in the block (pixel in the non-main subject area) sets the distance of the pixels at a distance of neighboring belonging to the non-main subject region block (second correction distance). このように補正して、主要被写体へのぼけ食い込みを解消できる。 Thus corrected and can eliminate blurring biting into the main subject.

尚、図16に示すように主要被写体領域であるAオブジェクト1の中心部にあるブロック(主要被写体領域の中で輪郭部ブロックDを除いたブロック)のすべてブロックを平均して、オブジェクト1の距離、即ち主要被写体の距離とする。 Incidentally, an average of all blocks in the block (except for the contour block D in the main subject area blocks) in the center of the A object 1 is a main subject area, as shown in FIG. 16, the distance of the object 1 , that is, the distance of the main subject. こうすることで、主要被写体領域の全ての画素に同一の距離が設定されることとなる。 In this way, so that the same distance to all of the pixels of the main subject region is set. ただし、主要被写体領域に属するブロックがいずれも輪郭部ブロックDであるような場合には、当該輪郭部ブロックDに含まれる主要被写体領域中の画素に基づき距離(第1の補正距離)を設定する。 However, if the block belongs to the main subject region are both such that the contour section block D, setting the distance (first correction distance) based on the pixel in the main subject area included in the contour blocks D .

輪郭部ブロックDにおける非主要被写体領域中の画素に設定する距離は、非主要被写体領域に属する隣のブロックの距離で画素の距離(第2の補正距離)を設定するが、隣接するブロックに非主要被写体領域に属するものがない場合は、当該輪郭部ブロックDに含まれる非主要被写体領域中の画素に基づき距離(第2の補正距離)を設定する。 Distance to be set to the pixel in the non-main subject region in the edge portion block D is to set a distance in pixels distance of the next block belonging to the non-main subject area (second correction distance), non in adjacent blocks If there is no belong to the main subject area, setting the distance (second correction distance) based on the pixel in the non-main subject region included in the contour block D.

(主要被写体以外の領域の誤測距ブロック修正部112) (Erroneous distance measurement block correction unit 112 in the region other than the main subject)
次に非主要被写体領域にある誤測距ブロックEを除去する。 Then remove some erroneous distance measurement block E in the non-main subject area. 図16のC背景領域にある誤測距ブロックEは、周りの適正なブロック距離が設定されたブロックに比べて、距離差が急に増える傾向がある。 C background erroneous in the region ranging block E in FIG. 16, as compared to the appropriate block distance is set blocks around, the distance difference tends to rapidly increase. この場合、周りのブロックの距離値で補間処理し、誤測距ブロックEの距離値(ブロック距離)を補正ブロック距離に置き換える。 In this case, the interpolation process by the distance value of the block around replaces the distance value of false ranging Block E (block distance) to the correction block distance. (誤測距ブロック補正手段) (False distance measurement block correction means)

具体例を挙げると、例えば図22に示すように、主要被写体以外の領域(非主要被写体領域)に存在する誤測距ブロックEの特性として、周囲のブロックとの距離情報(ブロック距離)の違いがあげられる。 Specific examples, for example, as shown in FIG. 22, as a characteristic of the erroneous distance measurement block E present in the region other than the main subject (non-main subject region), the difference of the distance information between the surrounding blocks (block distance) and the like. その違いを利用して、誤測距ブロックEを検出する。 By utilizing the difference, for detecting an erroneous distance measurement block E.
図23に示すように、誤測距ブロックEは周辺のブロックF,G,H,Iそれぞれのブロックとのブロック距離の差を判定し、設定された閾値Thre1より大きい場合、誤測距ブロックと判断する。 As shown in FIG. 23, erroneous distance measurement block E is the peripheral blocks F, G, H, to determine the difference in the block distance between I each block, when set threshold Thre1 larger, erroneous distance measurement block and to decide.
誤測距ブロックEが誤測距であると判断された場合、周辺のブロックF,G,H,Iにより補間し、誤測距ブロックEのブロック距離を補正ブロック距離に置き換える。 If erroneous distance measurement block E is determined to be ranging erroneous interpolated neighborhood blocks F, G, H, by I, replacing the block distance erroneous distance measurement block E to the correction block distance.
補間には例えば、下記式(6)で画素補間する方法が挙げられる。 The interpolation for example, a method for pixel interpolation by the following formula (6). 尚、下記式(6)でなくでも、周辺のブロックを用いて他の補間方式により求めてもよい。 Incidentally, even not the following formula (6) may be obtained by other interpolation method using the surrounding blocks.

(画像ぼかし処理部104) (Image blurring processing unit 104)
以上のようにして取得されたブロック距離、第1補正距離、第2補正距離、及び補正ブロック距離に基づき、ぼかし処理手段により画像データにぼかし処理を行う。 Above manner obtained block distance, a first correction distance, based on the second correction distance, and correction block distance, performing blurring processing on image data by blurring processing means. 非主要画像データである背景にぼかし処理を行うとき、距離に応じて異なるぼかし処理を行う。 When performing blurring processing on the background is a minor image data, it performs different blurring processing according to the distance. ぼけ関数取得部109はカメラパラメータと撮影距離によりぼけ関数DB110からぼけ関数のデータを取得する。 Blurring function acquiring unit 109 acquires the data of the blurring function from the blurring function DB110 by the camera parameters and the photographing distance. ぼかし処理を行うときには、ぼけ関数取得部109から得られたぼけ関数を用いて、抽出したオブジェクトごとにぼかし処理を行う。 When performing blurring processing uses a blurring function obtained from the blurring function acquiring unit 109, performs a shading process for each extracted object. ぼけ関数は一種のローパースフィルタであり、撮影距離、カメラパラメータによって予め計算しておく。 The blurring function is a kind of low Perth filter, Range, calculated in advance by the camera parameters. 図24は5×5のGaussianフィルタの一例である。 Figure 24 is an example of a Gaussian filter 5 × 5. ぼけ関数であるフィルタの各要素は、撮影距離、カメラパラメータにより計算したものである。 Each element of the filter which is blurring function is obtained by calculating by the photographing distance, the camera parameters.

(ぼけ関数DB110) (Blurring function DB110)
ぼけ関数DB110はカメラのパラメータ、例えば、焦点距離、開口の大きさ、撮影距離、瞳形状などの各種のカメラパラメータの設計値から計算した、ぼけ関数のデータセットである。 Blurring function DB110 camera parameters, for example, focal length, aperture size, photographing distance, was calculated from the design values ​​of the various camera parameters such as pupil shape, a data set of blurring function. パラメータを入力すれば、撮影距離にあわせて、ぼけ関数のデータを得られる。 By entering the parameter, in accordance with the object distance obtained data of blur function.
ぼかし関数DBのデータ構造を図25に示すように、焦点距離L、Fナンバーの値、開口の形によって、ぼかし関数フィルタfの内容が変わる。 The data structure of the blurring function DB as shown in FIG. 25, the focal length L, F-number value, the shape of the opening, changes the contents of the blur function filter f. fはN×Nのフィルタである。 f is a filter of N × N. 各要素の値はカメラのパラメータ、撮影距離によって、変化する。 The value of each element parameter of the camera, the photographing distance changes. カメラレンズの設計値から予め、ぼかしデータベースのデータを計算しておく。 In advance from the design value of the camera lens, previously calculated data of blur database.

(画像合成部105、画像処理出力部106) (Image combining unit 105, the image processing output unit 106)
最後に、画像合成部105でぼかし処理された各オブジェクトを合成し、画像処理出力部106により画像を出力する。 Finally, combining the objects blurring processing by the image synthesizing unit 105, and outputs the image by the image processing output unit 106.

(デジタルカメラ) (Digital camera)
次に、上述した画像処理を実施する撮像装置の一例であるデジタルカメラのハードウェア構成について説明する。 Next, a description will be given of the hardware configuration of a digital camera as an example of an imaging apparatus for implementing the above-described image processing. 図26は、本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。 Figure 26 is a block diagram showing a hardware configuration of a digital camera according to the present embodiment. 尚、以下に示す一連の処理の流れを図27に示す。 Incidentally, FIG. 27 shows the flow of a series of processing described below.
図26に示すように被写体光は、まず撮影光学系1を通してCCD(Charge Coupled Device)3に入射される。 Subject light as shown in FIG. 26, it is incident on the CCD (Charge Coupled Device) 3 First through a camera optical system 1. また、撮影光学系1とCCD3との間は、メカシャッタ2が配置されており、このメカシャッタ2によりCCD3への入射光を遮断することが出来る。 Further, between the photographing optical system 1 and CCD3 is mechanical shutter 2 is disposed, by the mechanical shutter 2 can block light incident on the CCD3. なお、撮影光学系1及びメカシャッタ2は、モータドライバ6より駆動される。 Note that the photographing optical system 1 and the mechanical shutter 2 are driven from the motor driver 6.

CCD3は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。 CCD3 is an optical image formed on the imaging surface into an electric signal, and outputs it as analog image data. CCD3から出力された画像情報は、CDS(Correlated Double Sampling:相関2重サンプリング)回路4によりノイズ成分を除去され、A/D変換器5によりデジタル値に変換された後、画像処理回路8に対して出力される。 Image information output from the CCD3 is, CDS: is removing a noise component by (Correlated Double Sampling correlated double sampling) circuit 4, after being converted to a digital value by the A / D converter 5, the image processing circuit 8 It is output Te.

画像処理回路8は、画像データを一時格納するSDRAM(SynchronousDRAM)12を用いて、YCrCb変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。 The image processing circuit 8 uses the SDRAM (SynchronousDRAM) 12 for storing image data temporarily performs YCrCb conversion processing, white balance control processing, contrast correction processing, edge enhancement processing, various image processing such as color conversion processing. なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。 Incidentally, the white balance processing adjusts color density of the image information, the contrast correction processing is image processing for adjusting the contrast of the image information. エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。 Edge enhancement processing adjusts sharpness of the image information, the color conversion processing is image processing for adjusting the color tone of the image information. また、画像処理回路8は、信号処理や画像処理が施された画像情報を液晶ディスプレイ16(以下、「LCD16」と略記する)に表示する。 The image processing circuit 8, the signal processing and image processing is a liquid crystal display 16 the image information subjected (hereinafter, abbreviated as "LCD16") displayed on.

また、信号処理、画像処理が施された画像情報は、圧縮伸張回路13を介して、メモリカード14に記録される。 Further, the image information signal processing, image processing is performed through a compression expansion circuit 13, it is recorded on the memory card 14. 上記画像圧縮伸張回路13は、操作部15から取得した指示によって、画像処理回路8から出力される画像情報を圧縮してメモリカード14に出力すると共に、メモリカード14から読み出した画像情報を伸張して画像処理回路8に出力する回路である。 The image compression and expansion circuit 13, the instruction obtained from the operation unit 15 compresses the image information outputted from the image processing circuit 8 and outputs to the memory card 14, expands the image information read from the memory card 14 a circuit for outputting to the image processing circuit 8 Te.

また、CCD3、CDS回路4及びA/D変換器5は、タイミング信号を発生するタイミング信号発生器7を介してCPU(Central Processing Unit)9によって、タイミングが制御されている。 Moreover, CCD 3, CDS circuit 4 and the A / D converter 5, the CPU (Central Processing Unit) 9 via a timing signal generator 7 that generates a timing signal, the timing is controlled. さらに、画像処理回路8、画像圧縮伸張回路13、メモリカード14も、CPU9によって制御されている。 Further, the image processing circuit 8, the image compression and expansion circuit 13, the memory card 14 are also controlled by the CPU 9.

撮像装置において、CPU9はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるROM(Read Only Memory)11および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるRAM(Random Access Memory)10などを内蔵し、これらがバスラインによって相互接続されている。 Read with the imaging device, CPU 9 performs various arithmetic processes according to a program, the program is read only memory that stores a ROM (Read Only Memory) 11 and a work area for use in various process, the various types of data storage area such as a built-in RAM (Random Access memory) 10 is a write freely memory, they are interconnected by a bus line.

撮像装置は、まず被写体の距離情報を測定する。 Imaging device first measures the distance information of the object. レンズの駆動部6を動かしながら、焦点位置を変え、複数枚の縮小画像を入力する。 While moving the drive unit 6 of the lens, varying the focal position, and inputs a plurality of reduced images. つまり、異なる撮影距離の複数枚縮小画像がメモリSDRAMに入力される。 That is, a plurality reduced images of different shooting distances is input to the memory SDRAM. その後本撮影を行い、背景ぼけ処理用の大きいサイズの画像を入力する。 Then make this photographing, and inputs an image of large size for the background blurring processing.

次に、距離測定プログラムが呼び出され、各画像をブロックに分割し、同じ位置ブロック内のコントラスト値の合計を計算する。 Then, the distance measuring program is called, dividing each image into blocks, calculates the sum of the contrast values ​​in the same position block. もっともコントラストの高いブロックはこの位置にフォーカスがあっていると判断し、それフレームの結像位置とする。 Most were judged to be high block contrast is a focus in this position, the imaging position of its frame. 結像位置から、被写体距離を計算する。 From the imaging position to calculate the subject distance. このようにして、すべてのブロックに対応する撮影距離(ブロック距離)を測定した。 Thus, to determine the photographing distance corresponding to all blocks (block distance).

次に領域分割、オブジェクト抽出プログラムがメモリから呼び出され、オブジェクト抽出処理を行う。 Next Segmentation, object extraction program is called from memory, it performs object extraction processing. まず、画像のエッジ情報、色情報を使って、画像を小領域に分割する。 First, by using the edge information of the image, color information, it divides the image into small regions. 次に、小領域をまとめて、オブジェクトを抽出する。 Then, they are collectively small area, to extract the object. オブジェクトを抽出するとき、色の特性、エッジの特性から共通の属性がある小領域を集める。 When extracting the objects, color characteristics, collect the small area having a common attribute from a characteristic of the edge. また、測定した距離情報も領域の融合情報として利用する。 Further, utilizing the measured distance information also as a fusion information area. 距離の近い小領域は同じグループにして、オブジェクト候補とする。 Small region near the distance in the same group, the object candidate. このようにして、画像を複数のオブジェクトに分離する。 In this manner, it separates the image into a plurality of objects. ここで、オブジェクトは人物、前景、背景など意味のある領域である。 Here, the object is an area that is meaningful person, foreground, background and so on. それぞれの領域での撮影距離は異なる。 Shooting distance in the respective regions are different. 図15に示すように、画像がブロックに分割されてなり、各ブロック内では先ほど距離測定ソフトウェアでそれぞれの距離が測定されている。 15, the image is divided into blocks, each of the distance in the previous distance measurement software being measured in each block.
画像はAオブジェクト1、Bオブジェクト2および背景Cに分割され、前述したように、A,B,Cの距離はそれぞれのオブジェクト内に属するブロックから得られる。 Image is divided into A object 1, B object 2 and the background C, as described above, A, B, the distance C is obtained from the block belonging to the respective object.

次にカメラパラメータによる主要被写体を抽出する。 Then extracting the main subject by the camera parameters. 主要被写体を抽出するとき、カメラのフォーカスに合わせた部分の距離による主要被写体を抽出する。 When extracting the main subject, to extract the main subject by a distance of the mating portion to the focus of the camera. もしくは、人物撮影するとき、顔領域検出による検出した主要顔領域により、主要被写体を決める。 Or, when a person shooting, by the major face region detected by the face area detection, determining the main subject.
更に、主要被写体領域と非主要被写体領域の境界線の属する輪郭部ブロックDと、背景にある誤測距ブロックEとを削除し、距離情報を補正処理する。 Furthermore, the main subject region and a contour block D which belongs boundary of the non-main subject area, to delete the erroneous distance measurement block E behind, to the correction processing distance information.
そして、補正処理した距離情報により、オブジェクトA,B,Cのぼかし関数を求める。 Then, the correction processing distance information, obtaining the object A, B, the blur function of C. オブジェクトAは主要被写体と判断された場合、Aに対してぼかし処理を行わない。 If the object A is it is determined that the main subject is not performed blurring against A.

オブジェクトBとオブジェクトCの距離は異なる。 Distance of an object B and object C are different. 遠いものに対して強いローパースフィルタをかける、即ち、強くぼかす。 Distant place a strong low Perth filter against those, that is, blurred strongly. ぼかす効果は、入力したカメラパラメータと同じカメラのぼけを再生する。 Blur effects reproduces the blur of the same camera as the camera parameter input. 例えば、一眼レフのパラメータを入力すると、その一眼レフカメラと同じ背景ぼけのある画像が作成される。 For example, if you enter the parameters of a single-lens reflex, an image is created with the same background blurring as its single-lens reflex camera.

本実施の形態のデジタルカメラで実行される画像処理プログラムは、上述した背景ぼかし機能を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が記憶媒体から画像処理プログラムを読み出して実行することにより各部が主記憶装置上にロードされ、距離測定、領域分割オブジェクト抽出、ぼかし処理、画像合成、画像を圧縮して、メモリカードに画像が生成されるようになっている。 The image processing program executed by the digital camera of this embodiment has a module configuration including the background blurring function described above, as actual hardware reads the image processing program from the storage medium CPU (processor) each unit by executing are loaded onto a main storage device, the distance measurement, region segmentation object extraction, blurring processing, image synthesis, and compresses the image, so that the image is generated on the memory card.

(その他の実施の形態2) (Form 2 of the other embodiments)
その他の実施の形態2にかかる画像処理装置は、撮像装置に代えて画像処理装置を用いる例である。 The image processing apparatus according to Embodiment 2 of the other embodiment is an example of using an image processing apparatus instead of the imaging device. ここでは、上述のその他の実施の形態1と異なる部分について説明する。 Here, a description will be given other differences from the first exemplary embodiment of the above.

本実施の形態では記録した画像ファイルを撮影装置から画像入力部により入力する。 In the present embodiment inputs the image input unit the recorded image file from the imaging device. この入力した画像データに対して、背景(非主要被写体)をぼかす処理を行う。 For this the input image data, performs a process of blurring the background (non-main subject).
図28は、本実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。 Figure 28 is a block diagram showing a hardware configuration of an image processing apparatus according to this embodiment. 尚、本実施の形態の一連の処理の流れを図29に示す。 Incidentally, the flow of a series of processes of the embodiment shown in FIG. 29.
画像処理装置1000は、各部を集中的に制御するCPU(Central Processing Unit)24を備えており、このCPU24には、BIOSなどを記憶した読出し専用メモリであるROM(Read Only Memory)22と、各種データを書換え可能に記憶してCPUの作業エリアとして機能するRAM(Random Access Memory)21とがバスで接続されており、マイクロコンピュータを構成している。 The image processing apparatus 1000 includes a CPU (Central Processing Unit) 24 for intensively controlling each part, this CPU 24, a ROM (Read Only Memory) 22 is a read-only memory storing such BIOS, various and rewritable storage of data and a RAM (Random Access memory) 21 that functions as a work area for the CPU are connected by a bus to constitute a microcomputer. さらにバスには、制御プログラムが記憶されたHDD25と、CD(Compact Disc)−ROMを読み取るCD−ROMドライブ26と、プリンタ部等との通信を司るインタフェースであるI/F23とが接続されている。 More bus, and HDD25 the control program is stored, a CD-ROM drive 26 to read the CD (Compact Disc) -ROM, and I / F 23 is an interface which controls communication with the printer portion and the like are connected .

図28に示すCD−ROM28は、所定の制御プログラムが記憶されている。 CD-ROM 28 shown in FIG. 28, a predetermined control program is stored. CPU24は、CD−ROM28に記憶されている制御プログラムをCD−ROMドライブ26で読み取り、HDD25にインストールする。 CPU24 reads the control program stored in the CD-ROM 28 in the CD-ROM drive 26 and installs the HDD 25. これにより、上述したような各種の処理を行うことが可能な状態となる。 Thus, a state capable of performing various processes such as described above. また、メモリカード29には、画像情報などが格納され、メモリカードドライバ27で読み取られる。 Further, the memory card 29, and image information is stored, it is read by the memory card driver 27.

なお、記憶媒体としては、CD−ROMやメモリカードのみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。 As the storage medium, not only CD-ROM or a memory card alone, it is possible to use various an optical disk such as a DVD, various magneto-optical disks, various magnetic disks such as a flexible disk, a semiconductor memory or the like, the media various methods . また、インターネットなどのネットワークからプログラムをダウンロードし、HDD25にインストールするようにしてもよい。 In addition, to download the program from a network such as the Internet, it may be installed in HDD25. この場合に、送信側のサーバでプログラムを記憶している記憶装置も、記憶媒体である。 In this case, the storage device storing a program on the sending server is also a storage medium. なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。 Incidentally, the program may be one that runs on a predetermined OS (Operating System), to the part of the execution of various processes may be one which offloaded to the OS case, word processor, etc. such as a predetermined application software or OS or may be included as part of a group of program files that constitute the.

また、本実施の形態の画像処理装置で実行される背景ぼかしプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。 Also, the background blur program executed by the image processing apparatus of this embodiment, stored in a computer connected to a network such as the Internet, may be configured to be provided by being downloaded via the network. また、本実施の形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。 The image processing program executed by the image processing apparatus of the present embodiment may be configured to be provided or distributed via a network such as the Internet.

また、本実施の形態の画像処理プログラムを、ROM等に予め組み込んで提供するように構成してもよい。 The image processing program of this embodiment may be configured to be provided by being previously incorporated in a ROM or the like.

本実施の形態は、撮影する際(画像を記録する時)に距離測定が必要であり、測定した各ブロックの距離情報が画像ファイルに記録される。 This embodiment, it is necessary when the distance measurements (when recording an image) to be captured, the distance information of each block was measured is recorded in the image file. カメラのパラメータはファイルに記録される。 Parameters of the camera is recorded in the file. パラメータとして、フォーカス位置の距離情報、顔検知されるとき、主要顔の画面上の位置情報が記録される。 As a parameter, the distance information of the focus position, when it is face detection, the position information on the screen of the main face is recorded.
背景ぼかし処理プログラムは距離情報を読み出し、カメラパラメータを用いて、ぼかしデータベースからぼかしフィルタの値を引き出し、ぼかし処理を行う。 Background blurring processing program reads the distance information by using the camera parameters, pull the value of the blur filter from blurring database, it performs blurring processing. 処理方法は上述したその他の実施の形態1と同じである。 Processing method is the same as Embodiment 1 other embodiment described above.

本実施の形態の画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The image processing program executed by the image processing apparatus of the present embodiment, CD-ROM in an installable format or an executable format, a flexible disk (FD), CD-R, DVD (Digital Versatile Disk), etc. It is recorded in a computer readable recording medium is provided.

(図1〜図14の符号の説明) (Description of reference numerals of FIGS. 14)
01 デジタルスチルカメラ装置02 システム制御部03 撮像部04 画像処理部05 表示制御部06 LCD 01 the digital still camera device 02 system controller 03 imaging unit 04 image processing unit 05 display control unit 06 LCD
07 記録メディアインターフェイス部08 記録メディア09 ハードキーインターフェイス部10 通信インターフェイス部11 PC 07 recording media interface unit 08 the recording medium 09 hard key interface section 10 communication interface unit 11 PC
12 モードダイヤル13 レリーズ14 CCD 12 mode dial 13 release 14 CCD
15 レンズ62 レリーズシャッタ(SW1) 15 lens 62 release shutter (SW1)
63 モードダイヤル(SW2) 63 mode dial (SW2)
64 サブLCD 64 sub LCD
65 SDカード/電池蓋66 ストロボ発光部67 光学ファインダ69 リモコン受光部70 鏡胴ユニット71 AFLED 65 SD card / battery lid 66 flash emitter 67 optical viewfinder 69 Remote control receiver 70 barrel unit 71 AFLED
72 ストロボLED 72 strobe LED
73ズームスイッチ(ワイド)(SW3) 73 zoom switch (wide) (SW3)
74 ズームスイッチ(遠隔)(SW4) 74 zoom switch (remote) (SW4)
75 セルフタイマ/削除スイッチ(SW5) 75 self-timer / delete switch (SW5)
76 メニュースイッチ(SW6) 76 menu switch (SW6)
77 上/ストロボスイッチ(SW7) 77 up / strobe switch (SW7)
78 右スイッチ(SW8) 78 right switch (SW8)
79 ディスプレイスイッチ(SW9) 79 display switch (SW9)
80 下/ストロボスイッチ(SW10) 80 Down / strobe switch (SW10)
81 左/画像確認スイッチ(SW11) 81 left / image confirmation switch (SW11)
82 オーケースイッチ(SW12) 82 Okay switch (SW12)
83 LCDモニタ84 電源スイッチ(SW13) 83 LCD monitor 84 power switch (SW13)
100 画像の撮影領域101 AF評価値エリア102 空部分103 縁石部分104 人物105 町並み106 海107 AFエリア108〜113 領域700 分割距離情報が0(1段目)のAF評価値エリア701 分割距離情報が1(2段目)のAF評価値エリア702 分割距離情報が2(3段目)のAF評価値エリア703 分割距離情報が3(4段目)のAF評価値エリア704 領域判定結果で示される1つの領域705 画素901 遠距離にある被写体のスキャンに伴うAF評価値の変化を示した波形902 中距離にある被写体のスキャンに伴うAF評価値の変化を示した波形903 近距離にある被写体のスキャンに伴うAF評価値の変化を示した波形1001 注目画素の水平方向−2の座標の画素1002 注目画素の水平方向 100 imaging region 101 AF evaluation value area 102 empty portion 103 curb portion 104 Person 105 streets 106 Sea 107 AF areas 108-113 region 700 divided distance information is AF evaluation value area 701 divided distance information 0 (first stage) represented by 1 (second stage) the AF evaluation value area 702 divided distance information 2 AF evaluation value area 704 region determination result of the AF evaluation value area 703 divided distance information (third stage) of 3 (4-stage) of subject in waveform 903 near field showing the change of the AF evaluation values ​​associated with the scanning of the object at a waveform 902 medium range showing the change of the AF evaluation values ​​associated with the scanning of the object at a single area 705 pixel 901 far horizontal pixel 1002 target pixel coordinate in the horizontal direction -2 waveform 1001 target pixel shows the change of the AF evaluation values ​​associated with the scan 1の座標の画素1003 注目画素1004 注目画素の水平方向+1の座標の画素1005 注目画素の水平方向+2の座標の画素1101 背景の空部分102までの距離1102 背景の縁石部分103までの距離1103 人物104の頭部までの距離1104 人物104の顔部までの距離1105 人物104の胸部までの距離1108 背景の町並み105と海106までの距離(図15〜図29の符号の説明) Distance 1103 persons to curb portion 103 of the distance 1102 Background to the empty portion 102 of the coordinates of the pixels 1101 background horizontal +2 pixels 1005 target pixel coordinate in the horizontal direction +1 pixel 1003 target pixel 1004 target pixel 1 of coordinates the distance to the distance 1108 background cityscape 105 to the chest of the distance 1105 person 104 to the face portion of the distance 1104 person 104 to 104 of the head and the sea 106 (description of symbols in FIGS. 15 to 29)
A オブジェクト1 A object 1
B オブジェクト2 B object 2
C 背景D 輪郭部ブロックE 誤測距ブロックF,G,H,I 周辺のブロック1 撮影光学系2 メカシャッタ3 CCD C background D contour block E erroneous distance measurement block F, G, H, block 1 imaging optical system 2 mechanical shutter 3 CCD peripheral I
4 CDS回路5 A/D変換器6 モータドライバ7 タイミング信号発生器8 画像処理回路9 CPU 4 CDS circuit 5 A / D converter 6 motor driver 7 timing signal generator 8 image processing circuit 9 CPU
10 RAM 10 RAM
11 ROM 11 ROM
12 SDRAM 12 SDRAM
13 画像圧縮伸張回路14 メモリ15 操作部16 LCD 13 image compression and expansion circuit 14 memory 15 operation unit 16 LCD
21 RAM(Random Access Memory) 21 RAM (Random Access Memory)
22 ROM(Read Only Memory) 22 ROM (Read Only Memory)
23 I/F 23 I / F
24 CPU(Central Processing Unit) 24 CPU (Central Processing Unit)
25 HDD 25 HDD
26 CD−ROMドライブ27 メモリカードドライバ28 CD−ROM 26 CD-ROM drive 27 memory card driver 28 CD-ROM
29 メモリカード101 画像入力部102 画像領域分割部103 主要被写体抽出部104 画像ぼかし処理部105 画像合成処理部106 画像出力部107 カメラパラメータ入力部108 距離情報取得部109 ぼけ関数取得部110 ぼけ関数DB 29 Memory card 101 image input unit 102 image region dividing unit 103 a main subject extracting section 104 the image blurring processing unit 105 image synthesis processing unit 106 an image output unit 107 the camera parameter input unit 108 distance information acquisition unit 109 blurring function acquiring unit 110 blurring function DB
111 主要被写体周辺誤測距ブロック修正部112 主要被写体以外領域の誤測距ブロック修正部201 縮小画像入力部202 エッジ情報計算部203 距離情報計算部204 距離情報出力部205 レンズ焦点調整部1000 画像処理装置 111 main subject near erroneous distance measurement block correction unit 112 other than the main subject area erroneous distance measurement block modifying unit 201 reduces the image input unit 202 edge information calculating unit 203 distance information calculation unit 204 distance information output unit 205 the lens focal point adjusting unit 1000 image processing apparatus

特開平11−266388号公報 JP 11-266388 discloses 特開2003−37767号公報 JP 2003-37767 JP 特開2003−101858号公報 JP 2003-101858 JP 特開平9−318870号公報 JP-9-318870 discloses 特開2009−27298号公報 JP 2009-27298 JP

Claims (19)

  1. 主要被写体画像データと非主要被写体画像データとを含む画像データと、主要被写体までの距離と非主要被写体までの距離とからなる距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、 An image data including the main object image data and the non-main subject image data, the main and the distance to the object distance information consisting of a distance to the non-main subject is input, an image processing apparatus that performs blurring processing on the image data there is,
    前記距離情報を所定の段数からなる分割距離情報に分割する距離分割手段と、 A distance dividing means for dividing the divided distance information comprising the distance information from a predetermined number of stages,
    前記画像データを輝度及び/または色度に基づいて領域判定して領域判定結果を出力する領域判定手段と、 An area judging means for outputting a region determination result the image data and area determination based on the luminance and / or chromaticity,
    前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング手段と、 And labeling means for outputting label data in association with said divided distance information and the region determination result,
    前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化手段と、 And smoothing means for outputting the smoothed image data by smoothing the image data with a different processing according to the predetermined number,
    前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理手段と、 And synthesis processing means for outputting the synthesized image data synthesized on the basis of said smoothed image data and the image data in the label data,
    を具備することを特徴とする画像処理装置。 The image processing apparatus characterized by comprising a.
  2. 前記距離分割手段は、前記距離情報をN段からなる分割距離情報に分割し、 It said distance dividing means divides the divided distance information comprising the distance information from the N stages,
    前記平滑化手段は、前記画像データを(N−1)の異なる処理をもって平滑化して、(N−1)の異なる平滑化画像データを出力することを特徴とする請求項1に記載の画像処理装置。 Said smoothing means, the image data (N-1) of by smoothing with different processing, image processing according to claim 1, characterized in that outputs different smoothed image data of (N-1) apparatus.
    (但し、Nは2以上の整数である。) (Where, N represents an integer of 2 or more.)
  3. 前記画像データを縮小する縮小手段を備え、 Comprising a reduction means for reducing the image data,
    前記領域判定手段は、前記縮小手段で縮小した画像データにおける領域を判定することを特徴とする請求項1または2に記載の画像処理装置。 It said area determination means, an image processing apparatus according to claim 1 or 2, characterized in that to determine the region in the image data reduced by the reduction means.
  4. 前記ラベルデータを拡大する拡大手段を備えることを特徴とする請求項3に記載の画像処理装置。 The image processing apparatus according to claim 3, characterized in that it comprises a magnifying means for enlarging the label data.
  5. 前記合成画像データを平滑化する合成画像データ平滑化手段を備えることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 4, characterized in that it comprises the synthetic image data smoothing means for smoothing the synthetic image data.
  6. 前記合成処理手段は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 The synthesis processing unit, an image processing apparatus according to any one of claims 1 to 4, characterized in that synthesizes the image data and the smoothed image data weighted addition.
  7. 前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化手段を備え、 Including the label data smoothing means for outputting the smoothed label data obtained by smoothing the label data,
    前記合成処理手段は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項6に記載の画像処理装置。 The synthesis processing unit, an image processing apparatus according to claim 6, characterized in that the synthesized weighted addition of the image data and the smoothed image data by the smoothed label data.
  8. 前記ラベリング手段は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 The labeling means, the image processing apparatus according to any one of claims 1 to 7, characterized in that a predetermined weighting to the divided distance information consisting of the predetermined number of stages.
  9. 入力された主要被写体画像データと非主要被写体画像データとを含む画像データにぼかし処理を行う画像処理方法であって、 An image processing method for performing blurring processing on image data including the input and the main object image data and the non-main subject image data,
    入力された主要被写体までの距離と非主要被写体までの距離とからなる距離情報を所定の段数からなる分割距離情報に分割する距離分割工程と、 A distance dividing step of dividing the distance information consisting of the distance to the input main object and the distance to the non-main subject divided distance information consisting of a predetermined number of stages,
    前記画像データを輝度及び/または色度に基づいて領域判定して領域判定結果を出力する領域判定工程と、 An area determination step of outputting an area determination results by the determination area based on the image data luminance and / or chromaticity,
    前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング工程と、 And labeling step of outputting the label data in association with said divided distance information and the region determination result,
    前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化工程と、 A smoothing step of outputting the smoothed image data by smoothing the image data with a different processing according to the predetermined number,
    前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理工程と、 A synthesizing step of outputting the synthesized image data synthesized on the basis of said smoothed image data and the image data in the label data,
    を具備することを特徴とする画像処理方法。 An image processing method characterized by comprising the.
  10. 前記距離分割工程は、前記距離情報をN段からなる分割距離情報に分割し、 The distance division step divides the divided distance information comprising the distance information from the N stages,
    前記平滑化工程は、前記画像データを(N−1)の異なる処理をもって平滑化して、(N−1)の異なる平滑化画像データを出力することを特徴とする請求項9に記載の画像処理方法。 Said smoothing step, said image data (N-1) of by smoothing with different processing, image processing according to claim 9, characterized in that outputs different smoothed image data of (N-1) Method.
    (但し、Nは2以上の整数である。) (Where, N represents an integer of 2 or more.)
  11. 前記画像データを縮小する縮小工程を備え、 It includes a reduction step of reducing the image data,
    前記領域判定工程は、前記縮小工程で縮小した画像データにおける領域を判定することを特徴とする請求項9または10に記載の画像処理方法。 Said area determination step, an image processing method according to claim 9 or 10, characterized in that to determine the region in the image data reduced by the reduction step.
  12. 前記ラベルデータを拡大する拡大工程を備えることを特徴とする請求項11に記載の画像処理方法。 The image processing method according to claim 11, characterized in that it comprises an enlarged step of expanding the label data.
  13. 前記合成画像データを平滑化する合成画像データ平滑化工程を備えることを特徴とする請求項9乃至12のいずれか1項に記載の画像処理方法。 The image processing method according to any one of claims 9 to 12, characterized in that it comprises the synthetic image data smoothing step of smoothing the composite image data.
  14. 前記合成処理工程は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項9乃至12のいずれか1項に記載の画像処理方法。 The synthesis processing step, image processing method according to any one of claims 9 to 12, characterized in that synthesizes the image data and the smoothed image data weighted addition.
  15. 前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化工程を備え、 Including the label data smoothing step of outputting the smoothed label data obtained by smoothing the label data,
    前記合成処理工程は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項14に記載の画像処理方法。 The synthesis processing step, image processing method according to claim 14, characterized in that the synthesized weighted addition of the image data and the smoothed image data by the smoothed label data.
  16. 前記ラベリング工程は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする請求項9乃至15のいずれか1項に記載の画像処理方法。 The labeling step, the image processing method according to any one of claims 9 to 15, characterized in that a predetermined weighting to the divided distance information consisting of the predetermined number of stages.
  17. 請求項1乃至8のいずれか1項に記載の画像処理装置を備えたことを特徴とするデジタルスチルカメラ。 Digital still camera comprising the image processing apparatus according to any one of claims 1 to 8.
  18. 画像データと、距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、 And image data, distance information and is input, an image processing apparatus that performs blurring processing on the image data,
    前記画像データを輝度及び/または色度に基づいて複数の領域に分割する領域分割手段と、 A region dividing means for dividing into a plurality of regions based on luminance and / or chromaticity of the image data,
    前記画像データを複数のブロックに分割するブロック分割手段と、 A block dividing means for dividing the image data into a plurality of blocks,
    前記距離情報に基づいて前記複数のブロック毎にブロック距離を設定するブロック距離設定手段と、 And the block distance setting means for setting a block length for each of the plurality of blocks based on the distance information,
    前記複数の領域を前記ブロック距離に基づいて判定して主要被写体領域と非主要被写体領域とに分割する主要被写体領域抽出手段と、 A main object region extracting means for dividing the plurality of areas determined to the the main subject area and the non-main subject area based on the block length,
    前記複数のブロックの中で前記主要被写体領域と前記非主要被写体領域との境界線を有するブロックに対して、 The block having a boundary line between the main subject region and the non-main subject region among the plurality of blocks,
    当該ブロック内における前記主要被写体領域中の画素には、当該画素の距離に、または前記主要被写体領域に属するブロックにおけるブロック距離に基づき、第1の補正距離を設定し、 The pixels in the main subject region in the block is the distance of the pixel, or on the basis of the block length in block belonging to the main subject area, it sets a first correction distance,
    当該ブロック内における前記非主要被写体領域中の画素には、当該画素の距離に、または当該ブロックに隣接し、且つ前記非主要被写体領域に属するブロックにおけるブロック距離に基づき、第2の補正距離を設定する補正距離設定手段と、 The pixels in the non-main subject region in the block is the distance of the pixel or adjacent to the block, based on the block length in and blocks belonging to the non-main subject area, sets a second correction distance and the correction distance setting means for,
    前記ブロック距離、前記第1の補正距離及び前記第2の補正距離に基づいて前記画像データにぼかし処理を行うぼかし処理手段と、 A blurring unit that performs blurring processing on the image data based on the block length, the first correction distance and the second correction distance,
    を具備することを特徴とする画像処理装置。 The image processing apparatus characterized by comprising a.
  19. 前記複数のブロックの中で前記非主要被写体領域に属するブロックであり、且つ誤測距により適正なブロック距離が設定されていない誤測距ブロックを判定する誤測距ブロック判定手段と、 Wherein among the plurality of blocks is a block which belongs to the non-main subject area, and the erroneous distance measurement block determining means for determining and erroneous proper block distance by the distance measuring erroneous is not set ranging block,
    前記誤測距ブロックのブロック距離を、当該誤測距ブロックの周辺のブロックであり、且つ前記非主要被写体領域に属するブロックのブロック距離により補正して、補正ブロック距離を設定する誤測距ブロック補正手段と、を具備し、 The block length of the erroneous distance measurement block, a block of the peripheral of the erroneous distance measurement block and said corrected by block distance of the block belonging to the non-main subject area, erroneous setting the correction block distance ranging block correction and and means, the,
    前記ぼかし処理手段は、前記ブロック距離、前記第1の補正距離、前記第2の補正距離、及び前記補正ブロック距離に基づいて前記画像データにぼかし処理を行うことを特徴とする請求項18に記載の画像処理装置。 The blurring processing means, the block length, the first correction distance, the second correction distance, and claim 18, characterized in that to perform blurring processing on the image data based on the correction block distance the image processing apparatus.
JP2009190855A 2009-02-24 2009-08-20 Image processing apparatus and image processing method Active JP5434361B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009041007 2009-02-24
JP2009041007 2009-02-24
JP2009190855A JP5434361B2 (en) 2009-02-24 2009-08-20 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009190855A JP5434361B2 (en) 2009-02-24 2009-08-20 Image processing apparatus and image processing method

Publications (2)

Publication Number Publication Date
JP2010226694A true true JP2010226694A (en) 2010-10-07
JP5434361B2 JP5434361B2 (en) 2014-03-05

Family

ID=43043349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009190855A Active JP5434361B2 (en) 2009-02-24 2009-08-20 Image processing apparatus and image processing method

Country Status (1)

Country Link
JP (1) JP5434361B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013061810A1 (en) * 2011-10-26 2013-05-02 アイキューブド研究所株式会社 Image processing device, image processing method, and recording medium
JP2013090118A (en) * 2011-10-18 2013-05-13 Olympus Corp Image processing device, image processing method, and image processing program
JP2013127759A (en) * 2011-12-19 2013-06-27 Canon Inc Image processing device, image pickup device, image processing method, and image processing program
WO2013146283A1 (en) * 2012-03-27 2013-10-03 株式会社 日立メディコ Image processing device and image processing method
JP2013214854A (en) * 2012-04-02 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional image display device, three-dimensional image display method, and three-dimensional image display program
JP2014127963A (en) * 2012-12-27 2014-07-07 Canon Inc Image processing system and image processing method
JP2014215840A (en) * 2013-04-25 2014-11-17 富士通株式会社 Image processing circuit, image processor, and image processing method
JP2015043495A (en) * 2013-08-26 2015-03-05 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and program
JP2015103879A (en) * 2013-11-21 2015-06-04 キヤノン株式会社 Image processing apparatus and control method thereof
JP2015177544A (en) * 2014-03-14 2015-10-05 ▲ホア▼▲ウェイ▼技術有限公司 Image blurring method and equipment, and electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205583A (en) * 1998-01-19 1999-07-30 Fuji Photo Film Co Ltd Image processor
JP2003087545A (en) * 2001-09-07 2003-03-20 Canon Inc Image pickup device, image processor and method
JP2003289436A (en) * 2002-03-28 2003-10-10 Minolta Co Ltd Image processor, and program
JP2006197096A (en) * 2005-01-12 2006-07-27 Mitsubishi Electric Corp Television telephone

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205583A (en) * 1998-01-19 1999-07-30 Fuji Photo Film Co Ltd Image processor
JP2003087545A (en) * 2001-09-07 2003-03-20 Canon Inc Image pickup device, image processor and method
JP2003289436A (en) * 2002-03-28 2003-10-10 Minolta Co Ltd Image processor, and program
JP2006197096A (en) * 2005-01-12 2006-07-27 Mitsubishi Electric Corp Television telephone

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090118A (en) * 2011-10-18 2013-05-13 Olympus Corp Image processing device, image processing method, and image processing program
CN103858421A (en) * 2011-10-26 2014-06-11 I<sup>3</sup>研究所股份有限公司 Image processing device, image processing method, and recording medium
US9836812B2 (en) 2011-10-26 2017-12-05 I-Cubed Research Center Inc. Image processing apparatus, method, and medium to apply a restrictive condition
JPWO2013061810A1 (en) * 2011-10-26 2015-04-02 アイキューブド研究所株式会社 Image processing apparatus, image processing method, and recording medium
WO2013061810A1 (en) * 2011-10-26 2013-05-02 アイキューブド研究所株式会社 Image processing device, image processing method, and recording medium
CN103858421B (en) * 2011-10-26 2018-07-20 I<sup>3</sup>研究所股份有限公司 Image processing apparatus and image processing method
US9251575B2 (en) 2011-12-19 2016-02-02 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and image processing program
JP2013127759A (en) * 2011-12-19 2013-06-27 Canon Inc Image processing device, image pickup device, image processing method, and image processing program
WO2013094131A1 (en) * 2011-12-19 2013-06-27 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and image processing program
WO2013146283A1 (en) * 2012-03-27 2013-10-03 株式会社 日立メディコ Image processing device and image processing method
US9454804B2 (en) 2012-03-27 2016-09-27 Hitachi Medical Corporation Image processing device and image processing method
JP2013214854A (en) * 2012-04-02 2013-10-17 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional image display device, three-dimensional image display method, and three-dimensional image display program
JP2014127963A (en) * 2012-12-27 2014-07-07 Canon Inc Image processing system and image processing method
JP2014215840A (en) * 2013-04-25 2014-11-17 富士通株式会社 Image processing circuit, image processor, and image processing method
JP2015043495A (en) * 2013-08-26 2015-03-05 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and program
JP2015103879A (en) * 2013-11-21 2015-06-04 キヤノン株式会社 Image processing apparatus and control method thereof
JP2015177544A (en) * 2014-03-14 2015-10-05 ▲ホア▼▲ウェイ▼技術有限公司 Image blurring method and equipment, and electronic device

Also Published As

Publication number Publication date Type
JP5434361B2 (en) 2014-03-05 grant

Similar Documents

Publication Publication Date Title
JP2009053748A (en) Image processing apparatus, image processing program, and camera
JP2006227080A (en) Electronic camera
US20070269135A1 (en) Image processing apparatus, image processing method, and program
JP2008294785A (en) Image processor, imaging apparatus, image file, and image processing method
JP2005229198A (en) Image processing apparatus and method, and program
JP2008271240A (en) Imaging apparatus, image processing apparatus, imaging method, and image processing method
JP2006140594A (en) Digital camera
US20080068466A1 (en) Imaging apparatus, method, and program
US20130162876A1 (en) Digital photographing apparatus and method of controlling the digital photographing apparatus
JP2006345254A (en) Photographing apparatus, its control method, program, and storage medium
JP2008271241A (en) Imaging apparatus, image processing apparatus, imaging method, and image processing method
JP2008233470A (en) Diaphragm controller and image processor
JP2009111596A (en) Imaging apparatus
JP2005303731A (en) Signal processor, signal processing method and digital camera
WO2007049634A1 (en) Imaging device, image processing device, and program
US20090109310A1 (en) Imaging device, imaging method, display control device, display control method, and program
JP2002112008A (en) Image processing system and recording medium recording image processing program
JP2006019874A (en) Blur, out of focus informing method and imaging apparatus
JP2006033291A (en) Imaging apparatus, method of controlling the same and processing program thereof
CN101184143A (en) Image processor and image processing method
US20120044400A1 (en) Image pickup apparatus
JP2008139683A (en) Imaging apparatus and autofocus control method
US20110043666A1 (en) Image processing apparatus, image processing method, and computer program storage medium
JP2008283605A (en) Imaging apparatus
JP2007124292A (en) Imaging apparatus, imaging method, and imaging program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125