JP2014154981A5 - Image processing apparatus, image processing method, imaging apparatus, and control method thereof - Google Patents

Image processing apparatus, image processing method, imaging apparatus, and control method thereof Download PDF

Info

Publication number
JP2014154981A5
JP2014154981A5 JP2013021800A JP2013021800A JP2014154981A5 JP 2014154981 A5 JP2014154981 A5 JP 2014154981A5 JP 2013021800 A JP2013021800 A JP 2013021800A JP 2013021800 A JP2013021800 A JP 2013021800A JP 2014154981 A5 JP2014154981 A5 JP 2014154981A5
Authority
JP
Japan
Prior art keywords
image
refocusable
distance
image processing
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013021800A
Other languages
Japanese (ja)
Other versions
JP6162971B2 (en
JP2014154981A (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2013021800A priority Critical patent/JP6162971B2/en
Priority claimed from JP2013021800A external-priority patent/JP6162971B2/en
Publication of JP2014154981A publication Critical patent/JP2014154981A/en
Publication of JP2014154981A5 publication Critical patent/JP2014154981A5/en
Application granted granted Critical
Publication of JP6162971B2 publication Critical patent/JP6162971B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明に係わる画像処理装置は、撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、を備えることを特徴とする。
また、本発明に係わる撮像装置は、１つのマイクロレンズに対して複数の画素が配置された撮像素子を備えた撮像手段と、前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段と、前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理手段と、を備えることを特徴とする。 An image processing apparatus according to the present invention includes an acquisition unit that acquires image data that is captured by an imaging unit and can be refocused after being captured, and characteristic information of the imaging unit, and a depth in the refocusable image data. Distance acquisition means for acquiring distance information indicating a distance in a direction; refocus range calculation means for calculating information on a refocusable distance range of the refocusable image data based on the characteristic information; and the distance Image processing means for performing image processing on an image corresponding to the refocusable image data based on the information and information on the refocusable distance range to generate a display image to be displayed on a display means; It is characterized by providing.
An image pickup apparatus according to the present invention includes an image pickup unit including an image pickup element in which a plurality of pixels are arranged for one microlens, and image data that can be refocused after being picked up by the image pickup unit And acquisition means for acquiring the characteristic information of the imaging means, refocus image generation means for generating a refocus image at a target focal position using the refocusable image data, and the refocusing possible Distance acquisition means for acquiring distance information indicating the distance in the depth direction in correct image data, and refocus range calculation for calculating refocusable distance range information of the refocusable image data based on the characteristic information And refocusing image data based on the distance information and the refocusable distance range information. An image processing means for generating a display image to be displayed on the display means, which can distinguish an area where an image focused by refocusing can be obtained and an area where the image cannot be obtained. .

Claims (15)

撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、An acquisition means for acquiring image data captured by the imaging means and refocusable after being imaged, and characteristic information of the imaging means;
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、Distance acquisition means for acquiring distance information indicating a distance in a depth direction in the refocusable image data;
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、Refocus range calculation means for calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理手段と、Image processing means for performing image processing on an image corresponding to the refocusable image data based on the distance information and the refocusable distance range information to generate a display image to be displayed on the display means; ,
を備えることを特徴とする画像処理装置。An image processing apparatus comprising: 前記特性情報とは、前記リフォーカス可能な画像データの撮像された撮像光学系のフォーカス位置、あるいは撮像素子の仕様に関する情報であることを特徴とする請求項１に記載の画像処理装置。The image processing apparatus according to claim 1, wherein the characteristic information is information related to a focus position of an imaging optical system in which the refocusable image data is captured or a specification of an imaging element. 前記画像処理手段は、前記画像処理によってリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能にすることを特徴とする請求項１または２に記載の画像処理装置。The image processing means makes it possible to distinguish between an area where an image focused by refocusing can be obtained and an area where it cannot be obtained in an image corresponding to image data that can be refocused by the image processing. Or the image processing apparatus of 2. 前記画像処理とは、リフォーカスにより合焦した画像が得られる領域、あるいはそれ以外の領域のいずれかの色を変更する処理であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。4. The image processing according to claim 1, wherein the image processing is processing for changing a color of an area where an image focused by refocusing or an area other than the area is obtained. The image processing apparatus described. 前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。The image according to any one of claims 1 to 4, further comprising refocus image generation means for generating a refocus image at a target focal position using the refocusable image data. Processing equipment. 前記リフォーカス可能な画像データの画像の領域を指定するユーザーからの指示を受け付ける操作手段をさらに備え、An operation unit that receives an instruction from a user that specifies an image area of the refocusable image data;
前記画像処理手段は、前記指示に基づいて、前記指定された領域がリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られるか否かを区別可能な表示画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。Based on the instruction, the image processing unit generates a display image that can distinguish whether or not an image focused by refocusing is obtained in an image corresponding to image data in which the designated region can be refocused. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus. 前記リフォーカス可能な画像データに対応する画像から特定の被写体を検出する被写体検出手段をさらに備え、Subject detection means for detecting a specific subject from an image corresponding to the refocusable image data;
前記画像処理手段は、前記被写体検出手段により特定の被写体が検出された領域がリフォーカス可能な画像データに対応する画像においてリフォーカスにより合焦した画像が得られるか否かを区別可能な表示画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。The image processing means is a display image capable of distinguishing whether or not an image focused by refocusing is obtained in an image corresponding to refocusable image data in a region where a specific subject is detected by the subject detection means. The image processing apparatus according to claim 1, wherein the image processing apparatus generates an image. 前記画像処理手段は、前記リフォーカス可能な画像データの複数の領域ごとに該領域の奥行き方向の距離が前記リフォーカス可能な距離範囲内か前記リフォーカス可能な距離範囲外かを示す情報、および前記リフォーカス可能な距離範囲外の場合は範囲外の程度を示す情報を含み、前記画像処理手段は、前記範囲外の程度の情報に基づいて画像処理を変えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。The image processing means, for each of a plurality of areas of the refocusable image data, information indicating whether the distance in the depth direction of the area is within the refocusable distance range or outside the refocusable distance range; and The information processing apparatus includes information indicating a degree outside the range when the distance is outside the refocusable distance range, and the image processing unit changes the image processing based on the information outside the range. 8. The imaging device according to any one of items 7. 前記画像処理手段は、リフォーカス可能な距離範囲外に位置する被写体の、リフォーカス可能な距離範囲内から外れた距離の大きさが認識可能となるように前記表示画像を生成することを特徴とする請求項４に記載の撮像装置。The image processing means generates the display image so that a subject located outside the refocusable distance range can recognize the magnitude of the distance outside the refocusable distance range. The imaging device according to claim 4. 前記画像処理手段は、前記リフォーカス可能な画像データの各領域の前記距離情報と、前記リフォーカス可能な距離範囲の情報とを比較することで、各領域に合焦した画像が得られるか否かを判定し、該判定結果を反映させた表示画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。Whether the image processing means can obtain an image focused on each area by comparing the distance information of each area of the refocusable image data with the information on the refocusable distance range. The image processing apparatus according to claim 1, wherein a display image reflecting the determination result is generated. 請求項１乃至１０のいずれか１項に記載の画像処理装置と、The image processing apparatus according to any one of claims 1 to 10,
前記撮像手段と、The imaging means;
を備えることを特徴とする撮像装置。An imaging apparatus comprising: 前記撮像手段は、複数のマイクロレンズを有し且つ１つのマイクロレンズに対して複数の画素が配置された撮像素子を有することを特徴とする請求項１１に記載の撮像装置。The imaging apparatus according to claim 11, wherein the imaging unit includes an imaging element having a plurality of microlenses and a plurality of pixels arranged with respect to one microlens. １つのマイクロレンズに対して複数の画素が配置された撮像素子を備えた撮像手段と、An image pickup means including an image pickup element in which a plurality of pixels are arranged with respect to one microlens;
前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得手段と、Acquisition means for acquiring image data captured by the imaging means and refocusable after being imaged, and characteristic information of the imaging means;
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成手段と、Refocus image generation means for generating a refocus image at a target focal position using the refocusable image data;
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得手段と、Distance acquisition means for acquiring distance information indicating a distance in a depth direction in the refocusable image data;
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出手段と、Refocus range calculation means for calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理手段と、Based on the distance information and the information on the refocusable distance range, an image corresponding to the refocusable image data is distinguished from an area where an image focused by refocus can be obtained and an area where the image cannot be obtained. Image processing means for generating a display image to be displayed on the display means,
を備えることを特徴とする撮像装置。An imaging apparatus comprising: 撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得工程と、An acquisition step of acquiring image data captured by the imaging unit and refocusable after being captured, and characteristic information of the imaging unit;
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得工程と、A distance acquisition step of acquiring distance information indicating a distance in a depth direction in the refocusable image data;
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出工程と、A refocus range calculation step of calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、前記リフォーカス可能な画像データに対応する画像に画像処理を施して、表示手段に表示する表示画像を生成する画像処理工程と、An image processing step of performing image processing on an image corresponding to the refocusable image data based on the distance information and the refocusable distance range information to generate a display image to be displayed on a display unit; ,
を備えることを特徴とする画像処理方法。An image processing method comprising: １つのマイクロレンズに対して複数の画素が配置された撮像素子を備えた撮像手段を有する撮像装置を制御する制御方法であって、A control method for controlling an image pickup apparatus having an image pickup unit including an image pickup element in which a plurality of pixels are arranged for one microlens,
前記撮像手段により撮像され、撮像された後にリフォーカス可能な画像データと、前記撮像手段の特性情報とを取得する取得工程と、An acquisition step of acquiring image data captured by the imaging unit and refocusable after being captured, and characteristic information of the imaging unit;
前記リフォーカス可能な画像データを用いて、目的とする焦点位置のリフォーカス画像を生成するリフォーカス画像生成工程と、Using the refocusable image data, a refocus image generation step of generating a refocus image at a target focal position;
前記リフォーカス可能な画像データにおける奥行き方向の距離を示す距離情報を取得する距離取得工程と、A distance acquisition step of acquiring distance information indicating a distance in a depth direction in the refocusable image data;
前記特性情報に基づいて、前記リフォーカス可能な画像データのリフォーカス可能な距離範囲の情報を算出するリフォーカス範囲算出工程と、A refocus range calculation step of calculating information on a refocusable distance range of the refocusable image data based on the characteristic information;
前記距離情報と前記リフォーカス可能な距離範囲の情報とに基づいて、リフォーカス可能な画像データに対応する画像であって、リフォーカスにより合焦した画像が得られる領域と得られない領域を区別可能である、表示手段に表示する表示画像を生成する画像処理工程と、Based on the distance information and the information on the refocusable distance range, an image corresponding to the refocusable image data is distinguished from an area where an image focused by refocus can be obtained and an area where the image cannot be obtained. An image processing step of generating a display image to be displayed on the display means,
を有することを特徴とする撮像装置の制御方法。A method for controlling an imaging apparatus, comprising:
JP2013021800A 2013-02-06 2013-02-06 Image processing apparatus, image processing method, imaging apparatus, and control method thereof Active JP6162971B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013021800A JP6162971B2 (en) 2013-02-06 2013-02-06 Image processing apparatus, image processing method, imaging apparatus, and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013021800A JP6162971B2 (en) 2013-02-06 2013-02-06 Image processing apparatus, image processing method, imaging apparatus, and control method thereof

Publications (3)

Publication Number Publication Date
JP2014154981A JP2014154981A (en) 2014-08-25
JP2014154981A5 true JP2014154981A5 (en) 2016-03-24
JP6162971B2 JP6162971B2 (en) 2017-07-12

Family

ID=51576460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013021800A Active JP6162971B2 (en) 2013-02-06 2013-02-06 Image processing apparatus, image processing method, imaging apparatus, and control method thereof

Country Status (1)

Country Link
JP (1) JP6162971B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566800B2 (en) * 2014-09-30 2019-08-28 キヤノン株式会社 Imaging apparatus and imaging method
US9967451B2 (en) * 2014-09-30 2018-05-08 Canon Kabushiki Kaisha Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
JP6611531B2 (en) * 2015-09-16 2019-11-27 キヤノン株式会社 Image processing apparatus, image processing apparatus control method, and program
JP6567384B2 (en) * 2015-10-01 2019-08-28 株式会社東芝 Information recognition apparatus, information recognition method, and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022796A (en) * 2009-07-15 2011-02-03 Canon Inc Image processing method and image processor
JP5906062B2 (en) * 2010-12-17 2016-04-20 キヤノン株式会社 Imaging apparatus and control method thereof
JP5875839B2 (en) * 2011-11-21 2016-03-02 オリンパス株式会社 Plenoptic camera

Similar Documents

Publication Publication Date Title
JP2017518658A5 (en)
JP2014123070A5 (en)
JP2014207645A5 (en)
JP2011039460A5 (en) Focus adjustment device and focus adjustment method
JP2014146023A5 (en)
JP2014150466A5 (en)
JP2016136683A5 (en)
JP2013219615A5 (en)
JP2014102766A5 (en)
JP2013254432A5 (en)
JP2012042833A5 (en)
JP2013218177A5 (en)
JP2016090911A5 (en)
JP2013185832A5 (en)
CN104641275B (en) The control method that imaging control apparatus, imaging device and imaging control apparatus perform
JP2015041884A5 (en)
JP2015040941A5 (en)
JP2012195668A5 (en)
JP2017103688A5 (en)
JP2017208606A5 (en)
JP2018205648A5 (en)
JP2019068117A5 (en) Image processing device and image processing method, imaging device
JP2013254480A5 (en)
JP2014154981A5 (en) Image processing apparatus, image processing method, imaging apparatus, and control method thereof
JP2015175982A5 (en) Image processing apparatus, imaging apparatus, and program