JP2008028591A - Image processing method in imaging device, and imaging device - Google Patents
Image processing method in imaging device, and imaging device Download PDFInfo
- Publication number
- JP2008028591A JP2008028591A JP2006197648A JP2006197648A JP2008028591A JP 2008028591 A JP2008028591 A JP 2008028591A JP 2006197648 A JP2006197648 A JP 2006197648A JP 2006197648 A JP2006197648 A JP 2006197648A JP 2008028591 A JP2008028591 A JP 2008028591A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- focus
- subject
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 102
- 238000003702 image correction Methods 0.000 claims abstract description 50
- 238000013500 data storage Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 abstract description 14
- 239000007787 solid Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 11
- 238000003708 edge detection Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Abstract
Description
本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）で構成される撮像素子上に光学レンズ系によって被写体像を結像させ、画像データとして取り出してメモリなどに記憶させる所謂デジタルカメラに代表される撮像装置における画像処理方法と撮像装置に関し、特に、フォーカスのための待ち時間を不要とし、シャッターチャンスを逃すようなことを無くした撮像装置における画像処理方法と撮像装置に関するものである。 The present invention is a so-called digital camera in which a subject image is formed by an optical lens system on an image pickup element constituted by a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor), taken out as image data, and stored in a memory or the like. In particular, the present invention relates to an image processing method and an imaging apparatus in an imaging apparatus that do not require a waiting time for focusing and that do not miss a photo opportunity. .
最近のカメラには、初心者にとって困難なピント合わせを自動的に行うオートフォーカス機能を搭載したものが多い。このオートフォーカスの方式としては、カメラ側から信号を発して被写体から反射した信号が到達するまでの時間を測定し、それを距離に換算してフォーカスレンズを駆動して行うアクティブ方式や、撮影レンズに入ってくる光の情報を用いて焦点位置を検出し、フォーカスレンズを駆動するパッシブ方式などがある。 Many recent cameras have an autofocus function that automatically performs focusing, which is difficult for beginners. This autofocus method includes an active method in which a signal is emitted from the camera side and a signal reflected from the subject arrives is measured and converted into a distance to drive the focus lens. There is a passive method in which a focus position is detected using information of incoming light and a focus lens is driven.
このうちアクティブ方式は、測距用の信号を発する赤外線等の発光素子や反射してきた信号を受ける受光素子を必要とし、その分カメラ内にスペースが必要となるからカメラが大型化すると共にコスト的にも不利になる、という問題を含んでいる。それに対し、例えばコントラスト方式（周波数分離方式）で代表されるパッシブ方式では、撮影レンズに入ってくる光の情報を用いてピント合わせするため、発光素子や受光素子が必要なく、部品数がアクティブ方式に較べて少なくて済むと共にスペースも必要ないから、それだけコスト的に有利になる。特にデジタルカメラでは、撮像素子がそのままオートフォーカス用として使うことが可能であるから、この方式を用いているものが多い。 Of these, the active method requires a light emitting element such as an infrared ray that emits a signal for distance measurement and a light receiving element that receives a reflected signal, which requires a space in the camera, which increases the size and cost of the camera. It also has the problem of being disadvantageous. On the other hand, for example, in the passive method represented by the contrast method (frequency separation method), focusing is performed using information of light entering the photographing lens, so there is no need for a light emitting element or a light receiving element, and the number of components is an active method. Compared to this, it requires less space and does not require space, which is advantageous in terms of cost. In particular, many digital cameras use this method because the image sensor can be used as it is for autofocus.
上記したコントラスト方式（周波数分離方式）は、撮像素子上に投影された被写体像におけるコントラスト比や周波数成分がピントが合っている時に最も大きくなる、という性質を用いて焦点合わせするもので、フォーカスレンズまたは撮像素子をレンズの光軸方向に小さく前後させ、変化するコントラスト比または周波数成分が最も高くなった位置が焦点の合った位置である、と判断する。 The above-described contrast method (frequency separation method) is a focus lens that uses the property that the contrast ratio and frequency component in the subject image projected onto the image sensor become the largest when the image is in focus. Alternatively, the imaging element is moved back and forth in the optical axis direction of the lens, and the position where the changing contrast ratio or frequency component is highest is determined to be the in-focus position.
しかしながらこのコントラスト方式では、フォーカスレンズまたは撮像素子をレンズの光軸方向に小さく前後させているため、常時ピントの合った画像を表示装置に表示させるようにした場合に電力消費が大きい。また、ピント合わせのためにレンズを無限遠側と至近側のどちら方向に動かせばよいのかの判断や、コントラストが低くてどこにピントを合わせたらよいかわかりずらい被写体では、コントラストが最大となる位置を探すのに時間が掛かってしまうため、シャッターチャンスを逃してしまうという問題もある。 However, in this contrast method, since the focus lens or the image sensor is moved back and forth in the optical axis direction of the lens, power consumption is large when an image that is always in focus is displayed on the display device. Also, determine whether the lens should be moved toward the infinity side or the close side for focusing, or where the contrast is low and it is difficult to determine where to focus, the position where the contrast is maximum It takes a long time to search for the camera, so there is a problem of missing a photo opportunity.
そのため特許文献１には、ビデオカメラに関するものではあるが、固体撮像手段をフォーカスレンズの光軸に対して所定角度（明細書中では極めて小さい値としている）傾け、撮像手段におけるレンズに対して遠い領域の撮像出力と、近い領域の撮像出力とを比較し、よりコントラストの高い方向へレンズを動かすようにして、オートフォーカスに掛かる時間を短縮するようにした技術が示されている。 Therefore, although Patent Document 1 relates to a video camera, the solid-state imaging unit is tilted at a predetermined angle (which is an extremely small value in the specification) with respect to the optical axis of the focus lens, and is far from the lens in the imaging unit. A technique is shown in which the imaging output of a region is compared with the imaging output of a close region, and the lens is moved in a direction with higher contrast to reduce the time required for autofocus.
また特許文献２には、固体撮像素子の法線方向を撮影光学系の光軸方向に一致させた撮影姿勢と、固体撮像素子の法線方向を撮影光学系の光軸方向に対し傾けたフォーカシング姿勢とに切り換え可能に構成し、フォーカシングの際、固体撮像素子の姿勢をフォーカシング姿勢として撮影光学系を移動させ、固体撮像素子上に設定された複数の領域それぞれのコントラストを検知してピントの合った位置を検出することで、高速にオートフォーカスを実現できるようにしたデジタルカメラが示されている。 Japanese Patent Application Laid-Open No. 2005-228561 discloses a shooting posture in which the normal direction of the solid-state imaging device is matched with the optical axis direction of the imaging optical system, and focusing in which the normal direction of the solid-state imaging device is inclined with respect to the optical axis direction of the imaging optical system. The focusing optical system is moved with the attitude of the solid-state image sensor as the focusing attitude, and the contrast of each of the multiple areas set on the solid-state image sensor is detected for focusing. This shows a digital camera that can realize autofocus at high speed by detecting the position.
しかしながら特許文献１に示されたビデオカメラは、極めて小さい角度とはいえ固体撮像手段をフォーカスレンズの光軸に対して傾けているから、傾けない場合に比較し、固体撮像手段上におけるレンズに対して遠い領域と近い領域とでのピントの合い方が異なってくる。ビデオカメラは、撮像素子の画素数が現在のデジタルカメラに比較して少なく、傾け角度が小さければピントの合い方の違いはそれほど目立たないかもしれないが、素子数が多い高精細なデジタルカメラではその違いがわかってしまう。また特許文献２に示されたデジタルカメラでは、固体撮像素子をフォーカシング姿勢と撮影姿勢に切り換える姿勢切り替え機構が必要であり、その分、スペースが必要であると共に高価になる。 However, since the video camera shown in Patent Document 1 tilts the solid-state image pickup unit with respect to the optical axis of the focus lens even though the angle is extremely small, the video camera shown in Japanese Patent Application Laid-Open No. H10-228867 is relatively smaller than the lens on the solid-state image pickup unit. The way of focusing in the far and near areas is different. Video cameras have fewer pixels than current digital cameras, and if the tilt angle is small, the difference in focus may not be so noticeable, but for high-definition digital cameras with many elements, You will understand the difference. In addition, the digital camera disclosed in Patent Document 2 requires a posture switching mechanism that switches the solid-state imaging device between a focusing posture and a photographing posture, which requires space and is expensive.
そのため本発明においては、フォーカスのための待ち時間を不要としてシャッターチャンスを逃すようなことが無く、かつ、固体撮像素子をフォーカシング姿勢と撮影姿勢に切り換える姿勢切り替え機構などのコストやスペースを必要とする機構も不要で、安価に、小型に構成できる所謂デジタルカメラに代表される撮像装置を提供することが課題である。 For this reason, in the present invention, there is no need to wait for focusing and no photo opportunity is missed, and a cost and space such as a posture switching mechanism for switching the solid-state imaging device between a focusing posture and a photographing posture are required. It is an object to provide an imaging apparatus represented by a so-called digital camera that does not require a mechanism and can be configured at low cost and in a small size.
上記課題を解決するため本発明における撮像装置における画像処理方法と撮像装置は、
光学レンズにより結像された被写体像を画像データとして出力する撮像素子と、前記画像データを記憶する記憶手段とを有する撮像装置における画像処理方法であって、
前記撮像素子は、前記光学レンズ光軸に垂直な面に対して傾けて設置され、
前記撮像素子上の所定位置におけるピントが合う光学レンズと被写体の間隔（以下合焦距離と称す）及び前記被写体が前記合焦距離からの所定距離における前記撮像素子上のエッジ強度と、前記画像データから検出したエッジ部のエッジ強度とから、前記エッジ部の合焦距離からの間隔を取得し、
前記被写体におけるピントを合わせたい位置またはピントを合わせたい距離（以下合焦希望位置または合焦希望距離と称す）では前記取得した被写体上の合焦距離からの間隔に応じたピントが合う方向のエッジ像補正を、前記合焦希望位置または合焦希望距離以外の位置では前記合焦希望位置または合焦希望距離からの距離に応じたピントがはずれる方向のエッジ像補正をおこなうことを特徴とする。
In order to solve the above problems, an image processing method and an imaging apparatus in an imaging apparatus according to the present invention include:
An image processing method in an imaging apparatus, comprising: an imaging element that outputs a subject image formed by an optical lens as image data; and a storage unit that stores the image data.
The image sensor is installed to be inclined with respect to a plane perpendicular to the optical axis of the optical lens,
The distance between the optical lens that is in focus at a predetermined position on the image sensor and a subject (hereinafter referred to as a focus distance), the edge strength on the image sensor at a predetermined distance from the focus distance of the subject, and the image data From the edge strength of the edge portion detected from, obtain the interval from the focus distance of the edge portion,
The edge in the direction in which the subject is in focus or the distance to be focused (hereinafter referred to as the desired focus position or desired focus distance) in the direction in which the subject is in focus. The image correction is performed by performing edge image correction in a direction in which the image is out of focus according to the distance from the desired focus position or desired focus distance at a position other than the desired focus position or desired focus distance.
撮像装置をこのように構成することで、ピントを合わせたい被写体が中央に無くても、撮影者が画面のピントを合わせたい箇所またはピントを合わせたい距離を指定すれば、その箇所或いは距離にあたかもピントが合ったような画像にする、あるいは画面全体をピントが合っているような画像にすることが可能となる。従って、前記したようにオートフォーカスに時間がかかってシャッターチャンスを逃すようなことが無く、かつ、機械的に動く部分がないからそれらの機構駆動用の要素が不要となり、安価に、小型に構成できる撮像装置における画像処理方法と撮像装置を提供することができる。 By configuring the imaging apparatus in this way, even if the subject to be focused on is not in the center, if the photographer specifies the point on the screen to be focused or the distance to be focused, it will be as if that point or distance It is possible to make an image that is in focus, or an image that is in focus on the entire screen. Therefore, as described above, it does not take time to autofocus and miss a photo opportunity, and since there is no mechanically moving part, elements for driving those mechanisms are not required, and the structure is inexpensive and small. An image processing method and an imaging apparatus in an imaging apparatus that can be provided can be provided.
そして、前記被写体上の合焦希望位置または合焦希望距離における被写体のエッジ強度より点像の広がり量を取得し、前記合焦希望位置または合焦希望距離では取得した点像の広がり量を収斂させる方向のエッジ像補正を、前記合焦希望位置または合焦希望距離以外では、前記合焦希望位置または合焦希望距離からの距離に応じて前記取得した点像の広がり量に比例した広がり量となるエッジ像補正をおこない、更にそのために、前記点像の広がり量は、光学レンズにおける絞り値をＦｎｏ、該Ｆｎｏに対応したエッジ強度の補正係数をＦｎｏ（φ）、指定箇所のエッジ強度をφ、前記撮像素子の光軸に垂直な面に対する傾きをθ、前記撮像素子上の指定位置からの傾き方向への高さをｈ、前記撮像素子の傾きによるエッジ強度補正量をΔφとしたとき、
Δφ ＝ Ｆｎｏ（θ）×２×ｈ×ｔａｎθ
で算出することで、簡単な構成で必要なピント調整を画面全体に施すことができる。
Then, the spread amount of the point image is acquired from the edge strength of the subject at the desired focus position or desired focus distance on the subject, and the obtained spread of the point image is converged at the desired focus position or desired focus distance. In a direction other than the desired focus position or desired focus distance, the spread amount proportional to the spread amount of the acquired point image is determined according to the distance from the desired focus position or desired focus distance. Further, for that purpose, the amount of spread of the point image is set such that the aperture value in the optical lens is Fno, the correction coefficient of the edge strength corresponding to the Fno is Fno (φ), and the edge strength of the designated portion is φ, the tilt of the image sensor with respect to the plane perpendicular to the optical axis is θ, the height from the specified position on the image sensor in the tilt direction is h, and the edge intensity correction amount due to the tilt of the image sensor is Δφ. When
Δφ = Fno (θ) × 2 × h × tan θ
By calculating with, the necessary focus adjustment can be performed on the entire screen with a simple configuration.
さらに、前記撮像素子における前記光学レンズ光軸に垂直な面に対する角度をθ、該角度θで傾けて配置した撮像素子上の光軸から略等距離の位置に、前記光学レンズに設定した最至近距離に置かれた被写体と無限遠の位置に置かれた被写体との像がピントが合って結像するとき、それぞれの結像位置の光軸方向間隔をΔ、光軸に垂直な方向の間隔をＶとすると、
ｔａｎθ ≧ Δ／Ｖ
を満足する角度θで設置することが本発明の好ましい実施形態である。
Further, the angle of the image pickup device with respect to the plane perpendicular to the optical axis of the optical lens is θ, and the closest distance set on the optical lens is set at a position approximately equidistant from the optical axis on the image pickup device arranged to be inclined at the angle θ. When images of a subject placed at a distance and a subject placed at infinity are focused and focused, the distance in the optical axis direction of each imaging position is Δ, and the distance in the direction perpendicular to the optical axis Is V,
tanθ ≧ Δ / V
It is a preferred embodiment of the present invention to install at an angle θ that satisfies the above.
また、前記傾けて設置された撮像素子から出力される画像のひずみを、前記撮像素子の傾き角度に応じて補正して前記エッジ像補正を行うことで、撮像素子を傾けることで生じるひずみが補正され、ひずみのない画像が得られる撮像装置における画像処理方法と撮像装置を提供することができる。 In addition, the distortion generated by tilting the image sensor is corrected by correcting the distortion of the image output from the tilted image sensor and correcting the edge image according to the tilt angle of the image sensor. Thus, an image processing method and an imaging apparatus in an imaging apparatus that can obtain an image without distortion can be provided.
さらに、前記撮像素子は、被写体上部が前記光学レンズにおける無限遠位置に、被写体下部が最至近距離に対応して配されていることで、風景や風景を背景とした被写体では、空の部分が無限遠となるから補正量の少ない画像データを得ることができ、より、画像補正処理が容易な撮像装置を提供することができる。 Further, the imaging element is arranged such that the upper part of the subject is located at an infinite position on the optical lens and the lower part of the subject is arranged corresponding to the closest distance. Since the distance becomes infinity, image data with a small correction amount can be obtained, and an image pickup apparatus that can perform image correction processing more easily can be provided.
以上記載のごとく本発明は、フォーカスのための待ち時間を不要としてシャッターチャンスを逃すようなことが無く、かつ、固体撮像素子をフォーカシング姿勢と撮影姿勢に切り換える姿勢切り替え機構などのコストやスペースを必要とする機構も不要で、安価に、小型に撮像装置を構成できる。 As described above, the present invention eliminates the need for a waiting time for focusing and does not miss a photo opportunity, and requires a cost and space such as a posture switching mechanism for switching a solid-state imaging device between a focusing posture and a photographing posture. The imaging device can be configured in a small size at a low cost.
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。特に以下の本実施例説明では、デジタルカメラを例として説明するが、他の撮像装置であっても良いことは当然のことである。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the dimensions, materials, shapes, relative arrangements, and the like of the components described in this embodiment are not intended to limit the scope of the present invention unless otherwise specified, but are merely illustrative examples. Not too much. In particular, in the following description of the present embodiment, a digital camera will be described as an example, but it is a matter of course that other imaging devices may be used.
図１は、（Ａ）が実施形態になる撮像装置における撮像素子の設置状態を概略的に示すと共に、ピント合わせの画像処理を説明するための図で、（Ｂ）がデジタルカメラにおける背後（被写体とは反対側）に設けられた表示装置と、表示装置上の上のピントを合わせたい位置を指示するための合焦位置指示手段と合焦距離指示手段の１例を示した図、図２は実施形態になる撮像装置の画像処理回路の概略ブロック図、図３、図４は実施形態になる撮像装置における画像処理のフロー図、図５は図４のフロー図に基づく画像処理を説明するための図、図６は撮像素子を傾けたことにより画像に生じるひずみを示した図、図７（Ａ）は本発明の撮像装置を用いて撮影した画像データにおけるボケ具合を誇張して示した図、（Ｂ）が所定位置にピントを合わせる画像処理を施した後の画像データにおけるボケ具合を誇張して示した図、図８は撮像装置に用いられる光学レンズのＦナンバー（焦点距離レンズの絞りによる有効開口で割った値）に対応するボケ量を算出するためのボケ係数を示したグラフである。 FIG. 1A is a diagram schematically illustrating an installation state of an image sensor in the image pickup apparatus according to the embodiment, and is a view for explaining image processing for focusing. FIG. FIG. 2 is a diagram showing an example of a display device provided on the opposite side), a focus position instruction means for instructing a position on the display device to be focused, and a focus distance instruction means; Is a schematic block diagram of an image processing circuit of the imaging apparatus according to the embodiment, FIGS. 3 and 4 are flowcharts of image processing in the imaging apparatus according to the embodiment, and FIG. 5 illustrates image processing based on the flowchart of FIG. FIG. 6 is a diagram showing distortion generated in the image by tilting the image sensor, and FIG. 7A exaggerates the degree of blurring in the image data captured using the imaging apparatus of the present invention. Figure, (B) shows pin in place FIG. 8 is an exaggerated view of the degree of blurring in image data after performing image processing for matching the image, and FIG. 8 is an F number of an optical lens used in the image pickup apparatus (a value divided by an effective aperture by a diaphragm of a focal length lens). 5 is a graph showing a blur coefficient for calculating a corresponding blur amount.
最初に図１に基づき、実施形態になる撮像装置の概略を説明すると、実施形態になる撮像装置は、通常の撮像装置と同様、光学レンズ１０によってＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）で構成される撮像素子１１上に被写体像を結像させ、画像データとして取り出して、表示装置１５に表示したり図示していない外部記憶装置に記憶する。 First, the outline of the imaging apparatus according to the embodiment will be described with reference to FIG. 1. The imaging apparatus according to the embodiment is similar to a normal imaging apparatus in that a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide) is used by an optical lens 10. A subject image is formed on an image pickup device 11 constituted by a semiconductor), taken out as image data, and displayed on the display device 15 or stored in an external storage device (not shown).
しかし、撮像素子１１は通常の撮像装置と異なり、例えばＰで示した位置が光学レンズ１０における無限遠とみなせる距離、Ｎで示した位置が光学レンズ１０に設定した最至近距離とした場合、光学レンズ１０により、位置Ｐに置かれた被写体の像がピントの合った像として結像する位置に撮像素子１１の１辺近傍が、位置Ｎに置かれた被写体の像がピントの合った像として結像する位置に撮像素子１１の他の１辺近傍が位置するよう、光軸Ｈに直交する方向に対してθだけ傾けて設置されている。 However, the image pickup element 11 is different from a normal image pickup apparatus, for example, when the position indicated by P is a distance that can be regarded as infinity in the optical lens 10 and the position indicated by N is the closest distance set in the optical lens 10, As the image of the subject placed at the position P is formed as a focused image by the lens 10, the vicinity of one side of the image sensor 11 is set as the focused image of the subject placed at the position N. It is inclined by θ with respect to the direction orthogonal to the optical axis H so that the vicinity of the other side of the image sensor 11 is located at the position where the image is formed.
すなわちこの撮像装置の撮像素子１１は、焦点距離ｆの光学レンズ１０における無限遠の位置Ｐに置かれた被写体の像がピントの合った像として結像する位置と、最至近距離Ｎに置かれた被写体の像がピントの合った像として結像する位置とにおける、ピント位置の移動量をΔ、撮像素子１１を傾けてそれぞれの結像位置を１辺近傍と他の１辺近傍となるようにしたときのそれぞれの位置の間隔（幅）をＶ、撮像素子１１の光軸Ｈに垂直な面に対する傾け角度をθとすると、下記（１）式を満足するように設置するわけである。
ｔａｎθ ≧ Δ／Ｖ ………………………………（１）
That is, the image pickup device 11 of this image pickup apparatus is placed at the closest distance N from the position where the image of the subject placed at the infinite position P in the optical lens 10 having the focal length f is formed as a focused image. The moving amount of the focus position at the position where the image of the subject is focused as an in-focus image is Δ, and the image sensor 11 is tilted so that the respective imaging positions are near one side and the other side. When the distance (width) between the respective positions is V and the tilt angle with respect to the plane perpendicular to the optical axis H of the image sensor 11 is θ, the installation is performed so as to satisfy the following expression (1).
tanθ ≧ Δ / V ………………………… (1)
そのため、撮像素子１１上にピントが合うような撮像装置からの距離（以下この距離を合焦距離と称する）にある被写体の部位以外は、ピントがはずれた状態で結像することになるが、撮像素子１１上の特定位置を指定すると、その位置にピントが合う合焦距離が判明する。 For this reason, an image is formed in an out-of-focus state except for a portion of the subject at a distance from the imaging device that focuses on the imaging element 11 (hereinafter, this distance is referred to as a focusing distance). When a specific position on the image sensor 11 is designated, the in-focus distance at which the position is in focus is determined.
通常、被写体上における周囲と明度が異なる点は、ピントが合った状態では周囲とのコントラストが最大となり、ピントがはずれた状態では、その点の画像が広がりを持って結像するから周囲とのコントラストも低下する。このコントラストの変化を検出して焦点合わせをするのが前記したコントラスト方式（周波数分離方式）のオートフォーカスであるが、このコントラストの広がり状態（ボケ量）を検出することで、逆にその広がりを収斂させ、ピントの合った状態に近い状態を作り出すことが可能であり、画像処理の分野では、ＵＳＭ（アン・シャープネス・マスキング）として実用化されている。 Normally, the point of brightness that differs from the surroundings on the subject is the maximum contrast with the surroundings when the subject is in focus, and when the subject is out of focus, the image at that point is imaged with a spread. Contrast also decreases. The contrast method (frequency separation method) autofocus is used to detect this contrast change and focus. However, by detecting this contrast spread state (blur amount), the spread is reversed. It is possible to converge and create a state close to the in-focus state, and in the field of image processing, it has been put to practical use as USM (Unsharpness Masking).
本実施形態になる撮像装置では、この原理を利用し、まず予め、撮像素子１１上の特定位置における合焦距離と、その合焦距離からズレた距離にある被写体による撮像素子１１上の像のボケ具合をコントラストの状態（以下エッジ強度情報と称する）として調べ、合焦距離からのズレ量とエッジ強度情報との関係（以下合焦データと称する）として記憶装置に記憶しておく。そして撮像素子１１上の各位置における合焦距離とエッジ強度情報とから、撮像素子１１上の各位置に対応した被写体部位がそれぞれ撮像装置からどのような距離にあるかを予測し、それによって各位置のコントラスト状態を収斂させて、あたかも特定位置にピントがあったような画像を画像処理によって作り出せるようにした。 In the imaging apparatus according to the present embodiment, using this principle, first, an in-focus distance at a specific position on the image sensor 11 and an image on the image sensor 11 by a subject at a distance deviated from the focus distance are preliminarily determined. The degree of blur is examined as a contrast state (hereinafter referred to as edge intensity information), and is stored in the storage device as a relationship between the amount of deviation from the in-focus distance and edge intensity information (hereinafter referred to as in-focus data). Then, from the in-focus distance and the edge intensity information at each position on the image sensor 11, it is predicted what distance the subject part corresponding to each position on the image sensor 11 is from the imaging device, thereby By converging the contrast state of the position, it was possible to create an image as if it was in focus at a specific position by image processing.
このとき、ボケ量は光学レンズ１０の絞り値（Ｆナンバー）によっても変化するが、そのＦナンバーによる補正係数を示したのが図８に示したグラフであり、この図８に於いては、撮像したときの光学レンズ１０の絞り値（Ｆｎｏ）が横軸に、それぞれのＦｎｏに対応したエッジ強度（ボケ量）の補正係数Ｆｎｏ（φ）が縦軸に示されている。そして、指定箇所のボケ量（エッジ強度）をφ、撮像素子１１の光軸に垂直な面に対する傾きを前記したようにθ、撮像素子１１上の指定位置からの傾き方向への高さをｈ、撮像素子１１の傾きによるボケ補正量をΔφとすると、Δφは次の（２）式で算出できる。
Δφ ＝ Ｆｎｏ（θ）×２×ｈ×ｔａｎθ …………………………（２）
At this time, the amount of blur changes depending on the aperture value (F number) of the optical lens 10, but the correction coefficient according to the F number is shown in the graph shown in FIG. 8, and in FIG. The aperture value (Fno) of the optical lens 10 when imaged is shown on the horizontal axis, and the correction coefficient Fno (φ) of the edge intensity (blur amount) corresponding to each Fno is shown on the vertical axis. Then, the blur amount (edge intensity) of the designated portion is φ, the inclination with respect to the plane perpendicular to the optical axis of the image sensor 11 is θ as described above, and the height in the inclination direction from the designated position on the image sensor 11 is h. If the blur correction amount due to the tilt of the image sensor 11 is Δφ, Δφ can be calculated by the following equation (2).
Δφ = Fno (θ) × 2 × h × tan θ (2)
そして本発明では、被写体上の合焦希望位置、または合焦希望距離における被写体のエッジ強度情報より点像の広がり量を算出し、合焦希望位置、または合焦希望距離では算出した点像の広がり量を収斂させる方向のエッジ像補正を、合焦希望位置、または合焦希望距離以外の部位に於いては、合焦希望位置、または合焦希望距離からの距離に応じて算出した点像の広がり量に比例した広がり量となるエッジ像補正をおこなうようにした。 In the present invention, the amount of spread of the point image is calculated from the subject's edge intensity information at the desired focus position or desired focus distance on the subject, and the calculated point image at the desired focus position or desired focus distance is calculated. Point image calculated in accordance with the distance from the desired focus position or the desired focus distance at the desired focus position or other than the desired focus distance for edge image correction in the direction to converge the spread amount Edge image correction is performed so that the amount of spread is proportional to the amount of spread.
従って実施形態になる撮像装置は、オートフォーカスのために光学レンズを動かす機構が無いだけでなく、ピント合わせのためにフォーカス用レンズを動かす機構そのものが存在せず、その代わり、撮影した画像上のピントを合わせたい位置を指定する合焦位置指示手段、またはピントを合わせたい距離を指定する合焦距離指示手段が設けられている。 Therefore, the imaging apparatus according to the embodiment does not have a mechanism for moving the optical lens for autofocusing, and does not have a mechanism for moving the focusing lens for focusing. In-focus position instruction means for designating a position to be focused or in-focus distance instruction means for designating a distance to be focused is provided.
そして撮影にあたっては、単に構図だけを考えてシャッターチャンスを逃さないよう撮影するか、または被写体までの距離が予めわかっている場合はその距離を合焦距離指示手段により指定して撮影し、構図だけを考えて撮影した場合は後で表示装置に表示された撮像画像のピントを合わせたい位置を合焦位置指示手段により指示する。その撮影結果を誇張して示したのが図７である。この図７に於いて（Ａ）は本発明の撮像装置を用いて撮影した画像データにおけるボケ具合を誇張して示した図、（Ｂ）が所定位置にピントを合わせる画像処理を施した後の画像データにおけるボケ具合を誇張して示した図であり、本発明の撮像装置を用いて一定距離にある被写体を撮影すると、図７（Ａ）に一例を示したように例えば無限遠Ｐ側のボケ量は小さく、最至近距離Ｎ側ではボケ量が大きくなる。 When shooting, simply consider the composition and shoot so as not to miss the photo opportunity, or if the distance to the subject is known in advance, shoot by specifying the distance with the in-focus distance instruction means, and only the composition When the image is taken in consideration of the above, the position where the captured image displayed on the display device is to be focused later is instructed by the focus position instruction means. FIG. 7 shows an exaggerated view of the photographing result. In FIG. 7, (A) is an exaggerated view showing the degree of blurring in image data photographed using the image pickup apparatus of the present invention, and (B) is after image processing for focusing on a predetermined position. FIG. 7 is an exaggerated view of the degree of blur in image data. When a subject at a certain distance is photographed using the imaging apparatus of the present invention, for example, on the infinity P side as shown in FIG. The blur amount is small, and the blur amount is large on the closest distance N side.
そのため、例えば図７（Ａ）における７０の位置にピントを合わせたいと撮影者が合焦位置指示手段で指示すると、後記する画像処理により、図７（Ｂ）に示したように、この合焦位置指示手段により指示した被写体位置、または合焦距離指示手段により指定した距離にある被写体にはピントが合い、それらの距離以外は、合焦位置指示手段により指示した位置に対応する被写体と撮像装置の距離、または合焦距離指示手段により指定した距離からの離れ具合に対応したボケ具合となるよう処理し、あたかも希望位置、希望距離にピントがあった画像が得られるようにしたものである。 For this reason, for example, when the photographer instructs the focus position instruction means to focus on the position 70 in FIG. 7A, this focusing is performed as shown in FIG. The subject instructed by the position instructing unit or the subject at the distance designated by the in-focus distance instructing unit is in focus, and other than those distances, the subject and the imaging device corresponding to the position instructed by the in-focus position instructing unit Or a distance corresponding to the distance from the distance designated by the in-focus distance instructing means is processed so that an image in which the desired position and the desired distance are in focus can be obtained.
このように撮像装置を構成することにより、デジタルカメラの場合はオートフォーカスに時間がかかってシャッターチャンスを逃すようなことが無く、かつ、機械的に動く所がないからそれらの機構駆動用の要素が不要となって、安価に、小型に構成できる撮像装置を提供することができる。 By configuring the imaging device in this way, in the case of a digital camera, it takes time to autofocus, so that there is no chance of missing a photo opportunity, and there is no place to move mechanically, so elements for driving those mechanisms Therefore, it is possible to provide an imaging apparatus that can be configured at low cost and in a small size.
以上が実施形態になる撮像装置の概略であるが、以下、図面を参照しながらさらに本発明を詳細に説明する。まず図１（Ａ）において１２は被写体であり、ａ’は被写体１２におけるピントを合わせたい部位（被写体上の合焦希望位置）、１３は他の被写体でｂ’は他の被写体１３上の部位、図１（Ｂ）における１４は表示装置１５や合焦位置指示手段１６、合焦距離指示手段１７等を配した例えば実施形態の撮像装置を有するデジタルカメラにおける背面側の概略構成で、デジタルカメラには、この他に一般的に、電源釦、レリーズ釦、メニューを表示したりズーミングを指示するための釦等が設けられるが、この図では省略している。１８は合焦位置指示手段１６によって移動し、被写体上の合焦希望位置を指示するためのカーソルである。 The above is the outline of the imaging apparatus according to the embodiment. Hereinafter, the present invention will be described in more detail with reference to the drawings. First, in FIG. 1A, 12 is a subject, a ′ is a portion to be focused on the subject 12 (desired focus position on the subject), 13 is another subject, and b ′ is a portion on another subject 13. In FIG. 1B, reference numeral 14 denotes a schematic configuration on the back side of a digital camera having, for example, the imaging apparatus of the embodiment in which the display device 15, the focus position instruction means 16, the focus distance instruction means 17 and the like are arranged. In addition to this, generally, a power button, a release button, a button for displaying a menu or instructing zooming, and the like are provided, but they are omitted in this figure. Reference numeral 18 denotes a cursor that is moved by the focus position instruction means 16 to indicate a desired focus position on the subject.
なお、合焦位置指示手段１６は、例えば４方向にカーソル１８を移動させる矢印キーと中央に決定釦を備え、カーソル１８を移動させたい方向の矢印キーを押すことで合焦希望位置を指示し、また、合焦距離指示手段１７は、例えば合焦距離を表示したダイヤルキーや、回転させることで例えば表示装置１５に合焦希望距離を表示するようにしたダイヤルキーなどで構成するが、合焦希望位置や合焦希望距離を指示できるものであればどのような形態のものでも良いことは自明である。 The focus position instructing means 16 includes, for example, an arrow key for moving the cursor 18 in four directions and a determination button in the center, and indicates the desired focus position by pressing the arrow key in the direction in which the cursor 18 is to be moved. The focusing distance instruction means 17 is composed of, for example, a dial key that displays the focusing distance, or a dial key that rotates to display the desired focusing distance on the display device 15, for example. It is obvious that any form can be used as long as it can indicate the desired focus position and desired focus distance.
また、ａは表示装置１５に表示された被写体１２における撮像画像上の合焦希望位置、ｂは同じく表示装置１５に表示された他の被写体１３における撮像画像上の部位、Ａは被写体上の合焦希望位置ａ’から光学レンズ１０までの距離、Ａ’は撮像素子１１における合焦希望位置ａに対応する合焦距離、Ｂは他の被写体上の部位ｂ’から光学レンズ１０までの距離、Ｂ’は撮像素子１１における部位ｂに対応する合焦距離、ｄ１は被写体１２上の合焦希望位置ａ’からその合焦距離Ａ’迄の距離、ｄ２は他の被写体１３上の部位ｂ’からその合焦距離Ｂ’迄の距離、ｄ３はＡとＢの距離差である。 Further, a is a desired focus position on the captured image of the subject 12 displayed on the display device 15, b is a part on the captured image of another subject 13 displayed on the display device 15, and A is a focus on the subject. The distance from the desired focus position a ′ to the optical lens 10, A ′ is the focus distance corresponding to the desired focus position a in the image sensor 11, and B is the distance from the part b ′ on the other subject to the optical lens 10. B ′ is a focusing distance corresponding to the part b in the image sensor 11, d 1 is a distance from the desired focusing position a ′ on the subject 12 to the focusing distance A ′, and d 2 is a part on the other subject 13. The distance from b ′ to the in-focus distance B ′, d 3 is the distance difference between A and B.
図２は実施形態になる撮像装置の画像処理回路の概略ブロック図であり、図中１５は図１に示した表示装置、１６は同じく合焦位置指示手段たる合焦希望位置指示装置、１７は同じく合焦距離指示手段たる合焦距離指示装置、２０は前記した撮像素子１１と、その撮像素子１１からの出力信号を増幅するゲインアンプや、アナログ画像信号をデジタルの画像信号に変換するＡ／Ｄコンバータなどを有し、撮像した画像の信号を出力する撮像部、２１は、撮像部２０からの画像信号に対し、カラー調整、ガンマ補正、輝度信号生成等の演算を施す画像処理部、２２は画像処理部２１から得られる画像データのひずみを補正するひずみ補正処理部で、これは前記図１で説明したように、撮像部２０を構成する撮像素子１１が光学レンズ１０の光軸Ｈに直交する方向に対してθだけ傾けて設置されているため、例えば光軸に直交する面に矩形状被写体を置くと、得られる画像は図６に示したように、無限遠Ｐ側の幅６０が至近距離Ｎ側６１の幅より狭くなった像となる。このひずみ補正処理部２２は、このひずみを補正するものである。なおこの図６では、図１における（Ｂ）のように図上無限遠Ｐ側が上に、至近距離Ｎ側が下になるように示してある。 FIG. 2 is a schematic block diagram of an image processing circuit of the image pickup apparatus according to the embodiment. In FIG. 2, 15 is the display device shown in FIG. 1, 16 is a desired focus position indicating device as the focus position indicating means, and 17 is the same. Similarly, an in-focus distance instructing device 20 serving as an in-focus distance instructing unit 20 includes the above-described imaging element 11, a gain amplifier that amplifies an output signal from the imaging element 11, and an A / A that converts an analog image signal into a digital image signal. An image processing unit 21 having a D converter and the like and outputting a signal of a captured image, an image processing unit 22 that performs operations such as color adjustment, gamma correction, and luminance signal generation on the image signal from the image capturing unit 20 Is a distortion correction processing unit that corrects distortion of image data obtained from the image processing unit 21, and as described with reference to FIG. 1, the image pickup device 11 that constitutes the image pickup unit 20 has the optical axis of the optical lens 10. For example, when a rectangular object is placed on a surface orthogonal to the optical axis, the obtained image has a width on the infinity P side as shown in FIG. 60 is an image narrower than the width of the closest distance N side 61. The distortion correction processing unit 22 corrects this distortion. In FIG. 6, as shown in FIG. 1B, the infinity P side is on the top and the close distance N side is on the bottom.
２３はひずみを補正した画像を記憶する画像記憶部、２４は画像記憶部２３に記憶された画像データ中から、ピント合わせに使える被写体上のコントラストの大きい部位（以下エッジ部と称する）を検出するエッジ検出部、２５はエッジ検出部が検出したエッジ部の画像データから、像のボケ具合をエッジ強度情報として取得するエッジ特徴量取得部、２６は前記したように予め撮像素子１１上の特定位置における合焦距離と、その合焦距離からズレた距離にある被写体による撮像素子１１上の像のボケ具合をエッジ強度情報（コントラストの状態）として調べ、合焦距離からのズレ量とエッジ強度情報との関係データとして記憶し、さらに撮像装置に用いられる光学レンズのＦナンバー（焦点距離レンズの絞りによる有効開口で割った値）に対応する、ボケ量を算出するための図８のグラフに示したようなボケ係数をも記憶している合焦データ記憶装置、２７はエッジ特徴量取得部２５や合焦データ記憶装置２６からのデータを基に、画像記憶部２３に記憶された画像データにおける合焦位置指示手段１６、合焦距離指示手段１７で指示された合焦希望位置や合焦希望距離にピントがあったかのように画像データを処理する画像補正処理部、２８は画像補正処理部で処理した画像データを記憶する補正画像記憶部、２９はＳＤメモリーカードなどの外部記憶装置である。 Reference numeral 23 denotes an image storage unit for storing an image whose distortion has been corrected. Reference numeral 24 denotes, from the image data stored in the image storage unit 23, a portion having a high contrast (hereinafter referred to as an edge portion) on the subject that can be used for focusing. An edge detection unit 25 is an edge feature amount acquisition unit that acquires the degree of image blur as edge intensity information from the image data of the edge detected by the edge detection unit, and 26 is a specific position on the image sensor 11 in advance as described above. The in-focus distance and the degree of blurring of the image on the image sensor 11 by the subject at a distance shifted from the in-focus distance are examined as edge intensity information (contrast state), and the deviation amount from the in-focus distance and the edge intensity information F-number of the optical lens used for the imaging device (value divided by the effective aperture by the focal length lens diaphragm) A corresponding focus data storage device 27 that also stores a blur coefficient as shown in the graph of FIG. 8 for calculating the blur amount, 27 is supplied from the edge feature amount acquisition unit 25 and the focus data storage device 26. Based on the data, the image appears as if the desired focus position and desired focus distance specified by the focus position instruction means 16 and the focus distance instruction means 17 in the image data stored in the image storage unit 23 are in focus. An image correction processing unit for processing data, 28 is a corrected image storage unit for storing image data processed by the image correction processing unit, and 29 is an external storage device such as an SD memory card.
図３、図４は実施形態になる撮像装置における画像処理のフロー図である。今、図１（Ａ）に示したように、実施形態の撮像装置を備えたデジタルカメラに対して被写体１２、１３が位置し、これを図１（Ｂ）のように撮影して被写体１２におけるａの位置にピントを合わせた画像が欲しいという場合、撮影後にピントを合わせる位置を指定するときは図示していないシャッタ釦を操作し、撮影を実施する。また、予め被写体までの距離がわかっており、かつ、急いで撮影する必要がない場合は、合焦距離指示手段１７によって合焦希望距離Ａを指示して撮影を実施してもよい。 3 and 4 are flowcharts of image processing in the imaging apparatus according to the embodiment. Now, as shown in FIG. 1A, the subjects 12 and 13 are located with respect to the digital camera provided with the imaging apparatus of the embodiment, and this is photographed as shown in FIG. When an image focused on the position a is desired, a shutter button (not shown) is operated to specify the position to focus after shooting. In addition, when the distance to the subject is known in advance and it is not necessary to shoot quickly, shooting may be performed by instructing the desired focusing distance A by the focusing distance instruction means 17.
撮影を実施すると、図２の撮像部２０を構成する図１に１１で示した撮像素子で撮像した画像データが出力され、その信号は、ゲインアンプで増幅されてアナログ信号がＡ／Ｄコンバータでデジタル信号に変換される。そして、画像処理部２１でカラー調整、ガンマ補正、輝度信号生成等の演算が施され、ひずみ補正処理部２２によって画像データのひずみが補正される。 When shooting is performed, image data captured by the imaging device 11 shown in FIG. 1 constituting the imaging unit 20 of FIG. 2 is output. The signal is amplified by a gain amplifier, and the analog signal is output by an A / D converter. Converted to a digital signal. The image processing unit 21 performs operations such as color adjustment, gamma correction, and luminance signal generation, and the distortion correction processing unit 22 corrects distortion of the image data.
このひずみ補正処理部２２におけるひずみ補正は、前記したように撮像部２０を構成する撮像素子１１が光学レンズ１０の光軸Ｈに直交する方向に対してθだけ傾けて設置されているため、例えば光軸に直交する面に矩形状被写体を置くと、得られる画像は図６に示したように、無限遠Ｐ側６０の幅が至近距離Ｎ側６１の幅より狭くなった台形状の像となるのを補正するものである。このひずみ補正処理部２２では、例えば図１の光学レンズ１０の焦点距離がｆ、最至近距離Ｎに置かれた被写体の光学レンズ１０による結像位置からレンズまでの距離を（ｆ＋ｄｘ）とすると、無限遠Ｐと最至近距離Ｎにそれぞれ置かれた同一長さの被写体は、撮像素子１１上にｆ／ｆと（ｆ＋ｄｘ）／ｆの倍率で結像することになり、最至近距離Ｎに置かれた被写体は、無限遠Ｐに置かれた被写体よりｄｘ／ｆだけ大きくなる。 As described above, the distortion correction in the distortion correction processing unit 22 is performed by tilting the imaging element 11 constituting the imaging unit 20 by θ with respect to the direction orthogonal to the optical axis H of the optical lens 10. When a rectangular object is placed on a plane orthogonal to the optical axis, the obtained image is a trapezoidal image in which the width on the infinity P side 60 is narrower than the width on the closest distance N side 61 as shown in FIG. Is to correct. In the distortion correction processing unit 22, for example, when the focal length of the optical lens 10 in FIG. 1 is f, and the distance from the imaging position of the subject placed at the closest distance N to the lens is (f + dx). An object of the same length placed at infinity P and the closest distance N is imaged on the image sensor 11 at a magnification of f / f and (f + dx) / f. The placed subject is larger by dx / f than the subject placed at infinity P.
そのためこのひずみ補正処理部２２では、この関係に基づいて、撮像素子１１上のそれぞれの位置における補正倍率を算出し、光軸に直交する面に置かれた矩形状被写体が、正しく矩形状として出力されるよう補正するわけである。そしてひずみが補正された画像データは、画像記憶部２３に記憶されて表示装置１５に表示される。なお、可能であるならば撮像素子１１上の素子の間隔を、無限遠Ｐ側６０の幅と至近距離Ｎ側６１の幅とするとこのような補正は不要になる。 Therefore, the distortion correction processing unit 22 calculates the correction magnification at each position on the image sensor 11 based on this relationship, and the rectangular object placed on the plane orthogonal to the optical axis is output as a correct rectangular shape. It corrects so that it may be done. The image data whose distortion has been corrected is stored in the image storage unit 23 and displayed on the display device 15. If possible, if the distance between the elements on the image sensor 11 is the width on the infinity P side 60 and the width on the closest distance N side 61, such correction is unnecessary.
こうして撮影画像が得られると次に図３におけるステップＳ４１で、例えば被写体１２におけるａの位置（図１参照）にピントを合わせた画像としたい、という場合は、合焦希望位置指示手段１６によってカーソルをａの位置まで移動させ、中央の決定釦を押下するか、若しくは合焦距離指示手段１７によって合焦希望距離Ａを指示し、合焦希望位置指示手段１６中央の決定釦を押下して合焦希望距離Ａを指示する。 When the photographed image is obtained in this way, in step S41 in FIG. 3, for example, when it is desired to make an image focused on the position a (see FIG. 1) on the subject 12, the desired focus position indicating means 16 moves the cursor. Is moved to the position a and the center determination button is pressed or the desired focus distance A is instructed by the focus distance instruction means 17 and the determination button in the center of the desired focus position instruction means 16 is pressed and Specify the desired focal distance A.
するとステップＳ４２でエッジ検出部２４が、この画像記憶部２３に記憶された画像データを読み出し、ピントを合わせるに使える被写体上のコントラストの大きい部位（以下エッジ部と称する）が探索される。もし画像データ中にエッジ部が全くない場合、ステップＳ４４に行ってピント合わせは不可能、すなわち画像補整不能としてその旨が表示装置１５に表示され、処理が終了する。一方エッジ部が見いだされた場合、ステップＳ４６に進み、エッジ特徴量取得部２５により、各エッジ部の撮像素子１１上の位置とエッジ強度情報が特徴量として取得され、その情報が画像補整処理部２７に送られる。 Then, in step S42, the edge detection unit 24 reads the image data stored in the image storage unit 23, and searches for a portion with high contrast (hereinafter referred to as an edge portion) on the subject that can be used for focusing. If there is no edge portion in the image data, the process goes to step S44, and focusing is impossible, that is, the fact that the image cannot be corrected is displayed on the display device 15, and the process ends. On the other hand, when the edge portion is found, the process proceeds to step S46, where the edge feature amount acquisition unit 25 acquires the position of the edge portion on the image sensor 11 and the edge strength information as the feature amount, and the information is the image correction processing unit. 27.
すると画像補整処理部２７は、送られてきたエッジ部の撮像素子１１上の位置とエッジ強度情報、及び合焦データ記憶装置２６に記憶されている撮像素子１１上の各位置に対応した合焦距離と、その合焦距離からズレた距離にある被写体による撮像素子１１上の像のエッジ強度情報、及び図８のグラフに示した光学レンズのＦナンバーに対応するボケ量を算出するボケ係数とを読み出し、ステップＳ４７で、前記（２）式に基づいて、各エッジ部に対応した被写体位置から光学レンズ１０までの距離と同一距離にあるとみなせる画像エリアを確認する。 Then, the image correction processing unit 27 performs the focusing corresponding to each position on the image sensor 11 stored in the focus data storage device 26 and the position and edge intensity information of the edge portion sent to the image sensor 11. A blur coefficient for calculating the blur amount corresponding to the distance, the edge intensity information of the image on the image sensor 11 by the subject at a distance shifted from the in-focus distance, and the F number of the optical lens shown in the graph of FIG. In step S47, an image area that can be regarded as being at the same distance as the distance from the subject position corresponding to each edge to the optical lens 10 is confirmed based on the equation (2).
これは、各エッジ部のエッジ強度情報が、そのエッジ部に対応する被写体上の部位が合焦距離からどれくらい離れているかを示す情報と考えられるから、例えば撮像素子１１上の第１のエッジ部と第２のエッジ部に対応する被写体上の部位が撮像装置から等距離にある場合、第１のエッジ部と第２のエッジ部のエッジ強度情報は、前記（２）式で算出した値となるから、第１のエッジ部と第２のエッジ部のエッジ強度情報が両者の距離に比例している場合、両者がほぼ同一距離にあるとみなせるため、その画像エリアを確認するものである。 This is because the edge strength information of each edge portion is considered to be information indicating how far the part on the subject corresponding to the edge portion is away from the in-focus distance. For example, the first edge portion on the image sensor 11 And the edge intensity information of the first edge portion and the second edge portion is the value calculated by the above equation (2) when the part on the subject corresponding to the second edge portion is equidistant from the imaging device. Therefore, when the edge strength information of the first edge portion and the second edge portion is proportional to the distance between the two, it can be considered that the both are substantially the same distance, so that the image area is confirmed.
こうして各エッジ部に対応した被写体位置から光学レンズ１０までの距離と同一距離にあるとみなせる画像エリアが確認されると次にステップＳ４８で合焦希望位置ａが指定されたか合焦希望距離Ａが指定されたかが確認される。そして、合焦希望距離Ａが指定された場合は処理がステップＳ６９に進んで図４に示したフローに進む。また、合焦希望位置ａが指定された場合は処理がステップＳ４９に進み、撮像素子１１上の合焦希望位置ａにエッジ部があるか、または被写体の合焦希望位置ａ’と同一距離とみなせるエッジ部があるかどうかが判断され、エッジ部がある場合はステップＳ５１に、被写体の合焦希望位置ａ’と同一距離とみなせるエッジ部がある場合は処理がステップＳ５５に、そのどちらもない場合は処理がステップＳ５０に進み、合焦希望距離Ａを指定するように促してステップＳ６９から図４に示したフローに進む。 Thus, when an image area that can be regarded as being at the same distance as the distance from the subject position corresponding to each edge portion to the optical lens 10 is confirmed, in step S48, the in-focus desired position a is designated or the in-focus desired distance A is set. It is confirmed whether it was specified. When the desired focus distance A is designated, the process proceeds to step S69 and proceeds to the flow shown in FIG. If the desired focus position a is designated, the process proceeds to step S49, where there is an edge at the desired focus position a on the image sensor 11, or the same distance as the desired focus position a ′ of the subject. It is determined whether there is an edge portion that can be considered. If there is an edge portion, the process proceeds to step S51. In this case, the process proceeds to step S50, prompts the user to designate the desired focus distance A, and proceeds from step S69 to the flow shown in FIG.
合焦希望位置ａ’と同一距離とみなせるエッジ部が有ってステップＳ５１に進んだ場合、画像補正処理部２７は先にエッジ特徴量取得部２５で取得された各エッジ部の撮像素子１１上の位置とエッジ強度情報から、撮像画像上の合焦希望位置ａに対応した合焦距離Ａ’とエッジ強度情報を取得する。 When there is an edge portion that can be regarded as the same distance as the in-focus desired position a ′ and the process proceeds to step S 51, the image correction processing unit 27 on the image sensor 11 of each edge portion previously acquired by the edge feature amount acquisition unit 25. The focus distance A ′ and the edge strength information corresponding to the desired focus position a on the captured image are acquired from the position and the edge strength information.
そして次のステップＳ５２で画像補正処理部２７は、この合焦距離Ａ’とエッジ強度情報、及び、合焦データ記憶装置２６に記憶されている、撮像素子１１上の合焦希望位置ａに対応した合焦距離Ａ’からズレた距離にある被写体による撮像素子１１上の像のエッジ強度情報、及び図８のグラフに示した光学レンズのＦナンバーに対応するボケ量を算出するボケ係数とを読み出し、図１に示したように、合焦距離Ａ’と被写体上の合焦希望位置ａ’との距離ｄ１、被写体上の合焦希望位置ａ’と光学レンズ１０との距離Ａとを前記（２）式を用いながら算出する。 In the next step S52, the image correction processing unit 27 corresponds to the in-focus desired position a on the image pickup device 11 stored in the in-focus distance A ′, the edge intensity information, and the in-focus data storage device 26. Edge intensity information of the image on the image sensor 11 by the subject at a distance shifted from the in-focus distance A ′, and a blur coefficient for calculating the blur amount corresponding to the F number of the optical lens shown in the graph of FIG. As shown in FIG. 1, the distance d 1 between the focus distance A ′ and the desired focus position a ′ on the subject, and the distance A between the desired focus position a ′ on the subject and the optical lens 10 are obtained. Calculation is performed using the equation (2).
そして次のステップＳ５３で画像補正処理部２７は、この被写体上の合焦希望位置ａ’からその合焦距離Ａ’迄の距離ｄ１に相当する焦点（ピント）が合う方向のエッジ像補正を実施する。また画像補正処理部２７は、さらに次のステップＳ５４で、先にステップＳ４７で確認した合焦希望位置ａ’と同一距離にあるとみなせるエリアについては、同様に合焦距離とエッジ強度情報とから、上記距離ｄ１に相当する距離を算出し、その値に基づいて焦点（ピント）が合う方向のエッジ像補正を実施する。 The image correction processing unit 27 in the next step S53, the focus desired position a 'from the focusing distance A' until the corresponding focus (focus) the direction of the edge image correction to suit distance d 1 on this subject carry out. Further, in the next step S54, the image correction processing unit 27 similarly uses the in-focus distance and the edge intensity information for the area that can be regarded as being at the same distance as the desired focus position a ′ previously confirmed in step S47. Then, a distance corresponding to the distance d 1 is calculated, and edge image correction in a direction in focus is performed based on the calculated value.
一方ステップＳ４９で被写体上の合焦希望位置ａ’と同一距離とみなせるエッジ部ｃが有ると判断された場合、ステップＳ５５でエッジ部ｃにおける合焦距離Ｃ’とエッジ特徴量（エッジ強度）が取得され、ステップＳ５６でこの合焦距離Ｃ’とエッジ特徴量とから、合焦距離Ｃ’と被写体上の位置ｃ’間の距離ｄ４と、被写体上の位置ｃ’と光学レンズ１０との距離Ｃ（これは合焦希望位置ａ’と光学レンズ１０との距離Ａに等しい）とを算出する。 On the other hand, if it is determined in step S49 that there is an edge portion c that can be regarded as the same distance as the desired focus position a ′ on the subject, the focus distance C ′ and the edge feature amount (edge strength) in the edge portion c are determined in step S55. It is obtained, 'and a the edge feature quantity, focusing distance C' this focusing distance C in step S56 of 'the distance d 4 between the position c on the subject' position c on the object and the optical lens 10 A distance C (which is equal to the distance A between the desired focusing position a ′ and the optical lens 10) is calculated.
そして次のステップＳ５７で画像補正処理部２７は、この被写体上の位置ｃ’からその合焦距離Ｃ’迄の距離ｄ４に相当する焦点（ピント）が合う方向のエッジ像補正を実施する。また画像補正処理部２７は、さらに次のステップＳ５８で、先にステップＳ４７で確認した合焦希望位置ａにおける合焦距離Ａ’を取得し、合焦距離Ａ’と被写体上の合焦希望位置ａ’との間の距離ｄ１を算出する。そして次のステップＳ５９で画像補正処理部２７は、合焦希望位置ａにおけるｄ１に相当する焦点が合う方向のエッジ像補正を実施する。 The image correction processing unit 27 in the next step S57 performs the corresponding focus (focus) the direction of the edge image correction fit 'from the focusing distance C' position c at a distance d 4 up on this subject. Further, in the next step S58, the image correction processing unit 27 acquires the in-focus distance A ′ at the in-focus desired position a previously confirmed in step S47, and the in-focus distance A ′ and the desired in-focus position on the subject. The distance d 1 between a ′ is calculated. The image correction processing unit 27 in the next step S59, the implementing edge direction image correction the focus corresponding to d 1 in the focus desired position a fit.
こうして合焦希望位置ａ、または被写体上の位置ｃ’における画像処理が済むと画像補正処理部２７は、処理の済んだデータを補正画像記憶部２８に記憶し、次のステップＳ６０に進み、他の位置ｂに対する処理を行うべく、他の位置ｂの合焦距離Ｂ’とエッジ特徴量を前記したようにして取得する。 When the image processing at the in-focus desired position a or the position c ′ on the subject is completed in this way, the image correction processing unit 27 stores the processed data in the corrected image storage unit 28, and proceeds to the next step S60. In order to perform the process for the position b, the in-focus distance B ′ and the edge feature amount of the other position b are acquired as described above.
そして前記と同様にして画像補正処理部２７は次のステップＳ６１で、被写体上の位置ｂ’と合焦距離Ｂ’との間の距離ｄ２と、被写体上の位置ｂ’と光学レンズ１０との距離Ｂを算出し、先に算出した被写体上の合焦希望位置ａ’から光学レンズまでの距離Ａと、被写体上の位置ｂ’と光学レンズ１０間の距離Ｂとの差の絶対値ｄ３を算出する。この距離ｄ３は、その値が０か、被写体上の位置ｂ’と合焦距離Ｂ’との間の距離ｄ２より大きいか小さいかによって処理が異なり、それがステップＳ６３で判断されて、まず、０の場合は処理がステップＳ６４に進む。 And in the and in to the image correction processing unit 27 similar next step S61, the distance d 2 between the 'focusing distance B between' position b on the object, the position b 'and the optical lens 10 on the subject The distance B between the desired focal position a ′ on the subject and the optical lens and the absolute value d of the difference between the position b ′ on the subject and the distance B between the optical lens 10 and the optical lens 10 are calculated. 3 is calculated. This distance d 3 is processed differently depending on whether the value is 0 or larger or smaller than the distance d 2 between the position b ′ on the subject and the in-focus distance B ′, which is determined in step S63, First, in the case of 0, the process proceeds to step S64.
この距離ｄ３が０ということは図１における被写体１３の部位ｂ’が、光学レンズ１０から被写体上の合焦希望位置ａ’と同一距離にあるということであり、この場合は被写体上の位置ｂ’と合焦距離Ｂ’との間の距離ｄ２相当のピントが合う方向のエッジ像補正を実施する。 That the distance d 3 is 0 means that the part b ′ of the subject 13 in FIG. 1 is at the same distance from the optical lens 10 as the desired focus position a ′ on the subject, and in this case, the position on the subject. the distance d 2 corresponds Pinto between b 'and focusing distance B' to practice the direction of the edge image correction fit.
この距離ｄ３が被写体上の位置ｂ’と合焦距離Ｂ’との間の距離ｄ２より大きい場合、処理がステップＳ６６に進み、合焦距離Ｂ’から距離ｄ３に相当するピントがはずれる方向のエッジ像補正が実施される。また、逆に小さい場合はステップＳ６５に進み、合焦距離Ｂ’から距離ｄ３に相当するピントが合う方向のエッジ像補正が実施される。 If this distance d 3 is greater than the distance d 2 between the 'focusing distance B between' position b on the subject, the process proceeds to step S66, the outside of focus corresponding to the distance d 3 from the in-focus distance B ' Directional edge image correction is performed. Moreover, if small conversely proceeds to step S65, the direction of the edge image correction is in focus corresponding to the distance d 3 from the in-focus distance B 'is performed.
これは、被写体１３上の位置ｂ’は現在、撮像素子１１上の位置ｂに対応した合焦距離Ｂ’から離れている量のボケ方をしているためで、合焦希望位置ａにピントを合わせる場合は、被写体１２上の合焦希望位置ａ’から被写体１３上の位置ｂ’がどのくらいの距離離れているかを求めてその距離に相当するボケ量とするからである。 This is because the position b ′ on the subject 13 is currently defocused by an amount away from the in-focus distance B ′ corresponding to the position b on the image sensor 11, so that the desired focus position a is focused. This is because the distance from the in-focus desired position a ′ on the subject 12 to the position b ′ on the subject 13 is determined to obtain a blur amount corresponding to the distance.
こうして撮像素子１１上の位置ｂの処理ができると、次のステップＳ６７で画像補正処理部２７は、先にステップＳ４７で確認した、撮像素子１１上の位置ｂと光学レンズ１０との間の距離Ｂと同一の距離であるとみなせるエリアについて同様の処理を行い、エッジ像補正を実施して実施結果を補正画像記憶部２８に記憶する。 When the position b on the image sensor 11 can be processed in this manner, in the next step S67, the image correction processing unit 27 previously confirms the distance between the position b on the image sensor 11 and the optical lens 10 in step S47. The same processing is performed for an area that can be regarded as the same distance as B, edge image correction is performed, and the execution result is stored in the corrected image storage unit 28.
そして撮像素子１１上の全てのエリアに対応した画像データの処理が済むと画像補正処理部２７は、補正画像記憶部２８に記憶した画像データを表示装置１５に送って表示させたり、外部記憶装置２９に送って保存したりし、ステップＳ６８で終了する。 When the image data corresponding to all areas on the image sensor 11 is processed, the image correction processing unit 27 sends the image data stored in the corrected image storage unit 28 to the display device 15 for display, or an external storage device. 29, and the process ends at step S68.
以上が合焦希望位置ａを指定した場合の処理であるが、次に図４のフロー図と図５を用い、合焦希望距離Ａを指示した場合の処理について説明する。なお、図５に於いて図１と同様な構成要素には同一番号が付してあり、図中１０は光学レンズ、１１は撮像素子、１２は被写体であり、Ａは図３におけるステップＳ４１またはＳ５０で指定した合焦希望距離、ｆ’は被写体１２上の部位で、この図５では、この被写体１２上の部位ｆ’と光学レンズ１０との距離Ｆが合焦希望距離Ａに等しい場合である。１３は他の被写体で、ｅ’は被写体上の位置、１４は実施形態の撮像装置を備えたデジタルカメラにおける背面側の概略構成を示した図、１５は表示装置、１６は合焦位置指示手段、１７は合焦距離指示手段、１８はカーソルである。また、ｆは被写体１２の部位ｆ’に対応した撮像素子１１上の位置、Ｆ’は被写体１２の部位ｆ’に対応した合焦距離、ｅは被写体１３の部位ｅ’に対応した撮像素子１１上の位置、Ｅは被写体１３の部位ｅ’と光学レンズ１０との間の距離、Ｅ’は被写体１３の部位ｅ’に対応した合焦距離、ｄ５は被写体１３上の部位ｅ’からその合焦距離Ｅ’迄の距離、ｄ６は被写体１２上の部位ｆ’からその合焦距離Ｆ’迄の距離、ｄ７は合焦希望距離Ａと被写体ｅ’との距離差である。 The above is the process when the desired focus position a is designated. Next, the process when the desired focus distance A is designated will be described with reference to the flowchart of FIG. 4 and FIG. In FIG. 5, the same components as those in FIG. 1 are denoted by the same reference numerals. In FIG. 5, 10 is an optical lens, 11 is an image sensor, 12 is a subject, and A is step S41 in FIG. The desired focus distance designated by S50, f ′, is a part on the subject 12, and in FIG. 5, the distance F between the part f ′ on the subject 12 and the optical lens 10 is equal to the desired focus distance A. is there. 13 is another subject, e ′ is a position on the subject, 14 is a diagram showing a schematic configuration of the back side of the digital camera provided with the imaging device of the embodiment, 15 is a display device, 16 is a focus position instruction means , 17 are focus distance instruction means, and 18 is a cursor. Further, f is a position on the image sensor 11 corresponding to the part f ′ of the subject 12, F ′ is a focusing distance corresponding to the part f ′ of the subject 12, and e is the image sensor 11 corresponding to the part e ′ of the subject 13. position of the upper, the E is 'distance between the optical lens 10, E' site e of the object 13 'focusing distance corresponding to, d 5 is the site e on the object 13' site e of the object 13 from The distance to the focusing distance E ′, d 6 is the distance from the part f ′ on the subject 12 to the focusing distance F ′, and d 7 is the distance difference between the desired focusing distance A and the subject e ′.
前記図３のフローにおけるステップＳ４８で合焦希望距離Ａが指定されたと判断されたか、若しくはステップＳ４９で合焦希望位置ａにエッジ部が無く、また合焦希望位置ａに対応した被写体１２上の部位ａ’と光学レンズ１０との間の距離Ａと等しい距離のエッジ部が無くて、ステップＳ５０に於いて合焦希望距離Ａが指定され、ステップＳ６９から図４のステップＳ７０に処理が飛んだとき、画像補正処理部２７は、各エッジ部ｅの合焦距離Ｅ’とエッジ強度情報、及び、合焦データ記憶装置２６に記憶されている撮像素子１１上の各エッジ部ｅに対応した合焦距離Ｅ’からズレた距離にある被写体ｅ’による撮像素子１１上の像のエッジ強度情報、及び図８のグラフに示した光学レンズのＦナンバーに対応するボケ量を算出するボケ係数とを読み出し、合焦距離Ｅ’と被写体上の部位ｅ’との距離ｄ５、被写体上の部位ｅ’と光学レンズ１０との距離Ｅとを算出する。 It is determined in step S48 in the flow of FIG. 3 that the desired focus distance A has been designated, or in step S49, there is no edge at the desired focus position a, and the object 12 on the subject 12 corresponding to the desired focus position a is displayed. There is no edge portion having a distance equal to the distance A between the part a ′ and the optical lens 10, the desired focus distance A is designated in step S50, and the process jumps from step S69 to step S70 in FIG. At this time, the image correction processing unit 27 matches the focus distance E ′ and the edge intensity information of each edge part e and the edge part e on the image sensor 11 stored in the focus data storage device 26. The edge intensity information of the image on the image sensor 11 due to the subject e ′ at a distance shifted from the focal distance E ′, and the blur coefficient for calculating the blur amount corresponding to the F number of the optical lens shown in the graph of FIG. Reading, the distance d 5 between the focusing distance E ′ and the part e ′ on the subject, and the distance E between the part e ′ on the subject and the optical lens 10 are calculated.
そして次のステップＳ７２で画像補正処理部２７は、各エッジ部ｅの中にＥ＝Ａのエッジ部ｆが有るかどうか判断し、無い場合はステップＳ７５へ、有る場合はステップＳ７３へ進む。ステップＳ７３に進んだ場合はＥ＝Ａのエッジ部ｆの被写体上の位置ｆ’とその合焦距離Ｆ’との間の距離ｄ６と、被写体上の位置ｆ’と光学レンズ１０との距離Ｆ（＝Ａ）とを取得し、ｄ６に相当する焦点（ピント）が合う方向のエッジ像補正を実施する。 Then, in the next step S72, the image correction processing unit 27 determines whether or not each edge part e has an edge part f with E = A, and if not, the process proceeds to step S75, and if there is, the process proceeds to step S73. Distance step if the process proceeds to S73 'and its focal length F' position f on the subject of the edge f of E = A and the distance d 6 between a position f 'and the optical lens 10 on the subject obtains the F (= a), the focal point corresponding to d 6 (pint) is carried in the direction of the edge image correction fit.
次のステップＳ７５で画像補整処理部２７は、他のエッジ部ｅにおける被写体上の部位ｅ’と光学レンズ１０との間の距離Ｅと、合焦希望距離Ａとの差の絶対値ｄ７を算出する。この距離ｄ７は、その値が０か、被写体上の位置ｅ’と合焦距離Ｅ’との間の距離ｄ５より大きいか小さいかによって処理が異なり、それがステップＳ７６で判断されて、まず、０の場合は処理がステップＳ７７に進む。 Image correction processing unit 27 in the next step S75, the distance E between the site e 'and the optical lens 10 on the subject in the other edge portion e, the absolute value d 7 of the difference between the focusing desired distance A calculate. This distance d 7 is processed differently depending on whether the value is 0 or larger or smaller than the distance d 5 between the position e ′ on the subject and the in-focus distance E ′, which is determined in step S76. First, in the case of 0, the process proceeds to step S77.
この距離ｄ７が０ということは図５における被写体１３の部位ｅ’が、合焦希望距離Ａにあるということであり、この場合は被写体上の位置ｅ’と合焦距離Ｅ’との間の距離ｄ５相当のピントが合う方向のエッジ像補正を実施する。 That the distance d 7 is 0 means that the part e ′ of the subject 13 in FIG. 5 is at the desired focusing distance A, and in this case, between the position e ′ on the subject and the focusing distance E ′. distance d 5 corresponding focus of implementing the direction of the edge image correction fit.
またこの距離ｄ７が被写体上の位置ｅ’と合焦距離Ｅ’との間の距離ｄ５より大きい場合、処理がステップＳ７９に進み、合焦距離Ｅ’から距離ｄ７に相当するピントがはずれる方向のエッジ像補正が実施される。また、逆に小さい場合はステップＳ７８に進み、合焦距離Ｅ’から距離ｄ７に相当するピントが合う方向のエッジ像補正が実施される。 If the distance d 7 is larger than the distance d 5 between the position e ′ on the subject and the focusing distance E ′, the process proceeds to step S79, and the focus corresponding to the distance d 7 from the focusing distance E ′ is increased. Edge image correction in the direction of deviation is performed. Moreover, if small conversely proceeds to step S78, the direction of the edge image correction is in focus corresponding to the distance d 7 from the in-focus distance E 'is carried out.
これは、被写体１３上の位置ｅ’は現在、撮像素子１１上の位置ｅに対応した合焦距離Ｅ’から離れている方向のボケ方をしているためで、合焦希望距離Ａにピントを合わせる場合は、この合焦希望距離Ａからどのくらいの距離離れているかを求めてその距離に相当するボケ量とするからである。 This is because the position e ′ on the subject 13 is currently blurred in a direction away from the focusing distance E ′ corresponding to the position e on the image sensor 11, so that the desired focusing distance A is focused. This is because the distance from the in-focus desired distance A is obtained and the amount of blur corresponding to that distance is obtained.
こうして被写体１３上の位置ｅの処理ができると、次のステップＳ８０で画像補正処理部２７は、先にステップＳ４７で確認した、被写体１３上の位置ｅ’と光学レンズ１０との間の距離Ｅと同一の距離であるとみなせるエリアについて同様の処理を行い、エッジ像補正を実施して実施結果を補正画像記憶部２８に記憶する。 When the position e on the subject 13 can be processed in this way, in the next step S80, the image correction processing unit 27 confirms the distance E between the position e ′ on the subject 13 and the optical lens 10 previously confirmed in step S47. The same processing is performed for an area that can be regarded as the same distance as, and edge image correction is performed, and the execution result is stored in the corrected image storage unit.
そして全てのエリアに対応した画像データの処理が済むと画像補正処理部２７は、補正画像記憶部２８に記憶した画像データを表示装置１５に送って表示させたり、外部記憶装置２９に送って保存したりし、ステップＳ８１で終了する。 When the image data corresponding to all areas is processed, the image correction processing unit 27 sends the image data stored in the corrected image storage unit 28 to the display device 15 for display or sends it to the external storage device 29 for storage. And the process ends in step S81.
なお以上の説明では、合焦希望位置ａ、または合焦希望距離Ａにピントがあったように画像処理する場合を例に説明してきたが、以上の説明からわかるとおり、画面全体にピントがあったように画像処理することも可能である。この場合は、図１におけるｄ３、図５におけるｄ７に相当するピントが合う方向のエッジ像補正を各位置で実施すればよい。また、図１、図５において撮像素子１１は、無限遠位置Ｐを図上下側に、最至近距離Ｎ側を図上上側に結像させるよう傾斜させた場合を例に説明してきたが、傾斜を逆にしたり、あるいは図面に垂直な方向を傾斜方向としても良い。 In the above description, the case where image processing is performed as if the desired focus position a or desired focus distance A is in focus has been described as an example. However, as can be seen from the above description, the entire screen is in focus. It is also possible to perform image processing as described above. In this case, edge image correction in the in-focus direction corresponding to d 3 in FIG. 1 and d 7 in FIG. 5 may be performed at each position. 1 and 5, the image pickup device 11 has been described as an example in which the infinite position P is tilted so as to form an image on the upper and lower sides of the figure and the closest distance N side on the upper side of the figure. May be reversed, or the direction perpendicular to the drawing may be set as the tilt direction.
また、実施形態の撮像装置を備えたデジタルカメラが横位置に構えられたか縦位置に構えられたかを検出する、例えば重力方向検知手段を設け、それによって例えば撮像素子１１の常に下側が無限遠位置Ｐ側に、上側が最至近距離Ｎ側となるよう、駆動機構を取り付けて対応するようにしても良い。さらに、ボケ係数は図８に示したように光学レンズ１０のＦナンバーによって変化し、Ｆナンバーが大きくなると係数が小さくなるから、Ｆナンバーに応じて図１の撮像素子１１の傾斜角度θを変化させるように構成しても良い。 In addition, for example, a gravity direction detection unit that detects whether the digital camera including the imaging apparatus of the embodiment is held in a horizontal position or a vertical position is provided, so that, for example, the lower side of the image sensor 11 is always at an infinite position. A drive mechanism may be attached to the P side so that the upper side is the closest distance N side. Further, the blur coefficient changes depending on the F number of the optical lens 10 as shown in FIG. 8, and the coefficient decreases as the F number increases. Therefore, the tilt angle θ of the image sensor 11 in FIG. 1 changes according to the F number. You may comprise so that it may be made.
更に以上の説明では、光学レンズ１０を単レンズとして図示してきたが、これは説明を容易にするための図であり、通常の複数レンズで構成された光学系を備えることは勿論であり、また、ズームレンズを用いて構成しても良いことは自明である。なお、ズームレンズを用いた場合、被写体上の無限遠位置Ｐと最至近距離Ｎの結像位置が変化する場合、変化する焦点距離に応じて撮像素子１１の図１に示した角度θを変化できるよう、撮像素子１１の光軸位置、あるいは他の位置に回動機構を設けても良い。 Further, in the above description, the optical lens 10 has been illustrated as a single lens. However, this is a diagram for ease of explanation, and it is a matter of course that an optical system configured with a plurality of ordinary lenses is provided. Obviously, the zoom lens may be used. When the zoom lens is used, when the imaging position at the infinity position P and the shortest distance N on the subject changes, the angle θ shown in FIG. 1 of the image sensor 11 changes according to the changing focal length. A rotation mechanism may be provided at the optical axis position of the image sensor 11 or at another position so as to be able to do so.
以上種々述べてきたように本発明によれば、ピントを合わせたい被写体が中央に無くとも、撮影者が画面のピントを合わせたい箇所を指定するかピントを合わせたい距離を指定することで、その箇所或いは距離にあたかもピントが合ったような画像にする、あるいは画面全体をピントが合っているような画像にすることが可能となる。従って、前記したようにオートフォーカスに時間がかかってシャッターチャンスを逃すようなことが無く、かつ、機械的に動く部分がないからそれらの機構駆動用の要素が不要となり、安価に、小型に構成できる撮像装置を備えたデジタルカメラを提供することができる。 As described above, according to the present invention, even if the subject to be focused on is not in the center, the photographer can specify the point on the screen to be focused or the distance to be focused. It is possible to make an image as if it is in focus at a location or distance, or to make an image where the entire screen is in focus. Therefore, as described above, it does not take time to autofocus and miss a photo opportunity, and since there is no mechanically moving part, elements for driving those mechanisms are not required, and the structure is inexpensive and small. It is possible to provide a digital camera including an imaging device capable of performing the above.
本発明によれば、シャッターチャンスを逃すようなことが無く、機構駆動用の要素が不要となって、安価に、小型に構成できる撮像装置を提供することができる。 According to the present invention, it is possible to provide an imaging apparatus that does not miss a photo opportunity, does not require a mechanism driving element, and can be configured at low cost and in a small size.
ａ 撮像画像上の合焦希望位置
ａ’被写体上の合焦希望位置
ｂ 他の被写体における撮像画像上の部位
ｂ’他の被写体上の部位
Ａ 被写体上の合焦希望位置ａ’から光学レンズまでの距離（または合焦希望距離）
Ａ’合焦希望位置ａに対応した合焦距離
Ｂ 他の被写体上の部位ｂ’から光学レンズまでの距離
Ｂ’他の被写体における撮像画像上の部位ｂに対応した合焦距離
ｄ１ 被写体上の合焦希望位置ａ’からその合焦距離Ａ’迄の距離
ｄ２ 他の被写体上の部位ｂ’からその合焦距離Ｂ’迄の距離
ｄ３ ＡとＢの距離差
１０ 光学レンズ
１１ 撮像素子
１２ 被写体
１３ 他の被写体
１４ 実施形態の撮像装置を備えたデジタルカメラにおける背面側の概略構成
１５ 表示装置
１６ 合焦位置指示手段
１７ 合焦距離指示手段
１８ カーソル
a Focus desired position on the captured image a 'Desired focus position on the subject b Site on the captured image of another subject b' Site on the other subject A A Focus desired position a 'on the subject to the optical lens Distance (or desired focus distance)
A ′ In-focus distance corresponding to the desired focus position a B Distance from the part b ′ on the other subject to the optical lens B ′ Focusing distance corresponding to the part b on the captured image in the other subject d 1 On the subject Distance from the desired focus position a ′ to the focus distance A ′ d 2 distance from the part b ′ on the other subject to the focus distance B ′ d 3 distance difference between A and B 10 optical lens 11 imaging Element 12 Subject 13 Other subject 14 Schematic configuration on the back side of the digital camera provided with the imaging device of the embodiment 15 Display device 16 Focus position instruction means 17 Focus distance instruction means 18 Cursor
Claims (10)
前記撮像素子は、前記光学レンズ光軸に垂直な面に対して傾けて設置され、
前記撮像素子上の所定位置におけるピントが合う光学レンズと被写体の間隔（以下合焦距離と称す）及び前記被写体が前記合焦距離からの所定距離における前記撮像素子上のエッジ強度と、前記画像データから検出したエッジ部のエッジ強度とから、前記エッジ部の合焦距離からの間隔を取得し、
前記被写体におけるピントを合わせたい位置またはピントを合わせたい距離（以下合焦希望位置または合焦希望距離と称す）では前記取得した被写体上の合焦距離からの間隔に応じたピントが合う方向のエッジ像補正を、前記合焦希望位置または合焦希望距離以外の位置では前記合焦希望位置または合焦希望距離からの距離に応じたピントがはずれる方向のエッジ像補正をおこなうことを特徴とする撮像装置における画像処理方法。 An image processing method in an imaging apparatus, comprising: an imaging element that outputs a subject image formed by an optical lens as image data; and a storage unit that stores the image data.
The image sensor is installed to be inclined with respect to a plane perpendicular to the optical axis of the optical lens,
The distance between the optical lens that is in focus at a predetermined position on the image sensor and a subject (hereinafter referred to as a focus distance), the edge strength on the image sensor at a predetermined distance from the focus distance of the subject, and the image data From the edge strength of the edge portion detected from, obtain the interval from the focus distance of the edge portion,
The edge in the direction in which the subject is in focus or the distance to be focused (hereinafter referred to as the desired focus position or desired focus distance) in the direction in which the subject is in focus. Image pickup is performed by performing edge image correction in a direction in which the image is out of focus according to the distance from the desired focus position or desired focus distance at a position other than the desired focus position or desired focus distance. Image processing method in apparatus.
Δφ ＝ Ｆｎｏ（θ）×２×ｈ×ｔａｎθ
で算出することを特徴とする請求項２に記載した撮像装置における画像処理方法。 The amount of spread of the point image is determined by Fno as the aperture value in the optical lens, Fno (φ) as the edge strength correction coefficient corresponding to the Fno, φ as the edge strength at the designated location, and a plane perpendicular to the optical axis of the image sensor. When the inclination with respect to is θ, the height in the inclination direction from the specified position on the image sensor is h, and the edge intensity correction amount due to the inclination of the image sensor is Δφ,
Δφ = Fno (θ) × 2 × h × tan θ
The image processing method in the imaging apparatus according to claim 2, wherein the image processing method is calculated by:
ｔａｎθ ≧ Δ／Ｖ
を満足する角度θで設置することを特徴とする請求項１乃至３のいずれかに記載した撮像装置における画像処理方法。 The angle with respect to the plane perpendicular to the optical axis of the optical lens in the image sensor is θ, and the closest distance set to the optical lens at a position approximately equidistant from the optical axis on the image sensor arranged to be inclined at the angle θ. When images of a placed subject and a subject placed at an infinite position are focused and focused, the optical axis direction interval at each imaging position is Δ, and the interval perpendicular to the optical axis is V Then,
tanθ ≧ Δ / V
4. The image processing method in the imaging apparatus according to claim 1, wherein the image processing method is installed at an angle θ that satisfies the above.
前記撮像素子は、前記光学レンズ光軸に垂直な面に対して傾けて設置され、
前記撮像素子上の所定位置におけるピントが合う光学レンズと被写体の間隔（以下合焦距離と称す）と、前記被写体が前記合焦距離からの所定距離における前記撮像素子上のエッジ強度とを記憶した合焦データ記憶手段と、前記表示装置に表示された画像におけるピントを合わせたい位置を指定する合焦希望位置または合焦希望距離指示手段と、前記画像データからエッジ部を検出して該エッジ部のエッジ強度を取得するエッジ特徴量取得手段と、該エッジ特徴量取得手段が取得した各エッジ部のエッジ強度と、前記合焦データ記憶手段に記憶された合焦距離及びエッジ強度とから、被写体上の前記エッジ部の合焦距離からの間隔を取得して該間隔に相当するエッジ像補正をおこなう画像補正処理手段とを備え、
前記被写体における、前記合焦希望位置または合焦希望距離指示手段が指定した合焦希望位置または合焦希望距離では取得した被写体上の合焦距離からの間隔に応じたピントが合う方向のエッジ像補正を、前記合焦希望位置または合焦希望距離以外の位置では被写体上の合焦希望位置からの距離に応じたピントがはずれる方向のエッジ像補正をした画像データを出力することを特徴とする撮像装置。 An imaging device comprising: an imaging element that outputs a subject image formed by an optical lens as image data; a storage unit that stores the image data; and a display unit that displays the image data.
The image sensor is installed to be inclined with respect to a plane perpendicular to the optical axis of the optical lens,
The distance between the optical lens that is in focus at a predetermined position on the image sensor and the subject (hereinafter referred to as the focus distance), and the edge strength on the image sensor at a predetermined distance from the focus distance of the subject are stored. A focus data storage means, a focus desired position or focus desired distance instruction means for designating a position to be focused on in the image displayed on the display device, and an edge portion detected from the image data by detecting the edge portion. From the edge feature amount acquisition means for acquiring the edge strength of the object, the edge strength of each edge portion acquired by the edge feature amount acquisition means, and the focus distance and edge strength stored in the focus data storage means. An image correction processing means for obtaining an interval from the focusing distance of the edge portion above and performing edge image correction corresponding to the interval;
An edge image of the subject in the in-focus direction according to the distance from the focus distance on the subject acquired at the focus desired position or the focus desired distance designated by the focus desired position or focus desired distance instruction means. Image data obtained by correcting the edge image in the direction of defocusing according to the distance from the desired focus position on the subject at a position other than the desired focus position or the desired focus distance is output. Imaging device.
ｔａｎθ ≧ Δ／Ｖ
を満足する角度θで設置されていることを特徴とする請求項６または７に記載した撮像装置 The imaging element has an angle with respect to a plane perpendicular to the optical axis of the optical lens θ, and the closest distance set in the optical lens at a position approximately equidistant from the optical axis on the imaging element arranged to be inclined at the angle θ. When the image of the subject placed at the position of the object and the subject placed at infinity is in focus, the optical axis direction interval of each imaging position is Δ, and the interval in the direction perpendicular to the optical axis is Let V be
tanθ ≧ Δ / V
The imaging apparatus according to claim 6 or 7, wherein the imaging apparatus is installed at an angle θ satisfying
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006197648A JP2008028591A (en) | 2006-07-20 | 2006-07-20 | Image processing method in imaging device, and imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006197648A JP2008028591A (en) | 2006-07-20 | 2006-07-20 | Image processing method in imaging device, and imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008028591A true JP2008028591A (en) | 2008-02-07 |
Family
ID=39118818
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006197648A Pending JP2008028591A (en) | 2006-07-20 | 2006-07-20 | Image processing method in imaging device, and imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008028591A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013172201A (en) * | 2012-02-17 | 2013-09-02 | Nikon Corp | Imaging device |
| JP2016158276A (en) * | 2016-04-06 | 2016-09-01 | 株式会社ニコン | Imaging apparatus |
| JP2017225191A (en) * | 2017-09-13 | 2017-12-21 | 株式会社ニコン | Imaging apparatus |
-
2006
- 2006-07-20 JP JP2006197648A patent/JP2008028591A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013172201A (en) * | 2012-02-17 | 2013-09-02 | Nikon Corp | Imaging device |
| JP2016158276A (en) * | 2016-04-06 | 2016-09-01 | 株式会社ニコン | Imaging apparatus |
| JP2017225191A (en) * | 2017-09-13 | 2017-12-21 | 株式会社ニコン | Imaging apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5212396B2 (en) | Focus detection device | |
| US9253410B2 (en) | Object detection apparatus, control method therefor, image capturing apparatus, and storage medium | |
| US20120268613A1 (en) | Image capturing apparatus and control method thereof | |
| JP6187571B2 (en) | Imaging device | |
| JP2009036986A (en) | Photographing device and control method for photographing device | |
| WO2017037978A1 (en) | Detection device, detection method, detection program, and imaging device | |
| JP5812706B2 (en) | Optical device and control method thereof | |
| JP5417827B2 (en) | Focus detection apparatus and imaging apparatus | |
| JP2007043584A (en) | Image pickup device and control method thereof | |
| JP2012049999A (en) | Imaging apparatus and posture adjustment program | |
| JP6444025B2 (en) | Optical equipment | |
| JP2016197231A (en) | Display control device and method, and imaging device | |
| JP2009069170A (en) | Photographing device and control method of photographing device | |
| JP2007133301A (en) | Autofocus camera | |
| JP4334784B2 (en) | Autofocus device and imaging device using the same | |
| JP2005223897A (en) | Imaging device and electronic apparatus with imaging function | |
| JP2009036985A (en) | Photographing device and control method for photographing device | |
| US9955066B2 (en) | Imaging apparatus and control method of imaging apparatus | |
| JP2008028591A (en) | Image processing method in imaging device, and imaging device | |
| US20150168739A1 (en) | Image stabilizer, camera system, and imaging method | |
| KR20100085728A (en) | Photographing apparatus and focus detecting method using the same | |
| JP2004038114A (en) | Auto-focus camera | |
| JP6501536B2 (en) | Imaging device, control method therefor, program, storage medium | |
| JP6590899B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2017032874A (en) | Focus detection device and method, and imaging apparatus |