JP2007206967A - Imaging device, image processing method therefor, and information terminal device - Google Patents
Imaging device, image processing method therefor, and information terminal device Download PDFInfo
- Publication number
- JP2007206967A JP2007206967A JP2006024777A JP2006024777A JP2007206967A JP 2007206967 A JP2007206967 A JP 2007206967A JP 2006024777 A JP2006024777 A JP 2006024777A JP 2006024777 A JP2006024777 A JP 2006024777A JP 2007206967 A JP2007206967 A JP 2007206967A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- unit
- lens
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 164
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000012937 correction Methods 0.000 claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 23
- 238000001914 filtration Methods 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 206010010071 Coma Diseases 0.000 claims description 3
- 230000004075 alteration Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 50
- 238000010586 diagram Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 14
- 238000012634 optical imaging Methods 0.000 description 11
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100010147 Oryza sativa subsp. japonica DOF1 gene Proteins 0.000 description 1
- 101100224344 Oryza sativa subsp. japonica DOF2 gene Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Abstract
Description
本発明は、電子カメラなど被写体を電子的に撮像する撮像装置およびその画像処理方法に関し、特に、2つの焦点を有した2焦点レンズを利用して、通常のカメラと同様の遠点撮像とともに、バーコードなど近接の被写体を撮像する近点撮像をも行う撮像装置およびその画像処理方法、さらにはその撮像装置を備えた情報端末装置に関する。 The present invention relates to an imaging apparatus that electronically images a subject such as an electronic camera and an image processing method thereof, and in particular, using a bifocal lens having two focal points, together with far-point imaging similar to a normal camera, The present invention relates to an imaging device that also performs near-point imaging for imaging a near subject such as a barcode, an image processing method thereof, and an information terminal device including the imaging device.
近年、例えば携帯電話で代表されるように、情報端末装置には、画像入力機能を備えることが一般的となっている。さらに、この画像入力機能を利用して人物や風景を撮影するようなカメラ機能とともに、バーコードなどの近接画像をも読み取り可能とすることで、このような情報端末装置の利便性をさらに向上させることができる。 In recent years, as represented by mobile phones, for example, information terminal devices are generally provided with an image input function. Furthermore, the convenience of such an information terminal device can be further improved by making it possible to read a proximity image such as a barcode as well as a camera function for photographing a person or a landscape using this image input function. be able to.
例えば、このようなバーコードを利用して、メールアドレス、ホームページアドレス、電話番号など多くの情報を表すことができるので、これらのバーコードを上記所望の画像と組み合わせて使用することにより、きわめて有用なコミュニケーションを実現できる。 For example, since such a barcode can be used to represent a lot of information such as an email address, a homepage address, a telephone number, etc., it is extremely useful to use these barcodes in combination with the desired image. Communication can be realized.
このように、近距離および遠距離の被写体双方に対して精度よく画像を取り込むような情報端末装置の実現が強く要望されつつある。 Thus, there is a strong demand for the realization of an information terminal device that captures images with high accuracy for both short-distance and long-distance subjects.
このようななか、2焦点レンズのような多焦点光学系を使用して焦点深度の拡大を図り、バーコードのような被写体に対して、近距離とともにある程度離れた距離であっても精度よく読み取りを可能とした技術が提案されている(例えば、特許文献1参照)。 Under such circumstances, the depth of focus is expanded by using a multifocal optical system such as a bifocal lens, so that an object such as a barcode can be read accurately even at a short distance with a short distance. A possible technology has been proposed (see, for example, Patent Document 1).
図8は、このような多焦点光学系を使用して焦点深度の拡大を図った従来のバーコード読取装置の構成を示すブロック図である。 FIG. 8 is a block diagram showing the configuration of a conventional bar code reader that uses such a multifocal optical system to increase the depth of focus.
図8に示す構成において、バーコードなど対象物の反射光は、従来のバーコード読取装置の先端部98を通して取り込まれ、レンズ91により撮像素子99上に結像される。また、レンズ91は、2焦点光学系として、長い焦点距離で集束する遠レンズ部92と、短い焦点距離で集束する近レンズ部93とで構成されている。図8に示すように、レンズ91は、正面から見たとき、平面形状が円形である遠レンズ部92が中心に配置され、平面形状が環状である近レンズ部93が遠レンズ部92の外縁部に配置されている。 In the configuration shown in FIG. 8, the reflected light of an object such as a barcode is taken in through the distal end portion 98 of a conventional barcode reader, and is imaged on the image sensor 99 by the lens 91. The lens 91 includes a far lens unit 92 that converges at a long focal length and a near lens unit 93 that converges at a short focal length as a bifocal optical system. As shown in FIG. 8, when viewed from the front, the lens 91 has a far lens portion 92 having a circular planar shape arranged at the center, and a near lens portion 93 having a circular planar shape is an outer edge of the far lens portion 92. It is arranged in the part.
また、遠レンズ部92は、光軸10上に長い焦点距離である焦点11を形成し、近レンズ部93は、光軸10上に短い焦点距離である焦点13を形成している。さらに、バーコードの読み取り限界範囲を示す被写界深度(DOF)が焦点を中心に決定される。すなわち、遠レンズ部92は、図8に示すような被写界深度DOF1を有しており、近レンズ部93は、被写界深度DOF2を有している。 The far lens unit 92 forms a focal point 11 having a long focal length on the optical axis 10, and the near lens unit 93 forms a focal point 13 having a short focal length on the optical axis 10. Further, a depth of field (DOF) indicating a bar code reading limit range is determined around the focus. That is, the far lens unit 92 has a depth of field DOF1 as shown in FIG. 8, and the near lens unit 93 has a depth of field DOF2.
また、撮像素子99上に結像された像は、撮像素子99の走査により結像に応じた電気信号に変換され、撮像素子99から撮像信号として出力される。さらに、撮像信号は、信号の直流成分を濾波し排除するハイパスフィルタ97に供給され、撮像信号から直流成分が除去された信号がハイパスフィルタ97から画像信号として出力される。この画像信号は、さらに図示しない信号処理部などにより文字情報などに復号される。このようにして、従来のバーコード読取装置によるバーコードの読み取りが実現される。 Further, the image formed on the image sensor 99 is converted into an electrical signal corresponding to the image formation by scanning the image sensor 99 and is output from the image sensor 99 as an image signal. Further, the imaging signal is supplied to a high-pass filter 97 that filters and eliminates the DC component of the signal, and a signal obtained by removing the DC component from the imaging signal is output from the high-pass filter 97 as an image signal. The image signal is further decoded into character information by a signal processing unit (not shown). In this way, barcode reading by a conventional barcode reader is realized.
このような従来のバーコード読取装置の構成において、レンズ91は、異なった位置に焦点を持つ2つのレンズ部により構成されるため、撮像素子99には、対象物が一方の被写界深度(DOF)内であっても、他方のレンズ部からボケた投射像が投射される。 In the configuration of such a conventional barcode reading apparatus, the lens 91 is composed of two lens portions having focal points at different positions. Even within (DOF), a projected image blurred from the other lens unit is projected.
このため、他方のレンズ部からのボケた投射像は、撮像素子99上に投射される投射像全体を浮き上がらせる直流成分として作用する。ハイパスフィルタ97は、このような直流成分として作用する他方のレンズ部からのボケた投射像による画像成分を除去するために設けられている。 For this reason, the blurred projection image from the other lens part acts as a direct current component that lifts the entire projection image projected onto the image sensor 99. The high-pass filter 97 is provided to remove an image component due to a blurred projection image from the other lens unit that acts as such a DC component.
例えば、対象物としてのバーコードがDOF1内にある場合、ハイパスフィルタ97は、近レンズ部93によるボケた投射像成分である直流成分を除去する。逆に、対象物としてのバーコードがDOF2内にある場合、ハイパスフィルタ97は、遠レンズ部92によるボケた投射像成分である直流成分を除去する。 For example, when the barcode as the object is in the DOF 1, the high pass filter 97 removes a direct current component that is a projection image component blurred by the near lens unit 93. On the other hand, when the barcode as the object is in the DOF 2, the high-pass filter 97 removes a direct current component that is a projection image component blurred by the far lens unit 92.
このように、ハイパスフィルタ97により、ボケた画像成分による直流成分を除去することで、バーコード画像の変調の深さを改善している。その結果、このバーコード読取装置の被写界深度は、図8に示す近距離のDOF2に加えて遠距離のDOF1をも有することとなり、焦点深度の拡大を図ることができ、これによりバーコードからある程度離れた距離であっても精度よい読み取りが可能となる。 As described above, the high-pass filter 97 removes the DC component due to the blurred image component, thereby improving the depth of modulation of the barcode image. As a result, the depth of field of this bar code reader has not only the short distance DOF 2 shown in FIG. 8 but also the long distance DOF 1 so that the depth of focus can be increased. Can be read accurately even at a distance of a certain distance.
また、図9は、多焦点光学系として上記従来例とは異なった形状の2焦点レンズにおける光学結像系を示した図である。 FIG. 9 is a diagram showing an optical imaging system in a bifocal lens having a shape different from the conventional example as a multifocal optical system.
図9において、2焦点レンズ210は、正面から見たとき、それぞれのレンズ部が半円形であり、中心を通る直線を境界として、一方には長い焦点距離で集束する遠レンズ部22が、他方には遠レンズ部22よりも短い焦点距離で集束する近レンズ部23が配置される。 In FIG. 9, the bifocal lens 210 has a semicircular shape when viewed from the front, and a far lens portion 22 that converges with a long focal length on one side and a straight line passing through the center on the other side. The near lens unit 23 for focusing at a shorter focal length than the far lens unit 22 is disposed.
なお、以下、両レンズ部が接する直線部分に直角かつ光軸に対しても直角な方向を垂直方向とし、両レンズ部が接する直線部分に平行かつ光軸に対して直角な方向を水平方向とし、また、両レンズ部が接する直線部分あるいは光軸から一方の垂直方向を上方向とし、両レンズ部が接する直線部分あるいは光軸から他方の垂直方向を下方向として説明する。 In the following, the direction perpendicular to the linear part where both lens parts are in contact and perpendicular to the optical axis is defined as the vertical direction, and the direction parallel to the linear part where both lens parts are in contact and perpendicular to the optical axis is defined as the horizontal direction. In addition, a description will be given assuming that one vertical direction from the linear portion or optical axis where both lens portions are in contact is an upward direction, and the other vertical direction from the linear portion or optical axis where both lens portions are in contact is a downward direction.
図9では上方向である上部に遠レンズ部22を、下方向である下部に近レンズ部23を配置した2焦点レンズ210の一例を示している。 FIG. 9 shows an example of a bifocal lens 210 in which the far lens unit 22 is disposed in the upper part, which is the upper direction, and the near lens unit 23 is disposed in the lower part, which is the lower direction.
図9(a)は、遠レンズ部22の焦点11に点光源を配置した場合の光学結像系を示している。 FIG. 9A shows an optical imaging system when a point light source is disposed at the focal point 11 of the far lens unit 22.
図9(a)の場合、撮像素子29の撮像面には、正面から見ると図9(a)に示すような投射像290が得られる。すなわち、遠レンズ部22の焦点11に点光源を配置した場合、遠レンズ部22によるピントのあった点状の像p90を中心に、その外周部の上部半分には近レンズ部23により、半円形の像b90、すなわちピントのボケた像が投射される。 In the case of FIG. 9A, a projection image 290 as shown in FIG. 9A is obtained on the imaging surface of the imaging element 29 when viewed from the front. That is, when a point light source is arranged at the focal point 11 of the far lens unit 22, the pointed image p90 focused by the far lens unit 22 is the center, and the upper half of the outer peripheral portion is half-closed by the near lens unit 23. A circular image b90, that is, a blurred image is projected.
一方、図9(b)は、近レンズ部23の焦点13に点光源を配置した場合の光学結像系を示している。 On the other hand, FIG. 9B shows an optical imaging system when a point light source is arranged at the focal point 13 of the near lens unit 23.
図9(b)の場合にも、撮像素子29の撮像面には、図9(a)の場合と同様に、正面から見ると図9(b)に示すような投射像291が得られる。すなわち、近レンズ部23の焦点13に点光源を配置した場合においても、近レンズ部23によるピントのあった点状の像p91を中心に、その外周部の上部半分には遠レンズ部22により、半円形の像b91、すなわちピントのボケた像が投射される。 Also in the case of FIG. 9B, a projection image 291 as shown in FIG. 9B is obtained on the imaging surface of the image sensor 29 when viewed from the front, similarly to the case of FIG. 9A. That is, even when a point light source is disposed at the focal point 13 of the near lens unit 23, the far lens unit 22 has an upper half of the outer peripheral portion centered on the point-like image p 91 focused by the near lens unit 23. A semi-circular image b91, that is, a blurred image is projected.
このように、遠レンズ部22と近レンズ部23との正面形状のそれぞれが半円形状の2焦点レンズ210を用いて、それぞれの焦点に点光源を配置した場合、撮像素子29の撮像面には、投射像290と投射像291とのように、それぞれが同様の形状となるボケた像を含む像が投射される。より正確に言えば、このような2焦点レンズ210では、図9のように点光源を光軸上の焦点に配置した場合には、投射像290と投射像291との照射強度分布が類似し、遠レンズ部22の焦点11に対する点光源分布関数と、近レンズ部23の焦点13に対する点光源分布関数とが近似した関数となる。 As described above, when the point light sources are arranged at the respective focal points using the bifocal lens 210 in which the front shape of the far lens unit 22 and the near lens unit 23 is semicircular, respectively, on the imaging surface of the image sensor 29. In this case, an image including a blurred image having the same shape as each of the projected image 290 and the projected image 291 is projected. More precisely, in such a bifocal lens 210, when the point light source is arranged at the focal point on the optical axis as shown in FIG. 9, the irradiation intensity distributions of the projection image 290 and the projection image 291 are similar. The point light source distribution function for the focal point 11 of the far lens unit 22 and the point light source distribution function for the focal point 13 of the near lens unit 23 are approximate functions.
点光源分布関数は、レンズなどを含めた光学系の伝達特性を示す伝達関数であり、このような点光源分布関数は、ポイントスプレッド関数(Point Spread Function)、あるいは略してPSFと呼ばれている。 The point light source distribution function is a transfer function indicating transfer characteristics of an optical system including a lens and the like, and such a point light source distribution function is called a point spread function, or PSF for short. .
また、このようなボケた画像を精度よく鮮明な画像に補正する手法として、PSFの逆関数となるようなインバースフィルタを利用して画像処理を行い、これによってボケた画像の修復を行うような手法が知られている。このようなインバースフィルタを用いた画像処理は、デジタルフィルタなどにより、PSFに対し、その伝達特性を補完するような処理を行うことで実現できる。 In addition, as a method of correcting such a blurred image to a clear image with high accuracy, image processing is performed using an inverse filter that is an inverse function of PSF, and thereby the blurred image is repaired. Techniques are known. Such image processing using the inverse filter can be realized by performing processing that complements the transfer characteristics of the PSF with a digital filter or the like.
よって、2焦点レンズ210を用いた光学系において、例えば、代表的なPSFを1つ定めておき、代表的なPSFに基づき生成したフィルタ係数列によるインバースフィルタを用いて画像処理することで、遠点撮像および近点撮像のそれぞれにおいて、ボケを補正した画像が精度よく得られることとなる。このため、例えば、上記従来例のようにバーコードなどの近接画像の取り込みとともに、人物や風景などの通常のカメラと同様の遠点撮像にも利用することができる。
しかしながら、上述した半円形状の遠レンズ部22と近レンズ部23とを組み合わせた2焦点レンズ210の場合、例えば光軸上での遠点と近点において、点光源に対するボケた像を含む投射像の照射強度分布、すなわちPSFはほぼ同じとなるが、光軸から垂直方向に離れた異なる2点において、それぞれの点光源に対する投射像を比較した場合、それぞれの像の照射強度分布、すなわちPSFが異なり、1種類のみのフィルタ係数列を用いたインバースフィルタにより精度よくボケを補正するには限界があった。 However, in the case of the bifocal lens 210 that combines the semicircular far lens unit 22 and the near lens unit 23 described above, for example, projection including a blurred image with respect to a point light source at a far point and a near point on the optical axis. The irradiation intensity distribution of the image, that is, the PSF is substantially the same, but when the projection images for the respective point light sources are compared at two different points separated from the optical axis in the vertical direction, the irradiation intensity distribution of each image, that is, the PSF. However, there is a limit to accurately correcting blur by using an inverse filter using only one type of filter coefficient sequence.
図10は、2焦点レンズ210に対し、光軸から垂直方向の3つの異なった焦点位置に点光源を配置した場合のそれぞれの光学結像系、投射像および照射強度分布を示した図である。 FIG. 10 is a diagram showing respective optical imaging systems, projection images, and irradiation intensity distributions when point light sources are arranged at three different focal positions in the vertical direction from the optical axis with respect to the bifocal lens 210. .
図10でも、図9と同様に、上部に遠レンズ部22を、下部に近レンズ部23を配置している。また、図10では、遠レンズ部22の焦点位置に、点光源p1、p2およびp3を配置した場合を示している。さらに、図10(a)は、遠レンズ部22のみによる場合、図10(b)は近レンズ部23のみによる場合、また図10(c)は遠レンズ部22と近レンズ部23とを組み合わせた2焦点レンズ210の場合を示している。 In FIG. 10, as in FIG. 9, the far lens portion 22 is disposed at the upper portion and the near lens portion 23 is disposed at the lower portion. FIG. 10 shows a case where point light sources p1, p2 and p3 are arranged at the focal position of the far lens unit 22. Further, FIG. 10A shows a case where only the far lens unit 22 is used, FIG. 10B shows a case where only the near lens unit 23 is used, and FIG. 10C shows a combination of the far lens unit 22 and the near lens unit 23. Further, the case of the bifocal lens 210 is shown.
まず、図10(a)では、遠レンズ部22のみによる光学結像系、投射像および照射強度分布を示すため、下部の近レンズ部23による光の透過を遮断した場合を示している。 First, in FIG. 10A, in order to show the optical imaging system, the projection image, and the irradiation intensity distribution by only the far lens unit 22, the case where the light transmission by the lower near lens unit 23 is blocked is shown.
この場合、それぞれの点光源p1、p2およびp3は、遠レンズ部22の焦点位置に配置されているため、撮像素子29の撮像面には、例えば、点光源p1に対して投射像p1’のように、ピントのあった合焦成分の投射像p1’、p2’およびp3’が投射される。 In this case, since each point light source p1, p2, and p3 is arrange | positioned in the focus position of the far lens part 22, on the imaging surface of the image pick-up element 29, for example, projection image p1 'is projected with respect to the point light source p1. In this way, projected images p1 ′, p2 ′, and p3 ′ of the focused component that are in focus are projected.
このとき、各点光源p1、p2およびp3の垂直位置が異なるため、遠レンズ部22への入射角が異なることとなり、その結果、ピントはあっているが照射強度が異なった投射像p1’、p2’およびp3’が投射されることとなる。 At this time, since the vertical positions of the point light sources p1, p2, and p3 are different, the incident angle to the far lens unit 22 is different. As a result, the projected images p1 ′ that are in focus but have different irradiation intensities. p2 'and p3' will be projected.
すなわち、図10(a)に示すように、撮像素子29の撮像面において、近レンズ部23側から垂直方向に遠レンズ部22側に行くに従って照射強度が弱くなるような合焦成分が投射される。言い換えれば、図10(a)のように上部に遠レンズ部22を配置した場合には、遠点の被写体に対して、上から下方向へと行くに従ってコントラストが強くなるようなピントのあった投射像が投射される。 That is, as shown in FIG. 10A, on the imaging surface of the imaging element 29, a focusing component is projected such that the irradiation intensity decreases from the near lens unit 23 side to the far lens unit 22 side in the vertical direction. The In other words, when the far lens unit 22 is arranged at the top as shown in FIG. 10A, the far point subject is focused so that the contrast increases from the top to the bottom. A projected image is projected.
次に、図10(b)では、近レンズ部23のみによる光学結像系、投射像および照射強度分布を示すため、上部の遠レンズ部22による光の透過を遮断した場合を示している。 Next, in FIG. 10B, in order to show the optical imaging system, the projection image, and the irradiation intensity distribution using only the near lens unit 23, a case where light transmission by the upper far lens unit 22 is blocked is shown.
この場合、それぞれの点光源p1、p2およびp3は、遠レンズ部22の焦点位置に配置されているため、撮像素子29の撮像面には、例えば、点光源p1に対して投射像b1のように、半円形にボケたボケ成分の投射像b1、b2およびb3が投射される。 In this case, since each point light source p1, p2, and p3 is arrange | positioned in the focus position of the far lens part 22, on the imaging surface of the image pick-up element 29, it is like projection image b1 with respect to the point light source p1, for example. In addition, projection images b1, b2, and b3 of the blur component blurred in a semicircular shape are projected.
このときも、各点光源p1、p2およびp3の垂直位置が異なるため、近レンズ部23への入射角が異なることとなり、その結果、ボケの形状は同じであるが照射強度が異なった投射像b1、b2およびb3が投射されることとなる。 Also at this time, since the vertical positions of the point light sources p1, p2, and p3 are different, the incident angle to the near lens unit 23 is different. As a result, the projected images having the same blur shape but different irradiation intensities. b1, b2, and b3 are projected.
すなわち、近レンズ部23は遠レンズ部22とは反対方向に配置されているため、図10(b)に示すように、撮像素子29の撮像面において、遠レンズ部22側から垂直方向に近レンズ部23側に行くに従って照射強度が弱くなるようなボケ成分が投射される。言い換えれば、図10(b)のように下部に近レンズ部23を配置した場合には、遠点の被写体に対して、上から下方向へと行くに従ってコントラストが弱くなるようなボケた投射像が投射される。 That is, since the near lens unit 23 is disposed in the opposite direction to the far lens unit 22, as shown in FIG. 10B, on the imaging surface of the image sensor 29, the near lens unit 23 is close to the vertical direction from the far lens unit 22 side. A blur component is projected such that the irradiation intensity becomes weaker toward the lens unit 23 side. In other words, when the near lens unit 23 is arranged in the lower part as shown in FIG. 10B, a blurred projection image in which the contrast decreases with increasing distance from the top to the bottom. Is projected.
さらに、図10(c)では、遠レンズ部22と近レンズ部23とを組み合わせた場合、すなわち2焦点レンズ210による光学結像系、投射像および照射強度分布を示している。 Further, FIG. 10C shows an optical imaging system, a projection image, and an irradiation intensity distribution when the far lens unit 22 and the near lens unit 23 are combined, that is, the bifocal lens 210.
この場合、撮像素子29の撮像面には、例えば、点光源p1に対して、遠レンズ部22による投射像p1’と近レンズ部23による投射像b1とが合成された投射像が投射される。 In this case, for example, a projection image obtained by synthesizing the projection image p1 ′ by the far lens unit 22 and the projection image b1 by the near lens unit 23 is projected onto the imaging surface of the imaging element 29 with respect to the point light source p1. .
このとき、撮像素子29の撮像面において、遠レンズ部22による合焦成分は上から下方向へと行くに従って照射強度が強くなり、逆に近レンズ部23によるボケ成分は上から下方向へと行くに従って照射強度が弱くなるため、合焦成分とボケ成分とが合成された合成成分は、図10(c)で示すように、撮像素子29の撮像面の上部と下部とで異なった照射強度分布の形状となる。 At this time, on the image pickup surface of the image pickup device 29, the focus component by the far lens unit 22 increases in intensity as it goes from top to bottom, and conversely, the blur component by the near lens unit 23 goes from top to bottom. Since the irradiation intensity becomes weaker as it goes, the combined component obtained by combining the in-focus component and the blur component is different in irradiation intensity between the upper part and the lower part of the imaging surface of the imaging element 29 as shown in FIG. The shape of the distribution.
すなわち、2焦点レンズ210を用いて撮像した場合、撮像素子29の撮像面において、ボケた像を含む投射像としては同形状であるが、PSFは、撮像面の垂直方向に依存して異なった強度分布形状の関数となる。 That is, when imaging is performed using the bifocal lens 210, the projected image including the blurred image is the same shape on the imaging surface of the image sensor 29, but the PSF differs depending on the vertical direction of the imaging surface. It is a function of the intensity distribution shape.
また、図10(c)に示すような撮像面の上部の投射像(p3’+b3)と下部の投射像(p1’+b1)との視覚的な比較では、上部の投射像は合焦成分に対してボケ成分の比率が大きく、下部の投射像は合焦成分に対してボケ成分の比率が小さいため、上部に行くほどボケたような像として認知される。 In addition, in the visual comparison between the upper projection image (p3 ′ + b3) and the lower projection image (p1 ′ + b1) of the imaging surface as shown in FIG. 10C, the upper projection image is the focus component. On the other hand, the ratio of the blur component is large, and the lower projected image has a smaller ratio of the blur component to the in-focus component.
また、以上、図10を用いて点光源を遠レンズ部22の焦点位置に配置した場合について説明したが、点光源を近レンズ部23の焦点位置に配置した場合には、点光源の垂直位置に応じて、近レンズ部23による合焦成分は下から上方向へと行くに従って照射強度が強くなり、逆に遠レンズ部22によるボケ成分は下から上方向へと行くに従って照射強度が弱くなる。 Further, the case where the point light source is arranged at the focal position of the far lens unit 22 has been described with reference to FIG. 10, but when the point light source is arranged at the focal position of the near lens unit 23, the vertical position of the point light source is described. Accordingly, the irradiation intensity of the in-focus component by the near lens unit 23 increases as it goes from the bottom to the top, and conversely, the irradiation intensity of the blur component by the far lens unit 22 decreases as it goes from the bottom to the top. .
すなわち、点光源を近レンズ部23の焦点位置に配置した場合には、図10(c)とは逆に、点光源の垂直位置に応じて、下部に行くほど合焦成分に対してボケ成分の比率が大きくなり、よりボケたような像となる。 In other words, when the point light source is arranged at the focal position of the near lens unit 23, the blur component is deviated from the in-focus component toward the lower portion according to the vertical position of the point light source, contrary to FIG. The ratio becomes larger, resulting in a more blurred image.
このように、半円形状の遠レンズ部と近レンズ部とを組み合わせた2焦点レンズを備えた撮像装置において、1種類のみのフィルタ係数のインバースフィルタでボケを補正する場合、画像の垂直位置に依存して異なったPSFとなるため、例えば、画像の上部や下部など垂直方向端部では精度よく画像を修復できなかった。 As described above, in the case of correcting an image blur with an inverse filter having only one type of filter coefficient in an imaging apparatus including a bifocal lens in which a semicircular far lens unit and a near lens unit are combined, the vertical position of the image is set. Since the PSF differs depending on the image, for example, the image cannot be restored with high accuracy at the vertical end such as the upper and lower portions of the image.
また、精度よくボケを補正しようとすると、撮像素子の撮像面の位置に応じて異なったフィルタ係数列を備えることが必要となり、フィルタ係数列を備えるメモリ容量が大きくなるなど大規模、かつ複雑な処理が必要になるという課題があった。 In addition, in order to correct the blur with high accuracy, it is necessary to provide different filter coefficient sequences depending on the position of the imaging surface of the image sensor, and the memory capacity including the filter coefficient sequence becomes large and complicated. There was a problem that processing was necessary.
本発明は、上記課題を解決するためになされたもので、半円形状の遠レンズ部と近レンズ部とを組み合わせた2焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができる撮像装置およびその画像処理方法ならびに情報端末装置を提供することを目的とする。 The present invention has been made to solve the above problems, and does not require large-scale processing on an image captured by a bifocal lens in which a semicircular far lens portion and a near lens portion are combined. An imaging device capable of easily and accurately obtaining a clear image with respect to any of a normal subject at a standard distance and a close subject at a shorter distance than the normal subject, an image processing method thereof, and an information terminal device The purpose is to provide.
本発明の撮像装置は、平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される2焦点レンズと、2焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子と、撮像素子からの撮像信号に対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施し、フィルタ処理により得られた画像信号を出力画像信号として出力する画像処理部とを備える。 The imaging device of the present invention has a near lens portion having a predetermined focal length and a far lens portion having a focal distance farther than the predetermined focal length, each having a semicircular or semi-elliptical planar shape. A bifocal lens configured so that the linear portions of the respective lens portions are in contact with each other, an image sensor that converts an image formed by the bifocal lens into an electrical signal, and outputs the electrical signal; An image processing unit that performs a filtering process on the imaging signal from the imaging element with a filter coefficient sequence based on a correction function set for each block, and outputs an image signal obtained by the filtering process as an output image signal.
さらに、本発明の撮像装置は、撮像素子の撮像面において、それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、撮像素子の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、画像処理部は、各ブロックに対応した撮像信号に対して、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す構成である。 Furthermore, in the imaging device of the present invention, on the imaging surface of the imaging element, when the direction parallel to the straight line portion where each lens unit is in contact is the horizontal direction and the perpendicular direction is the vertical direction, the imaging surface of the imaging element The image to be imaged is divided into blocks so as to divide the vertical direction into a plurality of blocks, and the image processing unit applies a filter coefficient sequence based on a correction function set for each block to the imaging signal corresponding to each block. In this configuration, the filtering process is performed.
また、本発明の撮像装置は、ブロックごとに設定された補正関数を、近レンズ部側のブロックに対して、遠レンズ部側のブロックほど高周波信号成分を強調するような補正関数とした構成である。 Further, the imaging apparatus of the present invention has a configuration in which the correction function set for each block is a correction function that emphasizes the high-frequency signal component as the block on the far lens unit side is compared to the block on the near lens unit side. is there.
また、本発明の撮像装置は、補正関数を、2焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数とし、ポイントスプレッド関数を、2焦点レンズの光軸上から垂直方向に、撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、いずれかのレンズ部の焦点位置に対するポイントスプレッド関数とした構成である。 In the imaging apparatus of the present invention, the correction function is an inverse function based on a point spread function for a predetermined object distance in the optical system of the bifocal lens, and the point spread function is perpendicular to the optical axis of the bifocal lens. This is a configuration in which a point spread function with respect to the focal position of one of the lens units is formed in a focal plane that is spaced by a distance corresponding to each block of the imaging plane of the imaging element.
また、本発明の撮像装置は、補正関数を、2焦点レンズの光学系における所定の被写距離に対するポイントスプレッド関数に基づいた逆関数とし、ポイントスプレッド関数を、2焦点レンズの光軸上から垂直方向に、撮像素子の撮像面の各ブロックに対応した距離だけ離れた焦点面において、遠レンズ部の焦点位置に対するポイントスプレッド関数と近レンズ部の焦点位置に対するポイントスプレッド関数とを所定の比率で合成したポイントスプレッド関数とした構成である。 In the imaging apparatus of the present invention, the correction function is an inverse function based on a point spread function for a predetermined object distance in the optical system of the bifocal lens, and the point spread function is perpendicular to the optical axis of the bifocal lens. A point spread function with respect to the focal position of the far lens part and a point spread function with respect to the focal position of the near lens part are synthesized at a predetermined ratio in a focal plane at a distance corresponding to each block of the imaging surface of the image sensor in the direction. The point spread function is used.
また、本発明の撮像装置は、撮像素子の撮像面に結像される画像を、垂直方向に加えて、水平方向をも複数に分割するようにブロック区分し、画像処理部が、各ブロックに対応した撮像信号に対して、それぞれに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す構成である。 The image pickup apparatus of the present invention divides an image formed on the image pickup surface of the image pickup device into blocks so that the horizontal direction is divided into a plurality of blocks in addition to the vertical direction, and an image processing unit is provided for each block. In this configuration, the corresponding imaging signal is subjected to filter processing using a filter coefficient sequence based on a correction function set for each of the imaging signals.
また、本発明の撮像装置は、補正関数を、コマ収差補正および像倍率補正の少なくともいずれかをも含む補正関数とした構成である。 In addition, the imaging apparatus of the present invention has a configuration in which the correction function is a correction function including at least one of coma aberration correction and image magnification correction.
また、本発明の撮像装置は、画像処理部が、撮像素子から供給される撮像信号をデジタル信号である撮像データに変換するAD変換部と、撮像データに対して、補正関数に基づくフィルタ係数列を用いてフィルタ処理を行うデジタルフィルタ部と、補正関数に基づくフィルタ係数列を、ブロックごとに記憶する係数記憶部と、係数記憶部から各ブロックに応じたフィルタ係数列を抽出し、抽出したフィルタ係数列をデジタルフィルタ部に供給する係数処理部とを備えた構成である。 In the imaging apparatus of the present invention, the image processing unit converts an imaging signal supplied from the imaging element into imaging data that is a digital signal, and a filter coefficient sequence based on a correction function for the imaging data. A filter unit that performs filter processing using a filter, a coefficient storage unit that stores a filter coefficient sequence based on a correction function for each block, and extracts a filter coefficient sequence corresponding to each block from the coefficient storage unit, and extracts the filter And a coefficient processing unit that supplies the coefficient sequence to the digital filter unit.
また、本発明の撮像装置は、さらに、高周波信号成分に対して、所定のコアリング量以下の微小振幅値の信号の値を0値に変換することでノイズ低減処理を施すコアリング処理部を備え、コアリング処理部が、デジタルフィルタ部によりフィルタ処理された信号の高周波信号成分に対して、ブロックごとに設定されたコアリング量に基づきノイズ低減処理を施す構成である。 In addition, the imaging apparatus of the present invention further includes a coring processing unit that performs noise reduction processing by converting a signal value of a minute amplitude value that is equal to or less than a predetermined coring amount to a zero value for a high-frequency signal component. The coring processing unit is configured to perform noise reduction processing on the high frequency signal component of the signal filtered by the digital filter unit based on the coring amount set for each block.
また、本発明の撮像装置は、画像処理部が、さらに、デジタルフィルタ部を制御するフィルタ制御部を備え、デジタルフィルタ部が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、フィルタ制御部が、デジタルフィルタ部に所定のダミー値を供給し画面端処理を行う構成である。 In the imaging apparatus of the present invention, the image processing unit further includes a filter control unit that controls the digital filter unit, and when the digital filter unit performs the filtering process on the imaging data corresponding to the end of the image, The filter control unit supplies a predetermined dummy value to the digital filter unit and performs screen edge processing.
また、本発明の撮像装置は、上記ダミー値を、所定の固定値、画像の端部に対応した撮像データの値、または画像の端部から画像の垂直逆方向と水平逆方向との撮像データにそれぞれ対応した値とした構成である。 In the imaging apparatus of the present invention, the dummy value may be a predetermined fixed value, a value of imaging data corresponding to the edge of the image, or imaging data of the vertical reverse direction and horizontal reverse direction of the image from the edge of the image. It is the structure set as the value corresponding to each.
また、本発明の情報端末装置は、上記撮像装置と、撮像装置の画像処理部により生成された画像データを記憶する記憶部と、画像データを表示する表示部とを備えた構成である。 An information terminal device according to the present invention includes the above imaging device, a storage unit that stores image data generated by an image processing unit of the imaging device, and a display unit that displays the image data.
また、本発明の画像処理方法は、平面形状がそれぞれ半円形または半楕円形であり、所定の焦点距離を持つ近レンズ部と所定の焦点距離よりも遠方の焦点距離を持つ遠レンズ部とを有し、それぞれのレンズ部の直線部分が互いに接するように一体化されて構成される2焦点レンズと、2焦点レンズにより結像された画像を電気的信号に変換し、撮像信号として出力する撮像素子とを備えた撮像装置の画像処理方法であり、撮像素子の撮像面において、それぞれのレンズ部が接する直線部分に対して平行な方向を水平方向とし、直角な方向を垂直方向とするとき、撮像素子からの撮像信号を取り込むステップと、取り込んだ撮像信号に対し、撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを有する。 Further, the image processing method of the present invention includes a near lens unit having a predetermined focal length and a far lens unit having a focal distance farther than the predetermined focal length, each having a semicircular or semi-elliptical planar shape. A bifocal lens that is integrated so that linear portions of the respective lens portions are in contact with each other, and an image formed by the bifocal lens is converted into an electrical signal and output as an imaging signal An image processing method of an image pickup apparatus including an element, and on the image pickup surface of the image pickup element, when a direction parallel to a straight line portion in contact with each lens unit is a horizontal direction and a direction perpendicular to the vertical direction is a vertical direction, Setting for each block that captures the image signal from the image sensor and the image that is imaged on the image sensing surface of the image sensor is divided into multiple vertical directions for the captured image signal It has a step of performing a filtering process, and outputting an image signal obtained by the filter processing as an output image signal by the filter coefficient sequence based on the correction functions.
本発明の撮像装置およびその画像処理方法ならびに情報端末装置は、垂直方向を区分するように設けた各ブロックごとに、それぞれに対応したフィルタ係数列で撮像素子の撮像面に投射されるボケた像の補正を行うため、画像の上部や下部であっても精度よくボケた像を補正でき、また、ブロックごとに設定したフィルタ係数列であるため、記憶するフィルタ係数列は少なくてすみ、係数を格納するメモリ容量の増加を抑制でき、かつ簡易な処理で精度よくボケた像を補正できる。このため、本発明の撮像装置およびその画像処理方法ならびに情報端末装置によれば、2焦点レンズで撮像された画像に対し、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得る撮像装置およびその画像処理方法ならびに情報端末装置を提供することができる。 The image pickup apparatus, the image processing method thereof, and the information terminal device according to the present invention provide a blurred image projected on the image pickup surface of the image pickup element with a filter coefficient sequence corresponding to each block provided to partition the vertical direction. Therefore, the blurred image can be corrected with high accuracy even at the top and bottom of the image, and since the filter coefficient sequence is set for each block, the number of filter coefficient sequences to be stored is small, and the coefficient is An increase in memory capacity to be stored can be suppressed, and a blurred image can be corrected with a simple process with high accuracy. For this reason, according to the imaging device, the image processing method thereof, and the information terminal device of the present invention, a normal subject at a standard distance is not required for an image captured by the bifocal lens without requiring large-scale processing. In addition, it is possible to provide an imaging apparatus, an image processing method thereof, and an information terminal apparatus that can easily and accurately obtain a clear image for any of the close subjects that are closer than this.
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施の形態)
図1は、本発明の実施の形態における撮像装置の構成を示すブロック図である。
(Embodiment)
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
図1に示すように、本実施の形態の撮像装置は、被写体を撮像するための光学系である撮像部20と、撮像部20からの撮像信号に対して画像処理を施し、画像処理を施した信号を出力画像信号として出力する画像処理部30とを備えている。 As shown in FIG. 1, the imaging apparatus according to the present embodiment performs image processing on an imaging unit 20 that is an optical system for imaging a subject and an imaging signal from the imaging unit 20, and performs image processing. And an image processing unit 30 for outputting the processed signal as an output image signal.
さらに、撮像部20は、被写体を撮像する2焦点レンズ210と、この2焦点レンズ210により結像された像を取り込む撮像素子29とを含み構成される。2焦点レンズ210は、異なった焦点距離のレンズ部により構成されるレンズである。また、撮像素子29は、2焦点レンズ210により結像された画像を電気的信号に変換し、撮像信号として出力する。 Further, the imaging unit 20 includes a bifocal lens 210 that images a subject, and an image sensor 29 that captures an image formed by the bifocal lens 210. The bifocal lens 210 is a lens composed of lens portions having different focal lengths. The image sensor 29 converts an image formed by the bifocal lens 210 into an electrical signal and outputs it as an image signal.
また、画像処理部30において、まず、撮像素子29からの撮像信号は、アナログフロントエンド(以下、AFEと呼ぶ)31に供給される。AFE31は、供給された撮像信号の増幅処理などを行い、増幅された撮像信号をAD変換部32に供給する。AD変換部32は、アナログ信号である撮像信号をデジタル信号に変換し、デジタル信号に変換された撮像データが、以下で説明するデジタルフィルタ部33およびコアリング処理部37に供給される。 In the image processing unit 30, first, an image signal from the image sensor 29 is supplied to an analog front end (hereinafter referred to as AFE) 31. The AFE 31 performs amplification processing on the supplied imaging signal and supplies the amplified imaging signal to the AD conversion unit 32. The AD conversion unit 32 converts an imaging signal that is an analog signal into a digital signal, and the imaging data converted into the digital signal is supplied to a digital filter unit 33 and a coring processing unit 37 described below.
デジタルフィルタ部33は、2焦点レンズ210によるボケた画像成分の補正を行い、これによって本発明の特徴となる画像の改質処理を行う。すなわち、上述したように、このような複数の焦点を有するレンズの場合、投射像はピントのあった像にボケた像が重畳したようになる。デジタルフィルタ部33は、このようなボケた像もピントのあった像へと補正するために設けられている。 The digital filter unit 33 corrects a blurred image component by the bifocal lens 210, thereby performing an image modification process that is a feature of the present invention. That is, as described above, in the case of such a lens having a plurality of focal points, the projected image is such that a blurred image is superimposed on a focused image. The digital filter unit 33 is provided to correct such a blurred image into a focused image.
係数記憶部34は、デジタルフィルタ部33がフィルタ処理を行うため、所定の補正関数に基づく複数種類のフィルタ係数列を記憶している。また、係数処理部35は、以下で説明する制御信号生成部391からのブロック切替信号に応じて、係数記憶部34が記憶する複数種類のフィルタ係数列から1つのフィルタ係数列を選択し、選択したフィルタ係数列をデジタルフィルタ部33に供給する。 The coefficient storage unit 34 stores a plurality of types of filter coefficient sequences based on a predetermined correction function so that the digital filter unit 33 performs filter processing. Further, the coefficient processing unit 35 selects one filter coefficient sequence from a plurality of types of filter coefficient sequences stored in the coefficient storage unit 34 in accordance with a block switching signal from the control signal generation unit 391 described below, and selects The filtered filter coefficient sequence is supplied to the digital filter unit 33.
このような構成により、デジタルフィルタ部33は、供給された撮像データ列と係数処理部35から供給されたフィルタ係数列との荷重加算演算処理を実行する。また、フィルタ係数列を構成する各フィルタ係数は、2焦点レンズ210の光学系における所定の被写距離に対するポイントスプレッド関数(以下、PSFと呼ぶ)の逆関数に基づきあらかじめ求めた係数である。 With such a configuration, the digital filter unit 33 executes a load addition calculation process between the supplied imaging data sequence and the filter coefficient sequence supplied from the coefficient processing unit 35. Each filter coefficient constituting the filter coefficient string is a coefficient obtained in advance based on an inverse function of a point spread function (hereinafter referred to as PSF) with respect to a predetermined object distance in the optical system of the bifocal lens 210.
すなわち、デジタルフィルタ部33は、所定のPSFの逆関数となるフィルタ係数でフィルタ処理を行うインバースフィルタとして機能する。 That is, the digital filter unit 33 functions as an inverse filter that performs filter processing with a filter coefficient that is an inverse function of a predetermined PSF.
以上、デジタルフィルタ部33は、撮像素子29からの撮像信号に応じた撮像データに対し、ブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。 As described above, the digital filter unit 33 performs the filtering process on the imaging data corresponding to the imaging signal from the imaging element 29 with the filter coefficient sequence based on the correction function set for each block.
フィルタ制御部36は、デジタルフィルタ部33が画像の端部に対応した撮像データに対してフィルタ処理を行うとき、デジタルフィルタ部33に所定のダミー値を供給し、デジタルフィルタ部33が画面端処理を行うようにデジタルフィルタ部33を制御する。 The filter control unit 36 supplies a predetermined dummy value to the digital filter unit 33 when the digital filter unit 33 performs the filtering process on the imaging data corresponding to the end of the image, and the digital filter unit 33 performs the screen end processing. The digital filter unit 33 is controlled to perform the above.
すなわち、デジタルフィルタ部33は、遅延データを出力する各タップごとのデータを用いてフィルタ演算を行うが、例えば画像フレームの先頭などフィルタ演算を開始するとき、その画像領域外の画像データは存在しないため未定のデータを含めて演算処理を行うこととなり、その結果、タップ数の期間に対応した幅だけ画像の上部や左部に乱れた画像などが現れることとなる。 That is, the digital filter unit 33 performs the filter operation using the data for each tap that outputs the delay data, but when starting the filter operation such as the head of the image frame, there is no image data outside the image area. Therefore, calculation processing is performed including undetermined data, and as a result, a disordered image or the like appears in the upper part or the left part of the image by a width corresponding to the period of the number of taps.
フィルタ制御部36は、このような不都合を防止するために設けられており、画像の端部においてタップから出力される未定のデータに代えて供給された所定のダミー値が出力されるようにデジタルフィルタ部33を制御する。所定のダミー値としては、所定の固定値、あるいは最初に供給された撮像データの値としてよく、また画像データを鏡像的に折り返しその折り返した各画素データ、すなわち、画像の端部から画像の垂直逆方向および水平逆方向の撮像データにそれぞれ対応した値をダミー値としてもよい。 The filter control unit 36 is provided to prevent such inconvenience, and digitally outputs a predetermined dummy value supplied in place of the undetermined data output from the tap at the end of the image. The filter unit 33 is controlled. The predetermined dummy value may be a predetermined fixed value or a value of the imaging data supplied first, and the image data is mirror-folded to return each pixel data, that is, from the end of the image to the vertical of the image. Values corresponding to the imaging data in the reverse direction and the horizontal reverse direction may be used as dummy values.
コアリング処理部37は、デジタルフィルタ部33により強調された高周波信号成分に対して、ノイズ低減処理を施す。 The coring processing unit 37 performs noise reduction processing on the high-frequency signal component emphasized by the digital filter unit 33.
すなわち、デジタルフィルタ部33は、2焦点レンズ210によりボケた画像成分の補正を行うために設けられたフィルタであるため、撮像信号の高周波信号成分を強調するような一種のハイパスフィルタである。このため、例えば、撮像素子29やAFE31で生じた高周波ノイズを強調することとなる。 That is, since the digital filter unit 33 is a filter provided to correct an image component blurred by the bifocal lens 210, the digital filter unit 33 is a kind of high-pass filter that emphasizes a high-frequency signal component of an imaging signal. For this reason, for example, high-frequency noise generated in the image sensor 29 and the AFE 31 is emphasized.
このように強調されたノイズを低減するため、本実施の形態では、ノイズ低減処理を施すためのコアリング処理部37を設けた一例を挙げている。 In order to reduce the noise emphasized in this way, in the present embodiment, an example is provided in which a coring processing unit 37 for performing noise reduction processing is provided.
また、コアリング処理部37にも、以下で説明する制御信号生成部391からのブロック切替信号が供給され、コアリング処理部37はこのブロック切替信号に応じたコアリング量でノイズ低減処理を実行する。 The coring processing unit 37 is also supplied with a block switching signal from a control signal generating unit 391 described below, and the coring processing unit 37 performs noise reduction processing with a coring amount corresponding to the block switching signal. To do.
コアリング処理部37によりノイズ低減処理された画像データは、出力画像信号として出力され、例えば、表示装置などに供給され、写真のような静止画像、あるいは動画像としてユーザに呈示される。 The image data subjected to noise reduction processing by the coring processing unit 37 is output as an output image signal, supplied to a display device, for example, and presented to the user as a still image such as a photograph or a moving image.
また、制御部39は、例えば、マイクロコンピュータで実現され、各部の制御やそのための処理を行うとともに、制御信号生成部391に、画像信号の水平端を示す水平同期信号および垂直端を示す垂直同期信号を供給する。 Further, the control unit 39 is realized by, for example, a microcomputer, and controls each unit and processes therefor. The control signal generation unit 391 also has a horizontal synchronization signal indicating the horizontal end of the image signal and a vertical synchronization indicating the vertical end. Supply the signal.
制御信号生成部391は、制御部39から供給された水平同期信号および垂直同期信号を利用してブロック切替信号および画面端信号を生成する。 The control signal generation unit 391 generates a block switching signal and a screen end signal using the horizontal synchronization signal and the vertical synchronization signal supplied from the control unit 39.
ブロック切替信号は、撮像した画像において、垂直方向を複数に分割するようにブロック区分したとき、デジタルフィルタ部33に供給されている撮像データがどのブロックに相当しているかを示す信号である。 The block switching signal is a signal indicating which block the imaging data supplied to the digital filter unit 33 corresponds to when a block is divided so as to divide the vertical direction into a plurality in the captured image.
制御信号生成部391は、このようなブロック切替信号を係数処理部35およびコアリング処理部37に供給する。これにより、係数処理部35は、画像上における各ブロックの撮像データに対して、そのブロックに応じたフィルタ係数列をデジタルフィルタ部33に供給する。 The control signal generation unit 391 supplies such a block switching signal to the coefficient processing unit 35 and the coring processing unit 37. Thereby, the coefficient processing unit 35 supplies a filter coefficient sequence corresponding to the block to the digital filter unit 33 for the imaging data of each block on the image.
すなわち、撮像素子29の撮像面に結像される画像は、垂直方向を複数に分割するようにブロック区分され、デジタルフィルタ部33は、撮像素子29からの撮像信号に応じた撮像データに対し、係数処理部35から供給されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施す。 That is, the image formed on the imaging surface of the image sensor 29 is divided into blocks so as to divide the vertical direction into a plurality of parts, and the digital filter unit 33 applies the image data corresponding to the image signal from the image sensor 29 to the image data. Filter processing is performed with a filter coefficient sequence based on a correction function set for each block supplied from the coefficient processing unit 35.
また、コアリング処理部37は、制御信号生成部391からのブロック切替信号を利用して、画像上における各ブロックの撮像データに対して、そのブロックに応じたコアリング処理を実行する。 Further, the coring processing unit 37 uses the block switching signal from the control signal generation unit 391 to execute coring processing corresponding to the block on the imaging data of each block on the image.
また、制御信号生成部391から出力される画面端信号は、水平同期信号および垂直同期信号に対応した信号であり、デジタルフィルタ部33に供給される撮像データが画面開始位置となる画面端のデータであることを示す信号である。 The screen edge signal output from the control signal generation unit 391 is a signal corresponding to the horizontal synchronization signal and the vertical synchronization signal, and the image data supplied to the digital filter unit 33 is data at the screen edge where the screen start position is set. It is a signal which shows that it is.
制御信号生成部391は、このような画面端信号をフィルタ制御部36に供給する。フィルタ制御部36は、このような画面端信号を利用して、デジタルフィルタ部33が画面端処理を行うように制御する。 The control signal generation unit 391 supplies such a screen end signal to the filter control unit 36. The filter control unit 36 uses such a screen edge signal to control the digital filter unit 33 to perform screen edge processing.
図2は、本実施の形態における2焦点レンズ210の形状の詳細を示した図である。図2(a)は、2焦点レンズ210の側面図であり、図2(b)は、2焦点レンズ210の正面図である。 FIG. 2 is a diagram showing details of the shape of the bifocal lens 210 in the present embodiment. 2A is a side view of the bifocal lens 210, and FIG. 2B is a front view of the bifocal lens 210.
図2に示すように、本2焦点レンズ210は、2焦点光学系として、長い焦点距離で集束する遠レンズ部22と、遠レンズ部22よりも短い焦点距離で集束する近レンズ部23とで構成されている。 As shown in FIG. 2, the bifocal lens 210 includes, as a bifocal optical system, a far lens unit 22 that converges with a long focal length and a near lens unit 23 that converges with a shorter focal length than the far lens unit 22. It is configured.
図2(b)に示すように、2焦点レンズ210は、正面から見たとき、それぞれのレンズ部の平面形状が半円形であり、中心を通る直線を境界として、上部には遠レンズ部22が、下部には近レンズ部23が配置され、それぞれが一体化されて構成される。 As shown in FIG. 2B, when viewed from the front, the bifocal lens 210 has a semicircular planar shape of each lens unit, and a far straight lens unit 22 at the top with a straight line passing through the center as a boundary. However, the near lens part 23 is arranged at the lower part, and each is integrated.
なお、以下、本実施の形態では、半円形のレンズ部を2つ組み合わせた円形の2焦点レンズ210を例に挙げて説明するが、例えば、半楕円形、もしくは多角形のレンズ部を直線部分が互いに接するように配置し構成した2焦点レンズであってもよい。また、遠レンズ部22と近レンズ部23との上下関係を逆にしてもよく、その場合、それにあわせた画像処理を行えばよい。 In the following description of the present embodiment, a circular bifocal lens 210 in which two semicircular lens portions are combined will be described as an example. For example, a semi-elliptical or polygonal lens portion may be a linear portion. May be a bifocal lens arranged and configured to be in contact with each other. Further, the vertical relationship between the far lens unit 22 and the near lens unit 23 may be reversed, and in this case, image processing corresponding to that may be performed.
図3は、撮像した画像におけるブロックの分割例を示した図である。ここでは、ブロック分割として、撮像素子29の撮像面に結像される画像に対し、垂直方向を3つに分割するようにブロック区分した一例を示している。また、図3には、それぞれのブロックにおける代表的な投射像を示している。 FIG. 3 is a diagram illustrating an example of block division in a captured image. Here, as an example of block division, an example is shown in which an image formed on the imaging surface of the image sensor 29 is divided into blocks so that the vertical direction is divided into three. FIG. 3 shows a representative projection image in each block.
図3においても、図10(c)で説明したように、遠レンズ部22の焦点位置で、かつ各ブロックに対応した垂直位置に点光源を配置し、撮像素子29の撮像面に結像された投射像pb0、pb1およびpb2を示している。 Also in FIG. 3, as described with reference to FIG. 10C, the point light source is arranged at the focal position of the far lens unit 22 and at the vertical position corresponding to each block, and is imaged on the imaging surface of the imaging device 29. The projected images pb0, pb1, and pb2 are shown.
このような本実施の形態の場合も、図10(c)を用いて説明したように、点光源に対して2焦点レンズ210により撮像素子29上に投射される像は、点光源を上方から下方に移動させた場合、その移動に従って、撮像素子29に投影されるボケた像は、下方から上方へと移動しながら、その合焦成分は小さくなるとともにボケ成分は大きくなっていく。 Also in the case of this embodiment, as described with reference to FIG. 10C, the image projected onto the image sensor 29 by the bifocal lens 210 with respect to the point light source is the point light source from above. When moved downward, the blurred image projected onto the image sensor 29 moves from the lower side to the upper side, and the in-focus component becomes smaller and the blurred component becomes larger.
このため、各ブロックには、図3に示すようにボケた像の投射形状は類似しているものの、図10(c)で説明したようにその照射強度分布、すなわちPSFの関数形状が異なった像が投射される。 Therefore, although the projection shape of the blurred image is similar to each block as shown in FIG. 3, the irradiation intensity distribution, that is, the PSF function shape is different as described in FIG. An image is projected.
以下、このように構成された本実施の形態の撮像装置の動作について説明する。 Hereinafter, the operation of the imaging apparatus of the present embodiment configured as described above will be described.
一般に、2焦点レンズを含め光学系は、PSFにより結像系の特性が決定される。このPSFは、レンズの場合このレンズに対して、水平方向x、垂直方向y、およびレンズから被写体までの距離zに依存したスペースバリアントな関数である。 In general, in an optical system including a bifocal lens, characteristics of an imaging system are determined by PSF. In the case of a lens, this PSF is a space variant function depending on the horizontal direction x, the vertical direction y, and the distance z from the lens to the subject.
ここで、2焦点レンズのPSFをhx,y,zとし、被写体をiとすると、撮像素子29の撮像面に投射される撮像画像pは、被写体iと多焦点レンズのPSFであるhx,y,zとのコンボリューションで表現できる。すなわち、コンボリューション演算を記号*で示すと、p[x,y]=i*hx,y,zとなる。 Here, if the PSF of the bifocal lens is hx, y, z and the subject is i, the captured image p projected on the imaging surface of the image sensor 29 is hx, y which is the PSF of the subject i and the multifocal lens. , z can be expressed by convolution. That is, when the convolution operation is indicated by the symbol *, p [x, y] = i * hx, y, z.
また、空間座標軸で表現される2焦点レンズのPSFhx,y,zを、フーリエ変換やz変換により座標変換することにより2焦点レンズのPSFの伝達関数Hx,y,zを求めることができる。 Further, the PSF transfer function Hx, y, z of the bifocal lens can be obtained by performing coordinate transformation of the PSFhx, y, z of the bifocal lens expressed by the spatial coordinate axis by Fourier transform or z transform.
すなわち、撮像素子29に投影される撮像画像p[x,y]は、入力画像を被写体iとしたとき、伝達関数Hx,y,zの応答出力となる。ここで、上述したように、2焦点レンズを用いた場合、ボケた成分も含めて撮像素子29上に投影される。 That is, the captured image p [x, y] projected on the image sensor 29 becomes a response output of the transfer function Hx, y, z when the input image is the subject i. Here, as described above, when a bifocal lens is used, it is projected onto the image sensor 29 including a blurred component.
デジタルフィルタ部33は、このような伝達関数Hx,y,zに含まれるボケ成分の生成メカニズムを補正するために設けられたフィルタである。 The digital filter unit 33 is a filter provided for correcting the generation mechanism of the blur component included in such a transfer function Hx, y, z.
すなわち、デジタルフィルタ部33の伝達関数を2焦点レンズの伝達関数Hx,y,zの逆関数、すなわち1/Hx,y,zとなる補正関数とすることで、2焦点レンズ210とデジタルフィルタ部33との縦続接続による伝達特性は1となる。その結果、出力画像oは、被写体像iと等しくなり、2焦点レンズ210により生じたボケ成分を除去したことと等しくなる。 That is, the transfer function of the digital filter unit 33 is an inverse function of the transfer function Hx, y, z of the bifocal lens, that is, a correction function that is 1 / Hx, y, z, so that the bifocal lens 210 and the digital filter unit The transmission characteristic by the cascade connection with 33 is 1. As a result, the output image o is equal to the subject image i, and is equivalent to the removal of the blur component generated by the bifocal lens 210.
本実施の形態の2焦点レンズ210の場合、図9で説明したように、光軸上で点光源位置を変えても撮像素子29上に投射されるボケた像の変化が少ないことにより、2焦点レンズ210のPSFはレンズから被写体までの距離zの依存度が低いと言える。 In the case of the bifocal lens 210 of the present embodiment, as described with reference to FIG. 9, even if the position of the point light source is changed on the optical axis, there is little change in the blurred image projected on the image sensor 29, It can be said that the PSF of the focusing lens 210 has a low dependence on the distance z from the lens to the subject.
一方、図10で説明したように、それぞれのレンズ部が接する直線部分に対して直角な方向で点光源位置を変えた場合、両レンズ部への入射角の違いにより、撮像素子29の撮像面に投射される像の照射強度分布が変化する。すなわち、2焦点レンズ210のPSFは、垂直方向yの依存度が高いと言える。 On the other hand, as described with reference to FIG. 10, when the position of the point light source is changed in a direction perpendicular to the straight line portion where each lens unit is in contact, the imaging surface of the image sensor 29 is affected by the difference in the incident angle to both lens units. The irradiation intensity distribution of the image projected on the screen changes. That is, it can be said that the PSF of the bifocal lens 210 is highly dependent on the vertical direction y.
このため、本実施の形態の撮像装置は、図3に示すように、撮像素子29に結像される画像に対し、垂直方向を複数に分割するようにブロック区分し、各ブロックに応じた代表的なPSFを求め、それぞれのPSFからその逆関数である補正関数を算出し、これによってブロックに応じたボケ成分の補正を行っている。 For this reason, as shown in FIG. 3, the imaging apparatus according to the present embodiment divides the image formed on the imaging element 29 into blocks so that the vertical direction is divided into a plurality of parts, and representatives corresponding to the blocks. A correct PSF is obtained, and a correction function which is an inverse function thereof is calculated from each PSF, thereby correcting a blur component corresponding to the block.
すなわち、本実施の形態では、撮像素子29の撮像面に投射される画像の各ブロックにおいて、図3に示すような点光源に対する代表的な投射像から求めたPSFを1つずつ定め、それぞれのPSFに基づき算出したフィルタ係数列を係数記憶部34に格納している。 In other words, in the present embodiment, one PSF obtained from a representative projection image for a point light source as shown in FIG. A filter coefficient sequence calculated based on the PSF is stored in the coefficient storage unit 34.
なお、それぞれのPSFとしては、撮像素子29の撮像面の各ブロックに対応した距離だけ離れた垂直方向の焦点面において、いずれかのレンズ部の焦点位置に対するPSFとしてもよく、また、遠レンズ部22の焦点位置に対するPSFと近レンズ部23の焦点位置に対するPSFとを所定の比率で合成したPSFとしてもよい。 Each PSF may be a PSF with respect to the focal position of any lens unit on a vertical focal plane that is separated by a distance corresponding to each block of the imaging surface of the image sensor 29, or a far lens unit. The PSF with respect to the focal position of 22 and the PSF with respect to the focal position of the near lens unit 23 may be combined at a predetermined ratio.
特に、例えば、人物や風景などの通常のカメラと同様の遠点撮像とともに、バーコードなどの近接画像の取り込みにも利用するような場合、一般的に、遠点撮像はカメラ機能として利用するため画質が重視されるが、バーコードなどを読み込むような場合にはある程度ボケた画像であってもよい。このため、このような利用形態に対しては、代表的なPSFを決定するにあたって、遠レンズ部22の焦点位置に対するPSF、あるいは遠レンズ部22の焦点位置に対するPSFの比率を高くして合成したPSFとすることが好ましい。 In particular, for example, when using far point imaging similar to that of a normal camera such as a person or landscape and also for capturing a near image such as a barcode, the far point imaging is generally used as a camera function. Although image quality is important, an image that is blurred to some extent may be used when a barcode or the like is read. For this reason, when determining a representative PSF for such a usage pattern, the PSF with respect to the focal position of the far lens unit 22 or the ratio of the PSF with respect to the focal position of the far lens unit 22 is synthesized. PSF is preferable.
図4は、係数記憶部34に格納された各フィルタ係数列の一例を示した図である。図4に示すように、係数記憶部34には、各ブロックごとにフィルタ係数K00からKvhまでで構成されるフィルタ係数列が格納されている。 FIG. 4 is a diagram illustrating an example of each filter coefficient sequence stored in the coefficient storage unit 34. As shown in FIG. 4, the coefficient storage unit 34 stores a filter coefficient sequence including filter coefficients K00 to Kvh for each block.
すなわち、図4では、垂直方向に(v+1)個のタップ、水平方向に(h+1)個のタップを有した2次元のデジタルフィルタに対するフィルタ係数の一例を示している。 That is, FIG. 4 shows an example of filter coefficients for a two-dimensional digital filter having (v + 1) taps in the vertical direction and (h + 1) taps in the horizontal direction.
図4に示すようなフィルタ係数を用いて、撮像素子29の撮像面に投射されるボケた像の補正を行うため、まず、制御信号生成部391は、デジタルフィルタ部33に供給されている撮像データがどのブロックに相当しているかを示すブロック切替信号を係数処理部35に通知する。 In order to correct a blurred image projected on the imaging surface of the image sensor 29 using a filter coefficient as illustrated in FIG. 4, first, the control signal generation unit 391 first captures the image supplied to the digital filter unit 33. The coefficient processing unit 35 is notified of a block switching signal indicating which block the data corresponds to.
係数処理部35は、制御信号生成部391からのブロック切替信号に応じて、係数記憶部34が記憶するブロックごとのフィルタ係数列から1つのフィルタ係数列を選択し、選択したフィルタ係数列をデジタルフィルタ部33に供給する。 The coefficient processing unit 35 selects one filter coefficient sequence from the filter coefficient sequence for each block stored in the coefficient storage unit 34 in accordance with the block switching signal from the control signal generation unit 391, and digitally selects the selected filter coefficient sequence. This is supplied to the filter unit 33.
デジタルフィルタ部33は、供給されている撮像データ列に対して、係数処理部35から供給されたフィルタ係数列を用いて、垂直方向に(v+1)個のタップ、水平方向に(h+1)個のタップの2次元のデジタルフィルタ処理を実行する。 The digital filter unit 33 uses the filter coefficient sequence supplied from the coefficient processing unit 35 for the supplied imaging data sequence, and (v + 1) taps in the vertical direction and (h + 1) in the horizontal direction. Performs two-dimensional digital filtering of taps.
このように、本実施の形態の撮像装置は、垂直方向に設けた各ブロックごとに、それぞれに対応したフィルタ係数列で撮像素子29上に投射されるボケた像の補正を行うため、例えば、画像の上部や下部であっても、精度よくボケた像を補正できる。 As described above, the imaging apparatus according to the present embodiment corrects a blurred image projected on the imaging element 29 with a filter coefficient sequence corresponding to each block provided in the vertical direction. Even at the top and bottom of the image, the blurred image can be corrected with high accuracy.
すなわち、図10で説明したように、遠点の被写体に対しては、撮像素子29の撮像面上部の投射像は合焦成分に対してボケ成分の比率が大きく、下部の投射像は合焦成分に対してボケ成分の比率が小さくなるため、上部に行くほどボケたような像となる。 That is, as described with reference to FIG. 10, for a subject at a far point, the projected image at the upper part of the imaging surface of the image sensor 29 has a larger ratio of the blur component to the focused component, and the lower projected image is in focus. Since the ratio of the blur component to the component is small, the image becomes blurred as it goes upward.
このため、図3のブロック分割の場合、近レンズ部23側のブロック2に比べて遠レンズ部22側のブロック0では、より高周波信号成分を強調するようなフィルタ係数列が設定され、これによって、垂直方向にほぼ均等にボケ成分が補正された画像が得られることとなる。 Therefore, in the case of the block division of FIG. 3, a filter coefficient sequence that enhances the high-frequency signal component is set in the block 0 on the far lens unit 22 side compared to the block 2 on the near lens unit 23 side. Thus, an image in which the blur component is corrected almost uniformly in the vertical direction is obtained.
また、本実施の形態の撮像装置は、フィルタ係数列をブロックごとに設定しているため、それぞれの画素に対してフィルタ係数列を設定するような場合に比べて、記憶するフィルタ係数列は少なくてすみ、フィルタ係数を格納するメモリ容量の増加を抑制でき、かつ簡易な処理で精度よくボケた像を補正できる。 In addition, since the imaging apparatus of the present embodiment sets the filter coefficient sequence for each block, the number of filter coefficient sequences to be stored is smaller than when the filter coefficient sequence is set for each pixel. As a result, an increase in memory capacity for storing filter coefficients can be suppressed, and a blurred image can be corrected with a simple process with high accuracy.
なお、以上の説明では、ブロック分割として、画像の垂直方向を複数に分割するようにブロック区分した一例を挙げて説明したが、画像の垂直方向に加えて、水平方向をも複数に分割するようにブロック区分してもよい。 In the above description, as an example of block division, an example in which the vertical direction of the image is divided into a plurality of blocks has been described. However, in addition to the vertical direction of the image, the horizontal direction is also divided into a plurality of blocks. It may be divided into blocks.
図5は、このような、画像の垂直方向および水平方向を複数に分割した一例を示す図である。ブロック分割をこのような構成とし、例えば、補正関数にコマ収差補正、像倍率補正あるいはこれら両補正をも含めることにより、より精度よくボケた像を補正できる。 FIG. 5 is a diagram illustrating an example in which the vertical and horizontal directions of an image are divided into a plurality of parts. By making block division into such a configuration and including, for example, coma aberration correction, image magnification correction, or both of these corrections in the correction function, a blurred image can be corrected with higher accuracy.
また、図4に示すようなフィルタ係数において、フィルタ係数が水平方向あるいは垂直方向に対称となるような場合、デジタルフィルタ部33の構成において対象タップの加算演算を先に行い、その後、係数を掛けるような構成とすることで、係数記憶部34に格納する係数の数を減らすことができ、係数を格納するメモリの容量増加をさらに抑制できる。 Further, in the filter coefficient as shown in FIG. 4, when the filter coefficient is symmetric in the horizontal direction or the vertical direction, the addition operation of the target tap is performed first in the configuration of the digital filter unit 33, and then the coefficient is multiplied. With such a configuration, the number of coefficients stored in the coefficient storage unit 34 can be reduced, and an increase in the capacity of the memory storing the coefficients can be further suppressed.
例えば、図4での係数K00からK0hにおいて、係数K03を中心に、K02とK04、K01とK05、K00とK0hとが等しくなるような場合、K00からK03までの係数のみを記憶しておけばよい。 For example, in the coefficients K00 to K0h in FIG. 4, when K02 and K04, K01 and K05, and K00 and K0h are equal, centering on the coefficient K03, only the coefficients from K00 to K03 are stored. Good.
また、デジタルフィルタ部33の具体的な構成として、各タップのデータを供給するシフトレジスタやラインメモリを備え、さらに各タップからのデータに対して、乗算器、加算器、減算器などを用いて荷重加算演算処理をハードウエアで実行するような構成であってもよく、またマイクロコンピュータやシグナルプロセッサなどと処理プログラムを記憶したメモリとを備え、マイクロコンピュータやシグナルプロセッサなどがメモリに記憶した処理プログラムを実行することで荷重加算演算処理などをソフトウェア的に行うような構成であってもよい。 Further, as a specific configuration of the digital filter unit 33, a shift register and a line memory for supplying data of each tap are provided, and a multiplier, an adder, a subtractor, etc. are used for the data from each tap. The load addition calculation processing may be configured to be executed by hardware, and includes a microcomputer, a signal processor, etc. and a memory storing a processing program, and the processing program stored in the memory by the microcomputer, signal processor, etc. The load addition calculation processing and the like may be performed by software by executing.
すなわち、画像処理部30において、マイクロコンピュータやシグナルプロセッサなどが、撮像素子からの撮像信号を取り込むステップと、取り込んだ撮像信号に対し撮像素子の撮像面に結像される画像が垂直方向を複数に分割するように区分されるブロックごとに設定された補正関数に基づくフィルタ係数列でフィルタ処理を施すステップと、フィルタ処理により得られた画像信号を出力画像信号として出力するステップとを含む画像処理方法の処理プログラムをメモリから読み込み、その処理プログラムを実行するような構成であってもよい。 That is, in the image processing unit 30, a step in which a microcomputer, a signal processor, or the like captures an imaging signal from the imaging device, and an image formed on the imaging surface of the imaging device with respect to the captured imaging signal has multiple vertical directions An image processing method comprising: performing a filtering process with a filter coefficient sequence based on a correction function set for each block to be divided; and outputting an image signal obtained by the filtering process as an output image signal The processing program may be read from the memory and executed.
図6は、コアリング処理部37の詳細な構成を示したブロック図である。上述したように、デジタルフィルタ部33は、2焦点レンズ210によりボケた画像成分に対し、その補正を行うことができるが、その一方で、撮像素子29やAFE31で生じた高周波ノイズが強調されることとなる。コアリング処理部37は、このように強調されたノイズ成分を低減するため、高周波信号成分の微小振幅成分を除去するコアリング処理と呼ばれる処理を行う。 FIG. 6 is a block diagram showing a detailed configuration of the coring processing unit 37. As described above, the digital filter unit 33 can correct the image component blurred by the bifocal lens 210. On the other hand, the high-frequency noise generated by the image sensor 29 and the AFE 31 is emphasized. It will be. The coring processing unit 37 performs a process called a coring process for removing a minute amplitude component of the high frequency signal component in order to reduce the noise component emphasized in this way.
図6に示すように、コアリング処理部37には、撮像データおよびデジタルフィルタ部33からの画像データが供給される。 As shown in FIG. 6, the coring processing unit 37 is supplied with image data and image data from the digital filter unit 33.
コアリング処理部37において、減算器371により、デジタルフィルタ部33からの画像データ値から撮像データ値が減算される。これによって、減算器371からは、デジタルフィルタ部33で強調された高周波信号成分のみを含む画像データが出力される。コアリング部370は、このような高周波信号成分のみを含む画像データに対してコアリング処理を実行する。 In the coring processing unit 37, the imaging data value is subtracted from the image data value from the digital filter unit 33 by the subtractor 371. As a result, the subtracter 371 outputs image data including only the high-frequency signal component emphasized by the digital filter unit 33. The coring unit 370 performs a coring process on image data including only such a high-frequency signal component.
コアリング部370は、供給された高周波信号成分を含む画像データの振幅値に対して非線形処理を行う。 The coring unit 370 performs nonlinear processing on the amplitude value of the image data including the supplied high-frequency signal component.
このような非線形処理の一例として、コアリング部370は、入力データの絶対値が所定の閾値(以下、適宜、コアリング量と呼ぶ)以下のデータ値を一律0値としたデータとして出力し、入力データの絶対値が所定の閾値以上の場合には、その絶対値を閾値だけ減じたデータ値のデータを出力する。 As an example of such non-linear processing, the coring unit 370 outputs the data value of which the absolute value of the input data is equal to or less than a predetermined threshold (hereinafter, referred to as a coring amount as appropriate) as uniform 0 values, If the absolute value of the input data is greater than or equal to a predetermined threshold value, data having a data value obtained by subtracting the absolute value by the threshold value is output.
コアリング部370において、このような処理が実行されることにより、供給された画像データの高周波信号成分に含まれる微小な振幅のデータはノイズとみなされて0値に変換、すなわち、ノイズ低減されることとなる。 By executing such processing in the coring unit 370, the minute amplitude data included in the high-frequency signal component of the supplied image data is regarded as noise and converted to zero value, that is, noise is reduced. The Rukoto.
コアリング部370でノイズ低減されたデータは、乗算器373に供給される。乗算器373は、コアリング部370でデータ値が減少した分だけ、ゲイン設定部374からのゲイン値でゲイン補正を行う。 The data whose noise has been reduced by the coring unit 370 is supplied to the multiplier 373. The multiplier 373 performs gain correction using the gain value from the gain setting unit 374 by the amount that the data value has decreased by the coring unit 370.
乗算器373からのデータは加算器372により撮像データに加算される。すなわち、加算器372からは、デジタルフィルタ部33の出力と同様の周波数特性であるとともに、コアリング部370で高周波ノイズが低減された画像データが出力されることとなる。 Data from the multiplier 373 is added to the imaging data by an adder 372. That is, the adder 372 outputs image data that has the same frequency characteristics as the output of the digital filter unit 33 and in which high-frequency noise is reduced by the coring unit 370.
また、コアリング処理部37において、コアリング量設定部375には、ブロック切替信号が通知され、コアリング量設定部375は、ブロック切替信号に基づき、図3で示したような画像の各ブロックに対応したコアリング量をコアリング部370に設定する。 Further, in the coring processing unit 37, the coring amount setting unit 375 is notified of the block switching signal, and the coring amount setting unit 375 receives each block of the image as shown in FIG. 3 based on the block switching signal. Is set in the coring unit 370.
すなわち、図3を用いて説明したような場合、遠点の被写体に対しては、上部に行くほどボケたような像となる。このため、デジタルフィルタ部33は、下から上に行くに従ってより強く補正し、高周波信号成分を強調することになり、その結果、コアリング処理をしない場合には、撮像面の上部ほどノイズが目立つこととなる。 That is, in the case described with reference to FIG. 3, the farther away subject becomes blurred as it goes upward. For this reason, the digital filter unit 33 corrects more strongly as it goes from the bottom to the top, and emphasizes the high-frequency signal component. As a result, when the coring process is not performed, the noise is more conspicuous in the upper part of the imaging surface It will be.
コアリング処理部37では、このような不都合を抑制するため、コアリング量設定部375が各ブロックに応じたコアリング量をコアリング部370に設定するような構成としている。 In order to suppress such inconvenience, the coring processing unit 37 is configured such that the coring amount setting unit 375 sets the coring amount corresponding to each block in the coring unit 370.
すなわち、図3のブロック区分の場合、コアリング量設定部375は、ブロック2に比べてブロック1のほうが大きく、さらにブロック1に比べてブロック0のほうが大きくなるようなコアリング量をコアリング部370に設定し、撮像面の上部に行くほど強調されるノイズに対し、コアリング部370によるノイズ低減効果を高めている。 3, the coring amount setting unit 375 sets the coring amount so that the block 1 is larger than the block 2 and the block 0 is larger than the block 1. The noise reduction effect by the coring unit 370 is enhanced with respect to noise that is set to 370 and is emphasized as it goes to the upper part of the imaging surface.
このように、コアリング処理部37は、デジタルフィルタ部33で強調されたノイズ成分を低減するとともに、ブロックごとにノイズ量が異なるような画質劣化をも抑制し、これによって、精度よく鮮明な画像を得ることを可能としている。 In this manner, the coring processing unit 37 reduces the noise component emphasized by the digital filter unit 33 and also suppresses image quality deterioration in which the amount of noise differs for each block. It is possible to get.
図7は、本実施の形態の撮像装置を利用したカメラ付き携帯電話などの情報端末装置の構成例を示したブロック図である。 FIG. 7 is a block diagram illustrating a configuration example of an information terminal device such as a mobile phone with a camera using the imaging device of the present embodiment.
図7に示すように、本情報端末装置は、本実施の形態の撮像装置に加えて、ユーザからの指示に応じて画像処理された画像データの編集などを行うデータ処理部41、画像処理された画像データを記録する記録部42および出力画像信号を表示する表示部43をさらに備えた構成である。 As shown in FIG. 7, in addition to the imaging device of the present embodiment, the information terminal device includes a data processing unit 41 that performs editing of image data that has undergone image processing in accordance with an instruction from a user, and image processing. The image recording apparatus further includes a recording unit 42 that records image data and a display unit 43 that displays an output image signal.
このような構成とする情報端末装置により、例えば、人物や風景などを撮像した画像データを電子的な写真として記録部42に記録したり、記録した画像データの編集処理などを行うことができる。 With the information terminal device configured as described above, for example, image data obtained by capturing a person or a landscape can be recorded as an electronic photograph in the recording unit 42, or the recorded image data can be edited.
また、バーコードなどを撮像した場合には、そのバーコードの画像データから文字情報などに復元するような処理も行うことができる。 Further, when a barcode or the like is imaged, processing for restoring character information or the like from the image data of the barcode can be performed.
さらに、表示部43からは、写真のような静止画像、あるいは動画像としてユーザに呈示することもできる。 Furthermore, the display unit 43 can present the image as a still image such as a photograph or a moving image.
このように、本情報端末装置によれば、近距離および遠距離の被写体双方に対して精度よく画像を取り込むことができるため、人物や風景を撮影するようなカメラ機能とともに、バーコードなどの近接画像をも読み取り可能であり、利便性を向上させた情報端末装置を提供することができる。 As described above, according to the information terminal device, images can be accurately captured for both short-distance and long-distance subjects. An information terminal device that can read an image and has improved convenience can be provided.
本発明は、大規模な処理を必要とせず、標準的な距離にある通常の被写体、およびこれよりも近距離にある近接被写体のいずれについても容易にかつ精度よく鮮明な画像を得ることができるため、撮像装置としてのカメラやビデオカメラとして利用できるとともに、撮像機能を有した携帯電話などの情報端末装置、その他にも利用することができる。 The present invention does not require large-scale processing, and can easily and accurately obtain a clear image for both a normal subject at a standard distance and a close subject at a shorter distance than the normal subject. Therefore, it can be used as a camera or a video camera as an imaging device, and can also be used for an information terminal device such as a mobile phone having an imaging function, and others.
20 撮像部
22,92 遠レンズ部
23,93 近レンズ部
29,99 撮像素子
30 画像処理部
31 アナログフロントエンド(AFE)
32 AD変換部
33 デジタルフィルタ部
34 係数記憶部
35 係数処理部
36 フィルタ制御部
37 コアリング処理部
39 制御部
41 データ処理部
42 記録部
43 表示部
91 レンズ
97 ハイパスフィルタ
98 先端部
210 2焦点レンズ
370 コアリング部
371 減算器
372 加算器
373 乗算器
374 ゲイン設定部
375 コアリング量設定部
391 制御信号生成部
DESCRIPTION OF SYMBOLS 20 Imaging part 22,92 Far lens part 23,93 Near lens part 29,99 Image pick-up element 30 Image processing part 31 Analog front end (AFE)
32 AD conversion unit 33 Digital filter unit 34 Coefficient storage unit 35 Coefficient processing unit 36 Filter control unit 37 Coring processing unit 39 Control unit 41 Data processing unit 42 Recording unit 43 Display unit 91 Lens 97 High-pass filter 98 Tip unit 210 Bifocal lens 370 Coring Unit 371 Subtractor 372 Adder 373 Multiplier 374 Gain Setting Unit 375 Coring Amount Setting Unit 391 Control Signal Generation Unit
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006024777A JP2007206967A (en) | 2006-02-01 | 2006-02-01 | Imaging device, image processing method therefor, and information terminal device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006024777A JP2007206967A (en) | 2006-02-01 | 2006-02-01 | Imaging device, image processing method therefor, and information terminal device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007206967A true JP2007206967A (en) | 2007-08-16 |
Family
ID=38486384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006024777A Pending JP2007206967A (en) | 2006-02-01 | 2006-02-01 | Imaging device, image processing method therefor, and information terminal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007206967A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5466766B2 (en) * | 2010-10-01 | 2014-04-09 | 富士フイルム株式会社 | Imaging device |
WO2016047383A1 (en) * | 2014-09-26 | 2016-03-31 | 株式会社日立国際電気 | Solid-state imaging device and imaging method |
-
2006
- 2006-02-01 JP JP2006024777A patent/JP2007206967A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5466766B2 (en) * | 2010-10-01 | 2014-04-09 | 富士フイルム株式会社 | Imaging device |
WO2016047383A1 (en) * | 2014-09-26 | 2016-03-31 | 株式会社日立国際電気 | Solid-state imaging device and imaging method |
JPWO2016047383A1 (en) * | 2014-09-26 | 2017-06-15 | 株式会社日立国際電気 | Solid-state imaging device and imaging method |
US9995931B2 (en) | 2014-09-26 | 2018-06-12 | Hitachi Kokusai Electric Inc. | Method for correcting contour distortions of lenses |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4942216B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and program | |
JP5868076B2 (en) | Image processing apparatus and image processing method | |
JP5132401B2 (en) | Image processing apparatus and image processing method | |
KR101442462B1 (en) | All-focused image generation method, device using same, and program using same, and object height data acquisition method, device using same, and program using same | |
US8031232B2 (en) | Image pickup apparatus including a first image formation system and a second image formation system, method for capturing image, and method for designing image pickup apparatus | |
US20070279618A1 (en) | Imaging Apparatus And Image Improving Method | |
US20110064327A1 (en) | Image Data Fusion Systems And Methods | |
JP2015211319A (en) | Image processing system, control method of the same, and control program | |
JP2012129932A (en) | Image processing method, image processing program, image processing device, and imaging device | |
JP2012073691A (en) | Image processing system, imaging apparatus, image processing method, and program | |
KR20070004202A (en) | Method for correcting lens distortion in digital camera | |
JP2013218654A (en) | Image processing device | |
JP5344648B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
JP5184574B2 (en) | Imaging apparatus, image processing apparatus, and image processing method | |
JP2013228798A (en) | Image processing device, imaging device, endoscope, program and image processing method | |
JP2010087671A (en) | Image processing method, image processing apparatus, and image pickup apparatus | |
CN116783613A (en) | Circuit for combined downsampling and correction of image data | |
JP5268533B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and image processing program | |
JP5541750B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP5173883B2 (en) | Imaging device | |
JP2007206967A (en) | Imaging device, image processing method therefor, and information terminal device | |
US20160284061A1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2007072558A (en) | Image processor and image processing method | |
CN107979715B (en) | Image pickup apparatus | |
JP2009033607A (en) | Imaging apparatus and image processing method |