JP2005099265A - Imaging apparatus, imaging method, and range finding method - Google Patents
Imaging apparatus, imaging method, and range finding method Download PDFInfo
- Publication number
- JP2005099265A JP2005099265A JP2003331404A JP2003331404A JP2005099265A JP 2005099265 A JP2005099265 A JP 2005099265A JP 2003331404 A JP2003331404 A JP 2003331404A JP 2003331404 A JP2003331404 A JP 2003331404A JP 2005099265 A JP2005099265 A JP 2005099265A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- subject
- signal
- systems
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Cameras In General (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、測距機能を備えた撮像装置に関し、特に、カメラ付き携帯電話、PDA(Personal Digital Assistant)等の小型の情報端末機器に用いて好適な撮像装置および撮像方法、ならびにその撮像装置を用いた測距方法に関する。 The present invention relates to an imaging apparatus having a distance measuring function, and in particular, an imaging apparatus and an imaging method suitable for use in a small information terminal device such as a mobile phone with a camera and a PDA (Personal Digital Assistant), and the imaging apparatus. It relates to the distance measuring method used.
近年、CCD(Charge Coupled Device:電荷結合素子)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を用いて電子的に画像を撮影、記録するデジタルスチルカメラが急速に普及している。また携帯電話の高機能化に伴い、小型の撮像モジュールを搭載したカメラ付き携帯電話も急速に普及してきている。これらの機器に用いられる撮像素子は、近年、小型化および高画素化が進んでおり、それに伴って、撮影レンズにも、高い解像性能と共に構成のコンパクト化が求められている。 In recent years, digital still cameras that capture and record images electronically using a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) are rapidly spreading. As mobile phones become more sophisticated, camera-equipped mobile phones equipped with a small imaging module are also rapidly spreading. In recent years, image sensors used in these devices have been reduced in size and increased in pixel count, and accordingly, taking lenses have been required to be compact in structure with high resolution performance.
デジタルスチルカメラ等においてズーム機能を実現する方法としては、光学ズーム方式と電子ズーム方式とがある。光学ズーム方式は、撮影レンズとしてズームレンズを搭載し、光学的に撮影倍率を変えるものである。電子ズーム方式は、信号処理により電子的に被写体像の大きさを変えるようにしたものである。一般に、光学ズーム方式の方が、電子ズーム方式よりも高い解像性能を得ることができる。このため、高い解像性能で広角から望遠まで広範囲な撮影倍率を得るためには、光学ズーム方式の方が好ましい。その一方で、光学ズーム方式により高い解像性能で広範囲な撮影倍率を実現するためには、レンズ枚数が多くなり、小型化の点で不利である。 As a method for realizing a zoom function in a digital still camera or the like, there are an optical zoom method and an electronic zoom method. In the optical zoom system, a zoom lens is mounted as a photographing lens, and the photographing magnification is optically changed. In the electronic zoom system, the size of the subject image is electronically changed by signal processing. In general, the optical zoom method can obtain higher resolution performance than the electronic zoom method. Therefore, in order to obtain a wide range of photographing magnifications from wide angle to telephoto with high resolution performance, the optical zoom method is preferable. On the other hand, in order to realize a wide imaging magnification with high resolution performance by the optical zoom method, the number of lenses increases, which is disadvantageous in terms of miniaturization.
携帯電話等の情報端末機器にズーム機能を持たせた撮像装置としては、例えば以下の特許文献1に記載のものがある。ところで、デジタルスチルカメラ等には、オートフォーカス機能やフラッシュの光量制御などに用いるために、測距機能を備えたものがある。撮像装置における測距に関する従来技術としては、例えば以下の特許文献2に記載のものがある。特許文献2には、複数の受光レンズによる被写体像をそれぞれ光電変換し、それによって得られた複数の像信号が示す像のずれ量に基づいて、被写体距離を算出し、撮影レンズの合焦を行う技術が開示されている。
カメラ付き携帯電話等の小型の情報端末機器においては、従来、コストや小型化の点で単焦点の撮影レンズを用いたものが一般的であるが、最近の高機能化、多機能化に伴い、ズーム機能への要求がある。しかしながら、カメラ付き携帯電話等で用いられている撮影レンズは、通常3枚程度であり、高性能な光学ズーム方式を実現するにはレンズ枚数が少ない。レンズ枚数を増やすことにより、高性能な光学ズーム方式を実現することも可能であるが、その場合、構成の複雑化や大型化を招くので好ましくない。また、ズームレンズを搭載すると、レンズの可動部分が多くなり、そのための移動機構が必要になってくる。このため、構成の複雑化を招くと共に、機械的な強度を保つことが難しくなり、堅牢性の点で不利となる。 Conventionally, small information terminal devices such as camera-equipped mobile phones have generally used single-focus photographic lenses in terms of cost and miniaturization. However, with the recent increase in functionality and functionality, There is a demand for zoom function. However, the number of photographing lenses used in camera-equipped mobile phones and the like is usually about three, and the number of lenses is small to realize a high-performance optical zoom system. It is possible to realize a high-performance optical zoom system by increasing the number of lenses, but this is not preferable because the configuration becomes complicated and large. In addition, when a zoom lens is mounted, the movable parts of the lens increase, and a moving mechanism for that purpose is required. For this reason, the configuration is complicated and it is difficult to maintain mechanical strength, which is disadvantageous in terms of robustness.
一方、ズームレンズを用いずに電子ズーム方式によりズーム機能を実現した場合、像の拡大率が大きくなるほど解像度が劣化するので、高い解像性能を保ったまま広角から望遠まで広範囲な撮影倍率を得ることは難しい。上述したように近年では、カメラ付き携帯電話等においても、搭載される撮像素子の高画素化が進んでいるため、高い解像性能を保ったまま、広角から望遠まで広範囲な撮影を行うことができる装置の開発が望まれる。 On the other hand, when the zoom function is realized by the electronic zoom method without using a zoom lens, the resolution deteriorates as the image enlargement ratio increases, so a wide range of shooting magnifications can be obtained from wide angle to telephoto while maintaining high resolution performance. It ’s difficult. As described above, in recent years, even in camera-equipped mobile phones and the like, the number of mounted image pickup elements has increased, so that it is possible to perform a wide range of shooting from wide angle to telephoto while maintaining high resolution performance. The development of a device that can be used is desired.
そこで、本願出願人のうち1の出願人は、互いに撮影画角の異なる複数の撮像系を備え、各撮像系により、同一被写体を互いに異なる撮影画角で撮影し、各撮像系からの撮像信号を選択的に切り替えて出力することにより、複数の撮影倍率で撮影を行うようになされた新規な撮像装置を提案している(特許文献1)。各撮像系は、例えば同一被写体側に向けて互いに近接して配置された、互いに焦点距離の異なる複数の単焦点レンズと、複数の単焦点レンズに対応して設けられ、各単焦点レンズによる被写体像に応じた撮像信号をそれぞれ出力する複数の撮像素子とを備えて構成される。この新規な撮像装置によれば、ズームレンズを搭載することなく、簡単な構成で、撮像素子の高画素化に対応したズーム機能を実現できる。また、単焦点レンズを用いることで、ズームに関するレンズの移動機構が不要となり、ズームレンズを用いた場合に比べて、構造的に強度を上げることができ、堅牢性を保ちやすくなる。さらに、電子ズーム処理を併用し、各撮像系間で撮影倍率を変えるようにした場合には、より広範囲な撮影倍率でのズーム撮影が可能となる。 Therefore, one of the applicants of the present application includes a plurality of imaging systems having different shooting angles of view, images the same subject with different shooting angles of view with each imaging system, and receives an imaging signal from each imaging system. A novel image pickup apparatus is proposed which is configured to perform shooting at a plurality of shooting magnifications by selectively switching and outputting (Patent Document 1). Each imaging system is provided corresponding to, for example, a plurality of single focal lenses having different focal lengths arranged close to each other toward the same subject, and a subject by each single focal lens. And a plurality of imaging elements that output imaging signals corresponding to images. According to this novel image pickup apparatus, it is possible to realize a zoom function corresponding to an increase in the number of pixels of the image pickup element with a simple configuration without mounting a zoom lens. Further, by using a single focus lens, a lens moving mechanism for zooming is not required, and the strength can be structurally increased and robustness can be easily maintained as compared with the case of using a zoom lens. Further, when the electronic zoom process is used in combination and the photographing magnification is changed between the respective imaging systems, zoom photographing with a wider range of photographing magnification is possible.
しかしながら、複数の撮像系により同一の被写体を撮影する場合、各撮像系の光軸が一致していないために、各撮像系間でパララックスと呼ばれる被写体像のずれが発生してしまう。従って、このパララックスの補正を行うことが望ましい。この場合、パララックスは被写体距離が近いほど大きく発生するので、撮像装置に測距機能を持たせ、被写体距離に応じて画像の補正を行うことが考えられる。しかしながら、特に、カメラ付き携帯電話等の小型の撮像装置に測距専用の光学系を設けることは、構成の複雑化や大型化を招くので好ましくない。 However, when the same subject is photographed by a plurality of imaging systems, the optical axes of the imaging systems do not coincide with each other, so that a subject image shift called parallax occurs between the imaging systems. Therefore, it is desirable to correct this parallax. In this case, since the parallax is generated as the subject distance is shorter, it is conceivable that the imaging apparatus is provided with a distance measuring function and the image is corrected according to the subject distance. However, it is not preferable to provide an optical system dedicated to distance measurement in a small imaging device such as a camera-equipped mobile phone, because this increases the complexity and size of the configuration.
そこで、各撮像系からの撮影画像を測距のために利用することが考えられる。しかしながら、上記特許文献2に記載されているような従来の測距技術では、一般に、各撮像系で画角などに関して同一の撮影条件であることを前提としているため、画角などの撮影条件が異なる複数の撮像系を備えた装置には、ただちに利用することができない。精度の高い測距を行うためには、例えば画角などに関して互いに同一の撮影条件となるように、各撮像系間の画像を補正する必要がある。
Therefore, it is conceivable to use the captured image from each imaging system for distance measurement. However, the conventional distance measuring technique as described in
本発明はかかる問題点に鑑みてなされたもので、その第1の目的は、撮影画角の異なる複数の撮像系を利用して、精度の高い測距を行うことができるようにした撮像装置および撮像方法、ならびに測距方法を提供することにある。
本発明の第2の目的は、撮影画角の異なる複数の撮像系間に生ずるパララックスの補正を、簡単な構成で実現できるようにした撮像装置および撮像方法を提供することにある。
The present invention has been made in view of such problems, and a first object thereof is to provide an imaging apparatus capable of performing highly accurate distance measurement using a plurality of imaging systems having different shooting angles of view. And an imaging method and a distance measuring method.
A second object of the present invention is to provide an imaging apparatus and an imaging method capable of correcting parallax generated between a plurality of imaging systems having different shooting angles of view with a simple configuration.
本発明による撮像装置は、互いに撮影画角の異なる第1および第2の撮像系を少なくとも備え、第1および第2の撮像系により、同一被写体を互いに異なる撮影画角で撮影し、各撮像系からの撮像信号を選択的に切り替えて出力することにより、複数の撮影倍率で撮影を行うようになされた撮像装置であって、互いに異なる撮影画角で撮影された第1の撮像系による撮影画像と第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系からの各撮像信号を補正する画像補正手段と、補正後の各撮像信号に基づいて、各撮像系による各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出する演算手段と、演算手段により算出された距離の情報に基づいて、各撮像系間に生ずるパララックスが補正されるように、各撮像系により得られた各撮影画像を補正するパララックス補正手段とを備えたものである。 An imaging apparatus according to the present invention includes at least first and second imaging systems having different shooting angles of view, and the first and second imaging systems shoot the same subject at different shooting angles of view. An imaging device configured to perform imaging at a plurality of imaging magnifications by selectively switching and outputting an imaging signal from the first imaging system captured at different imaging angles And image correction means for correcting each imaging signal from each imaging system so that the captured image by the second imaging system is an image captured under the same imaging condition with respect to the angle of view, and each corrected Based on the imaging signal, the correlation calculation of each captured image by each imaging system is performed, the calculation means for calculating the distance to the subject based on the correlation value, and the distance information calculated by the calculation means ,each As parallax generated between the image system is corrected, in which a parallax correction means for correcting the captured image obtained by the imaging systems.
本発明による撮像装置において、画像補正手段は、例えば、各撮像系による各撮影画像同士が、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系のうち相対的に広角側の撮像系からの撮像信号に対して、信号の間引きを行うと共に、相対的に望遠側の撮像系からの撮像信号に対して、信号の間引きもしくは平均化を行うものである。 In the imaging apparatus according to the present invention, the image correction unit may be configured to relatively move the captured images of the imaging systems relative to each other in the imaging systems so that the captured images of the imaging systems are captured with the same shooting conditions with respect to the angle of view. Signal thinning is performed on the imaging signal from the wide-angle imaging system, and signal thinning or averaging is performed on the imaging signal from the telephoto imaging system.
本発明による測距方法は、互いに撮影画角の異なる第1および第2の撮像系を少なくとも備え、第1および第2の撮像系により、同一被写体を互いに異なる撮影画角で撮影し、各撮像系からの撮像信号を選択的に切り替えて出力することにより、複数の撮影倍率で撮影を行うようになされた撮像装置を用いた測距方法であって、互いに異なる撮影画角で撮影された第1の撮像系による撮影画像と第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系からの各撮像信号を補正するステップと、補正後の各撮像信号に基づいて、各撮像系による各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出するステップとを含むものである。 The distance measuring method according to the present invention includes at least first and second imaging systems having different shooting angles of view, and the first and second imaging systems shoot the same subject with different shooting angles of view. This is a distance measuring method using an imaging device that is configured to perform imaging at a plurality of imaging magnifications by selectively switching imaging signals from the system, and is a method for measuring images with different imaging angles of view. Correcting each imaging signal from each imaging system so that the captured image by the first imaging system and the captured image by the second imaging system are images captured under the same imaging conditions with respect to the angle of view; And calculating the distance to the subject based on the correlation value based on the correlation value between the captured images of the imaging systems based on the corrected imaging signals.
本発明による測距方法において、各撮像信号を補正するステップは、例えば、各撮像系による各撮影画像同士が、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系のうち相対的に広角側の撮像系からの撮像信号に対して、信号の間引きを行うと共に、相対的に望遠側の撮像系からの撮像信号に対して、信号の間引きもしくは平均化を行うものである。 In the distance measuring method according to the present invention, the step of correcting each imaging signal includes, for example, each imaging system such that each captured image by each imaging system is an image captured under the same imaging condition with respect to the angle of view. Among these, the signal is thinned out from the image signal from the relatively wide-angle imaging system, and the signal is thinned out or averaged from the image signal from the relatively telephoto imaging system. It is.
本発明による撮像方法は、互いに撮影画角の異なる第1および第2の撮像系を少なくとも備え、第1および第2の撮像系により、同一被写体を互いに異なる撮影画角で撮影し、各撮像系からの撮像信号を選択的に切り替えて出力することにより、複数の撮影倍率で撮影を行うようになされた撮像装置における撮像方法であって、互いに異なる撮影画角で撮影された第1の撮像系による撮影画像と第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系からの各撮像信号を補正するステップと、補正後の各撮像信号に基づいて、各撮像系による各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出するステップと、算出された距離の情報に基づいて、各撮像系間に生ずるパララックスが補正されるように、各撮像系により得られた各撮影画像を補正するステップとを含むものである。 The imaging method according to the present invention includes at least first and second imaging systems having different shooting angles of view, and the first and second imaging systems shoot the same subject with different shooting angles of view. An imaging method in an imaging apparatus configured to perform imaging at a plurality of imaging magnifications by selectively switching and outputting an imaging signal from the first imaging system in which images are captured at different shooting angles of view Correcting each imaging signal from each imaging system so that the image captured by the second imaging system and the image captured by the second imaging system are images captured under the same imaging conditions with respect to the angle of view; Based on each imaging signal, the correlation calculation of each captured image by each imaging system is performed, and a step of calculating the distance to the subject based on the correlation value and each imaging based on the calculated distance information. As parallax generated between system is corrected, it is intended to include a step of correcting the respective photographed images obtained by the imaging systems.
ここで、本発明による撮像装置および撮像方法、ならびに測距方法において、各撮像系はそれぞれ、単焦点レンズと、単焦点レンズによる被写体像に応じた撮像信号を出力する撮像素子とを有していても良い。この場合、各撮像系における各単焦点レンズは、例えば、同一被写体側に向けて互いに近接して配置され、互いに焦点距離が異なるもので構成される。この場合、各単焦点レンズが互いに焦点距離が異なることにより、各撮像系で異なる画角による被写体像が得られる。 Here, in the imaging apparatus, imaging method, and distance measuring method according to the present invention, each imaging system has a single focal lens and an imaging element that outputs an imaging signal corresponding to a subject image by the single focal lens. May be. In this case, each single focus lens in each imaging system is, for example, arranged close to each other toward the same subject side and configured with different focal lengths. In this case, subject images having different angles of view can be obtained in the respective imaging systems because the single focal lenses have different focal lengths.
また、各撮像系における各撮像素子は、例えば、それぞれ互いに画角の異なる被写体像が入射するように互いに画素サイズが異なるもので構成されていても良い。なお、「互いに画素サイズが異なる」とは、例えば、各撮像素子における画素ピッチを変えることにより、各撮像素子の画素全体の大きさが異なっていることをいう。各撮像素子の画素数が同じであるものとすると、撮像素子として、相対的に画素サイズの大きいものを用いた場合には、相対的に画素サイズの小さいものを用いた場合に比べて、広角の被写体像が得られる。 In addition, each imaging device in each imaging system may be configured with, for example, different pixel sizes so that subject images having different angles of view enter each other. Note that “the pixel sizes are different from each other” means that, for example, the size of the entire pixel of each image sensor is changed by changing the pixel pitch in each image sensor. Assuming that the number of pixels of each image sensor is the same, when an image sensor with a relatively large pixel size is used, a wider angle is used than when an image sensor with a relatively small pixel size is used. The subject image can be obtained.
また、各撮像系における各撮像素子は、例えば、それぞれ互いに画角の異なる被写体像が入射するように互いに画素数が異なるもので構成されていても良い。なお、「互いに画素数が異なる」とは、例えば、各撮像素子における画素ピッチが同一で、各撮像素子における画素数が異なり、各撮像素子の画素全体の大きさが異なっていることをいう。各撮像素子における画素ピッチが同じであるものとすると、撮像素子として、相対的に画素数の大きいものを用いた場合には、相対的に画素数の小さいものを用いた場合に比べて、広角の被写体像が得られる。 In addition, each imaging device in each imaging system may be configured with different numbers of pixels so that subject images with different angles of view are incident, for example. Note that “the number of pixels is different from each other” means that, for example, the pixel pitch of each image sensor is the same, the number of pixels in each image sensor is different, and the size of the entire pixel of each image sensor is different. Assuming that the pixel pitch of each image sensor is the same, when an image sensor having a relatively large number of pixels is used, a wider angle is used than when an image sensor having a relatively small number of pixels is used. The subject image can be obtained.
また、本発明による撮像装置および撮像方法、ならびに測距方法において、撮像装置が、撮像信号に対して信号処理を施して、電子的に被写体像の大きさを変化させる電子ズーム処理手段をさらに備え、電子ズーム処理手段による電子ズーム処理を行うことにより、少なくとも1つの撮像系による撮影倍率を変えるようにしても良い。電子ズーム処理を併用することにより、より広範囲な撮影倍率での撮影が可能となる。特に、電子ズーム処理により、各撮像系間において撮影倍率を連続的に変えることで、よりスムーズなズーム撮影が可能となる。 In the imaging apparatus, imaging method, and distance measuring method according to the present invention, the imaging apparatus further includes electronic zoom processing means for performing signal processing on the imaging signal to electronically change the size of the subject image. The imaging magnification by at least one imaging system may be changed by performing electronic zoom processing by the electronic zoom processing means. By using the electronic zoom process in combination, it is possible to shoot with a wider range of shooting magnifications. In particular, smoother zoom shooting can be performed by continuously changing the shooting magnification between the respective imaging systems by electronic zoom processing.
本発明による撮像装置および撮像方法、ならびに測距方法では、互いに撮影画角の異なる第1および第2の撮像系により、同一被写体が互いに異なる撮影画角で撮影される。そして、第1の撮像系による撮影画像と第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系からの各撮像信号が補正される。補正後の各撮像信号に基づいて、各撮像系による各撮影画像同士の相関演算が行われ、その相関値に基づいて、被写体までの距離が算出される。 In the imaging apparatus, imaging method, and distance measuring method according to the present invention, the same subject is photographed at different photographing angles by the first and second imaging systems having different photographing angles. Then, each image pickup signal from each image pickup system is corrected so that the image picked up by the first image pickup system and the image picked up by the second image pickup system are images picked up under the same image pickup conditions with respect to the angle of view. Is done. Based on each corrected imaging signal, correlation calculation between each captured image by each imaging system is performed, and the distance to the subject is calculated based on the correlation value.
各撮像信号の補正としては、例えば、各撮像系による各撮影画像同士が、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系のうち相対的に広角側の撮像系からの撮像信号に対して、信号の間引きが行われると共に、相対的に望遠側の撮像系からの撮像信号に対して、信号の間引きもしくは平均化が行われる。 As the correction of each imaging signal, for example, relatively wide-angle imaging is performed in each imaging system so that each captured image by each imaging system becomes an image captured under the same imaging condition with respect to the angle of view. Signal thinning is performed on the image pickup signal from the system, and signal thinning or averaging is performed on the image pickup signal from the relatively telescopic image pickup system.
算出された距離の情報は、例えば各撮像系間に生ずるパララックスの補正に利用される。その他にも、距離の情報を例えばフラッシュ光量制御に利用するようにしても良い。 The calculated distance information is used, for example, for correcting parallax generated between the imaging systems. In addition, the distance information may be used for flash light amount control, for example.
なお、本発明による撮像装置および撮像方法、ならびに測距方法において、撮像系は、2つに限らず3以上あっても良い。その場合、3以上の撮像系からの各撮像信号をすべて用いて被写体までの距離を算出するようにしても良いし、一部の撮像系からの各撮像信号を用いて被写体までの距離を算出するようにしても良い。また例えば、3つの撮像信号を用いて距離を算出する場合、第1〜第3の撮像系による各撮影画像同士の相関演算をすべて同時に行っても良いし、例えば第1,第2の撮像系による各撮影画像同士の第1の相関値と、例えば第2,第3の撮像系による各撮影画像同士の第2の相関値とを別々に算出し、さらにそれら第1,第2の相関値に基づいて、距離の算出を行うようにしても良い。3以上の撮像系による各撮影画像同士の相関を調べることで、2つの撮像系の場合に比べて距離の算出の精度を高めることができる。 In the imaging apparatus, imaging method, and distance measuring method according to the present invention, the imaging system is not limited to two and may be three or more. In that case, the distance to the subject may be calculated using all the imaging signals from three or more imaging systems, or the distance to the subject may be calculated using the imaging signals from some imaging systems. You may make it do. Further, for example, when calculating the distance using three imaging signals, all of the correlation calculations between the captured images by the first to third imaging systems may be performed simultaneously, for example, the first and second imaging systems. The first correlation value between the respective captured images according to, and the second correlation value between the respective captured images by the second and third imaging systems, for example, are calculated separately, and the first and second correlation values are further calculated. Based on the above, the distance may be calculated. By investigating the correlation between each captured image by three or more imaging systems, it is possible to improve the accuracy of distance calculation as compared to the case of two imaging systems.
本発明による撮像装置および撮像方法、ならびに測距方法によれば、互いに異なる撮影画角で撮影された第1の撮像系による撮影画像と第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系からの各撮像信号を補正し、補正後の各撮像信号に基づいて、各撮像系による各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出するようにしたので、撮影画角の異なる複数の撮像系を利用して、精度の高い測距を行うことができる。 According to the imaging apparatus, the imaging method, and the distance measuring method according to the present invention, an image captured by the first imaging system and an image captured by the second imaging system captured at different imaging angles are mutually related with respect to the angle of view. Correct each imaging signal from each imaging system so that it is an image captured under the same imaging conditions, and perform correlation calculation between each captured image by each imaging system based on each imaging signal after correction, Since the distance to the subject is calculated based on the correlation value, highly accurate distance measurement can be performed using a plurality of imaging systems having different shooting angles of view.
特に、本発明による撮像装置および撮像方法では、算出された距離の情報に基づいて、各撮像系間に生ずるパララックスが補正されるように、各撮像系により得られた各撮影画像の補正を行うようにしたので、撮影画角の異なる複数の撮像系を利用して、精度の高い測距を行うことができると共に、撮影画角の異なる複数の撮像系間に生ずるパララックスの補正を、簡単な構成で実現できる。 In particular, in the imaging apparatus and imaging method according to the present invention, each captured image obtained by each imaging system is corrected so that the parallax generated between each imaging system is corrected based on the calculated distance information. Since it was made to perform, it is possible to perform highly accurate distance measurement using a plurality of imaging systems with different shooting angles of view, and to correct parallax generated between a plurality of imaging systems with different shooting angles of view. This can be realized with a simple configuration.
以下、本発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1(A),(B)は、本発明の一実施の形態に係る撮像装置を用いた情報端末機器の外観を示している。図2は、この情報端末機器の信号処理回路を示している。ここでは、情報端末機器として、折りたたみ式のカメラ付き携帯電話を示している。 1A and 1B show the appearance of an information terminal device using an imaging device according to an embodiment of the present invention. FIG. 2 shows a signal processing circuit of the information terminal device. Here, a folding camera-equipped mobile phone is shown as the information terminal device.
このカメラ付き携帯電話は、上部筐体2Aと下部筐体2Bとを備え、両者が図1(A)の矢印方向に回動自在に構成されている。下部筐体2Bには、操作キー3やマイク4などが設けられている。上部筐体2Aには、表示部5、スピーカ6、アンテナ7、撮像モジュール10、およびズーム操作部11などが設けられている。
This camera-equipped mobile phone includes an
表示部5は、LCD(液晶パネル)やEL(Electro-Luminescence)パネルなどの表示パネル51(図2)によって構成されている。表示部5は、折りたたみ時に内面となる側に配置されている。この表示部5には、電話機能に関する各種メニュー表示のほか、撮像モジュール10によって撮影された画像などを表示することが可能となっている。
The display unit 5 includes a display panel 51 (FIG. 2) such as an LCD (liquid crystal panel) or an EL (Electro-Luminescence) panel. The display part 5 is arrange | positioned at the side used as an inner surface at the time of folding. In addition to various menu displays relating to the telephone function, the display unit 5 can display images taken by the
ズーム操作部11は、望遠側(T)および広角側(W)のいずれで撮影を行うかを指示するためのものであり、利用者によって操作される。
The
撮像モジュール10は、例えば上部筐体2Aの裏面側に配置されている。ただし、撮像モジュール10を設ける位置は、これに限定されない。撮像モジュール10は、このカメラ付き携帯電話は、同一の被写体を撮影可能な複数の撮像系10A,10B,10Cを撮像モジュール10として備え、撮影倍率に応じて各撮像系10A,10B,10Cによる撮影画像を適宜切り替えて使用するようになっている。撮像系10A,10B,10Cは、図2に示したように、それぞれ撮像レンズ25A,25B,25Cとセンサ部20A,20B,20Cとを有している。撮像系10A,10B,10Cが、本発明における「撮像系」の一具体例に対応する。
The
各撮像系10A,10B,10Cは、同一被写体を撮影可能とするために、互いに近接して配置されている。より詳しくは、各撮像系10A,10B,10Cにおいて、各撮像レンズ25A,25B,25Cが、同一被写体側に向けて互いに近接して配置され、光軸が略一致するようにして配置されている。各撮像レンズ25A,25B,25Cは、機械的に干渉しない範囲内において、できるだけ近接して配置されていることが、各撮像レンズ間のパララックス(被写体像のずれ)を少なくする上で好ましい。また、各撮像レンズ25A,25B,25Cは、すべて固定部材であり、可動部分を含まない構成にすることが好ましい。これにより、レンズの移動機構が不要となり、機械的に構成が簡単になると共に、構造的に強度を上げることができ、堅牢性を保ちやすくなる。
The
各撮像レンズ25A,25B,25Cは、互いに焦点距離の異なる単焦点レンズ、例えば、焦点距離fが35mm(広角用),70mm(望遠用),50mm(中間用)の単焦点レンズにより構成されている。各撮像レンズ25A,25B,25Cの焦点距離が互いに異なっていることにより、異なる画角による被写体像が得られるようなっている。各撮像レンズ25A,25B,25Cが、本発明における「単焦点レンズ」の一具体例に対応する。
Each of the
図3(A),(B)に、撮像レンズ25A,25B,25Cのうち、特に、広角側(焦点距離f=35mm)と望遠側(焦点距離f=70mm)の撮像レンズ25A,25Bの具体例を示す。中間用の撮像レンズ25Cについては図示を省略する。各例共に、光軸Z1に沿って物体側から順に、絞りGS、第1レンズG1および第2レンズG2が配設された2枚構成の単焦点レンズとなっている。CGは、撮像素子を保護するカバーガラスである。各単焦点レンズは、それぞれ焦点距離fが35mm,70mmにおいて最も良好な結像性能が得られるように最適化されている。
3A and 3B, among the
このカメラ付き携帯電話は、図2に示したように、信号処理回路として、センサ部20A,20B,20Cと、切替部26と、DSP(Digital Signal Processor)部30とを備えている。
As shown in FIG. 2, the camera-equipped cellular phone includes
センサ部20A,20B,20Cは、センサ受光部21A,21B,21Cと、CDS(Correlated Double Sampler)/AGC(Automatic Gain Control)回路22A,22B,22Cと、A/D(アナログ/デジタル)変換回路23A,23B,23Cと、TG(Timing Generetor)回路24A,24B,24Cとを有している。
The
センサ受光部21A,21B,21Cは、各撮像レンズ25A,25B,25Cに対応して設けられ、各撮像レンズ25A,25B,25Cによる被写体像に応じた撮像信号を出力するようになっている。センサ受光部21A,21B,21Cは、例えばCCDやCMOSなどの撮像素子により構成されている。各センサ受光部21A,21B,21Cは、基本的に同一構成で構わない。すなわち、画素数および画素サイズが同一の撮像素子を用いることが可能である。各センサ受光部21A,21B,21Cが、本発明における「撮像素子」の一具体例に対応する。
The sensor
CDS/AGC回路22A,22B,22Cは、センサ受光部21A,21B,21Cからの撮像信号に含まれるノイズを除去すると共に、その信号レベルが所定のレベルとなるように利得調整を行うための回路である。A/D変換回路23A,23B,23Cは、CDS/AGC回路22A,22B,22Cを経た撮像信号をデジタル信号に変換するためのものである。TG回路24A,24B,24Cは、タイミング信号を生成し、センサ受光部21A,21B,21Cにおける撮像信号の読み出しタイミングを制御するためのものである。
The CDS /
切替部26は、センサ部20A,20B,20Cからの撮像信号を選択的に切り替えて、DSP部30に出力するものである。切替部26は、本発明における「切替手段」の一具体例に対応する。
The switching
なお、センサ部20A,20B,20Cからの信号をすべて、後述するDSP40に入力し、DSP40の内部において信号の切り替えを行うような構成にすることも可能である。
It is also possible to adopt a configuration in which all signals from the
DSP部30は、DSP40と、フラッシュメモリ31と、外部メモリ32と、SDRAM(Synchronous Dynamic Random Access Memory)33と、電源34と、パネル電源35とを有している。
The
電源34は、センサ部20A,20B,20CとDSP40とに電力を供給するためのものである。パネル電源35は、表示パネル51を駆動する電力を供給するためのものである。
The
フラッシュメモリ31は、表示パネル51に表示する画像データなどを記憶するためのものである。外部メモリ32は、撮影した画像データなどを記録するためのものであり、例えばスマートメディアなどを利用することができる。SDRAM33は、DSP40において各種画像処理を行うための演算用のメモリである。
The
DSP40は、センサ部20A,20B,20Cからの撮像信号に対して、電子ズーム処理を行うなど、各種のデジタル画像処理を行う機能を有している。ここで、「電子ズーム処理」とは、撮像信号に対して信号処理を施して、電子的に被写体像の大きさを変化させる処理のことをいう。DSP40が、本発明における「電子ズーム処理手段」の一具体例に対応する。
The
DSP40はまた、CDS回路22A,22B,22CやTG回路24A,24B,24Cなどの各回路の制御を行う機能を有している。DSP40はまた、デジタルI/O(Input/Output)回路41およびパネルコントローラ42を有し、表示パネル51の制御を行うようになっている。
The
DSP40はまた、切替制御部43を有している。切替制御部43は、ズーム操作部11からの操作信号に基づいて、切替部26を制御し、撮像信号として、いずれのセンサ部20A,20B,20Cからの信号を採用するかを制御する機能を有している。
The
DSP40はさらに、測距部44とパララックス補正部45とを有している。測距部44は、本発明における「画像補正手段」および「演算手段」の一具体例に対応する。パララックス補正部45は、本発明における「パララックス補正手段」の一具体例に対応する。
The
測距部44は、3つの撮像系10A,10B,10Cのうち、少なくとも2つの撮像系からの撮像信号を用いて被写体までの距離を算出する機能を有している。測距部44は、各撮像系10A,10B,10Cによる撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系10A,10B,10Cからの各撮像信号を補正するようになっている。より具体的には、各撮像系10A,10B,10Cによる各撮影画像同士が画角に関して互いに同一の撮影条件となるように、各撮像系10A,10B,10Cのうち相対的に広角側の撮像系からの撮像信号に対して、信号の間引きを行うようになっている。測距部44はまた、相対的に望遠側の撮像系からの撮像信号に対して、信号の間引きもしくは平均化を行うようになっている。
The
測距部44はまた、補正後の各撮像信号に基づいて、各撮像系10A,10B,10Cによる各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出するようになっている。
The
なお図示しないが、測距部44は、各撮像系10A,10B,10Cからの撮像信号を示す画像データを一時的に格納するための画像メモリなどを有している。
Although not shown, the
パララックス補正部45は、測距部44により算出された距離の情報に基づいて、各撮像系間に生ずるパララックスが補正されるように、各撮像系10A,10B,10Cにより得られた各撮影画像を補正する機能を有している。
The
測距部44による測距の具体的な方法、およびパララックス補正部45によるパララックス補正の具体的な方法については、後に詳述する。
A specific method of distance measurement by the
次に、以上のように構成されたカメラ付き携帯電話の動作を説明する。 Next, the operation of the camera-equipped mobile phone configured as described above will be described.
まず、撮影時の基本動作を説明する。このカメラ付き携帯電話では、互いに焦点距離の異なる複数の撮像レンズ25A,25B,25Cによって、複数の焦点距離による被写体像が得られる。センサ受光部21A,21B,21Cでは、各撮像レンズ25A,25B,25Cによる被写体像に応じた撮像信号を出力する。各センサ受光部21A,21B,21Cからの撮像信号は、CDS/AGC回路22A,22B,22Cによってノイズ除去処理などが施された後、A/D変換回路23A,23B,23Cによって、デジタル信号に変換されて出力される。
First, the basic operation during shooting will be described. In this camera-equipped mobile phone, a subject image having a plurality of focal lengths can be obtained by a plurality of
切替部26は、DSP40の切替制御部43からの出力選択信号に基づいて、センサ部20A,20B,20Cからの撮像信号を選択的に切り替えて切替制御部43に出力する。切替制御部43は、ズーム操作部11からの操作信号に基づいて、撮影倍率に応じて切替部26に出力選択信号を出力し、切り替え制御を行う。
The switching
DSP40は、ズーム操作部11からの操作信号に基づいて、撮影倍率に応じた電子ズーム処理を行う。なお、撮影倍率が各撮像レンズ25A,25B,25Cの焦点距離に対応する値のときには、電子ズーム処理を行う必要はない。
The
このように、このカメラ付き携帯電話では、撮影倍率に応じて各撮像系10A,10B,10Cによる撮像信号を適宜切り替えて使用する。また撮影倍率に応じて、各撮像系10A,10B,10Cからの撮像信号に対して電子ズーム処理を施す。
Thus, in this camera-equipped mobile phone, the imaging signals from the
次に、このカメラ付き携帯電話における、各撮像レンズと撮影倍率との関係、および撮影倍率と電子ズーム処理との関係について説明する。3つの撮像レンズ25A,25B,25Cを用いた場合を説明する前に、まず、中間用の撮像レンズ25Cを用いないで、広角と望遠用の2つの撮像レンズ25A,25Bのみを用いた場合について説明する。
Next, the relationship between each imaging lens and the shooting magnification and the relationship between the shooting magnification and the electronic zoom processing in this camera-equipped mobile phone will be described. Before describing the case where the three
図4は、このカメラ付き携帯電話において、広角と望遠用の2つの撮像レンズ25A,25Bを用いた場合における、各撮像レンズ25A,25Bと撮影倍率との関係を示している。ここでは、撮像レンズ25A,25Bとして、焦点距離fが35mmの単焦点レンズと70mmの単焦点レンズとを使用する例を示す。この場合、焦点距離fが35mmの単焦点レンズによって得られた撮像信号に対して、撮影倍率にして例えば1.0倍(焦点距離fで35mm)を超えて1.4倍(焦点距離fで50mm)までは電子ズーム処理を行う。また、焦点距離fが70mmの単焦点レンズによって得られた撮像信号に対して、撮影倍率にして例えば2.0倍を超えて3.0倍(焦点距離fで105mm)までは電子ズーム処理を行う。
FIG. 4 shows the relationship between the
ここで、各撮像レンズ25A,25Bが、200万画素の撮像素子に対応可能な解像度を有しているものとすると、撮影倍率が1.0倍のときと、撮影倍率が2.0倍(焦点距離fで70mm)のときには、各撮像レンズ25A,25Bにより直接的に200万画素クラスの解像度が得られる。電子ズーム処理を行うことで、拡大率が高くなるほど画像が劣化するが、撮影倍率が1.0倍〜1.4倍までと2.0倍〜3.0倍までは、100万画素の撮像素子に対応可能な解像度を保ったままズーム動作を行うことができる。なお、この例では、100万画素の撮像素子を使用することを前提としているため、1.4倍〜2.0倍までの間でズームが行われない領域が存在しているが、撮像素子としてもっと低画素のものを使用する場合には、この領域においても電子ズーム処理を行い、すべての領域で連続的にズーム動作を行うことができる。
Here, assuming that each of the
図5は、3つの撮像レンズ25A,25B,25Cを用いた場合における、各撮像レンズと撮影倍率との関係を示している。ここでは、撮像レンズ25A,25B,25Cとして、焦点距離fが35mmの単焦点レンズと70mmの単焦点レンズと50mmの単焦点レンズとを使用する例を示す。すなわち、図4の例に比べて50mmの単焦点レンズを追加したものである。
FIG. 5 shows the relationship between each imaging lens and photographing magnification when three
この場合、焦点距離fが35mmの単焦点レンズによって得られた撮像信号に対して、撮影倍率にして例えば1.0倍を超えて1.4倍未満のときに電子ズーム処理を行う。また、焦点距離fが50mmの単焦点レンズによって得られた撮像信号に対して、撮影倍率にして例えば1.4倍を超えて2.0倍未満のときに電子ズーム処理を行う。さらに、焦点距離fが70mmの単焦点レンズによって得られた撮像信号に対して、撮影倍率にして例えば2.0倍を超えて3.0倍までは電子ズーム処理を行う。 In this case, an electronic zoom process is performed when an imaging signal obtained by a single focal lens having a focal length f of 35 mm is greater than 1.0 times and less than 1.4 times as an imaging magnification. In addition, an electronic zoom process is performed when an imaging signal obtained by a single focus lens having a focal length f of 50 mm is set to an imaging magnification of, for example, more than 1.4 times and less than 2.0 times. Furthermore, electronic zoom processing is performed on an imaging signal obtained by a single focal length lens having a focal length f of 70 mm when the imaging magnification exceeds, for example, 2.0 times to 3.0 times.
ここで、各撮像レンズ25A,25B,25Cが、200万画素の撮像素子に対応可能な解像度を有しているものとすると、撮影倍率が1.0倍、1.4倍および2.0倍のときには、各撮像レンズ25A,25B,25Cにより直接的に200万画素クラスの解像度が得られる。そして、電子ズーム処理を併用することで、撮影倍率が1.0倍〜3.0倍まで、100万画素の撮像素子に対応可能な解像度を保ったまま、連続的にズーム動作を行うことができる。
Here, assuming that each of the
このように、このカメラ付き携帯電話によれば、同一の被写体を、焦点距離の異なる撮像レンズ25A,25B,25Cを搭載した撮像系10A,10B,10Cによって撮影し、撮影倍率に応じて各撮像系10A,10B,10Cによる撮像信号を選択的に切り替えて使用するようにしたので、簡単な構成で、複数の撮影倍率での撮影を行うことができる。また、撮像レンズ25A,25B,25Cとして単焦点レンズを用いるようにしたので、ズームに関するレンズの移動機構が不要となり、ズームレンズを用いた場合に比べて、構造的に強度を上げることができ、堅牢性を保ちやすくなる。
Thus, according to the camera-equipped mobile phone, the same subject is photographed by the
また、電子ズーム処理を併用することにより、より広範囲の撮影倍率での撮影が可能となる。特に、電子ズーム処理により、各撮像レンズの各焦点距離間において撮影倍率を連続的に変えることで、連続的なズーム動作を行うことができる。このようにして、簡単な構成で、撮像素子の高画素化に対応したズーム機能を実現できる。 Further, by using the electronic zoom processing together, it is possible to perform photographing with a wider range of photographing magnification. In particular, a continuous zoom operation can be performed by continuously changing the imaging magnification between the focal lengths of the imaging lenses by electronic zoom processing. In this way, it is possible to realize a zoom function corresponding to an increase in the number of pixels of the image sensor with a simple configuration.
次に、測距部44による測距の動作を説明する。
Next, the distance measuring operation by the
まず、測距の前段階として行う画像の補正について説明する。ここでは、説明を簡単にするために、広角用の撮像系10Aと望遠用の撮像系10Bとによる撮影画像を用いて測距を行う場合を例に説明する。
First, image correction performed as a pre-stage of distance measurement will be described. Here, in order to simplify the description, an example will be described in which distance measurement is performed using images captured by the wide-
図6(A)は、広角用の撮像系10Aと望遠用の撮像系10Bとにより、同一の被写体90を撮影している状態を模式的に示している。撮像系10A,10Bとしては、広角用の撮像レンズ25Aおよび望遠用の撮像レンズ25Bと撮像素子としてのセンサ受光部21A,21Bとを代表して図示している。広角用のセンサ受光部21Aの画素ピッチSw1および全体の画素サイズSwは、望遠用のセンサ受光部21Bの画素ピッチSt1および全体の画素サイズStと同じものとする。また、画素数もそれぞれ同じものとする。被写体90は、中心を境界にして白色と黒色とのパターンで構成されているものとする。なお、例えば広角用の撮像系10Aを後側にずらすことにより、センサ受光部21A,21Bが同一平面上に配置されていても良い。
FIG. 6A schematically shows a state where the
図6(A)に示したように、本実施の形態において、広角用の撮像系10Aと望遠用の撮像系10Bとでは、撮像レンズ25A,25Bによる異なる画角θ1,θ2での被写体像が、同一の大きさのセンサ受光部21A,21Bに結像され、撮像信号として出力される。一方、後述するように、本実施の形態では、2つの撮影画像を示す各撮像信号のずれ量に基づいて測距を行う。このためには、2の撮像系による各撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となっている必要がある。このため、測距部44では、各撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となるように画像の補正を行う。
As shown in FIG. 6A, in the present embodiment, in the wide-
図6(B)は、この画像の補正の概念を模式的に示したものである。測距部44は、図6(B)に示したように、広角側のセンサ受光部21Aからの撮像信号に対しては、望遠側の撮影画角θ2と同等となるように、信号の間引き(画素領域の縮小)を行う。また、望遠側のセンサ受光部21Bからの撮像信号に対しては、信号間引き後における広角側の画像の大きさ、解像度に合わせるために、信号の間引きもしくは画素の平均化を行う。
FIG. 6B schematically shows the concept of image correction. As shown in FIG. 6B, the
なお、ここでは2つの撮像系を例に説明したが、3つ以上の撮像系を同時に測定に用いることも可能である。この場合、最も望遠側の画角に合わせるように、それよりも広角側の他の撮像系からの撮像信号に対して、信号の間引きを行う。また、信号の間引き後の最も広角側の画像の大きさ、解像度に合わせるように、それよりも望遠側の他の撮像系からの撮像信号に対して、信号の間引きもしくは画素の平均化を行う。 Although two imaging systems have been described here as examples, it is possible to use three or more imaging systems for measurement at the same time. In this case, signal thinning is performed on image pickup signals from other image pickup systems on the wider angle side so as to match the angle of view on the most telephoto side. In addition, signal thinning or pixel averaging is performed on imaging signals from other imaging systems on the telephoto side more than that so as to match the size and resolution of the image on the widest-angle side after signal thinning. .
また例えば、広角用の撮像系10Aと望遠用の撮像系10Bとのペアと、望遠用の撮像系10Bと中間用の撮像系10Cのペアとで、それぞれ後述する相関値を別々に算出し、さらにそれら2つの相関値に基づいて、距離の算出を行うようにしても良い。3以上の撮像系による各撮影画像同士の相関を調べることで、2つの撮像系の場合に比べて距離の算出の精度を高めることができる。
Further, for example, a correlation value described later is separately calculated for each of the pair of the wide-
次に、測距の具体例を説明する。ここでは、パッシブ方式による測距の例を説明する。センサ受光部21A,21Bとして、例えばCMOSラインセンサが直線上に配列された複数のセル(受光素子)によって構成されているものとする。なお、ここでは上述した画角に関する画像の補正が既になされているものとして説明する。画角に関して補正がなされているので、撮像系として広角、望遠の区別はなくなるので、ここではセンサ受光部21A,21Bを、その配置位置で区別し、右側センサ受光部21A、左側センサ受光部21Bと呼ぶ。
Next, a specific example of distance measurement will be described. Here, an example of distance measurement by the passive method will be described. As the sensor
右側センサ受光部21Aと左側センサ受光部21Bとのそれぞれのセルには図中左側から順にセンサ番号1,2,3…233,234が付されるものとする。
また、右側センサ受光部21Aおよび左側センサ受光部21Bの左右両側の例えば5つずつのセルは、ダミーのセルとして実際には使用されない。
It is assumed that
In addition, for example, five cells on both the left and right sides of the right sensor
右側センサ受光部21Aおよび左側センサ受光部21Bの各セルからは受光した光量に応じた光信号(輝度信号)がセンサ番号と関連付けて測距部44に順次出力される。測距部44は、右側センサ受光部21Aおよび左側センサ受光部21Bから得た各セルの輝度信号を各セル毎に積分(加算)し、各セル毎の輝度信号の積分値(光量の積分値)を取得する。なお、以下、単に積分値という場合には、輝度信号の積分値を示し、また、単に積分または積分処理という場合には輝度信号の積分値を得るための積分または積分処理を示すものとする。
From each cell of the right sensor
また、測距部44は、右側センサ受光部21Aと左側センサ受光部21Bのそれぞれのセンサ領域内(全セル内)に設定されるピーク選択領域内において、いずれかのセルの積分値が所定値(積分終了値)に達したことを検出すると(所定の光量が得られた場合には、測距を行うのに十分なデータが得られたと判断して)、積分処理を終了する。なお、各セルの積分値として出力する値は、各セルの輝度信号の積分値を所定の基準値から減算した値であり、受光した光量が多い程、低い値を示す。以下において、基準値から輝度信号の積分値を減算した値を輝度信号の積分値という。
In addition, the
測距部44は、右側センサ受光部21Aと左側センサ受光部21Bとで撮像された画像(以下、センサ像ともいう)を取得する。そして、右側センサ受光部21Aと左側センサ受光部21Bとのそれぞれのセンサ像の間で相関値演算を行い、それらのセンサ像のズレ量を求め、被写体90までの距離を算出する(三角測量の原理)。
The
図7(A),(B)は、被写体90までの距離が近い場合のセンサ像を例示したものである。図8(A),(B)は、被写体90までの距離が遠い場合のセンサ像を例示したものである。被写体90までの距離が近い場合、図7(A)に示すように左側センサ受光部21Bのセンサ番号87〜101までの輝度信号の積分値は明るい値(50)となり、センサ番号101〜150までは暗い値(200)となる。また図7(B)に示すように、右側センサ受光部21Aについては、左側センサ受光部21Bと異なる位置に設けられているため、センサ番号85〜135までの輝度信号の積分値は明るい値(50)となり、センサ番号136〜148までは暗い値(200)となる。
FIGS. 7A and 7B illustrate sensor images when the distance to the subject 90 is short. 8A and 8B exemplify sensor images when the distance to the subject 90 is long. When the distance to the subject 90 is short, as shown in FIG. 7A, the integrated value of the luminance signal up to
これに対して、被写体90までの距離が遠い場合(例えば略無限遠の場合)には、図8(A)に示すように、左側センサ受光部21Bのセンサ番号87〜117までの光量の積分値は明るい値(50)となり、センサ番号118〜150までは暗い値(200)となる。一方、図8(B)に示すように、右側センサ受光部21Aは、左側センサ受光部21Bとは異なる位置に設けられているものの被写体位置が遠距離に存在するために、センサ番号85〜116までの光量の積分値は明るい値(50)となり、センサ番号117〜148までは暗い値(200)となる。この場合に測距部44は、右側センサ受光部21Aと左側センサ受光部21Bのセンサ像のズレ量がほとんどなく、被写体が略無限遠に存在すると判断することができる。これに対して、図7(A),(B)に示したように被写体が近距離に存在する場合には、センサ像のズレ量が大きくなる。
On the other hand, when the distance to the subject 90 is long (for example, approximately infinity), as shown in FIG. 8 (A), the integration of the light amounts from the
定量的には、被写体距離は、右側センサ受光部21Aと左側センサ受光部21Bとの間隔および各センサからレンズ25A,25Bまでの距離、右側センサ受光部21Aおよび左側センサ受光部21Bの各セルのピッチ(例えば12μm)等を考慮して、センサ像のズレ量から算出することができる。
Quantitatively, the subject distance is the distance between the right sensor
センサ像のズレ量は、右側センサ受光部21Aと左側センサ受光部21Bのそれぞれのセンサ像の間で相関値演算を行うことにより求めることができる。例えば、右側センサ受光部21Aと左側センサ受光部21Bのそれぞれに同じ数(総数WO)のセルを含むウインドウ領域を設定し、そのウインドウ領域内の各セルの番号i(上記センサ番号ではなく、右側センサ受光部21Aと左側センサ受光部21Bのそれぞれのウインドウ領域内において同じ配列(例えば右から順に1〜WO)で各セルに割り当てた番号)の輝度信号の積分値を右側センサ受光部21AについてはR(i)、左側センサ受光部21BについてはL(i)とする。このとき、相関値fは、
f=Σ|L(i)−R(i)| (i=1〜WO)
となる。
The shift amount of the sensor image can be obtained by performing a correlation value calculation between the sensor images of the right sensor
f = Σ | L (i) −R (i) | (i = 1 to WO)
It becomes.
そして、右側センサ受光部21Aと左側センサ受光部21Bのウインドウ領域の相対的な位置関係(距離)を例えば1セルずつずらしながら、上記相関値fを求めると、相関値fが最小になるところが検出される。例えば、ウインドウ領域の基準となる相対的な位置関係(例えば、無限遠の被写体に対して最小の相関値fが得られる位置関係)に対して、右側センサ受光部21Aと左側センサ受光部21Bのウインドウ領域が相対的に離れる方向にnセル分ずらした場合の相関値をf(n)とすると、最小の相関値f(n)が検出された際のnがセンサ像のズレ量となる。
Then, when the correlation value f is obtained while shifting the relative positional relationship (distance) between the window areas of the right sensor
図9(A),(B)に、この相関値演算の演算結果をグラフ化したものを示す。図9(A)は、被写体距離が近い場合の例であり、相関値f(n)が近距離側で極小値になっていることが分かる。図9(B)は、被写体距離が遠い場合の例であり、相関値f(n)が遠距離側で極小値になっていることが分かる。 FIGS. 9A and 9B are graphs showing the calculation results of the correlation value calculation. FIG. 9A shows an example where the subject distance is short, and it can be seen that the correlation value f (n) is a local minimum on the short distance side. FIG. 9B shows an example where the subject distance is long, and it can be seen that the correlation value f (n) is a minimum value on the long distance side.
図10は、以上の測距部44による測距動作の流れを示している。測距部44は、広角用の撮像系10Aと望遠用の撮像系10Bとからのそれぞれの撮像信号を、図示しない画像メモリに画素データとして一時的に格納する。そして、それら各撮像系10A,10Bの画素データを読み出す(ステップS11,S12)。このときに、図6(B)を用いて説明したように、広角側の画素データについては、画素データの間引きを行い、望遠側の画素データについては、画素データの間引きもしくは平均化を行う(ステップS13)。そして、それら補正後の画素データを用いて、上述の相関演算を行い(ステップS14)、測定対象となる主被写体までの距離を算出する(ステップS15)。
FIG. 10 shows the flow of the distance measuring operation by the
次に、パララックス補正部45によるパララックス補正の動作について説明する。
Next, the parallax correction operation by the
図12は、各撮像系10A,10B,10Cの位置の違いにより発生するパララックス(被写体像のずれ)の発生の原理を示している。ここでは、画角θ1の広角用の撮像レンズ25A、画角θ2の望遠用の撮像レンズ25B、および画角θ3の中間用の撮像レンズ25Cが、右側から順に配置されている例を図示している。
FIG. 12 shows the principle of the occurrence of parallax (subject image shift) caused by the difference in position between the
このような光学系配置の場合、各撮像レンズ25A,25B,25C間で光軸100A,100B,100Cにずれが生じる。このため、各レンズで撮影される被写体像の中心位置がずれ、各レンズ間で被写体像のずれが生ずる。この被写体像のずれは、相対的に被写体距離が近いほど大きく発生する。すなわち、図12における3つの被写体位置90T,90M,90Wでは、被写体が遠方の位置90Tにある場合には、被写体の撮影範囲全体に対して光軸のずれ量が相対的に小さいので、各レンズ間での被写体像のずれは比較的小さい。一方、被写体が近い位置90Wにある場合には、被写体の撮影範囲全体に対して光軸のずれ量が相対的に大きくなるので、各レンズ間での被写体像のずれが相対的に大きくなる。
In the case of such an optical system arrangement, the
このようにパララックスの発生は、被写体距離が近いほど大きく発生するので、被写体距離に応じてパララックスの補正を行うことが望ましい。また、本実施の形態では、各撮像系10A,10B,10Cを切り替えて撮影倍率を変えるため、撮影倍率に応じてパララックスが発生する。次に、この撮影倍率に応じたパララックスの補正について説明する。
As described above, the occurrence of parallax increases as the subject distance is shorter. Therefore, it is desirable to correct the parallax according to the subject distance. In the present embodiment, since the imaging magnification is changed by switching the
図13(A),(B),(C)は、各撮像系10A,10B,10Cに光軸100のずれがなく、理想的なズーム撮影が行われた場合の被写体90の見え方を模式的に示している。ここでは、広角用の撮像系10Aによる光学像を標準(撮影倍率の基準)とし、その画像に対して撮影倍率2倍に達する前までは電子ズームを行い(図13(A))、撮影倍率2倍からは中間用の撮像系10Cに切り替えて、撮影倍率3倍に達する前までは電子ズームを行い(図13(B))、さらに撮影倍率3倍からは望遠用の撮像系10Bに切り替える(図13(C))ものとする。図13(A)において、101W−1は、広角用の撮像系10Aによる標準倍率での撮影範囲を示し、101W−2は、電子ズームによる撮影倍率2倍での撮影範囲を示している。図13(B)において、101M−1は、中間用の撮像系10Cによる撮影倍率2倍での撮影範囲を示し、101M−2は、電子ズームによる撮影倍率3倍での撮影範囲を示している。図13(C)において、101Tは、望遠用の撮像系10Bによる撮影倍率3倍での撮影範囲を示している。
FIGS. 13A, 13B, and 13C schematically illustrate how the subject 90 looks when the
このように、各撮像系10A,10B,10C間に光軸100のずれがない場合、各撮影倍率で被写体中心110と光軸100とが一致しているので、各撮影倍率間でパララックスは発生しない。
As described above, when there is no deviation of the
しかしながら、実際には、各撮像系10A,10B,10Cの光軸100A,100B,100Cにずれがあるため、各撮影倍率間で基準の被写体中心110と各レンズで撮影される被写体像の中心位置がずれ、各レンズ間で被写体像のずれが生ずる。
However, in reality, there is a shift in the
図14(A),(B),(C)は、撮影倍率の違い(撮像系の違い)で発生するパララックスの発生とその補正の概念を模式的に示している。撮影倍率の切り替え動作は、図13(A),(B),(C)の場合と同様とする。図14(A)において、102W−1は、広角用の撮像系10Aによる標準倍率での撮影範囲を示し、102W−2は、電子ズームによる撮影倍率2倍での撮影範囲を示している。図14(B)において、102M−1は、中間用の撮像系10Cによる撮影倍率2倍での撮影範囲を示し、102M−2は、電子ズームによる撮影倍率3倍での撮影範囲を示している。図14(C)において、102Tは、望遠用の撮像系10Bによる撮影倍率3倍での撮影範囲を示している。
14A, 14B, and 14C schematically show the concept of the occurrence of parallax that occurs due to a difference in photographing magnification (difference in imaging systems) and the correction thereof. The switching operation of the photographing magnification is the same as in the case of FIGS. 13A, 13B, and 13C. In FIG. 14A, 102W-1 indicates the shooting range at the standard magnification by the wide-
各光軸100A,100B,100Cの位置関係は、図12に示した状態に対応しているものとする。この場合、望遠側の撮像系10Bの光軸100Bが、他の光軸100A,100Cに対して中心に位置しているので、望遠側の状態(図14(C))を基準に考える。広角側の状態(図14(A))では、広角側の光軸100Aが、望遠側の光軸100Bに対して右側に位置しているので、基準の被写体中心110の位置が左側にずれることになる。このようなパララックスを補正するために、図示したように、その撮影画像の右側の領域を、光軸100Aのずれ量に応じてパララックス補正領域103Wとして切り取るような画像補正を行う。このような補正を行うことで、その補正後の画像中心は、本来の被写体中心110と一致することになり、これにより広角側でのパララックスが補正される。
Assume that the positional relationship between the
逆に、中間の状態(図14(B))では、光軸100Cが、望遠側の光軸100Bに対して左側に位置しているので、基準の被写体中心110の位置が右側にずれることになる。このようなパララックスを補正するために、図示したように、その撮影画像の左側の領域を、光軸100Cのずれ量に応じてパララックス補正領域103Mとして切り取るような画像補正を行う。このような補正を行うことで、その補正後の画像中心は、本来の被写体中心110と一致することになり、これにより中間倍率でのパララックスが補正される。
Conversely, in the intermediate state (FIG. 14B), the optical axis 100C is located on the left side with respect to the telephoto side
このように、画像を一部切り取るような補正を行うために、実際の撮影範囲は一般的な撮影範囲よりも大きめに設定しておくことが望ましい。すなわち、補正後の画像の大きさが、一般的な撮影範囲による画像の大きさと同じになるように、あらかじめ撮影範囲を大きめに設定しておく必要がある。このように撮影範囲を大きめに設定しているため、望遠側の状態(図14(C))では、撮影画像の両側の領域を、パララックス補正領域103Mとして切り取るような画像補正を行う。
As described above, in order to perform correction so as to cut out a part of the image, it is desirable to set the actual shooting range larger than the general shooting range. In other words, it is necessary to set the shooting range larger in advance so that the corrected image size is the same as the image size of the general shooting range. Since the shooting range is set to be large in this way, in the telephoto state (FIG. 14C), image correction is performed such that the areas on both sides of the shot image are cut out as the
なお、上述したようにパララックスの大きさは、被写体距離にも関係しているので、パララックス補正領域103W,103M,103Tの大きさは、被写体距離に応じて変えることが好ましい。
As described above, since the size of the parallax is also related to the subject distance, it is preferable to change the size of the
次に、図11を参照しながら、以上の測距動作およびパララックス補正動作を伴う撮影動作の全体的な流れを説明する。 Next, with reference to FIG. 11, the overall flow of the photographing operation including the distance measuring operation and the parallax correcting operation will be described.
ここでは、初期の撮影倍率が広角端、すなわち広角用の撮像系10Aによる初期の光学倍率に設定されており(ステップS21)、その状態からズーム操作部11が操作され(ステップS22;Y)、そのズーム操作部11の操作に応じて撮影倍率を広角側から望遠側へと変えて撮影する場合を例に説明する。初期状態でズーム操作部11が操作されていない場合には(ステップS22;N)、初期の撮影倍率が維持される。
Here, the initial photographing magnification is set to the wide-angle end, that is, the initial optical magnification by the wide-
ズーム操作部11が操作されると(ステップS22;Y)、測距部44による測距動作を開始する(ステップS23)。測距部44は、あらかじめ図示しないメモリ内に用意されているいくつかの距離の値の中から、測定結果に最も近い値を主被写体距離の値として呼び出す(ステップS24)。測距部44による測定結果の情報は、例えば測距部44内の図示しないメモリや、パララックス補正部45内の図示しないメモリなどに格納される。
When the
またDSP40は、ズーム操作部11の操作に応じて電子ズーム処理を実行する(ステップS25)。電子ズーム処理後の撮影倍率の情報は、パララックス補正部45に出力され、例えばパララックス補正部45内の図示しないメモリなどに格納され、パララックス補正時に随時呼び出される(ステップS26)。パララックス補正部45は、測距部44による測定結果の情報と現在の撮影倍率の情報とに基づいて、図14(A)に示したような広角用のパララックス補正領域103Wを設定し、撮影画像を補正してパララックス補正を行う(ステップS27)。ズーム操作部11の操作が継続していない場合(ステップS28;N)には、これで待機状態となる(ステップS43)。
Further, the
一方、ズーム操作部11の操作が継続している場合(ステップS28;Y)には、DSP40は、広角から中間用の撮像系10Cに切り替える必要があるか否か判断し(ステップS29)、切り替える必要がない場合(N)には、ステップS23に戻り、広角用の撮像系10Aによる同様の撮影動作を行う。
On the other hand, when the operation of the
中間用の撮像系10Cに切り替える必要がある場合(ステップS29;Y)、すなわち撮影倍率が中間域に達した場合には、DSP40は、中間用の撮像系10Cによる撮影に切り替える。中間域での撮影動作(ステップS30〜ステップS36)は、基本的に広角側でのステップS23〜ステップS29の動作と同様である。すなわち、広角側と同様に、測距部44による測距動作を行い(ステップS30,S31)、またDSP40が、ズーム操作部11の操作に応じた電子ズーム処理を実行する(ステップS32)。そして、パララックス補正部45が、測距部44による測定結果の情報と現在の撮影倍率の情報とに基づいて、図14(B)に示したような中間用のパララックス補正領域103Mを設定し、撮影画像を補正してパララックス補正を行う(ステップS34)。ここで、ズーム操作部11の操作が継続していない場合(ステップS35;N)には、これで待機状態となる(ステップS43)。
When it is necessary to switch to the intermediate imaging system 10C (step S29; Y), that is, when the imaging magnification reaches the intermediate range, the
一方、ズーム操作部11の操作が継続している場合(ステップS35;Y)には、DSP40は、中間用から望遠用の撮像系10Bに切り替える必要があるか否か判断し(ステップS36)、切り替える必要がない場合(N)には、ステップS30に戻り、中間用の撮像系10Cによる同様の撮影動作を行う。
On the other hand, when the operation of the
望遠用の撮像系10Bに切り替える必要がある場合(ステップS36;Y)、すなわち撮影倍率が望遠側に達した場合には、DSP40は、望遠用の撮像系10Bによる撮影に切り替える。望遠側での撮影動作(ステップS37〜ステップS41)は、基本的に広角側でのステップS23〜ステップS27の動作と同様である。すなわち、広角側と同様に、測距部44による測距動作を行い(ステップS37,S38)、またDSP40が、ズーム操作部11の操作に応じた電子ズーム処理を実行する(ステップS39)。そして、パララックス補正部45が、測距部44による測定結果の情報と現在の撮影倍率の情報とに基づいて、図14(C)に示したような望遠用のパララックス補正領域103Tを設定し、撮影画像を補正してパララックス補正を行う(ステップS41)。なお、図示を省略しているが、ステップS41の次に、ステップS28と同様、ズーム操作部11の操作が継続しているか否かの判断ステップがあっても良い。撮影倍率が望遠端(最高倍率)にまで達した場合(ステップS42)には、これで待機状態となる(ステップS43)。
When it is necessary to switch to the
なお、図11で示した処理の流れは一例であり、各処理を行うタイミングなどは、これに限定されるものではない。例えば測距を行うタイミングに関しては、所定間隔で定期的に測距を行うようなことも可能である。 Note that the processing flow shown in FIG. 11 is an example, and the timing of performing each processing is not limited to this. For example, with respect to the timing for distance measurement, it is possible to periodically perform distance measurement at predetermined intervals.
以上説明したように、本実施の形態によれば、互いに異なる撮影画角で撮影された各撮像系10A,10B,10Cによる撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となるように、各撮像系10A,10B,10Cからの各撮像信号を補正し、補正後の各撮像信号に基づいて、各撮像系10A,10B,10Cによる各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出するようにしたので、撮影画角の異なる複数の撮像系10A,10B,10Cを利用して、精度の高い測距を行うことができる。
As described above, according to the present embodiment, the images captured by the
また、算出された距離の情報に基づいて、各撮像系間に生ずるパララックスが補正されるように、各撮像系10A,10B,10Cにより得られた各撮影画像の補正を行うようにしたので、撮影画角の異なる複数の撮像系間に生ずるパララックスの補正を、簡単な構成で実現できる。
In addition, the captured images obtained by the
[変形例1]
以上の実施の形態では、各撮像レンズ25A,25B,25Cとして、焦点距離の異なる単焦点レンズを使用すると共に、各センサ受光部21A,21B,21Cとして、画素数および画素サイズが同一の撮像素子を用いた場合について説明した。
[Modification 1]
In the above embodiment, single-focus lenses having different focal lengths are used as the
図15は、上記実施の形態で使用した撮像光学系を模式的に示している。なお以下では、説明を簡略化するために広角用と望遠用の2つの撮像系10A,10Bの構成を代表して説明する。
FIG. 15 schematically shows the imaging optical system used in the above embodiment. Hereinafter, in order to simplify the description, the configuration of the two
撮像レンズ25Aは、広角用の単焦点レンズであり、撮像レンズ25Bは、望遠用の単焦点レンズである。広角用の撮像レンズ25Aの焦点距離fwは、望遠用の撮像レンズ25Bの焦点距離ftに比べて小さい。広角用のセンサ受光部21Aの画素ピッチSw1および全体の画素サイズSwは、望遠用のセンサ受光部21Bの画素ピッチSt1および全体の画素サイズStと同じである。各センサ受光部21A,21Bの画素数Mw,Mtも同じである。すなわち、広角用の撮像系10Aと望遠用の撮像系10Bとで以下のような関係がある。
The
広角系:望遠系
画角 ;θ1>θ2
焦点距離 ;fw<ft
画素数 ;Mw=Mt
画素ピッチ;Sw1=St1
画素サイズ;Sw=St
Wide-angle system: Telephoto field angle; θ1> θ2
Focal length; fw <ft
Number of pixels; Mw = Mt
Pixel pitch; Sw1 = St1
Pixel size; Sw = St
しかしながら、画素サイズが異なる撮像素子を用いることにより、各撮像レンズ25A,25B,25Cとして、同一の焦点距離の単焦点レンズを用いて同様の撮像系を構成することが可能である。
However, by using imaging elements having different pixel sizes, it is possible to configure a similar imaging system using single focal lenses having the same focal length as the
図16は、本変形例に係る撮像系を示すものである。この撮像系は、全体の画素数Mw,Mtを同じにしたまま、広角用のセンサ受光部72Wの画素ピッチSw1,画素サイズSwを、望遠用のセンサ受光部72Tの画素ピッチSt1,画素サイズStに比べて大きくしたものである。
FIG. 16 shows an imaging system according to this modification. In this imaging system, the pixel pitch Sw1 and the pixel size Sw of the wide-angle sensor light-receiving
このようなセンサ受光部72W,72Tを用いることで、広角系および望遠系で撮像レンズ71W,71Tの焦点距離fw,ftを同じにしたとしても、各センサ受光部72W,72Tでは、互いに画角の異なる被写体像が得られ、結果的に図15に示した光学系と等価的な撮像系を実現できる。すなわち、各センサ受光部72W,72Tの画素数Mw,Mtが同じであれば、センサ受光部として、相対的に画素サイズの大きいものを用いた場合には、相対的に画素サイズの小さいものを用いた場合に比べて、広角の被写体像が得られる。電子ズーム処理についても、図15の撮像系と同様に併用することができる。この変形例では、広角用の撮像系と望遠用の撮像系とで以下のような関係がある。
By using such sensor light-receiving
広角系:望遠系
画角 ;θ1>θ2
焦点距離 ;fw=ft
画素数 ;Mw=Mt
画素ピッチ;Sw1>St1
画素サイズ;Sw>St
Wide-angle system: Telephoto field angle; θ1> θ2
Focal length; fw = ft
Number of pixels; Mw = Mt
Pixel pitch; Sw1> St1
Pixel size; Sw> St
なお、図16に示した撮像系において、さらに撮像レンズ71W,71Tの焦点距離fw,ftを異ならせることも可能である(fw<ftにする)。すなわち、焦点距離の異なる単焦点レンズと、画素サイズの異なる撮像素子とを組み合わせた撮像系であっても良い。
In the imaging system shown in FIG. 16, the focal lengths fw and ft of the
この変形例によれば、互いに画素サイズが異なる複数の撮像素子を用い、それらの撮像素子による撮像信号を、選択的に切り替えて出力することにより、焦点距離の異なる複数の単焦点レンズを用いた場合と同様に、複数の撮影倍率での撮影を行うことが可能となる。また、画素サイズの異なる撮像素子を用いていることで、撮像レンズとして同一の単焦点レンズを使用可能であり、撮像レンズの構成の共通化を図ることができる。 According to this modification, a plurality of single-focus lenses having different focal lengths are used by selectively switching and outputting image signals from the image sensors having different pixel sizes. As in the case, it is possible to perform shooting at a plurality of shooting magnifications. Further, by using image pickup elements having different pixel sizes, the same single focus lens can be used as the image pickup lens, and the configuration of the image pickup lens can be shared.
本変形例に係る撮像系を用いた場合においても、測距部44による測距を行う前段階として画像の補正を行う必要がある。
Even when the imaging system according to this modification is used, it is necessary to correct the image as a stage before the
図17(A)は、本変形例に係る撮像系により、同一の被写体90を撮影している状態を模式的に示している。本変形例においても、広角用の撮像系と望遠用の撮像系とで、異なる画角θ1,θ2での被写体像がセンサ受光部72W,72Tに結像され、撮像信号として出力される。本変形例においても、2つの撮影画像を示す各撮像信号のずれ量に基づいて測距を行うためには、2つの撮像系による各撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となっている必要がある。このため、測距部44では、各撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となるように画像の補正を行う。
FIG. 17A schematically shows a state where the
図17(B)は、本変形例における画像の補正の概念を模式的に示したものである。測距部44は、図17(B)に示したように、広角側のセンサ受光部72Wからの撮像信号に対しては、望遠側の撮影画角θ2と同等となるように、信号の間引き(画素領域の縮小)を行う。また、望遠側のセンサ受光部72Tからの撮像信号に対しては、信号間引き後における広角側の画像の大きさ、解像度に合わせるために、画素の平均化を行う。
FIG. 17B schematically shows the concept of image correction in this modification. As shown in FIG. 17B, the
その他の本変形例における測距動作やパララックス補正動作については、上記実施の形態と同様である。 Other distance measurement operations and parallax correction operations in the present modification are the same as those in the above embodiment.
[変形例2]
以下、変形例1と同様に、広角用と望遠用の2つの撮像系の構成を代表して説明する。
[Modification 2]
Hereinafter, as in the first modification, the configuration of two imaging systems for wide angle and telephoto will be described as a representative.
図18(A)は、本変形例に係る撮像系により、同一の被写体90を撮影している状態を模式的に示している。本変形例の撮像系は、センサ受光部として、広角用と望遠用とで画素数の異なる撮像素子を用いたものである。すなわち、画素ピッチSw1,St1を同一にしたまま、広角用のセンサ受光部73Wの画素数Mwを、望遠用のセンサ受光部73Tの画素数Mtよりも多くしたものである。画素ピッチが同一であるから、画素数が多い分、全体の画素サイズは広角用のセンサ受光部73Wの方が大きくなる。
FIG. 18A schematically shows a state where the
このようなセンサ受光部73W,73Tを用いることで、広角系および望遠系で撮像レンズ71W,71Tの焦点距離fw,ftを同じにしたとしても、各センサ受光部73W,73Tでは、互いに画角の異なる被写体像が得られ、結果的に図15に示した光学系と等価的な撮像系を実現できる。電子ズーム処理についても、図15の撮像系と同様に併用することができる。この変形例では、広角用の撮像系と望遠用の撮像系とで以下のような関係がある。
By using such sensor
広角系:望遠系
画角 ;θ1>θ2
焦点距離 ;fw=ft
画素数 ;Mw>Mt
画素ピッチ;Sw1=St1
画素サイズ;Sw>St
Wide-angle system: Telephoto field angle; θ1> θ2
Focal length; fw = ft
Number of pixels: Mw> Mt
Pixel pitch; Sw1 = St1
Pixel size; Sw> St
本変形例に係る撮像系を用いた場合においても、測距部44による測距を行う前段階として画像の補正を行う必要がある。
Even when the imaging system according to this modification is used, it is necessary to correct the image as a stage before the
すなわち、図18(A)に示したように、本変形例においても、広角用の撮像系と望遠用の撮像系とで、異なる画角θ1,θ2での被写体像がセンサ受光部73W,73Tに結像され、撮像信号として出力される。本変形例においても、2つの撮影画像を示す各撮像信号のずれ量に基づいて測距を行うためには、2つの撮像系による各撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となっている必要がある。このため、測距部44では、各撮影画像が、画角に関して互いに同一の撮影条件で撮影された画像となるように画像の補正を行う。
That is, as shown in FIG. 18A, also in this modification, subject images at different angles of view θ1 and θ2 are detected by the sensor
図18(B)は、本変形例における画像の補正の概念を模式的に示したものである。測距部44は、図18(B)に示したように、広角側のセンサ受光部73Wからの撮像信号に対しては、望遠側の撮影画角θ2と同等となるように、信号の間引き(画素領域の縮小)を行う。望遠側のセンサ受光部73Tからの撮像信号は、基本的にそのままで良い。
FIG. 18B schematically shows the concept of image correction in this modification. As shown in FIG. 18B, the
その他の本変形例における測距動作やパララックス補正動作については、上記実施の形態と同様である。 Other distance measurement operations and parallax correction operations in the present modification are the same as those in the above embodiment.
なお、本発明は、上記実施の形態および変形例に限定されず種々の変形実施が可能である。例えば、上記実施の形態では、カメラ付き携帯電話に本発明を適用した場合について説明したが、本発明は、PDA等、その他の情報端末機器や、デジタルスチルカメラ等にも適用可能である。 In addition, this invention is not limited to the said embodiment and modification, Various deformation | transformation implementation is possible. For example, in the above embodiment, the case where the present invention is applied to a camera-equipped mobile phone has been described. However, the present invention can also be applied to other information terminal devices such as a PDA, a digital still camera, and the like.
また、上記実施の形態では、各撮像系10A,10B,10Cによるすべての撮像信号に対して、電子ズーム処理を行う場合について説明したが、各撮像系10A,10B,10Cのうち、一部のものに対してのみ電子ズーム処理を行うようにしても良い。例えば、焦点距離fが35mm,50mm,70mmの3つの単焦点レンズを撮像レンズとして使用する場合において、焦点距離fが35mm,50mmの2つの単焦点レンズによって得られた撮像信号に対してのみ、電子ズーム処理を行うようにすることも可能である。
In the above embodiment, the case where the electronic zoom process is performed on all the imaging signals by the
また、上記実施の形態では、測距の結果である距離の情報をパララックスの補正に利用する例について説明したが、距離の情報をその他のものに利用することも可能である。例えばフラッシュ装置を備えた撮像装置において、フラッシュの光量制御に利用するようにしても良い。また、例えばオートフォーカス機能を備えた撮像装置において、オートフォーカス制御に利用するようにしても良い。 In the above-described embodiment, the example in which the distance information that is the result of the distance measurement is used for parallax correction has been described. However, the distance information may be used for other things. For example, an imaging apparatus equipped with a flash device may be used for controlling the light amount of the flash. Further, for example, in an imaging device having an autofocus function, it may be used for autofocus control.
5…表示部、10(10A,10B,10C)…撮像系、11…ズーム操作部、20A,20B,20C…センサ部、21A,21B,21C…センサ受光部、25A,25B,25C…撮像レンズ、26…切替部、30…DSP部、40…DSP、43…切替制御部、44…測距部、45…パララックス補正部、51…表示パネル。
DESCRIPTION OF SYMBOLS 5 ... Display part, 10 (10A, 10B, 10C) ... Imaging system, 11 ... Zoom operation part, 20A, 20B, 20C ... Sensor part, 21A, 21B, 21C ... Sensor light-receiving part, 25A, 25B, 25C ... Imaging lens , 26 ... switching section, 30 ... DSP section, 40 ... DSP, 43 ... switching control section, 44 ... distance measuring section, 45 ... parallax correction section, 51 ... display panel.
Claims (13)
互いに異なる撮影画角で撮影された前記第1の撮像系による撮影画像と前記第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、前記各撮像系からの各撮像信号を補正する画像補正手段と、
前記補正後の各撮像信号に基づいて、前記各撮像系による各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出する演算手段と、
前記演算手段により算出された距離の情報に基づいて、前記各撮像系間に生ずるパララックスが補正されるように、前記各撮像系により得られた各撮影画像を補正するパララックス補正手段と
を備えたことを特徴とする撮像装置。 At least first and second imaging systems having different shooting angles of view are provided, and the first and second imaging systems are used to shoot the same subject at different shooting angles of view, and image signals from the respective imaging systems are obtained. An imaging apparatus configured to perform shooting at a plurality of shooting magnifications by selectively switching and outputting,
The photographed image by the first imaging system and the photographed image by the second imaging system photographed at different photographing field angles are images photographed under the same photographing condition with respect to the field angle. Image correcting means for correcting each imaging signal from each imaging system;
An arithmetic means for performing a correlation calculation between the captured images of the respective imaging systems based on the corrected imaging signals, and calculating a distance to the subject based on the correlation value;
Parallax correction means for correcting each captured image obtained by each imaging system so that the parallax generated between the imaging systems is corrected based on the distance information calculated by the computing means. An image pickup apparatus comprising:
単焦点レンズと、前記単焦点レンズによる被写体像に応じた撮像信号を出力する撮像素子とを有し、
前記各撮像系における各単焦点レンズは、同一被写体側に向けて互いに近接して配置され、互いに焦点距離が異なるものである
ことを特徴とする請求項1に記載の撮像装置。 Each of the imaging systems is
A single focus lens, and an image sensor that outputs an image signal corresponding to a subject image by the single focus lens,
The imaging apparatus according to claim 1, wherein the single-focus lenses in the imaging systems are arranged close to each other toward the same subject and have different focal lengths.
単焦点レンズと、前記単焦点レンズによる被写体像に応じた撮像信号を出力する撮像素子とを有し、
前記各撮像系における各単焦点レンズは、同一被写体側に向けて互いに近接して配置され、
前記各撮像系における各撮像素子は、それぞれ互いに画角の異なる被写体像が入射するように互いに画素サイズが異なるものである
ことを特徴とする請求項1に記載の撮像装置。 Each of the imaging systems is
A single focus lens, and an image sensor that outputs an image signal corresponding to a subject image by the single focus lens,
Each single focus lens in each imaging system is arranged close to each other toward the same subject side,
The imaging apparatus according to claim 1, wherein the imaging elements in the imaging systems have different pixel sizes so that subject images having different angles of view are incident on each imaging element.
単焦点レンズと、前記単焦点レンズによる被写体像に応じた撮像信号を出力する撮像素子とを有し、
前記各撮像系における各単焦点レンズは、同一被写体側に向けて互いに近接して配置され、
前記各撮像系における各撮像素子は、それぞれ互いに画角の異なる被写体像が入射するように互いに画素数が異なるものである
ことを特徴とする請求項1に記載の撮像装置。 Each of the imaging systems is
A single focus lens, and an image sensor that outputs an image signal corresponding to a subject image by the single focus lens,
Each single focus lens in each imaging system is arranged close to each other toward the same subject side,
The imaging apparatus according to claim 1, wherein each imaging device in each imaging system has a different number of pixels so that subject images having different angles of view enter each other.
前記各撮像系による各撮影画像同士が、画角に関して互いに同一の撮影条件で撮影された画像となるように、前記各撮像系のうち相対的に広角側の撮像系からの撮像信号に対して、信号の間引きを行うと共に、相対的に望遠側の撮像系からの撮像信号に対して、信号の間引きもしくは平均化を行う
ことを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。 The image correcting means includes
With respect to imaging signals from a relatively wide-angle imaging system among the imaging systems so that the captured images of the imaging systems are images captured under the same imaging conditions with respect to the angle of view. 5. The method according to claim 1, wherein the signal is thinned out and the signal is thinned out or averaged with respect to an image pickup signal from a relatively telescopic image pickup system. Imaging device.
前記電子ズーム処理手段による電子ズーム処理を行うことにより、少なくとも1つの前記撮像系による撮影倍率を変えるようにした
ことを特徴とする請求項1ないし5のいずれか1項に記載の撮像装置。 Further comprising electronic zoom processing means for performing signal processing on the imaging signal to electronically change the size of the subject image;
The imaging apparatus according to any one of claims 1 to 5, wherein an imaging magnification by at least one of the imaging systems is changed by performing an electronic zoom process by the electronic zoom processing unit.
互いに異なる撮影画角で撮影された前記第1の撮像系による撮影画像と前記第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、前記各撮像系からの各撮像信号を補正するステップと、
前記補正後の各撮像信号に基づいて、前記各撮像系による各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出するステップと
を含むことを特徴とする測距方法。 At least first and second imaging systems having different shooting angles of view are provided, and the first and second imaging systems are used to shoot the same subject at different shooting angles of view, and image signals from the respective imaging systems are obtained. A distance measuring method using an imaging device configured to perform shooting at a plurality of shooting magnifications by selectively switching and outputting,
The photographed image by the first imaging system and the photographed image by the second imaging system photographed at different photographing field angles are images photographed under the same photographing condition with respect to the field angle. Correcting each imaging signal from each imaging system;
Performing a correlation calculation between the captured images of the respective imaging systems based on the corrected imaging signals, and calculating a distance to the subject based on the correlation value. Distance method.
単焦点レンズと、前記単焦点レンズによる被写体像に応じた撮像信号を出力する撮像素子とを有し、
前記各撮像系における各単焦点レンズは、同一被写体側に向けて互いに近接して配置され、互いに焦点距離が異なるものである
ことを特徴とする請求項7に記載の測距方法。 Each imaging system in the imaging device is respectively
A single focus lens, and an image sensor that outputs an image signal corresponding to a subject image by the single focus lens,
The distance measuring method according to claim 7, wherein the single focal lenses in the imaging systems are arranged close to each other toward the same subject and have different focal lengths.
単焦点レンズと、前記単焦点レンズによる被写体像に応じた撮像信号を出力する撮像素子とを有し、
前記各撮像系における各単焦点レンズは、同一被写体側に向けて互いに近接して配置され、
前記各撮像系における各撮像素子は、それぞれ互いに画角の異なる被写体像が入射するように互いに画素サイズが異なるものである
ことを特徴とする請求項7に記載の測距方法。 Each imaging system in the imaging device is respectively
A single focus lens, and an image sensor that outputs an image signal corresponding to a subject image by the single focus lens,
Each single focus lens in each imaging system is arranged close to each other toward the same subject side,
The distance measuring method according to claim 7, wherein the imaging elements in the imaging systems have different pixel sizes so that subject images having different angles of view enter each other.
前記各撮像系による各撮影画像同士が、画角に関して互いに同一の撮影条件で撮影された画像となるように、前記各撮像系のうち相対的に広角側の撮像系からの撮像信号に対して、信号の間引きを行うと共に、相対的に望遠側の撮像系からの撮像信号に対して、信号の間引きもしくは平均化を行う
ことを特徴とする請求項7ないし9のいずれか1項に記載の測距方法。 In the step of correcting each imaging signal,
With respect to imaging signals from a relatively wide-angle imaging system among the imaging systems so that the captured images of the imaging systems are images captured under the same imaging conditions with respect to the angle of view. 10. The method according to claim 7, wherein signal thinning is performed, and signal thinning or averaging is performed on an imaging signal from a relatively telescopic imaging system. Ranging method.
前記電子ズーム処理手段による電子ズーム処理を行うことにより、少なくとも1つの前記撮像系による撮影倍率を変えるようになされている
ことを特徴とする請求項7ないし10のいずれか1項に記載の測距方法。 The imaging apparatus further includes electronic zoom processing means for performing signal processing on the imaging signal to electronically change the size of the subject image,
The distance measurement according to any one of claims 7 to 10, wherein an imaging magnification by at least one of the imaging systems is changed by performing an electronic zoom process by the electronic zoom processing means. Method.
互いに異なる撮影画角で撮影された前記第1の撮像系による撮影画像と前記第2の撮像系による撮影画像とが、画角に関して互いに同一の撮影条件で撮影された画像となるように、前記各撮像系からの各撮像信号を補正するステップと、
前記補正後の各撮像信号に基づいて、前記各撮像系による各撮影画像同士の相関演算を行い、その相関値に基づいて、被写体までの距離を算出するステップと、
算出された距離の情報に基づいて、前記各撮像系間に生ずるパララックスが補正されるように、前記各撮像系により得られた各撮影画像を補正するステップと
を含むことを特徴とする撮像方法。 At least first and second imaging systems having different shooting angles of view are provided, and the first and second imaging systems are used to shoot the same subject at different shooting angles of view, and image signals from the respective imaging systems are obtained. An imaging method in an imaging apparatus configured to perform imaging at a plurality of imaging magnifications by selectively switching and outputting,
The photographed image by the first imaging system and the photographed image by the second imaging system photographed at different photographing field angles are images photographed under the same photographing condition with respect to the field angle. Correcting each imaging signal from each imaging system;
Performing a correlation calculation between the captured images of the imaging systems based on the corrected imaging signals, and calculating a distance to the subject based on the correlation value;
Correcting each captured image obtained by each imaging system so that parallax generated between each imaging system is corrected based on the calculated distance information. Method.
前記電子ズーム処理手段による電子ズーム処理を行うことにより、少なくとも1つの前記撮像系による撮影倍率を変えるようになされている
ことを特徴とする請求項12に記載の撮像方法。
The imaging apparatus further includes electronic zoom processing means for performing signal processing on the imaging signal to electronically change the size of the subject image,
The imaging method according to claim 12, wherein the imaging magnification by at least one of the imaging systems is changed by performing an electronic zoom process by the electronic zoom processing unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003331404A JP2005099265A (en) | 2003-09-24 | 2003-09-24 | Imaging apparatus, imaging method, and range finding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003331404A JP2005099265A (en) | 2003-09-24 | 2003-09-24 | Imaging apparatus, imaging method, and range finding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005099265A true JP2005099265A (en) | 2005-04-14 |
Family
ID=34460082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003331404A Pending JP2005099265A (en) | 2003-09-24 | 2003-09-24 | Imaging apparatus, imaging method, and range finding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005099265A (en) |
Cited By (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007041046A (en) * | 2005-07-29 | 2007-02-15 | Eastman Kodak Co | Imaging apparatus |
JP2013106289A (en) * | 2011-11-16 | 2013-05-30 | Konica Minolta Advanced Layers Inc | Imaging apparatus |
JP2018517310A (en) * | 2014-12-31 | 2018-06-28 | ノキア テクノロジーズ オサケユイチア | Stereo imaging |
US10156706B2 (en) | 2014-08-10 | 2018-12-18 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US10225479B2 (en) | 2013-06-13 | 2019-03-05 | Corephotonics Ltd. | Dual aperture zoom digital camera |
US10230898B2 (en) | 2015-08-13 | 2019-03-12 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US10250797B2 (en) | 2013-08-01 | 2019-04-02 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US10284780B2 (en) | 2015-09-06 | 2019-05-07 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
US10288897B2 (en) | 2015-04-02 | 2019-05-14 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
US10288896B2 (en) | 2013-07-04 | 2019-05-14 | Corephotonics Ltd. | Thin dual-aperture zoom digital camera |
US10348978B2 (en) * | 2017-06-02 | 2019-07-09 | Samsung Electronics Co., Ltd. | Processor selecting between image signals in response to illuminance condition, image processing device including same, and related method for image processing |
US10488631B2 (en) | 2016-05-30 | 2019-11-26 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
US10534153B2 (en) | 2017-02-23 | 2020-01-14 | Corephotonics Ltd. | Folded camera lens designs |
JP2020504953A (en) * | 2017-05-03 | 2020-02-13 | オッポ広東移動通信有限公司 | Camera assembly and mobile electronic device |
US10578948B2 (en) | 2015-12-29 | 2020-03-03 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US10616484B2 (en) | 2016-06-19 | 2020-04-07 | Corephotonics Ltd. | Frame syncrhonization in a dual-aperture camera system |
US10645286B2 (en) | 2017-03-15 | 2020-05-05 | Corephotonics Ltd. | Camera with panoramic scanning range |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
US10845565B2 (en) | 2016-07-07 | 2020-11-24 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
US10884321B2 (en) | 2017-01-12 | 2021-01-05 | Corephotonics Ltd. | Compact folded camera |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
USRE48444E1 (en) | 2012-11-28 | 2021-02-16 | Corephotonics Ltd. | High resolution thin multi-aperture imaging systems |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
US10976567B2 (en) | 2018-02-05 | 2021-04-13 | Corephotonics Ltd. | Reduced height penalty for folded camera |
JP2021520151A (en) * | 2019-01-30 | 2021-08-12 | アークソフト コーポレイション リミテッドArcSoft Corporation Limited | Zoom method and electronic devices to which it is applied |
US11125975B2 (en) | 2015-01-03 | 2021-09-21 | Corephotonics Ltd. | Miniature telephoto lens module and a camera utilizing such a lens module |
WO2022024592A1 (en) * | 2020-07-30 | 2022-02-03 | 富士フイルム株式会社 | Imaging system, method for operating imaging system, and program |
US11268830B2 (en) | 2018-04-23 | 2022-03-08 | Corephotonics Ltd | Optical-path folding-element with an extended two degree of freedom rotation range |
US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
US11315276B2 (en) | 2019-03-09 | 2022-04-26 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
US11333955B2 (en) | 2017-11-23 | 2022-05-17 | Corephotonics Ltd. | Compact folded camera structure |
US11363180B2 (en) | 2018-08-04 | 2022-06-14 | Corephotonics Ltd. | Switchable continuous display information system above camera |
US11368631B1 (en) | 2019-07-31 | 2022-06-21 | Corephotonics Ltd. | System and method for creating background blur in camera panning or motion |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
US11635596B2 (en) | 2018-08-22 | 2023-04-25 | Corephotonics Ltd. | Two-state zoom folded camera |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US11770609B2 (en) | 2020-05-30 | 2023-09-26 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
US11770618B2 (en) | 2019-12-09 | 2023-09-26 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
US11832018B2 (en) | 2020-05-17 | 2023-11-28 | Corephotonics Ltd. | Image stitching in the presence of a full field of view reference image |
US11910089B2 (en) | 2020-07-15 | 2024-02-20 | Corephotonics Lid. | Point of view aberrations correction in a scanning folded camera |
US11946775B2 (en) | 2020-07-31 | 2024-04-02 | Corephotonics Ltd. | Hall sensor—magnet geometry for large stroke linear position sensing |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
US11968453B2 (en) | 2020-08-12 | 2024-04-23 | Corephotonics Ltd. | Optical image stabilization in a scanning folded camera |
US12003874B2 (en) | 2023-08-16 | 2024-06-04 | Corephotonics Ltd. | Image sensors and sensing methods to obtain Time-of-Flight and phase detection information |
-
2003
- 2003-09-24 JP JP2003331404A patent/JP2005099265A/en active Pending
Cited By (130)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007041046A (en) * | 2005-07-29 | 2007-02-15 | Eastman Kodak Co | Imaging apparatus |
JP2013106289A (en) * | 2011-11-16 | 2013-05-30 | Konica Minolta Advanced Layers Inc | Imaging apparatus |
USRE49256E1 (en) | 2012-11-28 | 2022-10-18 | Corephotonics Ltd. | High resolution thin multi-aperture imaging systems |
USRE48477E1 (en) | 2012-11-28 | 2021-03-16 | Corephotonics Ltd | High resolution thin multi-aperture imaging systems |
USRE48444E1 (en) | 2012-11-28 | 2021-02-16 | Corephotonics Ltd. | High resolution thin multi-aperture imaging systems |
USRE48945E1 (en) | 2012-11-28 | 2022-02-22 | Corephotonics Ltd. | High resolution thin multi-aperture imaging systems |
USRE48697E1 (en) | 2012-11-28 | 2021-08-17 | Corephotonics Ltd. | High resolution thin multi-aperture imaging systems |
US11470257B2 (en) | 2013-06-13 | 2022-10-11 | Corephotonics Ltd. | Dual aperture zoom digital camera |
US11838635B2 (en) | 2013-06-13 | 2023-12-05 | Corephotonics Ltd. | Dual aperture zoom digital camera |
US10841500B2 (en) | 2013-06-13 | 2020-11-17 | Corephotonics Ltd. | Dual aperture zoom digital camera |
US10326942B2 (en) | 2013-06-13 | 2019-06-18 | Corephotonics Ltd. | Dual aperture zoom digital camera |
US10904444B2 (en) | 2013-06-13 | 2021-01-26 | Corephotonics Ltd. | Dual aperture zoom digital camera |
US10225479B2 (en) | 2013-06-13 | 2019-03-05 | Corephotonics Ltd. | Dual aperture zoom digital camera |
US10620450B2 (en) | 2013-07-04 | 2020-04-14 | Corephotonics Ltd | Thin dual-aperture zoom digital camera |
US11852845B2 (en) | 2013-07-04 | 2023-12-26 | Corephotonics Ltd. | Thin dual-aperture zoom digital camera |
US10288896B2 (en) | 2013-07-04 | 2019-05-14 | Corephotonics Ltd. | Thin dual-aperture zoom digital camera |
US11614635B2 (en) | 2013-07-04 | 2023-03-28 | Corephotonics Ltd. | Thin dual-aperture zoom digital camera |
US11287668B2 (en) | 2013-07-04 | 2022-03-29 | Corephotonics Ltd. | Thin dual-aperture zoom digital camera |
US11991444B2 (en) | 2013-08-01 | 2024-05-21 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US10469735B2 (en) | 2013-08-01 | 2019-11-05 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US10250797B2 (en) | 2013-08-01 | 2019-04-02 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US11716535B2 (en) | 2013-08-01 | 2023-08-01 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US11470235B2 (en) | 2013-08-01 | 2022-10-11 | Corephotonics Ltd. | Thin multi-aperture imaging system with autofocus and methods for using same |
US10694094B2 (en) | 2013-08-01 | 2020-06-23 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US11856291B2 (en) | 2013-08-01 | 2023-12-26 | Corephotonics Ltd. | Thin multi-aperture imaging system with auto-focus and methods for using same |
US11982796B2 (en) | 2014-08-10 | 2024-05-14 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US10509209B2 (en) | 2014-08-10 | 2019-12-17 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US11543633B2 (en) | 2014-08-10 | 2023-01-03 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US11262559B2 (en) | 2014-08-10 | 2022-03-01 | Corephotonics Ltd | Zoom dual-aperture camera with folded lens |
US11002947B2 (en) | 2014-08-10 | 2021-05-11 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US10571665B2 (en) | 2014-08-10 | 2020-02-25 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US11703668B2 (en) | 2014-08-10 | 2023-07-18 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US10156706B2 (en) | 2014-08-10 | 2018-12-18 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US11042011B2 (en) | 2014-08-10 | 2021-06-22 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US10976527B2 (en) | 2014-08-10 | 2021-04-13 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
US10425630B2 (en) | 2014-12-31 | 2019-09-24 | Nokia Technologies Oy | Stereo imaging |
JP2018517310A (en) * | 2014-12-31 | 2018-06-28 | ノキア テクノロジーズ オサケユイチア | Stereo imaging |
US11994654B2 (en) | 2015-01-03 | 2024-05-28 | Corephotonics Ltd. | Miniature telephoto lens module and a camera utilizing such a lens module |
US11125975B2 (en) | 2015-01-03 | 2021-09-21 | Corephotonics Ltd. | Miniature telephoto lens module and a camera utilizing such a lens module |
US10288897B2 (en) | 2015-04-02 | 2019-05-14 | Corephotonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
US10558058B2 (en) | 2015-04-02 | 2020-02-11 | Corephontonics Ltd. | Dual voice coil motor structure in a dual-optical module camera |
US11350038B2 (en) | 2015-08-13 | 2022-05-31 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US10917576B2 (en) | 2015-08-13 | 2021-02-09 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US10356332B2 (en) | 2015-08-13 | 2019-07-16 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US10567666B2 (en) | 2015-08-13 | 2020-02-18 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US11770616B2 (en) | 2015-08-13 | 2023-09-26 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US11546518B2 (en) | 2015-08-13 | 2023-01-03 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US10230898B2 (en) | 2015-08-13 | 2019-03-12 | Corephotonics Ltd. | Dual aperture zoom camera with video support and switching / non-switching dynamic control |
US10284780B2 (en) | 2015-09-06 | 2019-05-07 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
US10498961B2 (en) | 2015-09-06 | 2019-12-03 | Corephotonics Ltd. | Auto focus and optical image stabilization with roll compensation in a compact folded camera |
US11726388B2 (en) | 2015-12-29 | 2023-08-15 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US10935870B2 (en) | 2015-12-29 | 2021-03-02 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US11314146B2 (en) | 2015-12-29 | 2022-04-26 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US10578948B2 (en) | 2015-12-29 | 2020-03-03 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US11392009B2 (en) | 2015-12-29 | 2022-07-19 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US11599007B2 (en) | 2015-12-29 | 2023-03-07 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
US11977210B2 (en) | 2016-05-30 | 2024-05-07 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
US11650400B2 (en) | 2016-05-30 | 2023-05-16 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
US10488631B2 (en) | 2016-05-30 | 2019-11-26 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
US11172127B2 (en) | 2016-06-19 | 2021-11-09 | Corephotonics Ltd. | Frame synchronization in a dual-aperture camera system |
US10616484B2 (en) | 2016-06-19 | 2020-04-07 | Corephotonics Ltd. | Frame syncrhonization in a dual-aperture camera system |
US11689803B2 (en) | 2016-06-19 | 2023-06-27 | Corephotonics Ltd. | Frame synchronization in a dual-aperture camera system |
US10845565B2 (en) | 2016-07-07 | 2020-11-24 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
US11048060B2 (en) | 2016-07-07 | 2021-06-29 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
US11550119B2 (en) | 2016-07-07 | 2023-01-10 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
US10706518B2 (en) | 2016-07-07 | 2020-07-07 | Corephotonics Ltd. | Dual camera system with improved video smooth transition by image blending |
US11977270B2 (en) | 2016-07-07 | 2024-05-07 | Corephotonics Lid. | Linear ball guided voice coil motor for folded optic |
US10884321B2 (en) | 2017-01-12 | 2021-01-05 | Corephotonics Ltd. | Compact folded camera |
US11815790B2 (en) | 2017-01-12 | 2023-11-14 | Corephotonics Ltd. | Compact folded camera |
US11693297B2 (en) | 2017-01-12 | 2023-07-04 | Corephotonics Ltd. | Compact folded camera |
US11809065B2 (en) | 2017-01-12 | 2023-11-07 | Corephotonics Ltd. | Compact folded camera |
US10670827B2 (en) | 2017-02-23 | 2020-06-02 | Corephotonics Ltd. | Folded camera lens designs |
US10571644B2 (en) | 2017-02-23 | 2020-02-25 | Corephotonics Ltd. | Folded camera lens designs |
US10534153B2 (en) | 2017-02-23 | 2020-01-14 | Corephotonics Ltd. | Folded camera lens designs |
US11671711B2 (en) | 2017-03-15 | 2023-06-06 | Corephotonics Ltd. | Imaging system with panoramic scanning range |
US10645286B2 (en) | 2017-03-15 | 2020-05-05 | Corephotonics Ltd. | Camera with panoramic scanning range |
JP7023965B2 (en) | 2017-05-03 | 2022-02-22 | オッポ広東移動通信有限公司 | Camera assembly and mobile electronics |
JP2020504953A (en) * | 2017-05-03 | 2020-02-13 | オッポ広東移動通信有限公司 | Camera assembly and mobile electronic device |
US10708517B2 (en) | 2017-06-02 | 2020-07-07 | Samsung Electronics Co., Ltd. | Image processing device that generates and selects between multiple image signals based on zoom selection |
US10666876B2 (en) | 2017-06-02 | 2020-05-26 | Samsung Electronics Co., Ltd. | Application processor that processes multiple images to generate a single image, and includes a depth image generator configured to generate depth information based on disparity information and to configured to correct distortion by row alignment |
US11153506B2 (en) | 2017-06-02 | 2021-10-19 | Samsung Electronics Co., Ltd. | Application processor including multiple camera serial interfaces receiving image signals from multiple camera modules |
US10805555B2 (en) | 2017-06-02 | 2020-10-13 | Samsung Electronics Co., Ltd. | Processor that processes multiple images to generate a single image, image processing device including same, and method for image processing |
US10348978B2 (en) * | 2017-06-02 | 2019-07-09 | Samsung Electronics Co., Ltd. | Processor selecting between image signals in response to illuminance condition, image processing device including same, and related method for image processing |
US10798312B2 (en) | 2017-06-02 | 2020-10-06 | Samsung Electronics Co., Ltd. | Cellular phone including application processor the generates image output signals based on multiple image signals from camera modules and that performs rectification to correct distortion in the image output signals |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US11695896B2 (en) | 2017-10-03 | 2023-07-04 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
US11333955B2 (en) | 2017-11-23 | 2022-05-17 | Corephotonics Ltd. | Compact folded camera structure |
US11809066B2 (en) | 2017-11-23 | 2023-11-07 | Corephotonics Ltd. | Compact folded camera structure |
US11619864B2 (en) | 2017-11-23 | 2023-04-04 | Corephotonics Ltd. | Compact folded camera structure |
US10976567B2 (en) | 2018-02-05 | 2021-04-13 | Corephotonics Ltd. | Reduced height penalty for folded camera |
US11686952B2 (en) | 2018-02-05 | 2023-06-27 | Corephotonics Ltd. | Reduced height penalty for folded camera |
US10911740B2 (en) | 2018-04-22 | 2021-02-02 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
US11268829B2 (en) | 2018-04-23 | 2022-03-08 | Corephotonics Ltd | Optical-path folding-element with an extended two degree of freedom rotation range |
US11268830B2 (en) | 2018-04-23 | 2022-03-08 | Corephotonics Ltd | Optical-path folding-element with an extended two degree of freedom rotation range |
US11976949B2 (en) | 2018-04-23 | 2024-05-07 | Corephotonics Lid. | Optical-path folding-element with an extended two degree of freedom rotation range |
US11867535B2 (en) | 2018-04-23 | 2024-01-09 | Corephotonics Ltd. | Optical-path folding-element with an extended two degree of freedom rotation range |
US11733064B1 (en) | 2018-04-23 | 2023-08-22 | Corephotonics Ltd. | Optical-path folding-element with an extended two degree of freedom rotation range |
US11359937B2 (en) | 2018-04-23 | 2022-06-14 | Corephotonics Ltd. | Optical-path folding-element with an extended two degree of freedom rotation range |
US11363180B2 (en) | 2018-08-04 | 2022-06-14 | Corephotonics Ltd. | Switchable continuous display information system above camera |
US11852790B2 (en) | 2018-08-22 | 2023-12-26 | Corephotonics Ltd. | Two-state zoom folded camera |
US11635596B2 (en) | 2018-08-22 | 2023-04-25 | Corephotonics Ltd. | Two-state zoom folded camera |
US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
JP7142104B2 (en) | 2019-01-30 | 2022-09-26 | アークソフト コーポレイション リミテッド | ZOOM METHOD AND ELECTRONIC DEVICE USING THE SAME |
US11490016B2 (en) | 2019-01-30 | 2022-11-01 | Arcsoft Corporation Limited | Zooming method and electronic device using the same |
JP2021520151A (en) * | 2019-01-30 | 2021-08-12 | アークソフト コーポレイション リミテッドArcSoft Corporation Limited | Zoom method and electronic devices to which it is applied |
US11315276B2 (en) | 2019-03-09 | 2022-04-26 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
US11527006B2 (en) | 2019-03-09 | 2022-12-13 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
US11368631B1 (en) | 2019-07-31 | 2022-06-21 | Corephotonics Ltd. | System and method for creating background blur in camera panning or motion |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US11770618B2 (en) | 2019-12-09 | 2023-09-26 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
US11832018B2 (en) | 2020-05-17 | 2023-11-28 | Corephotonics Ltd. | Image stitching in the presence of a full field of view reference image |
US11962901B2 (en) | 2020-05-30 | 2024-04-16 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
US11770609B2 (en) | 2020-05-30 | 2023-09-26 | Corephotonics Ltd. | Systems and methods for obtaining a super macro image |
US11910089B2 (en) | 2020-07-15 | 2024-02-20 | Corephotonics Lid. | Point of view aberrations correction in a scanning folded camera |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
US11832008B2 (en) | 2020-07-15 | 2023-11-28 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
JPWO2022024592A1 (en) * | 2020-07-30 | 2022-02-03 | ||
JP7291859B2 (en) | 2020-07-30 | 2023-06-15 | 富士フイルム株式会社 | IMAGING SYSTEM, OPERATION METHOD OF IMAGING SYSTEM, AND PROGRAM |
WO2022024592A1 (en) * | 2020-07-30 | 2022-02-03 | 富士フイルム株式会社 | Imaging system, method for operating imaging system, and program |
US11946775B2 (en) | 2020-07-31 | 2024-04-02 | Corephotonics Ltd. | Hall sensor—magnet geometry for large stroke linear position sensing |
US11968453B2 (en) | 2020-08-12 | 2024-04-23 | Corephotonics Ltd. | Optical image stabilization in a scanning folded camera |
US12007668B2 (en) | 2021-01-27 | 2024-06-11 | Corephotonics Ltd. | Split screen feature for macro photography |
US12007671B2 (en) | 2022-06-07 | 2024-06-11 | Corephotonics Ltd. | Systems and cameras for tilting a focal plane of a super-macro image |
US12007582B2 (en) | 2023-05-16 | 2024-06-11 | Corephotonics Ltd. | Reduced height penalty for folded camera |
US12007537B2 (en) | 2023-06-20 | 2024-06-11 | Corephotonics Lid. | Zoom dual-aperture camera with folded lens |
US12003874B2 (en) | 2023-08-16 | 2024-06-04 | Corephotonics Ltd. | Image sensors and sensing methods to obtain Time-of-Flight and phase detection information |
US12007672B2 (en) | 2023-10-01 | 2024-06-11 | Corephotonics Ltd. | Compact folded camera structure |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005099265A (en) | Imaging apparatus, imaging method, and range finding method | |
CN106911879B (en) | Image forming apparatus module, method of operating the same, and terminal device including the same | |
JP2005031466A (en) | Device and method for imaging | |
US8704940B2 (en) | Imaging device and focusing control method | |
JP5054583B2 (en) | Imaging device | |
US9179059B2 (en) | Image capture device and image display method | |
JP5676988B2 (en) | Focus adjustment device | |
JP2008026802A (en) | Imaging apparatus | |
JP4529810B2 (en) | Optical apparatus and imaging apparatus | |
CN112740650B (en) | Image pickup apparatus | |
US20140204266A1 (en) | Focus adjustment unit and camera system | |
JP5981003B1 (en) | Digital camera system, digital camera, interchangeable lens, distortion correction processing method, distortion aberration correction processing program | |
CN104823094A (en) | Image capture device and focus control method | |
CN104813212A (en) | Imaging device and exposure determination method | |
JP4614143B2 (en) | Imaging apparatus and program thereof | |
JP4210189B2 (en) | Imaging device | |
JP4982707B2 (en) | System and method for generating photographs | |
JP2004361611A (en) | Solid-state image pickup element and photographing device | |
JP2007005912A (en) | Electronic imaging apparatus | |
JP2018163322A (en) | Imaging device and method for controlling the same, program, and recording medium | |
JP4863370B2 (en) | Imaging device | |
JP2005020718A (en) | Multifocal imaging device and mobile device | |
JP2009239460A (en) | Focus control method, distance measuring equipment, imaging device | |
JP4612512B2 (en) | Automatic focusing device, camera, portable information input device, focusing position detection method, and computer-readable recording medium | |
JP5224879B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091020 |