JP2005303694A - Compound eye imaging device - Google Patents

Compound eye imaging device Download PDF

Info

Publication number
JP2005303694A
JP2005303694A JP2004117536A JP2004117536A JP2005303694A JP 2005303694 A JP2005303694 A JP 2005303694A JP 2004117536 A JP2004117536 A JP 2004117536A JP 2004117536 A JP2004117536 A JP 2004117536A JP 2005303694 A JP2005303694 A JP 2005303694A
Authority
JP
Japan
Prior art keywords
image
lens
compound
eye imaging
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004117536A
Other languages
Japanese (ja)
Inventor
Shinya Matsuda
伸也 松田
Original Assignee
Konica Minolta Holdings Inc
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Holdings Inc, コニカミノルタホールディングス株式会社 filed Critical Konica Minolta Holdings Inc
Priority to JP2004117536A priority Critical patent/JP2005303694A/en
Publication of JP2005303694A publication Critical patent/JP2005303694A/en
Application status is Withdrawn legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To attain both a wide angle and high resolution of all objects with simple image processing in a compound eye imaging device that is formed by arranging a plurality of lenses in parallel with each other and can be made smaller because lens back becomes short. <P>SOLUTION: Lenses 3R, 3G1 and 3B of a short focus and a lens 3G2 of a long focus have different angles of view but image an object so as to include the same part of the object. A zoomed up image obtained by an imaging device corresponding to the lens 3G2 of a long focus is inserted into a portion of a wide image obtained by an imaging device corresponding to the lenses 3R, 3G1 and 3B of a short focus. Then, an image, wherein the portion of the image has high resolution and the residual part has low resolution but has a wide angle of view, can be obtained from all objects by a simple insertion combining processing. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、複数のレンズを相互に並列に配置して成り、装置を小型化することができる複眼撮像装置に関する。 The present invention is made by placing parallel a plurality of lenses to one another, to a compound-eye imaging apparatus that can be miniaturized device.

近年、デジタルカメラなど小型の撮影機器が普及しつつある。 In recent years, small-sized photographing equipment such as digital cameras are becoming popular. また、携帯電話や携帯情報端末などにもカメラ機能の搭載が進んでおり、カメラ装置に対する小型化要求が強い。 Also, mobile phones and is proceeding mounted also a camera function such as a portable information terminal, miniaturization demand for a camera apparatus strong. 特に後者においては、機器の薄型化に対する要求が強い。 Especially in the latter, a strong demand for thinner devices. さらに、内視鏡のデジタルカメラなど、常に装置の小型化が要求されている分野もある。 Further, a digital camera of the endoscope, there always be areas where the size of the apparatus is required. しかしながら、通常のカメラのように、単一の結像レンズおよびモザイクフィルタ付きの撮像センサを用いる構成では、センサの大きさや要求される画像品質が決まると、必要なレンズの枚数や大きさがほぼ決まるため、装置の小型化には限界があった。 However, as in the conventional camera, in the configuration using the image sensor with a single imaging lens and a mosaic filter, the image quality is the size and requirements of the sensor is determined, substantially the number and size of the required lens Therefore determined, the size of the apparatus is limited.

そこで、このような問題を解決することができる従来技術としては、たとえば特許文献1,2が挙げられる。 Therefore, the conventional technique capable of solving such a problem, for example, be mentioned Patent Documents 1 and 2. 特許文献1は、複数の小型レンズを二次元に配置してカメラを小型化するようにした光学装置である。 Patent Document 1 is an optical device designed to reduce the size of the camera by placing a plurality of small lenses in two dimensions. また、特許文献2は、複数の小型レンズを二次元に配置して視点の異なる画像を合成処理するようにした画像入力装置である。 Further, Patent Document 2, an image input device in which the different images of viewpoints by arranging a plurality of small lenses in two dimensions so that the synthesis processing. これらの従来技術では、レンズアレイを用いてレンズバックを短くし、装置を小型化する技術が提案されている。 In these prior art, to shorten the lens back using a lens array, a technique to reduce the size of the apparatus have been proposed.

しかしながら、特許文献1では、個々のレンズが被写体の異なる位置を撮影するために、倍率が1に近い用途に限定され、一般の被写体を撮影する縮小光学系を用いる用途には採用が難しいという問題がある。 However, in Patent Document 1, for each lens photographs the different positions of the object, the magnification is limited to applications close to 1, for applications using a reduction optical system for photographing a general object problem adopted it is difficult there is. また、特許文献2では、低解像度の多くの画像から高解像度の一枚の画像を復元する演算処理が複雑で、多くのコストや時間が必要になるという問題がある。 In Patent Document 2, the operation processing to restore the high-resolution single image from a low resolution for many image is complicated, there is a problem that many cost and time required.

一方、ビルや家屋の内部、屋外などを監視する用途に用いるカメラ装置には、高解像と広視野という相反する二つの機能が求められる。 On the other hand, the interior of buildings and houses, the camera device used such as in applications to monitor outdoor, two conflicting functions of high resolution and wide viewing can be determined. 通常の監視時には広い範囲を大まかに見て異常の有無を早期に発見し、火災や侵入者など異常が発生したときにはその対象を詳細に見ることが求められる。 Broadly look at the wide range in normal monitoring discovered the presence or absence of an abnormality at an early stage, is required to be to see the subject in detail when an abnormality such as a fire or intruder has occurred. このような用途には、パン・チルト・ズーム等、視線方向や撮影倍率を制御できるカメラが市販されている。 Such applications, such as the pan-tilt-zoom, a camera that can control the viewing direction and the imaging magnification are commercially available. また、レンズやセンサの工夫によって、中心を密に、周辺を疎に撮影できる中心窩型のカメラも提案されている。 Also, by devising the lens or sensor, dense center, also the camera center 窩型 that can shoot a peripheral sparsely it has been proposed. しかしながら、いずれも機構やレンズが大きくなり、装置の小型化は難しい。 However, any mechanism or lens is increased, the size of the apparatus is difficult.

そこで、このような用途のために、特許文献3,4で示すように、レンズアレイを用いて、両者の課題を共に解決するアプローチも提案されている。 Accordingly, for such applications, as shown in Patent Documents 3 and 4, by using a lens array, it has also been proposed approach to solving both problems together. 特許文献3は、焦点距離の異なる複数のレンズによって倍率の異なる画像を得て、被写体までの距離に焦点距離が適切で最も高い解像度が得られる信号から、2番目に高い解像度が得られる信号を減算する信号処理を行うことで、レンズを移動させずにフォーカス調整を行うことができるようにした撮像装置である。 Patent Document 3 obtains images having different magnifications by plurality of lenses having different focal lengths, from the signal the focal length to the distance to the subject is the highest resolution appropriate to obtain a signal is the second highest resolution can be obtained by performing the signal processing for subtracting an imaging apparatus that can perform the focus adjustment without moving the lens. また、特許文献4は、焦点距離の異なる複数のレンズを並列に配置し、中心部より周辺部の撮影領域を大きくすることで、監視カメラなどで、広い範囲を撮像し、かつ中心部の解像度を上げるようにした複眼撮像系である。 Further, Patent Document 4, arranged different multiple lenses focal length in parallel, by increasing the imaging area of ​​the peripheral portion from the center portion, in such a surveillance camera captures a wide range, and the central resolution which is a compound-eye imaging system to raise.
特公昭59−50042号公報 JP-B-59-50042 JP 特開2001−61109号公報 JP 2001-61109 JP 特開2000−32354号公報 JP 2000-32354 JP 特開2002−171447号公報 JP 2002-171447 JP

前記特許文献3は、倍率の異なる複数の画像を個々に利用するものであり、センサが各機能で分離しているために、画像毎の位置ズレや特性の差異などを抑制することが難しいという問題がある。 Patent Document 3 is to use a plurality of images having different magnifications individually, because the sensor is separated at each function, that it is difficult to suppress such differences misalignment and characteristics of each image There's a problem. また、特許文献4は、前記特許文献1と同様に、個々のレンズが被写体の異なる位置を撮影するものであり、一般被写体への適用が難しく、また隣り合う画像を貼り合わせる処理も必要となり、多くのコストや時間が必要となるという問題がある。 Further, Patent Document 4, the as with Patent Document 1, which each lens photographs the different positions of the object, applying to the general subject is difficult, also bonded to adjacent images processing is also required, there is a problem that many of the cost and time required.

本発明の目的は、あらゆる被写体に対して、簡単な画像処理で、広角と高解像度とを両立するすることができる複眼撮像装置を提供することである。 An object of the present invention, for any object, a simple image processing, to provide a compound-eye imaging device that can achieve both wide-angle and high resolution.

本発明の複眼撮像装置は、相互に焦点距離の異なるレンズを相互に並列に配置して成る複眼撮像装置において、短焦点のレンズに対応した撮像素子によって得られた画像の一部に、長焦点のレンズに対応した撮像素子によって得られた画像を嵌め込む画像処理手段を含むことを特徴とする。 Multi-lens imaging apparatus of the present invention, in the compound-eye imaging device formed by arranged in parallel mutually different focal length lenses to each other, a part of the image obtained by the imaging element corresponding to the short focal lens, long focal characterized in that it comprises an image processing means for fitting the image obtained by the lens imaging element corresponding to.

上記の構成によれば、複数のレンズを相互に並列に配置して成り、複眼によってイメージエリアを小さくできるため、レンズバックが短くなり装置を小型化することができる複眼撮像装置において、前記レンズを相互に焦点距離の異なるものとした構成では、たとえば特許文献3のようにフォーカスが適切なレンズの撮像素子からの信号を選択したり、たとえば特許文献4のようにそれぞれ被写体の異なる部分を撮像していたのに対して、本発明では、短焦点のレンズと長焦点のレンズとは、画角は異なるが、被写体の同じ部分を含むように撮像する。 According to the above structure, made by arranging in parallel a plurality of lenses to one another, it is possible to reduce the image area by the compound eye, in the compound-eye imaging device capable of the lens back to miniaturize the short made device, the lens in the configuration in which a different one of mutually focal length, for example focus or selects the signal from the imaging element suitable lens as in Patent Document 3, for example, by imaging a different portion of the subject as described in Patent Document 4 against it had, in the present invention, the short focal point of the lens and the long focal point of the lens, the angle of view is different, imaged to contain the same part of the subject. すなわち、長焦点のレンズの撮像範囲は、必ず短焦点のレンズの撮像範囲に含まれ(一部であり)、被写体の同じ範囲の像であれば、長焦点のレンズは短焦点のレンズに比べて解像度が高くなる。 That is, the imaging range of the long focus lens, (be part) always included in the imaging range of the short focus of the lens, if the image of the same range of the subject, the long focal point of the lens compared to the short focal lens resolution Te increases. そして、短焦点のレンズに対応した撮像素子によって得られたワイド画像の一部に、長焦点のレンズに対応した撮像素子によって得られたズームアップした画像を嵌め込むことで、画像の前記一部の解像度が高く、残余の部分は解像度は低いが広い画角の画像を得ることができる。 Then, a part of the wide image obtained by the image pickup elements corresponding to the short focal lens, by fitting the image zoomed obtained by the image pickup device corresponding to a lens of long focal, the portion of the image high resolution, remaining portions resolution is low but it is possible to obtain an image of wide angle.

したがって、あらゆる被写体に対して、簡単な嵌め込み合成処理で、広角と高解像度とを両立することができる。 Thus, for any object, a simple fitting synthesis process, it is possible to achieve both the wide angle and high resolution.

また、本発明の複眼撮像装置は、前記レンズの焦点距離は2種類であり、短焦点側はR,G,Bの3色をそれぞれ検知する撮像素子が臨み、長焦点側はGを検知する撮像素子が臨むことを特徴とする。 Also, the compound-eye imaging device of the present invention, the focal length of the lens is two, the short focus side faces R, G, is the imaging device to detect each of the three colors of B, long focus side detects the G wherein the imaging element faces.

上記の構成によれば、上記の広角、高解像度を実現するにあたって、短焦点(広角)側はR,G,Bのフルカラーで検知するようにし、長焦点(望遠)側はGを検知するようにする。 According to the arrangement, the wide angle, in order to achieve high resolution, as the short focal (wide angle) side so as to detect R, G, in full color B, long focal (telephoto) side for detecting a G to. そして、前記画像処理手段は、短焦点側のGの画像をG1とし、長焦点側のGの画像をG2とするとき、R,Bの画像はそのままで、G1の画像におけるG2の画像の領域を、このG2の画像に差し替え、位置ずれ修正などを行って嵌め込む。 Then, the image processing means, the image of the short focal end G and G1, when the G image of the long focal end and G2, R, B images are intact, the region of G2 of the image in G1 image and replaced with the G2 image, fitted performs such positional deviation corrected.

したがって、視感度が高いGの画像を差し替えることで、効果的に高解像な画像を得ることができる。 Therefore, by replacing the image visibility is high G, effectively can be obtained high resolution image.

さらにまた、本発明の複眼撮像装置は、縦横2×2のレンズ配列であることを特徴とする。 Furthermore, multi-lens imaging apparatus of the present invention is characterized in that a lens array of vertical and horizontal 2 × 2.

上記の構成によれば、上記のR,G1,G2,Bの画像を得るにあたって、4つのレンズに縦横2×2のレンズ配列を採用することで、各レンズ間の距離が比較的小さく、したがって視差が小さく、コンパクトにレンズを配列することができるとともに、1枚の矩形の撮像素子を4分割にして効率的に使用することができる。 According to the above configuration, the above-mentioned R, G1, G2, in obtaining an image of B, by employing the lens array of vertical and horizontal 2 × 2 four lenses, is relatively small distance between the lenses, thus parallax is small, it is possible to arrange the compact lens, it can be efficiently used in a single rectangular image sensor divided into four.

また、本発明の複眼撮像装置は、前記長焦点レンズには、光軸と垂直な面内で、該長焦点レンズを変位させる変位手段が設けられていることを特徴とする。 Also, the compound-eye imaging device of the present invention, the length lens is a plane perpendicular to the optical axis, wherein the displacement means for displacing the said long focal length lens is provided.

上記の構成によれば、監視対象領域の全景を把握するなどで、短焦点(ワイド)画像は据え置いたままで、不審人物をアップするなどの長焦点(ズームアップ)画像の領域を変位可能とする。 According to the arrangement, and the like to grasp the full view of the monitored area, while the short focal (wide) image affirmed, and the area of ​​the long focus (zoom up) image, such as to increase the suspicious person displaceable . これによって、操作者が注目したい部分を任意にズームアップすることができ、利便性を向上することができる。 Thus, it is possible to arbitrarily zoomed portion to be noted operator, it is possible to improve convenience.

さらにまた、本発明の複眼撮像装置では、前記画像処理手段は、短焦点側の画像に、前記短焦点側のレンズと長焦点側のレンズとの倍率比の略逆数倍の補間処理を行うことを特徴とする。 Furthermore, in multi-lens imaging apparatus of the present invention, the image processing means, in the short focal end image, performs the substantially inverted several times the interpolation magnification ratio between the short focal end of the lens and the long focal end of the lens it is characterized in.

上記の構成によれば、たとえば前記長焦点側のレンズと短焦点側のレンズとの焦点距離が2倍である場合には、画像処理手段は、短焦点側の画像に、略2倍の補間処理を行うことになる。 According to the above configuration, when for example the focal distance twice said length focus side of the lens and the short focal end lens, the image processing means, in the short focal end image, almost double the interpolation It will be processed.

したがって、略2倍補間画像に2倍ズーム画像を嵌め込むことで、短焦点(ワイド)画像と長焦点(ズームアップ)画像との解像度の差を目立たなくすることができる。 Therefore, by fitting the double zoom image to approximately twice interpolated image can be made inconspicuous difference resolution between the short focal (wide) image and a long focal (zoom-up) image.

また、本発明の複眼撮像装置では、前記画像処理手段は、予め定める事象が発生した際に起動することを特徴とする。 Further, in multi-lens imaging apparatus of the present invention, the image processing means may be activated when the event predetermined occurred.

上記の構成によれば、画像処理手段は常時動作しているのではなく、すなわち通常時はR,G1,Bの画像が合成されて、短焦点(ワイド)のフルカラー画像が得られている。 According to the above arrangement, the image processing means, instead of running all the time, i.e. the time usually R, is an image synthesis of G1, B, a full color image at the short focal (wide) is obtained. 一方、予め定める事象、たとえば前記操作者の操作や、防犯用の各種のセンサの検知出力などをトリガとして画像処理手段は動作し、一部のG1の画像が長焦点(ズームアップ)のG2画像に差し替えられる。 Meanwhile, events predetermined, for example the operation of and the operator, the image processing means operates the various sensors of the detection output for crime prevention as a trigger, G2 image images long focal part of G1 (zoom-up) It is replaced with.

したがって、通常時は前記の嵌め込み合成処理は行わず、これによって高いフレーム周波数で撮像し、前記予め定める事象が発生すると、前記フレーム周波数を落としても、人物の認識などのための高精細な画像を得ることができる。 Accordingly, the normal is not performed said fitting synthesis process, thereby imaged at a high frame frequency, if the pre-defined event occurs, when dropped the frame frequency, high-definition images, such as for recognition of a person it is possible to obtain.

本発明の複眼撮像装置は、以上のように、複数のレンズを相互に並列に配置して成り、複眼によってイメージエリアを小さくできるため、レンズバックが短くなり装置を小型化することができる複眼撮像装置において、短焦点のレンズと長焦点のレンズとを設け、それらは、画角は異なるが、被写体の同じ部分を含むように撮像し、短焦点のレンズに対応した撮像素子によって得られたワイド画像の一部に、長焦点のレンズに対応した撮像素子によって得られたズームアップした画像を嵌め込むことで、画像の前記一部の解像度が高く、残余の部分は解像度は低いが広い画角の画像を得るようにする。 Multi-lens imaging apparatus of the present invention, as described above, made by arranging in parallel a plurality of lenses to one another, it is possible to reduce the image area by the compound eye, the compound-eye imaging capable lens back to miniaturize the shorter becomes device in the apparatus, provided with the lens and the long focal point of the short-focus lens, which is the wide angle is different, the imaged to contain the same part of the subject, obtained by the imaging element corresponding to the short focal lens the part of the image, by fitting the image zoomed obtained by the image pickup device corresponding to a lens of long focal, high the portion of the resolution of the image, the remaining part is the resolution is low but wide angle so as to obtain an image.

それゆえ、あらゆる被写体に対して、簡単な嵌め込み合成処理で、広角と高解像度とを両立することができる。 Therefore, for every subject, by simple fitting synthesis process, it is possible to achieve both the wide angle and high resolution.

[実施の形態1] [Embodiment 1]
図1は本発明の実施の一形態に係る複眼撮像装置1の構成を示す分解斜視図であり、図2は撮像部の横断面を示す図である。 Figure 1 is an exploded perspective view showing the structure of a compound-eye imaging device 1 according to an embodiment of the present invention, FIG 2 is a diagram showing the cross section of the imaging unit. この複眼撮像装置1は、大略的に、撮像素子2と、レンズアレイ3と、分光フィルタ4と、隔壁5と、画像処理部6とを備えて構成されている。 The compound-eye imaging device 1, generally, the image pickup element 2, the lens array 3, the spectral filter 4, the partition wall 5 is configured by an image processing unit 6.

前記撮像素子2は、受光部2aが二次元に配置されたもので、得られた画像信号を画素毎に外部に読出すことができるようになっており、電荷をマトリックス的に読出すCMOS構造でも、順次的に読出すCCD構造でも構わない。 The imaging device 2, in which the light receiving unit 2a are arranged two-dimensionally, and can now be read outside the image signal obtained for each pixel, a matrix manner reading CMOS structure charges But, it may be a sequentially reading CCD structure. この撮像素子2では、後述するレンズの数に応じて仮想的に撮像領域が分割されており、各レンズを通過した光は1つの撮影領域にのみ到達する。 In the image pickup element 2 are divided virtually imaged region in accordance with the number of lenses to be described below, light that passes through each lens reaches only one imaging region. この撮像素子2では、前記撮像領域は縦横2×2の計4領域に分割されており、前記のような他のレンズを通過した光が入射しないように、フードとして機能する隔壁5が設けられている。 In the image pickup element 2, the imaging area is divided into four regions of the vertical and horizontal 2 × 2, so that the light passing through the other lenses, such as the is not incident, is provided partition wall 5 which serves as a food ing. この撮像素子2における各撮像領域の画素数は、相互に等しい。 The number of pixels each imaging region in the imaging device 2 is equal to each other.

前記撮像素子2における各撮像領域は、一次元に配置されたものでも構わないが、この場合、レンズも一次元に配列される。 Each imaging area in the image pickup element 2 is may be one which is arranged in a one-dimensional, in this case, the lens is also arranged one-dimensionally. しかしながら、上述のように縦横2×2のレンズ配列を採用することで、後述のR,G1,G2,Bの4つの画像を得るにあたって、各レンズ間の距離が比較的小さく、したがって視差が小さく、コンパクトにレンズを配列することができるとともに、1枚の矩形の撮像素子2を4分割にして効率的に使用することができる。 However, by adopting a lens array of vertical and horizontal 2 × 2 as described above, below the R, G1, G2, in obtaining four images of B, the distance between the lenses is relatively small, thus the disparity is small , it is possible to arrange the compact lens, it can be efficiently used as one of the rectangular image pickup element 2 divided into four.

前記レンズアレイ3は、前記縦横2×2の4つの結像手段が相互に並列に配置されたもので、広角レンズ3R,3G1,3Bと、望遠レンズ3G2とから構成されており、それぞれR,G1,B,G2の画像を得る。 The lens array 3, the intended four imaging means Aspect 2 × 2 are arranged in parallel with each other, a wide-angle lens 3R, and 3G1,3B, is composed of a telephoto lens 3G2 Prefecture, respectively R, G1, B, to obtain an image of G2. たとえば、望遠レンズ3G2の倍率は、広角レンズ3R,3G1,3Bの2倍であるが、この比率は限定されたものではない。 For example, the magnification of the telephoto lens 3G2 is a wide-angle lens 3R, but twice the 3G1,3B, this ratio is not intended to be limited. 本実施の形態では、望遠レンズ3G2が捉える被写体の領域は、広角レンズ3R,3G1,3Bの中心部分で、かつ面積で1/4の領域である。 In the present embodiment, the region of the subject is a telephoto lens 3G2 capture is wide-angle lens 3R, at the central portion of the 3G1,3B, and is 1/4 of the area by the area.

前記分光フィルタ4も、前記撮像素子2およびレンズアレイ3に対応して縦横2×2の4つの領域に分割されており、前記広角レンズ3R,3G1,3Bの結像光路の被写体側にはR,G,Bの各色を透過する分光フィルタ4R,4G1,4Bが挿入されており、望遠レンズ3G2の結像光路の被写体側にはGの分光フィルタ4G2が挿入されている。 The spectral filter 4 also, the is divided into four regions of the vertical and horizontal 2 × 2 in response to the image sensor 2 and the lens array 3, the wide-angle lens 3R, the object side of the imaging optical path of 3G1,3B R , G, the spectral filter 4R transmitted through each color of B, and is inserted 4G1,4B, spectral filter 4G2 of G is inserted into the object side of the imaging optical path of a telephoto lens 3G2. この分光フィルタ4は、色素を用いたものでも、干渉原理を用いたものでも構わない。 The spectral filter 4, be those using a dye, may be one using the interference principle. また、分光フィルタ4の透過色は、統合してカラー画像を合成できるものであれば、R,G,Bに限定されたものではない。 Further, transmitted color of the spectral filter 4, as long as it can synthesize a color image by integrating, R, not intended to be limited G, and B. また、分光フィルタ4G1と分光フィルタ4G2とが、相互に中心波長の異なるものであってもよく、さらにまた4色以上に分解したものでも、C,M,Yなど補色系のものでもよい。 Further, the spectral filter 4G1 and spectral filter 4G2 is may be different center wavelengths with each other, furthermore also obtained by decomposing the above four colors, C, M, may be of the complementary color system such as Y. いずれの場合も、撮像素子2の撮像領域は、色数+1個に分割され、望遠レンズには分光フィルタ4として、視感度の高いG近傍の色が配置される。 In either case, the imaging region of the imaging element 2 is divided into color number +1, the telephoto lens as spectral filter 4, the color of high G vicinity luminosity is arranged.

前記隔壁5は、上述のように前記各レンズ3R,3G1,3B,3G2を通過した光が1つの撮影領域にのみ到達するように設けられており、格子状に形成され、撮像素子2とレンズアレイ3との間に配置されている。 The partition wall 5, the respective lenses 3R, as described above, 3G1,3B, light passing through the 3G2 is provided so as to reach only one imaging area, it is formed in a lattice shape, an imaging element 2 and the lens It is disposed between the array 3. この隔壁5の4つの格子の内周面は、光を反射しないよう、平滑でない黒色に塗装されている。 The inner peripheral surface of the four lattice of the partition wall 5, so as not to reflect light, which is painted black not smooth.

前記画像処理部6は、後述するようにして、得られた画像データの補間、合成や切り替え、テレビ信号やデジタル信号への変換、記憶や転送などの処理を行う。 The image processing unit 6, as described later, interpolation of the image data obtained, the synthesis and switching, processing such as conversion into television signals and digital signals, storage and transfer carried out.

図3は、前記画像処理部6による画像処理の様子を模式的に示す図である。 3, the state of the image processing by the image processing unit 6 is a view schematically showing. 図3(a)は、各レンズ3R,3G1,3B,3G2で得られた画像の例を示す。 3 (a) is the lens 3R, 3G1,3B, showing an example of an image obtained by 3G2. 撮像素子2における各撮像領域に、R,G1,Bの広角画像とG2の望遠画像とが得られている。 Each imaging region of the imaging element 2, R, is a telescopic image of the wide-angle image and G2 of G1, B are obtained. 画像処理部6は、通常の監視時には、広角のR,G1,B画像のみを選択的に読出し、フルカラー画像を生成する。 The image processing unit 6, during normal monitoring, the wide angle of R, G1, B image only selectively read to generate a full color image. この場合、前記CMOS構造の撮像素子では、必要な画素の番地のみを指示して画像を読出すことができる。 In this case, the pickup element of the CMOS structure, the image can be read out by an instruction only addresses of necessary pixel. 一方、前記CCD構造の撮像素子では、順次的に画像データを転送し、必要な番地の画素のデータのみを読出す。 On the other hand, in the image pickup device of the CCD structure, sequentially transfers image data, reads only the data of the pixel at the address required. したがって、CMOS構造の撮像素子を採用した場合、同じ画素数の撮像素子を用いたCCD構造の撮像素子より高速に必要な広角な画像データを読出すことができる。 Therefore, when adopting the image pickup device of CMOS structure, the wide-angle image data necessary for faster imaging element CCD structure using an imaging device having the same number of pixels can be read. この場合、画像データの更新期間を短縮することができ(フレームレートを高くし)、時間的により細かく観察することができる。 In this case, (a higher frame rate) can be shortened update period of image data can be observed temporally finer.

一方、不審者の侵入など、予め定める事象が発生し、たとえばモニターを監視している操作者の操作や、防犯用の各種のセンサの検知出力などをトリガとして、前記画像処理部6は以下の画像処理を行う。 On the other hand, such as a suspicious person intrusion occurs event predetermined, for example, and to which the operator of the operation monitoring monitor, as various triggers such as the detection output of the sensor for crime prevention, the image processing unit 6 following It performs image processing. 前記画像処理部6を、通常時用と異常時用とに2種類設けておき、通常時は上述のように通常の3板式の監視カメラと同様に、R,G,Bの3つの色成分を合成する簡易な処理を行う側の画像処理部を動作させ、異常時には以下の少し複雑な処理を行う側の画像処理部を起動するようにしてもよい。 Wherein the image processing unit 6, to the normal for the time of the malfunction-time leave two provided, the normal like normal three-plate type of surveillance cameras as described above, R, G, 3 one color component of B the simple process of combining operating the image processing portion of the side that performs, the abnormality may be started the image processing portion of the side that performs slightly complex processing follows.

前記異常発生時には、前記広角のR,G1,B画像とともに、望遠のG2画像を併せて読出す。 Wherein the abnormality occurrence, the angle of R, together with G1, B image, reads together telephoto G2 image. そして、図3(b)で示すように、広角のR,G1,B画像のデータを、画像処理部6は、縦横2倍、計4倍の画素数に補間演算する。 Then, as shown in FIG. 3 (b), the wide angle R, the data G1, B image, the image processing unit 6, the doubled aspect, interpolating calculation to four times the number of pixels. 補間方法は、隣接画素の平均値を用いるバイリニア法、周辺画素の畳み込みを用いるキュービックコンボリューション法など既知の方法でよい。 Interpolation method, a bilinear method using the average value of adjacent pixels, may be known methods such as a cubic convolution method using a convolution of the peripheral pixels. このように広角のR,G1,B画像のデータに2倍の補間演算を行い、2倍ズーム画像G2のデータを、後述するように嵌め込むことで、短焦点(ワイド)画像と長焦点(ズームアップ)画像との解像度の差を目立たなくすることができる。 Thus wide angle R, performed twice interpolation operation on data G1, B image, the data of 2 × zoom image G2, by fitting, as will be described later, the short focal (wide) image and a long focal ( it can be made inconspicuous difference resolution between the zoom-up) image.

次に、図3(c)で示すように、補間したG1画像の中心部の前記面積で1/4の領域を切り抜きし、望遠レンズで得られたG2の原画像を貼り付けて、図3(d)で示す合成画像G'を得る。 Next, as shown in FIG. 3 (c), cut out quarter of the area by the area of ​​the center portion of the interpolated G1 image, copy and paste the original image G2 obtained by the telephoto lens, FIG. 3 obtaining a composite image G 'shown in (d). ここで、撮像部の大きさが被写体に比べて充分に小さい場合には、視点位置のズレは無視できる。 Here, when the size of the imaging unit is sufficiently small compared to the subject, shift of the viewpoint position is negligible.

一方、G1,G2画像間のズレが無視できない場合には、図3(e)で示すように、その境界領域に平均化フィルタを施してズレを目立たなくする。 On the other hand, when the deviation between G1, G2 image can not be ignored, as shown in FIG. 3 (e), the inconspicuous offset by performing averaging filter in the boundary region. また、前記位置ズレの量を画像から抽出して、補正する方法もある。 Further, there is extracted the amount of the positional deviation from the image, a method of correcting. たとえば、両眼立体視の距離測定などで知られている対応点抽出法によって、G1,G2画像間で被写体の同じ箇所を撮影している画素を検出し、その番地からズレ量を演算する。 For example, the corresponding point extraction method known in the such as the distance measurement of binocular stereopsis, to detect pixels that have taken the same position of the object among G1, G2 image, calculates a shift amount from that address. このズレ量に基づいて望遠のG2画像の位置を、上下、左右に補正し、G1画像に貼り付ける。 The position of the telephoto G2 image based on the shift amount, vertical, corrected to the left and right, pasted on G1 images. ズレ量が画素単位以下の場合には、前述の補間処理を用いて画素単位以下の補正を行う。 If the deviation amount is equal to or less than the pixel unit performs the following correction pixel units using the interpolation process described above. 撮像素子2、レンズアレイ3および分光フィルタ4が図1の構造である場合、G2を基準とすると、G1の左右方向のズレはBの画像にも、上下方向のズレはRの画像にも同じ量だけ生じているので、同様に位置を補正する。 When the imaging element 2, the lens array 3 and the spectral filter 4 has the structure of FIG. 1, when a reference G2, deviation in the lateral direction of the G1 to be images of B, offset in the vertical direction are the same to an image of R since the generated amount, corrects the similarly positioned. これによって、R,G1,Bすべての画像の位置ズレを補正することができる。 Thereby, it is possible to correct the positional deviation of the R, G1, B all images.

以上の処理によって、前記図3(d)で示すような中心部が高解像、かつ広角な合成画像G'を得ることができる。 By the above process, FIG. 3 the central portion as shown in (d) is a high resolution, it is possible to obtain a wide-angle composite image G '. この合成画像G'と、広角なR,B画像とを組合わせることによって、画像処理に要する時間だけ、画像データの更新期間は長くなる(フレームレートは低くなる)けれども、広角と高解像度とを両立した1枚のフルカラー画像を得ることができる。 This composite image G ', wide angle R, by combining the B picture, only time required for image processing, but update period of image data becomes longer (the frame rate is low), the wide-angle and high-resolution it can be obtained both single full-color image. ここで、人間の視覚特性は緑色に敏感なので、上記の構成のようにG画像が高解像度であると、被写体の識別能力を向上することができる。 Here, human visual characteristics is sensitive to green, when the G image as in the configuration described above has a high resolution, it is possible to improve the discrimination ability of the subject. また、監視カメラでは注視したい被写体が中心部に来るように設置されることが多いので、その部分を高解像度に撮像することができる。 Further, the object to be gazed in a surveillance camera because are often installed to center portion, can be imaged that portion high resolution.

図4は、上述の画像処理動作を詳しく説明するフローチャートである。 Figure 4 is a flowchart for explaining in detail an image processing operation of the above. ステップS1では通常監視モードとなっており、ステップS2で広角のR,G1,B画像のみを選択的に読出し、ステップS3ではフルカラー画像を生成して表示する。 Step has become S1 in the normal monitoring mode, a wide angle of R in step S2, G1, B image only selectively reads, generates and displays a full-color image in step S3. ステップS4では、異常発生の有無が判定されており、異常が発生していない間は、前記ステップS1〜S3の処理を繰返す。 In step S4, it is the presence or absence of abnormality is determined, while no abnormality occurred, repeats the processing of step S1 to S3.

前記ステップS4で異常発生が判定されると、ステップS5で注視モードに移り、ステップS6でR,G1,B,G2の総ての画像が読出される。 When abnormality occurs in step S4 is determined, move to the gaze mode in step S5, R at step S6, G1, B, all of the image G2 is read. ステップS7では、広角のR,G1,B画像に関して、4倍の画素数に補間演算される。 In step S7, a wide angle of R, G1, with respect to B picture, are interpolated operation four times the number of pixels. 続いて、ステップS8で、補間したG1画像の中心部の領域を切り抜きし、G2の原画像の貼り付けが行われ、ステップS9でフルカラー画像を生成して表示する。 Subsequently, in step S8, the cut out area of ​​the center portion of the interpolated G1 image, pasting of the original image G2 is performed, it generates and displays a full-color image in step S9. その後、前記ステップS4に戻って、異常発生状態が継続しているか否かが判断され、継続していると上記ステップS6〜S9の処理を繰返し、異常状態が解消していると、前記ステップS1〜S3の処理を繰返す。 Then, returning to the step S4, whether an abnormality occurrence state continues it is determined and continues repeats the processing in steps S6 to S9, when the abnormal state is solved, the step S1 It repeats the process of ~S3.

ここで、撮像素子の画素数を4n個とすると、従来のモザイクフィルタでは、Gが2n個、RとBがそれぞれn個の画素数となる。 Here, when the number of pixels of the image pickup element and of 4n, the conventional mosaic filter, G is the 2n, R and B are the number n pixels each. 一方、本実施の形態では、R,G1,G2,Bがそれぞれn個ずつとなる。 On the other hand, in this embodiment, R, G1, G2, B is each n each. したがって、従来のカメラ装置が本実施の形態の広角レンズと同等の焦点距離を備えている場合、被写体に対して、RとBは同じ画素数、G1はGの1/2の画素数、G2はGの2倍の画素数を有することになる。 Therefore, if the conventional camera apparatus includes the same focal distance and a wide angle lens of this embodiment, the subject, R and B are the same number of pixels, G1 is the number of half of the pixels of G, G2 It will have twice as many pixels G. したがって、前記合成画像G'は、視感度の高い緑色に関して、周辺部では従来のカメラより低解像度となるが、中心部では高解像度となる。 Thus, the composite image G 'with respect high visual sensitivity green, but a lower resolution than conventional camera at the periphery, is a high resolution at the center. このようにして、レンズバックが短くなり装置を小型化することができる複眼撮像装置において、簡単な嵌め込み合成処理で、あらゆる被写体に対して、小型で広角、かつ高解像度を実現することができる。 Thus, in a compound-eye imaging device capable of the lens back to miniaturize the short made device, a simple fitting synthesis process, for every subject, it is possible to realize a wide angle and high resolution at small.

[実施の形態2] [Embodiment 2]
図5は、本発明の実施の他の形態に係る複眼撮像装置による撮像画像の一例を示す図である。 Figure 5 is a diagram showing an example of an image captured by the compound-eye imaging apparatus according to another embodiment of the present invention. 注目すべきは、本実施の形態では、前述の複眼撮像装置1における広角レンズ3R,3G1,3Bと望遠レンズ3G2との関係が相互に入れ替えられていることである。 Notably, in the present embodiment is that the wide-angle lens 3R, the relationship between 3G1,3B and telephoto lens 3G2 are interchanged in the compound-eye imaging device 1 described above. すなわち、撮像素子2、隔壁5および分光フィルタ4は、前述の複眼撮像装置1と同一であるけれども、レンズアレイは縦横2×2の配列は同じであるものの、レンズ3R,3G1,3Bが望遠レンズとなり、レンズ3G2が広角レンズとなることである。 That is, the image pickup element 2, the partition wall 5 and the spectral filter 4, although the same as the compound-eye imaging device 1 described above, although the lens arrays arranged in vertical and horizontal 2 × 2 are the same, the lens 3R, 3G1,3B telephoto lens next, the lens 3G2 is that a wide-angle lens. したがって、撮像素子2の各撮像領域で得られた画像R,G1,G2,Bは、図5で示すようになる。 Therefore, the image R, G1, G2 obtained in the imaging region of the imaging element 2, B is as shown in Figure 5.

そして、前記画像処理部6は、通常の監視時には、広角のG2画像のみを選択的に読出し、モノクロ画像表示を行う。 Then, the image processing unit 6, during normal monitoring selectively performs read, a monochrome image display only wide angle G2 image. この場合は、読出す画素数が少ないので、前記CMOS構造の撮像素子の場合、周期を短く(前記フレームレートを高く)でき、注視時の時間分解能が向上する。 In this case, since a small reading number of pixels, if the imaging element of the CMOS structure, a period shorter can (higher the frame rate), to improve the time resolution of the time gaze. これに対して、異常発生時には、望遠のR,G1,B画像も併せて読出し、フルカラー画像を合成する。 In contrast, when a malfunction occurs, read in conjunction telephoto R, G1, B image also synthesize full-color image.

分光フィルタ4G2は、人間の視感度曲線を再現したフィルタでもよい。 Spectral filter 4G2 may be a reproduction of the filter the human visibility curve. また、広角レンズに対応したこの分光フィルタ4G2を省略し、全波長で撮影するようにしてもよい。 Also, omit this spectral filter 4G2 corresponding to wide-angle lens may be captured at all wavelengths. その場合、フィルタによる光量低下が無いので、監視時の感度が向上する。 In that case, since the light amount decrease by the filter is no sensitivity during monitoring can be improved. また、近赤外域まで感度のある撮像素子であれば、夜間など暗い状況で生体などの監視ができる。 Further, if the imaging element having sensitivity to the near infrared region, it is monitored, such as bio-dark nighttime conditions. 注視時には感度は向上しないので、フラッシュを発光してフルカラー画像を得るようにしてもよい。 Since the time of fixation sensitivity is not improved, it may be obtained a full color image with the flash. さらにまた、夜間専用であれば、赤外線のみを透過するフィルタを用いてもよい。 Furthermore, if the night only, may be used a filter which transmits only infrared rays.

図6は、上述の画像処理動作を詳しく説明するフローチャートである。 Figure 6 is a flowchart for explaining in detail an image processing operation of the above. 前述の図4で示す処理に類似し、対応する部分には同一のステップ番号を付して示す。 Similar to the process shown in Figure 4, corresponding portions are denoted by the same step numbers. ステップS1で通常監視モードとなっていると、ステップS12で広角のG2画像のみを選択的に読出し、ステップS13ではモノクロ画像を生成して表示する。 If it has a normal monitoring mode at step S1, selectively reads only wide-angle G2 image in step S12, generates and displays a monochrome image in step S13. ステップS4では、異常発生の有無が判定されており、異常が発生していない間は、前記ステップS1,S12,S13の処理を繰返す。 In step S4, it is the presence or absence of abnormality is determined, while no abnormality occurred, repeats the processing of step S1, S12, S13.

前記ステップS4で異常発生が判定されると、ステップS5で注視モードに移り、ステップS16でR,G1,B,G2の総ての画像が読出される。 When abnormality occurs in step S4 is determined, move to the gaze mode in step S5, R at step S16, G1, B, all of the image G2 is read. 続いて、ステップS18で、広角のG2画像の中心部の領域を切り抜きし、望遠のR,G1,B画像の貼り付けが行われ、ステップS19でフルカラー画像を生成して表示する。 Subsequently, in step S18, and cut out area of ​​the center portion of the wide-angle G2 image, telephoto R, pasting G1, B image is performed, it generates and displays a full-color image in step S19. その後、前記ステップS4に戻って、異常発生状態が継続しているか否かが判断され、継続していると上記ステップS16,S18,S19の処理を繰返し、異常状態が解消していると、前記S1,S12,S13の処理を繰返す。 Then, returning to the step S4, it is determined whether an abnormality occurrence state is continued, the continues repeats the processing in steps S16, S18, S19, when the abnormal state is solved, the It repeats the processing of S1, S12, S13. 前記ステップS16とS18との間に、前記ステップS7のような補間処理を、広角のG2画像に対して行ってもよい。 Between the step S16 and S18, the interpolation processing as the step S7, may be performed on a wide-angle of the G2 image.

このようにしてもまた、小型で広角、かつ高解像度な複眼撮像装置を実現することができる。 Even in this case also, it is possible to realize a wide angle and a high-resolution multi-lens imaging apparatus compact. 実施の形態1と2とは、監視対象の種類などによって使い分ければよい。 The first and second embodiments may be used properly depending on the type of monitor.

[実施の形態3] [Embodiment 3]
図7は、本発明の実施のさらに他の形態に係る複眼撮像装置11の撮像部の横断面を示す図である。 Figure 7 is a further diagram showing the cross section of the imaging unit of the compound-eye imaging device 11 according to another embodiment of the present invention. この複眼撮像装置11は、前述の複眼撮像装置1に類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。 The compound-eye imaging device 11 is similar to the compound-eye imaging device 1 described above, and corresponding parts are denoted by the same reference numerals, and description thereof is omitted. 注目すべきは、この複眼撮像装置11では、望遠レンズ3G2には、光軸と垂直な面内で、該望遠レンズ3G2を変位させる変位手段12が設けられていることである。 Notably, in the compound-eye imaging device 11, the telephoto lens 3G2, in plane perpendicular to the optical axis, is that the displacement means 12 for displacing the 該望 far lens 3G2 is provided. これによって、高解像度の領域を中心から移動することが可能になる。 This makes it possible to move from the center area of ​​the high resolution. この場合、G1画像からG2画像の領域を切り抜き、G2画像を貼り付けることになる。 In this case, cut out regions from the G1 image G2 image, so that the paste G2 image.

このように構成することで、監視対象領域の全景を把握するなどで、短焦点(ワイド)画像は据え置いたままで、不審人物をアップするなどの長焦点(ズームアップ)画像の領域の変位が可能になり、操作者が注目したい部分を任意にズームアップすることができ、利便性を向上することができる。 With this configuration, etc. to grasp the full view of the monitored area, while the short focal (wide) image affirmed, can be displaced in the region of the long focus (zoom up) image, such as to increase the suspicious person to be, freely able to zoom up the portion to be noticed by the operator, it is possible to improve the convenience.

本発明の実施の一形態に係る複眼撮像装置の構成を示す分解斜視図である。 It is an exploded perspective view showing the structure of a compound-eye imaging apparatus according to an embodiment of the present invention. 図1の撮像部の横断面を示す図である。 Is a diagram showing the cross section of the imaging unit of FIG. 画像処理部による画像処理の様子を模式的に示す図である。 Is a diagram schematically showing a state of the image processing by the image processing unit. 図3の画像処理動作を詳しく説明するフローチャートである。 An image processing operation of FIG. 3 is a flowchart illustrating in detail. 本発明の実施の他の形態に係る複眼撮像装置による撮像画像の一例を示す図である。 By compound-eye imaging apparatus according to another embodiment of the present invention is a diagram showing an example of a captured image. 図5の画像処理動作を詳しく説明するフローチャートである。 An image processing operation of FIG. 5 is a flowchart illustrating in detail. 図7は、本発明の実施のさらに他の形態に係る複眼撮像装置の撮像部の横断面を示す図である。 Figure 7 is a further diagram showing the cross section of the imaging unit of the compound-eye imaging apparatus according to another embodiment of the present invention.

符号の説明 DESCRIPTION OF SYMBOLS

1,11 複眼撮像装置 2 撮像素子2a 受光部 3 レンズアレイ3R,3G1,3B 広角レンズ3G2 望遠レンズ4;4R,4G1,4G2,4B 分光フィルタ 5 隔壁 6 画像処理部12 変位手段 1,11 compound-eye imaging device 2 imaging device 2a receiving unit 3 lens array 3R, 3G1,3B wide-angle lens 3G2 telephoto lens 4; 4R, 4G1,4G2,4B spectral filter 5 partition 6 image processing unit 12 the displacement means

Claims (6)

  1. 相互に焦点距離の異なるレンズを相互に並列に配置して成る複眼撮像装置において、 In the compound-eye imaging device formed by arranging in parallel a different lens focal length from each other to each other,
    短焦点のレンズに対応した撮像素子によって得られた画像の一部に、長焦点のレンズに対応した撮像素子によって得られた画像を嵌め込む画像処理手段を含むことを特徴とする複眼撮像装置。 Some of the images obtained by the image pickup elements corresponding to the short-focus lens, multi-lens imaging apparatus which comprises an image processing means for fitting the image obtained by the image pickup elements corresponding to the lens of long focal length.
  2. 前記レンズの焦点距離は2種類であり、短焦点側はR,G,Bの3色をそれぞれ検知する撮像素子が臨み、長焦点側はGを検知する撮像素子が臨むことを特徴とする請求項1記載の複眼撮像装置。 Focal length of the lens is two, wherein the short focal end is R, G, image sensor to detect B of three colors, each faces, long focal end, characterized in that the face is the image pickup device to detect the G compound-eye imaging device of claim 1, wherein.
  3. 縦横2×2のレンズ配列であることを特徴とする請求項2記載の複眼撮像装置。 Compound-eye imaging apparatus according to claim 2, characterized in that the lens arrangement of the vertical and horizontal 2 × 2.
  4. 前記長焦点レンズには、光軸と垂直な面内で、該長焦点レンズを変位させる変位手段が設けられていることを特徴とする請求項1〜3のいずれか1項に記載の複眼撮像装置。 In the long focal lens is a plane perpendicular to the optical axis, the compound-eye imaging according to any one of claims 1 to 3, characterized in that displacement means for displacing the said long focal length lens is provided apparatus.
  5. 前記画像処理手段は、短焦点側の画像に、前記短焦点側のレンズと長焦点側のレンズとの倍率比の略逆数倍の補間処理を行うことを特徴とする請求項1〜4のいずれか1項に記載の複眼撮像装置。 Wherein the image processing means, in the short focal end image, of claims 1 to 4, characterized in that said substantially inverted several times the interpolation magnification ratio between the short focal end of the lens and the long focal end of the lens compound-eye imaging apparatus according to any one.
  6. 前記画像処理手段は、予め定める事象が発生した際に起動することを特徴とする請求項1〜5のいずれか1項に記載の複眼撮像装置。 Wherein the image processing means, the compound-eye imaging apparatus according to any one of claims 1 to 5, characterized in that activated when an event predetermined occurred.
JP2004117536A 2004-04-13 2004-04-13 Compound eye imaging device Withdrawn JP2005303694A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004117536A JP2005303694A (en) 2004-04-13 2004-04-13 Compound eye imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004117536A JP2005303694A (en) 2004-04-13 2004-04-13 Compound eye imaging device

Publications (1)

Publication Number Publication Date
JP2005303694A true JP2005303694A (en) 2005-10-27

Family

ID=35334697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004117536A Withdrawn JP2005303694A (en) 2004-04-13 2004-04-13 Compound eye imaging device

Country Status (1)

Country Link
JP (1) JP2005303694A (en)

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116208A (en) * 2005-10-17 2007-05-10 Funai Electric Co Ltd Compound eye imaging apparatus
JP2007158825A (en) * 2005-12-06 2007-06-21 Ricoh Co Ltd Image input device
WO2007100057A1 (en) * 2006-03-03 2007-09-07 Matsushita Electric Industrial Co., Ltd. Imaging device and integrated circuit
JP2008176763A (en) * 2006-09-07 2008-07-31 Avago Technologies General Ip (Singapore) Private Ltd Lens array imaging with cross-talk inhibiting optical stop structure
WO2009057288A1 (en) * 2007-11-02 2009-05-07 Panasonic Corporation Image picking-up device
JP2010026490A (en) * 2008-06-18 2010-02-04 Ricoh Co Ltd Image pickup
JP2010088105A (en) * 2008-09-08 2010-04-15 Sony Corp Imaging apparatus and method, and program
JP2010271306A (en) * 2009-04-24 2010-12-02 Panasonic Electric Works Co Ltd Distance image sensor
CN102111544A (en) * 2009-12-24 2011-06-29 株式会社东芝 Camera module, image processing apparatus, and image recording method
JP2011133271A (en) * 2009-12-22 2011-07-07 Panasonic Electric Works Co Ltd Object detector
US7999873B2 (en) 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP2012003262A (en) * 2010-06-18 2012-01-05 General Electric Co <Ge> Multi-resolution optical system and method for manufacturing the same
EP2421246A2 (en) 2010-08-19 2012-02-22 Fujifilm Corporation Image capturing module and image capturing apparatus
WO2012040696A2 (en) 2010-09-24 2012-03-29 Intel Corporation Zoom camera image blending technique
WO2012057619A1 (en) * 2010-10-24 2012-05-03 Ziv Attar System and method for imaging using multi aperture camera
EP2567287A1 (en) * 2010-05-03 2013-03-13 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
JP2013085176A (en) * 2011-10-12 2013-05-09 Canon Inc Image-capturing device
JP2013109067A (en) * 2011-11-18 2013-06-06 Kiyohara Optics Inc Imaging device, lens thereof, telescope, and video camera
JP2013143677A (en) * 2012-01-11 2013-07-22 Canon Inc Imaging apparatus
JP2013149285A (en) * 2008-09-08 2013-08-01 Sony Corp Imaging apparatus and method, and program
EP2683154A2 (en) 2012-07-02 2014-01-08 Canon Kabushiki Kaisha Image pickup apparatus and lens apparatus
JP2014010401A (en) * 2012-07-02 2014-01-20 Canon Inc Imaging device and lens device
JP2014010399A (en) * 2012-07-02 2014-01-20 Canon Inc Imaging device and lens device
JP2014010400A (en) * 2012-07-02 2014-01-20 Canon Inc Imaging device and lens device
JP2014228778A (en) * 2013-05-24 2014-12-08 キヤノン株式会社 Image-capturing device, control method therefor, and control program
KR101510105B1 (en) * 2008-10-01 2015-04-08 삼성전자주식회사 Video recording device
JP2015148765A (en) * 2014-02-07 2015-08-20 オリンパス株式会社 Imaging device, display device, optical device and imaging system
EP2136198B1 (en) * 2008-06-18 2016-05-25 Ricoh Company, Ltd. Image pickup and method of detecting road status.
JP2016099598A (en) * 2014-11-26 2016-05-30 キヤノン株式会社 Imaging apparatus, method for controlling the same, and control program
EP3066690A1 (en) * 2013-11-07 2016-09-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9602701B2 (en) 2013-12-10 2017-03-21 Canon Kabushiki Kaisha Image-pickup apparatus for forming a plurality of optical images of an object, control method thereof, and non-transitory computer-readable medium therefor
JP2017514326A (en) * 2014-03-27 2017-06-01 インテル・コーポレーション Camera that captures a plurality of sub-images for the generation of the image
US9749568B2 (en) 2012-11-13 2017-08-29 Fotonation Cayman Limited Systems and methods for array camera focal plane control
US9754422B2 (en) 2012-02-21 2017-09-05 Fotonation Cayman Limited Systems and method for performing depth based image editing
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
KR101813393B1 (en) * 2016-04-12 2017-12-29 삼성전기주식회사 Camera module
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9911183B2 (en) 2014-08-01 2018-03-06 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
KR101948411B1 (en) * 2017-02-22 2019-02-14 이창화 Multiple camera lens module
US10218889B2 (en) 2011-05-11 2019-02-26 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US10225444B2 (en) 2014-03-17 2019-03-05 Canon Kabushiki Kaisha Multi-lens optical apparatus
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116208A (en) * 2005-10-17 2007-05-10 Funai Electric Co Ltd Compound eye imaging apparatus
US7999873B2 (en) 2005-11-22 2011-08-16 Panasonic Corporation Imaging device with plural lenses and imaging regions
JP2007158825A (en) * 2005-12-06 2007-06-21 Ricoh Co Ltd Image input device
JP4673202B2 (en) * 2005-12-06 2011-04-20 株式会社リコー Image input device
WO2007100057A1 (en) * 2006-03-03 2007-09-07 Matsushita Electric Industrial Co., Ltd. Imaging device and integrated circuit
JP2008176763A (en) * 2006-09-07 2008-07-31 Avago Technologies General Ip (Singapore) Private Ltd Lens array imaging with cross-talk inhibiting optical stop structure
JP4709814B2 (en) * 2006-09-07 2011-06-29 アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド Lens array imaging with suppressing optical stop structure crosstalk
WO2009057288A1 (en) * 2007-11-02 2009-05-07 Panasonic Corporation Image picking-up device
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10142560B2 (en) 2008-05-20 2018-11-27 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2136198B1 (en) * 2008-06-18 2016-05-25 Ricoh Company, Ltd. Image pickup and method of detecting road status.
JP2010026490A (en) * 2008-06-18 2010-02-04 Ricoh Co Ltd Image pickup
CN102932586B (en) * 2008-09-08 2016-03-02 索尼公司 Image forming apparatus and method
US8749661B2 (en) 2008-09-08 2014-06-10 Sony Corporation Imaging compositions of multiple images having different image ranges
CN102932586A (en) * 2008-09-08 2013-02-13 索尼公司 Imaging apparatus and method
JP2010088105A (en) * 2008-09-08 2010-04-15 Sony Corp Imaging apparatus and method, and program
JP2013149285A (en) * 2008-09-08 2013-08-01 Sony Corp Imaging apparatus and method, and program
KR101510105B1 (en) * 2008-10-01 2015-04-08 삼성전자주식회사 Video recording device
JP2010271306A (en) * 2009-04-24 2010-12-02 Panasonic Electric Works Co Ltd Distance image sensor
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
JP2011133271A (en) * 2009-12-22 2011-07-07 Panasonic Electric Works Co Ltd Object detector
JP2011135359A (en) * 2009-12-24 2011-07-07 Toshiba Corp Camera module, and image processing apparatus
CN102111544A (en) * 2009-12-24 2011-06-29 株式会社东芝 Camera module, image processing apparatus, and image recording method
US8542290B2 (en) 2009-12-24 2013-09-24 Kabushiki Kaisha Toshiba Camera module, image processing apparatus, and image recording method
US9369621B2 (en) 2010-05-03 2016-06-14 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
EP2567287A1 (en) * 2010-05-03 2013-03-13 Invisage Technologies, Inc. Devices and methods for high-resolution image and video capture
EP2567287A4 (en) * 2010-05-03 2014-01-08 Invisage Technologies Inc Devices and methods for high-resolution image and video capture
US9148632B2 (en) 2010-06-18 2015-09-29 General Electric Company Multi-resolution optical system and method of fabricating same
JP2012003262A (en) * 2010-06-18 2012-01-05 General Electric Co <Ge> Multi-resolution optical system and method for manufacturing the same
US8953069B2 (en) 2010-08-19 2015-02-10 Fujifilm Corporation Image capturing module and image capturing apparatus with multiple image capturing systems of multiple wavelength regions
EP2421246A2 (en) 2010-08-19 2012-02-22 Fujifilm Corporation Image capturing module and image capturing apparatus
WO2012040696A2 (en) 2010-09-24 2012-03-29 Intel Corporation Zoom camera image blending technique
EP2619974A2 (en) * 2010-09-24 2013-07-31 Intel Corporation Zoom camera image blending technique
JP2013538539A (en) * 2010-09-24 2013-10-10 インテル コーポレイション Zoom camera image mixing technology
EP2619974A4 (en) * 2010-09-24 2014-12-03 Intel Corp Zoom camera image blending technique
WO2012057619A1 (en) * 2010-10-24 2012-05-03 Ziv Attar System and method for imaging using multi aperture camera
US9681057B2 (en) 2010-10-24 2017-06-13 Linx Computational Imaging Ltd. Exposure timing manipulation in a multi-lens camera
US9654696B2 (en) 2010-10-24 2017-05-16 LinX Computation Imaging Ltd. Spatially differentiated luminance in a multi-lens camera
US9025077B2 (en) 2010-10-24 2015-05-05 Linx Computational Imaging Ltd. Geometrically distorted luminance in a multi-lens camera
US9615030B2 (en) 2010-10-24 2017-04-04 Linx Computational Imaging Ltd. Luminance source selection in a multi-lens camera
US9578257B2 (en) 2010-10-24 2017-02-21 Linx Computational Imaging Ltd. Geometrically distorted luminance in a multi-lens camera
US9413984B2 (en) 2010-10-24 2016-08-09 Linx Computational Imaging Ltd. Luminance source selection in a multi-lens camera
US10218889B2 (en) 2011-05-11 2019-02-26 Fotonation Limited Systems and methods for transmitting and receiving array camera image data
US9794476B2 (en) 2011-09-19 2017-10-17 Fotonation Cayman Limited Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
US20180197035A1 (en) 2011-09-28 2018-07-12 Fotonation Cayman Limited Systems and Methods for Encoding Image Files Containing Depth Maps Stored as Metadata
US9811753B2 (en) 2011-09-28 2017-11-07 Fotonation Cayman Limited Systems and methods for encoding light field image files
US10019816B2 (en) 2011-09-28 2018-07-10 Fotonation Cayman Limited Systems and methods for decoding image files containing depth maps stored as metadata
US10275676B2 (en) 2011-09-28 2019-04-30 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US9864921B2 (en) 2011-09-28 2018-01-09 Fotonation Cayman Limited Systems and methods for encoding image files containing depth maps stored as metadata
JP2013085176A (en) * 2011-10-12 2013-05-09 Canon Inc Image-capturing device
JP2013109067A (en) * 2011-11-18 2013-06-06 Kiyohara Optics Inc Imaging device, lens thereof, telescope, and video camera
JP2013143677A (en) * 2012-01-11 2013-07-22 Canon Inc Imaging apparatus
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
US9754422B2 (en) 2012-02-21 2017-09-05 Fotonation Cayman Limited Systems and method for performing depth based image editing
US9807382B2 (en) 2012-06-28 2017-10-31 Fotonation Cayman Limited Systems and methods for detecting defective camera arrays and optic arrays
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US10261219B2 (en) 2012-06-30 2019-04-16 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
EP2683154A2 (en) 2012-07-02 2014-01-08 Canon Kabushiki Kaisha Image pickup apparatus and lens apparatus
JP2014010401A (en) * 2012-07-02 2014-01-20 Canon Inc Imaging device and lens device
JP2014010400A (en) * 2012-07-02 2014-01-20 Canon Inc Imaging device and lens device
JP2014010399A (en) * 2012-07-02 2014-01-20 Canon Inc Imaging device and lens device
US8988538B2 (en) 2012-07-02 2015-03-24 Canon Kabushiki Kaisha Image pickup apparatus and lens apparatus
US9858673B2 (en) 2012-08-21 2018-01-02 Fotonation Cayman Limited Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US9813616B2 (en) 2012-08-23 2017-11-07 Fotonation Cayman Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US9749568B2 (en) 2012-11-13 2017-08-29 Fotonation Cayman Limited Systems and methods for array camera focal plane control
US10009538B2 (en) 2013-02-21 2018-06-26 Fotonation Cayman Limited Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9774831B2 (en) 2013-02-24 2017-09-26 Fotonation Cayman Limited Thin form factor computational array cameras and modular array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US10225543B2 (en) 2013-03-10 2019-03-05 Fotonation Limited System and methods for calibration of an array camera
US9986224B2 (en) 2013-03-10 2018-05-29 Fotonation Cayman Limited System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US10127682B2 (en) 2013-03-13 2018-11-13 Fotonation Limited System and methods for calibration of an array camera
US10091405B2 (en) 2013-03-14 2018-10-02 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
JP2014228778A (en) * 2013-05-24 2014-12-08 キヤノン株式会社 Image-capturing device, control method therefor, and control program
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
EP3066690A4 (en) * 2013-11-07 2017-04-05 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
EP3066690A1 (en) * 2013-11-07 2016-09-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US9924092B2 (en) 2013-11-07 2018-03-20 Fotonation Cayman Limited Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US9602701B2 (en) 2013-12-10 2017-03-21 Canon Kabushiki Kaisha Image-pickup apparatus for forming a plurality of optical images of an object, control method thereof, and non-transitory computer-readable medium therefor
JP2015148765A (en) * 2014-02-07 2015-08-20 オリンパス株式会社 Imaging device, display device, optical device and imaging system
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10225444B2 (en) 2014-03-17 2019-03-05 Canon Kabushiki Kaisha Multi-lens optical apparatus
JP2017514326A (en) * 2014-03-27 2017-06-01 インテル・コーポレーション Camera that captures a plurality of sub-images for the generation of the image
US9911183B2 (en) 2014-08-01 2018-03-06 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
JP2016099598A (en) * 2014-11-26 2016-05-30 キヤノン株式会社 Imaging apparatus, method for controlling the same, and control program
KR101813393B1 (en) * 2016-04-12 2017-12-29 삼성전기주식회사 Camera module
KR101948411B1 (en) * 2017-02-22 2019-02-14 이창화 Multiple camera lens module

Similar Documents

Publication Publication Date Title
US9547160B2 (en) Methods and apparatus for capturing and/or processing images
US8164642B2 (en) Image-capturing device with a destructive read-type image sensor
JP4379918B2 (en) Imaging apparatus and imaging method
US8243135B2 (en) Multiple-view processing in wide-angle video camera
US10274706B2 (en) Image capture control methods and apparatus
CN100579185C (en) Compound eye imaging apparatus
EP2351354B1 (en) Extended depth of field for image sensor
US7274393B2 (en) Four-color mosaic pattern for depth and image capture
US20090115869A1 (en) Photographing apparatus and photographing method
JP5235798B2 (en) Photographing apparatus and control method thereof
US7453510B2 (en) Imaging device
JP4503878B2 (en) An imaging apparatus and an imaging method
JP4706882B2 (en) Imaging device
JP5180717B2 (en) Imaging device
US8063978B2 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
KR101469400B1 (en) Image sensor and image capturing apparatus
JP5241355B2 (en) Imaging apparatus and its control method
EP1906656B1 (en) Image sensor and image-capturing device
US20020141002A1 (en) Image pickup apparatus
US8520059B2 (en) Stereoscopic image taking apparatus
EP2590023B1 (en) Imaging device and imaging method
JP2013534083A (en) 2 sensor imaging system
JP2011044801A (en) Image processor
EP2394428A1 (en) Image capturing apparatus
JP2007184716A (en) Imaging element and imaging and focus detecting apparatus

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070703