JP2011147079A - Image pickup device - Google Patents

Image pickup device Download PDF

Info

Publication number
JP2011147079A
JP2011147079A JP2010008330A JP2010008330A JP2011147079A JP 2011147079 A JP2011147079 A JP 2011147079A JP 2010008330 A JP2010008330 A JP 2010008330A JP 2010008330 A JP2010008330 A JP 2010008330A JP 2011147079 A JP2011147079 A JP 2011147079A
Authority
JP
Japan
Prior art keywords
image
lens
shielding wall
lens array
light shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010008330A
Other languages
Japanese (ja)
Other versions
JP5493900B2 (en
Inventor
Takeshi Maruyama
剛 丸山
Nobuhiro Morita
展弘 森田
Jun Watabe
順 渡部
Shin Aoki
青木　　伸
Toshimichi Hagitani
利道 萩谷
Ikuo Maeda
育夫 前田
Sadao Takahashi
禎郎 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2010008330A priority Critical patent/JP5493900B2/en
Publication of JP2011147079A publication Critical patent/JP2011147079A/en
Application granted granted Critical
Publication of JP5493900B2 publication Critical patent/JP5493900B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image pickup device having resistance to a variation in environment by eliminating an influence of a change in temperature by calculating a position of each lens on the basis of luminance information of a light-shielding wall imaged by an mage pickup element. <P>SOLUTION: An image pickup device 50 is disposed at a position facing a subject (not shown), and includes a lens array 1 in which a plurality of lenses 1a, 1b are disposed in an array form, a CMOS (complementary metal-oxide semiconductor) sensor (image pickup element) 4 provided at an image field side of the lens array 1 and imaging a pantoscopic image as an aggregate of reduction images (called ommatidium images hereafter) of the subject image-formed by a plurality of lenses, an computing unit 10 for processing the pantoscopic image imaged by the CMOS sensor 4, and a light-shielding wall 2 for preventing a crosstalk of light beams between adjacent lenses composing the lens array 1. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、撮像装置に関し、さらに詳しくは、撮像装置の温度変化による光学条件の変動を抑制する技術に関するものである。   The present invention relates to an imaging apparatus, and more particularly to a technique for suppressing fluctuations in optical conditions due to temperature changes of the imaging apparatus.

近年、撮像装置は、携帯機器、車載機器、医療機器、及び産業機器等における情報取得手段として利用されている。また、二次元の画像情報のみならず、被写体までの距離や被写体の三次元形状などの距離情報も同時に検知する距離画像入力装置への要求が高まっており、様々な場所で利用されている。しかし、撮像装置を使用する環境条件（特に、温度変化）により、撮像装置のレンズの形状が変化して光学条件が変わってしまうことが知られている。
特に特許文献１のように、１台の撮像センサとレンズアレイの組み合わせで測距を行うような基線長の距離が短い測距装置の場合、温度変化による基線長の変化割合が大きく、測距結果に大きな影響を与えることが知られている。そこで、特許文献１では、レンズアレイを一点のみで固定することにより、固体ごとの接着剤や遮蔽ブロックの保持部などの応力による影響を低減することで、温度と基線長の関係の個体差を極力抑えることができるようになった。
また、特許文献２には、合焦距離の異なる複数のレンズセットからなるレンズアレイを用い、複数の被写体距離に焦点のあった画像を取得可能な画像入力装置について開示されている。 In recent years, imaging devices have been used as information acquisition means in portable devices, in-vehicle devices, medical devices, industrial devices, and the like. Further, there is an increasing demand for a distance image input device that simultaneously detects not only two-dimensional image information but also distance information such as a distance to a subject and a three-dimensional shape of the subject, and is used in various places. However, it is known that the optical conditions change due to a change in the shape of the lens of the imaging device due to environmental conditions (particularly temperature changes) in which the imaging device is used.
In particular, as in Patent Document 1, in the case of a distance measuring device with a short base length distance that performs distance measurement using a combination of one image sensor and a lens array, the rate of change in the base line length due to temperature change is large, and distance measurement It is known to have a significant impact on results. Therefore, in Patent Document 1, by fixing the lens array at only one point, the influence of stresses such as the adhesive for each solid and the holding part of the shielding block is reduced, so that the individual difference in the relationship between the temperature and the baseline length is It became possible to suppress as much as possible.
Further, Patent Document 2 discloses an image input device that uses a lens array including a plurality of lens sets having different in-focus distances and can acquire images focused on a plurality of subject distances.

しかし、特許文献１に開示されている従来技術では明記されてはいないものの、温度を計測する必要があり、また、個体差を完全には取り除くことができないといった問題がある。
また、特許文献２に開示されている従来技術では、レンズの焦点距離とレンズ間距離とシフト量を計測することにより、レンズから被写体までの距離Ｌを算出し、このＬを合焦距離とするようにレンズの曲率半径を制御する発明である。しかし、曲率半径を制御するための装置が複雑となり、コストが高くなるといった問題がある。
本発明は、かかる課題に鑑みてなされたものであり、撮像素子により撮像された遮光壁の輝度情報に基づいて、各レンズの位置を計算することで温度変化による影響を取り除いて、環境変動に強い撮像装置を提供することを目的とする。 However, although not specified in the prior art disclosed in Patent Document 1, there is a problem that it is necessary to measure the temperature and individual differences cannot be completely removed.
In the prior art disclosed in Patent Document 2, the distance L from the lens to the subject is calculated by measuring the focal length of the lens, the distance between the lenses, and the shift amount, and this L is set as the focusing distance. In this way, the radius of curvature of the lens is controlled. However, there is a problem that the device for controlling the radius of curvature is complicated and the cost is increased.
The present invention has been made in view of such problems, and by calculating the position of each lens based on the luminance information of the light-shielding wall imaged by the imaging device, the influence due to the temperature change is removed, and the environmental variation is thereby eliminated. An object is to provide a strong imaging device.

本発明はかかる課題を解決するために、請求項１は、被写体と対向する位置に配設され、複数のレンズをアレイ状に配列したレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、該撮像素子により撮像された前記複眼像を処理する演算器と、を備えた撮像装置において、前記レンズアレイを構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁を備え、前記演算器は、前記撮像素子に入射した輝度情報に基づいて、前記各レンズの中心位置、焦点距離、及びレンズ歪みに係る内部パラメータを決定して前記遮光壁の周囲温度による歪み量を算出して補正することを特徴とする。
請求項２は、前記レンズアレイの材料と前記遮光壁を構成する材料が同一材料により構成されていることを特徴とする。
請求項３は、前記遮光壁は、複数の部材により構成されていることを特徴とする。 In order to solve this problem, the present invention provides a lens array that is disposed at a position facing a subject and that has a plurality of lenses arranged in an array, and is provided on the image plane side of the lens array. An image pickup device that picks up a compound eye image that is a set of reduced images (single-eye images) of the subject formed by the plurality of lenses, and an arithmetic unit that processes the compound eye image picked up by the image pickup device. The imaging device includes a light-shielding wall that prevents crosstalk of light rays between adjacent lenses constituting the lens array, and the computing unit is configured based on luminance information incident on the imaging device. The internal parameters relating to the center position, focal length, and lens distortion of the lens are determined, and the distortion amount due to the ambient temperature of the light shielding wall is calculated and corrected.
According to a second aspect of the present invention, the material of the lens array and the material constituting the light shielding wall are made of the same material.
According to a third aspect of the present invention, the light shielding wall is composed of a plurality of members.

請求項４は、前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する隣接するレンズ間の距離を算出することを特徴とする。
請求項５は、前記演算器は、前記遮光壁の歪み量に基づいて、該撮像装置内の温度を推定することを特徴とする。
請求項６は、前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する各レンズの焦点距離、画像中心、及びレンズ歪みに係る内部パラメータを特定することを特徴とする。
請求項７は、前記演算器は、前記レンズアレイを構成する各レンズに対応する前記撮像素子の領域の歪みを補正することにより、前記レンズ歪みに係る内部パラメータを特定することを特徴とする。
請求項８は、前記演算器は、前記焦点距離及び前記画像中心に係る内部パラメータを用いて、画像の正規化を行うことを特徴とする。 According to a fourth aspect of the present invention, the computing unit calculates a distance between adjacent lenses constituting the lens array based on a distortion amount of the light shielding wall.
According to a fifth aspect of the present invention, the computing unit estimates a temperature in the imaging apparatus based on a distortion amount of the light shielding wall.
According to a sixth aspect of the present invention, the computing unit specifies an internal parameter relating to a focal length, an image center, and lens distortion of each lens constituting the lens array based on a distortion amount of the light shielding wall. .
According to a seventh aspect of the present invention, the computing unit specifies an internal parameter related to the lens distortion by correcting the distortion of the area of the imaging element corresponding to each lens constituting the lens array.
According to an eighth aspect of the present invention, the computing unit normalizes an image using internal parameters related to the focal length and the image center.

本発明によれば、レンズアレイを構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁を備え、演算器は、撮像素子に入射した輝度情報に基づいて、各レンズの中心位置、焦点距離、及び歪みに係るパラメータを決定して、遮光壁の周囲温度による歪み量を算出して補正するので、撮像装置の温度変化による光学条件の変動を抑制することができる。   According to the present invention, the computing unit includes a light shielding wall that prevents crosstalk of light rays between adjacent lenses constituting the lens array, and the computing unit is configured to determine the center position of each lens based on the luminance information incident on the imaging device. Since the parameters related to the focal length and the distortion are determined and the distortion amount due to the ambient temperature of the light shielding wall is calculated and corrected, the fluctuation of the optical condition due to the temperature change of the imaging device can be suppressed.

本発明の一実施形態に係る撮像装置の構成を示す図である。It is a figure which shows the structure of the imaging device which concerns on one Embodiment of this invention. 図１の撮像装置を被写体方向から観察したときの模式図である。It is a schematic diagram when the imaging device of FIG. 1 is observed from a subject direction. 撮像装置で、白い壁などを撮像するときに得られた画像を示す図である。It is a figure which shows the image obtained when imaging a white wall etc. with an imaging device. 図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。It is a figure which shows an example of the compound eye image acquired through the lens array of the imaging device of FIG. 個眼像生成部の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the single eye image production | generation part. インデクス付けられた遮光壁同士が交わる位置を示す図である。It is a figure which shows the position where the light-shielding walls indexed cross. 頂点６の参照画像を示す図である。It is a figure which shows the reference image of the vertex 6. FIG. バッファに記憶されている線分の長さの和と温度の関係を表す対応テーブルを示す図である。It is a figure which shows the corresponding | compatible table showing the relationship between the sum of the length of the line segment memorize | stored in the buffer, and temperature. レンズゆがみパラメータと温度の関係を表す対応テーブルを示す図である。It is a figure which shows the corresponding | compatible table showing the relationship between a lens distortion parameter and temperature. 各温度のカメラ固有の内部パラメータと温度の関係を表す対応テーブルを示す図である。It is a figure which shows the corresponding | compatible table showing the relationship between the internal parameter intrinsic | native to the camera of each temperature, and temperature. 頂点Ａ、Ｂ、Ｃ、Ｄに変換されるような射影変換行列を示す図である。It is a figure which shows a projective transformation matrix converted into the vertexes A, B, C, and D.

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は本発明の一実施形態に係る撮像装置の構成を示す図である。この撮像装置５０は、被写体（図示せず）に対向する位置に配設され、複数のレンズ１ａ、１ｂをアレイ状に配列したレンズアレイ１と、レンズアレイ１の像面側に設けられ、複数のレンズにより結像された被写体の縮小像（以下、個眼像と呼ぶ）の集合である複眼像を撮像するＣＭＯＳセンサ（撮像素子）４と、ＣＭＯＳセンサ４により撮像された複眼像を処理する演算器１０と、レンズアレイ１を構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁２と、を備えて構成されている。
また、演算器１０は、ＣＭＯＳセンサ４により撮像された画像信号を受け取る画像キャプチャ部７と、画像信号から個眼像を生成する個眼像生成部８と、個眼像生成部８により生成された個眼像の中から合焦している個眼像を抽出する合焦個眼像選択抽出部９と、を備えている。即ち、演算器１０は、ＣＭＯＳセンサ４に入射した輝度情報に基づいて、各レンズの中心位置、焦点距離、及びレンズ歪みに係る内部パラメータを決定して遮光壁２の周囲温度による歪み量を算出して補正する。 Hereinafter, the present invention will be described in detail with reference to embodiments shown in the drawings. However, the components, types, combinations, shapes, relative arrangements, and the like described in this embodiment are merely illustrative examples and not intended to limit the scope of the present invention only unless otherwise specified. .
FIG. 1 is a diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention. The imaging device 50 is disposed at a position facing a subject (not shown), is provided with a lens array 1 in which a plurality of lenses 1a and 1b are arranged in an array, and is provided on the image plane side of the lens array 1. A CMOS sensor (imaging device) 4 that captures a compound eye image that is a set of reduced images (hereinafter referred to as single-eye images) of a subject formed by the lens of the lens, and a compound eye image captured by the CMOS sensor 4 are processed. An arithmetic unit 10 and a light shielding wall 2 that prevents crosstalk of light rays between adjacent lenses constituting the lens array 1 are configured.
The computing unit 10 is generated by an image capture unit 7 that receives an image signal captured by the CMOS sensor 4, a single-eye image generation unit 8 that generates a single-eye image from the image signal, and a single-eye image generation unit 8. And an in-focus individual image selection extraction unit 9 that extracts a focused individual image from the individual images. That is, the computing unit 10 determines the internal parameters related to the center position, focal length, and lens distortion of each lens based on the luminance information incident on the CMOS sensor 4 and calculates the distortion amount due to the ambient temperature of the light shielding wall 2. To correct.

即ち、図１では、矢印方向に被写体があるものとし、撮像装置５０により被写体を撮像する構成の断面模式図を示したものである。図２は、図１の撮像装置を被写体方向から観察したときの模式図であり、図１と共通する部品には共通する番号が付されている。図１において、１はレンズアレイを表す。レンズアレイ１は被写体側の面と像面側の面の二面からなり、面内に複数のレンズがアレイ状に配列されている。
図１では、被写体側、像側の両方の面にレンズ面が設けられた両面レンズアレイが示されている。１ａは被写体側の面に設けられたレンズ、１ｂは像側の面に設けられたレンズであり、１ａと１ｂがセットになって被写体の像をＣＭＯＳセンサ４の像面上で結像させる。２は、レンズアレイにおける隣接するレンズセット間での光線のクロストーク（混線）を防止するための遮光用の隔壁（以下、遮光壁と呼ぶ）２であり、金属や樹脂等の撮像光線に対して不透明な材料からなる。遮光壁は一般には、レンズアレイ１の各レンズセットに対応して矩形の孔があけられており、孔と孔の間の壁が混線防止のための隔壁として作用するように作られるが、本実施形態では、遮光壁２がレンズアレイ１の熱膨張に応じて可動するように、各辺に切断されている（２ａ−２ｑ）。 That is, FIG. 1 shows a schematic cross-sectional view of a configuration in which a subject is present in the direction of the arrow and the subject is imaged by the imaging device 50. FIG. 2 is a schematic diagram when the imaging apparatus of FIG. 1 is observed from the subject direction, and parts common to those in FIG. In FIG. 1, 1 represents a lens array. The lens array 1 comprises two surfaces, a subject side surface and an image surface side surface, and a plurality of lenses are arranged in an array in the surface.
FIG. 1 shows a double-sided lens array in which lens surfaces are provided on both the object side and the image side. A lens 1a is provided on the object side surface, and 1b is a lens provided on the image side surface. 1a and 1b are set to form an image of the object on the image surface of the CMOS sensor 4. Reference numeral 2 denotes a light-shielding partition wall (hereinafter referred to as a light-shielding wall) 2 for preventing crosstalk (crosstalk) of light beams between adjacent lens sets in the lens array. Made of opaque material. In general, the light shielding wall has a rectangular hole corresponding to each lens set of the lens array 1, and the wall between the holes functions as a partition wall for preventing crosstalk. In the embodiment, the light shielding wall 2 is cut at each side so as to move in accordance with the thermal expansion of the lens array 1 (2a-2q).

また、遮光壁２を従来のように一枚板にしておいて、遮光壁２とレンズアレイ１の材質を同じにすることで、レンズアレイ１の熱膨張と呼応して可動させることも考えられる。一般に遮光壁２はアルミなどの金属で作られるが、プラスチックなどを利用することでレンズアレイ１と同じ材質にする。
また、レンズアレイ１の像側の面と遮光壁２とが接触、接着されている。３は、板状部材に、各レンズセットに対応して円形の孔を設けた開口アレイであり、レンズの絞りとして作用する。レンズアレイ１の被写体側の面の平面部に設けられた突起部１ｃを介して開口アレイ３とレンズアレイ１は接着されている。４は、レンズアレイにおける各レンズセットにより撮像される被写体の像を撮像するＣＭＯＳセンサであり、基板５の上に実装されている。
図１の例では、エイリアジング防止のための光学的ローパスフィルタやセンサ保護用のカバーガラスを設けていないが、必要に応じて設けても良い。６は筐体であり、レンズアレイ１の被写体側の面と接着してレンズアレイ１を、遮光壁２、開口アレイ３も含めて保持し、基板５に接着されて固定されている。 It is also conceivable that the light shielding wall 2 is a single plate as in the prior art, and the light shielding wall 2 and the lens array 1 are made of the same material so that the lens array 1 can be moved in response to the thermal expansion. . In general, the light shielding wall 2 is made of metal such as aluminum, but is made of the same material as the lens array 1 by using plastic or the like.
Further, the image side surface of the lens array 1 and the light shielding wall 2 are in contact with each other and bonded together. Reference numeral 3 denotes an aperture array in which a circular hole is provided in a plate-like member corresponding to each lens set, and acts as a lens diaphragm. The aperture array 3 and the lens array 1 are bonded to each other through a protrusion 1c provided on a plane portion of the surface on the subject side of the lens array 1. Reference numeral 4 denotes a CMOS sensor that captures an image of a subject captured by each lens set in the lens array, and is mounted on the substrate 5.
In the example of FIG. 1, an optical low-pass filter for preventing aliasing and a cover glass for sensor protection are not provided, but they may be provided as necessary. Reference numeral 6 denotes a housing, which is bonded to the subject side surface of the lens array 1 to hold the lens array 1 including the light shielding wall 2 and the aperture array 3 and is bonded and fixed to the substrate 5.

次に、図１の撮像装置５０により取得される画像とその処理について説明する。ＣＭＯＳセンサ４による像は、図１の画像キャプチャ部７により撮像され、個眼像生成部８によって、６つの個眼像に分離される。そして、６つの画像を用いて視差計算を行い、物体までの距離を計測する。視差計算の方法は、個眼像間での被写体の視差を、例えば個眼像内の微小領域ごとに相互相関演算により検出し、各個眼像で対応点の位置を検知したのち、当該位置を補正しながら極値検出を行う。
視差検出においては２つの個眼像、例えばＩ５とＩ６の微小領域の対応点探索により、対応位置とその位置での視差を求める。レンズピッチは設計上一定であるため、一組の個眼像間（例えばＩ５とＩ６）での視差を求めれば、他の個眼像（例えばＩ１からＩ４）の対応位置とその位置での視差は算出でき、視差から対応点の位置を算出できる。そのようにして各個眼像において対応点の画素を求めてから、前述の輝度の極値を求めると、より正確な合焦画像を取得することができる。
本発明では、撮像センサに写りこむ、遮蔽部材の影に基づいて、各レンズの位置を計算することで、温度変化による影響を取り除く。例えば、図１、図２にある構成で作られた撮像装置５０で、白い壁などを撮像すると、図３のような画像が得られる。なお図３は、撮影画像を２値化したもので、遮光壁２の影が黒く表現されている。本実施形態では、撮影画像中の遮光壁の影を利用して、個々のレンズの中心位置、焦点距離、歪みパラメータなどを決定する。 Next, an image acquired by the imaging device 50 in FIG. 1 and its processing will be described. An image obtained by the CMOS sensor 4 is picked up by the image capture unit 7 in FIG. 1 and separated into six single-eye images by the single-eye image generation unit 8. Then, the parallax calculation is performed using the six images, and the distance to the object is measured. The parallax calculation method detects the parallax of the subject between single-eye images, for example, by cross-correlation calculation for each minute region in the single-eye image, and after detecting the position of the corresponding point in each single-eye image, Detect extreme values while correcting.
In the parallax detection, the corresponding position and the parallax at that position are obtained by searching for corresponding points of two single-eye images, for example, I5 and I6 microregions. Since the lens pitch is constant by design, if the parallax between a pair of single-eye images (for example, I5 and I6) is obtained, the corresponding positions of other single-eye images (for example, I1 to I4) and the parallax at that position Can be calculated, and the position of the corresponding point can be calculated from the parallax. In this way, if the corresponding point pixel is obtained in each single-eye image and then the aforementioned extreme value of luminance is obtained, a more accurate focused image can be obtained.
In the present invention, the influence of the temperature change is removed by calculating the position of each lens based on the shadow of the shielding member reflected in the image sensor. For example, when a white wall or the like is picked up by the image pickup apparatus 50 having the configuration shown in FIGS. 1 and 2, an image as shown in FIG. 3 is obtained. Note that FIG. 3 is a binarized photographed image, and the shadow of the light shielding wall 2 is expressed in black. In this embodiment, the center position, focal length, distortion parameter, etc. of each lens are determined using the shadow of the light shielding wall in the captured image.

図４は図１の撮像装置のレンズアレイを通して取得される複眼像の一例を示す図である。撮像素子４で取得された図４のような複眼像１２は、画像キャプチャ部７でキャプチャされ、Ｉ1〜Ｉ6の個眼像データ（以下、単に個眼像）に分けられて、合焦個眼像選択抽出部９に転送される。合焦個眼像選択抽出部９は、個眼像Ｉ1〜Ｉ6を入力して画像処理し、所定の合焦画像を選択抽出して出力する。これには、個眼像Ｉ1〜Ｉ6の中から最も焦点の合った個眼像を選択して合焦画像とする方法や、個眼像Ｉ1〜Ｉ6から、対応する画素ごとに最も焦点の合った画素を抽出し、これら画素を合成して合焦画像として出力する方法などが考えられる。 FIG. 4 is a diagram illustrating an example of a compound eye image acquired through the lens array of the imaging apparatus of FIG. The compound eye image 12 as shown in FIG. 4 acquired by the image sensor 4 is captured by the image capture unit 7 and is divided into individual image data I 1 to I 6 (hereinafter simply referred to as individual image) for focusing. It is transferred to the single eye image selection extraction unit 9. The focused single-eye image selection / extraction unit 9 receives the single-eye images I 1 to I 6 and performs image processing, and selectively extracts and outputs a predetermined focused image. This includes a method of the most focus of Select suits ommatidium images focused image from the ommatidium images I 1 ~I 6, from ommatidium images I 1 ~I 6, for each corresponding pixel A method may be considered in which the most focused pixel is extracted, and these pixels are combined and output as a focused image.

図５は個眼像生成部の動作を説明するフローチャートである。まず、画像を取得し、遮光壁２部分とそれ以外が区別できるように２値化画像を作成する（Ｓ１）。その際、２値化がしやすいように、取得する画像と２値化の方法の組み合わせは以下の方法が考えられる。
１）遮光壁２の影が自然界には存在しにくい色になるようにし、遮光壁２の影を基準に２値化を行う。
２）画像全体の輝度値の平均が一定以上のものを利用し、明暗を利用して２値化を行う。
３）一定時刻ごとに画像をフレームバッファに保存しておいて（前画像）、前画像と現画像との差分が一定値以上の場合に差分画像を取得し、２値化を行う。
上記基準を満たす２値化画像が得られない場合、ＮＯに進み終了する。得られた場合には次のステップに進む。 FIG. 5 is a flowchart for explaining the operation of the single-eye image generation unit. First, an image is acquired, and a binarized image is created so that the light shielding wall 2 portion and other portions can be distinguished (S1). At that time, in order to facilitate binarization, the following methods can be considered as a combination of the acquired image and the binarization method.
1) The shadow of the light shielding wall 2 is made into a color that does not easily exist in the natural world, and binarization is performed on the basis of the shadow of the light shielding wall 2.
2) Use an image having an average luminance value over a certain value and binarize using light and dark.
3) An image is saved in the frame buffer at a certain time (previous image), and if the difference between the previous image and the current image is a certain value or more, a difference image is acquired and binarized.
If a binary image satisfying the above criteria cannot be obtained, the process proceeds to NO and ends. If it is obtained, proceed to the next step.

次に２値化画像に対してマッチング処理を行うことで、遮光壁２の交点を１２個求める（Ｓ２）。遮光壁２の交点とは図６のように１−１２までインデクス付けられた遮光壁同士が交わる位置である。
図６を、ある温度で、設計値どおりに製造された筐体を用いて、被写体側から均一照明を与えたときに、得られる画像を遮光壁部分とそれ以外の部分とで２値化した画像をシミュレーションしたものと考える。そのときの図６での頂点１−１２の座標を参照座標、頂点１−１２の周辺を表した参照画像を用意する。例えば、頂点６の参照画像は図７のようになる。すなわち、２値化画像に対して、各頂点に対し、参照座標の近辺で参照画像とマッチング処理を行うことで、遮光壁２の交点を求める。求めた遮光壁の交点は、図示しないバッファに記憶される。
次にレンズアレイの６個のレンズ対に対するレンズ中心位置を推定する（Ｓ３）。各レンズ１−６に対応する領域は、それぞれ遮光壁２の交点で表現でき、それぞれ４頂点が構成する四辺形で表現できる（頂点１＆２＆５＆６、頂点２＆３＆６＆７、頂点３＆４＆７＆８、頂点５＆６＆９＆１０、頂点６＆７＆１０＆１１、頂点７＆８＆１１＆１２）。各四辺形の対角線の交点を各レンズのレンズ中心とする。例えば、レンズ１の場合、頂点１と頂点６を結ぶ線分と、頂点２と頂点５を結ぶ線分との交点Ｐを求めることでレンズ中心を算出する。算出されたレンズ中心Ｐはバッファに記憶する。 Next, 12 intersections of the light shielding walls 2 are obtained by performing matching processing on the binarized image (S2). The intersection of the light shielding walls 2 is a position where the light shielding walls indexed to 1-12 as shown in FIG. 6 intersect.
FIG. 6 is binarized with a light shielding wall portion and other portions when a uniform illumination is applied from the subject side using a housing manufactured as designed at a certain temperature. Think of a simulated image. At this time, the coordinates of the vertex 1-12 in FIG. 6 are prepared as reference coordinates, and a reference image representing the periphery of the vertex 1-12 is prepared. For example, the reference image of the vertex 6 is as shown in FIG. That is, for the binarized image, the intersection of the light shielding wall 2 is obtained by performing matching processing with the reference image in the vicinity of the reference coordinates for each vertex. The obtained intersection of the light shielding walls is stored in a buffer (not shown).
Next, the lens center position for the six lens pairs in the lens array is estimated (S3). The area corresponding to each lens 1-6 can be expressed by the intersection of the light shielding walls 2 and can be expressed by a quadrilateral formed by four vertices (vertex 1 & 2 & 5 & 6, vertex 2 & 3 & 6 & 7, vertex 3 & 4 & 7 & 8, vertex 5 & 6 & 9 & 10, vertex 6 & 7 & 10 & 11, vertex 7 & 8 & 11 & 12). ). The intersection of the diagonal lines of each quadrilateral is the lens center of each lens. For example, in the case of the lens 1, the lens center is calculated by obtaining the intersection point P between the line segment connecting the vertex 1 and the vertex 6 and the line segment connecting the vertex 2 and the vertex 5. The calculated lens center P is stored in a buffer.

次に、レンズ中心間の距離を求める（Ｓ４）。レンズ１−６の全ての組み合わせに対して、レンズ中心間の距離を算出し、バッファに記録する。レンズ中心間の距離は、距離画像算出時には、基線長の長さとして利用されることになる。
次に遮光壁２の外周の長さを基準にして筐体温度を推定する（Ｓ５）。レンズ中心間の距離のうち、頂点１と頂点４を結んだ線分、頂点４と頂点１２を結んだ線分、頂点９と頂点１２を結んだ線分、頂点１と頂点９を結んだ線分の４つの線分の長さの和を求める。そして、バッファに記憶されている線分の長さの和と温度の関係を表す対応テーブル（図８）により、算出温度を求める。
図８は、あらかじめレンズアレイ１および、遮光壁２、筐体６の材質に基づいて計算したデータを作成し、バッファに保持させておく。本実施形態では、筐体温度２０度ごとのテーブルを利用したが、それに限るものではない。また、本実施形態では４線分の和を用いたが、その他の線分の和を用いても良い。本実施形態では、線分の長さの和が（Ｌ４＋Ｌ５）／２であったとすると、２０度と推定できる。 Next, the distance between the lens centers is obtained (S4). For all combinations of lenses 1-6, the distance between the lens centers is calculated and recorded in the buffer. The distance between the lens centers is used as the length of the baseline length when calculating the distance image.
Next, the housing temperature is estimated based on the length of the outer periphery of the light shielding wall 2 (S5). Of the distance between the lens centers, a line segment connecting vertex 1 and vertex 4, a line segment connecting vertex 4 and vertex 12, a line segment connecting vertex 9 and vertex 12, a line connecting vertex 1 and vertex 9 Find the sum of the lengths of the four minutes. Then, the calculated temperature is obtained from the correspondence table (FIG. 8) showing the relationship between the sum of the lengths of the line segments stored in the buffer and the temperature.
In FIG. 8, data calculated based on the materials of the lens array 1, the light shielding wall 2, and the housing 6 in advance is created and held in a buffer. In the present embodiment, a table for each case temperature of 20 degrees is used, but the table is not limited thereto. In this embodiment, the sum of four line segments is used, but the sum of other line segments may be used. In the present embodiment, if the sum of the lengths of the line segments is (L4 + L5) / 2, it can be estimated as 20 degrees.

次に対応温度からレンズ歪みパラメータを推定する（Ｓ６）。ステップＳ５と同様、あらかじめＣｏｄｅＶなどの光学シミュレーションツールを用いて、筐体温度に対する、内部パラメータ（焦点距離、画像中心、レンズ歪み）を求めておく。図９にある表は、レンズゆがみパラメータのみを記載したものである。レンズ歪みパラメータには、例えば以下の式を用いるものとする。
Ｘ’＝ｘ（１＋ｋ１＊ｒ＾２＋ｋ２＊ｒ＾４）＋２＊ｐ１＊ｘ＊ｙ＋ｐ２（ｒ＾２＊２＊ｘ＾２）
Ｙ’＝ｙ（１＋ｋ１＊ｒ＾２＋ｋ２＊ｒ＾４）＋ｐ１＊（ｒ＾２＋２＊ｙ’＾２）＋２＊ｐ２＊ｘ＊ｙ
ただしｒ＾２＝ｘ＾２＋ｙ〜２
理想的なピンホールカメラでの像位置が（ｘ、ｙ）、個眼像上の像位置が（ｘ’、ｙ’）で、ｋ１、ｋ２が半径方向の歪み、ｐ１、ｐ２が接線方向の歪みである。本実施形態では、筐体温度が２０度であるので、歪みパラメータは、それぞれｋ１４、ｋ２４、ｐ１４、ｐ２４と決定される。本実施形態では、光学シミュレーションツールにより、図９のような、温度と歪みパラメータの関係を求めたが、実際の実機を利用して求めても良い。例えば、Ｚｈａｎｇの手法(“A flexible new technique for camera calibration”。IEEE Transactions on Pattern Analysis and Machine Intelligence、 22(11):1330-1334、2000)等を用いて、各温度のカメラ固有の内部パラメータ（焦点距離、画像中心、歪みパラメータ）および外部パラメータを求めて、図１０のような対応表を作成することもできる。 Next, a lens distortion parameter is estimated from the corresponding temperature (S6). As in step S5, internal parameters (focal length, image center, lens distortion) with respect to the housing temperature are obtained in advance using an optical simulation tool such as CodeV. The table in FIG. 9 lists only lens distortion parameters. For example, the following equation is used as the lens distortion parameter.
X ′ = x (1 + k1 * r ^ 2 + k2 * r ^ 4) + 2 * p1 * x * y + p2 (r ^ 2 * 2 * x ^ 2)
Y ′ = y (1 + k1 * r ^ 2 + k2 * r ^ 4) + p1 * (r ^ 2 + 2 * y ′ ^ 2) + 2 * p2 * x * y
However, r ^ 2 = x ^ 2 + y-2
The image position on an ideal pinhole camera is (x, y), the image position on a single-eye image is (x ′, y ′), k1 and k2 are radial distortions, and p1 and p2 are tangential directions. It is distortion. In this embodiment, since the casing temperature is 20 degrees, the distortion parameters are determined as k14, k24, p14, and p24, respectively. In this embodiment, the relationship between the temperature and the strain parameter as shown in FIG. 9 is obtained by the optical simulation tool, but may be obtained by using an actual actual machine. For example, using the Zhang technique (“A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22 (11): 1330-1334, 2000) The correspondence table as shown in FIG. 10 can be created by obtaining the focal distance, the image center, the distortion parameter) and the external parameters.

ここで、撮像画像を６つの個眼像に分割する（Ｓ７）。各レンズ領域は、頂点１＆２＆５＆６、頂点２＆３＆６＆７、頂点３＆４＆７＆８、頂点５＆６＆９＆１０、頂点６＆７＆１０＆１１、頂点７＆８＆１１＆１２で表現できているので、各領域に射影変換行列Ｈを施すことで実現できる。行列Ｈは、左上のレンズ領域の場合、頂点１、２、５、６がそれぞれ図１１の頂点Ａ、Ｂ、Ｃ、Ｄに変換されるような射影変換行列である。また、頂点Ａ、Ｂ、Ｃ、Ｄが構成する四辺形は、正方形であり、図６での頂点１、２、５、６により構成される正方形と同一である。
最後に各個眼像について、ステップＳ６で算出した歪みパラメータを用いて歪み補正を行う（Ｓ８）。更に焦点距離、画像中心を用いて、画像の正規化（焦点距離ｆｘ１、ｆｙ１、画像中心ｃｘ１、ｃｙ１を持つピンホール画像に変換すること）を行う。以後は、バッファに保存されたレンズ中心間の距離を利用し距離画像の算出を行う。
本実施形態では、遮光壁２の影を利用することにより温度変化を測定したが、別途、温度変化特性の測定しやすい物体を筐体内に配置することでも同様のことが実現できる。 Here, the captured image is divided into six single-eye images (S7). Each lens area can be expressed by vertex 1 & 2 & 5 & 6, vertex 2 & 3 & 6 & 7, vertex 3 & 4 & 7 & 8, vertex 5 & 6 & 9 & 10, vertex 6 & 7 & 10 & 11, vertex 7 & 8 & 11 & 12. The matrix H is a projective transformation matrix in which the vertices 1, 2, 5, and 6 are converted into the vertices A, B, C, and D in FIG. In addition, the quadrilateral formed by the vertices A, B, C, and D is a square, which is the same as the square formed by the vertices 1, 2, 5, and 6 in FIG.
Finally, distortion correction is performed for each individual eye image using the distortion parameter calculated in step S6 (S8). Further, normalization of the image (conversion to a pinhole image having focal lengths fx1 and fy1 and image centers cx1 and cy1) is performed using the focal length and the image center. Thereafter, the distance image is calculated using the distance between the lens centers stored in the buffer.
In the present embodiment, the temperature change is measured by using the shadow of the light shielding wall 2. However, the same can be realized by separately arranging an object in which the temperature change characteristic is easily measured in the housing.

１ レンズアレイ、２ 遮光壁、３ 開口アレイ、４ ＣＭＯＳセンサ、５ 基板、６ 筐体、７ 画像キャプチャ部、８ 個眼像生成部、９ 合焦個眼像選択抽出部、１０ 演算器、５０ 撮像装置   DESCRIPTION OF SYMBOLS 1 Lens array, 2 Shading wall, 3 Aperture array, 4 CMOS sensor, 5 board | substrate, 6 housing | casing, 7 Image capture part, 8 eye image production | generation part, 9 Focusing eye image selection extraction part, 10 calculator, 50 Imaging device

特開２００９−５３０１１公報JP 2009-53011 A 特開２００７−１５８８２５公報JP 2007-158825 A

Claims (8)

被写体と対向する位置に配設され、複数のレンズをアレイ状に配列したレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、該撮像素子により撮像された前記複眼像を処理する演算器と、を備えた撮像装置において、
前記レンズアレイを構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁を備え、
前記演算器は、前記撮像素子に入射した輝度情報に基づいて、前記各レンズの中心位置、焦点距離、及びレンズ歪みに係る内部パラメータを決定して前記遮光壁の周囲温度による歪み量を算出して補正することを特徴とする撮像装置。 A lens array that is arranged at a position facing the subject and in which a plurality of lenses are arranged in an array, and a reduced image (pieces) of the subject that is provided on the image plane side of the lens array and formed by the plurality of lenses In an imaging apparatus comprising: an imaging element that captures a compound eye image that is a set of eye images); and an arithmetic unit that processes the compound eye image captured by the imaging element;
A light shielding wall for preventing crosstalk of light rays between adjacent lenses constituting the lens array;
The computing unit determines internal parameters related to the center position, focal length, and lens distortion of each lens based on luminance information incident on the image sensor, and calculates a distortion amount due to an ambient temperature of the light shielding wall. An imaging device characterized in that correction is performed. 前記レンズアレイの材料と前記遮光壁を構成する材料が同一材料により構成されていることを特徴とする請求項１に記載の撮像装置。   The imaging apparatus according to claim 1, wherein a material of the lens array and a material constituting the light shielding wall are made of the same material. 前記遮光壁は、複数の部材により構成されていることを特徴とする請求項１又は２に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the light shielding wall includes a plurality of members. 前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する隣接するレンズ間の距離を算出することを特徴とする請求項１乃至３の何れか一項に記載の撮像装置。   The imaging device according to claim 1, wherein the computing unit calculates a distance between adjacent lenses constituting the lens array based on a distortion amount of the light shielding wall. . 前記演算器は、前記遮光壁の歪み量に基づいて、該撮像装置内の温度を推定することを特徴とする請求項１乃至４の何れか一項に記載の撮像装置。   5. The imaging apparatus according to claim 1, wherein the computing unit estimates a temperature in the imaging apparatus based on a distortion amount of the light shielding wall. 前記演算器は、前記遮光壁の歪み量に基づいて、前記レンズアレイを構成する各レンズの焦点距離、画像中心、及びレンズ歪みに係る内部パラメータを特定することを特徴とする請求項１乃至５の何れか一項に記載の撮像装置。   6. The computing unit according to claim 1, wherein: the focal length of each lens constituting the lens array, the image center, and internal parameters related to lens distortion are specified based on the distortion amount of the light shielding wall. The imaging device according to any one of the above. 前記演算器は、前記レンズアレイを構成する各レンズに対応する前記撮像素子の領域の歪みを補正することにより、前記レンズ歪みに係る内部パラメータを特定することを特徴とする請求項６に記載の撮像装置。   The said computing unit specifies the internal parameter which concerns on the said lens distortion by correct | amending distortion of the area | region of the said image pick-up element corresponding to each lens which comprises the said lens array. Imaging device. 前記演算器は、前記焦点距離及び前記画像中心に係る内部パラメータを用いて、画像の正規化を行うことを特徴とする請求項６に記載の撮像装置。   The imaging apparatus according to claim 6, wherein the computing unit normalizes an image using internal parameters related to the focal length and the image center.
JP2010008330A 2010-01-18 2010-01-18 Imaging device Expired - Fee Related JP5493900B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010008330A JP5493900B2 (en) 2010-01-18 2010-01-18 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010008330A JP5493900B2 (en) 2010-01-18 2010-01-18 Imaging device

Publications (2)

Publication Number Publication Date
JP2011147079A true JP2011147079A (en) 2011-07-28
JP5493900B2 JP5493900B2 (en) 2014-05-14

Family

ID=44461505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010008330A Expired - Fee Related JP5493900B2 (en) 2010-01-18 2010-01-18 Imaging device

Country Status (1)

Country Link
JP (1) JP5493900B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014136392A1 (en) * 2013-03-05 2014-09-12 コニカミノルタ株式会社 Image processing device, image processing method and imaging device
JP2015014686A (en) * 2013-07-04 2015-01-22 オリンパス株式会社 Imaging device
KR20180016125A (en) * 2016-08-05 2018-02-14 (주) 솔 Light sensor module
JP2020005840A (en) * 2018-07-06 2020-01-16 株式会社ユニバーサルエンターテインメント Game machine and game device
CN114217450A (en) * 2021-11-10 2022-03-22 北京理工大学 Polarization imaging device and calibration method thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001563A1 (en) * 2007-06-28 2008-12-31 Panasonic Corporation Imaging device and semiconductor circuit device
WO2009125577A1 (en) * 2008-04-10 2009-10-15 パナソニック株式会社 Imaging device, imaging system, and imaging method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009001563A1 (en) * 2007-06-28 2008-12-31 Panasonic Corporation Imaging device and semiconductor circuit device
WO2009125577A1 (en) * 2008-04-10 2009-10-15 パナソニック株式会社 Imaging device, imaging system, and imaging method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014136392A1 (en) * 2013-03-05 2014-09-12 コニカミノルタ株式会社 Image processing device, image processing method and imaging device
JP2015014686A (en) * 2013-07-04 2015-01-22 オリンパス株式会社 Imaging device
US9571728B2 (en) 2013-07-04 2017-02-14 Olympus Corporation Image acquisition apparatus
KR20180016125A (en) * 2016-08-05 2018-02-14 (주) 솔 Light sensor module
KR102105138B1 (en) 2016-08-05 2020-04-28 (주) 솔 Light sensor module
JP2020005840A (en) * 2018-07-06 2020-01-16 株式会社ユニバーサルエンターテインメント Game machine and game device
JP7049200B2 (en) 2018-07-06 2022-04-06 株式会社ユニバーサルエンターテインメント Gaming machines and equipment for gaming
CN114217450A (en) * 2021-11-10 2022-03-22 北京理工大学 Polarization imaging device and calibration method thereof
CN114217450B (en) * 2021-11-10 2023-11-17 北京理工大学 Polarization imaging device and calibration method thereof

Also Published As

Publication number Publication date
JP5493900B2 (en) 2014-05-14

Similar Documents

Publication Publication Date Title
US8593536B2 (en) Image pickup apparatus with calibration function
US9348111B2 (en) Automatic detection of lens deviations
JP2011118235A (en) Imaging apparatus
JP6119193B2 (en) Distance measuring device and distance measuring method
JP2015164284A (en) Solid-state image sensor, movement information acquisition apparatus and imaging apparatus
JP5493900B2 (en) Imaging device
US11747140B2 (en) Sensing element having pixels exposed by aperture increasing along predetermined direction
US20170155889A1 (en) Image capturing device, depth information generation method and auto-calibration method thereof
JP2004317245A (en) Distance detection device, distance detection method and distance detection program
JP2010276433A (en) Imaging device, image processor, and distance measuring device
JP5375531B2 (en) Distance image acquisition device and distance image acquisition processing method
JP2011149931A (en) Distance image acquisition device
US11182918B2 (en) Distance measurement device based on phase difference
JP2012198031A (en) Image correction method and image correction device
JP5487946B2 (en) Camera image correction method, camera apparatus, and coordinate transformation parameter determination apparatus
JP2007312314A (en) Image shift detecting method and apparatus and image input device
TWI635256B (en) Phase detection auto-focus-based positioning method and system thereof
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
KR20190127543A (en) A method for detecting motion in a video sequence
JP2016066995A (en) Image deviation amount calculation device, imaging device and image deviation amount calculation method
JP2011169853A (en) Distance image acquisition device
CN113345024B (en) Method for judging assembly quality of camera module
JPWO2018123639A1 (en) Imaging apparatus and imaging method
WO2016194576A1 (en) Information processing device and method
JP4696730B2 (en) Focus measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140217

R151 Written notification of patent or utility model registration

Ref document number: 5493900

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees