JP2007158825A - Image input device - Google Patents

Image input device Download PDF

Info

Publication number
JP2007158825A
JP2007158825A JP2005352364A JP2005352364A JP2007158825A JP 2007158825 A JP2007158825 A JP 2007158825A JP 2005352364 A JP2005352364 A JP 2005352364A JP 2005352364 A JP2005352364 A JP 2005352364A JP 2007158825 A JP2007158825 A JP 2007158825A
Authority
JP
Japan
Prior art keywords
image
lens
image input
distance
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005352364A
Other languages
Japanese (ja)
Other versions
JP4673202B2 (en
Inventor
Yuji Yamanaka
祐治 山中
Nobuhiro Morita
展弘 森田
Original Assignee
Ricoh Co Ltd
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd, 株式会社リコー filed Critical Ricoh Co Ltd
Priority to JP2005352364A priority Critical patent/JP4673202B2/en
Publication of JP2007158825A publication Critical patent/JP2007158825A/en
Application granted granted Critical
Publication of JP4673202B2 publication Critical patent/JP4673202B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To cope with the problems that if a lens size is reduced in order to deepen a depth of field when focusing is impossible, the number of pixels in an image pickup element constituting an ommatidium image imaged by one lens is reduced, and consequently, resolution of a single image obtained by reconstructing a compound eye image is deteriorated, and also, if an electrowetting lens having a focusing function is used, it is possible to focus on a plurality of subject distances, however, it is necessary to know a subject distance to be focused on in an image input device using a lens array and the image pickup element. <P>SOLUTION: The ommatidium image formed on the image pickup element 3 when the same subject 6a is viewed through two lenses 11a, 11b located at different positions becomes an image formed by images that are shifted by an amount δ from each other. It is possible to calculate a distance L from each lens to the subject if a focus distance f of each lens, a distance d between the lenses, and the shift amount δ are known. A curvature radius of each lens is controlled so as to make the L as a focusing distance. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像読取装置、虹彩認証や顔認証などの画像認識装置、デジタルカメラ、監視カメラなど光学系と撮像素子を用いる画像入力装置に関する。   The present invention relates to an image input device using an optical system and an image sensor such as an image reading device, an image recognition device such as iris authentication and face authentication, a digital camera, and a surveillance camera.
従来の薄型化を図った画像入力装置として、レンズアレイを用いた装置が知られているが、レンズアレイと撮像素子の距離が固定されているため、焦点調節ができない(例えば、特許文献1、2 参照。)。過焦点距離に合焦させたパンフォーカスならば、レンズに焦点調節機能が無くても、レンズの被写界深度を利用して過焦点距離の半分の距離から無限遠までピントが合ったような画像を撮影できるが、過焦点距離の半分の距離よりも近い被写体を撮影する場合、被写体距離が近くなるに従いデフォーカス収差が増大し、ピントずれした画像となってしまう。また、レンズ径を小さくすれば、被写界深度が広がり近接した被写体にもピントが合ったような画像を得ることができるが、ひとつのレンズで撮像される個眼像を構成する撮像素子の画素数が少なくなり、複眼像を再構成して得られる単一像の解像度が低下してしまう。
前記複数の被写体距離に合焦する手段を有するマイクロレンズアレイが具備されていても、合焦すべき被写体距離を知ることができなければその機能を有効に利用することはできない。様々な被写体距離に合焦させて、ピントが合う位置を探し当てても良いが、そのための時間が必要であり、使用者の主観でピントが合っているかを判断しなければならないので不正確になる恐れがある。
A device using a lens array is known as a conventional image input device with a reduced thickness. However, since the distance between the lens array and the image sensor is fixed, focus adjustment cannot be performed (for example, Patent Document 1, 2). If the focus is set to the hyperfocal distance, even if the lens does not have a focus adjustment function, the depth of field of the lens is used to focus from half the hyperfocal distance to infinity. Although an image can be shot, when shooting a subject closer than half the hyperfocal distance, the defocus aberration increases as the subject distance decreases, resulting in an out-of-focus image. In addition, if the lens diameter is reduced, it is possible to obtain an image in which the depth of field is widened and an in-focus subject is in focus. The number of pixels decreases, and the resolution of a single image obtained by reconstructing a compound eye image decreases.
Even if a microlens array having means for focusing on the plurality of subject distances is provided, the function cannot be used effectively unless the subject distance to be focused can be known. You may focus on various subject distances to find out where the subject is in focus, but it takes time to do so, and it is inaccurate because it is necessary to judge whether the subject is in focus or not. There is a fear.
焦点調節機能を有するレンズアレイの従来技術がある(例えば、非特許文献1 参照。)が、レンズの変形に使用する流体を制御するための外部装置が必要であり、各レンズが流体の流路でつながっているためそれぞれのレンズ形状すなわち焦点距離を別個に制御することはできないという問題点があった。
また、焦点調節機能を有するエレクトロウェッティングレンズというものがあるが、エレクトロウェッティングレンズは、原理的に大径化が困難なため、明るい光学系への適用ができないという欠点があった。エレクトロウェッティングレンズでは、電圧の印加による導電性液体と誘電体のぬれ性の変化を利用して液体形状を変化させることで焦点調節機能を実現している。大径化すると体積に対する表面積の割合は減少するので、液体形状を支配する因子におけるぬれ性の影響は小さくなり、液体の重さなどの体積に関係する物理量が支配的になってくる。こうした理由で、エレクトロウェッティングレンズの明るい光学系への適用は困難である。しかしながら、レンズアレイを構成する各レンズは、従来のカメラなどの画像入力装置に用いられているレンズと比べて著しく小さい。そのため、焦点調節が可能であるというエレクトロウェッティングレンズの利点を十分に活かすことができる。
Although there is a conventional technique of a lens array having a focus adjustment function (see, for example, Non-Patent Document 1), an external device for controlling a fluid used for deformation of the lens is required, and each lens has a fluid flow path. In this case, each lens shape, that is, the focal length cannot be controlled separately.
In addition, there is an electrowetting lens having a focus adjustment function. However, the electrowetting lens has a drawback that it cannot be applied to a bright optical system because it is difficult in principle to increase the diameter. In the electrowetting lens, the focus adjustment function is realized by changing the liquid shape by utilizing the change in wettability between the conductive liquid and the dielectric due to the application of voltage. When the diameter is increased, the ratio of the surface area to the volume decreases, so that the influence of the wettability on the factor governing the liquid shape is reduced, and the physical quantity related to the volume such as the weight of the liquid becomes dominant. For these reasons, it is difficult to apply an electrowetting lens to a bright optical system. However, each lens constituting the lens array is significantly smaller than a lens used in a conventional image input device such as a camera. Therefore, the advantage of the electrowetting lens that focus adjustment is possible can be fully utilized.
特開2001−061109号公報JP 2001-061109 A 特開2003−141529号公報JP 2003-141529 A 特表2001−519539号公報JP 2001-515539 A
薄型かつ近接した被写体から無限遠にある被写体にまでピントが合った画像を取得できる画像入力装置を提供する。   Provided is an image input device capable of acquiring a focused image from a thin and close subject to a subject at infinity.
請求項1に記載の発明では、2個以上のレンズから構成されたレンズアレイと、該レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光手段と、前記レンズアレイにより結像された像を撮像するための撮像手段と、該撮像手段により撮像された複眼像から単一像を再構成するための第1の演算器と、を有する画像入力装置において、前記レンズアレイが少なくとも複数の被写体距離に対して合焦できる機能を有することを特徴とする。
請求項2に記載の発明では、請求項1に記載の画像入力装置において、前記レンズアレイは、エレクトロウェッティングレンズであることを特徴とする。
請求項3に記載の発明では、請求項2に記載の画像入力装置において、さらに被写体距離を検出する距離検出手段を有することを特徴とする。
請求項4に記載の発明では、請求項3に記載の画像入力装置において、前記距離検出手段は、複眼像の視差情報に基づき被写体距離を求める第2の演算器であることを特徴とする。
According to the first aspect of the present invention, the lens array includes a lens array composed of two or more lenses, a light shielding means for preventing crosstalk of light rays between the lenses constituting the lens array, and the lens array. An image input apparatus comprising: an imaging unit for capturing an imaged image; and a first computing unit for reconstructing a single image from a compound eye image captured by the imaging unit. It has a function capable of focusing on at least a plurality of subject distances.
According to a second aspect of the present invention, in the image input device according to the first aspect, the lens array is an electrowetting lens.
According to a third aspect of the present invention, in the image input device according to the second aspect, the image input apparatus further comprises distance detection means for detecting a subject distance.
According to a fourth aspect of the present invention, in the image input device according to the third aspect, the distance detecting means is a second computing unit that obtains a subject distance based on parallax information of a compound eye image.
請求項5に記載の発明では、請求項4に記載の画像入力装置において、前記第2の演算器によって前記複眼像の視差を検出するための演算は、複眼像の相互相関演算であることを特徴とする。
請求項6に記載の発明では、請求項3ないし5のいずれか1つに記載の画像入力装置において、前記被写体距離検出手段の出力をエレクトロウェッティングレンズの形状にフィードバックして合焦距離を変化させる手段をさらに有することを特徴とする。
請求項7に記載の発明では、請求項2ないし5のいずれか1つに記載の画像入力装置において、前記レンズアレイは、同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成されたエレクトロウェッティングレンズの集合体であることを特徴とする。
請求項8に記載の発明では、請求項7に記載の画像入力装置において、前記複数のレンズセットによる被写界深度は少なくとも互いに連続することを特徴とする。
請求項9に記載の発明では、請求項7または8に記載の画像入力装置において、前記複数のレンズセット毎に、前記複眼像から、前記単一像の再構成を行うための個眼像の選択をする個眼像選択手段をさらに有することを特徴とする。
According to a fifth aspect of the present invention, in the image input device according to the fourth aspect, the calculation for detecting the parallax of the compound eye image by the second calculator is a cross-correlation calculation of the compound eye image. Features.
According to a sixth aspect of the present invention, in the image input device according to any one of the third to fifth aspects, the focus distance is changed by feeding back the output of the subject distance detection means to the shape of the electrowetting lens. It has the means to make it have, It is characterized by the above-mentioned.
According to a seventh aspect of the present invention, in the image input device according to any one of the second to fifth aspects, the lens array includes a plurality of lenses having the same in-focus distance as a single lens set. It is an aggregate of electrowetting lenses composed of a plurality of lens sets having different focal distances.
According to an eighth aspect of the present invention, in the image input device according to the seventh aspect, depths of field by the plurality of lens sets are at least continuous with each other.
According to a ninth aspect of the present invention, in the image input device according to the seventh or eighth aspect, a single-eye image for reconstructing the single image from the compound eye image for each of the plurality of lens sets. It further has a single eye image selection means for selecting.
請求項10に記載の発明では、請求項6または9に記載の画像入力装置において、合焦距離の異なるレンズ毎に再構成された複数の単一像から合焦部分抽出手段により、ピントが合った合焦部分を抽出して合成する演算器をさらに有することを特徴とする。
請求項11に記載の発明では、請求項10に記載の画像入力装置において、前記合焦部分抽出手段は、コントラストの高い部分を合焦部分として抽出する演算器であることを特徴とする。
請求項12に記載の発明では、請求項2ないし11のいずれか1つに記載の画像入力装置において、前記エレクトロウェッティングレンズ同士の接触を防止するための封止部材をさらに有することを特徴とする。
請求項13に記載の発明では、請求項1に記載の画像入力装置において、前記レンズアレイは、同一の厚みを有することにより同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成されたレンズアレイであることを特徴とする。
According to a tenth aspect of the present invention, in the image input device according to the sixth or ninth aspect, the in-focus portion extracting unit is used to focus on a plurality of single images reconstructed for each lens having a different in-focus distance. And an arithmetic unit for extracting and synthesizing the in-focus portion.
According to an eleventh aspect of the present invention, in the image input apparatus according to the tenth aspect, the focused part extracting means is an arithmetic unit that extracts a part having a high contrast as a focused part.
According to a twelfth aspect of the present invention, in the image input device according to any one of the second to eleventh aspects, the image input device further includes a sealing member for preventing contact between the electrowetting lenses. To do.
According to a thirteenth aspect of the present invention, in the image input device according to the first aspect, the lens array includes a plurality of lenses having the same focus distance by having the same thickness, and a lens set. It is a lens array composed of a plurality of lens sets having different focal distances.
請求項14に記載の発明では、請求項1に記載の画像入力装置において、前記レンズアレイは、同一の曲率半径を有することにより同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成されたレンズアレイであることを特徴とする。
請求項15に記載の発明では、請求項13または14に記載の画像入力装置において、前記複数のレンズセットによる被写界深度は少なくとも互いに連続することを特徴とする。
請求項16に記載の発明では、請求項13ないし15のいずれか1つに記載の画像入力装置において、さらに被写体距離を検出する距離検出手段を有することを特徴とする。
請求項17に記載の発明では、請求項16に記載の画像入力装置において、前記距離検出手段は、複眼像の視差情報に基づき被写体距離を求める第2の演算器であることを特徴とする。
請求項18に記載の発明では、請求項17に記載の画像入力装置において、前記第2の演算器によって前記複眼像の視差を検出するための演算は、複眼像の相互相関演算であることを特徴とする。
According to a fourteenth aspect of the present invention, in the image input device according to the first aspect, the lens array includes a plurality of lenses having the same focal distance by having the same radius of curvature as one lens set, It is a lens array composed of a plurality of lens sets having different in-focus distances.
According to a fifteenth aspect of the present invention, in the image input device according to the thirteenth or fourteenth aspect, depths of field by the plurality of lens sets are at least continuous with each other.
According to a sixteenth aspect of the present invention, in the image input device according to any one of the thirteenth to fifteenth aspects, the image input device further includes a distance detecting means for detecting a subject distance.
According to a seventeenth aspect of the present invention, in the image input device according to the sixteenth aspect, the distance detecting means is a second computing unit that obtains a subject distance based on parallax information of a compound eye image.
According to an eighteenth aspect of the present invention, in the image input device according to the seventeenth aspect, the calculation for detecting the parallax of the compound eye image by the second calculator is a cross-correlation calculation of the compound eye image. Features.
請求項19に記載の発明では、請求項16ないし18のいずれか1つに記載の画像入力装置において、前記距離検出手段の出力をもとに、前記複眼像から、前記単一像の再構成を行うための個眼像の選択をする個眼像選択手段をさらに有することを特徴とする。
請求項20に記載の発明では、請求項13ない19のいずれか1つに記載の画像入力装置において、前記複数のレンズセット毎に再構成された複数の単一像から、合焦部分抽出手段により、ピントが合った合焦部分を抽出して合成する演算器をさらに有することを特徴とする。
請求項21に記載の発明では、請求項20に記載の画像入力装置において、前記合焦部分抽出手段は、コントラストの高い部分を合焦部分として抽出する演算器であることを特徴とする。
According to a nineteenth aspect of the present invention, in the image input device according to any one of the sixteenth to eighteenth aspects, the single image is reconstructed from the compound eye image based on the output of the distance detecting means. It further has single-eye image selection means for selecting a single-eye image for performing.
According to a twentieth aspect of the present invention, in the image input device according to any one of the thirteenth to nineteenth aspects, the in-focus portion extracting unit from a plurality of single images reconstructed for each of the plurality of lens sets. Thus, it further has an arithmetic unit that extracts and synthesizes the in-focus portion in focus.
According to a twenty-first aspect of the present invention, in the image input apparatus according to the twentieth aspect, the in-focus portion extracting means is an arithmetic unit that extracts a high-contrast portion as the in-focus portion.
本発明によれば、複数の被写体距離に合焦する手段をレンズアレイに付与しているので、薄型かつ近接した被写体から無限遠にある被写体までピントが合った画像を取得可能な画像入力装置を提供できる。   According to the present invention, since the lens array is provided with means for focusing on a plurality of subject distances, an image input device capable of acquiring a focused image from a thin and close subject to a subject at infinity is provided. Can be provided.
図1は本発明の構成を説明するための模式図である。同図(a)はレンズの合焦距離が遠い場合、同図(b)はレンズの合焦距離が近い場合をそれぞれ示す図である。
同図において符号1はレンズアレイ、2は封止部材、3は撮像素子、4は遮光部材、5は情報処理回路、6は被写体、7はレンズ焦点調節用の制御回路をそれぞれ示す。
レンズアレイ1は略平面上に並べられた2個以上のエレクトロウェッティングレンズから構成されている。封止部材2はエレクトロウェッティングレンズ同士の接触を防止するために設けられた部材である。撮像素子3はレンズアレイによって形成される複眼像の略結像位置に設置されている。遮光部材4はレンズアレイを構成するレンズ間での光線のクロストークを防止するために設けられる。情報処理回路5のうち、5aは前記複眼像の視差情報を検出する演算器、5bは距離検出手段であって、前記視差情報を利用して画像入力装置から被写体までの距離を検出する演算器(第2の演算器)、5cは前記複眼像から単一像を再構成する演算器(第1の演算器)である。
被写体6は一般的には奥行きを有しているので、同図(a)ではエレクトロウェッティングレンズが初期状態にあるとき被写界深度内にある被写体6aと、被写界深度を外れて近い側にある被写体6bの2つの平面で代表している。ただし、両者を表す破線は、その被写体が存在する位置を表すものであって、被写体6bが被写体6aを遮っていることを表すものではない。
FIG. 1 is a schematic diagram for explaining the configuration of the present invention. FIG. 4A shows a case where the focusing distance of the lens is long, and FIG. 4B shows a case where the focusing distance of the lens is short.
In the figure, reference numeral 1 denotes a lens array, 2 denotes a sealing member, 3 denotes an imaging element, 4 denotes a light shielding member, 5 denotes an information processing circuit, 6 denotes a subject, and 7 denotes a control circuit for adjusting the lens focus.
The lens array 1 is composed of two or more electrowetting lenses arranged on a substantially plane. The sealing member 2 is a member provided to prevent contact between the electrowetting lenses. The image sensor 3 is installed at a substantially image forming position of a compound eye image formed by the lens array. The light shielding member 4 is provided in order to prevent light beam crosstalk between the lenses constituting the lens array. Of the information processing circuit 5, 5 a is a computing unit that detects parallax information of the compound eye image, and 5 b is a distance detection unit that uses the parallax information to detect the distance from the image input device to the subject. (Second computing unit) 5c is a computing unit (first computing unit) for reconstructing a single image from the compound eye image.
Since the subject 6 generally has a depth, in FIG. 5A, when the electrowetting lens is in the initial state, the subject 6a is close to the subject depth within the depth of field. It is represented by two planes of the subject 6b on the side. However, the broken line representing both represents the position where the subject exists, and does not represent that the subject 6b blocks the subject 6a.
初期状態で設定されたレンズ1aの被写界深度内に存在する被写体6aは、レンズアレイを構成するそれぞれのエレクトロウェッティングレンズ1aにより結像され、撮像素子3により撮像される。遮光部材4により各レンズを通過する光線の撮像素子位置におけるクロストークが抑制される。こうして、撮像素子3により撮像された画像は、各レンズにより撮像された個眼像が並んだ複眼像となる。複眼像を構成する個眼像は一見同じ画像に見えるが、レンズと被写体との相対的な位置関係に起因した視差が存在するため、それぞれの個眼像は、少しずつシフトした画像となる。本明細書内で用いる「視差」は、収録した複眼像の中で、基準とする個眼像に対する各個眼像の画像のシフト量(単位は長さ)を表すことにする。個眼像のみを画像入力装置による収録像として用いると、個眼像における1つの画素より小さい被写体の構造を撮像することはできないが、個眼像間での視差を利用すると、個眼像における1つの画素に埋もれた被写体の構造を再現することができる。すなわち、視差を伴う複眼画像から単一画像を再構成することにより、個眼像に対して解像力を向上させた再構成像を得ることができる(特許文献1 参照。)。   The subject 6a existing within the depth of field of the lens 1a set in the initial state is imaged by the respective electrowetting lenses 1a constituting the lens array, and is imaged by the imaging device 3. The light shielding member 4 suppresses the crosstalk at the position of the imaging element of the light beam passing through each lens. Thus, the image picked up by the image pickup device 3 becomes a compound eye image in which single-eye images picked up by the respective lenses are arranged. The single-eye images constituting the compound-eye image appear to be the same image at first glance, but each single-eye image becomes a slightly shifted image because of the parallax caused by the relative positional relationship between the lens and the subject. The “parallax” used in the present specification represents the shift amount (unit: length) of each single-eye image relative to the reference single-eye image in the recorded compound-eye image. If only a single-eye image is used as a recorded image by the image input device, it is not possible to capture the structure of a subject smaller than one pixel in the single-eye image, but if the parallax between single-eye images is used, The structure of a subject buried in one pixel can be reproduced. That is, by reconstructing a single image from a compound eye image with parallax, it is possible to obtain a reconstructed image with improved resolving power for a single-eye image (see Patent Document 1).
レンズ焦点調節回路7は、エレクトロウェッティングレンズの電極に所定の電圧を加えることによって、各レンズを所望の曲率半径になるよう変化させ、特定の合焦距離に設定する。電圧を他の値に変えることによって、他の合焦距離を選ぶことができる。ここで、合焦距離とは、レンズ諸元と撮像距離が定まっているとき、その撮像面に正しくピントが合う被写体距離のことである。
図1(a)において、初期状態で設定されたレンズ1aの被写界深度からはずれて近い側にある被写体6bに対しては、破線の光路で示すように、1点から出た光が撮像素子3上において1点に収束せず、いわゆるピントがぼけた像になる。したがって、図1(b)に示すレンズ1bのように、レンズ面の曲率半径を変化させて合焦距離を小さくしなければ被写体6bに対してピントを合わせることができない。合焦距離をどのように変化させるべきかは、上記の視差を知ることで算出することができる。
The lens focus adjustment circuit 7 applies a predetermined voltage to the electrodes of the electrowetting lens to change each lens to have a desired radius of curvature, and sets the lens to a specific focus distance. Other focus distances can be selected by changing the voltage to other values. Here, the in-focus distance is a subject distance that is correctly focused on the imaging surface when the lens specifications and the imaging distance are fixed.
In FIG. 1 (a), the light emitted from one point is imaged on the subject 6b on the side far from the depth of field of the lens 1a set in the initial state, as indicated by the broken light path. The image does not converge to one point on the element 3 and a so-called blurred image is obtained. Therefore, as in the lens 1b shown in FIG. 1B, the subject 6b cannot be focused unless the radius of curvature of the lens surface is changed to reduce the focusing distance. How to change the in-focus distance can be calculated by knowing the parallax.
図2は相互相関関数の例を示す図である。
演算器5aは、収録した複眼像における各個眼像間の視差を求めるためのもので、上述のように、複眼像から単一画像の再構成の際に個眼像に対して解像力を上げるために作用すると同時に,以下に示すように、視差から被写体までの距離を求めるためにも作用する。
複眼像から各個眼像の視差を求めるために、複眼像の中からふたつの個眼像を抜出し、それらの相互相関関数を求める。この相互相関関数は2変数関数であり、ある座標においてピークを示す。視差がゼロの場合、ピーク座標位置は中央になり、視差が大きくなるにつれてピーク座標は中央から離れていく。このピーク座標と中央との距離および方向を用いて、2つの個眼像の相対的位置すなわち視差情報を定量的に検出することができる。
FIG. 2 is a diagram illustrating an example of a cross-correlation function.
The computing unit 5a is for obtaining the parallax between each single-eye image in the recorded compound-eye image and, as described above, for increasing the resolving power for the single-eye image when reconstructing a single image from the compound-eye image. At the same time, as shown below, it also acts to obtain the distance from the parallax to the subject.
In order to obtain the parallax of each single-eye image from the compound-eye image, two single-eye images are extracted from the compound-eye image and their cross-correlation function is obtained. This cross-correlation function is a two-variable function and shows a peak at a certain coordinate. When the parallax is zero, the peak coordinate position is in the center, and the peak coordinate is away from the center as the parallax is increased. Using the distance and direction between the peak coordinates and the center, it is possible to quantitatively detect the relative positions of the two single-eye images, that is, parallax information.
図3は複眼像の1例を示す図である。
複眼像はマイクロレンズの個数に等しい数だけ被写体の縮小像が形成されたものである。後述の図6において示すように、レンズ個々の焦点距離に比べて被写体距離ははるかに大きいので、被写体に奥行きがあって、複数の被写体距離の物体あるいは人物からなっていたとしても、各レンズの視野は互いにほぼ同じであり、一見しただけでは相互の違いは分からない。しかし、厳密に言えば、異なる位置にあるレンズがそれぞれわずかに異なる被写体領域を見ているので、見ている位置の違い、いわゆる視差によって、形成される個眼像はわずかにずれた画像となる。ほぼ同一な2つの画像のずれ量を知る方法として、上記のように相互相関関数を求める方法が知られている。
FIG. 3 is a diagram showing an example of a compound eye image.
A compound eye image is an image in which reduced images of a subject are formed by the number equal to the number of microlenses. As shown in FIG. 6 to be described later, since the subject distance is much larger than the focal length of each lens, even if the subject has a depth and is composed of objects or persons having a plurality of subject distances, The fields of view are almost identical to each other, and the difference between them cannot be seen at first glance. Strictly speaking, however, the lenses at different positions see slightly different subject areas, so the formed single-eye image is slightly shifted due to the difference in viewing position, so-called parallax. . As a method for determining the amount of deviation between two substantially identical images, a method for obtaining a cross-correlation function as described above is known.
複眼像を構成する個眼像のうち、基準となるもの(例えば、同図の50)を設定し、基準となる個眼像と他の個眼像の相互相関関数を求め、同様に、基準個眼像以外の全個眼像に対して、基準個眼像との相互相関をとることで、基準個眼像に対する全ての個眼像の画像シフト量を、撮像素子の画素を単位として求めることができ、画像シフト量(単位ピクセル)に撮像素子1画素あたりの長さを乗じることにより視差を算出できる。視差を求めるためにはピントずれした画像を用いることも可能だが、できればピントずれの程度は小さいほうが望ましい。そのために、エレクトロウェッティングレンズの初期状態は、可能な限り深い被写界深度に対してピントが合っているような状態、すなわちパンフォーカスになるような合焦距離に設定するのが望ましい。あるいは、そのほかに、パンフォーカスよりも短い合焦距離を有するエレクトロウェッティングレンズを複数存在させることで、過焦点距離の半分の距離よりも近接した被写体に対してもピントが合ったような複数の個眼像を取得することができ、視差の検出が容易になる。この場合、短いほうの合焦距離のレンズによる被写界深度は比較的浅くなるのが普通であるが、もう一方のレンズの合焦距離による被写界深度(パンフォーカスの範囲)と重複しても良いから、少なくとも連続するように合焦距離を設定するのが望ましい。   Of the single-eye images constituting the compound-eye image, a reference one (for example, 50 in the figure) is set, and the cross-correlation function between the single-eye image and the other single-eye image is obtained. By obtaining a cross-correlation with the reference single-eye image for all single-eye images other than the single-eye image, the image shift amount of all single-eye images with respect to the reference single-eye image is obtained in units of pixels of the image sensor The parallax can be calculated by multiplying the image shift amount (unit pixel) by the length per pixel of the image sensor. Although it is possible to use an image that is out of focus in order to obtain parallax, it is desirable that the degree of defocus is as small as possible. For this reason, it is desirable to set the initial state of the electrowetting lens at a focus distance that is in focus with respect to the depth of field as deep as possible, that is, pan focus. Or, in addition to this, by providing a plurality of electrowetting lenses having an in-focus distance shorter than that of the pan focus, a plurality of objects that are in focus with respect to a subject that is closer than half the hyperfocal distance can be obtained. A single-eye image can be acquired, and parallax can be easily detected. In this case, the depth of field with the lens with the shorter focus distance is usually relatively shallow, but it overlaps with the depth of field (pan focus range) with the focus distance of the other lens. Therefore, it is desirable to set the in-focus distance so that it is at least continuous.
図4は三角測距法を説明するための図である。
同図において符号11はレンズ、dはレンズ中心間隔、Lは被写体距離、Oはレンズ光軸と撮像素子の交点、Pは特定被写体、P’は特定被写体の結像点、δは視差をそれぞれ示す。
図5は複眼画像から単一画像を得る流れを示す図である。
同図において符号Sは流れのステップを示す、
演算器5bは、視差情報を利用して画像入力装置から被写体までの距離を検出するためのものである。被写体距離を求める方法として、例えば三角測量の原理を用いた三角測距法が知られている。同図を用いて三角測量による被写体距離の求め方について述べる。レンズ11aの光軸と被写体6の交わる点Pから発した光のうち、レンズ11aを通過した光はレンズ11aの光軸と撮像素子3の交わる点Oaに結像する。一方レンズ11bを通過した光は撮像素子上の点P’に結像する。レンズ11bの光軸と撮像素子3の交わる点をObとすると視差はP’Obである。光学系設計時に既知となるレンズ中心間隔dとレンズアレイ−撮像素子間距離(レンズ焦点距離)f、並びに演算器5aにより求めた視差P’Ob=δにより、被写体距離Lは三角形の比例関係から次式で求めることができる。
L=f×d/δ ・・・(1)
本発明では、このδを上述の相互相関関数を用いて算出する。
FIG. 4 is a diagram for explaining the triangulation method.
In the figure, 11 is a lens, d is a lens center distance, L is a subject distance, O is an intersection of a lens optical axis and an image sensor, P is a specific subject, P ′ is an imaging point of a specific subject, and δ is a parallax. Show.
FIG. 5 is a diagram showing a flow of obtaining a single image from a compound eye image.
In the figure, the symbol S indicates a flow step.
The computing unit 5b is for detecting the distance from the image input device to the subject using the parallax information. As a method for obtaining the subject distance, for example, a triangulation method using the principle of triangulation is known. The method for obtaining the subject distance by triangulation will be described with reference to FIG. Of the light emitted from the point P where the optical axis of the lens 11 a intersects the subject 6, the light that has passed through the lens 11 a forms an image at a point Oa where the optical axis of the lens 11 a and the image sensor 3 intersect. On the other hand, the light passing through the lens 11b forms an image at a point P ′ on the image sensor. If the point where the optical axis of the lens 11b and the image sensor 3 intersect is Ob, the parallax is P'Ob. The subject distance L is determined from the proportional relationship of the triangle by the lens center interval d and the lens array-imaging device distance (lens focal length) f known at the time of designing the optical system, and the parallax P′Ob = δ obtained by the calculator 5a. It can be obtained by the following formula.
L = f × d / δ (1)
In the present invention, this δ is calculated using the cross-correlation function described above.
複眼画像を得たら(S1)、図3にて示したように、基準個眼像50を設定する(S2)。この基準個眼像に対する各個眼像の視差δを検出する(S3)。この視差から被写体距離Lを算出する(S4)。
この被写体距離Lを距離検出手段5bからエレクトロウェッティングレンズ1の制御回路7にフィードバックし(図1(b)参照)、エレクトロウェッティングレンズ1の形状を変化させることにより、被写体に合焦させることができる。これらの視差の検出(S3)からレンズ形状の変化(S5)までを自動的に行うことでオートフォーカス機能を付加することができる。例えば、被写体6aに合焦している図1(a)の状態から、よりレンズに近接した図1(b)の被写体6bに合焦する場合、視差をもとに算出した被写体距離に基づいて1bのようにエレクトロウェッティングレンズ形状を変化させてレンズの焦点距離を短くし、被写体6bにピントが合った複眼像を撮像することができる(S6)。この複眼像を演算器5cにより単一像に再構成する(S7)ことで、近接した被写体6bに合焦した高解像な画像を得ることができる。
本方式によれば、余分な構成部品を必要とせず,被写体距離検出のための簡略な構成を提供することができる。
When a compound eye image is obtained (S1), a reference single image 50 is set as shown in FIG. 3 (S2). The parallax δ of each single-eye image with respect to this reference single-eye image is detected (S3). The subject distance L is calculated from this parallax (S4).
The subject distance L is fed back from the distance detection means 5b to the control circuit 7 of the electrowetting lens 1 (see FIG. 1B), and the subject is focused by changing the shape of the electrowetting lens 1. Can do. An autofocus function can be added by automatically performing these parallax detection (S3) to lens shape change (S5). For example, when focusing on the subject 6b of FIG. 1B closer to the lens from the state of FIG. 1A focused on the subject 6a, based on the subject distance calculated based on the parallax. As in 1b, the shape of the electrowetting lens is changed to shorten the focal length of the lens, and a compound eye image in focus on the subject 6b can be captured (S6). By reconstructing this compound eye image into a single image by the calculator 5c (S7), it is possible to obtain a high-resolution image focused on the close subject 6b.
According to this method, a simple configuration for detecting a subject distance can be provided without requiring extra components.
図6は本発明の他の実施形態を示す図である。
同図において、被写体距離がレンズ焦点距離に比べて非常に大きいことを示すため、破線で区切って、被写体側の距離を縮めて示した。以下の図においても同様である。
図7は図6の構成に対応する単一像を得るための流れを示す図である。
図6に示すように、あるレンズ1aは離れた位置にある被写体6aに、別のレンズ1bはレンズに近接した被写体6bにそれぞれ合焦するように形状を制御して各エレクトロウェッティングレンズの合焦距離を異ならしめることにより、近接した被写体から遠い位置にある被写体にまで合焦した画像をワンショットで撮像することができる。レンズ1a、レンズ1bをそれぞれ複数用いるときは、同一の合焦距離を有する各レンズの群をレンズセットと呼ぶ。この例では、レンズ1aからなるレンズセットと、レンズ1bからなるレンズセットの2組が存在する。
例えば、エレクトロウェッティングレンズを4×4の格子状に並べたレンズアレイを用いた画像入力装置において、半分の8個を近接した被写体に合わせた合焦距離とし、残り半分の8個をパンフォーカスに制御して撮像することで、近接した被写体に合焦し得る8個の個眼像から構成される複眼像と、パンフォーカスの8個の個眼像から構成される複眼像の2通りの複眼像が得られる。これらの複眼像について、それぞれ視差を利用した再構成を演算器5cで行うことにより、近接した被写体に合焦した高解像な単一像とパンフォーカスの高解像な単一像をワンショットで得ることができる。必要に応じてそれぞれの単一像を保存するためのメモリ等は備えておくものとする。
前述と同様に、このときの2つのレンズセットのそれぞれの被写界深度が少なくとも連続するように、それぞれの合焦距離を設定するのが望ましい。
この構成においても、視差をもとに算出した被写体距離に基づいて、どちらか一方のレンズセットの合焦距離を変化させてもよい。その場合は、より高解像な単一像を再構成することができる。
FIG. 6 is a diagram showing another embodiment of the present invention.
In the figure, in order to show that the subject distance is very large compared to the lens focal length, the distance on the subject side is reduced by dividing it with a broken line. The same applies to the following drawings.
FIG. 7 is a diagram showing a flow for obtaining a single image corresponding to the configuration of FIG.
As shown in FIG. 6, the shape of each electrowetting lens is adjusted by controlling the shape so that one lens 1a is focused on a subject 6a at a distant position, and another lens 1b is focused on a subject 6b close to the lens. By making the focal lengths different, it is possible to pick up an image focused on a subject far from a close subject in one shot. When a plurality of lenses 1a and 1b are used, a group of lenses having the same focusing distance is called a lens set. In this example, there are two sets of a lens set including the lens 1a and a lens set including the lens 1b.
For example, in an image input device using a lens array in which electrowetting lenses are arranged in a 4 × 4 grid, half of the eight lenses are set to the focusing distance, and the other half of the eight are pan-focused. In this way, there are two types of images: a compound eye image composed of eight single-eye images capable of focusing on a close subject and a compound eye image composed of eight single-eye images in pan focus. A compound eye image is obtained. Each of these compound eye images is reconstructed using parallax by the calculator 5c, so that a high-resolution single image focused on a close subject and a high-resolution single image of pan focus are shot in one shot. Can be obtained at It is assumed that a memory or the like for storing each single image is provided as necessary.
As described above, it is desirable to set the respective in-focus distances so that the depths of field of the two lens sets at this time are at least continuous.
Also in this configuration, the focusing distance of either one of the lens sets may be changed based on the subject distance calculated based on the parallax. In that case, a higher resolution single image can be reconstructed.
以上の処理フローを、図7に示す。レンズアレイを構成する全てのエレクトロウェッティングレンズの焦点距離が同じ場合に比べて、焦点距離が異なるように制御したエレクトロウェッティングレンズで構成されたレンズアレイを用いて撮影すると、再構成された単一像の解像度は低下してしまう。ただし、画素サイズが小さな撮像素子を用いてレンズひとつあたりの画素数を多くすることで、高解像な単一像を得ることは可能である。
なお、2組のレンズセットは互いに領域を分けて配置することもできるが、被写体距離検出の精度を上げるためより大きな視差が得られるように、各レンズセットの個別のレンズが交互に並ぶようにし、それぞれのレンズセットのレンズが撮像領域全体にほぼ均等に分散するように配置するのが好ましい。この考え方はレンズセットの数が増えても同様に適用できる。
The above processing flow is shown in FIG. Compared to the case where all the electrowetting lenses that make up the lens array have the same focal length, if a photograph is taken using a lens array composed of electrowetting lenses that are controlled to have different focal lengths, the reconstructed single The resolution of one image is reduced. However, it is possible to obtain a high-resolution single image by increasing the number of pixels per lens using an image sensor having a small pixel size.
Although the two lens sets can be arranged separately from each other, the individual lenses of each lens set are arranged alternately so that a larger parallax can be obtained in order to improve the accuracy of subject distance detection. It is preferable that the lenses of each lens set are arranged so as to be substantially evenly distributed over the entire imaging region. This concept can be applied in the same way as the number of lens sets increases.
図8は本発明のさらに他の実施形態を示す図である。
同図において符号10は多焦点型のレンズアレイ、20は被写体を示す。
図9は図8の構成に対応する単一像を得るための流れを示す図である。
本実施形態は、レンズアレイが複数の被写体距離に対して合焦できる機能として、レンズアレイが厚みの異なるレンズから構成されている画像入力装置である。
図8を用いて、レンズアレイが複数の被写体距離に対して合焦する方法を述べる。同図のように厚みの異なる平凸レンズを並べて構成したレンズアレイ10を用いると、各レンズの凸面の曲率が同じならば厚みが大きいほど焦点距離は短い。同じ焦点距離のレンズをまとめて言うときレンズのセットと呼ぶ。同図においては3つのレンズセットが存在する。
レンズと撮像素子間距離が固定の場合には、10a、10b、10cの各レンズがそれぞれ20a、20b、20cの被写体に合焦するというように、レンズの厚みが大きいレンズほど近接した被写体に合焦できる。このような構成の画像入力装置で撮像した複眼像は、異なる被写体距離に部分的に合焦した個眼像から構成されたものとなる。
演算器5bにより被写体距離を算出したら、演算器5dにより、その被写体距離に最も近い合焦距離を有するレンズのセットを決定する。決定したレンズに対応する個眼像のセットを選択し、それらから視差を利用して演算器5cにより再構成することで、自動的に被写体にピントがあった高解像な単一像を得ることができる。
前述と同様に、3つのレンズセットによるそれぞれの被写界深度が少なくとも連続することが望ましい。
FIG. 8 is a view showing still another embodiment of the present invention.
In the figure, reference numeral 10 denotes a multifocal lens array, and 20 denotes a subject.
FIG. 9 is a diagram showing a flow for obtaining a single image corresponding to the configuration of FIG.
The present embodiment is an image input device in which the lens array is composed of lenses having different thicknesses as a function that allows the lens array to focus on a plurality of subject distances.
A method of focusing the lens array with respect to a plurality of subject distances will be described with reference to FIG. When the lens array 10 configured by arranging plano-convex lenses having different thicknesses as shown in the figure is used, if the curvature of the convex surface of each lens is the same, the greater the thickness, the shorter the focal length. When a lens with the same focal length is collectively referred to as a lens set. In the figure, there are three lens sets.
When the distance between the lens and the image sensor is fixed, the lenses with the larger lens thickness, such as the lenses 10a, 10b, and 10c, focus on the subjects 20a, 20b, and 20c, respectively. Can burn. The compound eye image picked up by the image input apparatus having such a configuration is composed of single-eye images partially focused on different subject distances.
When the subject distance is calculated by the computing unit 5b, the computing unit 5d determines a set of lenses having the in-focus distance closest to the subject distance. A set of single-eye images corresponding to the determined lens is selected and reconstructed by the calculator 5c using parallax, thereby automatically obtaining a high-resolution single image in which the subject is in focus. be able to.
As described above, it is desirable that the depths of field of the three lens sets are at least continuous.
図10は他の単一像の求め方を示す流れ図である。
先にも述べたように、被写体が単一の距離にあるとは限らない。すなわち、被写体に奥行きがある場合、各個眼像を微視的に見れば、ピントのあっている部分と合っていない部分が混在する。
したがって、ある合焦距離を有するレンズに対応する個眼像のセットのみを選択して再構成するのではなく、同じ合焦距離を有するレンズに対応する個眼像のセットからそれぞれ単一像を取得し、それら複数の単一像からピントが合っている部分を抜出し、合成することで全焦点画像を得ることができる。合成する際、合焦距離が異なることにより生じる倍率の違いを調整して、それぞれの部分を合成することがより望ましい。また、単一像において、ピントが合っている部分を抜出す手段として、コントラストを利用した合焦部分検知方法を用いても良い。すなわち、合焦部分抽出手段を設け、コントラストの高い部分を合焦部分として抽出する演算器を持たせる。
この方法は、図8の実施形態のみならず、図6に示した実施形態にも適用できる。図1の構成において、被写体6aの距離に焦点を合わせて得た単一像と、被写体6bの距離に焦点を合わせて得た単一像の双方から、ピントが合っている部分を抜出し、合成することで全焦点画像を得ることも可能である。さらに、以下に示す実施形態にも適用可能である。
FIG. 10 is a flowchart showing another method for obtaining a single image.
As described above, the subject is not always at a single distance. That is, when the subject has a depth, if each individual image is viewed microscopically, a portion that is in focus and a portion that does not match are mixed.
Therefore, instead of selecting and reconstructing only a single eye image set corresponding to a lens having a certain focus distance, a single image is obtained from each single eye image set corresponding to a lens having the same focus distance. An all-in-focus image can be obtained by acquiring, extracting a portion in focus from the plurality of single images, and synthesizing them. When combining, it is more desirable to combine the respective parts by adjusting the difference in magnification caused by the difference in focusing distance. Further, as a means for extracting a focused part in a single image, a focused part detection method using contrast may be used. That is, an in-focus portion extraction unit is provided, and an arithmetic unit that extracts a high-contrast portion as the in-focus portion is provided.
This method can be applied not only to the embodiment of FIG. 8, but also to the embodiment shown in FIG. In the configuration shown in FIG. 1, the in-focus portion is extracted from both the single image obtained by focusing on the distance of the subject 6a and the single image obtained by focusing on the distance of the subject 6b. By doing so, it is possible to obtain an omnifocal image. Furthermore, the present invention can be applied to the following embodiments.
図11は本発明のさらに他の実施形態を示す図である。
同図において符号30はレンズ、40は被写体をそれぞれ示す。
同図に示す曲率の異なる平凸レンズを並べて構成したレンズアレイの場合にも、図8で示した厚みの異なるレンズから構成されたレンズアレイを用いた場合と同様の効果がある。凸面の曲率半径が小さいほど、焦点距離は短い。よって、厚みの異なるレンズから構成されたレンズアレイの場合と同様に、レンズと撮像素子間距離が一定の場合には、30a、30b、30cの各レンズセットがそれぞれ40a、40b、40cの被写体に合焦するというように、レンズの曲率半径が小さいレンズほど近接した被写体に合焦できる。以下、高解像な単一像を得る手順は図8と同様である。
前述と同様に、3つのレンズセットによるそれぞれの被写界深度が少なくとも連続することが望ましい。
本実施形態、および図8に示した実施形態においては、レンズアレイに屈折型のレンズを用いたもので説明したが、フレネルレンズのような回折型のレンズアレイを用いても、同等の効果を得ることができる。
FIG. 11 is a view showing still another embodiment of the present invention.
In the figure, reference numeral 30 denotes a lens, and 40 denotes a subject.
The lens array in which plano-convex lenses having different curvatures shown in the figure are arranged side by side has the same effect as the case of using the lens array having lenses having different thicknesses shown in FIG. The smaller the radius of curvature of the convex surface, the shorter the focal length. Therefore, as in the case of the lens array composed of lenses having different thicknesses, when the distance between the lens and the image sensor is constant, the lens sets 30a, 30b, and 30c are respectively applied to the subjects 40a, 40b, and 40c. A lens having a smaller radius of curvature of the lens can focus on a closer subject, such as focusing. The procedure for obtaining a high-resolution single image is the same as that shown in FIG.
As described above, it is desirable that the depths of field of the three lens sets are at least continuous.
In the present embodiment and the embodiment shown in FIG. 8, the lens array is described as using a refractive lens. However, even if a diffractive lens array such as a Fresnel lens is used, the same effect can be obtained. Obtainable.
本発明の構成を説明するための図である。It is a figure for demonstrating the structure of this invention. 相互相関関数の例を示す図である。It is a figure showing an example of a cross correlation function. 複眼像の1例を示す図である。It is a figure which shows an example of a compound eye image. 三角測距法を説明するための図である。It is a figure for demonstrating a triangulation method. 複眼画像から単一画像を得る流れを示す図である。It is a figure which shows the flow which obtains a single image from a compound eye image. 本発明の他の実施形態を示す図である。It is a figure which shows other embodiment of this invention. 図6の構成に対応する単一像を得るための流れを示す図である。It is a figure which shows the flow for obtaining the single image corresponding to the structure of FIG. 本発明のさらに他の実施形態を示す図である。It is a figure which shows other embodiment of this invention. 図8の構成に対応する単一像を得るための流れを示す図である。It is a figure which shows the flow for obtaining the single image corresponding to the structure of FIG. 他の単一像の求め方を示す流れ図である。It is a flowchart which shows how to obtain | require another single image. 本発明のさらに他の実施形態を示す図である。It is a figure which shows other embodiment of this invention.
符号の説明Explanation of symbols
1 レンズアレイ
3 撮像素子
5 情報処理回路
6 被写体
7 制御回路
1 Lens Array 3 Image Sensor 5 Information Processing Circuit 6 Subject 7 Control Circuit

Claims (21)

  1. 2個以上のレンズから構成されたレンズアレイと、該レンズアレイを構成するレンズ間での光線のクロストークを防止するための遮光手段と、前記レンズアレイにより結像された像を撮像するための撮像手段と、該撮像手段により撮像された複眼像から単一像を再構成するための第1の演算器と、を有する画像入力装置において、前記レンズアレイが少なくとも複数の被写体距離に対して合焦できる機能を有することを特徴とする画像入力装置。   A lens array composed of two or more lenses, a light shielding means for preventing crosstalk of light rays between the lenses constituting the lens array, and an image formed by the lens array An image input apparatus comprising: an imaging unit; and a first computing unit for reconstructing a single image from a compound eye image captured by the imaging unit, wherein the lens array matches at least a plurality of subject distances. An image input device having a function capable of being focused.
  2. 請求項1に記載の画像入力装置において、前記レンズアレイは、エレクトロウェッティングレンズであることを特徴とする画像入力装置。   The image input device according to claim 1, wherein the lens array is an electrowetting lens.
  3. 請求項2に記載の画像入力装置において、さらに被写体距離を検出する距離検出手段を有することを特徴とする画像入力装置。   The image input apparatus according to claim 2, further comprising a distance detection unit that detects a subject distance.
  4. 請求項3に記載の画像入力装置において、前記距離検出手段は、複眼像の視差情報に基づき被写体距離を求める第2の演算器であることを特徴とする画像入力装置。   The image input device according to claim 3, wherein the distance detection unit is a second computing unit that obtains a subject distance based on parallax information of a compound eye image.
  5. 請求項4に記載の画像入力装置において、前記第2の演算器によって前記複眼像の視差を検出するための演算は、複眼像の相互相関演算であることを特徴とする画像入力装置。   5. The image input device according to claim 4, wherein the calculation for detecting the parallax of the compound eye image by the second calculator is a cross-correlation calculation of the compound eye image.
  6. 請求項3ないし5のいずれか1つに記載の画像入力装置において、前記被写体距離検出手段の出力をエレクトロウェッティングレンズの形状にフィードバックして合焦距離を変化させる手段をさらに有することを特徴とする画像入力装置。   6. The image input device according to claim 3, further comprising means for feeding back the output of the subject distance detection means to the shape of an electrowetting lens to change the focusing distance. An image input device.
  7. 請求項2ないし5のいずれか1つに記載の画像入力装置において、前記レンズアレイは、同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成されたエレクトロウェッティングレンズの集合体であることを特徴とする画像入力装置。   6. The image input device according to claim 2, wherein the lens array includes a plurality of lenses having the same in-focus distance as one lens set, and a plurality of lens sets having different in-focus distances. An image input device comprising an assembly of configured electrowetting lenses.
  8. 請求項7に記載の画像入力装置において、前記複数のレンズセットによる被写界深度は少なくとも互いに連続することを特徴とする画像入力装置。   8. The image input device according to claim 7, wherein depths of field by the plurality of lens sets are at least continuous with each other.
  9. 請求項7または8に記載の画像入力装置において、前記複数のレンズセット毎に、前記複眼像から、前記単一像の再構成を行うための個眼像の選択をする個眼像選択手段をさらに有することを特徴とする画像入力装置。   9. The image input device according to claim 7 or 8, further comprising: single-eye image selection means for selecting a single-eye image for reconstructing the single image from the compound-eye image for each of the plurality of lens sets. An image input device further comprising:
  10. 請求項6または9に記載の画像入力装置において、合焦距離の異なるレンズ毎に再構成された複数の単一像から合焦部分抽出手段により、ピントが合った合焦部分を抽出して合成する演算器をさらに有することを特徴とする画像入力装置。   10. The image input device according to claim 6, wherein an in-focus portion that is in focus is extracted from a plurality of single images reconstructed for each lens having different in-focus distances, and is synthesized. An image input apparatus further comprising an arithmetic unit for performing the operation.
  11. 請求項10に記載の画像入力装置において、前記合焦部分抽出手段は、コントラストの高い部分を合焦部分として抽出する演算器であることを特徴とする画像入力装置。   The image input apparatus according to claim 10, wherein the focused part extracting unit is an arithmetic unit that extracts a part having a high contrast as a focused part.
  12. 請求項2ないし11のいずれか1つに記載の画像入力装置において、前記エレクトロウェッティングレンズ同士の接触を防止するための封止部材をさらに有することを特徴とする画像入力装置。   12. The image input device according to claim 2, further comprising a sealing member for preventing contact between the electrowetting lenses.
  13. 請求項1に記載の画像入力装置において、前記レンズアレイは、同一の厚みを有することにより同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成されたレンズアレイであることを特徴とする画像入力装置。   2. The image input device according to claim 1, wherein the lens array includes a plurality of lenses having the same focus distance by having the same thickness, and a plurality of lens sets having different focus distances. An image input device comprising a lens array configured.
  14. 請求項1に記載の画像入力装置において、前記レンズアレイは、同一の曲率半径を有することにより同一の合焦距離を有する複数のレンズを1つのレンズセットとし、合焦距離の異なる複数のレンズセットから構成されたレンズアレイであることを特徴とする画像入力装置。   2. The image input device according to claim 1, wherein the lens array includes a plurality of lenses having the same focal distance by having the same radius of curvature as one lens set, and a plurality of lens sets having different focal distances. An image input device comprising: a lens array comprising:
  15. 請求項13または14に記載の画像入力装置において、前記複数のレンズセットによる被写界深度は少なくとも互いに連続することを特徴とする画像入力装置。   15. The image input device according to claim 13, wherein depths of field by the plurality of lens sets are at least continuous with each other.
  16. 請求項13ないし15のいずれか1つに記載の画像入力装置において、さらに被写体距離を検出する距離検出手段を有することを特徴とする画像入力装置。   16. The image input device according to claim 13, further comprising distance detection means for detecting a subject distance.
  17. 請求項16に記載の画像入力装置において、前記距離検出手段は、複眼像の視差情報に基づき被写体距離を求める第2の演算器であることを特徴とする画像入力装置。   17. The image input device according to claim 16, wherein the distance detecting means is a second computing unit that obtains a subject distance based on parallax information of a compound eye image.
  18. 請求項17に記載の画像入力装置において、前記第2の演算器によって前記複眼像の視差を検出するための演算は、複眼像の相互相関演算であることを特徴とする画像入力装置。   18. The image input device according to claim 17, wherein the calculation for detecting the parallax of the compound eye image by the second calculator is a cross-correlation calculation of the compound eye image.
  19. 請求項16ないし18のいずれか1つに記載の画像入力装置において、前記距離検出手段の出力をもとに、前記複眼像から、前記単一像の再構成を行うための個眼像の選択をする個眼像選択手段をさらに有することを特徴とする画像入力装置。   19. The image input device according to claim 16, wherein a single-eye image is selected for reconstructing the single image from the compound-eye image based on the output of the distance detection unit. An image input apparatus further comprising a single-eye image selecting unit for performing the following.
  20. 請求項13ない19のいずれか1つに記載の画像入力装置において、前記複数のレンズセット毎に再構成された複数の単一像から、合焦部分抽出手段により、ピントが合った合焦部分を抽出して合成する演算器をさらに有することを特徴とする画像入力装置。   21. The image input device according to claim 19, wherein the in-focus portion is in focus by a in-focus portion extraction unit from a plurality of single images reconstructed for each of the plurality of lens sets. An image input device further comprising an arithmetic unit that extracts and synthesizes.
  21. 請求項20に記載の画像入力装置において、前記合焦部分抽出手段は、コントラストの高い部分を合焦部分として抽出する演算器であることを特徴とする画像入力装置。   21. The image input apparatus according to claim 20, wherein the focused part extracting means is an arithmetic unit that extracts a part having high contrast as a focused part.
JP2005352364A 2005-12-06 2005-12-06 Image input device Expired - Fee Related JP4673202B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005352364A JP4673202B2 (en) 2005-12-06 2005-12-06 Image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005352364A JP4673202B2 (en) 2005-12-06 2005-12-06 Image input device

Publications (2)

Publication Number Publication Date
JP2007158825A true JP2007158825A (en) 2007-06-21
JP4673202B2 JP4673202B2 (en) 2011-04-20

Family

ID=38242593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005352364A Expired - Fee Related JP4673202B2 (en) 2005-12-06 2005-12-06 Image input device

Country Status (1)

Country Link
JP (1) JP4673202B2 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087088A (en) * 2004-08-20 2006-03-30 Sony Corp Imaging device, and imaging method
WO2009110626A1 (en) 2008-03-04 2009-09-11 Ricoh Company, Ltd. Personal authentication device and electronic device
JP2011501212A (en) * 2007-10-19 2011-01-06 シーリアル テクノロジーズ ソシエテ アノニム Dynamic wave forming unit
JP2011118235A (en) * 2009-12-04 2011-06-16 Ricoh Co Ltd Imaging apparatus
US8085312B2 (en) 2006-10-12 2011-12-27 Ricoh Company, Ltd. Image input apparatus, image input method, personal authentication apparatus, and electronic apparatus
JP2012065079A (en) * 2010-09-15 2012-03-29 Ricoh Co Ltd Imaging apparatus and imaging method
WO2012057620A3 (en) * 2010-10-24 2012-06-14 Ziv Attar System and method for imaging using multi aperture camera
JP2013040791A (en) * 2011-08-11 2013-02-28 Canon Inc Image processing device, image processing method, and program
JP2014016309A (en) * 2012-07-11 2014-01-30 Ricoh Co Ltd Distance measuring device and distance measuring method
WO2014024745A1 (en) 2012-08-06 2014-02-13 富士フイルム株式会社 Imaging device
JP2014056182A (en) * 2012-09-13 2014-03-27 Nippon Hoso Kyokai <Nhk> Imaging device and imaging apparatus
JP2014182299A (en) * 2013-03-19 2014-09-29 Toshiba Corp Microlens array unit and solid-state image pickup device
JP2015014686A (en) * 2013-07-04 2015-01-22 オリンパス株式会社 Imaging device
CN104614856A (en) * 2015-02-16 2015-05-13 杭州清渠科技有限公司 Imaging device based on fly-eye lens optical structure and imaging method thereof
JP2016184956A (en) * 2016-06-02 2016-10-20 キヤノン株式会社 Image processing apparatus and image processing method
JP2016191875A (en) * 2015-03-31 2016-11-10 株式会社ニコン Focus detection device and imaging device
WO2018020846A1 (en) * 2016-07-29 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 Imaging device
US10823935B2 (en) 2016-03-11 2020-11-03 Fujifilm Corporation Imaging device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110426762B (en) * 2019-08-02 2020-09-15 北京理工大学 Parallel bionic compound eye nest area imaging method and system
CN110488396B (en) * 2019-08-02 2020-10-09 北京理工大学 Imaging method for reducing parallel bionic compound eye off-axis aberration

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000004871A (en) * 1998-06-29 2000-01-11 Olympus Optical Co Ltd Culture container, and microscope for observing samples in the container
JP2000032354A (en) * 1998-07-09 2000-01-28 Sony Corp Image pickup device
JP2000152281A (en) * 1998-11-09 2000-05-30 Sony Corp Image pickup device
JP2003143459A (en) * 2001-11-02 2003-05-16 Canon Inc Compound-eye image pickup system and device provided therewith
JP2003141529A (en) * 2001-11-02 2003-05-16 Japan Science & Technology Corp Image reconstruction method and device
JP2004311666A (en) * 2003-04-04 2004-11-04 Kyocera Corp Solid state imaging element
JP2005506778A (en) * 2001-10-11 2005-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 2D / 3D display device
JP2005109622A (en) * 2003-09-29 2005-04-21 Minolta Co Ltd Multiple-lens imaging apparatus and mobile communication terminal
JP2005167484A (en) * 2003-12-01 2005-06-23 Japan Science & Technology Agency Image configuration apparatus and image configuration method
JP2005268995A (en) * 2004-03-17 2005-09-29 Hitachi Kokusai Electric Inc Imaging apparatus
JP2005303694A (en) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc Compound eye imaging device
JP2006217131A (en) * 2005-02-02 2006-08-17 Matsushita Electric Ind Co Ltd Imaging apparatus
JP2007500874A (en) * 2003-05-14 2007-01-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Variable shape lens
JP2007520166A (en) * 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション Thin camera with sub-pixel resolution

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000004871A (en) * 1998-06-29 2000-01-11 Olympus Optical Co Ltd Culture container, and microscope for observing samples in the container
JP2000032354A (en) * 1998-07-09 2000-01-28 Sony Corp Image pickup device
JP2000152281A (en) * 1998-11-09 2000-05-30 Sony Corp Image pickup device
JP2005506778A (en) * 2001-10-11 2005-03-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 2D / 3D display device
JP2003143459A (en) * 2001-11-02 2003-05-16 Canon Inc Compound-eye image pickup system and device provided therewith
JP2003141529A (en) * 2001-11-02 2003-05-16 Japan Science & Technology Corp Image reconstruction method and device
JP2004311666A (en) * 2003-04-04 2004-11-04 Kyocera Corp Solid state imaging element
JP2007500874A (en) * 2003-05-14 2007-01-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Variable shape lens
JP2005109622A (en) * 2003-09-29 2005-04-21 Minolta Co Ltd Multiple-lens imaging apparatus and mobile communication terminal
JP2005167484A (en) * 2003-12-01 2005-06-23 Japan Science & Technology Agency Image configuration apparatus and image configuration method
JP2007520166A (en) * 2004-01-26 2007-07-19 ディジタル・オプティックス・コーポレイション Thin camera with sub-pixel resolution
JP2005268995A (en) * 2004-03-17 2005-09-29 Hitachi Kokusai Electric Inc Imaging apparatus
JP2005303694A (en) * 2004-04-13 2005-10-27 Konica Minolta Holdings Inc Compound eye imaging device
JP2006217131A (en) * 2005-02-02 2006-08-17 Matsushita Electric Ind Co Ltd Imaging apparatus

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006087088A (en) * 2004-08-20 2006-03-30 Sony Corp Imaging device, and imaging method
JP4645358B2 (en) * 2004-08-20 2011-03-09 ソニー株式会社 Imaging apparatus and imaging method
US8085312B2 (en) 2006-10-12 2011-12-27 Ricoh Company, Ltd. Image input apparatus, image input method, personal authentication apparatus, and electronic apparatus
JP2011501212A (en) * 2007-10-19 2011-01-06 シーリアル テクノロジーズ ソシエテ アノニム Dynamic wave forming unit
EP2247239A4 (en) * 2008-03-04 2013-06-05 Ricoh Co Ltd Personal authentication device and electronic device
EP2247239A1 (en) * 2008-03-04 2010-11-10 Ricoh Company, Ltd. Personal authentication device and electronic device
WO2009110626A1 (en) 2008-03-04 2009-09-11 Ricoh Company, Ltd. Personal authentication device and electronic device
US8611614B2 (en) 2008-03-04 2013-12-17 Ricoh Company, Limited Personal authentication device and electronic device
JP2011118235A (en) * 2009-12-04 2011-06-16 Ricoh Co Ltd Imaging apparatus
EP2336816A2 (en) 2009-12-04 2011-06-22 Ricoh Company, Ltd. Imaging device
EP2336816A3 (en) * 2009-12-04 2012-03-07 Ricoh Company, Ltd. Imaging device
US8760558B2 (en) 2009-12-04 2014-06-24 Ricoh Company, Ltd. Compound lens imaging device
JP2012065079A (en) * 2010-09-15 2012-03-29 Ricoh Co Ltd Imaging apparatus and imaging method
EP2630784A1 (en) * 2010-10-24 2013-08-28 Opera Imaging B.V. System and method for imaging using multi aperture camera
WO2012057620A3 (en) * 2010-10-24 2012-06-14 Ziv Attar System and method for imaging using multi aperture camera
US9681057B2 (en) 2010-10-24 2017-06-13 Linx Computational Imaging Ltd. Exposure timing manipulation in a multi-lens camera
US9654696B2 (en) 2010-10-24 2017-05-16 LinX Computation Imaging Ltd. Spatially differentiated luminance in a multi-lens camera
US9615030B2 (en) 2010-10-24 2017-04-04 Linx Computational Imaging Ltd. Luminance source selection in a multi-lens camera
US9578257B2 (en) 2010-10-24 2017-02-21 Linx Computational Imaging Ltd. Geometrically distorted luminance in a multi-lens camera
US9413984B2 (en) 2010-10-24 2016-08-09 Linx Computational Imaging Ltd. Luminance source selection in a multi-lens camera
US9025077B2 (en) 2010-10-24 2015-05-05 Linx Computational Imaging Ltd. Geometrically distorted luminance in a multi-lens camera
US9076214B2 (en) 2011-08-11 2015-07-07 Canon Kabushiki Kaisha Image acquisition apparatus and image processing apparatus using selected in-focus image data
JP2013040791A (en) * 2011-08-11 2013-02-28 Canon Inc Image processing device, image processing method, and program
JP2014016309A (en) * 2012-07-11 2014-01-30 Ricoh Co Ltd Distance measuring device and distance measuring method
WO2014024745A1 (en) 2012-08-06 2014-02-13 富士フイルム株式会社 Imaging device
US9723292B2 (en) 2012-08-06 2017-08-01 Fujifilm Corporation Imaging device
JP2014056182A (en) * 2012-09-13 2014-03-27 Nippon Hoso Kyokai <Nhk> Imaging device and imaging apparatus
JP2014182299A (en) * 2013-03-19 2014-09-29 Toshiba Corp Microlens array unit and solid-state image pickup device
JP2015014686A (en) * 2013-07-04 2015-01-22 オリンパス株式会社 Imaging device
US9571728B2 (en) 2013-07-04 2017-02-14 Olympus Corporation Image acquisition apparatus
CN104614856A (en) * 2015-02-16 2015-05-13 杭州清渠科技有限公司 Imaging device based on fly-eye lens optical structure and imaging method thereof
JP2016191875A (en) * 2015-03-31 2016-11-10 株式会社ニコン Focus detection device and imaging device
US10823935B2 (en) 2016-03-11 2020-11-03 Fujifilm Corporation Imaging device
JP2016184956A (en) * 2016-06-02 2016-10-20 キヤノン株式会社 Image processing apparatus and image processing method
WO2018020846A1 (en) * 2016-07-29 2018-02-01 ソニーセミコンダクタソリューションズ株式会社 Imaging device
US10917546B2 (en) * 2016-07-29 2021-02-09 Sony Semiconductor Solutions Corporation Imaging device utilizing sensor area of photoelectric conversion elements corresponding to incident light passed through optical elements including a layer of polarizers of horizontal and vertical directions and quarter wave plates

Also Published As

Publication number Publication date
JP4673202B2 (en) 2011-04-20

Similar Documents

Publication Publication Date Title
JP4673202B2 (en) Image input device
JP5446797B2 (en) Imaging device
US9204067B2 (en) Image sensor and image capturing apparatus
US8400555B1 (en) Focused plenoptic camera employing microlenses with different focal lengths
JP2017016103A (en) Adaptive autofocusing system
JP2009175680A (en) Light receiving device, focal point detecting device and imaging device
JP2008026802A (en) Imaging apparatus
JP2012123296A (en) Electronic device
JP2009015164A (en) Imaging apparatus
US9134126B2 (en) Image processing device, and image processing method
EP3480648B1 (en) Adaptive three-dimensional imaging system
CN107395924B (en) Image processing apparatus, image capturing apparatus, and image processing method
CN106973199B (en) Multi-aperture camera system for improving depth accuracy by using focusing distance scanning
JP2011149931A (en) Distance image acquisition device
JP2009216600A (en) Distance measuring device
WO2019124040A1 (en) Distance measuring camera
JP2009151154A (en) Photodetector, focus detector and imaging apparatus
JP2009086144A (en) Imaging device and imaging equipment provided therewith
WO2019181622A1 (en) Distance measurement camera
JP2019032295A (en) Distance measuring camera
JP6257201B2 (en) Focus detection device, its control method, control program, and imaging device
KR20120066583A (en) Optical system and imaging apparatus including the same
CN108540714B (en) Image capturing apparatus, image capturing system, image capturing apparatus control method, and storage medium
JP2020126029A (en) Distance measurement camera
CN108540693B (en) Image capturing apparatus and image capturing unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110120

R150 Certificate of patent or registration of utility model

Ref document number: 4673202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140128

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees