JP4578588B2

JP4578588B2 - Imaging device

Info

Publication number: JP4578588B2
Application number: JP31813298A
Authority: JP
Inventors: 正則岩崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-11-09
Filing date: 1998-11-09
Publication date: 2010-11-10
Anticipated expiration: 2018-11-09
Also published as: JP2000152281A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のレンズからの各光学像を撮像する撮像装置に関する。
【０００２】
【従来の技術】
特開平１−９４７７５号公報には、密着型イメージセンサの発明が開示されている。この密着型イメージセンサは、２次元的に結像する屈折率分布型アレイレンズと、これにより結像した撮像画像を受ける２次元撮像素子アレイ（２次元ＣＣＤ素子）とを備えている。
特開平５−１１１０２号公報には、円柱状に形成されたサファイア結晶で軸中心から径方向に屈折率分布を有する屈折率分布型レンズをアレイ状に配列することが開示されている。
特開昭６１−７８１７号公報には、屈折率分布型レンズを１列のアレイ状に配列し、開口角、有効径、視野半径を制限して像の重なりをコントロールすることが開示されている。
特開昭５９−２１６１１５号公報には、等倍結像アレイに変倍用球面レンズを備え、この球面レンズが単一の像を合成するように中心から外周に向かって、曲率、屈折率または焦点距離を順次変えることが開示されている。
近年、物体の三次元画像（立体画像）を再生する装置の研究開発が行われていると共に、物体を撮影して当該物体の三次元画像を再生する撮像装置の研究開発が行われている。
【０００３】
【発明が解決しようとする課題】
物体を撮影して物体の奥行き方向（深さ方向）の画像データを生成するには、レンズの位置を複数回変更して物体を撮影し、奥行き方向即ち複数のピント位置（フォーカス位置）について前記物体の画像データを生成する手法がある。
しかし、レンズを移動させてレンズの位置を変更する手法では、それぞれの撮像時刻に時間差が生じるので、静止した物体の画像である静止画像の場合はよいが、動く物体の画像である動画像の場合は好ましくない。
本発明の目的は、同一の撮像対象について複数のピント位置に対応する画像データを同時に生成することが可能な撮像装置を提供することにある。
【０００４】
【課題を解決するための手段】
本発明の撮像装置は、複数のレンズと、前記複数のレンズからの各光学像を撮像して画像データを生成する撮像手段であって、同一の撮像対象について前記複数のレンズからの各光学像を同時に撮像する撮像手段とを有し、前記複数のレンズは焦点距離またはピント位置がそれぞれ異なる。
本発明の撮像装置では、好適には、前記複数のレンズは、同一面上にアレイ状に設けてあり、前記複数のレンズは、それぞれ屈折率分布型レンズである。
本発明の撮像装置では、より好適には、アレイ状に設けられた前記複数のレンズは、対向する一方の側に配列されたレンズから他方の側に配列されたレンズへとピント位置が順に異なる。
【０００５】
本発明の撮像装置では、好適には、前記撮像手段は、前記複数のレンズからの各光学像が重ならないように撮像面に結像される固体撮像素子であり、前記撮像装置は、前記固体撮像素子からの画像データに基づいて画像処理を行う画像処理回路を有する。
本発明の撮像装置では、より好適には、前記画像処理回路は、前記撮像面に結像された光学像に対応する画像データを、前記複数のレンズからの各光学像に対応する画像データに分割して画像処理を行う。
前記画像処理回路は、前記各光学像に対応する画像データから前記撮像対象の空間周波数成分を求め、前記空間周波数成分に基づいて前記撮像対象までの距離を求めてもよい。
前記画像処理回路は、前記複数のレンズからの各光学像に対応する画像データを画像処理して前記撮像対象の三次元画像データを生成してもよい。
【０００６】
撮像手段は、焦点距離またはピント位置が異なる複数のレンズからの各光学像を撮像して画像データを生成する。
前記複数のレンズにより、ピントが合う被写体の位置であるピント位置（フォーカス位置）が異なる複数の光学像を、同一の撮像対象について同時に得ることができる。
撮像手段は、同一の撮像対象について前記複数のレンズからの各光学像を同時に撮像して画像データを生成する。これにより、静止した物体のみならず、動く物体についても、異なるピント位置に対応する画像データを同時に生成することができる。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照して説明する。
図１は、本発明に係る撮像装置の一例を示す概略ブロック図である。
【０００８】
この撮像装置１００は、ピント位置がそれぞれ異なる複数のレンズ１０と、前記複数のレンズ１０からの各光学像を撮像して画像データＳ２０を生成する撮像手段の一例である固体撮像素子２０と、前記画像データＳ２０に基づいて画像処理を行う画像処理回路３０と、画像処理回路３０で生成された画像データＳ４０を記憶するメモリ４０と、タイミング信号発生回路５０と、同期信号発生回路６０とを有する。
固体撮像素子２０は、同一の撮像対象について前記複数のレンズ１０からの各光学像を同時に撮像する。
タイミング信号発生回路５０は、固体撮像素子２０および画像処理回路３０に種々のタイミング信号Ｓ５０を供給する。
同期信号発生回路６０は、水平同期信号および垂直同期信号などの同期信号Ｓ６０を画像処理回路３０に供給すると共に、タイミング信号発生回路５０との間で種々の信号Ｓ５５を送受する。
【０００９】
また、撮像装置１００は、不図示の中央処理装置（ＣＰＵ）とＲＯＭとＲＡＭとを有する。
前記中央処理装置は撮像装置１００全体の制御を司り、固体撮像素子２０、画像処理回路３０、メモリ４０、タイミング信号発生回路５０および同期信号発生回路６０を制御する。前記中央処理装置を画像処理回路３０に設けてもよい。
前記複数のレンズ１０は、焦点距離がそれぞれ異なる構成としてもよい。
【００１０】
撮像対象からの光信号は、入射光として複数のレンズ１０に供給される。
複数のレンズ１０は、前記撮像対象からの光信号を屈折させ、光信号Ｓ１０として固体撮像素子２０の撮像面２０Ａに供給する。光信号Ｓ１０は、前記複数のレンズ１０の通過光に対応する。
固体撮像素子２０の撮像面２０Ａには、前記複数のレンズ１０からの前記撮像対象の各光学像が重ならないように結像される。
画像処理回路３０は、前記撮像面２０Ａに結像された光学像に対応する画像データＳ２０を、前記複数のレンズ１０からの各光学像に対応する画像データＳ４０に分割して画像処理する。
画像処理回路３０は、画像データＳ２０に基づいて画像処理して生成したデータＳ３０を出力端子７０に出力する。出力データＳ３０としては、画像データＳ４０としてもよく、前記撮像対象までの距離データとしてもよい。
【００１１】
図２は、図１の撮像装置１００において、複数のレンズ１０と固体撮像素子２０の構成例を示す説明図である。
固体撮像素子２０はシリコン基板などの半導体基板２５に形成されている。
複数のレンズ１０は同一面上にアレイ状に設けてあり、前記複数のレンズ１０は屈折率分布型レンズ１０Ａ〜１０Ｌからなる。
前記複数のレンズ１０は、固体撮像素子２０の撮像面２０Ａ上に配置されて複数のレンズ１０の出射端面は撮像面２０Ａに接しており、前記複数のレンズ１０を通過した通過光は撮像面２０Ａに供給される。
半導体基板２５には、固体撮像素子２０からの画像データＳ２０を取り出す不図示の出力端子が設けてあり、当該出力端子からの画像データＳ２０は画像処理回路３０に供給されるようになっている。
固体撮像素子２０は、一例として１／２インチのＣＣＤ（Charge Coupled Device ）撮像素子を用いてもよく、この場合は撮像面２０Ａの横方向（水平方向）の大きさＬＨ＝７．２ｍｍ以上であり、撮像面２０Ａの縦方向（垂直方向）の大きさＬＶ＝５．４ｍｍ以上である。
各屈折率分布型レンズ１０Ａ〜１０Ｌの直径Ｄは一例として１．８ｍｍとしてもよく、レンズ長（レンズの厚さ）Ｚは一例として約３．６ｍｍとしてもよく、この場合、屈折率分布型レンズを縦３列、横４列として１２個設けることができる。
【００１２】
図３は、図２中の複数のレンズ１０のうち屈折率分布型レンズ１０Ａ〜１０Ｄと、固体撮像素子２０が形成された半導体基板２５との関係を説明する説明図である。
図中の符号Ｓ１Ａ〜Ｓ１Ｄは、屈折率分布型レンズ１０Ａ〜１０Ｄの中心軸（光軸）方向のピントが合う被写体の位置であるピント位置（即ちフォーカス位置）Ａｏ〜Ｄｏから屈折率分布型レンズ１０Ａ〜１０Ｄに入射する入射光の通路をそれぞれ表している。屈折率分布型レンズ１０Ａ〜１０Ｄは、半導体基板２５上に１列に配置されている。
屈折率分布型レンズ１０Ａ〜１０Ｄは、ピント位置（フォーカス位置）がそれぞれ異なる。
屈折率分布型レンズ１０Ａ〜１０Ｄの撮像対象側のフォーカス位置Ａｏ〜Ｄｏでは、屈折率分布型レンズ１０Ａから屈折率分布型レンズ１０Ｄへとフォーカス位置が順に異なる。
屈折率分布型レンズ１０Ａ〜１０Ｄにおいて、屈折率分布型レンズ１０Ａのフォーカス位置Ａｏは半導体基板２５から最も遠く、次に屈折率分布型レンズ１０Ｂのフォーカス位置Ｂｏが半導体基板２５から遠く、次に屈折率分布型レンズ１０Ｃのフォーカス位置Ｃｏが半導体基板２５から遠く、屈折率分布型レンズ１０Ｄのフォーカス位置Ｄｏが半導体基板２５に最も近い。
屈折率分布型レンズ１０Ａの光軸上のフォーカス位置Ａｏに点光源を配置した場合、屈折率分布型レンズ１０Ａを通過した通過光は、撮像面２０Ａ上に焦点を結ぶようになっている。
同様にして屈折率分布型レンズ１０Ｂ〜１０Ｄの光軸上のフォーカス位置Ｂｏ〜Ｄｏに点光源を配置した場合も、屈折率分布型レンズ１０Ｂ〜１０Ｄを通過した通過光は、それぞれ撮像面２０Ａ上に焦点を結ぶようになっている。
【００１３】
同様にして、図２中の複数のレンズ１０において、屈折率分布型レンズ１０Ｅ〜１０Ｈは、半導体基板２５上に１列に配置されている。
屈折率分布型レンズ１０Ｅ〜１０Ｈは、ピント位置（フォーカス位置）がそれぞれ異なる。
屈折率分布型レンズ１０Ｅ〜１０Ｈにおいて、屈折率分布型レンズ１０Ｅのフォーカス位置は半導体基板２５から最も遠く、次に屈折率分布型レンズ１０Ｆのフォーカス位置が半導体基板２５から遠く、次に屈折率分布型レンズ１０Ｇのフォーカス位置が半導体基板２５から遠く、屈折率分布型レンズ１０Ｈのフォーカス位置が半導体基板２５に最も近い。
フォーカス位置Ａｏ〜Ｄｏの場合と同様にして、屈折率分布型レンズ１０Ｅ〜１０Ｈの光軸上のフォーカス位置Ｅｏ〜Ｈｏに点光源を配置した場合も、屈折率分布型レンズ１０Ｅ〜１０Ｈを通過した通過光は、それぞれ撮像面２０Ａ上に焦点を結ぶようになっている。
【００１４】
同様にして、図２中の複数のレンズ１０において、屈折率分布型レンズ１０Ｉ〜１０Ｌは、半導体基板２５上に１列に配置されている。
屈折率分布型レンズ１０Ｉ〜１０Ｌは、ピント位置（フォーカス位置）がそれぞれ異なる。
屈折率分布型レンズ１０Ｉ〜１０Ｌにおいて、屈折率分布型レンズ１０Ｉのフォーカス位置は半導体基板２５から最も遠く、次に屈折率分布型レンズ１０Ｊのフォーカス位置が半導体基板２５から遠く、次に屈折率分布型レンズ１０Ｋのフォーカス位置が半導体基板２５から遠く、屈折率分布型レンズ１０Ｌのフォーカス位置が半導体基板２５に最も近い。
フォーカス位置Ａｏ〜Ｄｏの場合と同様にして、屈折率分布型レンズ１０Ｉ〜１０Ｌの光軸上のフォーカス位置Ｉｏ〜Ｌｏに点光源を配置した場合も、屈折率分布型レンズ１０Ｉ〜１０Ｌを通過した通過光は、それぞれ撮像面２０Ａ上に焦点を結ぶようになっている。
【００１５】
図２中の複数のレンズ１０において、屈折率分布型レンズ１０Ａのフォーカス位置Ａｏが最も遠く、屈折率分布型レンズ１０Ｌのフォーカス位置Ｌｏが最も近い。
屈折率分布型レンズ１０Ｄのフォーカス位置Ｄｏは、屈折率分布型レンズ１０Ｅのフォーカス位置Ｅｏよりも遠い。
屈折率分布型レンズ１０Ｈのフォーカス位置Ｈｏは、屈折率分布型レンズ１０Ｉのフォーカス位置Ｉｏよりも遠い。
【００１６】
図４は、図１の撮像装置１００とフォーカス位置Ａｏ〜Ｌｏと撮像対象（Object）との関係を示す説明図である。
符号Ａｏ〜Ｌｏは、撮像装置１００の屈折率分布型レンズ１０Ａ〜１０Ｌの各フォーカス位置（ピント位置）を示す。フォーカス位置Ａｏ〜Ｌｏは段階的に異なっている。基準となるフォーカス位置Ｏは、撮像装置１００の前面または対物レンズの位置に対応させてもよい。複数のレンズ１０を構成する屈折率分布型レンズ１０Ａ〜１０Ｌはそれぞれ画角θを有する。
固体撮像素子２０の撮像面２０Ａには、屈折率分布型レンズ１０Ａ〜１０Ｌに対応する光学像Ａ〜Ｌが結像される。人形１１と樹木１２は被写体の例である。
撮像装置１００は、撮像対象の一例である人形１１の光学像と、撮像対象の一例である樹木１２の光学像と、地表１５の光学像とを撮像して光信号Ｓ１０を電気信号に変換し、画像データＳ２０を生成する。
【００１７】
図５は、図１の撮像装置１００の屈折率分布型レンズ１０Ａ〜１０Ｌの出射端面に結像される光学像Ａ〜Ｌを説明する説明図である。
屈折率分布型レンズ１０Ａ〜１０Ｌの入射端面には、撮像対象からの光がそれぞれ入射する。
屈折率分布型レンズ１０Ａ〜１０Ｌの出射端面には、屈折率分布型レンズ１０Ａ〜１０Ｌ中を通過した通過光による光学像Ａ〜Ｌがそれぞれ結像され、各光学像Ａ〜Ｌは撮像面２０Ａに供給される。
各光学像Ａ〜Ｌには、人形１１の光学像と、樹木１２の光学像と、地表１５の光学像とが含まれている。但し、図５では地表１５の光学像（光像）は省略して描いている。
そして、固体撮像素子２０の撮像面２０Ａには、屈折率分布型レンズ１０Ａ〜１０Ｌを通過した通過光による１２個の光学像Ａ〜Ｌが結像される。
【００１８】
図６は、図１の撮像装置１００の固体撮像素子２０の撮像面２０Ａを説明する説明図であり、図５に対応している。
撮像面２０Ａは、１２個の屈折率分布型レンズ１０Ａ〜１０Ｌからの光学像Ａ〜Ｌに対応して１２個の撮像領域Ａ₁〜Ｌ₁に区分されており、撮像領域Ａ₁〜Ｌ₁には光学像Ａ〜Ｌが重ならないようにそれぞれ結像される。図６の各撮像領域Ａ₁〜Ｌ₁には、人形１１の光学像と樹木１２の光学像とが結像されている。
但し、図６では地表１５の光学像は省略して描いている。
各撮像領域Ａ₁〜Ｌ₁は、撮像面２０Ａを縦方向に約１／３ずつに区分し、横方向に約１／４ずつに区分して形成されている。
固体撮像素子２０からの画像データＳ２０を入力する画像処理回路３０では、撮像面２０Ａに結像された光学像に対応する画像データＳ２０を、複数のレンズ１０からの各光学像Ａ〜Ｌに対応する画像データに分割して画像処理する。
画像処理回路３０は、撮像領域Ａ₁〜Ｌ₁の各光学像に対応する画像データＳ４０等を生成し、撮像領域Ａ₁〜Ｌ₁毎に画像処理を行う。
【００１９】
画像処理回路３０は、画像データＳ４０から人形１１の空間周波数成分を求め、前記空間周波数成分から前記人形１１までの距離を算出する。
また、画像データＳ４０から樹木１２の空間周波数成分を求め、前記空間周波数成分から前記樹木１２までの距離を算出する。
なお、画像処理回路３０では、空間周波数成分に基づいて撮像対象に対してピントが合っているか否かを検出することができる。
画像処理回路３０では、撮像対象１１，１２の空間周波数成分を、分割された前記複数（１２個）の画像データについて求め、フォーカス位置が隣接する画像データに応じて前記空間周波数成分を比較し、撮像対象１１，１２までの距離を求めてもよい。
【００２０】
前記人形１１の光学像は撮像領域Ｋ₁においてピントが合っており、前記人形１１の距離がフォーカス位置Ｋｏの距離であることを、画像処理回路３０は人形１１の空間周波数成分に基づいて検出してもよい。
また、画像処理回路３０は、前記人形１１が、フォーカス位置Ｋｏに隣接するフォーカス位置Ｌｏの距離から、フォーカス位置Ｋｏに隣接するフォーカス位置Ｊｏの距離までの範囲内にあることを、画像処理回路３０は人形１１の空間周波数成分に基づいて検出してもよい。
【００２１】
前記樹木１２の光学像は撮像領域Ｂ₁〜Ｅ₁においてピントが合う部分があり、樹木１２の距離がフォーカス位置Ｃｏ〜ＤｏまたはＢｏ〜Ｅｏの距離であることを、画像処理回路３０は樹木１２の空間周波数成分に基づいて検出してもよい。
また、画像処理回路３０は、前記樹木１２が、フォーカス位置Ｂｏに隣接するフォーカス位置Ｌｏの距離から、フォーカス位置Ｅｏに隣接するフォーカス位置Ｆｏの距離までの範囲内にあることを、画像処理回路３０は樹木１２の空間周波数成分に基づいて検出してもよい。
また、画像処理回路３０は、撮像対象１１，１２のピントが合っているフォーカス位置に隣接するフォーカス位置から、撮像対象１１，１２の奥行き方向の大きさを求めてもよい。
【００２２】
アレイ状に設けられた前記複数のレンズ１０は、対向する一方の側に配列されたレンズ１０Ａ，１０Ｅ，１０Ｉから他方の側に配列されたレンズ１０Ｄ，１０Ｈ，１０Ｌへと前記フォーカス位置がそれぞれ順に異なる。
屈折率分布型レンズ１０Ａ〜１０Ｄ，１０Ｅ〜１０Ｈ，１０Ｉ〜１０Ｌでは、前記フォーカス位置がそれぞれ隣接している。
このように屈折率分布型レンズ１０Ａ〜１０Ｌを配置することで、屈折率分布型レンズ１０Ａ〜１０Ｄ，１０Ｅ〜１０Ｈ，１０Ｉ〜１０Ｌに対応する撮像領域Ａ₁〜Ｄ₁，Ｅ₁〜Ｈ₁，Ｉ₁〜Ｌ₁の各画像データの差などの演算を、シフトレジスタ等を用いて１撮像領域分だけずらして順繰りに行うことができ、画像処理を行う演算を簡単にすることができる。
【００２３】
上述したように、撮像装置１００はピント位置が異なる複数のレンズ１０を備え、同一の撮像対象について複数のレンズ１０からの各光学像を同時に撮像して画像データを生成するので、同一の物体について複数のフォーカス位置Ａｏ〜Ｌｏに対応する画像データを固体撮像素子２０内で同時に生成することができる。
したがって、静止した物体のみならず、動く物体についても、異なるフォーカス位置Ａｏ〜Ｌｏに対応する画像データを同時に生成することができる。
撮像装置１００では、複数のフォーカス位置Ａｏ〜Ｌｏに対応する画像データを分離して画像処理し、合成することで、奥行きのある画像の画像データを生成することが可能である。
画像処理回路３０では、撮像対象の三次元画像データを、前記複数のレンズ１０に対応する画像データＳ４０に基づいて生成してもよい。
撮像対象の三次元画像データを撮像装置１００が生成する場合は、動く物体についての三次元画像データの精度を向上することができる。
撮像装置１００では、前記複数のレンズ１０を備えることで、レンズを移動させてレンズ位置を変更する必要がないので、光学系を簡単な構成とすることができると共に光軸方向の寸法を小さくすることができる。
【００２４】
屈折率分布型レンズ１０Ａ〜１０Ｌの屈折率分布をそれぞれ異ならせることで、屈折率分布型レンズ１０Ａ〜１０Ｌの焦点距離またはピント位置がそれぞれ異なるようにしてもよい。
また、屈折率分布型レンズ１０Ａ〜１０Ｌのレンズ長をそれぞれ異ならせることで、屈折率分布型レンズ１０Ａ〜１０Ｌの焦点距離またはピント位置がそれぞれ異なるようにしてもよい。
また、屈折率分布型レンズ１０Ａ〜１０Ｌの光軸方向の取付け位置をそれぞれ異ならせてもよい。
【００２５】
撮像面２０Ａに、縦３列、横４列の１２個の屈折率分布型レンズを設ける場合について述べたが、さらに多くの屈折率分布型レンズを配列してもよく、一例として縦７列、横８列の５６個の屈折率分布型レンズを配列してもよい。
屈折率分布型レンズの前方に、すなわち屈折率分布型レンズと撮像対象との間にさらにレンズを設けて、ピントの合う物体までの距離を変化させてもよい。
前記複数のレンズにそれぞれ対応して複数の固体撮像素子を設け、当該固体撮像素子のそれぞれは対応する前記複数のレンズからの光学像を撮像して画像データを生成する構成にしてもよい。
なお、上記実施形態は本発明の一例であり、本発明は上記実施形態に限定されない。
【００２６】
【発明の効果】
本発明の撮像装置は、焦点距離またはピント位置が異なる複数のレンズを備え、同一の撮像対象について前記複数のレンズからの光学像を同時に撮像して画像データを生成するので、複数のピント位置に対応する画像データを同時に生成することが可能である。
したがって、静止した物体のみならず、動く物体についても、複数のフォーカス位置に対応する画像データを同時に生成することができ、動く物体の画像データの精度を向上することが可能である。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の一例を示す概略ブロック図である。
【図２】図１の撮像装置１００において、複数のレンズ１０と固体撮像素子２０の構成例を示す説明図である。
【図３】図２中の複数のレンズ１０のうち屈折率分布型レンズ１０Ａ〜１０Ｄと、固体撮像素子２０が形成された半導体基板２５との関係を説明する説明図である。
【図４】図１の撮像装置１００とフォーカス位置Ａｏ〜Ｌｏと撮像対象との関係を示す説明図である。
【図５】図１の撮像装置１００の屈折率分布型レンズ１０Ａ〜１０Ｌの出射端面に結像される光学像Ａ〜Ｌを説明する説明図である。
【図６】図１の撮像装置１００の固体撮像素子２０の撮像面２０Ａを説明する説明図である。
【符号の説明】
１０…複数のレンズ、１０Ａ〜１０Ｌ…屈折率分布型レンズ、１１…人形、１２…樹木、１５…地表、２０…固体撮像素子、２０Ａ…撮像面、２５…半導体基板、３０…画像処理回路、４０…メモリ、５０…タイミング信号発生回路、６０…同期信号発生回路、７０…出力端子、１００…撮像装置、Ａ〜Ｌ…光学像、Ａｏ〜Ｌｏ…ピント位置（フォーカス位置）、Ａ₁〜Ｌ₁…撮像領域、ＬＨ…撮像面２０Ａの横方向の大きさ、ＬＶ…撮像面２０Ａの縦方向の大きさ、Ｓ１０…光信号、Ｓ１Ａ〜Ｓ１Ｄ…光の通路、Ｓ２０，Ｓ４０…画像データ、Ｓ５０…タイミング信号、Ｓ６０…同期信号、θ…画角。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device that captures each optical image from a plurality of lenses.
[0002]
[Prior art]
Japanese Patent Laid-Open No. 1-94775 discloses an invention of a contact image sensor. The contact image sensor includes a gradient index array lens that forms an image two-dimensionally, and a two-dimensional image sensor array (two-dimensional CCD element) that receives a captured image formed thereby.
Japanese Laid-Open Patent Publication No. 5-11102 discloses that refractive index distribution type lenses having a refractive index distribution in the radial direction from the axial center are arranged in an array by a sapphire crystal formed in a cylindrical shape.
Japanese Patent Application Laid-Open No. 61-7817 discloses that gradient index lenses are arranged in a single-row array to control image overlap by limiting the aperture angle, effective diameter, and field radius. .
In Japanese Patent Application Laid-Open No. 59-216115, a variable magnification spherical lens is provided in an equal-magnification imaging array, and the curvature, refractive index, or It is disclosed to change the focal length sequentially.
In recent years, research and development of apparatuses that reproduce a three-dimensional image (stereoscopic image) of an object has been performed, and research and development of an imaging apparatus that captures an object and reproduces the three-dimensional image of the object.
[0003]
[Problems to be solved by the invention]
In order to shoot an object and generate image data in the depth direction (depth direction) of the object, the lens position is changed a plurality of times, the object is photographed, and the depth direction, that is, a plurality of focus positions (focus positions) There is a method for generating image data of an object.
However, in the method of changing the lens position by moving the lens, there is a time difference between the respective imaging times, so it is good for a still image that is an image of a stationary object, but for a moving image that is an image of a moving object. The case is not preferred.
An object of the present invention is to provide an imaging apparatus capable of simultaneously generating image data corresponding to a plurality of focus positions for the same imaging target.
[0004]
[Means for Solving the Problems]
The imaging apparatus according to the present invention is an imaging unit that generates a plurality of lenses and each optical image from the plurality of lenses to generate image data, and each optical image from the plurality of lenses for the same imaging target. And a plurality of lenses having different focal lengths or focus positions.
In the imaging apparatus of the present invention, preferably, the plurality of lenses are provided in an array on the same surface, and the plurality of lenses are each a gradient index lens.
More preferably, in the imaging apparatus of the present invention, the plurality of lenses provided in an array form are sequentially different in focus position from a lens arranged on one side facing to a lens arranged on the other side. .
[0005]
In the imaging apparatus according to the aspect of the invention, it is preferable that the imaging unit is a solid-state imaging element that forms an image on an imaging surface so that optical images from the plurality of lenses do not overlap with each other. An image processing circuit that performs image processing based on image data from the image sensor is provided.
In the image pickup apparatus of the present invention, more preferably, the image processing circuit converts image data corresponding to the optical image formed on the image pickup surface into image data corresponding to each optical image from the plurality of lenses. Divide and perform image processing.
The image processing circuit may obtain a spatial frequency component of the imaging target from image data corresponding to each optical image, and obtain a distance to the imaging target based on the spatial frequency component.
The image processing circuit may perform image processing on image data corresponding to each optical image from the plurality of lenses to generate three-dimensional image data of the imaging target.
[0006]
The imaging unit images each optical image from a plurality of lenses having different focal lengths or focus positions, and generates image data.
With the plurality of lenses, it is possible to simultaneously obtain a plurality of optical images with different focus positions (focus positions), which are the positions of subjects in focus, for the same imaging target.
The imaging unit simultaneously captures optical images from the plurality of lenses with respect to the same imaging target to generate image data. Thereby, not only a stationary object but also a moving object can simultaneously generate image data corresponding to different focus positions.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the accompanying drawings.
FIG. 1 is a schematic block diagram illustrating an example of an imaging apparatus according to the present invention.
[0008]
The imaging apparatus 100 includes a plurality of lenses 10 having different focus positions, a solid-state imaging device 20 that is an example of an imaging unit that captures each optical image from the plurality of lenses 10 and generates image data S20, An image processing circuit 30 that performs image processing based on the image data S20, a memory 40 that stores the image data S40 generated by the image processing circuit 30, a timing signal generation circuit 50, and a synchronization signal generation circuit 60 are included.
The solid-state imaging device 20 simultaneously captures the optical images from the plurality of lenses 10 for the same imaging target.
The timing signal generation circuit 50 supplies various timing signals S50 to the solid-state imaging device 20 and the image processing circuit 30.
The synchronization signal generation circuit 60 supplies a synchronization signal S60 such as a horizontal synchronization signal and a vertical synchronization signal to the image processing circuit 30 and transmits / receives various signals S55 to / from the timing signal generation circuit 50.
[0009]
In addition, the imaging apparatus 100 includes a central processing unit (CPU) (not shown), a ROM, and a RAM.
The central processing unit controls the entire imaging apparatus 100 and controls the solid-state imaging device 20, the image processing circuit 30, the memory 40, the timing signal generation circuit 50, and the synchronization signal generation circuit 60. The central processing unit may be provided in the image processing circuit 30.
The plurality of lenses 10 may have different focal lengths.
[0010]
An optical signal from the imaging target is supplied to the plurality of lenses 10 as incident light.
The plurality of lenses 10 refracts the optical signal from the imaging target and supplies the optical signal to the imaging surface 20A of the solid-state imaging device 20 as the optical signal S10. The optical signal S10 corresponds to the light passing through the plurality of lenses 10.
An image is formed on the imaging surface 20A of the solid-state imaging device 20 so that the optical images of the imaging targets from the plurality of lenses 10 do not overlap.
The image processing circuit 30 divides the image data S20 corresponding to the optical image formed on the imaging surface 20A into image data S40 corresponding to each optical image from the plurality of lenses 10 and performs image processing.
The image processing circuit 30 outputs data S30 generated by image processing based on the image data S20 to the output terminal 70. The output data S30 may be image data S40 or distance data to the imaging target.
[0011]
FIG. 2 is an explanatory diagram illustrating a configuration example of the plurality of lenses 10 and the solid-state imaging element 20 in the imaging apparatus 100 of FIG.
The solid-state imaging device 20 is formed on a semiconductor substrate 25 such as a silicon substrate.
The plurality of lenses 10 are provided in an array on the same surface, and the plurality of lenses 10 includes gradient index lenses 10A to 10L.
The plurality of lenses 10 are disposed on the imaging surface 20A of the solid-state imaging device 20, the emission end surfaces of the plurality of lenses 10 are in contact with the imaging surface 20A, and the passing light that has passed through the plurality of lenses 10 is the imaging surface 20A. To be supplied.
The semiconductor substrate 25 is provided with an output terminal (not shown) for taking out the image data S20 from the solid-state imaging device 20, and the image data S20 from the output terminal is supplied to the image processing circuit 30.
As an example, the solid-state imaging device 20 may be a 1/2 inch CCD (Charge Coupled Device) imaging device. In this case, the horizontal size (horizontal direction) of the imaging surface 20A is LH = 7.2 mm or more. Yes, the size LV of the imaging surface 20A in the vertical direction (vertical direction) is 5.4 mm or more.
As an example, the diameter D of each of the gradient index lenses 10A to 10L may be 1.8 mm, and the lens length (lens thickness) Z may be approximately 3.6 mm as an example. In this case, the gradient index lens 12 can be provided in three rows and four rows.
[0012]
FIG. 3 is an explanatory diagram for explaining the relationship between the gradient index lenses 10A to 10D among the plurality of lenses 10 in FIG. 2 and the semiconductor substrate 25 on which the solid-state imaging device 20 is formed.
Reference numerals S1A to S1D in the figure denote gradient index lenses from the focus positions (ie, focus positions) Ao to Do, which are the positions of subjects in focus in the central axis (optical axis) direction of the gradient index lenses 10A to 10D. Respective paths of incident light that enter 10A to 10D are shown. The gradient index lenses 10 A to 10 D are arranged in a row on the semiconductor substrate 25.
The gradient index lenses 10A to 10D have different focus positions (focus positions).
At the focus positions Ao to Do on the imaging target side of the gradient index lenses 10A to 10D, the focus positions are sequentially changed from the gradient index lens 10A to the gradient index lens 10D.
In the gradient index lenses 10A to 10D, the focus position Ao of the gradient index lens 10A is farthest from the semiconductor substrate 25, and then the focus position Bo of the gradient index lens 10B is farthest from the semiconductor substrate 25, and then refracted. The focus position Co of the refractive index distribution lens 10C is far from the semiconductor substrate 25, and the focus position Do of the refractive index distribution lens 10D is closest to the semiconductor substrate 25.
When a point light source is disposed at a focus position Ao on the optical axis of the gradient index lens 10A, the passing light that has passed through the gradient index lens 10A is focused on the imaging surface 20A.
Similarly, when the point light sources are arranged at the focus positions Bo to Do on the optical axis of the gradient index lenses 10B to 10D, the passing lights that have passed through the gradient index lenses 10B to 10D are respectively on the imaging surface 20A. Has come to focus on.
[0013]
Similarly, in the plurality of lenses 10 in FIG. 2, the gradient index lenses 10 E to 10 H are arranged in a line on the semiconductor substrate 25.
The gradient index lenses 10E to 10H have different focus positions (focus positions).
In the gradient index lenses 10E to 10H, the focus position of the gradient index lens 10E is farthest from the semiconductor substrate 25, the focus position of the gradient index lens 10F is next from the semiconductor substrate 25, and then the refractive index distribution. The focus position of the mold lens 10G is far from the semiconductor substrate 25, and the focus position of the gradient index lens 10H is closest to the semiconductor substrate 25.
Similarly to the case of the focus positions Ao to Do, when the point light source is disposed at the focus positions Eo to Ho on the optical axis of the gradient index lenses 10E to 10H, the light passes through the gradient index lenses 10E to 10H. Each passing light is focused on the imaging surface 20A.
[0014]
Similarly, in the plurality of lenses 10 in FIG. 2, the gradient index lenses 10 I to 10 L are arranged in a row on the semiconductor substrate 25.
The gradient index lenses 10I to 10L have different focus positions (focus positions).
In the gradient index lenses 10I to 10L, the focus position of the gradient index lens 10I is farthest from the semiconductor substrate 25, the focus position of the gradient index lens 10J is next far from the semiconductor substrate 25, and then the refractive index distribution. The focus position of the mold lens 10K is far from the semiconductor substrate 25, and the focus position of the gradient index lens 10L is closest to the semiconductor substrate 25.
Similarly to the case of the focus positions Ao to Do, when the point light source is arranged at the focus positions Io to Lo on the optical axis of the gradient index lenses 10I to 10L, the light passes through the gradient index lenses 10I to 10L. Each passing light is focused on the imaging surface 20A.
[0015]
In the plurality of lenses 10 in FIG. 2, the focus position Ao of the gradient index lens 10A is the farthest and the focus position Lo of the gradient index lens 10L is the closest.
The focus position Do of the gradient index lens 10D is farther than the focus position Eo of the gradient index lens 10E.
The focus position Ho of the gradient index lens 10H is farther than the focus position Io of the gradient index lens 10I.
[0016]
FIG. 4 is an explanatory diagram showing a relationship among the imaging apparatus 100 of FIG. 1, focus positions Ao to Lo, and an imaging target (Object).
Reference signs Ao to Lo indicate the respective focus positions (focus positions) of the gradient index lenses 10A to 10L of the imaging apparatus 100. The focus positions Ao to Lo are different in stages. The reference focus position O may correspond to the front surface of the imaging apparatus 100 or the position of the objective lens. The gradient index lenses 10A to 10L constituting the plurality of lenses 10 each have an angle of view θ.
Optical images A to L corresponding to the gradient index lenses 10A to 10L are formed on the imaging surface 20A of the solid-state imaging device 20. The doll 11 and the tree 12 are examples of subjects.
The imaging device 100 captures an optical image of a doll 11 that is an example of an imaging target, an optical image of a tree 12 that is an example of an imaging target, and an optical image of the ground surface 15, and converts the optical signal S10 into an electrical signal. The image data S20 is generated.
[0017]
FIG. 5 is an explanatory diagram for explaining optical images A to L formed on the exit end faces of the gradient index lenses 10A to 10L of the imaging apparatus 100 of FIG.
Light from the imaging target is incident on the incident end faces of the gradient index lenses 10A to 10L.
Optical images A to L are formed on the exit end faces of the gradient index lenses 10A to 10L by the light passing through the gradient index lenses 10A to 10L. The optical images A to L are captured on the imaging surface 20A. To be supplied.
Each of the optical images A to L includes an optical image of the doll 11, an optical image of the tree 12, and an optical image of the ground surface 15. However, the optical image (light image) of the ground surface 15 is omitted in FIG.
Then, twelve optical images A to L are formed on the imaging surface 20A of the solid-state imaging device 20 by the passing light that has passed through the gradient index lenses 10A to 10L.
[0018]
FIG. 6 is an explanatory diagram for explaining the imaging surface 20A of the solid-state imaging device 20 of the imaging device 100 of FIG. 1, and corresponds to FIG.
The imaging surface 20A is divided into 12 imaging areas A _{1 to} L ₁ corresponding to the optical images A to L from the 12 gradient index lenses 10A to 10L, and the imaging areas A _{1 to} L _1. Are formed such that the optical images A to L do not overlap. An optical image of the doll 11 and an optical image of the tree 12 are formed in each of the imaging areas A _{1 to} L ₁ in FIG.
However, in FIG. 6, the optical image of the ground surface 15 is omitted.
Each of the imaging regions A _{1 to} L ₁ is formed by dividing the imaging surface 20A into about 1/3 in the vertical direction and about 1/4 in the horizontal direction.
In the image processing circuit 30 that receives the image data S20 from the solid-state imaging device 20, the image data S20 corresponding to the optical image formed on the imaging surface 20A corresponds to the optical images A to L from the plurality of lenses 10. The image data is divided into image data to be processed.
The image processing circuit 30 generates image data S40 or the like corresponding to the optical images of the imaging region A ₁ ~L _1, performs image processing for each imaging area A _₁ ~L _1.
[0019]
The image processing circuit 30 obtains the spatial frequency component of the doll 11 from the image data S40, and calculates the distance from the spatial frequency component to the doll 11.
Further, the spatial frequency component of the tree 12 is obtained from the image data S40, and the distance from the spatial frequency component to the tree 12 is calculated.
Note that the image processing circuit 30 can detect whether or not the imaging target is in focus based on the spatial frequency component.
In the image processing circuit 30, the spatial frequency components of the imaging objects 11 and 12 are obtained for the plurality of (12) divided image data, and the spatial frequency components are compared according to image data with adjacent focus positions, The distance to the imaging objects 11 and 12 may be obtained.
[0020]
The image processing circuit 30 detects based on the spatial frequency component of the doll 11 that the optical image of the doll 11 is in focus in the imaging region K ₁ and the distance of the doll 11 is the distance of the focus position Ko. May be.
Further, the image processing circuit 30 indicates that the doll 11 is within the range from the distance of the focus position Lo adjacent to the focus position Ko to the distance of the focus position Jo adjacent to the focus position Ko. May be detected based on the spatial frequency component of the doll 11.
[0021]
The optical image of the tree 12 has a portion in focus in the imaging regions B _{1 to} E ₁ , and the image processing circuit 30 indicates that the distance of the tree 12 is a focus position Co to Do or Bo to Eo. It may be detected based on the spatial frequency component.
Further, the image processing circuit 30 indicates that the tree 12 is within the range from the distance of the focus position Lo adjacent to the focus position Bo to the distance of the focus position Fo adjacent to the focus position Eo. May be detected based on the spatial frequency component of the tree 12.
Further, the image processing circuit 30 may obtain the size of the imaging objects 11 and 12 in the depth direction from the focus position adjacent to the focus position where the imaging objects 11 and 12 are in focus.
[0022]
The plurality of lenses 10 provided in an array form the focus positions in order from the lenses 10A, 10E, 10I arranged on the opposite side to the lenses 10D, 10H, 10L arranged on the other side. Different.
In the gradient index lenses 10A to 10D, 10E to 10H, and 10I to 10L, the focus positions are adjacent to each other.
By disposing the gradient index lenses 10A to 10L in this way, the imaging regions A _{1 to} D ₁ , E _{1 to} H ₁ corresponding to the gradient index lenses 10A to 10D, 10E to 10H, and 10I to 10L, Calculations such as the difference between the image data I _{1 to} L ₁ can be performed sequentially by shifting by one imaging area using a shift register or the like, and the calculation for performing image processing can be simplified.
[0023]
As described above, the imaging apparatus 100 includes the plurality of lenses 10 with different focus positions, and simultaneously captures each optical image from the plurality of lenses 10 for the same imaging target to generate image data. Image data corresponding to a plurality of focus positions Ao to Lo can be generated simultaneously in the solid-state imaging device 20.
Therefore, not only a stationary object but also a moving object can simultaneously generate image data corresponding to different focus positions Ao to Lo.
The imaging apparatus 100 can generate image data of a deep image by separating and processing image data corresponding to a plurality of focus positions Ao to Lo and combining them.
The image processing circuit 30 may generate the three-dimensional image data to be imaged based on the image data S40 corresponding to the plurality of lenses 10.
When the imaging apparatus 100 generates 3D image data to be imaged, the accuracy of the 3D image data for a moving object can be improved.
Since the imaging apparatus 100 includes the plurality of lenses 10, it is not necessary to change the lens position by moving the lenses. Therefore, the optical system can have a simple configuration and the size in the optical axis direction can be reduced. be able to.
[0024]
The focal lengths or focus positions of the gradient index lenses 10A to 10L may be made different by making the refractive index distributions of the gradient index lenses 10A to 10L different.
In addition, the focal lengths or the focus positions of the gradient index lenses 10A to 10L may be varied by changing the lens lengths of the gradient index lenses 10A to 10L, respectively.
Further, the mounting positions of the gradient index lenses 10A to 10L in the optical axis direction may be different.
[0025]
Although the description has been given of the case where twelve refractive index distribution type lenses of 3 rows and 4 rows are provided on the imaging surface 20A, more refractive index distribution lenses may be arranged. You may arrange 56 gradient index lenses of 8 rows.
A lens may be further provided in front of the gradient index lens, that is, between the gradient index lens and the imaging target, and the distance to the in-focus object may be changed.
A plurality of solid-state imaging elements may be provided corresponding to the plurality of lenses, respectively, and each of the solid-state imaging elements may be configured to capture an optical image from the corresponding plurality of lenses and generate image data.
The above embodiment is an example of the present invention, and the present invention is not limited to the above embodiment.
[0026]
【The invention's effect】
The imaging apparatus according to the present invention includes a plurality of lenses having different focal lengths or focal positions, and simultaneously captures optical images from the plurality of lenses with respect to the same imaging target to generate image data. Corresponding image data can be generated simultaneously.
Therefore, not only a stationary object but also a moving object can simultaneously generate image data corresponding to a plurality of focus positions, and the accuracy of the image data of the moving object can be improved.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram illustrating an example of an imaging apparatus according to the present invention.
2 is an explanatory diagram illustrating a configuration example of a plurality of lenses 10 and a solid-state imaging element 20 in the imaging apparatus 100 of FIG.
3 is an explanatory diagram for explaining the relationship between the gradient index lenses 10A to 10D among the plurality of lenses 10 in FIG. 2 and the semiconductor substrate 25 on which the solid-state imaging device 20 is formed.
4 is an explanatory diagram illustrating a relationship among the imaging apparatus 100 of FIG. 1, focus positions Ao to Lo, and an imaging target. FIG.
5 is an explanatory diagram for explaining optical images A to L formed on exit end faces of gradient index lenses 10A to 10L of the imaging apparatus 100 of FIG. 1; FIG.
6 is an explanatory diagram illustrating an imaging surface 20A of the solid-state imaging device 20 of the imaging device 100 of FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Plural lenses, 10A-10L ... Gradient index lens, 11 ... Doll, 12 ... Tree, 15 ... Ground surface, 20 ... Solid-state image sensor, 20A ... Imaging surface, 25 ... Semiconductor substrate, 30 ... Image processing circuit, 40 ... memory, 50 ... timing signal generation circuit, 60 ... synchronization signal generation circuit, 70 ... output terminal, 100 ... imaging device, A to L ... optical image, Ao～Lo ... focus position (focus position), A ₁ ~L DESCRIPTION OF SYMBOLS ₁ ... Imaging region, LH ... Horizontal size of imaging surface 20A, LV ... Vertical size of imaging surface 20A, S10 ... Optical signal, S1A-S1D ... Light path, S20, S40 ... Image data, S50 ... Timing signal, S60 ... Synchronization signal, .theta .... Field angle.

Claims

Multiple lenses with different focal lengths or focus positions,
Image pickup means for generating image data by forming each optical image from the plurality of lenses on an image pickup surface so as not to overlap, and simultaneously picking up each optical image from the plurality of lenses for the same image pickup target Imaging means;
An image processing circuit for performing image processing based on image data from the imaging means,
The image processing circuit divides data corresponding to the optical image formed on the imaging surface into image data corresponding to each optical image from the plurality of lenses, performs image processing, and synthesizes the imaging target. to generate image data of,
The plurality of lenses are a plurality of gradient index lenses provided in an array with the respective exit end faces in contact with the imaging surface,
The plurality of gradient index lenses have different refractive index distributions .

Multiple lenses with different focal lengths or focus positions,
Image pickup means for generating image data by forming each optical image from the plurality of lenses on an image pickup surface so as not to overlap, and simultaneously picking up each optical image from the plurality of lenses for the same image pickup target Imaging means;
An image processing circuit for performing image processing based on image data from the imaging means;
Have
The image processing circuit divides data corresponding to the optical image formed on the imaging surface into image data corresponding to each optical image from the plurality of lenses, performs image processing, and synthesizes the imaging target. Image data for
The plurality of lenses are a plurality of gradient index lenses provided in an array with the respective exit end faces in contact with the imaging surface,
The plurality of gradient index lenses have different lens lengths.
Imaging device.

The plurality of lenses provided in an array form are sequentially different in focus position from a lens arranged on one opposite side to a lens arranged on the other side.
The imaging device according to claim 1 or 2 .

The image processing circuit, the calculated spatial frequency components of the imaging target from image data corresponding to the optical images, any one of claims 1 to 3 on the basis of the spatial frequency component determining the distance to the imaging target The imaging device according to item .

The said image processing circuit calculates | requires the spatial frequency component of the said imaging target from the image data corresponding to each said optical image, and calculates | requires the magnitude | size of the said imaging target in the depth direction based on the said spatial frequency component . The imaging device according to any one of the above.