JP2012074893A - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
JP2012074893A
JP2012074893A JP2010217695A JP2010217695A JP2012074893A JP 2012074893 A JP2012074893 A JP 2012074893A JP 2010217695 A JP2010217695 A JP 2010217695A JP 2010217695 A JP2010217695 A JP 2010217695A JP 2012074893 A JP2012074893 A JP 2012074893A
Authority
JP
Japan
Prior art keywords
pixel
imaging
image
subject
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010217695A
Other languages
English (en)
Inventor
Noriko Kurimoto
典子 栗本
Tokuaki Shigematsu
徳昭 重松
Yasusuke Hiruma
庸介 比留間
Kaoru Shibata
薫 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2010217695A priority Critical patent/JP2012074893A/ja
Priority to EP11163661A priority patent/EP2385698A3/en
Priority to US13/096,210 priority patent/US20110266416A1/en
Priority to CN2011101148638A priority patent/CN102238323A/zh
Publication of JP2012074893A publication Critical patent/JP2012074893A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】低コストで、解像度の高い画像を撮像する撮像装置を提供する。
【解決手段】撮像装置は、被写体を撮像する複数の撮像素子(21A〜21D)と、複数の撮像素子から順番に撮像素子を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する駆動部(23)と、駆動部によって複数の撮像素子のうちの1枚の撮像素子が撮像位置に配置されるごとに撮像によって得られる、撮像素子からの情報に基づいて画素情報を算出する画素算出部(4)と、画素算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶する画素情報記憶部(7)と、を備える。
【選択図】図3

Description

本発明は、画像を撮像する撮像装置、撮像方法及び撮像プログラムに関する。
従来より、製品や金型、治具等の形状を測定し、測定結果に基づき、調整を行うことが行われている。このような時に高解像度の固体撮像素子を搭載した撮像装置が用いられる。固体撮像素子として、CCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子等が挙げられる。
また、特許文献1には、限られた画素数の撮像素子を用いて高い解像度を得るため、受光面を振動させる固体撮像装置が開示されている。
特開昭60―18958号
ところで、撮像装置の解像度は、一般的に、撮像素子の有効画素数に応じて増加する。しかし、撮像素子の有効画素数を向上するためには、通常、撮像素子が有する受光素子の画素密度を増加する必要がありコストがかかる。一方で、受光素子の数を増やさずに解像度を向上させることを目的として、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す方法がある。この場合、得られた画像を、相対的な位置関係を確認しながら、繋ぎ合わせる必要があるため、繋ぎ合わせる画像同士の相対的な位置関係を計算しなければならない。撮像素子の移動距離が増大すると、移動によって生じる位置ズレを考慮して、画素間の相関を計算する必要が生じるが、ここでも誤差が発生しやすくなるという課題があった。
特許文献1に開示された固体撮像装置は、例えば、インターライン転送方式において、感光部に蓄積された信号電荷を信号ブランキング期間に垂直CCDレジスタに転送し、次のフィールド有効期間中に読み出すものであるが、解像度を向上するための詳細については教示されていない。
そこで本発明は、上述の課題を鑑みて、低コストで、解像度の高い画像を撮像する撮像装置、及び撮像方法を提供することを目的とする。
本発明の第1の態様によると、複数の撮像素子(21A〜21D)と、前記複数の撮像素子から順番に撮像素子を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する駆動部(3)と、前記駆動部によって前記複数の撮像素子のうちの1枚の撮像素子が前記撮像位置に配置されるごとに撮像によって得られる前記撮像素子からの情報に基づき、画素情報を算出する画素算出部(4)と、前記画素算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画素情報記憶部(7)と、を備えた撮像装置が提供される。前記複数の撮像素子の各々は、縦方向及び横方向に配列された複数の画素取得領域(P(1,1)、〜P(i,j))を有する。前記複数の画素取得領域(P(1,1)、〜P(i,j))の各々は、被写体からの入射光を変換して1画素分の画素情報を取得するように構成されている。
前記複数の撮像素子は、遮光されていない撮像素子と、前記撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素の任意の数分の1遮光した撮像素子から、1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ異なって前記撮像素子を異なって遮光するように異なる遮光膜が形成された複数の撮像素子と、を含む。
前記画素算出部は、前記複数の撮像素子の各々が前記駆動部によって撮像位置に配置されるごとに撮像によって得られる、前記複数の撮像素子の各々からの画素情報に基づいて、被写体の画素情報を1画素より小さい単位で算出し、前記画素情報記憶部は、前記画素算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する。
本発明の第2の態様によると、複数の撮像素子(21A〜21D)を用いて被写体を撮像する撮像方法であって、該方法は、前記複数の撮像素子(21A〜21D)から順番に撮像素子を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する移動ステップ(S102)と、前記移動ステップによって前記複数の撮像素子のうちの1枚の撮像素子が前記撮像位置に配置されるごとに撮像によって得られる前記撮像素子からの情報に基づき、画素情報を算出する画素算出ステップ(S104)と、前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画素情報記憶ステップ(106)と、を含む。
前記複数の撮像素子の各々は、縦方向及び横方向に配列された複数の画素取得領域(P(1,1)、〜P(i,j))を有し、前記複数の画素取得領域の各々は、被写体からの入射光を変換して1画素分の画素情報を取得するように構成されており、
前記複数の撮像素子は、遮光されていない撮像素子と、前記撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素の任意の数分の1遮光した撮像素子から、1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ異なって前記撮像素子を異なって遮光するように異なる遮光膜が形成された複数の撮像素子と、を含む。前記画素算出ステップは、前記複数の撮像素子の各々が前記移動ステップによって撮像位置に配置されるごとに撮像によって得られる、前記複数の撮像素子の各々からの画素情報に基づいて、被写体の画素情報を1画素より小さい単位で算出するステップを含む。前記画素情報記憶ステップは、前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップを含む。
本発明の第3の態様によると、複数の撮像素子を制御するコンピュータに、前記複数の撮像素子(21A〜21D)から順番に撮像素子を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する移動ステップ(S102)と、前記移動ステップによって前記複数の撮像素子のうちの1枚の撮像素子が前記撮像位置に配置されるごとに撮像によって得られる前記撮像素子からの情報に基づき、画素情報を算出する画素算出ステップ(S104)と、前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画素情報記憶ステップ(106)と、を実行させる撮像プログラムが提供される。
前記複数の撮像素子の各々は、縦方向及び横方向に配列された複数の画素取得領域(P(1,1)、〜P(i,j))を有し、前記複数の画素取得領域の各々は、被写体からの入射光を変換して1画素分の画素情報を取得するように構成されている。
前記複数の撮像素子は、遮光されていない撮像素子と、前記撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素の任意の数分の1遮光した撮像素子から、1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ異なって前記撮像素子を異なって遮光するように異なる遮光膜が形成された複数の撮像素子と、を含む。前記画素算出ステップは、前記複数の撮像素子の各々が前記移動ステップによって撮像位置に配置されるごとに撮像によって得られる、前記複数の撮像素子の各々からの画素情報に基づいて、被写体の画素情報を1画素より小さい単位で算出するステップを含む。前記画素情報記憶ステップは、前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップを含む。
本発明によれば、低画素のイメージセンサを用いて高画素の画像を取得できる。よって低コストで、解像度の高い画像を取得することができる。
本発明の第1の実施の形態に係る撮像装置の概略図である。 図1の撮像装置を構成する撮像素子の構成を示すブロック図である。 図1の撮像装置を構成する撮像部の概略図である。 図3の撮像装置を構成する撮像素子と遮光膜との関係を示す図である。 撮像素子の受光エリアと遮光部位との関係を説明する図である。 遮光膜を形成した撮像素子の一例を示す図である。 図6の撮像素子を駆動することにより生成可能な画素取得領域の遮光膜に対する位置を示す図である。 図3の撮像装置を構成する撮像素子に形成する遮光膜の他の例を示す図である。 図8の撮像素子の端部を形成する画素取得領域と遮光板との関係を示す図である。 図8の撮像素子の最端部の画素取得領域の基本位置[1]における出力値と遮光板との関係を示す図である。 図8の撮像素子の最端部の画素取得領域の移動位置[2]における出力値と遮光板との関係を示す図である。 図8の撮像素子の最端部の画素取得領域の移動位置[3]における出力値と遮光板との関係を示す図である。 図8の撮像素子の最端部の画素取得領域の移動位置[4]における出力値と遮光板との関係を示す図である。 図8の撮像素子の最端部の画素取得領域と得られた被写体の画素情報との、移動位置[9]における関係を示す図である。 図8の撮像素子の複数の画素取得領域の基本位置[1]における出力値と遮光板との関係を示す図である。 図8の撮像素子の移動と、取得可能な画素情報との関係を示す図である。 図8の撮像素子の最上部を構成する複数の画素取得領域の基本位置[1]、移動位置[2]、移動位置[3]における出力値と得られる被写体の画素情報との関係を示す図である。 図8の撮像素子の最上部を構成する複数の画素取得領域と得られた被写体の画素情報との移動位置[3]における関係を示す図である。 図8の撮像素子の最左部を構成する複数の画素取得領域の移動位置[7]における出力値と得られる被写体の画素情報との関係を示す図である。 図8の撮像素子の最上部を構成する複数の画素取得領域と得られた被写体の画素情報との移動位置[6]、移動位置[9]における関係を示す図である。 図8の撮像素子の中央部の画素取得領域によって被写体の画素情報を取得する処理を説明する図である。 図8の撮像素子によって取得された被写体の画素情報を示す図である。 図2の撮像装置が実行する画像を撮像する処理のフロー図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
[第1の実施の形態]
図1及び図2を参照して、本発明の第1の実施の形態に係る撮像装置の概略について説明する。
図1は、本発明の第1の実施の形態に係る撮像装置の概略図であり、図2は、本実施の形態に係る撮像装置を構成する複数の撮像素子の構成を示すブロック図である。
図1に示す撮像装置10は、被写体5を撮影して電気信号に変換する複数の撮像素子21A〜21Dを含む撮像部2と、撮像素子21A〜21Dを駆動する駆動部3と、撮像素子21A〜21D、撮像部2、駆動部3とを制御する制御部4と、撮像部2によって撮像された被写体5の画像データを記憶する記憶部7と、画像データに基づいて被写体5の画像を表示する表示部8と、を含む。
撮像部2は、撮像素子21A〜21Dの他、被写体からの光を、後述する撮像位置に配置された撮像素子21A〜21Dの中の何れかの撮像素子21に結像させる、図示されていない撮像レンズを含む。撮像位置に配置された撮像素子21は、撮像レンズによって結像される被写体5からの入射光を電気信号に変換する。撮像素子21は、撮像レンズによって自身に投影されて結像される被写体5の像5’(以後、「被写体像」と呼ぶ)を光電変換する受光素子を複数備えたCCD(Charge Coupled Device)撮像素子や、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などによって構成される。撮像部2は撮像手段の機能を有する。
駆動部3は、複数の撮像素子21A〜21Dの中の何れかの撮像素子21を被写体5を撮像するために適切な撮像位置に駆動する。駆動部3の詳細については後述する。
本実施の形態では、制御部4と記憶部7と表示部8は、コンピュータ9の一部として構成あされる。制御部4は、図示を省略するが、撮像装置1が各種機能を実行するためのプログラムが記憶されたROM(Read Only Memory)と、ROMに記憶されたプログラムを実行して、撮像装置1の各種機能を実行するCPU(Central Processing Unit)と、CPUが各種の処理を実行する上において必要なデータなどが適宜記憶されるRAM(Random Access Memory)などとによって構成される。
制御部4は、駆動部3を制御して撮像素子21A〜21Dを駆動し、撮像素子21A〜21Dの中の何れかの撮像素子21を撮像位置に配置する。さらに、制御部4は、撮像素子21から出力される電気信号を処理して、画像データを生成し、生成した画像データを記憶部7に記憶する。さらに制御部4は、生成した画像データに基づいて表示部8に撮像部2が撮像した画像を表示する。また、制御部4は、撮像素子21から出力される電気信号を処理する際に、後述する演算処理を実行する。
表示部8は、液晶ディスプレイなどによって構成される。記憶部7は、DRAM(Dynamic Random Access Memory)とROM(Read Only Memory)、ハードディスクなどによって構成される。
[撮像素子の構成]
次に、図2を参照して、撮像素子21の基本構成について説明する。撮像素子21は、二次元に配列された複数の受光素子から構成されている。受光素子の各々は所定の面積を有する受光面を含む。受光素子の各々は、この受光面に入射光を受光すると光電変換を実行して、受光面あたりの受光量に応じて、1画素に相当する信号電荷を生成する。この受光素子の各々が有する受光面を、以後、「画素取得領域」と呼ぶ。このため、この受光素子を二次元に配列して形成される撮像素子21が有する受光面全体は、受光素子ごとに、各々が1画素に相当する信号電荷を発生する複数の画素取得領域に分割することができる。
図2に示すように、撮像素子21の受光面を形成する画素取得領域の数によって撮像素子21の総画素数は決定される。例えば、i、jを任意の自然数とすると、横方向に配設された画素取得領域の数、すなわち、横画素数をi、縦方向に配設された画素取得領域の数、すなわち、数縦画素数をjとすると、この撮像素子21の総画素数はi×jとなる。また、画素取得領域は、受光素子の受光面に相当する。
すなわち、撮像素子21は、受光素子A(1,1)、A(2,1)、A(3,1)、・・・・、A(1,2)、・・・A(1,3)、・・・、A(i,j)を有する。受光素子A(1,1)、A(2,1)、A(3,1)、・・・・、A(1,2)、・・・A(1,3)、・・・、A(i,j)の各々が形成する画素取得領域をそれぞれ、画素取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、・・・P(1,3)、・・・、P(i,j)として表す。
画素取得領域は各々1画素に相当する信号電荷を発生するので、撮像素子21において画素取得領域が配置されている場所を示す情報を、以後、「画素アドレス」と呼ぶ。左上端部を基準とすると、左上端部より横方向に配設された画素取得領域の位置を示す情報、すなわち、画素アドレスは(1、1)、(2、1)、・・・、(i、1)となり、左上端部より下の画素アドレスは(1、1)、(1、2)、・・・、(1、j)となる。さらに、最右下端部の画素アドレスは(i,j)で表され、他の画素取得領域の位置も図2に示すように表される。なお、後述する被写体の像5’の画素情報は、後述する移動位置[9]に撮像素子21が位置する時の画素アドレスで表す。
[撮像部の構成]
本実施の形態に係る撮像装置では、図3に示すように、撮像部2は複数の撮像素子21A〜21Dを備えている。駆動部3は制御部4の制御に基づいて撮像素子21A〜21Dの各々を様々に駆動する。まず、駆動部3は、撮像素子21A〜21Dの一つを入射光を適切に受光して、被写体を撮像可能な撮像ポイントFに導く。続いて、駆動部3は、撮像ポイントFに位置する撮像素子21を、入射光に対して垂直な面の方向X、Yにサブピクセルの単位で所定の位置まで移動する(図3(B)参照)。
すなわち、駆動部3は制御部4の制御に基づいて撮像素子21A〜21Dの一つを保管されている保管場所Sから撮像ポイントFまで導く第1の駆動機構を有する。第1の駆動機構としては、例えば、複数のCDチェンジャを搭載したカートリッジから任意のCDを取り出してセットするCDチェンジャなどと同様の構成を採用することができる。さらに、駆動部3は、撮像ポイントFに位置する撮像素子21を、入射光に対して垂直な面の方向X、Yにサブピクセルの単位で所定の位置まで移動させる第2の駆動機構を有する。第2の駆動機構は、圧電素子アクチュエータ、距離センサなどにより構成することができる。
撮像素子21A〜21Dの一部は、撮像素子21A〜21Dの各々に入射する光の一部を遮光するように形成された遮光膜26A〜26Cを有している。
図4(A)に、本実施の形態の撮像素子21と遮光膜26との関係を示す。
図4(A)に示すように、本実施の形態では、撮像素子21の受光エリアに直接遮光膜26が形成されている。すなわち、遮光膜26は撮像素子21の保護膜28の内部に形成されている。このため、受光エリアに入射する光L1と保護膜28に入射する光L2には通常の吸収と反射が行われる。一方で、受光エリアと遮光膜26との境界近傍に入射する光L3から発生する回折LSは僅かである。
参考までに、図4(B)に、従来の撮像素子21と遮光板6との関係を示す。遮光板6は受光エリアを覆う保護膜28の上方に配置される。このため、受光エリアと遮光板6との間には一定の距離がある。したがって、遮光板6の境界部に入射する光L3により生じる回折光LS1、LS2は大きくなり、受光エリアに入射してノイズの原因になる。
このように、遮光板6に代えて、図4(A)に示すような遮光膜26を設けることにより、遮光により生じる回折光が大幅に削減されることがわかる。
撮像素子に遮光膜を形成する場合の一例について説明する。
例えば、撮像素子は図5に示すように使用されてきた。有効画素信号が第1フィールドと第2フィールドと併せて493ラインあるとする。第1フィールドで、有効画素信号の1番目のラインと248番目のラインは、フィールド読み出しの片側の画素信号に光学的黒が含まれるため、実質的には活用されていない。さらに、右側に位置する水平の40画素の光学的黒も、撮像素子21の受光エリアに光が入射しないように遮光されている。水平の40画素の信号は映像信号の黒基準に使われている。左側に位置する22画素分の水平空送り信号は、暗電流成分が少ないため、画素信号に含まれる暗電流の大きさを見る基準として使われてきた。
このように、黒補正として遮光された画素は存在したが、1画素の数分の1に相当する単位で意図的に光の受光を制御するためには使用されてこなかった。本実施の形態では、例えば、撮像素子の中でこの黒補正や暗電流測定で使用されてきた部分に、画素の数分の1に相当する単位で入射光を遮光する遮光膜を形成する。このようにして、従来注目されてこなかった撮像素子の周辺部分を有効活用する。
遮光膜が形成された撮像素子の一例を図6に示す。遮光膜は撮像素子を1画素の任意の数分の1に相当する単位で遮光するように形成すればよい。ここでは、理解を容易にするため、1画素を4分割する場合を例に説明する。
まず、撮像素子21Aは、撮像素子21Aの最端部を形成する縦横の2辺にL字型の遮光膜26Aが形成されている。ここでは、上側と左側の2辺を遮光するようになっているが、縦横2辺であればどの辺を遮光しても構わない。
このL字型の遮光膜26Aによって撮像素子21Aの最上端部を形成する画素取得領域P(1、1)は4分の3画素分が遮光され、画素取得領域P(1、2)、P(1、3)、(P2、1)、(P3、1)は、4分の2画素分だけ遮光されることになる。残りの画素取得領域P(2、2)、P(2、3)、(P3、2)、(P3、3)は遮光されない。このような遮光膜のパターンを遮光パターンIと呼ぶ。
次に、撮像素子21Bは、撮像素子21Bの左側最端部を形成する縦の1辺に縦一列の遮光膜26Bが形成されている。撮像素子21Bの左側最端部を形成する画素取得領域P(1、1)、P(2、1)、(P3、1)は、4分の2画素分だけ遮光されることになる。残りの画素取得領域P(1、2)、P(1、3)、P(2、2)、P(2、3)、P(3、2)、P(3、3)は遮光されない。このような遮光膜のパターンを遮光パターンIIと呼ぶ。
次に、撮像素子21Cは、撮像素子21Cの最上端部を形成する横の1辺に横一列の遮光膜26Cが形成されている。撮像素子21Cの最上端部を形成する画素取得領域P(1、1)、P(1、2)、(P1、3)は、4分の2画素分だけ遮光されることになる。残りの画素取得領域P(2、1)、P(2、2)、P(2、3)、P(3、1)、P(3、2)、P(3、3)は遮光されない。このような遮光膜のパターンを遮光パターンIIIと呼ぶ。
最後に、撮像素子21Dは、撮像素子21Dのいずれの画素取得領域P(1、1)、P(1、2)、P(1、3)、P(2、1)、P(2、2)、P(2、3)、P(3、1)、P(3、2)、P(3、3)も遮光されない。このような遮光膜のパターンを遮光パターンIVと呼ぶ。
ここでは、理解を容易にするため、9個の画素取得領域のみについて説明したが、撮像素子21A乃至21Dが有する画素取得領域の数は任意である。遮光膜26A乃至26Cは、撮像素子21A乃至21Cをサブピクセルの単位で同様のパターンで遮光するように形成されていればよい。すなわち、図6のケースでは、遮光膜26Aは、撮像素子21Aの左端部をと上端部を、遮光膜26Bは、撮像素子21Bの左端部を、遮光膜26Cは、撮像素子21Cの端部を遮光するように形成されていればよい。
図7に、駆動部3により図6の撮像素子21A〜21Dを駆動することにより画素取得領域がとりうる遮光膜に対する位置を示す。
駆動部3の第1の駆動機構により撮像素子21A〜21Dの中から選択された撮像素子21は撮像ポイントFに導かれる。次に、撮像ポイントFに導かれた撮像素子21はさらに第2の駆動機構により被写体からの入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動をして、所定の撮像位置に設定される。第2の駆動機構が撮像素子21を入射光に対して垂直な面の方向に移動することによって、様々な遮光パターンを形成することができる。ここでは一例として、撮像素子21Aが入射光に対して垂直な面の方向X、Yにサブピクセルの単位で移動をして図6に示す遮光パターン1〜IVのそれぞれに相当する画素情報を取得する場合について説明する。
図7に、遮光パターンI〜IV毎の撮像素子21Aの位置を示す図7(A)〜図7(D)と、遮光パターン1〜IVに相当する画素情報を取得するために必要な、撮像素子21AのパターンIを基準とする移動方向と移動量(位相ズレ量)の表を示す図7(E)とを示す。
図7(A)及び図7(E)に示すように、撮像素子21Aは基本位置では、パターンIにおける画素情報(図6参照)を取得することができる。この位置を基本位置とする。
また、図7(B)及び図7(E)に示すように、撮像素子21Aは、基本位置よりY軸に沿って紙面上方向に2分の1ピクセルに相当する距離だけ移動することにより、パターンIIにおける画素情報(図6参照)を取得することができる。
さらに、図7(C)及び図7(E)に示すように、撮像素子21Aは基本位置よりX軸に沿って紙面左方向に2分の1ピクセルに相当する距離だけ移動することにより、では、パターンIIIにおける画素情報(図6参照)を取得することができる。
さらに、図7(D)及び図7(E)に示すように、撮像素子21Aは基本位置よりX軸に沿って紙面左方向に2分の1ピクセル、Y軸に沿って紙面上方向に2分の一ピクセルに相当する距離だけ移動することにより、では、パターンIVにおける画素情報(図6参照)を取得することができる。
このように、遮光板又は撮像素子を交換しなくても、遮光膜26Aが形成された撮像素子21Aを入射光に対して垂直の方向にサブピクセルの単位で移動させることによって、撮像素子21Aはサブピクセルの単位の画素情報を得ることができる。
遮光板を用いた場合と同様に、遮光膜を用いることにより、1画素を4分割するのみならず、1画素を任意の自然数の整数倍に分割することができる。例えば、X、Yを任意の自然数とすると、1画素をX×Y分割することが可能である。一例として、1画素を9分割する遮光膜の構成例を図8に示す。
図8は、1画素を9分割することが可能な遮光膜の構成例である。撮像素子21−1、撮像素子21−2、撮像素子21−3、撮像素子21−4、撮像素子21−5、撮像素子21−6、撮像素子21−7、撮像素子21−8、撮像素子21−9を構成する画素取得領域の被写体撮影時における遮光膜26−1〜26−8に対するそれぞれの位置を基本位置[1]、移動位置[2]、移動位置[3]、移動位置[4]、移動位置[5]、移動位置[6]、移動位置[7]、移動位置[8]と呼ぶ。また、撮像素子21−9は移動位置[9]に相当するように遮光膜が形成されていない。換言すると、図8に示す撮像素子21−1、撮像素子21−2、撮像素子21−3、撮像素子21−4、撮像素子21−5、撮像素子21−6、撮像素子21−7、撮像素子21−8、撮像素子21−9をそれぞれ、駆動部3が撮像ポイントFの所定の位置に導いて、制御部4の制御に基づいて撮像部2が適切に撮像を行うことによって、それぞれを構成する画素取得領域21の遮光膜26に対する位置を基本位置[1]、移動位置[2]、移動位置[3]、移動位置[4]、移動位置[5]、移動位置[6]、移動位置[7]、移動位置[8]、移動位置[9]と変化させた状態で画素情報を取得することができる。
このように、遮光膜を用いることにより、X、Yを任意の自然数とすると、1画素をX×Y分割することが可能である。
[撮像処理]
このようにして構成された複数の撮像素子21−1〜21−9を用いて、被写体を効率的に撮像する処理について、以下、図9から図22を参照して説明する。
図9に、最初に被写体5を複数の撮像素子21−1〜21−9を用いて撮像する際に際に遵守すべき、撮像素子21に形成された遮光膜26と撮像素子21の端部を形成する画素取得領域と、撮像素子21に結像される被写体像5’との間の位置関係を示す。
図9(1)に示すように、例えば、撮像素子21−1において遮光膜26−1は、撮像素子21−1の最端部を形成する少なくとも2辺を部分的に遮光するように形成されている。図9(1)に、撮像素子21−1の最左上端部の画素取得領域P(1,1)と遮光膜26−1との関係を拡大してより詳細に示す。撮像素子21−1の実線で囲まれた部分が撮像素子21−1の最左上端部の画素取得領域P(1,1)を表している。画素取得領域P(1,1)は、撮像素子21−1の最左上端部に入射する光を受光すると、1画素分に相当する画素を取得して出力するようになっている。図9(1)に示す位置において、遮光膜26−1は、画素取得領域P(1,1)に入射する光のうち、上端部及び左端部のそれぞれ1画素の3分の2相当が遮光されるように配置されている。このため、画素取得領域P(1,1)は、実際には1画素の9分の1相当のサブピクセル単位の画素情報を出力することになる。
同様に、L字型の遮光膜26−1は、撮像素子21−1に結像される被写体像5’のうち、撮像素子21−1の2辺に相当する画素取得領域P(1,1)以外の画素取得領域に対しても、縦方向及び横方向にそれぞれ1画素の3分の2相当が遮光されるように配置される。この結果、図9(2)に示す位置において、遮光膜26−1は同様に、最端部の縦方向及び横方向の2辺を形成する画素取得領域、すなわち、上端部の画素取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(i,1)、及び左端部の画素取得領域P(1,1)、P(1,2)、P(1,3)、・・・・、P(1,j)に対しても、上端部及び左端部に入射する光のうち、それぞれ1画素の3分の2相当を遮光する。従って、画素取得領域P(2,1)、P(3,1)、・・・・、P(i,1)、及び画素取得領域P(1,2)、P(1,3)、・・・・、P(1,j)は、実際には1画素の3分の1相当のサブピクセル単位の画素情報を出力することになる。
続いて、本実施の形態の撮像処理について説明する。本実施の形態では、駆動部3を制御して、複数の撮像素子21−1〜21−9を、差し替えて、適当な撮像位置に移動して被写体5を撮影する処理を、それぞれ1画素に相当する距離まで繰り返して被写体5を撮影する。
<最端部の画素取得領域に着目した処理>
まず、理解を容易にするため、被写体像5’と撮像素子21−1〜21−9を差し替えて、所定の撮像位置に設定する動作と、撮像素子21−1〜21−9からの出力値との関係を、最端部の画素取得領域P(1,1)に着目して説明する。本実施の形態では、撮像素子21−1〜21−9の最端部を形成する2辺を構成する画素取得領域がそれぞれ、縦方向の少なくとも一列の画素取得領域と、横方向の少なくとも一列の画素取得領域を構成し、最端部の画素取得領域P(1,1)が、横方向に配列された一列と縦方向に配列された一列の交わる画素取得領域を構成する。
以下の処理では、最端部の画素取得領域P(1,1)を3×3、すなわち、9分割して、点線で示す網目状に形成されたサブピクセルの小領域に着目して考える。
駆動部3は、点線で示す網目状に形成された小領域のほぼ全てが、遮光されていない状態と遮光された状態とをとるまで、撮像素子21−1〜21−9を差し替え、所定の位置に移動させながら、遮光膜26−1〜26−9を用いて1画素の9分の一に対応する単位で縦方向と横方向の画素取得領域を遮光されている状態と遮光されていない状態に切り替える。
結果として、横方向には、最端部の画素取得領域P(1,1)を除く、縦方向に配列された一列の画素取得領域の各々が遮光されていない状態から1画素に相当する領域分が遮光される直前の状態をとるまで、
縦方向には、最端部の画素取得領域P(1,1)を除く、横方向に配列された一列の画素取得領の各々が遮光されていない状態から1画素に対応する領域分が遮光される直前の状態をとるまで、撮像素子21−1〜21−9を差し替え、所定の位置に移動させる。したがって、遮光膜26−1〜26−9を用いて1画素の9分の一に対応する単位で縦方向と横方向の画素取得領域を遮光されている状態と遮光されていない状態に切り替えることとなる。
ここでは理解を容易にするため、一列の画素取得領域の各々が、「遮光されていない状態から1画素に相当する領域分が遮光される直前の状態まで」撮像素子を差し替え、所定の位置に移動させると表現したが、本発明はこれに限定されない。例えば、本実施の形態では、駆動部3は、一列の画素取得領域の各々が「1画素に相当する領域分が遮光される直前の状態から遮光されていない状態になるまで」撮像素子を差し替え、所定の位置に移動させるものとして説明する。縦方向及び横方向に配列された一列の画素取得領において、どの画素取得領域から「遮光されていない状態から1画素に相当する領域分が遮光される直前の状態になるまで」又は、「1画素に相当する領域分が遮光される直前の状態から遮光されていない状態になるまで」駆動部3が撮像素子を差し替え、所定の位置に移動させるかは任意としてよい。そのため、本明細書において、「遮光されていない状態から1画素に相当する領域分が遮光される直前の状態まで」という表現は、時間的な順序の限定を意図するものではないものとする。
まず、撮像素子21−1は最端部を形成する2辺に対して、それぞれ1画素の3分の2のサブピクセルに相当する領域を遮光膜26−1によって遮光した状態で撮像をする。この時の撮像素子21−1を構成する画素取得領域の被写体5に対する位置を基本位置[1]とする。
図10は、基本位置[1]における撮像素子21−1を構成する画素取得領域の位置と、撮像素子21からの出力値との関係を、最端部の画素取得領域P(1,1)に着目して示した図である。このように最端部の画素取得領域P(1,1)の上部と左部がそれぞれ1画素分3分の2に相当する領域が遮光膜26−1によって遮光された状態で撮像が行われる。
画素取得領域P(1,1)の出力値をa(1,1)として記憶部7に記憶する。さらに、この時の画素取得領域P(1,1)の出力値a(1,1)を被写体像5’の左上最端部の領域の画素値A(1,1)として記憶部7に記憶する。
続いて、撮像素子21−1を撮像素子21−2に差し替え、画素取得領域の位置を基本位置[1]から右方向に被写体像5’と遮光膜26に対して、画素取得領域P(1,1)の1画素の3分の1画素分に相当する距離シフトして撮像する。この時の撮像素子21−2を構成する画素取得領域の被写体像5’及び遮光膜26に対する位置を移動位置[2]とする。
図11は、このように撮像素子21を基本位置[1]から右方向に、撮像素子21に結像される被写体像5’が画素取得領域P(1,1)の1画素に対して、3分の1画素分に相当する距離hシフトするように移動した時の撮像素子21と被写体の像5’との関係を、画素取得領域P(1,1)に着目して示した図である。3分の1画素分に相当する距離hは、受光素子の寸法よりも小さい。また、図11における画素取得領域P(1,1)の遮光された遮光部位の面積は、3分の1画素分に相当する距離h移動した分だけ、図10における画素取得領域P(1,1)の遮光された遮光部位の面積より少ない。すなわち、図11における画素取得領域P(1,1)の受光面の面積は、3分の1画素分に相当する距離h移動した分だけ、図10における画素取得領域P(1,1)の受光面の面積より大きくなっている。この受光面の面積の差分を利用して、サブピクセルの単位の画素値を算出していく。
具体的には、この時の画素取得領域P(1、1)の出力値b(1,1)を記憶部7に記憶する。さらに、
(1,1)−a(1,1)=B(1,1)として、
この値B(1,1)を撮影して得られた被写体像5’の左上最端部から右方向に2番目の領域の画素値B(1,1)として記憶部7に記憶する。
続いて、撮像素子21を撮像素子21−3に差し替え、撮像素子21の画素取得領域の位置を移動位置[2]から右方向に被写体像5’と遮光膜26に対して、画素取得領域P(1,1)の1画素の3分の1画素分に相当する距離シフトして撮像する。この時の撮像素子21−3を構成する画素取得領域の被写体像5’及び遮光膜26に対する位置を移動位置[3]とする。
図12は、移動位置[3]における撮像素子21と被写体の像5’との関係を画素取得領域P(1,1)に着目して示した図である。
この時の画素取得領域P(1、1)の出力値をc(1,1)として記憶部7に記憶する。さらに、
(1,1)−(A(1,1)+B(1,1))=C(1,1)として、
この値C(1,1)を撮影した被写体像5’の左上最端部から右方向に3番目の領域の画素値C(1,1)として記憶部7に記憶する。
続いて、撮像素子21を撮像素子21−4に差し替え、最端部画素の1画素に対して下方向に3分の1画素分シフトして撮像する。
図13は、撮像素子21を撮像素子21−4に差し替え、画素取得領域の位置を基本位置[1]から下方向に、画素取得領域P(1,1)の1画素について、3分の1画素分に相当する距離シフトした時の撮像素子21と被写体の像5’との関係を画素取得領域P(1,1)に着目して示した図である。この時の撮像素子21の被写体5に対する位置を移動位置[4]とする。
この時の画素取得領域P(1、1)の出力値をd(1,1)として記憶部7に記憶する。さらに、
(1,1)−A(1,1)=D(1,1)として、
この値D(1,1)を撮影した被写体像5’の左上最端部から下方向に2番目の領域の画素値D(1,1)として記憶部7に記憶する。
続いて、撮像素子21を撮像素子21−5に差し替え、画素取得領域の位置を移動位置[4]から右方向にさらに画素取得領域P(1,1)の1画素の3分の1画素分に相当する距離シフトして撮像する。
図示は省略するが、撮像素子21を撮像素子21−5に差し替え、画素取得領域の位置を移動位置[4]から右方向にさらに画素取得領域P(1,1)の1画素の3分の1画素分に相当する距離シフトした位置を移動位置[5]とする。
この時の画素取得領域P(1、1)の出力値をe(1,1)として記憶部7に記憶する。さらに、
(1,1)−(A(1,1)+B(1,1)+D(1,1))=E(1,1)として、
この値E(1,1)を撮影した被写体像5’の左上最端部から右方向に2番目、下方向に2番目の領域の画素値E(1,1)として記憶部7に記憶する(図14を参照)。
続いて、撮像素子21を撮像素子21−6に差し替え、画素取得領域の位置を撮像素子21を移動位置[5]から右方向にさらに3分の1画素分シフトして撮像する。
図示は省略するが、撮像素子21を撮像素子21−6に差し替え、画素取得領域の位置を撮像素子21を移動位置[5]から右方向にさらに画素取得領域P(1,1)の1画素の3分の1画素分に相当する距離シフトした位置を移動位置[6]とする。
この時の画素取得領域P(1、1)の出力値をf(1,1)として記憶部7に記憶する。さらに、
(1,1)−(A(1,1)+B(1,1)+C(1,1)+D(1,1)+E(1,1))=F(1,1)として、
この値F(1,1)を撮影した被写体像5’の左上最端部から右方向に3番目、下方向に2番目の領域の画素値F(1,1)として記憶部7に記憶する(図14を参照)。
続いて、撮像素子21を撮像素子21−7に差し替え、画素取得領域の位置を撮像素子21を、基本位置[1]から下方向にさらに3分の2画素分シフトして撮像する。
図示は省略するが、撮像素子21を撮像素子21−7に差し替え、画素取得領域の位置を撮像素子21を、基本位置[1]から下方向にさらに画素取得領域P(1,1)の1画素の3分の2画素分に相当する距離シフトした位置を移動位置[7]とする。
この時の画素取得領域P(1、1)の出力値をg(1,1)として記憶部7に記憶する。さらに、
(1,1)−(A(1,1)+D(1,1))=G(1,1)として、
この値G(1,1)を撮影した被写体像5’の左上最端部から下方向に3番目の領域の画素値G(1,1)として記憶部7に記憶する(図14を参照)。
同様に、図示は省略するが、撮像素子21を撮像素子21−8に差し替え、画素取得領域の位置を移動位置[7]から右方向にさらに画素取得領域P(1,1)の1画素の3分の1画素分に相当する距離シフトして撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[8]とする。
この時の画素取得領域P(1、1)の出力値をg(1,1)として記憶部7に記憶する。さらに、
(1,1)−(A(1,1)+B(1,1)+D(1,1)+E(1,1)+G(1,1))=H(1,1)として、
この値H(1,1)を撮影した被写体像5’の左上最端部から右方向に2番目、下方向に3番目の領域の画素値H(1,1)として記憶部7に記憶する(図14を参照)。
さらに、撮像素子21を撮像素子21−9に差し替え、画素取得領域の位置を撮像素子21を移動位置[8]から右方向に画素取得領域P(1,1)の1画素の3分の1画素分に相当する距離シフトして撮像する。この時の撮像素子21の被写体5に対する位置を移動位置[9]とする。
この時の画素取得領域P(1、1)の出力値をk(1,1)として記憶部7に記憶する。さらに、
(1,1)−(A(1,1)+B(1,1)+C(1,1)+D(1,1)+E(1,1)+F(1,1)+G(1,1)+H(1,1))=K(1,1)として、
この値K(1,1)を撮影した被写体像5’の左上最端部から右方向に3番目、下方向に3番目の領域の画素値K(1,1)として記憶部7に記憶する。
このようにして、撮像素子21−1〜21−9の中から選択的に差し替えて撮像位置に移動させることによって、撮像素子の遮光膜に対する画素取得領域を基本位置[1]から移動位置[2]〜移動位置[8]を経て移動位置[9]にシフトさせることができる。図14は、こうして得られた撮像画素と得られた被写体の像5’の画素情報、すなわち、画素値との関係を最端部の画素取得領域P(1,1)に着目して示した図である。なお、被写体の像5’の画素情報は、撮像素子21−9を用いた移動位置[9]に位置する時の画素アドレスで表している。
このようにして、撮像素子21の最端部に位置する、1画素に相当する画素取得領域P(1、1)を用いて、被写体5’の最端部の画素情報を構成する1画素の9分の一相当のサブピクセルの情報画素値A(1,1)、B(1,1)、C(1,1)、D(1,1)、E(1,1)、F(1,1)、G(1,1)、H(1,1)、K(1,1)を得ることができる。すなわち、1画素分の画素取得領域P(1、1)を用いて略9倍の解像度の画素情報を得ることができる。
<他の画素取得領域の処理>
さらに、上述の撮像素子21−1〜21−9を選択的に差し替えて画素取得領域を[1]〜[9]の位置に設定して撮影を行う際に、最端部の画素取得領域P(1,1)以外の画素取得領域も、それぞれ、対応する被写体5’の画素情報を同時に取得することができる。以下、画素取得領域P(1、1)以外の、画素取得領域P(2、1)、P(3、1)、P(1、2)、P(2、2)、P(3、2)、P(1、3)、P(1、3)、P(1、3)、・・・が同様の画素情報を取得する処理について説明する。
図15に示すように、撮像素子21−1を用いた基本位置[1]の時に、画素取得領域P(1、1)、P(2、1)、P(3、1)、P(1、2)、P(2、2)、P(3、2)、P(1、3)、P(2、3)、P(3、3)、・・・からの出力値を、a(1,1)、a(2,1)、a(3,1)、a(1,2)、a(2,2)、a(3,2)、a(1,3)、a(2,3)、a(3,3)、・・・として、記憶部7に記憶する。
図16に示すように、撮像素子21−1を用いた基本位置[1]から、撮像素子21を撮像素子21−2、21−3に差し替えて、被写体5と遮光膜26に対して画素取得領域の位置を右方向に、移動位置[2]、[3]へ移動することによって、同様の手法で、被写体像5’の最上部画素を取得することができる。同様に、撮像素子21を撮像素子21−4、21−5に差し替えて、被写体5と遮光膜26に対して画素取得領域を下方向に、移動位置[4]、[5]へ移動することによって、同様の手法で、被写体像5’の最左部画素を取得することができる。さらに、撮像素子21を撮像素子21−6〜21−9に差し替えて、画素取得領域を移動位置[6]〜[9]へと移動することによって、同様の手法で、このようにして取得した最上部画素と最左部画素の情報に基づいて被写体像5’の中央部画素の情報を取得することができる。
以下、被写体像5’の全体の画素情報を取得する場合について、被写体像5’の最上部画素の情報を取得する場合、被写体像5’の最左部画素の情報を取得する場合、及び被写体5の中央部画素の情報を取得する場合に分けて説明する。
<最上部画素の情報の取得>
図17及び図18を参照して、画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・に着目して、それぞれの画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・の内部の最上部画素の情報を含む、被写体像5’の最上部画素の情報を取得する方法を説明する。
図17(1)に示すように、撮像素子21−1を用いた基本位置[1]の時の画素取得領域P(1、1)、P(2、1)、P(3、1)からの出力値を、画素取得領域P(1、1)の画素情報はA(1,1)とするので、A(1,1)、a(2,1)、a(3,1)として記憶部7に記憶する。
続いて、図17(2)に示すように、撮像素子21−2を用いた移動位置[2]の時の画素取得領域P(1、1)、P(2、1)、P(3、1)からの出力値を、画素取得領域P(1、1)の画素情報は、既に説明した方法A(1,1)、B(1,1)と求められるので、A(1,1)、B(1,1)、b(2,1)、b(3,1)として記憶部7に記憶する。
続いて、図17(3)に示すように、撮像素子21−3を用いた移動位置[3]の時の画素取得領域P(1、1)、P(2、1)、P(3、1)からの出力値を、画素取得領域P(1、1)の画素情報は、既に説明した方法でA(1,1)、B(1,1)、C(1,1)と求められるので、A(1,1)、B(1,1)、C(1,1)、c(2,1)、c(3,1)として記憶部7に記憶する。
以上から、画素取得領域P(2,1)の最上部の画素情報は、
(2,1)−(B(1,1)+C(1,1))=A(2,1)
(2,1)−(C(1,1)+A(2,1))=B(2,1)
(2,1)−(A(1,1)+B(2,1))=C(2,1)、として算出される。これらの値は記憶部7に記憶される。
同様に、画素取得領域P(3、1)以降の最上部の画素取得領域P(3、1)、P(4、1)、・・・、の画素情報は、画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・からの出力値から、以下のように算出される。これらの値は記憶部7に記憶される。
(m,1)−(B(m−1,1)+C(m−1,1))=A(m,1)
(m,1)−(C(m−1,1)+A(m,1))=B(m,1)
(m,1)−(A(m,1)+B(m,1))=C(m,1) ・・・式1
として算出される。ただし、mは任意の自然数とする。これらの値は記憶部7に記憶される。
このようにして取得した値を図18に示す。
<最左部画素の情報の取得>
画素取得領域P(1、1)、P(1、2)、P(1、3)、・・・に着目して、それぞれの画素取得領域P(1、1)、P(1、2)、P(1、3)、・・・の内部の最左部画素の情報から、被写体像5’の最左部画素の情報を取得する方法を説明する。
撮像素子21−1を用いた基本位置[1]の時の画素取得領域P(1、1)、P(1、2)、P(1、3)、・・・からの出力値を、a(1、1)、a(1、2)、a(1、3)、・・とする。撮像素子21を撮像素子21−4、21−7に差し替えて、画素取得領域を移動位置[1]から下方向に3分の1画素分ずつ移動位置[4]、移動位置[7]とシフトと撮像を繰り返し、画素取得領域P(1、1)、P(1、2)、P(1、3)、・・・からの出力値に基づいて、最上部画素の情報の取得と同様の手法で、最左部画素の情報を取得することができる。途中の式を省略すると、この結果、各々の画素取得領域の最左部画素は以下のように求まる。ただし、nは任意の自然数とする。これらの値は記憶部7に記憶される。
(1、n)−(D(1、n−1)+G(1、n−1))=A(1、n)
(1、n)−(G(1、n−1)+A(1、n))=D(1、n)
(1、n)−(A(1、n)+D(1、n))=G(1、n)
このようにして取得した値を図19に示す。
<中央部画素の情報の取得>
図20を参照して、画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・に着目して、それぞれの画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・の内部の中央部画素の情報を含む、被写体像5’の中央部画素の情報を取得する方法を説明する。
撮像素子21を撮像素子21−3から撮像素子21−6に差し替えて、移動位置[3]から下方向に3分の1画素分に相当する距離シフトして、移動位置[6]で撮像した、画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・からの出力値に基づいて、最上部画素の情報の取得と同様の手法で式1より、画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・のD〜Fの情報を取得することができる。
(m、1)−(B(m−1、1)+C(m−1、1)+E(m−1、1)+F(m−1、1)+A(m、1))=D(m、1)
(m、1)−(C(m−1、1)+F(m−1、1)+A(m、1)+B(m、1)+D(m、1))=E(m、1)
(m、1)−(A(m、1)+B(m、1)+C(m、1)+D(m、1)+E(m、1))=F(m、1)
こうして算出した値を記憶部7に記憶する。
このようにして取得した値を図20(1)に示す。
さらに、撮像素子21を撮像素子21−9に差し替え、画像取得領域を移動位置[6]から下方向に3分の1画素分に相当する距離シフトして、移動位置[9]で撮像した、画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・からの出力値に基づいて、最上部画素の情報の取得と同様の手法で式1より、画素取得領域P(1、1)、P(2、1)、P(3、1)、・・・のG〜Kの情報を取得することができる。
(m、1)−(B(m−1、1)+C(m−1、1)+E(m−1、1)+F(m−1、1)+H(m−1、1)+K(m−1、1)+A(m、1)+D(m、1))=G(m、1)
(m、1)−(C(m−1、1)+F(m−1、1)+K(m−1、1)+A(m、1)+B(m、1)+D(m、1)+E(m、1)+G(m、1))=H(m、1)
(m、1)−(A(m、1)+B(m、1)+C(m、1)+D(m、1)+E(m、1)+F(m、1)+G(m、1)+H(m、1))=K(m、1)
こうして算出した値を記憶部7に記憶する
このようにして取得した値を図20(2)に示す。
さらに、撮像素子21の中央部に位置する画素取得領域の画素の情報から、被写体像5’の中央部画素の情報を取得する方法について、画素取得領域P(2、2)のサブピクセル情報を取得する場合を例に説明する。画素取得領域P(2、2)のサブピクセル情報については、撮像素子21−1〜21−9を用いて基本位置[1]、移動位置[2]〜[9]において、a(2、2)〜k(2、2)を取得することによって、既に記憶部7に記憶されているものとする。
撮像素子21−1〜21−9を用いて基本位置[1]、移動位置[2]〜[9]で求められた情報から、最上部、最左部の情報も図21に示すように求められており、記憶部7に記憶されている。
そして、図21に示すように、撮像素子21−1を用いた基本位置[1]における、画素取得領域P(2,2)からの出力値a(2、2)から、A(2、2)は以下のようにして求められる。
(2、2)−(E(1、1)+F(1、1)+H(1、1)+K(1、1)+D(2、1)+G(2、1)+B(1、2)+C(1、2))=A(2、2)
同様に、撮像素子21−2を用いた移動位置[2]における、画素取得領域P(2,2)からの出力値b(2、2)から、B(2、2)は以下のようにして求められる。
(2、2)−(F(1、1)+K(1、1)+D(2、1)+E(2、1)+G(2、1)+H(2、1)+C(1、2)+A(2、2))=B(2、2)
同様に、撮像素子21−3を用いた移動位置[3]における、画素取得領域P(2,2)からの出力値c(2、2)から、C(2、2)は以下のようにして求められる。
(2、2)−(D(2、1)+E(2、1)+F(2、1)+G(2、1)+H(2、1)+K(2、1)+A(2、2)+B(2、2))=C(2、2)
同様に、撮像素子21−4を用いた移動位置[4]における、画素取得領域P(2,2)からの出力値d(2、2)から、D(2、2)は以下のようにして求められる。
(2、2)−(H(1、1)+K(1、1)+G(2、1)+B(1、2)+C(1、2)+E(1、2)+F(1、2)+A(2、2))=D(2、2)
同様に、撮像素子21−5を用いた移動位置[5]における、画素取得領域P(2,2)からの出力値e(2、2)から、E(2、2)は以下のようにして求められる。
(2、2)−(K(1、1)+G(2、1)+H(2、1)+C(1、2)+F(1、2)+A(2、2)+B(2、2)+D(2、2))=E(2、2)
同様に、撮像素子21−6を用いた移動位置[6]における、画素取得領域P(2,2)からの出力値f(2、2)から、F(2、2)は以下のようにして求められる。
(2、2)−(G(2、1)+H(2、1)+K(2、1)+A(2、2)+B(2、2)+C(2、2)+D(2、2)+E(2、2))=F(2、2)
同様に、撮像素子21−7を用いた移動位置[7]における、画素取得領域P(2,2)からの出力値g(2、2)から、G(2、2)は以下のようにして求められる。
(2、2)−(B(1、2)+C(1、2)+E(1、2)+F(1、2)+K(1、2)+H(1、2)+A(2、2)+D(2、2))=G(2、2)
同様に、撮像素子21−8を用いた移動位置[8]における、画素取得領域P(2,2)からの出力値h(2、2)から、H(2、2)は以下のようにして求められる。
(2、2)−(C(1、2)+F(1、2)+K(1、2)+A(2、2)+B(2、2)+D(2、2)+E(2、2)+G(2、2))=H(2、2)
同様に、撮像素子21−9を用いた移動位置[9]における、画素取得領域P(2,2)からの出力値k(2、2)から、K(2、2)は以下のようにして求められる。
(2、2)−(A(2、2)+B(2、2)+C(2、2)+D(2、2)+E(2、2)+F(2、2)+G(2、2)+H(2、2))=K(2、2)
よって画素取得領域P(m、n)のサブピクセルの情報a(m、n)〜k(m、n)から以下のようにして被写体像5’画素値を算出できる。
(m、n)−(E(m−1、n−1)+F(m−1、n−1)+H(m−1、n−1)+K(m−1、n−1)+D(m、n−1)+G(m、n−1)+B(m−1、n)+C(m−1、n))=A(m、n)
(m、n)−(F(m−1、n−1)+K(m−1、n−1)+D(m、n−1)+E(m、n−1)+G(m、n−1)+H(m、n−1)+C(m−1、n)+A(m、n))=B(m、n)
(m、n)−(D(m、n−1)+E(m、n−1)+F(m、n−1)+G(m、n−1)+H(m、n−1)+K(m、n−1)+A(m、n)+B(m、n))=C(m、n)
(m、n)−(H(m−1、n−1)+K(m−1、n−1)+G(m、n−1)+B(m−1、n)+C(m−1、n)+E(m−1、n)+F(m−1、n)+A(m、n))=D(m、n)
(m、n)−(K(m−1、n−1)+G(m、n−1)+H(m、n−1)+C(m−1、n)+F(m−1、n)+A(m、n)+B(m、n)+D(m、n))=E(m、n)
(m、n)−(G(m、n−1)+H(m、n−1)+K(m、n−1)+A(m、n)+B(m、n)+C(m、n)+D(m、n)+E(m、n))=F(m、n)
(m、n)−(B(m−1、n)+C(m−1、n)+E(m−1、n)+F(m−1、n)+H(m−1、n)+K(m−1、n)+A(m、n)+D(m、n))=G(m、n)
(m、n)−(C(m−1、n)+F(m−1、n)+K(m−1、n)+A(m、n)+B(m、n)+D(m、n)+E(m、n)+G(m、n))=H(m、n)
(m、n)−(A(m、n)+B(m、n)+C(m、n)+D(m、n)+E(m、n)+F(m、n)+G(m、n)+H(m、n))=K(m、n)
このようにして取得した値を図22に示す。なお、被写体の像5’の画素情報は、撮像素子21―9を用いた移動位置[9]に位置する時の画素アドレスで表している。
こうして算出した値を記憶部7に記憶する。
以上より、図22に示すように、最上部、最左部を部分的に遮光した時に得られる情報から、被写体像5’の全画素のサブピクセル情報を分離することができることがわかる。
図23を参照して、本実施の形態の撮像装置が被写体5の画像を撮像する処理のフローについて説明する。以下の処理は、制御部4の制御によって行われる。
まず、制御部4は駆動部3を制御して、撮像素子21A乃至21Dから選択した撮像素子21を設定する(ステップS101)。具体的には、制御部4は、駆動部3を制御して撮像素子21が被写体5を撮像可能な撮像ポイントFに設定にする。ここで、撮像素子21A乃至21Dの何れかで、被写体5を撮像するためにこの段階で選択されている撮像素子を「撮像素子21」と呼ぶものとする。
続けて、撮像素子21を所定量、所定の方向に移動する(ステップS102)。
具体的には、制御部4は駆動部3を制御して、撮像素子21を、入射光に対して垂直な面の方向X、Yにサブピクセルの単位で、被写体5を撮像するために適当な所定の位置まで移動して調整を行う。
続けて、撮像を行い撮像素子21からの出力値を入力する(ステップS103)。
具体的には、制御部4は撮像部2を制御して撮像を行い、撮像素子21のそれぞれの画素取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、・・・P(1,3)、・・・、P(i,j)から出力される出力値を入力して、記憶部7に記憶する。
続けて、画素値を算出する(ステップS104)。
具体的には、制御部4は撮像素子21のそれぞれの画素取得領域P(1,1)、P(2,1)、P(3,1)、・・・・、P(1,2)、・・・P(1,3)、・・・、P(i,j)からの出力値から、それぞれの被写体像5’の画素アドレス(i,j)のサブピクセルの値を算出し、記憶部7に記憶する。
全領域にわたって画素値を算出したか判断する(ステップS105)。
具体的には、制御部4は、全ての撮像素子21A乃至21Dを使用して撮像を行ったか否かを判断する。全ての撮像素子21A乃至21Dを使用して撮像を行ったと判断された場合は、ステップS106に進み、使用していない撮像素子があると判断された場合は、ステップS107に進む。ステップS107において、撮像素子を差し替える。具体的には、ステップS102からステップS105迄の処理を、例えば、撮像素子21Aを用いて実行し、撮像素子を撮像素子21Aから撮像素子21Bに差し替えるとする。この場合、制御部4は駆動部3を制御して、撮像素子21Aを撮像ポイントFから撮像素子の保管場所Sに戻す。さらに、駆動部3は、保管場所Fから撮像素子21Bを撮像ポイントFに移動する。
一方で、ステップS105において、制御部4が、被写体像5’の全ての画素アドレス(m,n)のサブピクセルの値が算出されたと判断した場合、すなわち、制御部4が、全ての撮像素子21A乃至21Dを用いて撮像を行ったと判断した場合、算出した全画素値を記憶部7に、対応する被写体像5’の位置情報と対応付けて被写体5の画素情報として記憶する(ステップS106)。また、必要に応じて、算出した全画素値に基づいて画像を表示する。具体的には、制御部4は表示部8を制御して、記憶部7に記憶された被写体像5’の全ての画素情報に基づいて被写体5の画像を表示する。これをもって、画像情報取得処理は終了する。
本実施の形態の撮像装置は、所定の面積を有する受光面である画素取得領域P(m,n)を有し、受光量に応じた出力値を出力する受光素子A(m,n)を、被写体からの入射光を様々なパターンで部分的に遮光した撮像素子を複数備える。本実施の形態では、撮像素子の多くは1画素の4分の1の単位で入射光を遮光する。これらの遮光パターンの異なる撮像素子21A乃至21DをステップS107において差し替えながら撮像を行い、遮光部位の異なる複数の撮像素子21A乃至21Dのそれぞれの受光素子A(m,n)からの出力値を取得するステップ(ステップS103)と、撮像素子21A乃至21Dのそれぞれの受光素子A(m,n)からの複数の出力値から、撮像素子21A乃至21Dの各々の受光素子A(m,n)の受光面P(m,n)よりも小さな面積における受光量に応じた出力値を算出するステップ(ステップS104)と、算出するステップによって算出された出力値を被写体の位置と対応付けて記憶するステップ(ステップS106)と、を含む撮像方法を実行する。
かかる撮像方法は、撮像素子受光素子の遮光部位を変位させながら、受光素子A(m,n)の画素取得領域である受光面P(m,n)よりも小さな面積に対応した出力値に基づいて、一層微細な被写体の画像情報を得ることができるので、受光素子Aの画素密度を上げる必要なく、低コストで解像度の高い画像を取得することができる。
また、図6の撮像素子21A〜21Dを用いる場合は、ステップS107で撮像素子を差し替えた後に、ステップS102において、差し替えた撮像素子を、図7に示す各々の位置に配置されるように、被写体からの入射光に対して垂直な面の方向に1画素の任意の数分の1に相当する単位ずつ所定の位置に移動させればよい。
なお、本実施の形態では、複数の撮像素子21−1〜21−9を選択的に用いて、画素領域を1画素の3分の1に相当する距離ごとにシフトして被写体5を撮影する処理を1画素に相当する距離となるまで繰り返して被写体5を撮影する場合について説明した。すなわち、被写体5を1画素を9分割したサブピクセルの精度で撮影する場合を例に説明した。しかしながら、複数の撮像素子を用いて画素領域をシフトする距離は1画素の3分の1に相当する距離に限定されない。使用する撮像素子の数も9に限定されない。また、画素領域をシフトする方向も縦方向と横方向で異なってもよい。X、Yを任意の自然数とすると、被写体像5’を縦方向及び横方向にそれぞれ1画素のX分の一及び1画素のY分の一に相当する距離ごとにシフトして撮影する処理を、1画素に相当する距離まで繰り返す場合、すなわち、1画素をXにYを乗じて得られた整数個に分割したサブピクセルの精度で撮影する場合も同様の手順で実行することができる。
この場合、
縦方向に配列された一列と交わらない横方向に配列された一列の画素取得領域の各々が遮光されていない状態から1画素に相当する領域分が遮光される直前の状態になるまで、
横方向に配列された一列と交わらない縦方向に配列された一列の画素取得領域の各々が遮光されていない状態から1画素に対応する領域分が遮光される直前の状態になるまで、縦方向及び横方向に異なる遮光膜の形成された複数の撮像素子を使用する。
このように、本実施の形態の撮像装置10は、所定の面積を有する受光面である画素取得領域P(m,n)として、受光面あたりの受光量に応じた出力値を出力する受光素子A(m,n)を備え、さらに、受光素子A(m,n)を被写体からの入射光から部分的に遮光する遮光膜26を選択的に形成した、複数の撮像素子を備える。ここで、mは1以上、i以下の自然数、nは1以上、j以下の任意の自然数とする。かかる構成により、本実施の形態の撮像装置10は、受光素子A(m,n)から受光面P(m,n)を部分的に遮光された状態の出力値を得ることができる。したがって、撮像装置10は、受光面を遮光していない状態の出力値とは異なる、遮光の状態の度合いを反映した微細な出力値を得ることができる。
また、本実施の形態の撮像装置10は、遮光膜26を形成した複数の撮像素子21を有する。遮光膜により部分的に遮光される画素取得領域は撮像素子21によって異なる。換言すると、遮光される受光素子A(m,n)の遮光部位が異なるように、複数の撮像素子21のそれぞれには異なる遮光パターンの遮光膜26が形成されている。本実施の形態の撮像装置10は、撮像素子21を差し替えることによって、画素取得領域P(m,n)を複数の異なる遮光パターンで部分的に遮光することができる。そして、画素取得領域P(m,n)をそれぞれ異なる遮光パターンで遮光して得た画素情報と、画素取得領域P(m,n)を遮光していない状態の画素情報とを取得することができる。したがって、複数の異なる遮光パターンのそれぞれを反映した一層微細な出力値を得ることができる。数の状態の度合いのそれぞれを反映した一層微細な出力値を得ることができる。
さらに、本実施の形態の撮像装置10は、画素取得領域P(m,n)をそれぞれ異なる遮光パターンで遮光して得た複数の画素情報と、画素取得領域P(m,n)を遮光していない状態の画素情報との差分から、受光素子の受光面よりも小さな面積における受光量に応じた出力値を算出して出力する算出手段である制御部4と、制御部4によって出力された出力値を被写体の位置と対応付けて記憶する記憶部7と、をさらに備えることができるので、本実施の形態の撮像装置10は、遮光部位の異なる複数の状態で取得された複数の画素情報の差分から、受光素子A(m,n)の受光面P(m,n)よりも小さな面積における受光量に応じた画素値を算出し、こうして算出した画素値を被写体の位置と対応付けて記憶することができる。したがって、撮像装置10は、受光素子A(m,n)の受光面P(m,n)よりも小さな面積に対応した画素値に基づく、一層微細な被写体の画素情報を取得することができる。
さらに、本実施の形態の撮像装置10によると、受光素子A(m,n)の遮光膜26に対する位置を、受光素子A(m,n)の寸法よりも小さな距離ずつ変位させた、異なる遮光パターンの遮光膜が形成された複数の撮像素子を備え、これら複数の撮像素子を差し替える駆動部3を備える。かかる構成により、本実施の形態の撮像装置10は、受光素子A(m,n)の遮光膜26に対する位置を、受光素子A(m,n)の寸法よりも小さな距離ずつ変位させることができるので、受光素子A(m,n)を受光素子A(m,n)の寸法より小さな距離ずつ変位させながら、受光素子A(m,n)の受光面P(m,n)よりも小さな面積に対応した出力値に基づく、一層微細な被写体の画素情報を得ることができる。
したがって、受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体の画素情報を得ることができるので、本実施の形態の撮像装置10は、低コストで、解像度の高い画像を取得することができる。
本実施の形態の撮像装置10は、所定の面積を有する画素取得領域である受光面P(m,n)を含み、受光面P(m,n)あたりの受光量に応じた出力値を出力する受光素子A(m,n)を、被写体からの入射光から部分的に遮光し、遮光された受光素子A(m,n)の遮光部位を異ならせた複数の状態のそれぞれにおいて、受光素子A(m,n)からの出力値を入力するステップ(ステップS103)と、複数の状態のそれぞれにおいて取得された受光素子A(m,n)からの複数の出力値の差分から、受光素子A(m,n)の受光面P(m,n)よりも小さな面積における受光量に応じた出力値を算出するステップ(ステップS104)と、算出するステップによって算出された出力値を被写体の位置と対応付けて記憶するステップ(ステップS106)と、を含む撮像方法を実行する。
かかる撮像方法は、受光素子の遮光部位を変位させながら、受光素子A(m,n)の受光面P(m,n)よりも小さな面積に対応した出力値の差分に基づいて、一層微細な被写体の画素情報を得ることができるので、受光素子A(m,n)の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、低コストで解像度の高い画像を取得することができる。
本実施の形態の撮像装置10は、ステップS103において、所定の面積を有する受光面P(m,n)を含み、例えば、図11に示したように、受光面P(1,1)あたりの受光量に応じた出力値を出力する受光素子A(1,1)から、受光面P(1,1)の一部である第1所定部分によって受光された受光量に応じた第1の出力値、例えば、b(1,1)を取得するステップと、第1所定部分に含まれる第2所定部分が受光した受光量に応じた第2の出力値、例えば、a(1,1)を取得するステップとを実行し、ステップS104において、第1の出力値と第2の出力値との差分、例えば、b(1,1)−a(1,1)から、第1所定部分のうち、第2所定部分を除く部分における受光量に応じた第3の出力値、例えば、B(1,1)を求めるステップと、を含む撮像方法を実行する。
また、本実施の形態では、被写体5を、1画素を9分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。本実施の形態では、複数の撮像素子を差し替えることによって、被写体5の2辺に対して、最端部から縦方向及び横方向にそれぞれ1画素の3分の1に相当する領域を遮光した状態で、撮像素子21を縦方向及び横方向にそれぞれ1画素の3分の1に相当する距離ごとにシフトして撮影する処理を、縦方向及び横方向にそれぞれ1画素分に相当する距離まで繰り返して被写体5を撮影するとしたが、本発明はこれに限定されない。
例えば、X、Yを任意の自然数とすると、被写体像5’の2辺に対して、縦方向及び横方向に、それぞれ1画素のX分の一及び1画素のY分の一に相当する領域を遮光した状態で、複数の撮像素子から適当な撮像素子を適宜差し替えて、縦方向及び横方向にそれぞれ1画素のX分の一及び1画素のY分の一に相当する距離ごとにシフトして撮影をする処理を、縦方向及び横方向にそれぞれ1画素分に相当する距離まで繰り返して被写体5を撮影することができる。したがって、同様の手法で、1画素をXにYを乗じて得られた整数だけ分割したサブピクセルの精度で撮影することができる。
すなわち、駆動部3は、複数の撮像素子から適当な撮像素子を適宜差し替えて、被写体5から撮像素子21への入射光が遮光膜26によって遮光されない撮像位置から、i、jを任意の自然数とすると、複数の画素取得領域P(i,j)の少なくとも一部の画素取得領域について1画素分遮光される直前の撮像位置まで、1画素の任意の数分の1に相当する単位ずつ撮像素子21を所定の撮像位置に駆動する。撮像素子21は駆動部3によって撮像位置に駆動される都度、撮像を行う。制御部4は、撮像素子が生成する信号電荷に基づいて画素情報を算出する。制御部4は、こうして算出された画素情報を被写体の位置と対応付けて画像情報として記憶部7に記憶する。
さらに制御部4は、撮像素子が駆動部によって駆動された後の撮像位置で撮像素子が生成した信号電荷と、駆動部によって駆動される直前の撮像位置で撮像素子が生成した信号電荷との差分から、被写体の一部に対応する画素情報を1画素より小さい単位で算出すればよい。制御部4は画素算出部を構成する。
本実施の形態では、遮光される画素取得領域は、駆動部は、撮像素子21を遮光板に対して、撮像素子の縦方向に配列された一列の画素取得領域の各々としている。
駆動部3は、X、Yを所定の自然数とすると、縦方向に、横方向に配列された一列の画素取得領域の各々を遮光していない状態から1画素に相当する領域分を遮光する直前の状態まで、1画素のX分の一に相当する単位ずつ遮光する所定の撮像位置に駆動し、横方向に、縦方向に配列された一列の画素取得領域の各々を遮光していない状態から1画素に対応する領域分を遮光する直前の状態まで、1画素のY分の一に相当する単位ずつ駆動して撮像を行うことによって、同様の手法で、1画素をXにYを乗じて得られた整数だけ分割したサブピクセルの精度で撮影することができる。
かかる実施の形態の撮像装置では、遮光膜によって分割する1画素辺りの数を変化させることで、撮像する画像の解像度、又は撮像する画像を構成する画素数情報を任意に増やすことができる。
また、遮光膜26をL字型の形状としたが、遮光膜26は、撮像素子21の少なくとも2辺を遮光するために好適であれば、L字型以外の形状でもよい。
以上説明したように、本実施の形態の撮像装置は、複数の撮像素子21−1〜21−9と、複数の撮像素子21−1〜21−9から順番に撮像素子21を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する駆動部3と、駆動部3によって複数の撮像素子21−1〜21−9のうちの1枚の撮像素子21が撮像位置に配置されるごとに撮像によって得られる撮像素子21からの情報に基づき、画素情報を算出する、制御部4により構成される画素算出部と、画素算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶する、記憶部7により構成される画素情報記憶部と、を備える。
複数の撮像素子21−1〜21−9の各々は、縦方向及び横方向に配列された複数の画素取得領域P(m、n)を有し、複数の画素取得領域P(m、n)の各々は、被写体からの入射光を変換して1画素分の画素情報を取得するように構成されている。複数の撮像素子21−1〜21−9は、遮光されていない撮像素子と、撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素の任意の数分の1遮光した撮像素子から、1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ撮像素子を異なって遮光するように異なる遮光膜が形成された複数の撮像素子と、を含む。画素算出部は、複数の撮像素子の各々が駆動部によって撮像位置に配置されるごとに撮像によって得られる、複数の撮像素子の各々からの画素情報に基づいて、被写体の画素情報を1画素より小さい単位で算出する。画素情報記憶部は、画素算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶する。
例えば、遮光膜が形成された複数の撮像素子21−1〜21−8はそれぞれ、
遮光膜が形成された複数の撮像素子の縦方向に配列された画素取得領域の少なくとも一列分と横方向に配列された画素取得領域の少なくとも一列分とを、
縦方向に、横方向に配列された一列の画素取得領域の各々を遮光していない状態から1画素に相当する領域分を遮光する直前の状態まで、
横方向に、縦方向に配列された一列の画素取得領域の各々を遮光していない状態から1画素に対応する領域分を遮光する直前の状態まで、
横方向に配列された一列と縦方向に配列された一列の交わる画素取得領域P(1,1)を、X、Yを所定の自然数として、1画素のXにYを乗じて得られた整数分の一の単位で縦横に網目状に形成された小領域(本実施の形態では、画素取得領域P(1,1)を9分割した領域であって、図3の点線で示される小領域)が一つずつ、遮光していない状態から1画素のXにYを乗じて得られた整数分の一の画素分を残して遮光する状態となるまで、撮像素子を異なって遮光するように異なる遮光膜26−1〜26−8が形成されている。
画素算出部は、複数の撮像素子の各々が駆動部によって撮像位置に配置されるごとに撮像によって得られる、撮像素子からの情報に基づいて、被写体の一部に対応する画素情報を1画素のXにYを乗じて得られた整数分の一の単位で算出する。
したがって、受光素子の画素密度を増加させることなく、また、画像を繋ぎ合わせる必要もなく、一層微細な被写体の画素情報を得ることができる。すなわち、低画素のイメージセンサを用いて高画素の画像を取得できる。よって本実施の形態の撮像装置10は、低コストで、解像度の高い画像を取得することができる。
本実施の形態の撮像装置10では、複数の撮像素子を選択的に差し替えるだけでよいので、撮像する被写体を複数の部分に分割し、撮像素子を移動させながら被写体の部分ごとに複数回撮影を繰り返す従来の方法と比べて、処理は非常に簡便である。したがって、本発明によると、受光素子の移動に要する時間を短くして、撮像に要する全体の時間を短縮して解像度の高い画像を取得することができる。
複数の撮像素子の各々は、縦方向及び横方向に配列された複数の画素取得領域であって、複数の画素取得領域の各々は、被写体からの入射光を変換して1画素分の信号電荷を生成する複数の画素取得領域(P(1,1)、〜P(i,j))。複数の撮像素子(21A〜21D)は、遮光されていない撮像素子と、撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ撮像素子を異なって遮光するように異なる遮光膜が形成された撮像素子を1以上含めばよい。
制御部4は、かかる複数の撮像素子の各々が駆動部によって撮像位置に配置されるごとに撮像によって得られる、複数の撮像素子の各々が生成する信号電荷に基づいて、被写体の一部に対応する画素情報を1画素より小さい単位で算出し、画素情報記憶部は、画素算出部によって算出された画素情報を被写体の位置と対応付けて画像情報として記憶することができる。
遮光膜が形成された複数の撮像素子は、遮光膜が形成された複数の撮像素子の縦方向に配列された画素取得領域の少なくとも一列分と横方向に配列された画素取得領域の少なくとも一列分とを、X、Yを所定の自然数として、縦方向及び横方向にそれぞれ1画素のX分の1及び1画素のY分の1に相当する単位で、縦方向に、1画素のXにYを乗じて得られた整数分の1画素分に対応する領域から1画素に対応する領域を遮光する直前の状態まで、横方向に、1画素のXにYを乗じて得られた整数分の1画素分に対応する領域から1画素に対応する領域を遮光する直前の状態まで、撮像素子を異なって遮光するように異なる遮光膜が形成されていればよい。
制御部4は、このように構成された複数の撮像素子の各々が駆動部によって撮像位置に配置される都度、撮像を行う。制御部4は、こうして複数の撮像素子を差し替えながら配置して、撮像素子が生成する信号電荷と基づいて、被写体の一部に対応する画素情報を1画素のXにYを乗じて得られた整数分の一の単位で算出することができる。
以上説明したように、遮光膜が形成された撮像素子を交換することによって、サブピクセルの単位で画素情報を取得することができる。
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
また、上述の実施の形態では、被写体5を、1画素を4分割又は9分割したサブピクセルの精度で撮影する場合について説明したが、本発明はこれに限定されない。
例えば、Mを任意の自然数とすると、撮像素子の1画素分の画素情報を取得する画素取得領域(P(1,1)、〜P(i,j))の各々をM分の1画素分の入射光のみを入射し、残りの入射光を遮光する遮光板を複数用いて撮像する場合は、撮像素子の画素取得領域の各々について、M分の1画素分の入射光を入射する領域が異なるように形成した遮光板をM個用意する。被写体5をM個の撮像素子を差し替えながらM回撮像して、画素算出部の画素情報を足し合わせればよい。
例えば、Mを任意の自然数とすると、撮像素子の1画素分の画素情報を取得する画素取得領域(P(1,1)、〜P(i,j))の各々をM分の1画素分の入射光のみを入射し、残りの入射光を遮光する遮光板を移動させて撮像する場合は、撮像素子の画素取得領域の各々について、M分の1画素分の入射光を入射する領域が異なるように遮光板を移動させながら、被写体5をM回撮像して、画素算出部の画素情報を足し合わせればよい。
このように、Mを任意の自然数とすると、撮像素子の1画素分の画素情報を取得する画素取得領域(P(1,1)、〜P(i,j))の各々をM分の1画素分の入射光のみを入射し、残りの入射光を遮光する遮光膜を形成した撮像素子を用いて撮像する場合は、撮像素子の画素取得領域の各々について、M分の1画素分の入射光を入射する領域が異なるように遮光膜を形成した撮像素子をM個用意する。そして、被写体5をM個の撮像素子を差し替えながらM回撮像して、画素算出部の画素情報を足し合わせればよい。
また、図6に示す撮像素子21A乃至21Cと遮光膜26A乃至26Cとの関係から、遮光膜は、撮像素子21A乃至21Cに含まれる画素取得領域の一部、例えば、撮像素子21A乃至21Cの縦方向に配列された画素取得領域の少なくとも一列分と、撮像素子の横方向に配列された画素取得領域の少なくとも一列分とを遮光するように形成する必要があることがわかる。
さらに、図8に示す撮像素子21−1乃至21−9と遮光膜26−1乃至26―9との関係から、遮光膜は、撮像素子21−1乃至21−9の縦方向に配列された画素取得領域の少なくとも一列分と、撮像素子の横方向に配列された画素取得領域の少なくとも一列分とを遮光するように形成する必要があることがわかる。ここで、縦方向に配列された画素取得領域の少なくとも一列分、又は、横方向に配列された画素取得領域の少なくとも一列とは、必ずしも、図6又は図8に示すように、遮光される領域が直線で一列を形成する必要もない。
すなわち、X、Yを所定の自然数とすると、縦方向及び横方向にそれぞれ1画素のX分の1及び1画素のY分の1に相当する単位で、縦方向に、1画素のXにYを乗じて得られた整数分の1画素分に対応する領域から1画素に対応する領域を遮光する状態まで、横方向に、1画素のXにYを乗じて得られた整数分の1画素分に対応する領域から1画素に対応する領域を遮光する状態まで、撮像素子を遮光するように形成すればよい。
制御部4は、このように構成された複数の撮像素子の各々が駆動部によって撮像位置に配置される都度、撮像を行う。制御部4は、こうして複数の撮像素子を差し替えながら配置して、撮像素子が生成する信号電荷と基づいて、被写体の一部に対応する画素情報を1画素のXにYを乗じて得られた整数分の一の単位で算出することができる。撮像素子の画素数を増やすことなく、1画素の任意の数分の一の単位で画素情報を得ることができる。すなわち、低画素のイメージセンサを用いて高画素の画像を取得できる。よって低コストで、解像度の高い画像を取得することができる。
本発明は、ワークの位置を測定するための装置のみならず、撮像素子を備えた電子機器一般に適用することができる。上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパソコンであってもよい。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
21、21A〜21D、21−1〜21―9 撮像素子
2 撮像部
3 駆動部
4 制御部(画素算出部)
5 被写体
26、26A〜26D、26−1〜26―8 遮光板
7 記憶部(画素情報記憶部)
8 表示部
10 撮像装置

Claims (5)

  1. 複数の撮像素子と、
    前記複数の撮像素子から順番に撮像素子を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する駆動部と、
    前記駆動部によって前記複数の撮像素子のうちの1枚の撮像素子が前記撮像位置に配置されるごとに撮像によって得られる前記撮像素子からの情報に基づき、画素情報を算出する画素算出部と、
    前記画素算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画素情報記憶部と、を備えた撮像装置であって、
    前記複数の撮像素子の各々は、縦方向及び横方向に配列された複数の画素取得領域を有し、前記複数の画素取得領域の各々は、被写体からの入射光を変換して1画素分の画素情報を取得するように構成されており、
    前記複数の撮像素子は、
    遮光されていない撮像素子と、
    前記撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素の任意の数分の1遮光した撮像素子から、1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ異なって前記撮像素子を異なって遮光するように異なる遮光膜が形成された複数の撮像素子と、を含み、
    前記画素算出部は、前記複数の撮像素子の各々が前記駆動部によって撮像位置に配置されるごとに撮像によって得られる、前記複数の撮像素子の各々からの画素情報に基づいて、
    被写体の画素情報を1画素より小さい単位で算出し、
    前記画素情報記憶部は、前記画素算出部によって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する、撮像装置。
  2. 前記駆動部は、前記1枚の撮像素子を前記撮像位置に配置した後に、さらに、前記1枚の撮像素子を、被写体からの入射光に対して垂直な面の方向に1画素の任意の数分の1に相当する単位ずつ所定の位置に移動させることを特徴とする、請求項1記載の撮像装置。
  3. 前記遮光膜が形成された複数の撮像素子はそれぞれ、
    前記遮光膜が形成された複数の撮像素子の縦方向に配列された画素取得領域の少なくとも一列分と横方向に配列された画素取得領域の少なくとも一列分とを、
    前記縦方向に、前記横方向に配列された一列の画素取得領域の各々を遮光していない状態から1画素に相当する領域分を遮光する直前の状態まで、
    前記横方向に、前記縦方向に配列された一列の画素取得領域の各々を遮光していない状態から1画素に対応する領域分を遮光する直前の状態まで、
    前記横方向に配列された一列と前記縦方向に配列された一列の交わる画素取得領域を、X、Yを所定の自然数として、1画素のXにYを乗じて得られた整数分の一の単位で縦横に網目状に形成された小領域が一つずつ、遮光していない状態から1画素のXにYを乗じて得られた整数分の一の画素分を残して遮光する状態となるまで、前記撮像素子を異なって遮光するように異なる遮光膜が形成され、
    前記画素算出部は、前記複数の撮像素子の各々が前記駆動部によって撮像位置に配置されるごとに撮像によって得られる、前記撮像素子からの情報に基づいて、
    被写体の一部に対応する画素情報を1画素のXにYを乗じて得られた整数分の一の単位で算出することを特徴とする、請求項1記載の撮像装置。
  4. 複数の撮像素子を用いて被写体を撮像する撮像方法であって、
    前記複数の撮像素子から順番に撮像素子を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する移動ステップと、
    前記移動ステップによって前記複数の撮像素子のうちの1枚の撮像素子が前記撮像位置に配置されるごとに撮像によって得られる前記撮像素子からの情報に基づき、画素情報を算出する画素算出ステップと、
    前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画素情報記憶ステップと、を含み、
    前記複数の撮像素子の各々は、縦方向及び横方向に配列された複数の画素取得領域を有し、前記複数の画素取得領域の各々は、被写体からの入射光を変換して1画素分の画素情報を取得するように構成されており、
    前記複数の撮像素子は、
    遮光されていない撮像素子と、
    前記撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素の任意の数分の1遮光した撮像素子から、1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ異なって前記撮像素子を異なって遮光するように異なる遮光膜が形成された複数の撮像素子と、を含み、
    前記画素算出ステップは、前記複数の撮像素子の各々が前記移動ステップによって撮像位置に配置されるごとに撮像によって得られる、前記複数の撮像素子の各々からの画素情報に基づいて、
    被写体の画素情報を1画素より小さい単位で算出するステップを含み、
    前記画素情報記憶ステップは、前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップを含むことを特徴とする、撮像方法。
  5. 複数の撮像素子を制御するコンピュータに、
    前記複数の撮像素子から順番に撮像素子を1枚ずつ駆動して、被写体を撮像する撮像位置に配置する移動ステップと、
    前記移動ステップによって前記複数の撮像素子のうちの1枚の撮像素子が前記撮像位置に配置されるごとに撮像によって得られる前記撮像素子からの情報に基づき、画素情報を算出する画素算出ステップと、
    前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶する画素情報記憶ステップと、を実行させる撮像プログラムであって、
    前記複数の撮像素子の各々は、縦方向及び横方向に配列された複数の画素取得領域を有し、前記複数の画素取得領域の各々は、被写体からの入射光を変換して1画素分の画素情報を取得するように構成されており、
    前記複数の撮像素子は、
    遮光されていない撮像素子と、
    前記撮像素子の縦方向及び横方向に配列された画素取得領域の少なくとも一部の画素取得領域について1画素の任意の数分の1遮光した撮像素子から、1画素分遮光される直前まで、1画素の任意の数分の1に相当する単位ずつ異なって前記撮像素子を異なって遮光するように異なる遮光膜が形成された複数の撮像素子と、を含み、
    前記画素算出ステップは、前記複数の撮像素子の各々が前記移動ステップによって撮像位置に配置されるごとに撮像によって得られる、前記複数の撮像素子の各々からの画素情報に基づいて、
    被写体の画素情報を1画素より小さい単位で算出するステップを含み、
    前記画素情報記憶ステップは、前記画素算出ステップによって算出された画素情報を前記被写体の位置と対応付けて画像情報として記憶するステップを含むことを特徴とする、撮像プログラム。
JP2010217695A 2010-04-30 2010-09-28 撮像装置、撮像方法、及び撮像プログラム Pending JP2012074893A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010217695A JP2012074893A (ja) 2010-09-28 2010-09-28 撮像装置、撮像方法、及び撮像プログラム
EP11163661A EP2385698A3 (en) 2010-04-30 2011-04-26 Imaging apparatus, imaging method, and imaging program
US13/096,210 US20110266416A1 (en) 2010-04-30 2011-04-28 Imaging apparatus, imaging method, and imaging program
CN2011101148638A CN102238323A (zh) 2010-04-30 2011-04-29 摄像装置、摄像方法及摄像程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010217695A JP2012074893A (ja) 2010-09-28 2010-09-28 撮像装置、撮像方法、及び撮像プログラム

Publications (1)

Publication Number Publication Date
JP2012074893A true JP2012074893A (ja) 2012-04-12

Family

ID=46170653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010217695A Pending JP2012074893A (ja) 2010-04-30 2010-09-28 撮像装置、撮像方法、及び撮像プログラム

Country Status (1)

Country Link
JP (1) JP2012074893A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140146337A (ko) * 2013-06-17 2014-12-26 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140146337A (ko) * 2013-06-17 2014-12-26 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
KR102081087B1 (ko) * 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US10674104B2 (en) 2013-06-17 2020-06-02 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US11233964B2 (en) 2013-06-17 2022-01-25 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US11627271B2 (en) 2013-06-17 2023-04-11 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image
US11863894B2 (en) 2013-06-17 2024-01-02 Samsung Electronics Co., Ltd. Image adjustment apparatus and image sensor for synchronous image and asynchronous image

Similar Documents

Publication Publication Date Title
US8111982B2 (en) Imaging device and electronic camera
JP5490309B2 (ja) 撮像装置および測距装置
JP5589146B2 (ja) 撮像素子及び撮像装置
JP2012151774A (ja) 撮像素子および撮像装置
JP5361535B2 (ja) 撮像装置
JP6305006B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP2009205183A (ja) 撮像装置及び光軸制御方法
JP5597777B2 (ja) カラー撮像素子及び撮像装置
JP5490312B2 (ja) カラー撮像素子、撮像装置、及び撮像装置の制御プログラム
WO2011043051A1 (ja) 撮像装置および固体撮像素子
JP5539584B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP2010288083A (ja) 撮像装置
JP5475384B2 (ja) 撮像装置及び撮像方法
JPWO2012127702A1 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP2020126978A (ja) 撮像素子および撮像装置
US20110266416A1 (en) Imaging apparatus, imaging method, and imaging program
JP2017158018A (ja) 画像処理装置およびその制御方法、撮像装置
JP4724414B2 (ja) 撮像装置、デジタルカメラ、及びカラー画像データ生成方法
JP5539583B2 (ja) カラー撮像素子、撮像装置、及び撮像プログラム
JP6364259B2 (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP2014110619A (ja) 画像処理装置およびその制御方法、並びに撮像装置およびその制御方法
JP7007965B2 (ja) 撮像素子およびそれを有する電子機器
JP2012074893A (ja) 撮像装置、撮像方法、及び撮像プログラム
JP5698555B2 (ja) 撮像素子、撮像装置
JP2012074892A (ja) 撮像装置、撮像方法、及び撮像プログラム