JP2011205288A - 固体撮像装置およびテストチャート - Google Patents

固体撮像装置およびテストチャート Download PDF

Info

Publication number
JP2011205288A
JP2011205288A JP2010069345A JP2010069345A JP2011205288A JP 2011205288 A JP2011205288 A JP 2011205288A JP 2010069345 A JP2010069345 A JP 2010069345A JP 2010069345 A JP2010069345 A JP 2010069345A JP 2011205288 A JP2011205288 A JP 2011205288A
Authority
JP
Japan
Prior art keywords
pattern
pixel
image
correction parameter
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010069345A
Other languages
English (en)
Inventor
Kiyoshi Hidaka
喜代志 日高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010069345A priority Critical patent/JP2011205288A/ja
Priority to US13/023,825 priority patent/US8730370B2/en
Priority to TW100105796A priority patent/TWI496465B/zh
Priority to CN201110051981.9A priority patent/CN102202225B/zh
Publication of JP2011205288A publication Critical patent/JP2011205288A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14618Containers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device

Abstract

【課題】固体撮像装置から出力される画像のズレや歪みなどを補正する。
【解決手段】補正パラメータレジスタ9は、画像位置補正回路6にて用いられる補正パラメータを記憶し、画像位置補正回路6は、補正パラメータレジスタ9に記憶された補正パラメータに基づいて撮像画像の位置を画素ごとに補正する。固体撮像装置はイメージセンサとレンズとを一体的に保持する鏡筒とを備える。テストチャートは、少なくとも3方向に隣接する画素を有する第1のパターンと、第1のパターンと点対称な第2のパターンと、第1のパターン及び第2パターンの周囲に配置された外枠パターンとを備える。
【選択図】図1

Description

本発明は固体撮像装置およびテストチャートに関し、特に、固体撮像装置から出力される画像のズレや歪みなどを補正する方法に適用して好適なものである。
固体撮像装置では、イメージセンサが配置された鏡筒にレンズを固定し、イメージセンサとレンズとをモジュール化することにより、イメージセンサとレンズとを一体化することが行われている。
また、例えば、特許文献1には、プロジェクタから投射された投射画像の形状歪を、高精度に視覚的、定量的に認識することができるようにするために、投射画像の形状歪を補正するためのチャート画像を生成し、そのチャート画像をプロジェクタに投射させ、そのプロジェクタから投射された投射画像を撮像し、その撮像されたセンシング画像の解析を行って該センシング画像の座標を取得し、その解析されたセンシング画像と、チャート画像とをブレンドしたブレンド画像をプロジェクタに表示させる方法が開示されている。
しかしながら、イメージセンサとレンズとをモジュール化する場合、レンズや鏡筒の製造バラツキ、レンズの歪みやレンズの取り付け位置のバラツキなどによって、固体撮像装置から出力される画像にズレや歪みなどが発生するという問題があった。
また、特許文献1に開示された方法では、プロジェクタから投射された投射画像の形状歪を視覚的に認識することはできるが、プロジェクタから投射された投射画像のズレや歪みなどを補正することはできないという問題があった。
特開2009−49862号公報
本発明の目的は、固体撮像装置から出力される画像のズレや歪みなどを補正することが可能な固体撮像装置およびテストチャートを提供することである。
本発明の一態様によれば、撮像を行うイメージセンサと、前記イメージセンサにて撮像された撮像画像の位置を画素ごとに補正する補正パラメータを記憶する補正パラメータ記憶部と、前記補正パラメータに基づいて前記撮像画像の位置を画素ごとに補正する画像位置補正部とを備えることを特徴とする固体撮像装置を提供する。
本発明の一態様によれば、少なくとも3方向に隣接する画素を有する第1のパターンと、前記第1のパターンと点対称な第2のパターンと、前記第1のパターンおよび前記第2のパターンの周囲に配置された外枠パターンとを備えることを特徴とするテストチャートを提供する。
本発明によれば、固体撮像装置から出力される画像のズレや歪みなどを補正することが可能となる。
図1は、本発明の第1実施形態に係る固体撮像装置の概略構成を示すブロック図である。 図2(a)は、図1のテストチャートの概略構成の一例を示す平面図、図2(b)は、図1のテストチャートの撮像画像12´の一例を示す平面図である。 図3は、図1のテストチャートに用いられるマークのその他の例を示す図である。 図4は、図1のパーソナルコンピュータ1で行われるマーク位置検出方法を示すフローチャートである。 図5は、図2のテストチャートの撮像画像の検出位置を示す平面図である。 図6は、図4のマーク位置検出方法の具体的な処理を示すフローチャートである。 図7は、図6のマーク位置検出方法においてマーク位置と異なる位置にある画素が指定された時の積算対象となる画素を示す図である。 図8は、図6のマーク位置検出方法においてマーク位置と一致する位置にある画素が指定された時の積算対象となる画素を示す図である。 図9は、図4のマーク位置検出方法の右端位置検出の具体的な処理を示すフローチャートである。 図10は、図9の右端位置検出処理における画素の指定方法を示す図である。 図11は、図4のマーク位置検出方法の左端位置検出の具体的な処理を示すフローチャートである。 図12は、図4のマーク位置検出方法の上端位置検出の具体的な処理を示すフローチャートである。 図13は、図4のマーク位置検出方法の下端位置検出の具体的な処理を示すフローチャートである。 図14は、本発明の第2実施形態に係る固体撮像装置の概略構成を示す断面図である。 図15は、本発明の第3実施形態に係る固体撮像装置の概略構成を示すブロック図である。 図16は、本発明の第4実施形態に係る固体撮像装置の概略構成を示すブロック図である。
以下、本発明の実施形態に係る固体撮像装置について図面を参照しながら説明する。
(第1実施形態)
図1は、本発明の第1実施形態に係る固体撮像装置の概略構成を示すブロック図である。
図1において、固体撮像装置1には、イメージセンサ2、タイミング信号発生回路3、A/Dコンバータ4、信号処理回路5、画像位置補正回路6、映像信号インターフェース回路7、レジスタインターフェース8および補正パラメータレジスタ9が設けられている。
ここで、イメージセンサ2は撮像を行うことができ、画素がマトリックス状に配置された画素アレイ部が設けられている。タイミング信号発生回路3は、イメージセンサ2、A/Dコンバータ4、信号処理回路5、画像位置補正回路6および映像信号インターフェース回路7が協調して動作できるようにタイミング信号を発生させることができる。A/Dコンバータ4は、イメージセンサ2から出力された撮像信号をデジタル化することができる。信号処理回路5は、A/Dコンバータ4にてデジタル化された撮像信号の信号処理を行うことができる。画像位置補正回路6は、補正パラメータレジスタ9に記憶された補正パラメータに基づいて撮像画像の位置を画素ごとに補正することができる。映像信号インターフェース回路7は、固体撮像装置1と外部との間で映像信号の受け渡しを行うことができる。レジスタインターフェース8は、固体撮像装置1と外部との間で補正パラメータの受け渡しを行うことができる。補正パラメータレジスタ9は、画像位置補正回路6にて用いられる補正パラメータを記憶することができる。
ここで、画像位置補正回路6には、補正パラメータに基づいて撮像画像の位置を画素ごとに座標変換する座標変換部10が設けられている。なお、座標変換部10における座標変換としては、例えば、アフィン変換または射影変換を用いることができる。
また、イメージセンサ2の前方には、イメージセンサ2に光を入射させるレンズ11が配置されている。なお、図1の実施形態では、固体撮像装置1とは別個にレンズ11を設ける方法について説明したが、固体撮像装置1内にレンズ11を設けるようにしてもよい。
そして、補正パラメータレジスタ9に補正パラメータを記憶させる場合、映像信号インターフェース回路7をイメージキャプチャーボード13を介してパーソナルコンピュータ4の入力端子に接続するとともに、パーソナルコンピュータ4の出力端子をレジスタインターフェース8に接続した上で、固体撮像装置1にてテストチャート12´を撮像させる。
図2(a)は、図1のテストチャートの概略構成の一例を示す平面図、図2(b)は、図1のテストチャートの撮像画像12´の一例を示す平面図である。図2(a)において、テストチャート12´には、外枠パターン61´および第1のパターン62a´と第2のパターン62b´とを対としたマークが設けられている。外枠パターン61´は、テストチャート12´の周囲に配置することができ、矩形状に構成することができる。
第1のパターン62a´は、少なくとも3方向に隣接する画素を有するように構成することができる。第2のパターン62b´は、第1のパターン62a´と点対称な形状とすることができる。第1のパターン62a´は、三角形、四角形などの多角形であってもよいし、円形や楕円形であってもよい。また、第1のパターン62a´と第2のパターン62b´とは接していてもよいし離れていてもよい。第1のパターン62a´と第2のパターン62b´とは、互いに点対称な形状を含むならば互いに異なっていてもよい。
また、第1のパターン62a´と第2のパターン62b´とを対としたマークは、外枠パターン61´の内側に所定の間隔で横方向および縦方向に配列することができる。なお、図2の例では、横方向および縦方向にマークを5個ずつ配置し、テストチャート12´に25個のマークを設けた例を示した。
一方、図2(b)において、図2(a)のテストチャート12´を固体撮像装置1にて撮像すると、撮像画像12が固体撮像装置1から出力される。ここで、撮像画像12には、テストチャート12´の外枠パターン61´、第1のパターン62a´および第2のパターン62b´にそれぞれ対応して、撮像パターン61、62a、62bが形成される。
この撮像パターン61、62a、62bは、レンズ11の歪みやレンズ11の取り付け位置のバラツキなどによってズレや歪みなどが発生する。また、撮像画像12にぼやけが発生すると、撮像パターン61、62a、62bの境界では濃度が内側から外側に向かって徐々に薄くなる。
また、図1のパーソナルコンピュータ1には、端部位置検出部15、マーク位置検出部16および補正パラメータ算出部17が設けられている。端部位置検出部15は、撮像画像12の撮像パターン61を参照することにより、撮像画像12の端部位置を検出することができる。マーク位置検出部16は、撮像パターン62a、62bを参照することにより、マーク位置を検出することができる。補正パラメータ算出部17は、テストチャート12´のマーク位置および撮像画像12のマーク位置に基づいて補正パラメータを算出することができる。なお、補正パラメータ算出部17は、テストチャート12´のマーク位置は予め保持するようにしてもよい。
ここで、端部位置検出部15、マーク位置検出部16および補正パラメータ算出部17は、コンピュータプログラムにて実現することができる。そして、補正パラメータレジスタ9に補正パラメータを記憶させる場合、端部位置検出部15、マーク位置検出部16および補正パラメータ算出部17を実現するコンピュータプログラムをパーソナルコンピュータ1にインストールすることができる。
そして、固体撮像装置1にてテストチャート12´が撮像された場合、そのテストチャート12´の撮像画像12は画像位置補正回路6を通過し、映像信号インターフェース回路7を介してイメージキャプチャーボード13に送られる。そして、イメージキャプチャーボード13に送られた撮像画像12はイメージキャプチャーボード13にて保持され、パーソナルコンピュータ1に送られる。
そして、端部位置検出部15において撮像パターン61が参照されることで撮像画像12の端部位置が検出された後、マーク位置検出部16において撮像パターン62a、62bが参照されることでマーク位置が検出される。
そして、補正パラメータ算出部17において、テストチャート12´のマーク位置および撮像画像12のマーク位置に基づいて補正パラメータが算出され、その補正パラメータがレジスタインターフェース8を介して補正パラメータレジスタ9に送られることで補正パラメータレジスタ9に記憶される。
例えば、座標変換部10における座標変換がアフィン変換であるものとする。この場合、補正パラメータは、以下に示すように、アフィン変換行列MAで表すことができ、このアフィン変換行列Aの要素a〜fを補正パラメータレジスタ9に記憶することができる。
また、補正パラメータ算出部17には、テストチャート12´のマーク位置として座標行列MCを入力し、撮像画像12のマーク位置として座標行列MBを入力することができる。なお、座標行列MBは、撮像パターン62a、62bを参照することによりマーク位置検出部16にて算出することができる。
ただし、図2に示すように、テストチャート12´に25個のマークが設けられているものとすると、X〜X24は撮像画像12の各マークのX座標、Y〜Y24は撮像画像12の各マークのY座標、X´〜X24´はテストチャート12´の各マークのX座標、Y´〜Y24´はテストチャート12´の各マークのY座標を示す。
そして、座標行列MB、MCが補正パラメータ算出部17に入力されると、以下の(1)式〜(4)式の計算を行うことにより、アフィン変換行列MAを補正パラメータとして求めることができる。
ただし、Tは転置行列、−1は逆行列を示す。
なお、補正パラメータとしてはアフィン変換行列MA以外にも、以下に示すように射影変換行列MDを用いるようにしてもよい。
そして、補正パラメータが補正パラメータレジスタ9に記憶されると、イメージキャプチャーボード13およびパーソナルコンピュータ1が固体撮像装置1から取り外される。そして、固体撮像装置1にて被写体が撮像されると、その被写体の撮像画像が画像位置補正回路6に送られる。そして、補正パラメータレジスタ9に記憶された補正パラメータに従って撮像画像の画素の座標が変換されることで撮像画像の画素の位置が補正され、その補正された撮像画像が映像信号インターフェース回路7を介して出力される。
例えば、テストチャート12´のマーク位置が座標行列MCで表される場合、テストチャート12´のマーク位置に対応した撮像画像の25個分の画素の位置は座標行列MBで表すことができ、(1)式に従って補正される。また、撮像画像の任意の座標(x,y)は(5)式に従って座標(x´,y´)に補正される。このとき、補正された座標は整数にならない場合が多く、空白となる座標もあるので、補正後の全ての座標が埋まるよう補間処理をする必要がある。
これにより、固体撮像装置1から出力される撮像画像のズレや歪みなどを補正することが可能となり、レンズ11の歪みやレンズ11の取り付け位置のバラツキなどがある場合においても、撮像画像の品質の劣化を低減することができる。
なお、テストチャート12´のマークの個数を増やすことにより、アフィン変換行列Aを施すことで精度よく補正できる撮像画像の画素の個数が増えるため、撮像画像全体の補正精度を向上させることができる。ただし、テストチャート12´のマークの個数を増やすと、処理時間が増大するため、テストチャート12´のマークの個数は、処理時間と補正精度とが両立するように設定することが好ましい。
図3は、図1のテストチャートに用いられるマークのその他の例を示す図である。
図3(a)に示すように、第1のパターン63a´と第2のパターン63b´とを正方形で構成し、第1のパターン63a´と第2のパターン63b´とが離れるようにしてもよい。
また、図3(b)に示すように、第1のパターン64a´と第2のパターン64b´とを三角形で構成し、第1のパターン64a´と第2のパターン64b´とが1点で接するようにしてもよい。
また、図3(c)に示すように、第1のパターン65a´と第2のパターン65b´とを三角形で構成し、第1のパターン64a´と第2のパターン64b´とが離れるようにしてもよい。
また、図3(d)に示すように、第1のパターン66a´を正方形、第2のパターン66b´を三角形で構成し、第1のパターン66a´と第2のパターン66b´とが1点で接するようにしてもよい。
また、図3(e)に示すように、第1のパターン67a´を正方形、第2のパターン67b´を三角形で構成し、第1のパターン67a´と第2のパターン67b´とが離れるようにしてもよい。
また、図3(f)に示すように、第1のパターン68a´と第2のパターン68b´を円形で構成し、第1のパターン68a´と第2のパターン68b´とが左斜め方向に隣接するようにして、第1のパターン68a´と第2のパターン68b´とが離れるようにしてもよい。
また、図3(g)に示すように、第1のパターン69a´と第2のパターン69b´を円形で構成し、第1のパターン69a´と第2のパターン69b´と縦方向に隣接するようにして、第1のパターン69a´と第2のパターン69b´とが離れるようにしてもよい。
また、図3(h)に示すように、第1のパターン70a´と第2のパターン70b´を円形で構成し、第1のパターン70a´と第2のパターン70b´とが右斜め方向に隣接するようにして、第1のパターン70a´と第2のパターン70b´とが離れるようにしてもよい。
図4は、図1のパーソナルコンピュータ1で行われるマーク位置検出方法を示すフローチャート、図5は、図2のテストチャートの撮像画像の検出位置を示す平面図である。
図4および図5において、テストチャート12´の撮像画像12が1フレーム分のデータとして取得されると(ステップS1)、画面サイズからセンターマークの検出エリアEが指定される(ステップS2、S3)。なお、検出エリアEは、撮像画像12の中央のマークを含み、それ以外のマークが含まれないように指定することが好ましい。
次に、検出エリアEの撮像パターン62a、62bを参照することにより、センターマークのマーク位置P0を検出する(ステップS4)。なお、マーク位置P0は、撮像パターン62a、62bが点対称となるための画素の位置に対応させることができる。
次に、センターマークのマーク位置P0から右側に向かった時に撮像パターン61に突き当たる点を探索することにより、右端位置P1を検出する(ステップS5)。
次に、センターマークのマーク位置P0から左側に向かった時に撮像パターン61に突き当たる点を探索することにより、左端位置P2を検出する(ステップS6)。
次に、センターマークのマーク位置P0から上側に向かった時に撮像パターン61に突き当たる点を探索することにより、上端位置P3を検出する(ステップS7)。
次に、センターマークのマーク位置P0から下側に向かった時に撮像パターン61に突き当たる点を探索することにより、下端位置P4を検出する(ステップS8)。
次に、右端位置P1、左端位置P2、上端位置P3および下端位置P4に基づいて、撮像パターン61の内側を25個に等分し、撮像パターン61の内側を区画する。そして、その区画された領域内において1個の検出エリアに1個のマークが含まれるように各マークの検出エリアを設定する。
そして、各検出エリアの撮像パターン62a、62bを参照することにより、撮像画像12に含まれる全てのマークのマーク位置を検出し(ステップS9〜S11)、その検出結果を表示する(ステップS12)。
図6は、図4のマーク位置検出方法の具体的な処理を示すフローチャートである。
図6において、図4のステップS9で指定された検出エリア内の濃度の最大値および最小値を取得し、白黒の判定レベルを決定する(ステップS21)。
次に、検出エリア内の画素Z(座標:x、y)を指定する(ステップS22)。そして、画素Zに対して右上の画素A(座標:x+a、y−a)、右下の画素B(座標:x+a、y+a)、左上の画素C(座標:x−a、y−a)および左下の画素D(座標:x−a、y+a)を指定する(ステップS23〜S26)。なお、aは画素Zに対して画素A〜Dがどの程度離れているかを示す指標であり、例えば、a=3に設定することができる。
そして、画素A、Dが白、画素B、Cが黒かどうかを判断し(ステップS27)、画素A、Dが白、画素B、Cが黒でない場合は、画素A、Dが白、画素B、Cが黒になるまで画素Zの指定位置を変えて以上の処理を繰り返す(ステップS31)。
そして、画素A、Dが白、画素B、Cが黒になると、画素Zに対して点対称の画素の濃度データの差の二乗を積算する(ステップS28)。そして、その時の積算値をそれ以前に計算した積算値と比較し(ステップS29)、その時の積算値が最小の場合は、その時の画素Zの(座標:x、y)を保存する(ステップS30)。以上の処理を検出エリア内の全ての画素が画素Zとして指定されるまで繰り返す(ステップS31)。
図7は、図6のマーク位置検出方法においてマーク位置と異なる位置にある画素が指定された時の積算対象となる画素を示す図である。
図7(a)において、マーク位置P0と異なる位置の画素が画素Zとして指定されたものとする。この場合、図7(b)に示すように、画素Zに対して点対称となる一方のパターンの画素K〜N、P〜Tは全て撮像パターン62aに含まれる。これに対して画素Zに対して点対称となる他方のパターンの画素A〜H、Jは一部が撮像パターン62bからはみ出す。
このため、この時の画素Zに対して点対称となるパターンの画素間で濃度データの差の二乗を積算すると、その時の積算値は、画素A〜H、Jが撮像パターン62bからはみ出した分だけ大きな値になる。
図8は、図6のマーク位置検出方法においてマーク位置と一致する位置にある画素が指定された時の積算対象となる画素を示す図である。
図8(a)において、マーク位置P0と一致する位置の画素が画素Zとして指定されたものとする。この場合、図8(b)に示すように、画素Zに対して点対称となる一方のパターンの画素K〜N、P〜Tは全て撮像パターン62aに含まれる。また、画素Zに対して点対称となる他方のパターンの画素A〜H、Jは全て撮像パターン62bに含まれる。
このため、この時の画素Zに対して点対称となるパターンの画素間で濃度データの差の二乗を積算すると、その時の積算値は、画素A〜H、Jが撮像パターン62bからはみ出した場合に比べて小さな値になる。
このため、画素Zに対して点対称の画素の濃度データの差の二乗を積算し、その時の積算値が最小となる画素Zの位置を検出することにより、各検出エリアのマーク位置を求めることができる。
図9は、図4のマーク位置検出方法の右端位置検出の具体的な処理を示すフローチャート、図10は、図9の右端位置検出処理における画素の指定方法を示す図である。
図9において、右端位置P1の近傍に検出エリアを設定する(ステップS41)。なお、センターマークのマーク位置P0と画面サイズとから、検出エリアの右側にマークがこないように検出エリアを設定することができる。
次に、図10(a)に示すように、検出エリア内の画素Z(座標:x、y)を指定する(ステップS42)。そして、画素Zに対して右側の画素A(座標:x+b、y)を指定する(ステップS43)。なお、bは画素Zに対して画素Aがどの程度離れているかを示す指標であり、例えば、b=4に設定することができる。
次に、図10(b)に示すように、画素Zの位置を右に1画素分だけずらしながら、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きいかを判断する(ステップS44、S45)。なお、重みCは、例えば、0.6に設定することができる。そして、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きくなった時の画素Zの座標を保存する(ステップS46)。
図11は、図4のマーク位置検出方法の左端位置検出の具体的な処理を示すフローチャートである。
図11において、左端位置P2の近傍に検出エリアを設定する(ステップS51)。なお、センターマークのマーク位置P0と画面サイズとから、検出エリアの左側にマークがこないように検出エリアを設定することができる。
次に、検出エリア内の画素Z(座標:x、y)を指定する(ステップS52)。そして、画素Zに対して左側の画素A(座標:x−b、y)を指定する(ステップS53)。なお、例えば、b=4に設定することができる。
次に、画素Zの位置を左に1画素分だけずらしながら、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きいかを判断する(ステップS54、S55)。なお、重みCは、例えば、0.6に設定することができる。そして、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きくなった時の画素Zの座標を保存する(ステップS56)。
図12は、図4のマーク位置検出方法の上端位置検出の具体的な処理を示すフローチャートである。
図12において、上端位置P3の近傍に検出エリアを設定する(ステップS61)。なお、センターマークのマーク位置P0と画面サイズとから、検出エリアの上側にマークがこないように検出エリアを設定することができる。
次に、検出エリア内の画素Z(座標:x、y)を指定する(ステップS62)。そして、画素Zに対して上側の画素A(座標:x、y+b)を指定する(ステップS63)。なお、例えば、b=4に設定することができる。
次に、画素Zの位置を上に1画素分だけずらしながら、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きいかを判断する(ステップS64、S65)。なお、重みCは、例えば、0.6に設定することができる。そして、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きくなった時の画素Zの座標を保存する(ステップS66)。
図13は、図4のマーク位置検出方法の下端位置検出の具体的な処理を示すフローチャートである。
図13において、下端位置P4の近傍に検出エリアを設定する(ステップS71)。なお、センターマークのマーク位置P0と画面サイズとから、検出エリアの下側にマークがこないように検出エリアを設定することができる。
次に、検出エリア内の画素Z(座標:x、y)を指定する(ステップS72)。そして、画素Zに対して下側の画素A(座標:x−b、y)を指定する(ステップS73)。なお、例えば、b=4に設定することができる。
次に、画素Zの位置を下に1画素分だけずらしながら、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きいかを判断する(ステップS74、S75)。なお、重みCは、例えば、0.6に設定することができる。そして、それまで指定された画素Zの濃度データの平均値に重みCを付けた値が画素Aの濃度より大きくなった時の画素Zの座標を保存する(ステップS76)。
ここで、テストチャート12´に配置されるマークを互いに点対称な第1のパターン62a´と第2のパターン62b´とで構成し、撮像パターン62a、62bを点対称とさせる中心点を検出することにより、撮像パターン62a、62bがぼやけた場合においても、中心点を精度よく検出させることが可能となり、補正パラメータの算出精度を向上させることができる。
また、テストチャート12´に配置されるマークを互いに点対称な第1のパターン62a´と第2のパターン62b´とで構成することにより、中心点の検出に用いられるマークをテストチャート12´に離散的に配置することができる。このため、中心点を検出するために撮像画像12の一端から他端まで画素を辿る必要がなくなり、処理にかかる負荷を低減させることができる。
(第2実施形態)
図14は、本発明の第2実施形態に係る固体撮像装置の概略構成を示す断面図である。
図14において、半導体チップ101にはイメージセンサ2が形成され、半導体チップ101の周辺にはパッド電極103が形成されている。なお、半導体チップ101には、図1のタイミング信号発生回路3、A/Dコンバータ4、信号処理回路5、画像位置補正回路6、映像信号インターフェース回路7、レジスタインターフェース8および補正パラメータレジスタ9を形成するようにしてもよい。
一方、マザー基板104上には、ランド電極105が形成されている。そして、半導体チップ101がマザー基板104上に実装され、パッド電極103とランド電極105はボンディングワイヤ106を介して接続されている。そして、マザー基板104上には、半導体チップ101が囲まれるようにして鏡筒107が配置されている。そして、フィルタ板108およびレンズ109が鏡筒107にて半導体チップ101上に保持されることで、半導体チップ101、フィルタ板108およびレンズ109がモジュール化されている。
(第3実施形態)
図15は、本発明の第3実施形態に係る固体撮像装置の概略構成を示すブロック図である。
図15において、固体撮像装置21aには、イメージセンサ22a、タイミング信号発生回路23a、A/Dコンバータ24a、信号処理回路25a、画像位置補正回路26a、映像信号インターフェース回路27a、レジスタインターフェース28aおよび補正パラメータレジスタ29aが設けられている。そして、画像位置補正回路26aには座標変換部30aが設けられている。ここで、イメージセンサ22aの前方にはレンズ31aが配置されている。
固体撮像装置21bには、イメージセンサ22b、タイミング信号発生回路23b、A/Dコンバータ24b、信号処理回路25b、画像位置補正回路26b、映像信号インターフェース回路27b、レジスタインターフェース28bおよび補正パラメータレジスタ29bが設けられている。そして、画像位置補正回路26a、26bには、補正パラメータに基づいて撮像画像の位置を画素ごとに座標変換する座標変換部30a、30bがそれぞれ設けられている。
なお、固体撮像装置21a、21bは、図1の固体撮像装置1と同様に動作することができる。ここで、補正パラメータレジスタ29a、29bに補正パラメータを記憶させる場合、イメージセンサ22a、22bにて1枚のテストチャート12´を同時に撮像させることができる。
そして、補正パラメータレジスタ29aには、イメージセンサ22aで撮像された撮像画像12aに対して算出された補正パラメータが記憶される。そして、画像位置補正回路26aにおいて、補正パラメータレジスタ29aに記憶された補正パラメータに基づいて撮像画像の位置が画素ごとに補正される。
また、補正パラメータレジスタ29bには、イメージセンサ22bで撮像された撮像画像12bに対して算出された補正パラメータが記憶される。そして、画像位置補正回路26bにおいて、補正パラメータレジスタ29bに記憶された補正パラメータに基づいて撮像画像の位置が画素ごとに補正される。
これにより、固体撮像装置21a、21bごとにレンズ31a、31bの歪みやレンズ31a、31bの取り付け位置が異なる場合においても、各レンズ31a、31bの歪みやレンズ31a、31bの取り付け位置のバラツキに応じて、固体撮像装置21a、21bから出力される撮像画像のズレや歪みや視差などを補正することが可能となり、複数の固体撮像装置21a、21bの撮像画像を合成する場合においても、合成画像の品質の劣化を低減することができる。
なお、図1の実施形態では、テストチャート12´のマーク位置が基準となるように補正パラメータを算出する方法について説明したが、固体撮像装置21a、21bのいずれか一方の撮像画像12a、12aのマーク位置が基準となるように補正パラメータを算出するようにしてもよい。
(第4実施形態)
図16は、本発明の第4実施形態に係る固体撮像装置の概略構成を示すブロック図である。
図16において、固体撮像装置41には、イメージセンサ42a、42b、タイミング信号発生回路43、A/Dコンバータ44a、44b、信号処理回路45a、45b、画像位置補正回路46a、46b、映像信号インターフェース回路47、レジスタインターフェース48および補正パラメータレジスタ49が設けられている。そして、画像位置補正回路46a、46bには座標変換部50a、50bがそれぞれ設けられている。ここで、イメージセンサ42a、42bの前方にはレンズ51a、51bがそれぞれ配置されている。
なお、固体撮像装置41は、図15の固体撮像装置21a、21bと同様に動作することができる。ここで、補正パラメータレジスタ49に補正パラメータを記憶させる場合、イメージセンサ42a、42bにて1枚のテストチャート12´を同時に撮像させることができる。そして、補正パラメータレジスタ49には、イメージセンサ42a、42bでそれぞれ撮像された撮像画像12a、12bに対して算出された補正パラメータが記憶される。
これにより、イメージセンサ42a、42bごとにレンズ51a、51bの歪みやレンズ51a、51bの取り付け位置が異なる場合においても、各レンズ51a、51bの歪みやレンズ51a、51bの取り付け位置のバラツキに応じて、固体撮像装置41から出力される複数の撮像画像のズレや歪みや視差などを補正することが可能となり、固体撮像装置41の複数の撮像画像を合成する場合においても、合成画像の品質の劣化を低減することができる。
なお、図1の実施形態では、テストチャート12´のマーク位置が基準となるように補正パラメータを算出する方法について説明したが、固体撮像装置41のいずれか一方の撮像画像12a、12aのマーク位置が基準となるように補正パラメータを算出するようにしてもよい。
1、21a、21b、41 固体撮像装置、2、22a、22b、42a、42b イメージセンサ、3、23a、23b、43 タイミング信号発生回路、4、24a、24b、44a、44b A/Dコンバータ、5、25a、25b、45a、45b 信号処理回路、6、26a、26b、46a、46b 画像位置補正回路、7、27a、27b、47 映像信号インターフェース回路、8、28a、28b、48 レジスタインターフェース、9、29a、29b、49 補正パラメータレジスタ、10、30a、30b、50a、50b 座標変換部、11、31a、31b、51a、51b、109 レンズ、12´ テストチャート、12 撮像画像、61、62a、62b 撮像パターン、13 イメージキャプチャーボード、14 パーソナルコンピュータ、15 端部位置検出部、16 マーク位置検出部、17 補正パラメータ算出部、61´ 外枠パターン、62a´〜70a´ 第1のパターン、62b´〜70b´ 第2のパターン、101 半導体チップ、103 パッド電極、104 マザー基板、105 ランド電極、106 ボンディングワイヤ、107 鏡筒、108 フィルタ板

Claims (5)

  1. 撮像を行うイメージセンサと、
    前記イメージセンサにて撮像された撮像画像の位置を画素ごとに補正する補正パラメータを記憶する補正パラメータ記憶部と、
    前記補正パラメータに基づいて前記撮像画像の位置を画素ごとに補正する画像位置補正部とを備えることを特徴とする固体撮像装置。
  2. 前記画像位置補正部は、前記補正パラメータに基づいて、前記撮像画像の位置を画素ごとに座標変換する座標変換部を備えることを特徴とする請求項1に記載の固体撮像装置。
  3. 前記イメージセンサに光を入射させるレンズと、
    前記イメージセンサと前記レンズとを一体的に保持する鏡筒とを備えることを特徴とする請求項1または2に記載の固体撮像装置。
  4. 少なくとも3方向に隣接する画素を有する第1のパターンと、
    前記第1のパターンと点対称な第2のパターンと、
    前記第1のパターンおよび前記第2のパターンの周囲に配置された外枠パターンとを備えることを特徴とするテストチャート。
  5. 前記第1のパターンと前記第2のパターンとの対が前記外枠パターンの内側に所定の間隔で横方向および縦方向に配列されていることを特徴とする請求項4に記載のテストチャート。
JP2010069345A 2010-03-25 2010-03-25 固体撮像装置およびテストチャート Pending JP2011205288A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010069345A JP2011205288A (ja) 2010-03-25 2010-03-25 固体撮像装置およびテストチャート
US13/023,825 US8730370B2 (en) 2010-03-25 2011-02-09 Solid-state imaging device having image pixel position correction to reduce shape distortion
TW100105796A TWI496465B (zh) 2010-03-25 2011-02-22 固態攝像裝置
CN201110051981.9A CN102202225B (zh) 2010-03-25 2011-03-03 固体摄像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010069345A JP2011205288A (ja) 2010-03-25 2010-03-25 固体撮像装置およびテストチャート

Publications (1)

Publication Number Publication Date
JP2011205288A true JP2011205288A (ja) 2011-10-13

Family

ID=44656021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010069345A Pending JP2011205288A (ja) 2010-03-25 2010-03-25 固体撮像装置およびテストチャート

Country Status (4)

Country Link
US (1) US8730370B2 (ja)
JP (1) JP2011205288A (ja)
CN (1) CN102202225B (ja)
TW (1) TWI496465B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017201795A (ja) * 2012-01-18 2017-11-09 株式会社半導体エネルギー研究所 半導体装置
CN107734238A (zh) * 2017-11-22 2018-02-23 信利光电股份有限公司 一种多摄像头模组和拍摄方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060012A (ja) * 2013-09-17 2015-03-30 株式会社リコー 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100414083B1 (ko) * 1999-12-18 2004-01-07 엘지전자 주식회사 영상왜곡 보정방법 및 이를 이용한 영상표시기기
JP2003078811A (ja) 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> マーカ座標対応付け方法とカメラパラメータ取得方法とカメラパラメータ取得システムとキャリブレーションパターン
JP2004128730A (ja) 2002-09-30 2004-04-22 Sharp Corp 固体撮像装置及び非線形補正回路
JP3951984B2 (ja) * 2003-08-22 2007-08-01 日本電気株式会社 画像投影方法、及び画像投影装置
JP4089573B2 (ja) 2003-09-24 2008-05-28 ノーリツ鋼機株式会社 画像形成装置及び画像形成方法
JP4185468B2 (ja) * 2004-03-29 2008-11-26 富士フイルム株式会社 露光装置及び撮影画像の補正方法
JP5205865B2 (ja) 2007-08-22 2013-06-05 セイコーエプソン株式会社 投射画像の形状歪補正支援システム、投射画像の形状歪補正支援方法、及びプロジェクタ、並びにプログラム
JP5251202B2 (ja) * 2008-03-27 2013-07-31 セイコーエプソン株式会社 プロジェクタの投射画像の歪補正方法、及びプロジェクタ
JP4440341B2 (ja) 2008-05-19 2010-03-24 パナソニック株式会社 キャリブレーション方法、キャリブレーション装置及びその装置を備えるキャリブレーションシステム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350239A (ja) * 1999-06-08 2000-12-15 Sony Corp カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017201795A (ja) * 2012-01-18 2017-11-09 株式会社半導体エネルギー研究所 半導体装置
CN107734238A (zh) * 2017-11-22 2018-02-23 信利光电股份有限公司 一种多摄像头模组和拍摄方法

Also Published As

Publication number Publication date
CN102202225A (zh) 2011-09-28
US20110234860A1 (en) 2011-09-29
US8730370B2 (en) 2014-05-20
TW201143405A (en) 2011-12-01
CN102202225B (zh) 2014-12-17
TWI496465B (zh) 2015-08-11

Similar Documents

Publication Publication Date Title
US9407884B2 (en) Image pickup apparatus, control method therefore and storage medium employing phase difference pixels
WO2013099638A1 (ja) 撮像素子及び撮像装置
US8963910B2 (en) Pixel information management apparatus and image capture apparatus using the same
TW200803478A (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device and control program
JP5597777B2 (ja) カラー撮像素子及び撮像装置
JP2017118197A (ja) 画像処理装置、画像処理方法、および撮像装置
CN109313805A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
JP4866147B2 (ja) 画像シフト検出方法および装置および画像入力装置
JP6557499B2 (ja) 焦点検出装置およびその制御方法、撮像装置、プログラム、ならびに記憶媒体
JP2011205288A (ja) 固体撮像装置およびテストチャート
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP5786355B2 (ja) デフォーカス量検出装置および電子カメラ
KR20100046544A (ko) 영상 왜곡 보정 방법 및 장치
JP2013021636A (ja) 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
JP5309940B2 (ja) 画像処理装置、および撮像装置
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2010177832A (ja) 画像処理装置及び画像処理方法
JP5526984B2 (ja) 画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置
JP2021033857A (ja) 画像処理装置及び画像処理方法
JP2007194784A (ja) 画素位置取得方法、画像処理装置、画素位置取得方法をコンピュータ上で実行させるプログラム、及びこのプログラムが記録されたコンピュータ読み取り可能な記録媒体
JP5882785B2 (ja) 撮像装置
JP5057134B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2014154977A (ja) 画像処理装置、画像処理方法、および撮像装置
JP2019061035A (ja) 撮像装置及び撮像方法
CN209710210U (zh) 图像重新聚焦的控制系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121218