JP2011250177A - カメラモジュール及び画像記録方法 - Google Patents

カメラモジュール及び画像記録方法 Download PDF

Info

Publication number
JP2011250177A
JP2011250177A JP2010121758A JP2010121758A JP2011250177A JP 2011250177 A JP2011250177 A JP 2011250177A JP 2010121758 A JP2010121758 A JP 2010121758A JP 2010121758 A JP2010121758 A JP 2010121758A JP 2011250177 A JP2011250177 A JP 2011250177A
Authority
JP
Japan
Prior art keywords
camera module
sub
image
imaging
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010121758A
Other languages
English (en)
Inventor
Takayuki Ogasawara
隆行 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2010121758A priority Critical patent/JP2011250177A/ja
Priority to US13/049,455 priority patent/US9143762B2/en
Publication of JP2011250177A publication Critical patent/JP2011250177A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Abstract

【課題】高精細な3D立体視画像を得るためのカメラモジュール及び画像記録方法を提供すること。
【解決手段】カメラモジュールは、第1のサブカメラモジュール1と、第2のサブカメラモジュール2と、位置補正手段である撮像回路24と、を有する。第1のサブカメラモジュール1は、第1の撮像素子であるセンサ13と、第1の撮像光学系である撮像レンズ11とを備える。第2のサブカメラモジュール2は、第2の撮像素子であるセンサ23と、第2の撮像光学系である撮像レンズ21とを備える。第1のサブカメラモジュール1及び第2のサブカメラモジュール2のうち、第1のサブカメラモジュール1を基準として設定する場合に、位置補正手段は、第2のサブカメラモジュール2による撮像により取得された画像について、第1の撮像光学系及び第2の撮像光学系によるクロスポイントにおける位置を補正する。
【選択図】図1

Description

本発明の実施の形態は、カメラモジュール及び画像記録方法に関する。
従来、3D立体視画像の撮影は、3D専用のカメラモジュールや、一般的なカメラモジュールを複数台使用する等により実現している。しかしながら、3D専用のカメラモジュールは、開発コストや製造コストが大幅に増加する点が問題となる。カメラモジュールを複数台使用する方法では、カメラモジュールの製造時のバラつきが画質に大きく影響を及ぼす。このため、高精細な3D立体視画像を得るには、カメラモジュールの歩留まり低下の問題や、バラつきを抑えるための製造コストが大幅に増えてしまうという課題を抱えている。
特開平6−133339号公報
本発明の実施の形態は、高精細な3D立体視画像を得るためのカメラモジュール及び画像記録方法を提供することを目的とする。
実施の形態によれば、カメラモジュールは、第1のサブカメラモジュールと、第2のサブカメラモジュールと、位置補正手段と、を有する。第1のサブカメラモジュールは、第1の撮像素子と、第1の撮像光学系とを備える。第1の撮像光学系は、第1の撮像素子へ光を取り込む。第2のサブカメラモジュールは、第2の撮像素子と、第2の撮像光学系とを備える。第2の撮像光学系は、第2の撮像素子へ光を取り込む。第1のサブカメラモジュール及び第2のサブカメラモジュールのうち、第1のサブカメラモジュールを基準として設定する場合に、位置補正手段は、第2のサブカメラモジュールによる撮像により取得された画像について、第1の撮像光学系及び第2の撮像光学系によるクロスポイントにおける位置を補正する。
第1の実施の形態に係るカメラモジュールの構成を示すブロック図。 信号処理部による信号処理の手順を説明するフローチャート。 3D立体視画像の実現についての説明図。 3D立体視画像の実現についての説明図。 3D立体視画像の実現についての説明図。 3D立体視画像の実現についての説明図。 3D立体視画像の実現についての説明図。 補正係数を設定する手順を説明するフローチャート。 調整用チャートの例を示す図。 第2の実施の形態に係るカメラモジュールの構成を示すブロック図。 クロスポイントにおける各サブカメラモジュールの画像を一致させるための設定の手順を説明するフローチャート。 レンズ繰り出し量と被写体距離との関係の例を表すグラフ。
以下に添付図面を参照して、本発明の実施の形態に係るカメラモジュール及び画像記録方法を詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。
(第1の実施の形態)
図1は、第1の実施の形態に係るカメラモジュールの構成を示すブロック図である。カメラモジュールは、第1のサブカメラモジュール1と、第2のサブカメラモジュール2と、ISP(Image Signal Processor)3とを有する。
第1のサブカメラモジュール1は、撮像レンズ11、IRカットフィルタ12、センサ13及び撮像回路14を有する。撮像レンズ11は、被写体からの光をセンサ13へ取り込む第1の撮像光学系として機能する。IRカットフィルタ12は、撮像レンズ11により取り込まれた光から赤外光を除去する。センサ13は、撮像レンズ11により取り込まれた光を信号電荷に変換する第1の撮像素子として機能する。
撮像回路14は、赤色(R)、緑色(G)、青色(B)の画素値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成する。また、撮像回路14は、撮像条件に応じたゲインにてアナログ画像信号を順次増幅し、得られた画像信号をアナログ方式からデジタル方式へ変換する。
第2のサブカメラモジュール2は、撮像レンズ21、IRカットフィルタ22、センサ23、撮像回路24及びOTP(One Time Programmable memory)25を有する。撮像レンズ21は、被写体からの光をセンサ23へ取り込む第2の撮像光学系として機能する。IRカットフィルタ22は、撮像レンズ21により取り込まれた光から赤外光を除去する。センサ23は、撮像レンズ21により取り込まれた光を信号電荷に変換する第2の撮像素子として機能する。
撮像回路24は、R、G、Bの画素値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成する。また、撮像回路24は、撮像条件に応じたゲインにてアナログ画像信号を順次増幅し、得られた画像信号をアナログ方式からデジタル方式へ変換する。OTP25は、画像の座標変換のための補正係数を格納する。
ISP3は、第1のサブカメラモジュールI/F31、第2のサブカメラモジュールI/F32、画像取り込み部33、信号処理部34及びドライバI/F35を有する。第1のサブカメラモジュール1での撮像により得られたRAW画像は、第1のサブカメラモジュールI/F31から画像取り込み部33へ取り込まれる。第2のサブカメラモジュール2での撮像により得られたRAW画像は、第2のサブカメラモジュールI/F32から画像取り込み部33へ取り込まれる。
信号処理部34は、画像取り込み部33へ取り込まれたRAW画像について、信号処理を実施する。ドライバI/F35は、信号処理部34での信号処理を経た画像信号を、不図示の表示ドライバへ出力する。表示ドライバは、第1のサブカメラモジュール1による画像と、第2のサブカメラモジュール2による画像とを表示する。
図2は、信号処理部による信号処理の手順を説明するフローチャートである。信号処理部34は、第1のサブカメラモジュール1での撮像により得られたRAW画像、第2のサブカメラモジュール2での撮像により得られたRAW画像のそれぞれについて、シェーディング補正を実施する(ステップS1)。シェーディング補正では、撮像レンズ11、21に起因する中央部と周辺部との光量差による輝度ムラを補正する。
信号処理部34は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション(ステップS2)、解像度復元処理(ステップS3)、輪郭強調処理(ステップS4)を実施する。次に、信号処理部34は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理(デモザイキング)を施す(ステップS5)。デモザイキングでは、被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理部34は、デモザイキングにより、第1のサブカメラモジュール1、第2のサブカメラモジュール2のそれぞれについてカラー画像を合成する。
信号処理部34は、カラー画像に対して、ホワイトバランスの自動調整(Automatic White Balance control;AWB)を実施する(ステップS6)。さらに、信号処理部34は、色再現性を得るためのリニアカラーマトリクス処理(ステップS7)、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正(ステップS8)を実施する。なお、本実施の形態で説明する信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。各要素による信号処理は、第1のサブカメラモジュール1及び第2のサブカメラモジュール2と、ISP3とのいずれで実施することとしても良く、分担して実施することとしても良い。
図3から図7は、3D立体視画像の実現についての説明図である。例えば、図3に示す円αは、観察者の左目、右目のいずれからも、面A上の同じ位置に見えるものとする。円αは、左右の目による視差が無くなる位置(クロスポイント)にある。観察者から見て円αより手前に四角形βが存在するものと想定した場合、図4に示すように、面A上には、左目から四角形βを通過した視線の先に四角形βの像β1、右目から四角形βを通過した視線の先に四角形βの像β2が得られる。
観察者から見て円αより向こうに三角形γが存在するものと想定した場合、図5に示すように、面A上には、左目から三角形γに到達する視線上に三角形γの像γ1、右目から三角形γに到達する視線上に三角形γの像γ2が得られる。図6に示すように、面Aに、円αとともに各像β1、β2、γ1、γ2を表示すると、図3に示すように、円αの手前に四角形β、円αの向こうに三角形γが存在するような立体感や奥行き感を得ることができる。
図7に模式的に示すように、カメラモジュールは、左右に並列させた第1のサブカメラモジュール1と第2のサブカメラモジュール2とにより、右目用の画像と左目用の画像とを撮影し、立体視画像を得る。カメラモジュールは、撮像レンズ11と撮像レンズ21とにおける視差が無くなるクロスポイントにおいて、第1のサブカメラモジュール1で得られた画像と、第2のサブカメラモジュール2で得られた画像とが完全に一致することが望ましい。
これに対して、撮像レンズ11、21の製造時のバラつき、第1のサブカメラモジュール1及び第2のサブカメラモジュール2の取り付け誤差等の影響により、クロスポイントで左右の画像の大きなずれ、歪みが生じる場合、カメラモジュールは、高精細な3D立体視画像を得ることが困難となる。本実施の形態のカメラモジュールは、予め設定された補正係数を用いた座標変換の実施により、クロスポイントにおける画像の位置を補正する。
図8は、補正係数を設定する手順を説明するフローチャートである。補正係数の設定は、カメラモジュールの製造工程のうち、第1のサブカメラモジュール1及び第2のサブカメラモジュール2が取り付けられた以降の工程において実施される。ステップS11では、クロスポイントとなる被写体距離を決定する。ステップS12では、ステップS11で決定されたクロスポイント上に調整用チャートを配置し、第1のサブカメラモジュール1及び第2のサブカメラモジュール2により調整用チャートを撮影する。
図9は、調整用チャートの例を示す図である。調整用チャート40には、複数の調整用マーカー41が記されている。各調整用マーカー41は、互いに直交する2本の直線からなるマークであって、2本の直線の交点を座標とする。調整用マーカー41は、例えば、縦方向に5個、横方向に5個のマトリクス状に配置されている。調整用マーカー41は、例えば25個以上であることが望ましいが、複数であればいくつであっても良い。調整用マーカー41は、調整用チャート40上の位置を特定するものであれば良く、いずれの形状であっても良い。さらに、調整用マーカー41の配置も、適宜変更しても良い。例えば、特に高精細な撮影を望む範囲が存在するような場合は、その範囲に多くの調整用マーカー41を配置することとしても良い。
ステップS13では、第1のサブカメラモジュール1により取得されたRAW画像と、第2のサブカメラモジュール2により取得されたRAW画像とのそれぞれから、R、G、BのうちGの信号からなる画像(適宜、「G画像」と称する)を生成する。センサ13、23のうち、R用画素及びB用画素については、周囲のG用画素の信号値を補間することにより、Gの信号値を生成する。G画像は、G用画素の検出による信号値と、R用画素及びB用画素についての補間処理による信号値とを用いて生成する。なお、低照度での撮影の場合やセンサ13、23の感度が低い場合は、ノイズリダクションの実施後にG画像を生成しても良い。
ステップS14では、ステップS13で生成したG画像から、各調整用マーカー41の座標を算出する。ステップS15では、ステップS14で算出された調整用マーカー41の座標から、補正係数を算出する。補正係数は、第1のサブカメラモジュール1及び第2のサブカメラモジュール2のうち、第1のサブカメラモジュール1を基準として設定して算出する。ステップS16では、ステップS15で算出された補正係数を、第2のサブカメラモジュール2のOTP25へ書き込む。なお、補正係数は、後段のISP3へ書き込むこととしても良い。
補正係数は、行列演算の係数とする。補正係数は、例えば最小二乗法により、以下に示す式により求められる。
Y=kX
k=YX[XX−1
なお、kは補正係数、Y、Xはいずれも調整用マーカー41の座標であって、Yは第1のサブカメラモジュール1による画像から算出された座標、Xは第2のサブカメラモジュール2による画像から算出された座標とする。Xは、Xの転置行列とする。[XX−1は、XXの逆行列とする。補正係数は、最小二乗法により求める他、非線形最適化手法等、他のアルゴリズムを使用して求めることとしても良い。
第2のサブカメラモジュール2の撮像回路24(図1参照)は、カメラモジュールにより被写体を撮影する際、上述の手順により予め設定された補正係数をOTP25から読み出す。撮像回路24は、第2のサブカメラモジュール2で得られたRAW画像に対して、OTP25から読み出した補正係数を用いた座標変換を実施する。撮像回路24は、第2のサブカメラモジュール2により取得された画像について、クロスポイントにおける位置を補正する位置補正手段として機能する。
撮像回路24は、例えば、以下に示す演算により、座標変換を実施する。
Figure 2011250177
なお、kijは補正係数、(x,y)は補正前の座標、(x’,y’)は補正後の座標とする。カメラモジュールは、第2のサブカメラモジュール2で得られた画像に対して、補正係数を用いた座標変換を実施することで、第1のサブカメラモジュール1で得られた画像と、第2のサブカメラモジュール2で得られた画像とをクロスポイントにて一致させる。これにより、カメラモジュールは、複数台のサブカメラモジュールの構造について高度なバラつき調整を実施しなくても、本実施の形態により高精細な3D立体視画像を得ることが可能となる。
カメラモジュールは、座標変換により、画像の解像度の疎密を生じる場合がある。カメラモジュールは、座標変換により生じる「疎」の部分、即ち画素間隔が広くなる部分については、周辺画素の信号値の補間処理等を実施し、新たな画素を生成することとしても良い。これにより、均一で高品質な画像を得ることができる。
位置補正手段は、行列演算により一括して座標変換を実施する他、像高に応じて適宜変更された補正係数を用いた演算により、一部ずつの座標変換を実施しても良い。また、位置補正手段は、行列演算に代えて、例えば、ルックアップテーブルの参照による座標変換を行うこととしても良い。
カメラモジュールは、サブカメラモジュールによる撮像で得られたRAW画像からG画像を生成して補正係数を算出する場合に限られない。カメラモジュールは、例えば、信号処理部34におけるデモザイキングが実施された後の画像からG画像を抽出し、補正係数を算出しても良い。
本実施の形態では、同じ解像度のサブカメラモジュールからなるカメラモジュールの場合、複数のサブカメラモジュールのうちの任意の一つを基準として、それ以外のサブカメラモジュールについて座標変換を実施することにより、高精細な立体視画像を得るための調整ができる。
本実施の形態は、同じ解像度のサブカメラモジュールからなるカメラモジュールに限られず、互いに異なる解像度のサブカメラモジュールからなるカメラモジュールに適用しても良い。この場合、画素数が大きいほうのサブカメラモジュールの画像をスケーリングし、他方のサブカメラモジュールに合わせて画素数を圧縮することにより、本実施の形態と同様の座標変換を実施することとしても良い。
また、一般的に動画撮影の場合、動画は静止画より解像度が低いため、画像をスケーリングして使用する場合が考えられるが、レンズの中央に対応する部分をクロップ(切り取り)することとしても良い。レンズの中央に対応する部分の画像を使用することで、レンズの周辺部分に起因する歪みやシェーディングの影響を低減させ、さらに画質を向上させることが可能となる。
例えば、CSCM(Chip Scale Camera Module)等のウェハレベルカメラを使用する場合は、例えば3×1個、4×1個等のアレイとしてダイシングされたカメラアレイのうち両端に位置するカメラのみをサブカメラモジュールとして機能させることとしても良い。この場合も、3D立体視画像の撮影が可能であって、かつ、1個ずつダイシングしたウェハレベルカメラをさらに組み立てる場合に比べて製造を容易にできる。
図1に示す第1のサブカメラモジュール1及び第2のサブカメラモジュール2は、各々が信号処理部34を備えるものであっても良い。画像取り込み部33は、第1のサブカメラモジュール1の出力画像と第2のサブカメラモジュール2の出力画像とを比較し、違いがある場合には、フィードバック回路により第2のサブカメラモジュール2の出力画像を補正することが望ましい。
(第2の実施の形態)
図10は、第2の実施の形態に係るカメラモジュールの構成を示すブロック図である。本実施の形態のカメラモジュールは、オートフォーカス機能を有する。本実施の形態のカメラモジュールは、フォーカス調整のためのレンズ繰り出し量を調整することで、クロスポイントにおける各サブカメラモジュールの画像を一致させることを特徴とする。第1の実施の形態と同一の部分には同一の符号を付し、重複する説明を省略する。
第1のサブカメラモジュール51は、撮像レンズ11、IRカットフィルタ12、センサ13、撮像回路14及びフォーカス調整部52を有する。フォーカス調整部52は、撮像レンズ11と撮像レンズ21とをフォーカス調整するフォーカス調整手段として機能する。本実施の形態のカメラモジュールは、被写体距離に応じて予め設定されたオフセット値を撮像レンズ21のレンズ繰り出し量に加減して、撮像レンズ21の焦点をクロスポイントに一致させる調整を行う。
図11は、クロスポイントにおける各サブカメラモジュールの画像を一致させるための設定の手順を説明するフローチャートである。オフセット値及び補正係数の設定は、カメラモジュールの製造工程のうち、第1のサブカメラモジュール51及び第2のサブカメラモジュール2が取り付けられた以降の工程において実施される。
ステップS21では、基準とするサブカメラモジュールを決定する。ここでは、第1のサブカメラモジュール51及び第2のサブカメラモジュール2のうち、第1のサブカメラモジュール51を基準として設定する。ステップS22では、第1のサブカメラモジュール51の撮像レンズ11と第2のサブカメラモジュール2の撮像レンズ21とについて、レンズ繰り出し量と被写体距離との関係を求める。
図12は、レンズ繰り出し量と被写体距離との関係の例を表すグラフである。レンズ繰り出し量と被写体距離との関係は、第1のサブカメラモジュール51と第2のサブカメラモジュール2とのそれぞれについて、被写体距離を異ならせるごとにフォーカスを調整して、各被写体距離のレンズ繰り出し量をプロットすることにより求められる。なお、レンズ繰り出し量と被写体距離との関係は、各サブカメラモジュールを作成する段階でのチャート撮影により予め求められたものを流用することとしても良い。
ステップS23では、第1のサブカメラモジュール51の撮像レンズ11のレンズ繰り出し量に対して、第2のサブカメラモジュール2の撮像レンズ21のレンズ繰り出し量のオフセット値を算出する。オフセット値は、撮像レンズ11、21のレンズ繰り出し量の差分であって、例えば被写体距離に応じて変化する。フォーカス調整部52は、算出されたオフセット値を保持する。
ステップS24では、第2のサブカメラモジュール2で取得される画像について、被写体距離に応じた補正係数を算出する。補正係数は、被写体距離を例えば30cm、50cm、100cm、300cm及び無限等として算出する。補正係数を算出する被写体距離は、撮像レンズ11、21のレンズ特性に応じて適宜設定可能である。OTP25は、算出された補正係数を保持する。なお、補正係数は、後段のISP3で保持しても良い。
カメラモジュールにより被写体を撮影する際、フォーカス調整部52は、第1のサブカメラモジュール51に対して、フォーカス調整のためのレンズ繰り出し量を決定する。また、フォーカス調整部52は、第2のサブカメラモジュール2に対しては、第1のサブカメラモジュール51についてのレンズ繰り出し量に予め設定されたオフセット値を加減して、撮像レンズ21のレンズ繰り出し量を算出する。フォーカス調整部52は、第1のサブカメラモジュール51の撮像レンズ11のレンズ繰り出し量に応じて第2のサブカメラモジュール2の撮像レンズ21のレンズ繰り出し量を調整することで、撮像レンズ21の焦点をクロスポイントに一致させる。
カメラモジュールは、基準となるサブカメラモジュールのレンズ繰り出し量の決定に伴い、他のサブカメラモジュールのレンズ繰り出し量を一意に定めることができる。サブカメラモジュールごとの個別のフォーカス調整が不要となるため、フォーカス調整手段は基準となるサブカメラモジュールにのみ設ければ良いこととなる。これにより、サブカメラモジュールごとに個別のフォーカス調整手段を設ける場合に対して簡易な構成とし、かつサブカメラモジュール同士の焦点ずれを抑制できる。
また、第2のサブカメラモジュール2の撮像回路24は、第2のサブカメラモジュール2で得られたRAW画像に対して、被写体距離に応じた補正係数を用いた座標変換を実施する。撮影時の被写体距離が補正係数の算出の際の被写体距離と一致する場合、撮像回路24は、OTP25から読み出した補正係数を座標変換に使用する。撮影時の被写体距離が補正係数の算出の際の被写体距離と異なる場合、撮像回路24は、例えば、OTP25から読み出した補正係数を線形補間することで、撮影時の被写体距離に対応する補正係数を算出する。そして、撮像回路24は、算出した補正係数を座標変換に使用する。
カメラモジュールは、第1のサブカメラモジュール51と第2のサブカメラモジュール2とで、レンズ繰り出し量の調整によりサブカメラモジュール同士の焦点を一致させるとともに、クロスポイントにて画像を一致させる。これにより、カメラモジュールは、高精細な3D立体視画像を得ることが可能となる。
フォーカス調整手段は、レンズ繰り出し量の調整について、オフセット値の加減を適用する他、例えば、ルックアップテーブルの参照による数値変換等を適用することとしても良い。カメラモジュールは、各サブカメラモジュールにより取得された画像同士について、信号処理部34でのシェーディング補正により輝度を一致させるとともに、リニアカラーマトリクス処理により色調を一致させることが望ましい。
本実施の形態は、同じ解像度のサブカメラモジュールからなるカメラモジュールに限られず、互いに異なる解像度のサブカメラモジュールからなるカメラモジュールに適用しても良い。この場合、画素数が大きいほうのサブカメラモジュールの画像をスケーリングし、他方のサブカメラモジュールに合わせて画素数を圧縮することにより、本実施の形態と同様の座標変換を実施することとしても良い。
また、画素数が大きいほうのサブカメラモジュールの画像のうちレンズの中央に対応する部分をクロップ(切り取り)することとしても良い。レンズの中央に対応する部分の画像を使用することで、レンズの周辺部分に起因する歪みやシェーディングの影響を低減させ、さらに画質を向上させることが可能となる。
図10に示す第1のサブカメラモジュール51及び第2のサブカメラモジュール2は、各々が信号処理部34を備えるものであっても良い。画像取り込み部33は、第1のサブカメラモジュール51の出力画像と第2のサブカメラモジュール2の出力画像とを比較し、違いがある場合には、フィードバック回路により第2のサブカメラモジュール2の出力画像を補正することが望ましい。
1、51 第1のサブカメラモジュール、2 第2のサブカメラモジュール、3 ISP、11、21 撮像レンズ、13、23 センサ、14、24 撮像回路、40 調整用チャート、41 調整用マーカー、52 フォーカス調整部。

Claims (5)

  1. 第1の撮像素子と、前記第1の撮像素子へ光を取り込む第1の撮像光学系と、を備える第1のサブカメラモジュールと、
    第2の撮像素子と、前記第2の撮像素子へ光を取り込む第2の撮像光学系と、を備える第2のサブカメラモジュールと、
    前記第1のサブカメラモジュール及び前記第2のサブカメラモジュールのうち、前記第1のサブカメラモジュールを基準として設定する場合に、前記第2のサブカメラモジュールによる撮像により取得された画像について、前記第1の撮像光学系及び前記第2の撮像光学系によるクロスポイントにおける位置を補正する位置補正手段と、を有することを特徴とするカメラモジュール。
  2. 前記位置補正手段は、前記第2のサブカメラモジュールにより取得された画像に対して、予め設定された補正係数を用いた座標変換を実施することを特徴とする請求項1に記載のカメラモジュール。
  3. 第1の撮像素子と、前記第1の撮像素子へ光を取り込む第1の撮像光学系と、を備える第1のサブカメラモジュールと、
    第2の撮像素子と、前記第2の撮像素子へ光を取り込む第2の撮像光学系と、を備える第2のサブカメラモジュールと、
    前記第1の撮像光学系をフォーカス調整するフォーカス調整手段と、を有し、
    前記第1のサブカメラモジュール及び前記第2のサブカメラモジュールのうち、前記第1のサブカメラモジュールを基準として設定する場合に、
    前記フォーカス調整手段は、前記第1の撮像光学系のレンズ繰り出し量に応じて前記第2の撮像光学系のレンズ繰り出し量を調整することで、前記第1の撮像光学系及び前記第2の撮像光学系によるクロスポイントに前記第2の撮像光学系の焦点を一致させることを特徴とするカメラモジュール。
  4. 前記フォーカス調整手段は、前記第2の撮像光学系のレンズ繰り出し量について、被写体距離に応じて予め設定されたオフセット値を加減することを特徴とする請求項3に記載のカメラモジュール。
  5. 第1のサブカメラモジュールと第2のサブカメラモジュールとのクロスポイントとする被写体距離を決定し、
    前記クロスポイント上に設置された調整用チャートを、前記第1のサブカメラモジュール及び前記第2のサブカメラモジュールにより撮像し、
    前記第1のサブカメラモジュールにより取得された前記調整用チャートの像を基準として、前記第2のサブカメラモジュールにより取得された前記調整用チャートの像から、画像の座標変換のための補正係数を算出し、
    前記第2のサブカメラモジュールにより取得された画像に対して、前記補正係数を用いた座標変換を実施する、ことを特徴とする画像記録方法。
JP2010121758A 2010-05-27 2010-05-27 カメラモジュール及び画像記録方法 Pending JP2011250177A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010121758A JP2011250177A (ja) 2010-05-27 2010-05-27 カメラモジュール及び画像記録方法
US13/049,455 US9143762B2 (en) 2010-05-27 2011-03-16 Camera module and image recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010121758A JP2011250177A (ja) 2010-05-27 2010-05-27 カメラモジュール及び画像記録方法

Publications (1)

Publication Number Publication Date
JP2011250177A true JP2011250177A (ja) 2011-12-08

Family

ID=45021788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010121758A Pending JP2011250177A (ja) 2010-05-27 2010-05-27 カメラモジュール及び画像記録方法

Country Status (2)

Country Link
US (1) US9143762B2 (ja)
JP (1) JP2011250177A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5398750B2 (ja) 2011-01-26 2014-01-29 株式会社東芝 カメラモジュール
US9628778B2 (en) * 2013-10-14 2017-04-18 Eys3D Microelectronics, Co. Calibration system of a stereo camera and calibration method of a stereo camera
US10523854B2 (en) 2015-06-25 2019-12-31 Intel Corporation Array imaging system having discrete camera modules and method for manufacturing the same
JP7057097B2 (ja) * 2017-10-27 2022-04-19 キヤノン株式会社 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193984A (ja) * 1987-10-05 1989-04-12 Sharp Corp 立体カメラ輻輳角自動調整機構
JPH10271534A (ja) * 1997-03-26 1998-10-09 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置
JP3117303B2 (ja) * 1992-11-09 2000-12-11 キヤノン株式会社 光学装置
JP2002077947A (ja) * 2000-09-05 2002-03-15 Sanyo Electric Co Ltd 立体画像補正方法及びこれを用いた立体画像装置
JP2002352241A (ja) * 2001-05-25 2002-12-06 Nippon Hoso Kyokai <Nhk> ブロックマッチング装置
JP2003319240A (ja) * 2002-04-18 2003-11-07 Olympus Optical Co Ltd 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0666968B2 (ja) * 1990-08-10 1994-08-24 幹次 村上 立体ビデオ撮像装置
JPH078055B2 (ja) 1992-10-21 1995-01-30 幹次 村上 立体撮像支援装置
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
JP3284190B2 (ja) * 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
JP3632677B2 (ja) * 2002-05-13 2005-03-23 ミノルタ株式会社 電子カメラ
JP4079690B2 (ja) * 2002-05-23 2008-04-23 株式会社東芝 物体追跡装置及び方法
JP4147059B2 (ja) * 2002-07-03 2008-09-10 株式会社トプコン キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置
CN1732682B (zh) * 2002-12-27 2010-04-21 株式会社尼康 图像处理装置
JP4193812B2 (ja) * 2005-05-13 2008-12-10 カシオ計算機株式会社 撮像装置、撮像方法及びそのプログラム
KR100657522B1 (ko) * 2006-03-31 2006-12-15 삼성전자주식회사 휴대용 단말기를 이용한 아웃 포커싱 촬영 장치 및 방법
JP4714174B2 (ja) * 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
JP4714176B2 (ja) * 2007-03-29 2011-06-29 富士フイルム株式会社 立体撮影装置及び光軸調節方法
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
JP5094430B2 (ja) * 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
JP4513906B2 (ja) * 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193984A (ja) * 1987-10-05 1989-04-12 Sharp Corp 立体カメラ輻輳角自動調整機構
JP3117303B2 (ja) * 1992-11-09 2000-12-11 キヤノン株式会社 光学装置
JPH10271534A (ja) * 1997-03-26 1998-10-09 Nippon Hoso Kyokai <Nhk> 立体画像撮影装置
JP2002077947A (ja) * 2000-09-05 2002-03-15 Sanyo Electric Co Ltd 立体画像補正方法及びこれを用いた立体画像装置
JP2002352241A (ja) * 2001-05-25 2002-12-06 Nippon Hoso Kyokai <Nhk> ブロックマッチング装置
JP2003319240A (ja) * 2002-04-18 2003-11-07 Olympus Optical Co Ltd 撮像装置

Also Published As

Publication number Publication date
US9143762B2 (en) 2015-09-22
US20110292182A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
US11716535B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
JP5701785B2 (ja) カメラモジュール
US7529424B2 (en) Correction of optical distortion by image processing
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US9369693B2 (en) Stereoscopic imaging device and shading correction method
JP2013038502A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5398750B2 (ja) カメラモジュール
WO2014109334A1 (ja) 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法
JP2011250177A (ja) カメラモジュール及び画像記録方法
JP2012204856A (ja) 画像処理方法及びカメラモジュール
JP5330439B2 (ja) カメラモジュール、画像処理装置及び画像処理方法
JP6585890B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP2011182325A (ja) 撮像装置
WO2012165087A1 (ja) 撮像装置及びゴースト補正方法
JP2016163315A (ja) 画像処理装置及び画像処理方法
JP2015015629A (ja) 画像処理装置および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130806