JP2011120138A

JP2011120138A - カメラモジュール

Info

Publication number: JP2011120138A
Application number: JP2009277456A
Authority: JP
Inventors: Takayuki Ogasawara; 隆行小笠原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-12-07
Filing date: 2009-12-07
Publication date: 2011-06-16
Anticipated expiration: 2029-12-07
Also published as: JP5417138B2; US20110134262A1

Abstract

【課題】広い視野を持つ画像を安定して得られ、かつ薄型化を可能とするカメラモジュールを提供すること。
【解決手段】撮像素子と、撮像素子へ光を取り込む撮像光学系である撮像レンズ３とを備え、被写体像を撮像する二以上のサブカメラモジュール２と、被写体像の位置合わせのためのブロックマッチング処理を実施するブロックマッチング手段と、を有し、二以上のサブカメラモジュール２は、撮像光学系の光軸の向きを互いに異ならせた配置をなして固定され、ブロックマッチング手段は、撮像光学系によるイメージサークル同士が重畳する部分において、サブカメラモジュール２ごとの被写体像を合致させる。
【選択図】図１

Description

本発明は、カメラモジュールに関する。

被写体像の撮像のためのカメラモジュールには、レンズと撮像素子との間の距離（焦点距離）をできるだけ短縮させることで、薄型化が図られているものがある。薄型化されたカメラモジュールを使用して、広い視野を持ったいわゆるパノラマ画像を得る場合に、撮像領域の一部が重なるようにして撮影された画像を合成する手法が採用されることがある。従来、パノラマ画像を得るための手法としては、例えば、一つのカメラモジュールを移動させながら複数回撮影を行い、ソフトウェアにより画像を合成する手法が知られている。しかし、カメラモジュールを移動させる移動量が、撮影者ごと或いは撮影タイミングごとに大きくばらつき易いことから、合成画像の品質が不安定となるのみならず、画像を合成できない場合が生じ得る。また、画像合成のためのソフトウェアの精度ばらつきによっては、画像の合成箇所が目視によって認識され易くなり、大幅に画質を損なう場合もある。撮像光学系に超広角レンズを採用すると、レンズの厚みによって、カメラモジュールの薄型化が困難となる。

特開平６−１４１２３７号公報

本発明は、広い視野を持つ画像を安定して得られ、かつ薄型化を可能とするカメラモジュールを提供することを目的とする。

本願発明の一態様によれば、撮像素子と、前記撮像素子へ光を取り込む撮像光学系とを備え、被写体像を撮像する二以上のサブカメラモジュールと、前記被写体像の位置合わせのためのブロックマッチング処理を実施するブロックマッチング手段と、を有し、二以上の前記サブカメラモジュールは、前記撮像光学系の光軸の向きを互いに異ならせた配置をなして固定され、前記ブロックマッチング手段は、前記撮像光学系によるイメージサークル同士が重畳する部分において、前記サブカメラモジュールごとの前記被写体像を合致させることを特徴とするカメラモジュールが提供される。

本発明によれば、広い視野を持つ画像を安定して得られ、かつ薄型化が可能となるという効果を奏する。

実施の形態に係るカメラモジュールの概略斜視構成を示す図。サブカメラモジュールの配置について説明する図。各サブカメラモジュールによるイメージサークルの例を示す図。基板の分解図。カメラモジュールのうち信号処理のための構成を示すブロック図。被写体距離とイメージサークルの重畳との関係を説明する図。被写体像の視差について説明する図。

以下に添付図面を参照して、本発明の実施の形態に係るカメラモジュールを詳細に説明する。

（実施の形態）
図１は、本発明の実施の形態に係るカメラモジュール１の概略斜視構成を示す図である。カメラモジュール１は、四つのサブカメラモジュール２を組み合わせて構成されている。

サブカメラモジュール２は、ウェハレベルカメラを用いて構成されている。ウェハレベルカメラは、半導体製造プロセスを流用して製造されるカメラモジュールである。ウェハレベルカメラのレンズは数千枚が一つのウェハ上にて同時に製造される。次いでウェハレベルでの光学要素の貼り合わせによってカメラの光学部品は製造される。よって、ウェハレベルカメラは、レンズの形成や部品の組み立てを簡易にでき、光学部品の製造コストを大幅に軽減することができる。

サブカメラモジュール２は、例えば、縦横２×２のマトリクス状に配置されている。各サブカメラモジュール２は、撮像素子及び撮像レンズ３を有する。撮像レンズ３は、被写体からの光を取り込み、撮像素子へ入射させる撮像光学系として機能する。撮像素子は、撮像レンズ３により取り込まれた光を信号電荷に変換する。各サブカメラモジュール２の撮像素子は、いずれも、ＲＧＢの各画素をベイヤー配列として構成されている。四つのサブカメラモジュールは、撮像レンズ３の光軸の向きを互いに異ならせた配置をなして、基板４に固定されている。

図２は、サブカメラモジュール２の配置について説明する図である。ここでは、互いに隣り合う二つのサブカメラモジュール２について例示し、説明に不要な構成の図示を省略している。撮像素子５は、撮像レンズ３の光軸ＡＸに垂直に固定されている。各サブカメラモジュール２は、カメラモジュール１から離れるに従って光軸ＡＸ同士の間隔が広くなるように、いずれも傾けられて配置されている。このように、各サブカメラモジュール２が互いに外側を向くように傾けられることにより、広い視野を持つ合成画像を得ることが可能となる。また、各サブカメラモジュール２は、図３に示すように、イメージサークルＩの一部が重畳するように構成されている。これにより、一つの画像へ合成可能な被写体像を、各サブカメラモジュール２によって得ることが可能となる。

図４は、基板４の分解図である。基板４は、二つのサブカメラモジュール用基板６と、一つのセットモジュール用基板７とを備える。サブカメラモジュール用基板６には、それぞれ二つのサブカメラモジュール２が取り付けられる。サブカメラモジュール用基板６は、折り曲げ部８において、所定の角度をなして折り曲げられている。二つのサブカメラモジュール２は、山折りされた折り曲げ部８を挟んで、サブカメラモジュール用基板６の表面にそれぞれ固定される。ここで、サブカメラモジュール用基板６に二つのサブカメラモジュール２が取り付けられた構成を、セットモジュールと称する。

セットモジュール用基板７は、折り曲げ部９において、所定の角度をなして折り曲げられている。セットモジュール用基板７の折り曲げ部９は、セットモジュールの折り曲げ部８に対して垂直になるように形成される。二つのセットモジュールは、山折りされた折り曲げ部９を挟んで、セットモジュール用基板７の表面にそれぞれ固定される。このようにして、基板４には、光軸ＡＸ同士が所定の角度をなすように、各サブカメラモジュール２が傾けられて固定される。サブカメラモジュール２とサブカメラモジュール用基板６、サブカメラモジュール用基板６とセットモジュール用基板７は、例えばボンド付けによって固定される。

カメラモジュール１は、一つの部材からなる基板に四つのサブカメラモジュール２を取り付けることとしても良い。この場合、サブカメラモジュール２の取り付け精度のばらつきを抑制させるために、四角錘状の基板を用意し、その表面にサブカメラモジュール２を取り付けることが望ましい。

図５は、カメラモジュール１のうち信号処理のための構成を示すブロック図である。カメラモジュール１の信号処理は、各サブカメラモジュール２での処理と、カメラモジュール１のプロセッサでの処理とに大別される。各サブカメラモジュール２は、製造誤差補正手段１１、シェーディング補正手段１２、ディストーション補正手段１３、解像度復元手段１４及びパラメータ記憶手段１５を有する。製造誤差補正手段１１、シェーディング補正手段１２、ディストーション補正手段１３及び解像度復元手段１４は、サブカメラモジュール２での撮像により得られたＲＡＷ画像について、信号処理を実施する。

パラメータ記憶手段１５は、信号処理に使用されるパラメータが書き込まれ、これを保持する。パラメータとして、サブカメラモジュール２の個体情報を格納しておくことで、サブカメラモジュール２の個体差に応じた信号処理が可能となる。なお、個体情報とは、例えば、レンズ等の部品の製造誤差、部品同士の組立誤差等、サブカメラモジュール２ごとの個体差に関する情報とする。個体情報には、カメラモジュール１におけるサブカメラモジュール２の取り付け誤差に関する情報も含まれるものとする。

製造誤差補正手段１１は、カメラモジュール１の製造誤差に起因する被写体像の位置ずれを補正する。製造誤差補正手段１１は、パラメータ記憶手段１５に予め格納された位置ずれ情報に基づいて、被写体像の位置ずれを補正する。位置ずれ情報には、例えば、ＸＹ平面（回転；ｒｏｔａｔｉｏｎ）やＺ軸（傾き；ｔｉｌｔ）についてのサブカメラモジュール２の取り付け誤差に起因する被写体像のずれ量を表すパラメータが含まれる。

シェーディング補正手段１２は、撮像レンズ３に起因して生じる輝度ムラ、特に、被写体像の中央部と周辺部との光量差を補正する（シェーディング補正）。シェーディング補正手段１２は、パラメータ記憶手段１５に予め格納されたパラメータを参照して、被写体像をシェーディング補正する。ディストーション補正手段１３は、撮像レンズ３に起因する被写体像の歪み（ディストーション）を補正する。ディストーション補正手段１３は、パラメータ記憶手段１５に予め格納されたパラメータを参照して、被写体像のディストーションを補正する。

解像度復元手段１４は、輪郭の色滲みの原因となる倍率色収差やぼけ量等、撮像レンズ３に備わるレンズ特性を推測して、解像度復元処理を実施する。解像度復元手段１４は、パラメータ記憶手段１５に予め格納されたパラメータを参照して、撮像レンズ３に備わるレンズ特性を推測する。レンズ特性としては、例えば、光学伝達係数であるＰＳＦ（ＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ）を用いる。解像度復元手段１４は、例えば、最小二乗法によりＰＳＦを推測する。解像度復元の効果は、復元に用いるアルゴリズムに依存することとなる。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。

カメラモジュール１のプロセッサは、ブロックマッチング手段２０、視差補正手段２１、スティッチング手段２２、デモザイキング手段２３、オート・ホワイト・バランス（ＡＷＢ）処理手段２４、カラーマトリクス処理手段２５及びガンマ補正手段２６を有する。

ブロックマッチング手段２０は、製造誤差補正、シェーディング補正、ディストーション補正及び解像度復元を経た各サブカメラモジュール２のＲＡＷ画像に対して、ブロックマッチング（パターンマッチング）処理を実施する。ブロックマッチング手段２０は、ブロックマッチング処理により、各サブカメラモジュール２で得られた被写体像同士の位置合わせをする。ブロックマッチング手段２０は、イメージサークルＩ（図３参照）同士が重畳する部分において、サブカメラモジュール２ごとの被写体像を合致させる。

図６は、カメラモジュール１から被写体までの距離（以下、適宜「被写体距離」と称する）と、イメージサークルＩの重畳との関係を説明する図である。例えば、近接距離ではイメージサークルＩは重畳せず、あるサブカメラモジュール２では被写体像として取り可能である一方、他のサブカメラモジュール２では取り込まれないスポット（ブラインドスポット）が生じてしまう。被写体距離が所定距離以上となることで、イメージサークルＩは重畳するようになり、いずれのサブカメラモジュール２によっても被写体像として取り込み可能なスポット（クロススポット）が生じる。被写体距離が長くなるに従って、イメージサークルＩ同士が重畳する部分のサイズは大きくなる。

ブロックマッチング手段２０は、被写体距離に応じて、イメージサークルＩ同士が重畳する部分を検出し、その重畳部分で被写体像が一致するようなブロックマッチング処理を実施する。視差補正手段２１は、各サブカメラモジュール２で得られた被写体像における視差量を求め、視差量に応じて視差を補正する。

図７は、被写体像の視差について説明する図である。図７（ａ）は、被写体Ｐ１が無限遠にある場合を表している。この場合、各サブカメラモジュールで得られる被写体像に視差は生じない。図７（ｂ）は、被写体Ｐ２が至近距離にある場合を表している。視差は、至近距離において結像位置が異なる現象である。視差が生じている場合に、視差を考慮せずにカラー画像を合成すると、像がぼけて著しく画質が損なわれることとなる。四つのサブカメラモジュール２をマトリクス状に配置したカメラモジュール１の場合、各サブカメラモジュール２で得られる被写体像は、視差の影響を受けることとなる。

なお、本実施の形態を応用して、あるサブカメラモジュールを中心として複数のサブカメラモジュールを配置したとする。この場合、中心のサブカメラモジュールについては、図７（ｃ）に示すように、無限遠にある被写体Ｐ１、至近距離にある被写体Ｐ２のいずれも、被写体像に視差は生じないこととなる。中心のサブカメラモジュール以外のサブカメラモジュールについては、被写体像に視差が生じることとなる。

視差のある被写体像をそのまま合成したとすると、画像の継ぎ目が不自然となって画質が低下する場合があり得る。視差補正手段２１による処理を経ることにより、イメージサークルＩの重畳部分における画像の継ぎ目が目立たず自然な画像を得ることが可能となる。視差補正手段２１は、製造誤差補正手段１１によって補正された被写体像の位置情報を基にして、三角測量法等により視差量を推測する。

スティッチング手段２２は、各被写体像の合成のためのスティッチング処理を実施する。スティッチング手段２２は、イメージサークルＩが重畳する部分については、一つのサブカメラモジュール２による被写体像を残して、他のサブカメラモジュール２による被写体像を除去する。ここで、被写体像の継ぎ目部分には補間処理を施すことで、継ぎ目が目立たない自然な画像を得ることが可能となる（補間処理等に関しては、例えば、上記特許文献１参照）。

デモザイキング手段２３は、スティッチング手段２２において合成された画像のデモザイキング処理によりカラー画像を合成する。ＡＷＢ処理手段２４は、ＡＷＢ処理を実施する。ＡＷＢ処理は、色温度の分光分布に応じてＲＧＢのゲイン値を調整することにより、白色を正確に白く映し出すように補正するための処理である。

カラーマトリクス処理手段２５は、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実施する。ガンマ補正手段２６は、画像の彩度や明るさを補正するためのガンマ補正を実施する。カメラモジュール１は、このようにして合成されたカラー画像を出力する。

なお、本実施の形態で説明する処理の手順は一例であって、他の処理の追加や、処理の順序の変更などを適宜しても良い。例えば、デモザイキング手段２３によるデモザイキング処理は、スティッチング手段２２における合成の前に実施することとしても良い。また、各要素による信号処理は、各サブカメラモジュール２と、カメラモジュール１のプロセッサとのいずれで実施することとしても良く、双方で分担して実施することとしても良い。

本実施の形態のカメラモジュール１は、予め所定の傾きを持たせて各サブカメラモジュール２を固定させることにより、一つのカメラモジュールを移動させながら複数回撮影を行う場合に比べて、広い視野を持つ合成画像を安定して得ることが可能となる。各サブカメラモジュール２を固定することで、カメラモジュール１の製造誤差、特に、カメラモジュール２の取り付け誤差に起因する被写体像の位置ずれを補正することが可能となる。このため、ブロックマッチング処理により、被写体像同士を高い精度で合成することが可能となる。さらに、本実施の形態によると、超広角レンズを不要とすることで、カメラモジュール１の薄型化も可能となる。

カメラモジュール１に設けられるサブカメラモジュール２は四つである場合に限られず、二以上であればいくつ設けることとしても良い。また、サブカメラモジュール２は、縦横のマトリクス状に配置する他、一列に並列させる等、配置の態様を適宜変更しても良い。

１カメラモジュール、２サブカメラモジュール、３撮像レンズ、４基板、５撮像素子、８、９折り曲げ部、１１製造誤差補正手段、２０ブロックマッチング手段、２１視差補正手段、ＡＸ光軸、Ｉイメージサークル。

Claims

撮像素子と、前記撮像素子へ光を取り込む撮像光学系とを備え、被写体像を撮像する二以上のサブカメラモジュールと、
前記被写体像の位置合わせのためのブロックマッチング処理を実施するブロックマッチング手段と、を有し、
二以上の前記サブカメラモジュールは、前記撮像光学系の光軸の向きを互いに異ならせた配置をなして固定され、
前記ブロックマッチング手段は、前記撮像光学系によるイメージサークル同士が重畳する部分において、前記サブカメラモジュールごとの前記被写体像を合致させることを特徴とするカメラモジュール。
前記サブカメラモジュールは、前記カメラモジュールの製造誤差に起因する前記被写体像の位置ずれを補正する製造誤差補正手段を備えることを特徴とする請求項１に記載のカメラモジュール。
前記製造誤差補正手段は、前記サブカメラモジュールごとに格納された位置ずれ情報に基づいて前記位置ずれを補正することを特徴とする請求項２に記載のカメラモジュール。
二以上の前記サブカメラモジュールは、所定の角度をなして折り曲げられた折り曲げ部を備える基板に取り付け固定されることを特徴とする請求項１から３のいずれか一項に記載のカメラモジュール。
前記被写体像の視差を補正する視差補正手段をさらに有することを特徴とする請求項１から４のいずれか一項に記載のカメラモジュール。