JP2013026825A - カメラモジュール及び画像処理装置 - Google Patents

Abstract

【課題】光学手振れ補正に対応する適切なシェーディング補正を可能とするカメラモジュール及び画像処理装置を提供すること。
【解決手段】実施形態によれば、カメラモジュールは、撮像レンズ２１、イメージセンサ３１、手振れ感知部であるジャイロセンサ１６、手振れ補正部であるＯＩＳコントローラ２４及びシェーディング補正部３４を有する。手振れ補正部は、手振れ感知部による検出結果に応じて撮像レンズ２１の駆動を制御する。シェーディング補正部３４は、被写体像に対しシェーディング補正を実施する。手振れ補正部は、撮像レンズ２１の位置に関するレンズ位置情報２８を出力する。イメージセンサ３１は、被写体像に応じた画像信号にレンズ位置情報２８を付加する。シェーディング補正部３４は、シェーディング補正のためのシェーディングパラメータを、画像信号に付加されているレンズ位置情報２８に応じて調整する。
【選択図】図５

Description

本発明の実施形態は、カメラモジュール及び画像処理装置に関する。

従来、カメラモジュールとして、レンズの中心部から周辺部へ向かって光量が減少する、いわゆるレンズシェーディングを補正するものが知られている。また、従来、カメラモジュールの光学手振れ補正の手法として、例えば、レンズバレルを駆動するいわゆるレンズバレルシフト方式が知られている。レンズバレルシフト方式による光学手振れ補正を採用する場合、レンズを移動させることにより、レンズシェーディングの特性が変化することとなる。この場合に、固定のパラメータによるシェーディング補正を実施しても、レンズの移動に応じた補正のずれが生じ得ることで、効果的なシェーディング補正が困難となる。

特開２００５−２６９１３０号公報

本発明の一つの実施形態は、光学手振れ補正に対応する適切なシェーディング補正を可能とするカメラモジュール及び画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、カメラモジュールは、撮像レンズ、イメージセンサ、手振れ感知部、手振れ補正部及びシェーディング補正部を有する。撮像レンズは、被写体からの光を取り込み、被写体像を結像させる。イメージセンサは、被写体像を撮像する。手振れ感知部は、カメラモジュールの手振れを感知する。手振れ補正部は、手振れ感知部による検出結果に応じて撮像レンズの駆動を制御する。シェーディング補正部は、被写体像に対しシェーディング補正を実施する。手振れ補正部は、撮像レンズの位置に関するレンズ位置情報を出力する。イメージセンサは、被写体像に応じた画像信号にレンズ位置情報を付加する。シェーディング補正部は、シェーディング補正のためのシェーディングパラメータを、画像信号に付加されているレンズ位置情報に応じて調整する。

第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図。 図１に示すカメラモジュールのうちレンズモジュール、イメージセンサ及びジャイロセンサを示すブロック図。 イメージセンサに対する撮像レンズの位置と、シェーディング特性との関係を説明する図。 イメージセンサに対する撮像レンズの位置と、シェーディング特性との関係を説明する図。 第２の実施形態にかかるカメラモジュールの特徴的部分の構成を示すブロック図。 画像信号へのレンズ位置情報の付加について説明する図。 レンズ位置情報を取得するタイミングについて説明する概念図。 レンズ位置情報を取得するタイミングについて説明する概念図。

以下に添付図面を参照して、実施形態にかかるカメラモジュール及び画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態にかかるカメラモジュールの概略構成を示すブロック図である。カメラモジュール１０は、例えば、デジタルカメラである。カメラモジュール１０は、レンズモジュール１１、イメージセンサ１２、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）１３、記憶部１４、表示部１５及びジャイロセンサ１６を有する。

図２は、図１に示すカメラモジュールのうちレンズモジュール、イメージセンサ及びジャイロセンサを示すブロック図である。ジャイロセンサ１６は、カメラモジュール１０の手振れを感知する手振れ感知部として機能する。ジャイロセンサ１６は、カメラモジュール１０の変位の検出結果を、カメラ動き情報２６として出力する。カメラ動き情報２６は、カメラモジュール１０が変位した向き及び変位量に関するデータを含む。

レンズモジュール１１は、撮像レンズ２１、レンズ駆動部２２及びＯＩＳ（optical image stabilization）コントローラ２４を有する。撮像レンズ２１は、被写体からの光を取り込み、イメージセンサ１２に被写体像を結像させる。ＯＩＳコントローラ２４は、ジャイロセンサ１６からのカメラ動き情報２６に応じたレンズ制御信号２７を生成し、出力する。

レンズ駆動部２２は、ＯＩＳコントローラ２４からのレンズ制御信号２７を基に、撮像レンズ２１を駆動する。ＯＩＳコントローラ２４は、レンズ制御信号２７によって撮像レンズ２１の駆動を制御し、手振れ補正を実施する手振れ補正部として機能する。

レンズ駆動部２２は、ホールセンサ２３を有する。ホールセンサ２３は、撮像レンズ２１の位置を検出する。ホールセンサ２３は、例えば、イメージセンサ１２が取り付けられている台座と撮像レンズ２１との相対位置の変化から、撮像レンズ２１の位置を検出する。ホールセンサ２３は、撮像レンズ２１の変位の検出結果を、レンズ位置情報２８として出力する。撮像レンズ２１の位置の検出には、ホールセンサ２３以外のいずれのセンサを使用することとしても良い。ＯＩＳコントローラ２４は、ホールセンサ２３から入力されたレンズ位置情報２８を、イメージセンサ１２へ出力する。

イメージセンサ１２は、撮像レンズ２１により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ１２内の信号処理部１７は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。信号処理部１７内のシェーディング補正部２５は、被写体像に対しシェーディング補正を実施する。

ＩＳＰ１３は、イメージセンサ１２からの画像信号の信号処理を実施する。ＩＳＰ１３は、例えば、イメージセンサ１２から入力されたＲＡＷ画像について、自動露出（auto exposure；ＡＥ）調整、自動ホワイトバランス（auto white balance；ＡＷＢ）調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等を実施する。

記憶部１４は、ＩＳＰ１３での信号処理を経た画像を格納する。記憶部１４は、ユーザの操作等に応じて、表示部１５へ画像信号を出力する。表示部１５は、ＩＳＰ１３あるいは記憶部１４から入力される画像信号に応じて、画像を表示する。表示部１５は、例えば、液晶ディスプレイである。

図３及び図４は、イメージセンサに対する撮像レンズの位置と、シェーディング特性との関係を説明する図である。図中、撮像レンズ２１及びイメージセンサ１２とともに示した曲線は、輝度を縦軸、イメージセンサ１２内の画素の位置を横軸として表したシェーディング特性とする。

破線で示す輝度の光を、撮像レンズ２１を通じてイメージセンサ１２へ照射させると、撮像レンズ２１の中心位置において輝度は最大となり、その中心位置から離れるほど輝度は低下する。シェーディング補正部２５は、このようなシェーディング特性を予め想定して、イメージセンサ１２の全体における輝度を、撮像レンズ２１の中心位置における輝度にまで回復させる処理を行う。

図３には、撮像レンズ２１の中心がイメージセンサ１２の照射領域の中心と一致している状態を示している。図３に示す状態から、図４に示すように、撮像レンズ２１の光軸ＡＸに垂直な二次元方向に含まれる所定の方向へ撮像レンズ２１が移動したとする。照射領域のうち輝度が輝度となる位置は撮像レンズ２１の移動とともに変化し、照射領域の全体における輝度分布が変化することになる。

シェーディング補正部２５は、シェーディング補正のためのシェーディングパラメータを、レンズ位置情報２８に応じて調整する。シェーディング補正部２５は、あるフレームの画像をシェーディング補正の対象とする場合に、当該フレームの画像信号を取得する以前に入力されたレンズ位置情報２８を、シェーディングパラメータの調整に使用する。

シェーディング補正部２５は、撮像レンズ２１の移動によるシェーディング特性の変化に応じてシェーディングパラメータを調整することで、光学手振れ補正を実施する場合のシェーディング補正のずれを抑制可能とする。これにより、カメラモジュール１０は、光学手振れ補正に対応する適切なシェーディング補正が可能となる。

（第２の実施形態）
図５は、第２の実施形態にかかるカメラモジュールの特徴的部分の構成を示すブロック図である。本実施形態にかかるカメラモジュール１０は、レンズモジュール１１、イメージセンサ３１、ＩＳＰ３２及びジャイロセンサ１６と、記憶部１４及び表示部１５（図１参照）を有する。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。

ＩＳＰ３２は、シェーディング補正部３４を有する。シェーディング補正部３４は、被写体像に対しシェーディング補正を実施する。ＩＳＰ３２は、シェーディング補正部３４によりシェーディング補正を実施する他、第１の実施形態のＩＳＰ１３（図１参照）と同様の信号処理を実施する。

イメージセンサ３１は、撮像レンズ２１により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ３１内の信号処理部３３は、ＲＧＢの信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。さらに、信号処理部３３は、得られた画像信号にレンズ位置情報２８を付加する。

図６は、画像信号へのレンズ位置情報の付加について説明する図である。信号処理部３３は、撮影時におけるカメラモジュール１０の設定や内部情報を、エンベデッドデータ３６として画像信号３５に付加し、出力する。信号処理部３３は、例えばエンベデッドデータ３６内にレンズ位置情報２８を埋め込む。

例えば、携帯カメラ向けのインタフェース規格であるＳＭＩＡ（standard mobile imaging architecture）によると、エンベデッドデータ３６は、画像信号３５の先頭側と末尾側とに数ラインずつが付加される。本実施形態では、信号処理部３３は、被写体像の撮像の際のレンズ位置情報２８を、当該撮像により取得した画像信号３５の末尾側に付加する。

シェーディング補正部３４は、画像信号３５に付加されているレンズ位置情報２８を読み込む。シェーディング補正部３４は、シェーディング補正のためのシェーディングパラメータを、読み込んだレンズ位置情報２８に応じて調整する。本実施形態のカメラモジュール１０は、第１の実施形態と同様に、光学手振れ補正に対応する適切なシェーディング補正が可能となる。

図７は、レンズ位置情報を取得するタイミングについて説明する概念図である。例えば、あるフレームの画像の撮影にｔ１からｔ２の期間を要したとした場合、信号処理部３３は、当該フレームについてのレンズ位置情報２８を、ｔ１からｔ２の間のいずれかのタイミングで取得する。信号処理部３３は、当該フレームの画像信号３５を取得すると、その末尾側に当該フレームについてのレンズ位置情報２８を付加する。

このように、イメージセンサ３１は、画像信号３５の末尾側にレンズ位置情報２８を付加することとした場合、撮影中のフレームについてのレンズ位置情報２８を取得することができる。シェーディング補正部３４では、シェーディング補正の対象とする画像信号３５とシェーディングパラメータの調整に使用するレンズ位置情報２８とでフレームを一致可能となる。これにより、シェーディング補正部３４は、光学手振れ補正に正確に対応させたシェーディング補正の実施が可能となる。

本実施形態では、カメラモジュール１０は、シェーディングパラメータの調整機能を、ソフトウェアにより実現することができる。カメラモジュール１０は、イメージセンサ３１等に特別な演算回路を増設せずに、光学手振れ補正に対応する適切なシェーディング補正を実施することができる。カメラモジュール１０は、既存のハードウェア構成を流用可能とし、製造コストの削減、小型化という効果も得られる。

なお、信号処理部３３は、画像信号３５の先頭側にレンズ位置情報２８を付加することとしても良い。この場合、図８に示すように、信号処理部３３は、ｔ１より前にあらかじめ取得したレンズ位置情報２８を、ｔ１からｔ２の期間を要して撮影されるフレームの画像信号３５の先頭側に付加することとしても良い。

第１及び第２の実施形態にかかるカメラモジュール１０は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等であっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ カメラモジュール、１２、３１ イメージセンサ、１３、３２ ＩＳＰ、１６ ジャイロセンサ、１７、３３ 信号処理部、２１ 撮像レンズ、２３ ホールセンサ、２４ ＯＩＳコントローラ、２５、３４ シェーディング補正部、２８ レンズ位置情報。

Claims (5)

1. 被写体からの光を取り込み、被写体像を結像させる撮像レンズと、
   前記被写体像を撮像するイメージセンサと、
   前記撮像レンズ及び前記イメージセンサを含むカメラモジュールの手振れを感知する手振れ感知部と、
   前記手振れ感知部による検出結果に応じて前記撮像レンズの駆動を制御することにより、手振れ補正を実施する手振れ補正部と、
   前記被写体像に対しシェーディング補正を実施するシェーディング補正部と、を有し、
   前記手振れ補正部は、前記撮像レンズの位置に関するレンズ位置情報を出力し、
   前記イメージセンサは、前記被写体像に応じた画像信号に前記レンズ位置情報を付加し、
   前記シェーディング補正部は、前記シェーディング補正のためのシェーディングパラメータを、前記画像信号に付加されている前記レンズ位置情報に応じて調整することを特徴とするカメラモジュール。
2. 前記イメージセンサは、前記被写体像の撮像の際の前記レンズ位置情報を、当該撮像により取得した前記画像信号の末尾側に付加することを特徴とする請求項１に記載のカメラモジュール。
3. 被写体像を撮像するイメージセンサからの画像信号を処理する画像処理装置であって、
   前記被写体像を前記イメージセンサに結像させる撮像レンズについてのシェーディング補正を実施するシェーディング補正部を有し、
   手振れ補正のために駆動させる前記撮像レンズの位置に関するレンズ位置情報が、前記被写体像に応じた画像信号に付加されて前記イメージセンサから入力されると、前記シェーディング補正部は、前記シェーディング補正のためのシェーディングパラメータを、前記レンズ位置情報に応じて調整することを特徴とする画像処理装置。
4. 前記シェーディング補正部は、前記被写体像の撮像の際の前記画像信号の末尾の側に付加された前記レンズ位置情報を、当該撮像による前記被写体像の前記シェーディング補正に使用することを特徴とする請求項３に記載の画像処理装置。
5. 被写体からの光を取り込み、被写体像を結像させる撮像レンズと、
   前記被写体像を撮像するイメージセンサと、
   前記撮像レンズ及び前記イメージセンサを含むカメラモジュールの手振れを感知する手振れ感知部と、
   前記手振れ感知部による検出結果に応じて前記撮像レンズの駆動を制御することにより、手振れ補正を実施する手振れ補正部と、
   前記被写体像に対しシェーディング補正を実施するシェーディング補正部と、を有し、
   前記手振れ補正部は、前記撮像レンズの位置に関するレンズ位置情報を出力し、
   前記シェーディング補正部は、前記シェーディング補正のためのシェーディングパラメータを、前記レンズ位置情報に応じて調整することを特徴とするカメラモジュール。

Images