JP2015220690A - カメラモジュール及びイメージセンサ - Google Patents

Abstract

【課題】電子式手振れ補正を行うときの画像合成回路の処理負荷を低減することができるカメラモジュールを提供する。
【解決手段】カメラモジュール３は、レンズユニット１３と、レンズユニット１３を介して入射した光を光電変換して画像データを出力するイメージセンサ１６と、ジャイロセンサ１７と、イメージセンサ１６から出力される画像データに、ジャイロセンサ１７が検出した角速度信号から算出したベクトルデータを付加したフレームデータを出力するフレームコンポーザと、を有する。
【選択図】図２

Description

本発明の実施形態は、カメラモジュール及びイメージセンサに関する。

従来より、イメージセンサによる静止画撮影時の画質を良くするための技術の一つとして、手振れ補正技術がある。

手振れ補正の方式には、一般に、光学式（OIS：Optical Image Stabilization）と電子式（EIS：Electrical Image Stabilization）の２つの方式がある。光学式手振れ補正方式は、光学系を動かすための駆動機構が必要となり、カメラモジュールが大きくだけでなく高価になるという問題がある。

一方、従来の電子式手振れ補正方式は、手振れによる画像のずれ量を２枚の画像データから算出してから、そのずれ量に応じて複数のフレーム画像を合成して１つの静止画を生成する画像合成処理を行わなければならないため、中央処理装置（CPU）などの画像合成回路の処理負荷が大きいという問題がある。

特開２００７−２３５２４７号公報 特開２００９−１６４８５７号公報

そこで、実施形態は、電子式手振れ補正を行うときの画像合成回路の処理負荷を低減することができるカメラモジュール及びイメージセンサを提供することを目的とする。

実施形態のカメラモジュールは、光学系と、前記光学系を介して入射した光を光電変換して画像データを出力する光電変換部と、ジャイロセンサと、前記光電変換部から出力される前記画像データに、前記ジャイロセンサが検出した角速度信号から算出した動き情報を付加したフレームデータを出力するフレームデータ出力回路と、を有する。

実施形態のイメージセンサは、光学系を介して入射した光を光電変換して画像データを出力する光電変換部と、ジャイロセンサの角速度信号から算出された動き情報が所定の値を超えると、設定された第１露光時間を経過する前に前記光電変換部の露光を中断して前記第１露光時間よりも短い露光時間の前記画像データを生成し、前記動き情報が前記所定の値を超えなければ前記第１露光時間の前記画像データを生成する画像データ生成処理を実行するように、前記光電変換部を制御する露光コントローラと、を有する。

実施形態イメージセンサは、光学系を介して入射した光を光電変換して画像データを出力する光電変換部と、前記光学系のレンズ位置についての情報に応じた補正情報を記憶したメモリと、ジャイロセンサが検出した前記角速度信号をベクトル情報に変換する角速度／ベクトルコンバータと、前記メモリに記憶された前記補正情報に基づいて、前記ベクトル情報を補正するベクトル情報補正回路と、を有する。

第１の実施形態に関わる撮影装置のブロック図である。 第１の実施形態に関わるカメラモジュール３の構成を示す模式的構成図である。 第１の実施形態に関わるイメージセンサ１６の構成を示すブロック図である。 第１の実施形態に関わるフレームデータのデータ構造を示す図である。 第１の実施形態に関わる、ビューファインダーモードVFMから電子的手振れ補正モードEISMへ変化する露光タイミングの状態を説明するための図である。 第２の実施形態に関わる、分割フレームの生成の様子を説明するための図である。 第３の実施形態に関わる、不揮発性メモリ１８に記憶されるテーブルデータTBLの例を示す図である。

（第１の実施形態）
（構成）
図１は、本実施形態に係わる撮影装置のブロック図である。図１は、撮影装置の一例としてのスマートフォン１の構成を示す。スマートフォン１は、プロセッサ２と、カメラモジュール３と、メモリ４と、通信ユニット５と、液晶表示装置（以下、LCDという）６とを有している。

プロセッサ２は、スマートフォン１全体の制御及び各種アプリケーションソフトウエアの実行を行う制御部であり、中央処理装置（CPU）と、ROM、RAMを含む。中央処理装置（CPU）がROM及びメモリ４に記憶されたプログラムを読み出して実行することにより、スマートフォン１のユーザにより指定された機能を実現する。プロセッサ２は、さらに、カメラモジュール３からのフレームデータを処理するISP（Image Signal Processor）等の画像処理機能も有している。

カメラモジュール３は、後述するようにレンズ系、撮像素子であるイメージセンサ、ジャイロセンサなどを含む。カメラモジュール３は、フレキシブル基板３ａを介してプロセッサ２の基板と接続される。

メモリ４は、撮影した画像データ等の各種データ、各種アプリケーションソフトウエア等を記憶する記憶装置である。ここでは、メモリ４は、書き換え可能な不揮発性のメモリである。

通信ユニット５は、スマートフォン１の基本機能である、通話、データの送受信のための無線通信処理を行う回路である。
LCD６は、図示しないタッチパネルが搭載された表示装置であり、ユーザは、LCD６の画面上をタッチして、各種機能あるいは各種コマンドを選択することにより、所望の機能を選択することができる。

スマートフォン１は、各種機能の一つとしてカメラ機能を有している。ユーザがカメラ機能を選択すると、LCD６にビューファインダー機能によるライブ画像が表示される。ユーザは、そのライブ画像を見ながら、シャッターボタンを押すと、例えば、LCD６上に表示されたシャッターボタンをタッチすると、撮影が行われる。

図２は、カメラモジュール３の構成を示す模式的構成図である。カメラモジュール３は、基板１１と、その基板１１上に搭載された各種部品を覆うカバー１２とからなり、スマートフォン１内に配設されている。

基板１１上には、レンズユニット１３と、アクチュエータ１４と、自動焦点ドライバ（以下、AFドライバという）１５と、イメージセンサ１６と、ジャイロセンサ１７と、不揮発性メモリ１８とが搭載されている。

レンズユニット１３は、対物レンズとしての複数のレンズを含み、焦点調節が可能な光学系である。レンズユニット１３は、カバー１２に設けられた開口部（図示せず）から入射した光をイメージセンサ１６の撮像面に結像する。

アクチュエータ１４は、レンズユニット１３内の焦点調整用のレンズを光軸O方向に沿って駆動するレンズ駆動機構である。アクチュエータ１４は、例えば電磁石を利用したアクチュエータである。

AFドライバ１５は、プロセッサ２とアクチュエータ１４と不揮発性メモリ１８に接続され、プロセッサ２からのAFドライバ制御信号AFに基づいて、アクチュエータ１４を駆動するための駆動信号DSを出力する回路である。AFドライバ１５は、AFドライバ制御信号AFに含まれるAFドライバ制御値AFDに応じた駆動信号DSをアクチュエータ１４に出力する。

イメージセンサ１６は、ここではCMOSイメージセンサである。イメージセンサ１６の構成については後述する。
ジャイロセンサ１７は、ここでは、互いに直交するX軸とY軸の２軸、あるいはX軸,Y軸,Z軸の３軸のセンサであり、イメージセンサ１６と接続されている。ジャイロセンサ１７は、各軸の軸回りの角速度信号をイメージセンサ１６へ出力する。ジャイロセンサ１７は、後述するようにクロック信号SSと制御信号CSを受信して、角速度信号DDをイメージセンサ１６へ出力する（図３参照）。

不揮発性メモリ１８は、各種データを記憶する記憶装置である。不揮発性メモリ１８には、プロセッサ２からのAFドライバ制御信号AFに含まれるAFドライバ制御値AFDに対応する駆動信号DSの出力値が記憶されている。

AFドライバ１５は、プロセッサ２から受信した焦点調節信号であるAFドライバ制御信号AFに含まれるAFドライバ制御値AFDに応じた駆動信号DSの出力値を不揮発性メモリ１８から読み出し、その読み出した出力値を有する駆動信号DSをアクチュエータ１４に出力する。

複数のAFドライバ制御値AFDと各AFドライバ制御値AFDに対応する駆動信号DSの出力値は、カメラモジュール３の製造時に不揮発性メモリ１８に書き込まれるカメラモジュール毎の固有の値である。

図３は、イメージセンサ１６の構成を示すブロック図である。イメージセンサ１６は、ジャイロセンサ１７用のインターフェース２１、角速度／ベクトルコンバータ２２、露出コントローラ２３、光電変換部２４、イメージノーマライザ２５、フレームコンポーザ２６及び画像データ用のインターフェース２７を含む。

インターフェース２１は、ジャイロセンサ１７に対して同期用のクロック信号SSと制御信号CSを出力し、ジャイロセンサ１７からの角速度信号DDを入力するためのインターフェースである。

また、ジャイロセンサ１７からのインターラプト信号ISがインターフェース２１を介さずに角速度／ベクトルコンバータ２２と露出コントローラ２３へ供給されるように、ジャイロセンサ１７はイメージセンサ１６と接続されている。

イメージセンサ１６は、カメラモードになると、クロック信号SSと制御信号CSが露出コントローラ２３の制御の下、ジャイロセンサ１７に供給する。クロック信号SSと制御信号CSは、図示しない回路において生成される。ジャイロセンサ１７は、クロック信号SSと制御信号CSに応じて、角速度信号DDを出力する。インターラプト信号ISは、角速度信号DDが所定の大きさ以上の異常な値になると出力される。インターラプト信号ISを受信すると、露出コントローラ２３と角速度／ベクトルコンバータ２２は、入力された角速度信号DDが異常な値の信号であるとして、入力された角速度信号DDを利用しない。

角速度／ベクトルコンバータ２２は、所定のサンプリングレートで角速度信号DDをサンプリングし、角速度信号DDを、手振れによる動きを示す軌跡データであるベクトルデータVDに変換する回路である。角速度／ベクトルコンバータ２２は、２軸のジャイロセンサ１７の角速度信号DDに基づいて、XY空間における動きの方向と量を示すベクトルデータVDを生成し、フレームコンポーザ２６へ出力する。すなわち、角速度／ベクトルコンバータ２２は、ジャイロセンサ１７が検出した角速度信号DDをベクトル情報であるベクトルデータVDに変換する。

露出コントローラ２３は、プロセッサ２からの露出制御信号ESに基づき、露光時間及びゲインを含む自動露出制御情報AE（以下、AE情報という）を生成して、光電変換部２４に出力する。露出制御信号ESは、プロセッサ２における自動露出制御により決定された目標露光時間を示す信号である。

露出コントローラ２３は、プロセッサ２からの露出制御信号ESに基づいて、ローリングシャッタ方式による画像信号の読み出しを行うためのAE情報を生成して光電変換部２４へ出力する。

光電変換部２４は、画素アレイ３１と、画素アレイ３１を駆動する行ドライバ３２と、列アナログデジタルコンバータ（以下、列ADCという）３３とを含むCMOSイメージセンサ領域である。すなわち、光電変換部２４は、光学系であるレンズユニット１３を介して入射した光を光電変換して画像データを出力する。

画素アレイ３１は、複数の画素がマトリクス状に設けられた受光領域である。行ドライバ３２は、行毎に、リセットし、リセットされた後に露光されて蓄積された電荷を読み出す。すなわち、行ドライバ３２により、リセットされた後に露光されて蓄積された電荷が、行毎に読み出される。読みだされた各行の各列の電荷は、列ADC３３によりデジタル信号に変換されて、イメージノーマライザ２５に出力される。各行の露光時間は、露出コントローラ２３からのAE情報により規定される。

イメージノーマライザ２５は、AE情報に基づいて、光電変換部２４からの各画像データの輝度を正規化して出力する回路である。
フレームコンポーザ２６は、イメージノーマライザ２５からの各画像データにベクトルデータVD、AE情報、フレームカウント、等の情報を付加してフレームデータを出力するベクトルデータ付加回路である。

すなわち、フレームコンポーザ２６は、光電変換部２４から出力される画像データに、ジャイロセンサ１７が検出した角速度信号DDから算出した動き情報であるベクトルデータVDを付加したフレームデータを出力するフレームデータ出力回路である。その動き情報は、ジャイロセンサ１７が検出した角速度信号DDから算出された動きの量と方向を示すベクトル情報である。

角速度／ベクトルコンバータ２２からのベクトルデータVDが、数百〜数十キロHzの高速なサンプリングレートでサンプリングされたジャイロセンサ１７の角速度信号DDから生成されたデータであるのに対して、フレームデータは、それに比べて低い出力レートのデータである。

よって、例えばフレームデータに含めるベクトルデータは、画像データの１行目の露光開始からその１行目の画像データを読み出すまでの間における動きを示すベクトル情報であるベクトルデータV1と、最終行の露光開始からその最終行の画像データを読み出すまでの間における動きを示すベクトル情報であるベクトルデータV2である。これらのベクトルデータV1,V2をAE（自動露出）情報、フレームカウント、等の情報と共に、各フレームデータに含めることができる。

インターフェース２７は、フレームコンポーザ２６において生成されたフレームデータを、プロセッサ２へ出力する。
すなわち、イメージセンサ１６から出力されるフレームデータには、露光制御のイメージセンサ１６の動作に同期した、任意の期間のベクトル情報であるベクトルデータVDを付加する。例えばベクトル情報であるベクトルデータVDとして、前のフレームの１行目の画像データの読み出し終了から現フレームの１行目の画像データの読み出しまで、あるいは現フレームの画像データの第１行の行データの露光開始から読み出しまでの間の動きを示す情報V1と、画像データの最終行の行データの前フレームから現フレームの読み出しまでの間の動きを示す情報V2が含まれる。

図４は、フレームデータのデータ構造を示す図である。フレームデータ４１は、画像データ４２と、画像データ４２の前に付加された付加情報４３と、画像データ４２の後に付加された付加情報４４と、を含む。さらに、フレームデータ４１の最初と最後には、それぞれ、スタートビット列４５とエンドビット列４６が付加されている。

まず、フレームコンポーザ２６は、スタートビット列４５の後に、ベクトル情報を含む付加情報４３を付加する。
具体的には、イメージノーマライザ２５から１行目の画像データの受信が開始されると、フレームコンポーザ２６は、露出コントローラ２３からのAE情報と、角速度／ベクトルコンバータ２２からのベクトルデータVDとに基づいて、たとえば、前のフレームの１行目の画像データの読み出しから現フレームの１行目の画像データの読み出し、あるいは１行目の画像データの露出開始から１行目の画像データの読み出し終了までの間における動きについてのベクトルデータV1を算出する。

フレームコンポーザ２６は、算出されたベクトルデータV1と、AE（自動露出）情報と、フレームカウント、等の情報を、付加情報４３として生成して、１行目の画像データの前に付加する。

なお、AE情報は、露出コントローラ２３が露出制御信号ESに基づいて決定した露光時間及びゲインの情報であり、フレームカウントは、フレームカウンタ（図示せず）から得られる。
その後、２行目から最終行までの行の画像データがフレームデータ４１に追加される。

フレームコンポーザ２６は、イメージノーマライザ２５から最終行の画像データの受信が開始されると、角速度／ベクトルコンバータ２２からのベクトルデータVDを、露出コントローラ２３のAE情報に基づいて得られる任意の行における時間差、読み出しから読み出しあるいは露光開始から読み出し、を手振れによる撮像画面移動量のフレーム間差分となるベクトルデータV2として算出する。

フレームコンポーザ２６は、算出されたベクトルデータV2の情報を、付加情報４４として、最終行の画像データの後に付加する。そして、フレームコンポーザ２６は、最後に、エンドビット列４６を付加して、フレームデータ４１を生成する。
以上のように生成されたフレームデータ４１は、フレームコンポーザ２６からプロセッサ２へ出力される。

スマートフォン１がカメラモードになると、スマートフォン１はビューファインダーモードになり、LCD６にライブビュー画像が表示される。プロセッサ２は、得られた画像データに含まれる画素の輝度値から露出制御信号ESを生成する。そして、露出制御信号ESは、カメラモジュール３の露出コントローラ２３に供給される。

図５は、ビューファインダーモードVFMから電子的手振れ補正モードEISMへ変化する露光タイミングの状態を説明するための図である。横軸は時間、縦軸は光電変換部２４の読み出しタイミングを示している。スマートフォン１は、カメラモードに設定されると、ビューファインダーモードVFMになる。ユーザがシャッターボタンを押して静止画撮影の指示がされると、EIS動作がオンになっているとき、スマートフォン１は、電子的手振れ補正モードEISM になり、手振れ補正による静止画撮影が実行される。図５では、時刻T1でシャッターボタンが操作され、スマートフォン１の動作モードは、ビューファインダーモードVFMから電子的手振れ補正モードEISMに移行している。

電子的手振れ補正モードEISMになると、上述したように、カメラモジュール３は、ベクトルデータV1,V2を含む分割フレームのフレームデータを出力する。
（効果）
本実施の形態によれば、手振れの方向と量を示す情報であるベクトルデータV1とV2が、カメラモジュール３から出力されるフレームデータ４１中に含まれているので、プロセッサ２は、フレームデータ４１中に含まれるベクトルデータV1,V2に基づいて画像合成処理を行うことができるので、プロセッサ２の画像合成処理の負荷が軽減する。

特に、１行目の画像データのベクトル情報と、最終行の画像データのベクトル情報が、フレームデータ４１に含まれているので、プロセッサ２は、２つのベクトル情報から、１行目から最終行までの途中の動きの推定も行うことができる。

従来であれば、画像合成回路であるプロセッサは、ジャイロセンサ１７の角速度信号に基づいて手振れの方向と量を算出してから、画像合成を行わなければならないので、画像合成処理の負荷が高かった。すなわち、角速度信号と画像データの情報は別々にプロセッサに入力されていた。しかし本実施形態によれば、プロセッサ２は、手振れの方向及び量とリンクした画像データをフレームデータから取得することができる。したがって、プロセッサ２は画像データから手振れの方向及び量を算出する必要がないので、画像合成のための処理負荷は軽減される。

なお、上述した例では、画像データの第１行と最終行の２つのベクトルデータV1,V2が、フレームデータ４１に含まれているが、２つのベクトルデータV1,V2のうちいずれか一方だけをフレームデータ４１に含むようにしてもよい。

さらに、フレームデータ４１に含めるベクトルデータは、第１行と最終行に限られず、第１行と最終行の間の１又は２以上の行のベクトルデータでもよい。加えて、行内の任意の画素範囲のベクトルデータでもよい。

また、そのフレームデータ４１に含めるベクトルデータの行を、設定変更可能にしてもよい。さらにまた、そのフレームデータ４１に含めるベクトルデータの行及び行内の画素範囲を、設定変更可能にしてもよい。

さらに、ベクトル情報は、連続するフレーム間または同一フレーム内の任意の動作点を示す情報でもよい。例えば、ベクトル情報は、前フレームの１行目の行データの読み出しから現フレームの同じく１行目の行データの読み出しまでの間の動きを示す情報でもよい。また、ベクトル情報は、前フレームの最終行の行データの読み出しから現フレームの同じく最終行の行データの読み出しまでの間の動きを示す情報でもよい。

従って、本実施形態によれば、電子式手振れ補正を行うときの画像合成回路の処理負荷を低減することができるカメラモジュール及び撮影装置を実現することができる。
（第２の実施形態）
第１の実施形態では、フレームデータにベクトル情報を含ませることにより、プロセッサ２がフレームデータから手振れの方向と量を算出しないで済むようにすることで、プロセッサ２の画像合成処理の負荷を軽減するものであるが、第２の実施形態は、合成する分割フレーム数を極力少なくするようにして、プロセッサにおける画像合成処理の負荷を軽減する。

本実施形態のスマートフォン及びカメラモジュールの構成は、第１の実施形態と同じであるので、同じ構成要素については、同じ符号を用いて説明は省略し、異なる構成についてのみ説明する。

なお、本実施形態では、露出コントローラ２３は、プロセッサ２からの露出制御信号ESに加えて、角速度／ベクトルコンバータ２２からのベクトルデータVDに基づき、AE情報を生成して、光電変換部２４を制御する。そのため、図３において、点線で示すように、露出コントローラ２３は、角速度／ベクトルコンバータ２２からのベクトルデータVDが入力されるように、角速度／ベクトルコンバータ２２と接続されている。

EIS動作時、複数の分割フレームが生成され合成されるが、生成される分割フレームの枚数を少なくしたい。例えば、一般に、EIS動作時、８以上の分割フレームの合成が望ましいと言われているので、プロセッサの処理負担を軽減させるため分割フレームの数を最低限の８に設定したい。しかし、分割フレーム数が少なくなると、各分割フレーム当たりの露光時間が長くなり、画像にブレが生じる虞がある。すなわち、合成前の複数の分割フレーム中の１つ又は２つ以上の画像にブレがあると、EIS動作時の画像品質が低下する。

そのため、各分割フレーム中の画像のブレを極力抑える必要がある。
そこで、本実施形態では、ジャイロセンサ１７の出力信号に基づくベクトルデータを監視し、既定の露光期間内に、所定の値以上の動きすなわち所定の大きさ以上のベクトルデータが検出された場合、露出コントローラ２３は、その分割フレームの露光を中断し、ベクトルデータが所定の値未満になってから、新たな分割フレームの露光を開始するように、光電変換部２４を制御する。

図６は、分割フレームの生成の様子を説明するための図である。図６の横軸は時間を示す。出力波形JOは、ジャイロセンサ１７のX軸とY軸の角速度の出力を示す。点線は、角速度の所定値THを示している。また、円形VOは、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの向きと大きさを示す図である。円形VOの半径が所定の値VTHを示している。VFは、ビューファインダーモードVFM時のフレーム出力を示し、DF1〜DF5は、EIS動作により分割されたフレーム出力を示す。時刻T1でシャッターボタンが押されて、静止画撮影のためのEIS動作が開始される。ここでも、露出コントローラ２３は、プロセッサ２からの露出制御信号ESに基づいて、ローリングシャッタ方式による画像信号の読み出しを行う。

例えば、分割数が８として設定されているとき、露出コントローラ２３は、プロセッサ２から供給されるビューファインダーモードVFM時の露光時間を目標露光時間として、目標露光時間を８（分割数）で除算した既定の露光時間DETの分割フレームDF1を生成して出力するように、光電変換部２４を制御する。目標露光時間は、露出制御信号ESに含まれる。

露出コントローラ２３は、分割フレームDF1の１行目の画像データの露光開始から読み出しまでの間、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDを監視する。すなわち、露出コントローラ２３は、１行目の画像データを出力中に、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの大きさが所定の値VTHを超える否かを監視する。

図６では、第１の分割フレームDF1の場合、１行目の画像データを出力中には、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの大きさが所定の値VTHを超えていないため、既定の露光時間DETの分割フレームDF1が出力されている。
分割フレームDF1の出力が終了すると、次の分割フレームDF2を生成して出力するように、露出コントローラ２３は、光電変換部２４を制御する。

第２の分割フレームDF2の生成が開始されると、露出コントローラ２３は、第１の分割フレームDF1の１行目の画像データを出力中と同様に、第２の分割フレームDF2の１行目の画像データを出力中に、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの大きさが所定の値VTHを超えるか否かを監視する。

図６の場合、第２の分割フレームDF2の１行目の画像データを出力中に、ベクトルデータVDの大きさが所定の値VTHを超えたため、露光は中断されている。そのため、分割フレームDF2の露光時間DET2は、既定の露光時間DETよりも短い。分割フレームDF2の２行目以降の行の露光時間もDET2となっている。

露光時間DET2の分割フレームDF2の出力が終了すると、次の分割フレームDF3を生成して出力するように、露出コントローラ２３は、光電変換部２４を制御する。
しかし、図６の場合、ベクトルデータVDの大きさが所定の値VTHを超えているため、分割フレームDF2の出力後、直ぐに、分割フレームDF3の生成は行われない。角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの大きさが所定の値VTH以下になってから、分割フレームDF3の生成が行われている。

分割フレームDF3についても、露出コントローラ２３は、１行目の画像データを出力中に、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの大きさが所定の値VTHを超えるか否かを監視する。

第３の分割フレームDF3の場合、途中で、ベクトルデータVDの大きさが所定の値VTHを超えることがなかったため、露光は中断されず、分割フレームDF3の露光時間は、既定の露光時間DETと同じである。分割フレームDF3の出力が終了すると、次の分割フレームDF4を生成して出力するように、露出コントローラ２３は、光電変換部２４を制御するが、ベクトルデータVDの大きさが所定の値VTHを超えているため、分割フレームDF3の出力後、直ぐに、分割フレームDF4の生成は行われていない。

その後、ベクトルデータVDの大きさが所定の値VTH以下になって、分割フレームDF4の生成が行われている。第４の分割フレームDF4の場合、途中で、ベクトルデータVDの大きさが所定の値VTHを超えたため、露光は中断されている。そのため、分割フレームDF4の露光時間DET4は、既定の露光時間DETよりも短い。
以上のようにして、分割フレームが順次生成されて出力されていく。

露光時間DET2、DET4のように、各々の露光時間が露光時間DETよりも短い分割フレームがあると、目標露光時間に達せず、プロセッサ２において合成した画像が適切な露出の画像とならない。よって、露出コントローラ２３は、目標露光時間になるように、総露光時間を監視して、合成画像が適切な露出となるように、光電変換部２４を制御する。
すなわち、出力した分割フレームの総露出時間が、合成画像が適正露出となる目標露光時間になるまで、分割フレームの生成を行うように、光電変換部２４を制御する。

例えば、分割数が８で、設定された露光時間が５００msec（ミリ秒）の画像を生成する場合、露光時間が６２．５msecの分割フレームを８枚生成するように、露出コントローラ２３は、光電変換部２４を制御する。

しかし、上述したように、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの大きさが所定の値VTH以下になって、露光時間が６２．５msecに満たない分割フレームが発生する場合がある。

露出コントローラ２３は、生成して出力した分割フレームの総露出時間、すなわち露出時間の和、を算出するようにして、総露出時間が５００msecになるまで、露光時間が６２．５msecの分割フレームの生成を繰り返すように、光電変換部２４を制御する。

８枚の分割フレームを出力した時点で、総露光時間が４００msecであったとすると、露出コントローラ２３は、露光時間が６２．５msecの分割フレームを生成するように、光電変換部２４の制御を継続する。第９の分割フレームが６２．５msecで生成して出力された場合は、第１０の分割フレームは、露光時間が３７．５msecの分割フレームを生成して出力するように、光電変換部２４を制御する。

第９及び第１０の分割フレームを生成するときも、露出コントローラ２３は、１行目の画像データを出力中に、ベクトルデータVDの大きさが所定の値VTHを超えるか否かを監視し、ベクトルデータVDの大きさが所定の値を超えると露光を中断して、中断したときの露光時間の分割フレームを生成して出力するように光電変換部２４を制御する。

従って、８枚の分割フレームを出力した時点で、総露光時間が４００msecであったとすると、その後に生成される分割フレーム数は、角速度／ベクトルコンバータ２２の出力であるベクトルデータVDの大きさに応じて、変化する。

以上のように、露光コントローラ２３は、EIS動作時に、ジャイロセンサ１７の角速度信号DDから算出された動き情報であるベクトルデータVDが所定の値VTHを超えると、設定された露光時間を経過する前に光電変換部２４の露光を中断して、自動露出制御により決定された露光時間よりも短い露光時間の画像データの分割フレームを生成する。ベクトルデータVDが所定の値VTHを超えなければ自動露出制御により決定された露光時間の画像データの分割フレームを生成する画像データ生成処理を実行するように、光電変換部２４を制御する。

そして、露光コントローラ２３は、生成された複数の画像データの分割フレームの露光時間の合計が目標露光時間となるまで、画像データ生成処理の実行を繰り返すように、光電変換部２４を制御する。

なお、短時間露光の撮影時は、十分な分割数が得られない場合がある。そのような場合は、短時間露光の撮影時はもともと手振れが発生しにくい状況であるので、分割数を少なくするようにしてもよい。

また、長時間露光でも短時間露光でもない通常露光時間の撮影時は、光電変換部２４の最速フレームレート分の１から、撮影時の３５mm判換算の焦点距離分の１の間のときに、EIS動作が実行される。

以上のように、本実施形態によれば、EIS動作時に、ジャイロセンサ１７の出力から得られたベクトル情報に応じて分割フレーム当たりの露光時間を調整する。すなわち、手振れが大きい場合、短い露光時間の分割フレームを生成し、かつ出力した分割フレームの総露光時間が必要な露光時間になるように、露出コントローラ２３が光電変換部２４を制御する。すなわち、画像合成を行うプロセッサ２は、可能な限り少ない枚数の分割フレームから最適な露出の合成画像を生成することができるので、プロセッサ２における画像合成処理の負荷が低減される。

なお、本実施形態の動作は、第１の実施形態の動作と組み合わせてもよい。すなわち、イメージセンサ１６が、ベクトルデータVDを含むフレームデータをプロセッサ２に出力すると共に、露出コントローラ２３が、ベクトルデータVDに応じて、分割フレームの生成を中断しながら、最適な露出の合成画像が得られるまで、分割フレームを生成して出力するように、光電変換部２４を制御するようにしてもよい。本実施形態と第１の実施形態とを組み合わせれば、プロセッサ２では、フレームデータからベクトルデータVDを算出する必要もなく、かつ焦点距離に応じて可能な限り少ない枚数の分割フレームの合成を行うので、画像合成処理の負荷は軽減する。

従って、本実施形態によれば、電子式手振れ補正を行うときの画像合成回路の処理負荷を低減することができるカメラモジュール、イメージセンサ及び撮影装置を実現することができる。
（第３の実施形態）
第１の実施形態では、フレームデータにベクトル情報を含ませることにより、プロセッサ２がフレームデータから手振れの方向と量を算出しないで済むようにすることで、プロセッサ２の画像合成処理の負荷を軽減するものであるが、第３の実施形態は、画像上の動きベクトルを、特にレンズ位置に応じて校正する。

本実施形態では、個別製品ごとに、およびAF状態の違いに応じて、角速度／ベクトルコンバータ２３における角速度／ベクトル変換の際のずれを校正用データにより校正し、後段信号処理を実行するプロセッサ２に対して、より正確な動きベクトルデータVDを出力するようにした。

本実施形態のスマートフォン及びカメラモジュールの構成は、第１の実施形態と同じであるので、同じ構成要素については、同じ符号を用いて説明は省略し、異なる構成についてのみ説明する。本実施形態では、不揮発性メモリ１８に、所定のテーブルデータTBLが予め記憶される。

図７は、不揮発性メモリ１８に記憶されるテーブルデータTBLの例を示す図である。テーブルデータTBLは、AFドライバ制御値AFDに対応した、角速度信号を動きベクトルへ変換する際の校正データSSを記憶している。

AFドライバ制御値AFDは、焦点距離に応じてアクチュエータ１４を駆動するためにAFドライバ１５に入力されるAFドライバ制御信号AFに含まれる値であり、マクロ撮影時のAFドライバ制御値AFD1から、無限遠撮影時のAFドライバ制御値AFDnまでの複数の値をとり得る。

図７に示すように、テーブルデータTBLには、AFドライバ制御値AFD1に対応する校正用データSS1が設定され、AFドライバ制御値AFD2に対応する校正用データSS2が設定され、というように、AFドライバ制御値AFDに対応した校正用データSSが予め設定されている。すなわち、テーブルデータTBLは、光学系であるレンズユニット１３の位置についての情報に応じた、画像上の動きベクトルの校正用データの情報を記憶している。

AFドライバ制御値AFDは、図３において点線で示すように、AFドライバ１５からあるいはAFドライバ１５への入力信号線から角速度／ベクトルコンバータ２２へ入力されている。

よって、EIS動作時、角速度／ベクトルコンバータ２２は、AFドライバ制御値AFDに基づいて不揮発性メモリ１８中のテーブルデータTBLを参照して、レンズユニット１３のレンズ位置の違いによる、角速度／動きベクトル変換の校正用データを取得する。図３において、点線で示すように、角速度／ベクトルコンバータ２２は、不揮発性メモリ１８と接続されており、テーブルデータTBLを参照して、角移動量と画像の動きベクトル変換の補正情報としての校正用データを取得することが出来る。角速度／ベクトルコンバータ２２は、取得した校正用データを利用して、得られた角移動量が何ピクセル相当の移動距離に相当するかを校正して出力する。

すなわち、角速度／ベクトルコンバータ２２は、不揮発性メモリ１８に記憶された補正情報に基づいて、ベクトル情報を補正するベクトル情報補正回路を構成する。なお、ベクトル情報補正回路は、露出コントローラ２３に含まれていてもよい。

以上のように、本実施形態によれば、EIS動作時に、画像合成を行うプロセッサ２は、カメラモジュールごとのバラツキに対して正確な動きベクトル情報を基に画像を重ね合わせることが出来るので、プロセッサ２における画像合成処理の負荷が低減され、かつ正確な画像の重ねあわせが可能になる。

本実施形態の動作は、第１の実施形態の動作と組み合わせることができる。プロセッサ２には、カメラモジュール３から出力されるフレームデータにベクトル情報を含ませて出力すると共に、そのデータは製品ばらつきやAF状態に対して校正されたものである。本実施形態と第１の実施形態とを組み合わせれば、プロセッサ２では、画像データからベクトルデータVDを算出する必要もなく、正確な動きベクトルデータが得られるので、画像合成処理の負荷は軽減する。

従って、本実施形態によれば、電子式手振れ補正を行うときの画像合成回路の処理負荷を低減することができるカメラモジュール、イメージセンサ及び撮影装置を実現することができる。

以上のように、上述した３つの実施形態によれば、電子手振れ補正を行うときの画像合成回路の処理負荷を低減させることができるカメラモジュール及びイメージセンサを実現することができる。

なお、上述した３つの実施形態は、撮像装置としてスマートフォンを例として説明したが、各実施形態のカメラモジュールあるいはイメージセンサは、デジタルカメラなどの他の撮影装置にも適用可能である。

さらに、撮影装置であるスマートフォン１が、第２の実施形態の露光時間最適化動作モードと、第３の実施形態のフレーム数加算動作モードのEISの２つの動作モードを有するようにして、ユーザが２つの動作モードのいずれか一方を選択して、動作モードの切り替えができるようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ スマートフォン、２ プロセッサ、３ カメラモジュール、３ａ フレキシブル基板、４ メモリ、５ 通信ユニット、１１ 基板、１２ カバー、１３ レンズユニット、１４ アクチュエータ、１５ AFドライバ、１６ イメージセンサ、１７ ジャイロセンサ、１８ 不揮発性メモリ、２１ インターフェース、２２ 角速度／ベクトルコンバータ、２３ 露出コントローラ、２４ 光電変換部、２５ イメージノーマライザ、２６ フレームコンポーザ、２７ インターフェース、３１ 画素アレイ、３２ 行ドライバ、４１ フレームデータ、４２ 画像データ、４３、４４ 付加情報、４５ スタートビット列、４６ エンドビット列。

Claims (13)

1. 光学系と、
   前記光学系を介して入射した光を光電変換して画像データを出力する光電変換部と、
   ジャイロセンサと、
   前記光電変換部から出力される前記画像データに、前記ジャイロセンサが検出した角速度信号から算出した動き情報を付加したフレームデータを出力するフレームデータ出力回路と、
   を有するカメラモジュール。
2. 前記動き情報は、前記ジャイロセンサが検出した前記角速度信号から算出された動きの量と方向を示すベクトル情報である請求項１に記載のカメラモジュール。
3. 前記ジャイロセンサが検出した前記角速度信号を前記ベクトル情報に変換する角速度／ベクトルコンバータを更に有する請求項２に記載のカメラモジュール。
4. 前記ベクトル情報は、連続するフレーム間または同一フレーム内の任意の動作点を示す情報である請求項２に記載のカメラモジュール。
5. 前記ベクトル情報は、前フレームの1行目の行データの読み出しから現フレームの同じく1行目の行データの読み出しまでの間の動きを示す第１の情報である請求項３に記載のカメラモジュール。
6. 前記ベクトル情報は、前フレームの最終行の行データの読み出しから現フレームの同じく最終行の行データの読み出しまでの間の動きを示す第２の情報も含む請求項５に記載のカメラモジュール。
7. 前記第１の情報は、前記フレームデータのスタートビット列の直後に付加し、
   前記第２の情報は、前記フレームデータのエンドビット列の直前に付加することを特徴とする請求項６に記載のカメラモジュール。
8. 前記光電変換部は、CMOSイメージセンサ領域である請求項１から７のいずれか１つに記載のカメラモジュール。
9. 光学系を介して入射した光を光電変換して画像データを出力する光電変換部と、
   ジャイロセンサの角速度信号から算出された動き情報が所定の値を超えると、設定された第１露光時間を経過する前に前記光電変換部の露光を中断して前記第１露光時間よりも短い露光時間の前記画像データを生成し、前記動き情報が前記所定の値を超えなければ前記第１露光時間の前記画像データを生成する画像データ生成処理を実行するように、前記光電変換部を制御する露光コントローラと、
   を有するイメージセンサ。
10. 前記露光コントローラは、生成された複数の画像データの露光時間の合計が第２露光時間となるまで、前記画像データ生成処理の実行を繰り返すように、前記光電変換部を制御する請求項９に記載のイメージセンサ。
11. 前記動き情報は、前記角速度信号から算出された動きの量と方向を示すベクトル情報である請求項９に記載のイメージセンサ。
12. 前記角速度信号を前記ベクトル情報に変換する角速度／ベクトルコンバータを更に有する請求項１１に記載のイメージセンサ。
13. 光学系を介して入射した光を光電変換して画像データを出力する光電変換部と、
    前記光学系のレンズ位置についての情報に応じた補正情報を記憶したメモリと、
    ジャイロセンサが検出した前記角速度信号をベクトル情報に変換する角速度／ベクトルコンバータと、
    前記メモリに記憶された前記補正情報に基づいて、前記ベクトル情報を補正するベクトル情報補正回路と、
    を有するイメージセンサ。
    

Images