JP2018056753A - カメラコントローラ、画像処理モジュール、および半導体システム - Google Patents

Abstract

【課題】静止画撮影モードで使用される光学式手振れ補正では、手振れが大きいと、補正の精度が悪くなり、動画撮影モードで使用される電子式手振れ補正では、手振れの周波数が高いと、補正の精度が悪くなる。
【解決手段】カメラモジュール１０２は、振動検出センサ１０７による検出結果に基づいて光学系１０４における光軸のブレを検出し、ブレの量の一部を補正するために、光学式手振れ補正量に基づいて、補正レンズが光軸に垂直な面内でシフトするようにアクチュエータ１０６を制御し、ブレの残りの量を補正するために、ブレの補正残し量を表わすデータを画像処理モジュール１０３に送信する。画像処理モジュール１０３は、ブレの補正残し量を表わすデータを受信し、補正残し量に応じた電子式手振れ補正量に基づいて、フレームデータに含まれる撮像画像データの有効領域を変化させる。
【選択図】図１

Description

本発明は、カメラコントローラ、画像処理モジュール、および半導体システムに関し、たとえば、手振れ補正付きカメラを制御するのに適したカメラコントローラ、画像処理モジュール、および半導体システムに関する。

ビデオカメラおよびデジタルカメラにおいて、手振れ補正する技術が知られている。
たとえば、特許文献１には、電子式手振れ補正（electronic image stabilization：ＥＩＳ）の機能と、光学式手振れ補正（optical image stabilization：ＯＩＳ）の機能とを備えた装置が記載されている。この装置では、光学式手振れ補正部は、振動検出素子の出力信号に応じて光軸を補正する。電子式手振れ補正部は、撮像素子により形成される撮像領域の画像信号のうち、有効領域を適応的に変化させる。

特開２００９−１５２７９３号公報

しかしながら、特許文献１の装置では、動画撮影モードでは、電子式手振れ補正を実行し、静止画撮影モードでは、光学式手振れ補正を実行する。

光学式手振れ補正は、比較的高い周波数の手ぶれを補正することが可能であるが、撮像画像の周辺部（端）でレンズ歪みの影響を受ける。光学式手振れ補正を利用する静止画撮影モードにおいて、手振れが大きいと、補正の精度が悪くなるという問題がある。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施形態では、ブレの量の一部を光学式手振れ補正し、ブレの補正残し量を電子式手振れ補正する。

一実施形態によれば、手振れ補正の精度を高くすることができる。

第１の実施形態の半導体システムの構成を表わす図である。 第２の実施形態の半導体システムの構成を表わす図である。 光学系１４の構成を表わす図である。 第３の実施形態の半導体システムの構成を表わす図である。 第３の実施形態における受光面の一方の軸方向に補正レンズ２１２がずれたときの光学式手振れ補正を説明するための図である。 第１アプリケーションプロセッサ３５が、補正残しベクトルを表わすデータＣＭＡを受信するタイミングと、垂直同期信号ＶＳＹＮＣを受信するタイミングを表わす図である。 第４の実施形態の半導体システムの構成を表わす図である。 第５の実施形態の半導体システムの構成を表わす図である。 第６の実施形態の半導体システムの構成を表わす図である。 第７の実施形態の半導体システムの構成を表わす図である。 ＯＩＳコントローラ６７が、垂直同期信号ＶＳＹＮＣを受信するタイミングと、ブレベクトルを受信するタイミングと、光学式手振れ補正後の補正レンズ２１２の位置ベクトルを受信するタイミングと、代表ブレベクトルおよび代表位置ベクトルを送信するタイミングを表わす図である。 第８の実施形態の半導体システムの構成を表わす図である。 第８の実施形態における受光面の一方の軸方向に補正レンズ２１２がずれたときの手振れ補正を説明するための図である。 （ａ）は、歪補正前の撮像画像を表わす図である。（ｂ）は、歪補正後の撮像画像を表わす図である。

以下、本発明の実施の形態について、図面を用いて説明する。
［第１の実施形態］
図１は、第１の実施形態の半導体システム１００の構成を表わす図である。

この半導体システム１００は、光学手振れ補正機能を備えたカメラモジュール１０２と、電子式手振れ補正機能を備えた画像処理モジュール１０３とを備える。

カメラモジュール１０１は、光学系１０４と、振動検出センサ１０７と、イメージセンサ１０５と、アクチュエータ１０６と、光学式手振れ補正を制御するカメラコントローラ１０８とを備える。

光学系１０４は、手振れを補正するための補正レンズを含む。光学系１０４には、外部から光が入射される。

振動検出センサ１０７は、カメラモジュール１０１の振動を検出する。
イメージセンサ１０５は、光学系１０４を介して入力された光を光電変換することによって撮像画像を生成し、撮像画像を含むフレームデータを出力する。

アクチュエータ１０６は、光学系１０４に含まれる補正レンズを駆動する。
カメラコントローラ１０８は、演算部１１０と、制御部１０９と、通信部１１１とを備える。

演算部１１０は、振動検出センサ１０７による検出結果に基づいて光学系１０４における光軸のブレを検出し、ブレの一部の量を補正するために、光学式手振れ補正量を算出する。

制御部１０９は、光学式手振れ補正量に基づいて、補正レンズが光軸に垂直な面内でシフトするように補正レンズを駆動するアクチュエータ１０６を制御する。

通信部１１１は、ブレの残りの量を補正するために、ブレの補正残し量を表わすデータを画像処理モジュール１０３に送信する。

画像処理モジュール１０３は、第１のプロセッサ１１２と、第２のプロセッサ１１３と、第３のプロセッサ１１４とを備える。

第１のプロセッサ１１２は、カメラコントローラ１０８から送信されるブレの補正残し量を表わすデータを受信し、補正残し量に応じた電子式手振れ補正量を表わす信号を出力する。

第２のプロセッサ１１３は、イメージセンサ１０５から送られるフレームデータを受信する。

第３のプロセッサ１１４は、電子式手振れ補正を実行する。電子式手振れ補正には、隣接するフレーム間において、撮像画像の特徴点の移動量に基づいて、撮像画像の有効画素領域を設定する第１の補正方法と、振動検出センサによる振動検出結果に基づいて、撮像画像の有効領域を設定する第２の補正方法の２通りがある。第１の補正方法は、演算量が多いため、発熱量が大きくなり、消費電流も大きくなるという問題があるととともに、動画にしか適用できないという問題がある。さらに、第１の補正方法では、特徴点が手振れによって移動したのではない場合に、手振れ補正の精度が劣化するという問題がある。第３のプロセッサ１１４は、電子的手振れ補正実行後のデータを、たとえばカメラ内の表示装置に出力することができる。

本実施の形態では、第２の補正方法を用いる。以下の実施形態においても、電子式手振れ補正として、第２の補正方法が用いられる。

第３のプロセッサ１１４は、第１のプロセッサ１１２から送られる電子式手振れ補正量に基づいて、第２のプロセッサ１１３から送られるフレームデータに含まれる撮像画像の有効領域を変化させる。

以上のように、本実施の形態によれば、手振れが発生したときに、限られた範囲で光学式手振れ補正を行ない、光学式手振れ補正によって補正しきなかった分を電子式手振れ補正するので、手振れ補正の精度を高くすることができる。

特に、スマートフォンでは、搭載される光学系は、軽量、薄型化のために、小径でレンズ数が少ない構成をとるため、レンズ歪の影響を受けやすいという問題がある。本実施の形態では、光学式手振れ補正において、レンズ歪のない範囲で補正し、残りは、電子式手振れ補正によって補正することができるので、手振れ補正の精度がよくなる。

一方、電子式手振れ補正では、撮像素子の高画素化に伴い、大きな振れ角でも補正することが可能であるが、高い周波数の手振れを補正することができない。電子式手振れ補正を利用する動画撮影モードにおいて、手振れの周波数が高いと、補正の精度が悪くなるという問題がある。本実施の形態では、光学式手振れ補正と電子式手振れ補正の両方のメリットを利用することができる。これによって、静止画撮影モードと動画撮影モードの両方において、光学式手振れ補正において、レンズ歪のない範囲で補正し、残りは、電子式手振れ補正によって補正することができるので、手振れ補正の精度がよくなる。

［第２の実施形態］
図２は、第２の実施形態の半導体システムの構成を表わす図である。

この半導体システムは、カメラモジュール１１と、画像処理モジュール１２と、モニタ２７とを備える。

カメラモジュール１１は、光学系１４と、振動検出センサ１８と、アクチュエータ２０と、ＯＩＳコントローラ１７と、イメージセンサ１６とを備える。

図３は、光学系１４の構成を表わす図である。
光学系１４は、ズームレンズ２１１、補正レンズ２１２、絞り２１３、およびフォーカスレンズ２１４を含む。

ズームレンズ２１１は、被写体１３の像の倍率を変化させる。補正レンズ２１２は、被写体１３の像のぶれを補正する。補正レンズ２１２は、カメラモジュール１１のぶれを相殺する方向に移動することにより、イメージセンサ１６上の被写体１３の像のぶれを小さくする。絞り２１３は、光学系１４を通過する光の量を調整する。フォーカスレンズ２１４は、イメージセンサ１６に形成される被写体１３の像のフォーカス状態を変化させる。

振動検出センサ１８は、カメラモジュール１１に加わる振動を検出する。振動検出センサ１８は、ジャイロセンサによって構成され、カメラモジュール１１の鉛直面内の角速度および水平面内の角速度を検出して、これらの角速度を表わす信号をＯＩＳコントローラ１７へ出力する。

ＯＩＳコントローラ１７の演算部は、振動検出センサ１８から送られる鉛直面内の角速度および水平面内の角速度を表わす信号に基づいて、カメラモジュール１１の回転角を算出する。ＯＩＳコントローラ１７の演算部は、カメラモジュール１１の回転角に基づいて、光学系１４における光軸のブレ、すなわち受光面内における被写体１３からの光の光軸からのブレを表わすブレベクトルを計算する。

ＯＩＳコントローラ１７の制御部は、補正レンズ２１２がブレベクトルと逆向きのベクトルの大きさと方向にシフトするように指示する制御信号をアクチュエータ２０へ出力する。

アクチュエータ２０は、ＯＩＳコントローラ１７からの制御信号を受けて、光学系の光軸に垂直な面内で補正レンズ２１２を駆動する。アクチュエータ２０は、たとえば、マグネットと平板コイルとによって構成される。

イメージセンサ１６は、光学系１４を介して入射した光を光電変換することによって、撮像画像を生成する。イメージセンサ１６は、たとえば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。ＣＭＯＳイメージセンサは、２次元に配列された複数の単位画素を含み、それぞれの単位画素は、フォトダイオードと、フォトダイオードに蓄積された電荷を浮遊拡散領域（ＦＤ（Floating Diffusion））に転送する転送ゲートと、浮遊拡散領域の電荷をリセットするリセットトランジスタとを備える。

画像処理モジュール１２は、システムメインボード上に搭載されたイメージシグナルプロセッサ２１と、バッファメモリ２２と、振動検出センサ２６と、第１アプリケーションプロセッサ２５と、第２アプリケーションプロセッサ２３と、フレームメモリ２４とを備える。

カメラモジュール１１は、画像処理モジュール１２とＩ２Ｃ（Inter-Integrated Circuit）バス９９で接続される。

画像処理モジュール１２内の第１アプリケーションプロセッサ２５が、カメラモジュール１１内のＯＩＳコントローラ１７へ制御コマンドを送ることができる。また、第１アプリケーションプロセッサ２５が、ＯＩＳコントローラ１７からの情報を受信することができる。

イメージセンサ１６は、スタートビット列と、フレーム番号と、撮像画像と、エンドビット列とを含むフレームデータＦＤ１をイメージシグナルプロセッサ２１へ送る。ここで、フレーム番号の初期値は０である。

イメージシグナルプロセッサ２１は、フレームデータＦＤ１に含まれる撮像画像の明るさ、色、またはエッジなどの各種補正を行い、補正後の撮像画像を含むフレームデータＦＤ２をバッファメモリ２２へ出力する。

振動検出センサ２６は、画像処理モジュール１２の振動を検出する。振動検出センサ２６は、ジャイロセンサによって構成され、画像処理モジュール１２の鉛直面内の角速度および水平面内の角速度を検出して、これらの角速度を表わす信号を第１アプリケーションプロセッサ２５へ出力する。

第１アプリケーションプロセッサ２５は、振動検出センサ２６から送られる鉛直面内の角速度および水平面内の角速度を表わす信号に基づいて、画像処理モジュール１２の回転角を算出する。第１アプリケーションプロセッサ２５は、画像処理モジュール１２の回転角に基づいて、光学系１４における光軸のブレ、すなわち受光面内における被写体１３からの光の光軸からのブレを表わすブレベクトルを計算する。第１アプリケーションプロセッサ２５は、ブレベクトルを表わす信号ＤＰＬを第２アプリケーションプロセッサ２３へ出力する。

バッファメモリ２２は、フレーム送り信号ＦＲＡを受信するごとに、１個分のフレームデータＦＤ２を第２アプリケーションプロセッサ２３へ出力する。

第２アプリケーションプロセッサ２３は、電子式手振れ補正を実行する。第２アプリケーションプロセッサ２３は、ブレベクトルを表わす信号ＤＰＬを受信する。第２アプリケーションプロセッサ２３は、ブレベクトルと逆向きのベクトルの大きさと方向にフレームデータＦＤ２に含まれる撮像画像の有効領域を移動させる。

第２アプリケーションプロセッサ２３は、撮像画像のうち有効領域内の画素のデータ（有効画像データ）をフレームデータＦＤ３としてフレームメモリ２４へ出力する。

フレームメモリ２４は、フレーム送り信号ＦＲＡを受信するごとに、１個分のフレームデータＦＤ３をモニタ２７へ出力する。

モニタ２７は、フレームメモリ２４内のフレームデータＦＤ３を表示する。
以上のように、本実施の形態によれば、動画撮影モードでも静止画撮影モードでも、カメラモジュール１１と画像処理モジュール１２とで、それぞれ独立して、光学式手振れ補正と、電子式手振れ補正が実行される。

しかしながら、それぞれ独立して、実行されるので、過剰に手振れ補正が実行されてしまうという問題がある。すなわち、振動検出センサ１８で得られる振動情報に従って光学式手振れ補正が実行された後に得られる画像に対して、さらに、振動検出センサ２６で得られる振動情報に従って、電子的手振れ補正が実行されるので、過剰に手振れ補正が実行される。

なお、Ｉ２Ｃバスに代えて、ＳＰＩ（Serial Peripheral Interface）バスを用いるものとしてもよい。他の実施形態でも同様である。

カメラモジュールが補正レンズの現在位置を検出する位置検出センサを備え、位置検出センサによって検出された補正レンズの現在位置を用いて、アクチュエータをサーボ制御するものとしてもよい。他の実施形態でも同様である。

［第３の実施形態］
図４は、第３の実施形態の半導体システムの構成を表わす図である。

この半導体システムは、カメラモジュール３１と、画像処理モジュール３２とを備える。

図４の構成が、図２の構成と相違する点は、図４のカメラモジュール３１に含まれるＯＩＳコントローラ３７とイメージセンサ３６の機能、および図４の画像処理モジュール３２に含まれる第１アプリケーションプロセッサ３５の機能が、図２における対応するものと相違することである。また、図４の画像処理モジュール３２が振動検出センサを備えないことが、図２の対応するものと相違する。

イメージセンサ３６は、フレームデータＦＤ１を作成後、フレームデータＦＤ１をイメージシグナルプロセッサ２１へ出力するタイミングにおいて、垂直同期信号ＶＳＹＮＣを第１アプリケーションプロセッサ３５へ出力する。

ＯＩＳコントローラ３７の演算部は、振動検出センサ１８から送られる鉛直面内の角速度および水平面内の角速度を表わす信号に基づいて、カメラモジュール３１の回転角を算出する。ＯＩＳコントローラ３７の演算部は、カメラモジュール３１の回転角に基づいて、光学系１４における光軸のブレ、すなわち受光面内における被写体１３からの光の光軸からのブレを表わすブレベクトルを計算する。

ＯＩＳコントローラ３７の演算部は、ブレベクトルから光学式手振れ補正ベクトルを算出する。光学式手振れ補正ベクトルの向きは、ブレベクトルの向きと逆である。光学式手振れ補正ベクトルの大きさ（光学式手振れ補正量）は、ブレベクトルの大きさ（ブレ量）に補正係数を乗算することによって算出される。補正係数は、ブレベクトルの大きさ（ブレ量）に応じて変わる。

ＯＩＳコントローラ３７の制御部は、補正レンズ２１２が光学式手振れ補正ベクトルの大きさと方向にシフトするように指示する制御信号をアクチュエータ２０へ出力する。

図５は、第３の実施形態における受光面の一方の軸方向に補正レンズ２１２がずれたときの光学式手振れ補正を説明するための図である。

図５（ａ）には、ブレベクトルの時間変化を表わす曲線ＣＶ１と、光学式手振れ補正後の補正レンズ２１２の位置の時間変化を表わす曲線ＣＶ２が示されている。

図５（ｂ）には、補正係数を表わされている。
ブレベクトルの大きさ（ブレ量）がＤ０のときに、補正係数が０である。ブレベクトルの大きさ（ブレ量）がＤ１よりも大きく、Ｄ０未満のときには、ブレベクトルの大きさ（ブレ量）が小さくなるほど、補正係数が大きくなる。ブレベクトルの大きさ(ブレ量）がＤ１以下のときには、補正係数が一定値となる。

ＯＩＳコントローラ３７の演算部は、ブレベクトルと光学式手振れ補正ベクトルとに基づいて、補正残しベクトルを算出する。補正残しベクトルの向きは、光学式手振れ補正ベクトルの向きと同じ（ブレベクトルの向きと逆向き）である。補正残しベクトルの大きさ（ブレの補正残し量）は、ブレベクトルの大きさ（ブレ量）から光学式手振れ補正ベクトルの大きさ（光学式手振れ補正量）を減算することによって算出される。ＯＩＳコントローラ３７の通信部は、補正残しベクトルを表わすデータＣＭＡを第１アプリケーションプロセッサ３５へ出力する。

第１アプリケーションプロセッサ３５は、補正残しベクトルを表わすデータＣＭＡと、垂直同期信号ＶＳＹＮＣを受信する。

図６は、第１アプリケーションプロセッサ３５が、補正残しベクトルを表わすデータＣＭＡを受信するタイミングと、垂直同期信号ＶＳＹＮＣを受信するタイミングを表わす図である。

垂直同期信号ＶＳＹＮＣを受信するタイミングと、データＣＭＡを受信するタイミングは同期していない。垂直同期信号ＶＳＹＮＣは、１／３０秒ごとに受信される。データＣＭＡは、１／３０秒よりも短い周期で受信される。

第１アプリケーションプロセッサ３５は、垂直同期信号ＶＳＹＮＣを受信したときに、そのタイミングよりも前で、かつ１つ前に垂直同期信号ＶＳＹＮＣを受信したタイミングよりも後に受信した複数個のデータＣＭＡで表される補正残しベクトルに基づいて、電子式手振れ補正ベクトルを求める。

たとえば、複数個のデータＣＭＡに含まれる補正残しベクトルの平均値、あるいは、最も新しいデータＣＭＡに含まれる補正残しベクトルなどを電子式手振れ補正ベクトルとすることができる。あるいは、手振れ補正を抑制したい場合には、複数の補正残しベクトルのうち、大きさが最小のものを電子式手振れ補正ベクトルとしてもよい。また、手振れ補正を促進したい場合には、複数の補正残しベクトルのうち、大きさが最大のものを電子式手振れ補正ベクトルとしてもよい。

第１アプリケーションプロセッサ３５は、電子式手振れ補正ベクトルを表わす信号ＣＭＡ′を第２アプリケーションプロセッサ３３へ送る。

第２アプリケーションプロセッサ３３は、電子式手振れ補正を実行する。第２アプリケーションプロセッサ３３は、電子式手振れ補正ベクトルを表わす信号ＣＭＡ′を受信する。第２アプリケーションプロセッサ３３は、電子式手振れ補正ベクトルの大きさと方向にフレームデータＦＤ２に含まれる撮像画像の有効領域を移動させる。

第２アプリケーションプロセッサ３３は、撮像画像のうち有効領域内の画素データ（有効画像データ）をフレームデータＦＤ３としてフレームメモリ２４へ出力する。

以上のように、本実施の形態によれば、ＯＩＳコントローラが、光学式手振れ補正によって補正しきれなかった補正残し量を表わすデータを画像処理モジュールに送信し、画像処理モジュールが、受信した補正残し量を表わすデータに基づいて、電子式手振れ補正を実行する。これによって、過剰な手振れ補正が防止されるので、手振れ補正の精度を高くすることができる。

また、本実施の形態では、補正残しベクトルを表わすデータＣＭＡとして、補正残しベクトル自体（大きさと向き）が送られるので、ブレベクトルと光学式手振れ補正ベクトルがそれぞれ送られることに比べ、Ｉ２Ｃバスに流れるデータ量を少なくすることができる。

［第４の実施形態］
図７は、第４の実施形態の半導体システムの構成を表わす図である。

この半導体システムは、カメラモジュール９１と、画像処理モジュール３２とを備える。

図７の構成が、図４の構成と相違する点は、カメラモジュール９１に含まれるＯＩＳコントローラ９７の機能が、図４における対応するものと相違することである。さらに、図７のカメラモジュール９１は、位置検出センサ１９を備える。

位置検出センサ１９は、光学系の光軸に垂直な面（受光面）内における補正レンズ２１２の位置を表わす位置ベクトルを検出し、補正レンズ２１２の位置ベクトルを表わす信号をＯＩＳコントローラ９７へ出力する。手振れがないときの補正レンズ２１２の位置を位置ベクトルの原点とする。位置検出センサ１９は、例えば、マグネットとホール素子とによって構成される。

ＯＩＳコントローラ９７の演算部は、振動検出センサ１８から送られる鉛直面内の角速度および水平面内の角速度を表わす信号に基づいて、カメラモジュール９１の回転角を算出する。ＯＩＳコントローラ９７の演算部は、カメラモジュール９１の回転角に基づいて、光学系１４における光軸のブレ、すなわち受光面内における被写体１３からの光の光軸からのブレを表わすブレベクトルを計算する。

ＯＩＳコントローラ９７の演算部は、ブレベクトルから光学式手振れ補正ベクトルを算出する。光学式手振れ補正ベクトルの向きは、ブレベクトルの向きと逆である。光学式手振れ補正ベクトルの大きさ（光学式手振れ補正量）は、ブレベクトルの大きさ（ブレ量）に補正係数を乗算することによって算出される。補正係数は、第３の実施形態と同様に、ブレベクトルの大きさに応じて変わる。

ＯＩＳコントローラ９７の制御部は、補正レンズ２１２が光学式手振れ補正ベクトルの大きさと方向に移動するように指示する制御信号をアクチュエータ２０へ出力する。

ＯＩＳコントローラ９７の演算部は、ブレベクトルと、補正後（アクチュエータ２０が移動後）の補正レンズ２１２の位置ベクトルとに基づいて、補正残しベクトルを算出する。補正残しベクトルの向きは、光学式手振れ補正ベクトルの向きと同じ（ブレベクトルの向きと逆向き）である。補正残しベクトルの大きさ（ブレ補正残し量）は、ブレベクトルの大きさ（ブレ量）から補正レンズ２１２の位置ベクトルの大きさ（位置を表わす量）を減算することによって算出される。ＯＩＳコントローラ９７の通信部は、補正残しベクトルを表わすデータＣＭＡを第１アプリケーションプロセッサ３５へ出力する。

以上のように、本実施の形態によれば、光学式手振れ補正後の補正レンズの位置に基づいて、補正残し量を算出することができる。本実施の形態でも、第３の実施形態と同様に、過剰な手振れ補正を防止されるので、手振れ補正の精度を高くすることができる。

［第５の実施形態］
図８は、第５の実施形態の半導体システムの構成を表わす図である。

この半導体システムは、カメラモジュール３１と、画像処理モジュール４２とを備える。

図８の構成が、図７の構成と相違する点は、画像処理モジュール４２に含まれる第１アプリケーションプロセッサ４５および第２アプリケーションプロセッサ４３の機能が、図７における対応するものと相違することである。

第１アプリケーションプロセッサ４５は、第３または第４の実施形態と同様にして得られた電子式手振れ補正ベクトルにフレーム番号を付したフレーム番号付き電子式手振れ補正ベクトルを表わす信号ＣＭＡ′＿ＦＮを第２アプリケーションプロセッサ４３へ送る。ここで、フレーム番号の初期値は０である。

第２アプリケーションプロセッサ４３は、電子式手振れ補正を実行する。第２アプリケーションプロセッサ３３は、フレーム番号付き電子式手振れ補正ベクトル表わす信号ＣＭＡ′＿ＦＮを逐次受信する。

第２アプリケーションプロセッサ４３は、逐次受信した信号ＣＭＡ′＿ＦＮに含まれるフレーム番号付き電子式手振れ補正ベクトルのうち、バッファメモリ２２から出力されたフレームデータＦＤ２に含まれるフレーム番号と同一のフレーム番号が付された電子式手振れ補正ベクトルを選択する。第２アプリケーションプロセッサ４３は、選択した電子式手振れ補正ベクトルの大きさと方向にフレームデータＦＤ２に含まれる撮像画像の有効領域を移動させる。

以上のように、本実施の形態によれば、イメージセンサ１６から出力されるフレームデータと、ＯＩＳコントローラから出力される電子式手振れ補正ベクトルとを対応させることができる。動画の間引き再生などによって、バッファメモリ２２内でフレームデータＦＤ２が間引かれる場合でも、第２アプリケーションプロセッサ２３は、フレームデータＦＤ２に対応する電子式手振れ補正ベクトルを用いて、電子式手振れ補正を実行することができる。

［第６の実施形態］
図９は、第６の実施形態の半導体システムの構成を表わす図である。

この半導体システムは、カメラモジュール５１と、画像処理モジュール５２とを備える。

図９の構成が、図８の構成と相違する点は、図９のカメラモジュール５１に含まれるＯＩＳコントローラ５７と、図９の画像処理モジュール５２に含まれる第１アプリケーションプロセッサ５５の機能が、図８における対応するものと相違することである。

ＯＩＳコントローラ５７の演算部は、振動検出センサ１８から送られる鉛直面内の角速度および水平面内の角速度を表わす信号に基づいて、カメラモジュール５１の回転角を算出する。ＯＩＳコントローラ５７の演算部は、カメラモジュール５１の回転角に基づいて、光学系１４における光軸のブレ、すなわち受光面内における被写体１３からの光の光軸からのブレを表わすブレベクトルを計算する。

ＯＩＳコントローラ５７の演算部は、ブレベクトルから光学式手振れ補正ベクトルを算出する。光学式手振れ補正ベクトルの向きは、ブレベクトルの向きと逆である。光学式手振れ補正ベクトルの大きさは、ブレベクトルの大きさに補正係数を乗算することによって算出される。補正係数は、第３の実施形態と同様に、ブレベクトルの大きさに応じて変わる。

ＯＩＳコントローラ５７の制御部は、補正レンズ２１２が光学式手振れ補正ベクトルの大きさと方向に移動するように指示する制御信号をアクチュエータ２０へ出力する。ＯＩＳコントローラ５７の通信部は、ブレベクトルと、光学式手振れ補正後（アクチュエータ２０が移動後）の補正レンズ２１２の位置ベクトルとを表わすデータＣＭを補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ５５へ出力する。

第１アプリケーションプロセッサ５５は、データＣＭを受信する。第１アプリケーションプロセッサ５５は、垂直同期信号ＶＳＹＮＣを受信したときに、そのタイミングよりも前で、かつ１つ前に垂直同期信号ＶＳＹＮＣを受信したタイミングよりも後に受信した複数個のデータＣＭで表されるブレベクトルと光学式手振れ補正後の補正レンズ２１２の位置ベクトルとから、代表ブレベクトルと、補正レンズ２１２の代表位置ベクトルを求める。

たとえば、最も新しいデータＣＭに含まれるブレベクトルおよび光学式手振れ補正後の補正レンズ２１２の位置ベクトルを代表ブレベクトルおよび補正レンズ２１２の代表位置ベクトルとしてもよい。

第１アプリケーションプロセッサ５５は、代表ブレベクトルおよび補正レンズ２１２の代表位置ベクトルとから、電子式手振れ補正ベクトルを求める。

電子式手振れ補正ベクトルの向きは、補正レンズ２１２の代表位置ベクトルの向きと同じである。電子式手振れ補正ベクトルの大きさは、代表ブレベクトルの大きさから補正レンズ２１２の代表位置ベクトルの大きさを減算することによって算出される。

第１アプリケーションプロセッサ５５は、電子式手振れ補正ベクトルにフレーム番号を付したフレーム番号付き電子式手振れ補正ベクトルを表わす信号ＣＭＡ′＿ＦＮを第２アプリケーションプロセッサ４３へ送る。ここで、フレーム番号の初期値は０である。

なお、第１アプリケーションプロセッサ５５は、代表ブレベクトルの大きさ（ブレ量）が所定値以上のときに、電子式手振れ補正が実行され、代表ブレベクトルの大きさ（ブレ量）が所定値未満のとき、補正残し量があっても、電子式手振れ補正が実行されないようにしてもよい。すなわち、第１アプリケーションプロセッサ５５は、代表ブレベクトルの大きさが所定値未満のときには、電子式手振れ補正ベクトルを算出しないこととしてもよい。これによって、画像処理モジュール５２側で、被写体ぶれが発生しているのか、あるいはパン・チルトが発生しているのかを区別して、被写体ぶれが発生しているときに限り、電子式手振れ補正を実行するようにすることができる。

以上のように、本実施の形態によれば、ＯＩＳコントローラから画像処理モジュールに、補正残し量を算出する前のデータであるブレ量と、補正レンズの位置を表わすデータとを送信する。このようなデータが送信されても、第５の実施形態と同様の効果が得られる。また、代表ブレベクトルの大きさ（ブレ量）に基づいて、電子式手振れ補正を実行するか否かを判断することもできる。

［第６の実施形態の変形例］
本実施の形態では、ＯＩＳコントローラ５７は、ブレベクトルと、光学式手振れ補正後（アクチュエータ２０が移動後）の補正レンズ２１２の位置ベクトルとを表わすデータＣＭを補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ５５へ出力するものとしたが、これに限定するものではない。

たとえば、ＯＩＳコントローラ５７の通信部は、ブレベクトルと、光学式手振れ補正ベクトルとを表わすデータＣＭを補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ５５へ出力するものとしてもよい。

［第７の実施形態］
図１０は、第７の実施形態の半導体システムの構成を表わす図である。

この半導体システムは、カメラモジュール６１と、画像処理モジュール６２とを備える。

図１０の構成が、図９の構成と相違する点は、図１０のカメラモジュール６１に含まれるイメージセンサ６６とＯＩＳコントローラ６７、および図１０の画像処理モジュール６２に含まれる第１アプリケーションプロセッサ６５の機能が、図９における対応するものと相違することである。

イメージセンサ６６は、フレームデータＦＤ１を作成後、フレームデータＦＤ１をイメージシグナルプロセッサ２１へ出力するタイミングにおいて、垂直同期信号ＶＳＹＮＣを第１アプリケーションプロセッサ６５ではなく、ＯＩＳコントローラ６７へ出力する。

ＯＩＳコントローラ６７の演算部は、振動検出センサ１８から送られる鉛直面内の角速度および水平面内の角速度を表わす信号に基づいて、カメラモジュール６１の回転角を算出する。ＯＩＳコントローラ６７の演算部は、カメラモジュール６１の回転角に基づいて、光学系１４における光軸のブレ、すなわち受光面内における被写体１３からの光の光軸からのブレを表わすブレベクトルを計算する。

ＯＩＳコントローラ６７の演算部は、ブレベクトルから光学式手振れ補正ベクトルを算出する。光学式手振れ補正ベクトルの向きは、ブレベクトルの向きと逆である。光学式手振れ補正ベクトルの大きさは、ブレベクトルの大きさに補正係数を乗算することによって算出される。補正係数は、第３の実施形態と同様に、ブレベクトルの大きさに応じて変わる。

ＯＩＳコントローラ６７の制御部は、補正レンズ２１２が光学式手振れ補正ベクトルの大きさと方向に移動するように指示する制御信号をアクチュエータ２０へ出力する。

図１１は、ＯＩＳコントローラ６７が、垂直同期信号ＶＳＹＮＣを受信するタイミングと、ブレベクトルを受信するタイミングと、光学式手振れ補正後の補正レンズ２１２の位置ベクトルを受信するタイミングと、代表ブレベクトルおよび代表位置ベクトルを送信するタイミングを表わす図である。

ＯＩＳコントローラ６７が、垂直同期信号ＶＳＹＮＣを受信するタイミングと、ブレベクトルを受信するタイミングおよび光学式手振れ補正後の補正レンズ２１２の位置ベクトルを受信するタイミングは同期していない。垂直同期信号ＶＳＹＮＣは、１／３０秒ごとに受信される。ブレベクトルおよび位置ベクトルは、１／３０秒よりも短い周期で受信される。

ＯＩＳコントローラ６７の演算部は、垂直同期信号ＶＳＹＮＣを受信するごとに、その受信タイミングよりも前で、かつ１つ前に垂直同期信号ＶＳＹＮＣを受信したタイミングよりも後に取得したブレベクトルと学式手振れ補正後の補正レンズ２１２の位置ベクトルとから、代表ブレベクトルと、補正レンズ２１２の代表位置ベクトルを求める。

たとえば、最も新しいブレベクトルおよび光学式手振れ補正後の補正レンズ２１２の位置ベクトルを代表ブレベクトルおよび補正レンズ２１２の代表位置ベクトルとしてもよい。

ＯＩＳコントローラ６７の通信部は、代表ブレベクトルと、補正レンズ２１２の代表位置ベクトルを表わすデータＣＭ′を補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ６５へ出力する。

第１アプリケーションプロセッサ６５は、データＣＭ′を受信する。第１アプリケーションプロセッサ６７は、データＣＭ′に含まれる代表ブレベクトルおよび補正レンズ２１２の代表位置ベクトルから、電子式手振れ補正ベクトルを求める。電子式手振れ補正ベクトルの向きは、補正レンズ２１２の代表位置ベクトルの向きと同じである。電子式手振れ補正ベクトルの大きさは、代表ブレベクトルの大きさから補正レンズ２１２の代表位置ベクトルの大きさを減算することによって算出される。

第１アプリケーションプロセッサ６５は、電子式手振れ補正ベクトルにフレーム番号を付したフレーム番号付き電子式手振れ補正ベクトルを表わす信号ＣＭＡ′＿ＦＮを第２アプリケーションプロセッサ４３へ送る。ここで、フレーム番号の初期値は０である。

以上のように、本実施の形態では、ＯＩＳコントローラが補正残し量を表わすデータを垂直同期信号ＶＳＹＮＣに同期して画像処理モジュールへ送信するので、ＩＣ２バスを流れるデータの量を少なくすることができる。

また、本実施の形態では、第１アプリケーションプロセッサ側で必要となる情報に再生成する必要がなく、第１アプリケーションプロセッサの性能に影響されないシステムが構築できる。

また、本実施の形態では、振動検出センサに近い場所で、フレームタイミングに同期して、データが加工できる為、振動検出センサの出力遅延に影響されないシステムが構築できる。さらに、本実施の形態では、適切な周期で動きベクトルの情報を生成することもできる。また、本実施の形態では、ＯＩＳコントローラが、光学式手振れ補正と電子式手振れ補正の補正量の割り当てを一括管理する為、感度調整などの工程調整が容易になる。

［第７の実施形態の変形例］
第７の実施形態では、ＯＩＳコントローラ６７の通信部は、代表ブレベクトルと、補正レンズ２１２の代表位置ベクトルを表わすデータＣＭ′を補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ６５へ出力したが、これに限定するものではない。

ＯＩＳコントローラ６７の通信部は、代表ブレベクトルと、代表光学式手振れ補正ベクトルを表わすデータＣＭ′を補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ６５へ出力するものとしてもよい。代表光学式手振れ補正ベクトルは、たとえば、前フレームの最新の光学式手振れ補正ベクトルとすることができる。

ＯＩＳコントローラ６７の通信部は、代表ブレベクトルから代表光学式手振れ補正ベクトルを減算した補正残しベクトル表わすデータＣＭ′を補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ６５へ出力するものとしてもよい。

また、ＯＩＳコントローラ６７の通信部は、代表ブレベクトルから補正レンズ２１２の代表位置ベクトルを減算した補正残しベクトル表わすデータＣＭ′を補正残しベクトルを表わすデータとして第１アプリケーションプロセッサ６５へ出力するものとしてもよい。

［第８の実施形態］
図１２は、第８の実施形態の半導体システムの構成を表わす図である。

この半導体システムは、カメラモジュール７１と、画像処理モジュール７２とを備える。

図１２の構成が、図１０の構成と相違する点は、図１２のカメラモジュール７１に含まれるＯＩＳコントローラ７７、および図１２の画像処理モジュール７２に含まれる第１アプリケーションプロセッサ７５、バッファメモリ７４および第２アプリケーションプロセッサ７３の機能が、図１０における対応するものと相違することである。

さらに、図１２のカメラモジュール７１は、歪補正用ＬＵＴ（LookUp Table）メモリ７８を含み、図１２の画像処理モジュール７２が、第３アプリケーションプロセッサ７９を備える点で、図１０に示すものと相違する。

ＯＩＳコントローラ７７の演算部は、振動検出センサ１８から送られる鉛直面内の角速度および水平面内の角速度を表わす信号に基づいて、カメラモジュール７１の回転角を算出する。ＯＩＳコントローラ７７の演算部は、カメラモジュール７１の回転角に基づいて、光学系１４における光軸のブレ、すなわち受光面内における被写体１３からの光の光軸からのブレを表わすブレベクトルを計算する。

ＯＩＳコントローラ７７の演算部は、ブレベクトルから光学式手振れ補正ベクトルを算出する。光学式手振れ補正ベクトルの向きは、ブレベクトルの向きと逆である。光学式手振れ補正ベクトルの大きさは、ブレベクトルの大きさに補正係数を乗算することによって算出される。補正係数は、ブレベクトルの大きさに応じて変わる。

ＯＩＳコントローラ７７の制御部は、補正レンズ２１２が光学式手振れ補正ベクトルの大きさと方向に移動するように指示する制御信号をアクチュエータ２０へ出力する。

図１３は、第８の実施形態における受光面の一方の軸方向に補正レンズ２１２がずれたときの手振れ補正を説明するための図である。

図１３（ａ）には、ブレベクトルの時間変化を表わす曲線ＣＶ１と、参考として第３の実施形態における補正後の補正レンズ２１２の位置の時間変化を表わす曲線ＣＶ２と、第８の実施形態における補正後の補正レンズ２１２の位置の時間変化を表わす曲線ＣＶ３が示されている。

図１３（ｂ）には、参考として第３の実施形態の補正係数（点線）と、第８の実施形態の補正係数（実線）が表わされている。

第８の実施形態では、ブレベクトルの大きさがＤ０のときに、補正係数がＫ（＞０）である。ブレベクトルの大きさ（ブレ量）がＤ１よりも大きく、Ｄ０未満のときには、ブレベクトルの大きさ（ブレ量）が小さくなるほど、補正係数が大きくなる。ブレベクトルの大きさ（ブレ量）がＤ１以下のときには、補正係数が一定値となる。本実施の形態の補正係数は、第３の実施形態の補正係数よりも手振れ補正に対する抑制が低く、補正レンズ２１２の端においても手振れ補正がある程度実行される。そのため、レンズ収差によって、撮像画像に歪が生じる。

ＯＩＳコントローラ７７の演算部は、垂直同期信号ＶＳＹＮＣを受信するごとに、その受信タイミングよりも前で、かつ１つ前に垂直同期信号ＶＳＹＮＣを受信したタイミングよりも後に取得したブレベクトルと光学式手振れ補正後の補正レンズ２１２の位置ベクトルとから、代表ブレベクトルと、補正レンズ２１２の代表位置ベクトルを求める。

歪補正用ＬＵＴメモリ７８は、代表ブレベクトルと、撮像画像の歪補正用データとの対応関係を定めたＬＵＴを記憶する。歪補正用データは、たとえばアフィン変換のためのデータとすることができる。

ＯＩＳコントローラ７７の演算部は、歪補正用ＬＵＴメモリ７８から代表ブレベクトルに対応する歪補正用データを読出す。

ＯＩＳコントローラ７７の通信部は、歪補正用データと、代表ブレベクトルと、補正レンズ２１２の代表位置ベクトルを表わすデータＣＸを第１アプリケーションプロセッサ７５へ出力する。

第１アプリケーションプロセッサ７５は、データＣＸを受信する。第１アプリケーションプロセッサ６７は、データＣＸに含まれる代表ブレベクトルおよび補正レンズ２１２の代表位置ベクトルとから、電子式手振れ補正ベクトルを求める。電子式手振れ補正ベクトルの向きは、補正レンズ２１２の代表位置ベクトルの向きと同じである。電子式手振れ補正ベクトルの大きさは、代表ブレベクトルの大きさ（ブレ量）から補正レンズ２１２の代表位置ベクトルの大きさ（位置を表和す量）を減算することによって算出される。

第１アプリケーションプロセッサ７５は、電子式手振れ補正ベクトルにフレーム番号を付したフレーム番号付き電子式手振れ補正ベクトルを表わす信号ＣＭＡ′＿ＦＮを第２アプリケーションプロセッサ４３へ送る。ここで、フレーム番号の初期値は０である。

第１アプリケーションプロセッサ７５は、データＣＸに含まれる歪補正用データにフレーム番号を付したフレーム番号付き歪補正データＡＦＮを第３アプリケーションプロセッサ７９へ送る。

バッファメモリ７４は、フレーム送り信号ＦＲＡを受信するごとに、１個分のフレームデータＦＤ２を第３アプリケーションプロセッサ７９へ出力する。

第３アプリケーションプロセッサ７９は、逐次受信したフレーム番号付き歪補正データＡＦＮのうち、バッファメモリ７４から出力されたフレームデータＦＤ２に含まれるフレーム番号と同一のフレーム番号が付された歪補正データを選択する。第３アプリケーションプロセッサ７９は、フレームデータＦＤ２に含まれる撮像画像を選択した歪補正データによって補正し、補正後の撮像画像が含まれるフレームデータＦＤ４を第２アプリケーションプロセッサ７３へ送る。

図１４（ａ）は、歪補正前の撮像画像を表わす図である。図１４（ｂ）は、歪補正後の撮像画像を表わす図である。歪補正によって、補正レンズ２１２の端の部分を介して入力された光によって生成される撮像画像の端の部分に歪が生じるが、歪補正によって、撮像画像の歪が減少または除去される。

第２アプリケーションプロセッサ７３は、電子式手振れ補正を実行する。第２アプリケーションプロセッサ７３は、逐次受信した信号ＣＭＡ′＿ＦＮに含まれるフレーム番号付き補正残しベクトルのうち、フレームデータＦＤ４に含まれるフレーム番号と同一のフレーム番号が付された電子式手振れ補正ベクトルを選択する。第２アプリケーションプロセッサ７３は、選択した電子式手振れ補正ベクトルの大きさと方向にフレームデータＦＤ４に含まれる撮像画像の有効領域を移動させる。第２アプリケーションプロセッサ７３は、撮像画像のうち有効領域内の画素のデータ（有効画像データ）をフレームデータＦＤ３としてフレームメモリ２４へ出力する。

以上のように、本実施の形態によれば、光が補正レンズの端を介して入力されることによって、撮像画像に歪が生じる場合でも、画像処理モジュールによって、ブレ量に応じた歪補正が実行されるので、表示される画像の歪を除去または低減できる。

なお、歪補正は、撮像画像全体ではなく、撮像画像の端の部分のみに対して行なうものとしてもよい。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

１０１ 半導体システム、１１，３１，５１，６１，７１，９１，１０２ カメラモジュール、１２，３２，４２，５２，６２，７２，１０３ 画像処理モジュール、１３ 被写体、１４，１０４ 光学系、１６，３６，６６，１０５ イメージセンサ、１７，３７，５７，６７，７７，９７ ＯＩＳコントローラ、２０，１０６ アクチュエータ、１８，２６，１０７ 振動検出センサ、２１ イメージシグナルプロセッサ、２２，７４ バッファメモリ、２３，３３，４３，７３ 第２アプリケーションプロセッサ、２４ フレームメモリ、２５，３５，４５，５５，６５，７５ 第１アプリケーションプロセッサ、２７ モニタ、７８ 歪補正用ＬＵＴメモリ、７９ 第３アプリケーションプロセッサ、９９ Ｉ２Ｃバス、１０８ カメラコントローラ、１０９ 制御部、１１０ 演算部、１１１ 通信部、１１２ 第１のプロセッサ、１１３ 第２のプロセッサ、１１４ 第３のプロセッサ。

Claims (14)

1. 光学式手振れ補正を制御するカメラコントローラであって、
   振動検出センサによる検出結果に基づいて光学系における光軸のブレを検出し、前記ブレの量の一部を補正するために、光学式手振れ補正量を算出する演算部と、
   前記光学式手振れ補正量に基づいて、前記光学系に含まれる補正レンズが前記光軸に垂直な面内でシフトするように前記補正レンズを駆動するアクチュエータを制御する制御部と、
   前記ブレの残りの量を補正するために、前記ブレの補正残し量を表わすデータを電子式手振れ補正機能を備えた画像処理モジュールに送信する通信部とを備えた、カメラコントローラ。
2. 前記通信部は、イメージセンサから垂直同期信号を受けるごとに、前記ブレの補正残し量を表わすデータを前記画像処理モジュールに送信する、請求項１記載のカメラコントローラ。
3. 前記ブレの量に応じた、イメージセンサの撮像画像の歪補正用のデータを記憶する記憶部を備え、
   前記通信部は、前記ブレの量に応じた前記歪補正用のデータを前記画像処理モジュールに送信する、請求項１記載のカメラコントローラ。
4. 前記ブレの補正残し量を表わすデータは、前記ブレの量から前記光学式手振れ補正量を減算した量を表わすデータである、請求項１記載のカメラコントローラ。
5. 前記ブレの補正残し量を表わすデータは、前記ブレの量から前記補正レンズのシフト後の位置を表わす量を減算した量を表わすデータである、請求項１記載のカメラコントローラ。
6. 前記ブレの補正残し量を表わすデータは、前記ブレの量と、前記補正レンズのシフト後の位置を表わすデータである、請求項１記載のカメラコントローラ。
7. 前記ブレの補正残し量を表わすデータは、前記ブレの量と、前記光学式手振れ補正量を表わすデータである、請求項１記載のカメラコントローラ。
8. 電子式手振れ補正機能を備えた画像処理モジュールであって、
   カメラコントローラから送信される光学系における光軸のブレの補正残し量を表わすデータを受信し、前記補正残し量に応じた電子式手振れ補正量を表わす信号を出力する第１のプロセッサと、
   イメージセンサから送られるフレームデータを受信する第２のプロセッサと、
   前記第１のプロセッサから送られる前記電子式手振れ補正量に基づいて、前記フレームデータに含まれる撮像画像の有効領域を変化させる第３のプロセッサとを備えた、画像処理モジュール。
9. 前記第１のプロセッサは、イメージセンサから垂直同期信号を受信するごとに、１つ前の垂直同期信号を受信したタイミングよりも後に受信した複数個の前記ブレの補正残し量を表わすデータに基づいて、前記電子式手振れ補正量を求める、請求項８記載の画像処理モジュール。
10. 前記第１のプロセッサは、電子式手振れ補正量にフレーム番号を付した信号を前記第３のプロセッサへ出力し、
    前記第３のプロセッサは、前記フレームデータのフレーム番号と同一の番号が付された前記電子式手振れ補正量に基づいて、前記撮像画像の有効領域を変化させる、請求項８記載の画像処理モジュール。
11. 前記第１のプロセッサは、前記ブレの補正残し量を表わすデータとともに、ブレの量に応じた前記撮像画像の歪補正用のデータを受信し、
    前記歪補正用のデータを用いて、前記撮像画像の歪を補正する第４のプロセッサを備える、請求項８記載の画像処理モジュール。
12. 前記第１のプロセッサは、前記ブレの補正残し量を表わすデータとして、前記ブレの量と前記光学系に含まれる補正レンズのシフト後の位置を表わすデータを受信し、前記ブレの量から前記位置を表わす量を減算することによって前記電子式手振れ補正量を算出する、請求項８記載の画像処理モジュール。
13. 前記第１のプロセッサは、前記ブレの補正残し量を表わすデータとして、前記ブレの量と前記光学系に含まれる補正レンズのシフト後の位置を表わすデータを受信し、前記ブレの量が所定値以上の場合に、前記ブレの量から前記位置を表わす量を減算することによって前記電子式手振れ補正量を算出する、請求項８記載の画像処理モジュール。
14. 光学手振れ補正機能を備えたカメラモジュールと、電子式手振れ補正機能を備えた画像処理モジュールとを備えた半導体システムであって、
    前記カメラモジュールは、
    手振れを補正するための補正レンズを含む光学系と、
    前記カメラモジュールの振動を検出する振動検出センサと、
    前記光学系を介して入力された光を光電変換することによって撮像画像を生成し、撮像画像を含むフレームデータを出力するイメージセンサと、
    前記補正レンズを駆動するアクチュエータと、
    光学式手振れ補正を制御するカメラコントローラとを備え、
    前記振動検出センサによる検出結果に基づいて前記光学系における光軸のブレを検出し、前記ブレの量の一部を補正するために、光学式手振れ補正量を算出し、前記光学式手振れ補正量に基づいて前記補正レンズが前記光軸に垂直な面内でシフトするように前記アクチュエータを制御し、前記ブレの残りの量を補正するために、前記ブレの補正残し量を表わすデータを前記画像処理モジュールに送信し、
    前記画像処理モジュールは、
    前記カメラコントローラから送信される前記ブレの補正残し量を表わすデータを受信し、前記補正残し量に応じた電子式手振れ補正量を表わす信号を出力する第１のプロセッサと、
    前記イメージセンサから送られるフレームデータを受信する第２のプロセッサと、
    前記第１のプロセッサから送られる前記電子式手振れ補正量に基づいて、前記第２のプロセッサから送られる前記フレームデータに含まれる撮像画像データの有効領域を変化させる第３のプロセッサとを備えた、半導体システム。