JP2009296353A - 撮像素子モジュール及びその撮像データ出力方法並びに撮像装置 - Google Patents

Abstract

【課題】撮像素子の画素数が多い場合でも高速連写や高フレームレートでの動画像データの撮像を可能にする。
【解決手段】被写体画像を撮像するＭＯＳ型の撮像素子２２と、撮像素子２２の撮像画像データをデジタル信号で記憶するメモリ２５と、メモリ２５から読み出した撮像画像データを圧縮して外部に出力する圧縮手段２７とを撮像素子モジュールに設ける。
【選択図】図２

Description

本発明は撮像素子モジュール等に係り、特に、撮像データをメモリに一時的に保存してからメモリ内の格納データを外部に出力する撮像素子モジュール及びその撮像データ出力方法並びにこの撮像素子モジュールを搭載した撮像装置に関する。

ＣＯＭＳ型の固体撮像素子は、動作電圧が低電圧で済むため、近年普及が進み、多くのデジタルカメラやカメラ付携帯電話機等に搭載される様になってきている。

ＣＭＯＳ型固体撮像素子を駆動する場合、走査ライン毎に順次シャッタを切るローリングシャッタ方式が多く採用されるが、このローリングシャッタ方式は、画面の上部と下部とで露光タイミングが異なるため、動いている被写体に対してローリング歪みと呼ばれる画像の歪みが発生してしまう。

近年の固体撮像素子は多画素化が進展し、数百万画素以上を搭載するのが普通になってきているが、撮像画像データを読み出す画素数が多くなるほど、画面の上部から読み出すタイミングと、下部から読み出すタイミングとの差が大きくなり、画像歪みが大きくなってしまうという問題がある。

そこで、下記の特許文献１記載の従来技術では、撮像画像データを一時保存するメモリを画素毎に半導体基板上に形成し、各画素が検出した画像データを一旦このメモリに蓄積し、メモリから撮像画像を読み出して、後段の画像処理装置側に撮像画像データを渡すことで、画面の上部と下部とで時間ズレのない完全同時シャッタを実現している。

特開２００６―１２９２９８号公報

固体撮像素子の撮像画像データを、画像処理装置側に出力する前に、撮像素子モジュール側に設けたメモリに一旦保存する場合には、固体撮像素子の画素数が増えても、高速シャッタを切ることが可能である。これは、メモリを、特許文献１記載の様に画素単位に固体撮像素子と同一半導体基板に設けても、また、撮像素子の外部に１画面分のデータ容量を持つメモリを設けても同様である。

しかし、連写する場合、前回の撮像で得られた画像データがメモリから画像処理装置側に転送された後でなければ、今回の撮像を行うことができず、連写性能が低下してしまう。

つまり、画素数が多く転送データ量が多くなる固体撮像素子を用いる場合には、メモリから画像処理装置側へのデータ転送路の転送速度がボトルネックとなり、高速連写ができなくなってしまうという問題がある。

上記は、連写を例に説明したが、動画撮影時のフレームレートを高くすることもできなくなり、あるいはＡＦデータ，ＡＥデータ取得のためのスルー画像のフレームレートを高くすることができなくなってしまう。

本発明の目的は、撮像素子の画素数が多い場合でも高速連写や高フレームレートでの動画像データの撮像を可能にする撮像素子モジュール及びその撮像データ出力方法並びに撮像装置を提供することにある。

本発明の撮像素子モジュール及びその撮像データ出力方法は、被写体画像を撮像するＭＯＳ型の撮像素子の撮像画像データをデジタル信号でメモリに記憶し、該メモリから読み出した前記撮像画像データを圧縮して外部に出力することを特徴とする。この構成により、連写性能が高くなり、また、動画のフレームレート高く維持することが可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前記撮像素子から読み出された前記撮像画像データを、該読み出しと同時に、前記外部へ出力することを特徴とする。この構成により、連写性能が高くなり、また、動画のフレームレート高く維持することが可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前記圧縮が可逆圧縮であることを特徴とする。この構成により、連写性能等を高く維持できると共に、画像の品質劣化を回避することが可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前記撮像素子モジュールの前段に配置されたメカニカルシャッタが「閉」にされたとき前記撮像素子から得られる前記撮像画像データを圧縮し前記外部に出力することを特徴とする。この構成により、少ないデータ転送量で黒レベルの検出が可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データの前記圧縮を行うことを特徴とする。この構成により、連写性能等の向上と転送データ量の一層の削減が可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前記撮像素子の各画素に積層されたカラーフィルタの色毎の前記撮像画像データの積算値に基づき前記圧縮を非可逆圧縮で行うことを特徴とする。この構成により、転送データ量の削減が図られ連写性能等を高く維持できると共に、画質の大幅劣化を回避可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データを積算し該積算値を前記外部に出力することを特徴とする。この構成により、転送データ量の削減が図られると共にカメラのＡＥ処理の高速化を図ることが可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前記撮像画像データのうち隣接画素間データの微分値を算出し該微分値を前記外部に出力することを特徴とする。この構成により、転送データ量の削減と、ＡＦ処理の高速化を図ることが可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、前回の前記撮像画像データと今回の前記撮像画像データとの差分データを前記圧縮したデータとすることを特徴とする。この構成により、転送データ量が削減されて連写性能等の向上を図ることが可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、被写体を撮像した前記撮像画像データと、前記撮像素子の前段に配置されたメカニカルシャッタが「閉」にされたとき得られる前記撮像画像データとの差分を前記圧縮したデータとして前記外部に出力することを特徴とする。この構成により、連写性能等の向上が図られると共に黒レベルを正確に減算した撮像画像データを得ることが可能となる。

本発明の撮像素子モジュール及びその撮像データ出力方法は、被写体画像を撮像するＭＯＳ型の撮像素子の撮像画像データをデジタル信号で圧縮し、該圧縮された前記撮像画像データをメモリに記憶し、該メモリから読み出された前記撮像画像データを外部に出力することを特徴とする。この連写性能が高くなり、また、動画のフレームレート高く維持することが可能となる。また、メモリの容量削減を図ることも可能となる。

本発明の撮像装置は、上述したいずれかに記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記圧縮された前記撮像画像データを伸張するデータ入力手段と、該データ入力手段により伸張された前記撮像画像データを画像処理する画像処理手段とを備えることを特徴とする。この構成により、連写性能等の高い撮像装置を構成することが可能となる。

本発明の撮像装置は、上記記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記非可逆圧縮された撮像画像データを画像処理する画像処理手段とを備えることを特徴とする。この構成により、撮像素子モジュールからの転送データ量の削減が図られ、高速連写等が可能な撮像装置が提供できる。

本発明の撮像装置は、上記記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記積算値に基づいて自動露出制御を行う制御手段とを備えることを特徴とする。この構成により、連写性能等の向上の他に、撮像装置が行う自動露出制御の高速化を図ることが可能となる。

本発明の撮像装置は、上記記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記微分値に基づいて自動焦点制御を行う制御手段とを備えることを特徴とする。この構成により、連写性能等の向上の他に、撮像装置が行うＡＦ制御の高速化を図ることが可能となる。

本発明の撮像装置は、上記記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記差分のデータを画像処理する画像処理手段とを備えることを特徴とする。この構成により、連写性能等の向上を図ることが可能となる。

本発明によれば、撮像素子モジュールから出力されるデータのデータ量が削減されてデータ出力時間が短縮されるため、撮像素子からの読み出し時間がデータ出力時間の遅延によって遅くなることがなくなり、数百万画素以上の撮像素子を搭載しても、連写性能が高く、また、動画撮影のフレームレートを高く維持することが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の一実施形態に係る撮像装置、図示する例ではデジタルスチルカメラの機能ブロック図である。デジタルスチルカメラ１は、カメラ全体を統括制御するシステム制御部（ＣＰＵ）２と、ユーザからの操作入力を受け付ける操作部（シャッタボタンや操作スイッチ等を含む）３と、デジタル信号処理部（ＤＳＰ）４と、メインメモリ（フレームメモリ）５と、外部記憶媒体を接続するメモリカードＩＦ（インタフェース）部６と、カメラ背面等に設けられた液晶等の画像表示部７と、通信用ＩＦ部８と、ドライバ９と、データ解凍機能（データ伸長機能）を有するデータ入力ＩＦ部１０と、これらを相互接続するメインバス１１とを備える。

デジタルスチルカメラ１は、更に、撮像素子モジュール１２が搭載されると共に、撮像素子モジュール１２内のＣＭＯＳ型イメージセンサの前段に設けられた撮影レンズやメカニカルシャッタを備える光学系１３を備え、撮影レンズやメカニカルシャッタは、ＣＰＵ２からの指示に基づき、ドライバ９のレンズ駆動部，シャッタ駆動部によって駆動される。また、撮像素子モジュール１２も、ドライバ９の撮像素子駆動部によって駆動される。

図２は、図１に示す撮像素子モジュール１２の詳細構成図である。撮像素子モジュール１２は、ドライバ９の撮像素子駆動部からの指示信号により駆動されるロジック制御，駆動回路２１と、複数の画素が半導体基板上に二次元アレイ状に配列形成された画素アレイ部２２と、画素アレイ部２２から読み出されたアナログの画像信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換部２３とを備える。

画素アレイ部２２の各画素には、信号読出回路としてＣＭＯＳトランジスタが形成され、この信号読出回路から読み出された撮像画像信号がＡ／Ｄ変換部２３に出力される。尚、信号読出回路は、ＣＭＯＳに限るものではなく、ＮＭＯＳ等、ＭＯＳトランジスタ構成であれば良い。

この撮像素子モジュール１２は、更に、１画面分の画像データを一時的に保存する容量を持つモジュール内メモリ２５と、Ａ／Ｄ変換部２３の出力部に接続されメモリ２５の書込／読出を制御すると共に駆動回路２１と協動動作するメモリコントローラ２６と、メモリコントローラ２６から出力される画像データを圧縮する圧縮部２７と、圧縮された画像データを外部に出力するデータＩＦ部２８とを備える。

斯かる構成のデジタルスチルカメラ１では、連写機能が操作部３で選択され、シャッタボタンが押下されると、図２の光学系１３を通し撮像素子モジュール１２の画素アレイ部２２に被写体の光学像が結像され、露光が開始する。

画素アレイ部２２は、本実施形態では、図３（ｂ）に示す様に、ローリングシャッタ方式で駆動され、画素アレイ部２２の各画素対応の信号読出回路からは、被写体からの入射光量に応じた撮像画像データが、画面の上部から下部にかけて走査ライン順にＡ／Ｄ変換部２３に出力される。

Ａ／Ｄ変換部２３は、画素アレイ部２２から出力される走査ライン順の撮像画像データをデジタルデータに変換してメモリコントローラ２６に渡し、メモリコントローラ２６は、この撮像画像データ（デジタルデータ）をＲＡＷデータのままモジュール内メモリ２５に一時的に格納する。

メモリ２５に一時的に格納された撮像画像データは、直ちにメモリコントローラ２６によって画面上部の画像データから走査ライン順に読み出され、カメラ本体側に出力されるが、本実施形態では、メモリコントローラ２６から出力された撮像画像データ（ＲＡＷデータ）は、圧縮部２７によって圧縮され、圧縮された撮像画像データがデータＩＦ部２８から、図１に示すデータ入力ＩＦ部１０に出力される。

データ入力ＩＦ部１０は、受け取った圧縮撮像画像データを、解凍すなわち伸長して、デジタル信号処理部４に渡したり、或いは、メインバス１１を通してメインメモリ（フレームメモリ）５に格納する。

デジタル信号処理部４は、渡された撮像画像データを画像処理し、ＪＰＥＧ画像データにしてメモリカードに記録し、あるいはスルー画像データを画像表示部７に表示する。

上述した様に、本実施形態のデジタルスチルカメラ１に搭載した撮像素子モジュール１２は、外部すなわちカメラ本体側に転送する撮像画像データを圧縮して転送するため、転送データ量が削減される。

図３（ａ）は、撮像画像データを圧縮せずにカメラ本体側に転送したときの状態を示している。撮像画像データを圧縮しない場合には、データ量が多くなるため、転送に時間がかかり、モジュール内メモリ２５が空になるのに時間がかかる。

つまり、次の撮像までの待機時間が長くなってしまう。この待機時間は、画素アレイ部２２の画素数が増えるほど転送データ量が多くなって長くなり、連写機能が低下してしまう。

これに対し、本実施形態では、データ圧縮により転送データ量が削減されるため、図３（ｂ）に示す様に、転送に要する時間が短縮される。このため、撮像素子モジュール１２の撮像画像データの出力経路がボトルネックとなることがなく、次々と高速連写が可能となる。また、転送データ量が削減されるため、データＩＦ部２８の消費電力（発熱）の削減にも寄与することになる。

撮像素子モジュール１２に搭載する画素アレイ部２２の画素数が多くなれば、それだけデータ量も増大するが、その場合には画素数に合わせて圧縮部２７における圧縮率を高めれば、撮像画像データの出力経路がボトルネックになることはない。

尚、画像圧縮は、非可逆圧縮でも良いが、画像の品質を保つために可逆圧縮とするのが良い。

（第２の実施形態）
図４は、本発明の第２の実施形態に係るタイミングチャートである。ハードウェア構成は、図１，図２と同様である。

図４（ａ）は、図３（ａ）と同様のタイミングチャートであり、データ圧縮を用いない場合に、モジュール内メモリ２５から外部へのデータ転送に時間がかかる様子を示している。

この図４（ａ）に示すタイミングチャートでは、ローリングシャッタ方式で露光を行い、信号の読み出しが済んでから、つまり、１画面分の撮像画像データがモジュール内メモリ２５に格納された後、メモリ２５から撮像画像データをカメラ本体側に出力している。

しかし、図４（ｂ）に示す様に、撮像画像データの画素アレイ部２２から読み出し及びメモリ２５への格納と並行して、メモリ２５からの撮像画像データのカメラ本体側への転送を行えば、転送終了までに要する時間の短縮を図ることが可能となる。この画像データの出力制御によっても、連写性能の向上を図ることが可能となるが、勿論、本実施形態でも、圧縮部２７によるデータ圧縮を併用すれば、更なるデータ出力時間の短縮を図ることができることはいうまでもない。

（第３の実施形態）
図５は、本発明の第３の実施形態に係る撮影手順のフローチャートである。ハードウェア構成は、図１，図２と同様である。本実施形態では、最初の撮影で被写体画像を撮影し、連続する次の撮影では、メカニカルシャッタを閉じて撮影することで、黒レベルの検出データを得る。黒レベルの撮影を「ダーク撮影」という。

先ず、ステップＳ１で、被写体画像を撮影し、画素アレイ部２２の信号読出回路から撮像画像データを読み出す。この撮像画像データは、モジュール内メモリ２５に格納し、圧縮してカメラ本体側に出力する。尚、この場合のデータ圧縮は必須ではなく、次にダーク撮影の露光期間が設けられるため、この露光期間でデータ転送を行えばよい。

次のステップＳ２で、メカニカルシャッタを閉じ、ステップＳ３で、ダーク撮影と読出を行う。このダーク撮影で得られた黒レベルのデータは、モジュール内メモリ２５に格納し、圧縮部２７で圧縮してカメラ本体側に転送する（ステップＳ４）。

図６は、本実施形態における動作タイミングチャートである。被写体画像の撮影をローリングシャッタ方式で行い、露光期間が過ぎた走査ラインから信号読出を行い、モジュール内メモリ２５への格納及びメモリ２５からのデータ読出とデータ圧縮を行って、カメラ本体側にデータ転送を行う。

被写体画像の１画面分の露光が終了し信号読出時間が経過した後、メカニカルシャッタを閉じ、ダーク撮影の露光をローリングシャッタ方式で開始する。

このダーク露光で得られた黒レベルのデータは、モジュール内メモリ２５に格納され、データ圧縮されてカメラ本体側に転送される。ダーク撮影により得られたデータは、可逆圧縮でも、ビット削減でも良い。ダークのデータは、圧縮率が高くなるため、転送に要する時間は短時間で済む。

本実施形態によれば、黒レベルのデータの撮影を本撮影に連続して行う場合でも、トータルの撮影時間を短くすることが可能となる。

（第４の実施形態）
図７は、本発明の第４の実施形態に係るデータ出力のタイミングチャートである。ハードウェア構成は、図１，図２と同様である。本実施形態では、ローリングシャッタ方式で被写体画像を撮像し、その撮像画像データをモジュール内メモリ２５に格納するところまでは、第１の実施形態と同じである。

異なるのは、第１の実施形態では、メモリ２５に格納された走査ライン順に、撮像画像データを読み出し、圧縮部２７でデータ圧縮してカメラ本体側に転送したが、本実施形態では、１画面分の撮像画像データが格納されたメモリ２５から、先ず、青色（Ｂ）のカラーフィルタを搭載した画素から読み出された撮像画像データだけを読み出し、圧縮部２７で圧縮してカメラ本体側に転送し、次に、緑色（Ｇ）のカラーフィルタを搭載した画素から読み出された撮像画像データだけを読み出し、圧縮部２７で圧縮してカメラ本体側に転送し、最後に、赤色（Ｒ）のカラーフィルタを搭載した画素から読み出された撮像画像データだけを読み出し、圧縮部２７で圧縮してカメラ本体側に転送する。勿論、読み出すデータの色順は、Ｂ→Ｇ→Ｒの順に限るものではなく、任意である。

この様に、同色の撮像画像データだけを纏めて読み出し圧縮するため、相関性の高いデータの圧縮となり、圧縮率が高くなってデータ転送時間の短縮を図ることが可能となる。

（第５の実施形態）
図８は、本発明の第５の実施形態に係るデータ出力手順を示すフローチャートである。ハードウェア構成は図１，図２と同様であるが、本実施形態では、撮像素子モジュール１２がＣＰＵ２の制御支配下にあり、圧縮部２７はＣＰＵ２によって制御される構成になっている。

先ず、ステップＳ１１で撮影が行われる。この撮影により、１６ビットの撮像画像データ（ＲＡＷデータ）がモジュール内メモリ２５に格納されることになる。

次のステップＳ１２では、ＣＰＵ２は、ユーザが操作部３を通してＲＡＷデータ記録モードを設定しているか否かを判定する。ＲＡＷデータ記録モードが設定されている場合には、ステップＳ１２からステップＳ１３に進み、メモリ２５に格納されている１６ビットの撮像画像データの出力すなわちカメラ本体側への転送を行う。即ち、圧縮部２７は、１６ビットの撮像画像データをデータ圧縮してカメラ本体側に転送する。

ＲＡＷデータ記録モードが設定されていない場合には、ステップＳ１２からステップＳ１４に進み、今度は、スルー画像データから得られたＡＥデータ（露出データ）から撮像画像データの積算レンジ（ダイナミックレンジ）が所定値より広いか否かを判定する。

ダイナミックレンジが所定値より広い場合には、ステップＳ１５に進み、１６ビットの撮像画像データのうち上位１２ビットの出力を行う。即ち、圧縮部２７は、メモリコントローラ２６から受け取った１６ビットのデータのうち、上位１２ビットだけをカメラ本体側に転送する。

ダイナミックレンジが所定値より狭い場合には、ステップＳ１６に進み、１６ビットの撮像画像データのうち下位１２ビットの出力を行う。即ち、圧縮部２７は、メモリコントローラ２６から受け取った１６ビットのデータのうち、下位１２ビットだけをカメラ本体側に転送する。

この様に本実施形態では、ＲＡＷデータ記録モードでない場合に圧縮部２７はビット深度を１６ビット→１２ビットに非可逆圧縮してデータ削減を図るため、転送時間の短縮を図ることが可能となる。しかし、ダイナミックレンジ幅に応じてデータ選別を行っているため、非可逆圧縮でも、画質に大きな影響を与えることはない。

（第６の実施形態）
図９は、本発明の第６の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラの機能構成は、図１と同様である。

本実施形態に係る撮像素子モジュール３０は、図２の実施形態と比較して、圧縮部２７を省略し、代わりに、メモリコントローラ２６の前段に、Ａ／Ｄ変換部２３から出力される撮像画像データをメモリコントローラ２６と並行して受け取り、積算データを算出する積算部３１を設け、更に、モジュール内メモリ２５に、この積算データを格納するエリア２５ｙを設けた点が異なる。

積算部３１は、Ａ／Ｄ変換部２３から出力される撮像画像データを受け取り、１画面を例えば８×８＝６４の部分領域に分け、各部分領域毎に、Ｒ（赤），Ｇ（緑），Ｂ（青）の撮像画像データの積算値（ＡＥデータ）を求め、各積算値を部分領域毎に積算値エリア２５ｙに格納する。

デジタルスチルカメラ１に搭載された撮像素子モジュール３０は、電源がオンとなり撮影モードに設定されている間は、常時、動画状態で被写体画像データをスルー画像データとして出力しており、これをカメラ本体側に転送している。

従来は、カメラ本体側のデジタル信号処理部４がスルー画像データを受け取り、スルー画像データを積算してＡＥデータを取得しているが、本実施形態では、撮像素子モジュール３０側に設けた積算部３１でＡＥデータを算出し、これを、モジュール内メモリ２５の特定エリア２５ｙに保存し、モジュール内メモリ２５の本体部に格納された撮像画像データを、画像表示部７の画素数まで間引いた縮小画像データと共にカメラ本体側に転送する様にすれば、ＡＥ処理の高速化と、転送データのデータ量削減を図ることが可能となる。

尚、図２に示す圧縮部２７を設け、メモリ２５に格納された１画面分の撮像画像データを、図２に示す実施形態と同様に圧縮部２７で圧縮しカメラ本体側に転送する様にしても良い。

（第７の実施形態）
図１０は、本発明の第７の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラ本体側の機能は、図１と同様である。

本実施形態の撮像素子モジュール３２は、図２の撮像素子モジュール１２と比較して、圧縮部１２の代わりに、フィルタ部３３を設けている点が異なるだけである。

フィルタ部３３は、ＡＦ（自動焦点処理）時に、メモリ２５から読み出し、後段のカメラ本体側に転送する撮像画像データに対して微分フィルタ処理（隣接画素の撮像画像データ間の差分変化量を求める処理）を施し、微分フィルタ処理後のデータをカメラ本体側に転送する。カメラ本体側は、この微分フィルタ処理後のデータを用いてＡＦ動作を行う。

微分フィルタ処理後のデータはデータ量が削減されるため、転送に要する時間の短縮が可能となり、ＡＦ処理の高速化を図ることが可能となる。

尚、本実施形態では、第６の実施形態と同様に、縮小画像データをカメラ本体側に転送しても、あるいは、圧縮部２７を設けて圧縮した撮像画像データをカメラ本体側に転送する様にしても良い。

（第８の実施形態）
図１１は、本発明の第８の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラ本体側の機能は、図１と同様である。

本実施形態に係る撮像素子モジュール３５は、図２の実施形態と基本構成は同じであるが、異なるのは、図２のメモリコントローラ２６の位置に演算部３６を設け、メモリコントローラ２６は演算部３６とだけデータ授受を行い、メモリコントローラ２６配下に２画面分のモジュール内メモリ２５Ａ，２５Ｂを設け、演算部３６の出力をデータＩＦ部２８に接続した点が異なる。本実施形態では、演算部３６が圧縮部２７の機能を果たす。

本実施形態の撮像素子モジュール３５は、連写時や動画撮影時（スルー画像を含む）に、前回撮像した撮像画像データを２面のモジュール内メモリ２５Ａ，２５Ｂのうちの一方のメモリに格納し、今回撮像した撮像画像データを他方のメモリに格納し、演算部３６は、前回撮像画像データと今回撮像画像データとの差分データを算出して出力する。

連写時や動画撮影時では、前回撮像画像データと今回撮像画像データは殆ど同じ被写体画像データとなり、相関性の高い画像データとなる蓋然性が高いため、その差分データは僅かとなり、データ圧縮を図ることが可能となる。

図１２は、第８の実施形態における動作タイミングチャートである。前回（初回とする。）撮影時の露光期間（イ）で得られた撮像画像データが画素アレイ部２２から読み出されて、例えばメモリ２５Ａに格納され、この撮像画像データが外部（カメラ本体側）に転送（ホ）される。

次に、今回撮影時の露光期間（ロ）で得られた撮像画像データが画素アレイ部２２から読み出されて、メモリ２５Ｂに格納され、今度は、差分データが外部に転送（ヘ）される。

次回の撮影時の露光期間（ハ）で得られる撮像画像データが画素アレイ部２２から読み出されると、今度はメモリ２５Ａに格納され、メモリ２５Ｂの格納データとの差分データが外部に転送（ト）される。

この様に、差分データを転送することで、転送データ量の削減を図ることができ、数百万画素以上の固体撮像素子を用いた場合でも、連写速度を向上させることができ、また、動画のフレームレートを向上させることができる。

（第９の実施形態）
図１３は、本発明の第９実施形態に係る撮像素子モジュールにおけるデータ出力方法を示す動作タイミングチャートである。

図６に示す実施形態では、第１の露光期間で被写体画像を撮像して撮像画像データをカメラ本体側に転送し、連続する第２の露光期間でダーク画像を撮像し、この撮像データを圧縮してカメラ本体側に転送した。

これに対し、本実施形態では、第１の露光期間で被写体画像を撮像して撮像画像データをモジュール内メモリ２５に格納し、メカニカルシャッタを閉じ、連続する第２の露光期間でダーク撮影を行い、得られたダーク画像データと、メモリ２５内のデータとの差分を算出してカメラ本体側に転送する。

これにより、黒レベルを正確に減算した被写体撮像画像データを後段処理に転送することができ、また、トータルの転送データを半減させることが可能となる。

（第１０の実施形態）
図１４は、本発明の第１０の実施形態に係る撮像素子モジュールの機能構成図である。デジタルスチルカメラ本体側の構成は、図１と同様である。

本実施形態の撮像素子モジュール３８は、図２に示す実施形態における圧縮部２７を、メモリコントローラ２６の前段に設けた点のみが異なる。

即ち、本実施形態の撮像素子モジュール３８では、Ａ／Ｄ変換部２３から出力されるデジタルの撮像画像データ（ＲＡＷデータ）を、圧縮部２７で圧縮してからモジュール内メモリ２５に格納するため、後段処理への転送データ量の削減を図ることができると共に、モジュール内メモリ２５の容量削減を図ることができる。

以上述べた様に、上述した各実施形態によれば、後段処理に転送するデータを圧縮して転送するため転送データ量の削減即ち転送時間の短縮を図ることができ、この結果、後段処理への転送遅れに起因する前段処理（画素アレイ即ち撮像素子から撮像データの読み出し）の遅れを回避することが可能となる。この結果、数百万画素以上の撮像素子を搭載した場合でも、高速連写が可能となり、また、動画のフレームレートを高く維持することが可能となる。

本発明に係る撮像処理モジュールは、後段処理への転送データ量の削減が図られるため、撮像素子からのデータ読み出しに遅れが生じない。このため、多画素化が図られた固体撮像素子を撮像素子モジュールに搭載することが可能となり、デジタルカメラやカメラ付携帯電話機等に適用すると有用である。

本発明の第１の実施形態に係るデジタルスチルカメラの機能構成図である。 図１に示す撮像素子モジュールの機能構成図である。 従来の動作タイミングチャート（ａ）と第１の実施形態に係るデータ出力方法の動作タイミングチャート（ｂ）である。 本発明の第２の実施形態に係るデータ出力方法を示す動作タイミングチャートである。 本発明の第３の実施形態に係るデータ出力方法の処理手順を示すフローチャートである。 図５に示す実施形態のデータ出力方法を示す動作タイミングチャートである。 本発明の第４の実施形態に係るデータ出力方法を示す動作タイミングチャートである。 本発明の第５の実施形態に係るデータ出力方法の処理手順を示すフローチャートである。 本発明の第６の実施形態に係る撮像素子モジュールの機能構成図である。 本発明の第７の実施形態に係る撮像素子モジュールの機能構成図である。 本発明の第８の実施形態に係る撮像素子モジュールの機能構成図である。 図１１に示す撮像素子モジュールにおける動作タイミングチャートである。 本発明の第９の実施形態に係るデータ出力方法を示す動作タイミングチャートである。 本発明の第１０の実施形態に係る撮像素子モジュールの機能構成図である。

符号の説明

１ 撮像装置
２ システム制御部（ＣＰＵ）
４ デジタル信号処理部（ＤＳＰ）
７ 画像表示部
１０ データ入力ＩＦ部（解凍機能付）
１２，３０，３２，３５，３８ 撮像素子モジュール
２２ 画素アレイ部
２５，２５Ａ，２５Ｂ モジュール内メモリ
２６ メモリコントローラ
２７ 圧縮部
３１ 積算部
３３ 微分フィルタ部
３６ 演算部

Claims (27)

1. 被写体画像を撮像するＭＯＳ型の撮像素子と、該撮像素子の撮像画像データをデジタル信号で記憶するメモリと、該メモリから読み出した前記撮像画像データを圧縮して外部に出力する圧縮手段とを備えることを特徴とする撮像素子モジュール。
2. 前記撮像素子から読み出された前記撮像画像データを、該読み出しと同時に、前記外部へ出力することを特徴とする請求項１に記載の撮像素子モジュール。
3. 前記圧縮が可逆圧縮であることを特徴とする請求項１または請求項２に記載の撮像素子モジュール。
4. 前記撮像素子の前段に配置されるメカニカルシャッタが「閉」にされたとき前記撮像素子から得られる前記撮像画像データを前記圧縮手段で圧縮し前記外部に出力することを特徴とする請求項１乃至請求項３のいずれかに記載の撮像素子モジュール。
5. 前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データの前記圧縮を行うことを特徴とする請求項１乃至請求項４のいずれかに記載の撮像素子モジュール。
6. 前記撮像素子の各画素に積層されたカラーフィルタの色毎の前記撮像画像データの積算値に基づき前記圧縮を非可逆圧縮で行うことを特徴とする請求項１または請求項２に記載の撮像素子モジュール。
7. 前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データを積算し該積算値を前記外部に出力させる積算手段を備えることを特徴とする請求項１乃至請求項６のいずれかに記載の撮像素子モジュール。
8. 前記撮像画像データのうち隣接画素間データの微分値を算出し該微分値を前記外部に出力する微分フィルタを備えることを特徴とする請求項１乃至請求項７のいずれかに記載の撮像素子モジュール。
9. 前回の前記撮像画像データと今回の前記撮像画像データとの差分データを前記圧縮したデータとすることを特徴とする請求項１または請求項２に記載の撮像素子モジュール。
10. 被写体を撮像した前記撮像画像データと、前記撮像素子の前段に配置されたメカニカルシャッタが「閉」にされたとき得られる前記撮像画像データとの差分を前記圧縮したデータとして前記外部に出力することを特徴とする請求項１に記載の撮像素子モジュール。
11. 被写体画像を撮像するＭＯＳ型の撮像素子と、該撮像素子の撮像画像データをデジタル信号で圧縮する圧縮手段と、該圧縮手段で圧縮された前記撮像画像データを記憶するメモリと、該メモリから読み出された前記撮像画像データを外部に出力する手段とを備えることを特徴とする撮像素子モジュール。
12. 請求項１，２，３，４，５，９，１１のいずれかに記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記圧縮された前記撮像画像データを伸張するデータ入力手段と、該データ入力手段により伸張された前記撮像画像データを画像処理する画像処理手段とを備えることを特徴とする撮像装置。
13. 請求項６に記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記撮像画像データを画像処理する画像処理手段とを備えることを特徴とする撮像装置。
14. 請求項７に記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記積算値に基づいて自動露出制御を行う制御手段とを備えることを特徴とする撮像装置。
15. 請求項８に記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記微分値に基づいて自動焦点制御を行う制御手段とを備えることを特徴とする撮像装置。
16. 請求項１０に記載の撮像素子モジュールと、該撮像素子モジュールから出力される前記差分のデータを画像処理する画像処理手段とを備えることを特徴とする撮像装置。
17. 被写体画像を撮像するＭＯＳ型の撮像素子の撮像画像データをデジタル信号でメモリに記憶し、該メモリから読み出した前記撮像画像データを圧縮して外部に出力することを特徴とする撮像素子モジュールの撮像データ出力方法。
18. 前記撮像素子から読み出された前記撮像画像データを、該読み出しと同時に、前記外部へ出力することを特徴とする請求項１７に記載の撮像素子モジュールの撮像データ出力方法。
19. 前記圧縮が可逆圧縮であることを特徴とする請求項１７または請求項１８に記載の撮像素子モジュールの撮像データ出力方法。
20. 前記撮像素子モジュールの前段に配置されたメカニカルシャッタが「閉」にされたとき前記撮像素子から得られる前記撮像画像データを圧縮し前記外部に出力することを特徴とする請求項１７乃至請求項１９のいずれかに記載の撮像素子モジュールの撮像データ出力方法。
21. 前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データの前記圧縮を行うことを特徴とする請求項１７乃至請求項２０のいずれかに記載の撮像素子モジュールの撮像データ出力方法。
22. 前記撮像素子の各画素に積層されたカラーフィルタの色毎の前記撮像画像データの積算値に基づき前記圧縮を非可逆圧縮で行うことを特徴とする請求項１７または請求項１８に記載の撮像素子モジュールの撮像データ出力方法。
23. 前記撮像素子の各画素に積層されたカラーフィルタの色毎に前記撮像画像データを積算し該積算値を前記外部に出力することを特徴とする請求項１７乃至請求項２２のいずれかに記載の撮像素子モジュールの撮像データ出力方法。
24. 前記撮像画像データのうち隣接画素間データの微分値を算出し該微分値を前記外部に出力することを特徴とする請求項１７乃至請求項２３のいずれかに記載の撮像素子モジュールの撮像データ出力方法。
25. 前回の前記撮像画像データと今回の前記撮像画像データとの差分データを前記圧縮したデータとすることを特徴とする請求項１７または請求項１８に記載の撮像素子モジュールの撮像データ出力方法。
26. 被写体を撮像した前記撮像画像データと、前記撮像素子の前段に配置されたメカニカルシャッタが「閉」にされたとき得られる前記撮像画像データとの差分を前記圧縮したデータとして前記外部に出力することを特徴とする請求項１７に記載の撮像素子モジュールの撮像データ出力方法。
27. 被写体画像を撮像するＭＯＳ型の撮像素子の撮像画像データをデジタル信号で圧縮し、該圧縮された前記撮像画像データをメモリに記憶し、該メモリから読み出された前記撮像画像データを外部に出力することを特徴とする撮像素子モジュールの撮像データ出力方法。

Images