JP6467455B2 - 撮像装置、その制御方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、撮像装置、その制御方法、プログラム及び記録媒体に関する。

近年、イメージセンサから出力され、現像処理を施していない撮像データ（以降ＲＡＷデータともいう）を、現像処理を行わずに記録媒体に記録するデジタルカメラが知られている。

広く普及しているＪＰＥＧ形式で画像を記録する場合、イメージセンサから出力される撮像データの赤（Ｒ）、緑（Ｇ１／Ｇ２）、青（Ｂ）の色成分は各色８ビットに揃えられ、色成分が間引いて記録される。これに対し、ＲＡＷデータとして画像を記録する場合、イメージセンサから出力される撮像データの色成分は損なわれず、豊富な（８ビット以上の）色階調数を保ったまま記録できる。このため、ＲＡＷデータとして画像を記録すれば、ユーザは、撮影後に多様な現像処理を行うことができる。

ところで、撮像したＲＡＷデータに超解像技術を適用して、より高精細な画像を得る技術がある。具体的に、複数の画像を合成して超解像画像を生成する技術として、イメージセンサをシフトして撮像した複数枚のＲＡＷデータを合成する方法が知られている。しかしながら、複数枚のＲＡＷデータを用いる超解像技術は、ＪＰＥＧデータより非常にデータ量の大きいＲＡＷデータを複数必要とするため、記録メディアの空き領域を圧迫させることが課題となる。

このような課題に対し、特許文献１は、超解像度処理における複数枚のＲＡＷデータの記録データ量を低減するため、複数のＲＡＷデータを基準画像と対象画像とに分類し、対象画像を圧縮して記録データ量を削減する技術を開示している。

特開２００９−４８４８７号公報

しかしながら、上記従来技術は、静止画撮影における記録データ量の削減方法として、対象画像をＪＰＥＧ圧縮技術により圧縮することを開示しているが、複数のＲＡＷデータの間の関係（例えば基準画像と対象画像との相関）を考慮していなかった。

本発明は、上記課題に鑑みてなされ、その目的は、近接する時間に撮像された複数のＲＡＷデータの記録データ量を低減することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、光軸に対する撮像素子の位置を順次シフトさせて複数のＲＡＷ画像データを撮像する撮像手段と、複数のＲＡＷ画像データの差分データを生成する差分生成手段と、差分データを符号化する符号化手段と、符号化された差分データを記録する記録手段と、を有し、差分生成手段は、複数のＲＡＷ画像データのうちの第１のＲＡＷ画像データと第２のＲＡＷ画像データの差分データを生成する際に、第１のＲＡＷ画像データをシフトさせて、第１のＲＡＷ画像データと第２のＲＡＷ画像データの同一の色成分の画素データの差分をとることにより、差分データを生成する、とを有することを特徴とする。

本発明によれば、近接する時間に撮像された複数のＲＡＷデータの記録データ量を低減することが可能になる。

本発明の実施形態１に係るデジタルカメラの機能構成例を示すブロック図 実施形態１に係る、イメージセンサをシフトさせて連続的に撮像する際のイメージセンサとＲＡＷデータの関係を説明する図 実施形態１に係る連続撮像処理の動作を示すフローチャート 実施形態１に係る、横にシフトしたＲＡＷデータの差分をとる動作を説明する図（１） 実施形態１に係る、横にシフトしたＲＡＷデータの差分をとる動作を説明する図（２） 実施形態１に係る、縦にシフトしたＲＡＷデータの差分をとる動作を説明する図 実施形態２に係る撮像部のイメージセンサをシフトさせて連続的に撮像する際のイメージセンサとＲＡＷデータの関係を説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、イメージセンサをシフトさせて撮像可能な任意のデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、イメージセンサをシフトさせて撮像可能な任意の機器にも適用可能である。これらの機器には、例えばスマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視カメラを含む監視システム、車載用システムの機器などが含まれてよい。

（デジタルカメラ１００の構成）
図１は、デジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

デジタルカメラ１００は、撮像部１０１、差分生成部１０２、符号化部１０３、記録処理部１０４、記録媒体１０５、メモリＩ／Ｆ１０６、メモリ１０７、制御部１０８から成る。

制御部１０８は、例えば、ＣＰＵ（ＭＰＵ）を含み、不図示のＲＯＭに記録されたプログラムをメモリ１０７に展開、実行してデジタルカメラ１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。制御部１０８は、内部に別途ＲＡＭを備えて当該プログラムをＲＯＭから読み出してＲＡＭに展開、実行してもよい。図１に示す例では、制御部１０８は、撮像部１０１、差分生成部１０２、符号化部１０３、記録処理部１０４の動作を制御して以下に説明する処理を実現する。

撮像部１０１は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、光電変換素子を有する画素が複数、２次元的に配列された構成を有するイメージセンサ（撮像素子）とを含む。イメージセンサは、レンズ光学系により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（すなわちＲＡＷ画像データ。単にＲＡＷデータともいう）を出力する。イメージセンサは、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどであってよい。イメージセンサは例えば原色ベイヤー配列のカラーフィルタを有し、各画素には、Ｒ（赤）、Ｇ１／Ｇ２（緑）、Ｂ（青）の何れかのカラーフィルタが設けられている。また、イメージセンサは、制御部１０８の制御に従ってイメージセンサの位置を光軸に対して順次シフトさせることが可能な構成を有する。

具体的に、図２を参照して、イメージセンサをシフトする際の動作について説明する。図２は、イメージセンサの位置を１画素ずつ順次シフトさせて連続的に撮像した場合の、イメージセンサの位置（シフトしたイメージセンサに照射される照射光のようすを含む）と生成されるＲＡＷデータとの関係を模式的に示している。なお、この図では、図の上部から下部へ時間（ｔ０からｔ３）が経過するようすを示している。

図２の左側は、各時刻（ｔ０からｔ３）のイメージセンサの位置と、当該位置のイメージセンサに照射光が照射される領域２００（図における太枠）のようすを示している。またイメージセンサの左および上の下線を付した数字は、イメージセンサ上の各画素の位置を示す座標を示している。

図２の右側は、図２左側に示すイメージセンサの状態で生成されるＲＡＷデータを示している。なお、図２では、（イメージセンサの全画素からＲＡＷデータを生成するのではなく）一部の領域の画素の信号を切り出してＲＡＷデータを生成する例を示している。

以下、時刻ごとにイメージセンサを１画素ずつシフトさせて連続的に撮像する際の動作を具体的に説明する。

まず、時刻ｔ０において、イメージセンサは、座標（０,０）を起点とする位置にある。領域２００で照射光を受光し（すなわち撮像し）、右側に示す、ラスター順でＲ成分から始まるＲＡＷデータ２０１を生成する。次に、時刻ｔ１において、イメージセンサは時刻ｔ０の状態から右に１画素シフトして、座標（１,０）を起点とした位置で撮像し、右側に示す、ラスター順でＧ１成分から始まるＲＡＷデータ２０２を生成する。

時刻ｔ２において、イメージセンサは時刻ｔ１の状態から下に１画素シフトして、座標（１,１）を起点とした位置で撮像し、右側に示す、ラスター順でＢ成分から始まるＲＡＷデータ２０３を生成する。更に、時刻ｔ３において、イメージセンサは時刻ｔ２の状態から左に１画素シフトし、座標（０,１）を起点とした位置で撮像し、右図に示す、ラスター順でＧ２成分から始まるＲＡＷデータ２０４を生成する。

このようにイメージセンサをシフトして連続的に撮像することで１つの画素座標に対してＲ、Ｇ１、Ｇ２、Ｂの４色の成分を補間無しに生成することができる。例えば、ｔ０時に座標（２,２）であった領域２００の左上隅では、時刻ｔ０の時にＲ成分、時刻ｔ１の時にＧ１成分、時刻ｔ２の時にＢ成分、時刻ｔ３の時にＧ２成分として各色成分を得ることが可能となる。

このようなイメージセンサのシフト動作は、制御部１０８が撮像部１０１内のイメージセンサのシフト制御を行うことにより可能となる。また制御部１０８は、連続した画像を撮像する間の相対的なシフト方向とシフト量の情報を差分生成部１０２に供給する。

なお、撮像部１０１から出力されるＲＡＷデータは、メモリＩ／Ｆ１０６を介してメモリ１０７に格納される。

再び図１を参照して、デジタルカメラ１００の構成を説明する。差分生成部１０２は、例えば画像データに対する演算を行う回路又はモジュールである。差分生成部１０２は、メモリ１０７に格納されているＲＡＷデータをメモリＩ／Ｆ１０６を介して読み出して、ＲＡＷデータの差分を生成する。より具体的に、差分生成部１０２は、符号化部１０３で符号化するための符号化対象画像データと、当該符号化対象画像データと差分を取るための参照画像データとをそれぞれ読み出して差分を取り、差分データを符号化部１０３に提供する。

ここで符号化対象画像データとは、符号化部１０３において、これから符号化される対象となる画像データ（ＲＡＷデータ）を指す。図２で示した時刻ｔ０からｔ３の４回で撮像された画像データは全て符号化の対象となるが、これから符号化部１０３で符号化される１フレームの画像データを特に符号化対象画像データという。また符号化対象画像データを符号化する際に、符号化対象画像データと差分を取る画像データのことを参照画像データという。例えば時刻ｔ１において撮像された画像データが符号化対象画像データの場合は、時刻ｔ０（１画像前）に撮像された画像データを参照画像データとする。時刻ｔ２に撮像された画像データが符号化対象画像データである場合は、時刻ｔ１を、時刻ｔ３に撮像された画像データが符号化対象画像データである場合は、時刻ｔ２を、それぞれ参照画像データとする。差分の取り方の詳細については後述する。

なお、このような参照画像データの決定方法だけでなく、参照画像データを４枚のうちのいずれか１枚に固定化してもよい。例えば時刻ｔ０で撮像された画像を参照画像データとし、時刻ｔ１、時刻ｔ２、時刻ｔ３で撮像された画像データを、順次、符号化対象画像データとしてもよい。

差分生成部１０２は、各画像データを符号化対象画像データとして処理する際に、どの画像を参照画像データにしたのかを示す情報や、どのような順序で復号すべきかという情報を符号化部１０３に入力する。そして、これらの情報は、符号化部１０３が出力する符号化ストリームのヘッダ等に重畳され、復号時に利用される。このようにすれば、任意の方法で、符号化対象画像データと参照画像データとを選択して差分を取得し、後段の処理では容易に画像データの組み合わせを特定して復号することができる。

また、制御部１０８からの制御によっては、差分生成部１０２は、参照画像データは読み出さず、符号化対象画像データのみを符号化部１０３に提供してもよい。例えば、連続して撮像する際の１枚目の画像データは差分を取る参照画像データが存在しないので符号化対象画像データ（１枚目の画像データ）のみを符号化部１０３に提供する。

符号化部１０３は、例えば画像データに対する演算を行う回路又はモジュールであり、差分生成部１０２から入力された差分データを符号化する。符号化方式としては、例えばゴロム符号化、ランレングス符号化、ハフマン符号化、算術符号化等が考えられるが、ここではその方式に限定はせず、どのような方式であっても良い。そして、符号化部１０３は、符号化によって生成した画像データ（符号化データ）をメモリＩ／Ｆ１０６を介してメモリ１０７に格納する。

記録処理部１０４は、メモリ１０７へ格納された符号化データ等の各種データを、記録媒体１０５へ記録する。記録媒体１０５は、大容量のランダムアクセス可能な、例えば不揮発性メモリで構成される記録メディアである。不図示の装着、排出機構により、デジタルカメラ１００に対してユーザが容易に装着し、また、取り外すことが可能になってもよい。

メモリＩ／Ｆ１０６は、各処理部からのメモリ・アクセス要求を調停し、メモリ１０７に対する読み出し・書き込み制御を行う。メモリ１０７は、例えばＳＤＲＡＭなどの揮発メモリであり、記憶手段として動作する。メモリ１０７は、上述の画像データ、音声データ等の各種のデータ、或いは、デジタルカメラ１００を構成する各処理部から出力される各種データを格納するため記憶領域を提供する。

（連続撮影処理に係る一連の動作）
次に、図３を参照して、連続撮影処理に係る一連の動作を説明する。

なお、本処理は、特に言及しない限り、制御部１０８がＲＯＭに記憶されたプログラムをメモリ１０７の作業用領域に展開、実行して、デジタルカメラ１００の各部を制御することにより実現される。

以下の説明では、例えば、ユーザの撮像指示に応じて、図２に示したようにイメージセンサを３回シフトして、４枚の画像データ（ＲＡＷデータ）を撮像した時点からの処理を例に説明する。このとき、撮像部１０１にて連続的に撮像された画像データは一旦全てメモリ１０７に格納されており、その後に差分生成部１０２によって読み出される。

Ｓ３０１において、差分生成部１０２は、符号化部１０３において圧縮符号化するために、メモリ１０７に格納されている符号化対象画像データを読み出す。

Ｓ３０２において、差分生成部１０２は、読み出した画像データが連続的な撮像のうち最初に撮像された１枚目の画像データであるかを判定する。差分生成部１０２は、読み出した画像が１枚目の画像データである場合、Ｓ３０５に処理を進める。一方、読み出した画像データが連続的な撮像のうち２枚目以降に撮像された画像データである場合、Ｓ３０３に処理を進める。

Ｓ３０３において、差分生成部１０２は、続いて参照画像データの読み出しを行う。具体的には、Ｓ３０１で読み出した画像データの１枚前に撮像された画像データを読み出す。このとき、差分生成部１０２は、制御部１０８からの指示に応じて本ステップを実行する際に、制御部１０８からイメージセンサをシフトさせた制御量を取得する。なお、本実施形態では、制御量は、画像を撮像する間のイメージセンサの相対的なシフト方向とシフト量である。また、本実施形態では、制御部１０８がイメージセンサのシフトを制御する構成である。このため、差分生成部１０２は、制御部１０８がイメージセンサをシフトさせる際に使用したシフト方向とシフト量とを制御量として取得する。しかし、制御量は、イメージセンサのシフトを反映して差分をとることが可能なものであれば、座標を特定する情報など他の形式であってよい。また、差分生成部１０２がイメージセンサの制御量を取得できれば、制御部１０８から取得する以外に、例えばイメージセンサから取得するような構成であってもよい。

Ｓ３０４において、差分生成部１０２は、符号化対象画像データと参照画像データを読み出し終えると、制御部１０８から取得したシフト方向とシフト量とに基づき、それぞれの画像データの差分をとる。そして、当該差分を差分データとして符号化部１０３に出力する。差分生成部１０２による差分生成処理は図４を参照して後述する。Ｓ３０５において、差分生成部１０２は、読み出した画像データを符号化部１０３にそのまま出力する。

Ｓ３０６において、符号化部１０３は、差分生成部１０２から出力された差分データを、例えばハフマン符号化により符号化し、符号化された符号化データをメモリ１０７に出力する。なお、符号化部１０３は、1枚目の画像データが入力された場合、当該画像データを符号化する。

Ｓ３０７において、制御部１０８は、符号化対象画像データの全ての画素の符号化が終了したかを判定し、まだ画素が残っている場合は、処理を繰り返すために再びＳ３０１に処理を戻す。一方、全ての画像に対する符号化（すなわち４枚の画像データの最後の画像に対する符号化）が終了した場合、本処理を終了する。このように生成された符号化後の画像データが、記録処理部１０４により記録媒体１０５に記録される。

（差分データの生成処理）
Ｓ３０４において上述した、符号化対象画像データと参照画像データから差分データを生成する処理について、図４を参照してより詳細に説明する。

図４（ａ）は、図２で示した時刻ｔ１で撮像された画像を符号化対象画像データとする例であり、説明の簡略化のため、符号化対象画像データの１ライン目のデータを示している。４０１、４０２、４０３はそれぞれ符号化対象画像データの１ライン目のＧ１成分、Ｒ成分、Ｇ１成分を示している。

図４（ｂ）は、時刻ｔ０に撮像された画像を参照画像データとする例であり、図３のＳ３０３で読み出した参照画像データの１ライン目のデータを示している。この参照画像データは、図２で上述したように、時刻ｔ０での撮像後にイメージセンサを１画素右にシフトさせて取得されたものである。４０４、４０５はそれぞれ参照画像データの１ライン目のＲ成分、Ｇ１成分を示している。

図４（ｃ）は、読み出した１ラインのそれぞれのデータを差分生成部１０２の記憶素子に保持し、差分データを生成する際の動作例を模式的に示している。図４（ｃ）の参照画像データのライン（一番上のデータ）は、図４（ｂ）で示した参照画像データの１ラインに対応する。また、その下の１ラインのデータは、当該参照画像データの１ライン分のデータをイメージセンサのシフト量に応じて右に１画素分シフトした、シフト後の参照画像データの１ラインを示している。参照画像データにおけるＲ成分４０４は、シフト後に４０４’になる。また、参照画像データにおけるＧ１成分４０５はシフト後に４０５’になる。更に、図４（ｃ）の最下部のデータは、図４（ａ）で示した符号化対象画像データの１ラインに対応する。

すなわち、差分生成部１０２の処理では、参照画像データの１ラインをイメージセンサのシフト方向とシフト量に応じてシフトし、シフトした参照画像データと符号化対象画像データとの差分をとる。より具体的に、差分生成部１０２は、シフト後の参照画像データのＲ成分４０４’と符号化対象画像データのＲ成分４０２とで差分を取り、シフト後の参照画像データのＧ１成分４０５’と符号化対象画像データのＧ１成分４０３とで差分を取る。以下、同様に同一の色成分同士（すなわち同一の画素の信号同士）で差分をとる。

なお、シフト後の参照画像データのＧ１成分４０６は、参照画像データを右にシフトしたことにより、差分を取る対象となる符号化対象画像データの対応する色成分が無い状態になる。同様に符号化対象画像データのＧ１成分４０１は、差分を取る対象となる参照画像データが右にシフトしたことで、（参照画像データの）対応する色成分が無い状態になる。このような場合、本実施形態では、例えば差分を取らずにそのまま符号化部１０３に出力する。

更に、差分データの生成方法は、図５を参照して説明するような生成方法であってもよい。図５に示す差分データの生成例は、図２の時刻ｔ１に撮像された画像データを符号化対象画像データ（図５（ａ））とし、時刻ｔ０に撮像された画像データを参照画像データ（図５（ｂ））としている。ここでも、図４と同様に、説明の簡単化のために読み出す画像データは１ライン分だけ示している。また、図４の例と同様に、時刻ｔ０での撮影後にイメージセンサを１画素右にシフトさせた場合を例に説明する。

図５（ａ）は、時刻ｔ１に撮像された符号化対象画像データの１ライン目のデータを示し、５０１、５０２はそれぞれ符号化対象画像データの１ライン目のＧ１成分、Ｒ成分を示している。また、図５（ｂ）は、参照画像データの１ライン目を示し、５０３、５０４はそれぞれ参照画像データの１ライン目のＲ成分、Ｇ１成分を示している。

図５（ｃ）は、読み出した１ラインのそれぞれのデータを差分生成部１０２の記憶素子に保持し、差分データを生成する場合の処理例を示している。ここでは、１つの色成分を１２ビットのデータとして格納する例を示している。Ｒ成分５０３’とＧ１成分５０４’は、参照画像データの１ライン目の先頭２画素（すなわち図５（ｂ）の５０３と５０４に対応）を示しており、２４ビットの記憶素子の上位１２ビットにＲ成分５０３を、下位１２ビットにＧ１成分５０４を記憶する。また、Ｇ１成分５０１’とＲ成分５０２’とは、符号化対象画像データの１ライン目の先頭２画素（図５（ａ）の５０１と５０２に対応）を示しており、２４ビットの記憶素子の上位１２ビットにＧ１成分５０１を、下位１２ビットにＲ成分５０２を記憶する。

差分生成部１０２は、イメージセンサのシフト量に応じて参照画像データのＲ成分５０３’を右方向に１画素分シフトして５０３’’を生成し、参照画像データのＧ１成分５０４’を左方向に１画素分シフトして５０４’’を生成する。このように生成されたシフト後の参照画像データのＧ１成分５０４’’と符号化対象画像データのＧ１成分５０１’との間で差分を取る。また、差分生成部１０２は、同様に、Ｒ成分５０３’’とＲ成分５０２’との間で差分を取る。このように差分を取れば、ラインの端の画素において差分を取れない画素が出てこないため符号化効率をより上げることができる。

更に、図６を参照して、時刻ｔ２に撮像された画像データを符号化対象画像データとし、時刻ｔ１に撮像された画像データを参照画像データとする場合の差分データの生成処理について説明する。なお、制御部１０８がイメージセンサをシフトする際に使用したシフト方向とシフト量は、符号化部１０３にも入力され、符号化部１０３は、出力する符号化ストリームのヘッダ等に当該シフト方向とシフト量を重畳する。

図６（ａ）は、図２の時刻ｔ１に撮像された参照画像データを示し、図６（ｂ）は図２の時刻ｔ２に撮像された符号化対象画像データを示している。なお、図２で上述したように時刻ｔ１での撮影後にイメージセンサを１画素下にシフトさせている。

図６（ｂ）に示すライン０を最初に符号化するためには、参照画像データとして、同じ色成分を含む図６（ａ）のライン１が必要となる。従って、差分生成部１０２は、符号化対象画像データのライン０を読み出した後、メモリＩ／Ｆ１０６に対し、参照画像データのライン１を読み出すように要求し、参照画像データのライン１のデータを得る。具体的には参照画像データのライン１が記憶されているメモリ１０７のアドレスを発行することで参照画像データのライン１のデータを得ることができる。なお、上述したように、差分生成部１０２は、時刻ｔ１から時刻ｔ２の間にイメージセンサが下に１画素分シフトしたという制御量を制御部１０８から予め取得している。このため、符号化対象画像データのライン数（ここではライン０）を下に１画素分シフトさせて参照画像データを読み出すように制御することができる。

このようにすることで符号化対象画像データと参照画像データとで同じ色成分同士の差分データを得ることができ、該差分データを符号化部１０３に提供することが可能となる。特に、ゲイン調整等をおこなっていないＲＡＷ画像では、各色で入力レベルが異なるため、同じ色成分同士で差分を取った方が相関性が高い。このため、差分値が小さくなりやすく、符号化効率が上がることが期待できる。

以上説明したように本実施形態では、イメージセンサをシフトした制御量（シフト量とその方向）に基づいて参照画像データをシフトさせ、符号化しようとする符号化対象画像データと同じ色成分同士（同一の画素の信号同士）で差分を取るようにした。このようにすることで、符号化効率を増加させることができるため、（超解像度処理を行う際に）近接する時間に撮像された複数のＲＡＷデータの記録データ量を低減することができる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、ＲＡＷデータを生成する際のイメージセンサ内の領域が実施形態１と異なり、イメージセンサの全画素を用いてＲＡＷデータを生成する。なお、本実施形態のデジタルカメラの構成は、実施形態１と同一であるため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

図７を参照して、本実施形態において生成されるＲＡＷ画像データについて説明する。図７は、イメージセンサを１画素ずつシフトさせて連続的に撮像した時のイメージセンサの位置とイメージセンサに照射される光の関係および生成されるＲＡＷデータを時系列で示している。領域７００（図の太枠）は、イメージセンサに照射された光の領域（照射光）を示している。なお、図７は、図２と同様に、縦軸は時間の経過を表し、時刻ｔ１〜ｔ３において、イメージセンサを１画素ずつシフトさせて連続的に撮像する場合の例を示している。

時刻ｔ０において、イメージセンサは（座標０, ０）を起点とした位置にある。領域７００に照射光を受光し、ラスター順でＲ成分から始まるＲＡＷデータ７０１を生成する。ＲＡＷデータ７０１内にある点線の枠については後述する。次に、時刻ｔ１において、イメージセンサは時刻ｔ０の状態から右に１画素シフトし、座標（１,０）を起点とした位置において撮像し、ラスター順でＲ成分から始まるＲＡＷデータ７０２を生成する。

時刻ｔ２において、イメージセンサは時刻ｔ１の状態から下に１画素シフトし、座標（１,１）を起点とした位置にシフトして撮像し、ラスター順でＲ成分から始まるＲＡＷデータ７０３を生成する。時刻ｔ３において、イメージセンサは時刻ｔ２の状態から左に１画素シフトし、座標（０,１）を起点とした位置にシフトして撮像し、ラスター順でＲ成分から始まるＲＡＷデータ７０４を生成する。

このように、本実施形態で示す例では、イメージセンサの全画素を用いてＲＡＷデータを生成しているためラスター順で最初の画素は全てＲ成分である。このため、参照画像データもしくは符号化対象画像データのいずれかをイメージセンサのシフト量および方向に応じてシフトしなくても同じ色成分の差分をとることができる。

しかしながら、図７のようにイメージセンサの全画素を用いてＲＡＷデータを生成する場合、イメージセンサをシフトしたことで光が照射されない画素が生じる。例えば、ＲＡＷデータ７０２、７０３、７０４において、斜線部で示した非照射領域は光が照射されない画素領域である。これら非照射領域は、ＲＡＷデータを現像する際にも使用されることはないため符号化しておく必要はない。すなわち、各時刻において生成される画像に示した点線の枠７１０内の画像のみをＲＡＷデータとして保存した方がより符号量を減らすことができる。

そのため、本実施形態では、点線の枠７１０内の画像のみを用いて差分データを生成するために、実施形態１に示した差分データの生成と同様、イメージセンサのシフト量および方向を用いて参照画像データをシフトさせ、同一の色成分同士で差分をとる。このようにすることで、符号化対象画像データと参照画像データで同一の色成分の差分データを得ることができ、差分データを符号化部１０３において符号化することができる。このとき、非照射領域を符号化しないように制御するので、符号量を減らすことが可能となる。すなわち、超解像度処理を行う等のために、近接する時間に撮像された複数のＲＡＷデータの記録データ量を低減することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…撮像部、１０２…差分生成部、１０８…制御部、１０５…記録媒体

Claims (16)

1. 光軸に対する撮像素子の位置を順次シフトさせて複数のＲＡＷ画像データを撮像する撮像手段と、
   前記複数のＲＡＷ画像データの差分データを生成する差分生成手段と、
   前記差分データを符号化する符号化手段と、
   前記符号化された差分データを記録する記録手段と、を有し、
   前記差分生成手段は、前記複数のＲＡＷ画像データのうちの第１のＲＡＷ画像データと第２のＲＡＷ画像データの差分データを生成する際に、前記第１のＲＡＷ画像データをシフトさせて、前記第１のＲＡＷ画像データと前記第２のＲＡＷ画像データの同一の色成分の画素データの差分をとることにより、前記差分データを生成する、ことを特徴とする撮像装置。
2. 前記撮像手段は、前記撮像素子を順次シフトさせる、ことを特徴とする請求項１に記載の撮像装置。
3. 前記複数のＲＡＷ画像データは、ベイヤー配列のＲＡＷ画像データである、ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記複数のＲＡＷ画像データは、ゲイン調整を行っていないＲＡＷ画像データである、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記複数のＲＡＷ画像データは、同じ座標においてそれぞれ異なる色成分のデータが配置される、ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記差分生成手段は、ＲＡＷ画像データを撮像する際に、光軸に対する撮像素子の位置をシフトさせた際の制御量を用いて、前記複数のＲＡＷ画像データの差分データを生成することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記差分生成手段は、前記複数のＲＡＷ画像データのうちの連続する２つのＲＡＷ画像データごとに、前記第２のＲＡＷ画像データと、前記第２のＲＡＷ画像データの１枚前に撮像された前記第１のＲＡＷ画像データとを用いて、前記第２のＲＡＷ画像データに対する前記差分データを生成する、ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記差分生成手段は、前記複数のＲＡＷ画像データのうち最初に撮像されたＲＡＷ画像データに対する前記差分データを生成しないで前記最初に撮像されたＲＡＷ画像データを出力し、
   前記符号化手段は、前記最初に撮像されたＲＡＷ画像データと、前記差分生成手段によって生成された前記差分データとを、それぞれ符号化する、ことを特徴とする請求項７に記載の撮像装置。
9. 前記撮像手段における光軸に対する撮像素子の位置のシフトを制御する制御手段を更に有し、
   前記差分生成手段は、前記制御手段が前記撮像素子の位置のシフトを制御する際に用いた制御量に基づいて、前記第１のＲＡＷ画像データをシフトさせる、ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記制御量は、前記第１のＲＡＷ画像データと前記第２のＲＡＷ画像データを撮像する間の、光軸に対する撮像素子の位置の相対的なシフト方向とシフト量である、ことを特徴とする請求項６または９に記載の撮像装置。
11. 前記撮像手段は、前記撮像素子における照射領域の画素からの信号をＲＡＷ画像データとして出力する、ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記差分生成手段は、ＲＡＷ画像データの画素データのうち前記撮像素子の非照射領域の画素データを除いて、前記差分データを生成する、ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
13. 前記符号化手段は、前記差分生成手段において用いられた前記制御量を、前記符号化された差分データのヘッダに重畳する、ことを特徴とする請求項９に記載の撮像装置。
14. 光軸に対する撮像素子の位置を順次シフトさせて複数のＲＡＷ画像データを撮像する撮像装置の制御方法であって、
    前記複数のＲＡＷ画像データの差分データを生成する差分生成工程と、
    前記差分データを符号化する符号化工程と、
    前記符号化された差分データを記録媒体に記録する記録工程と、を有し、
    前記差分生成工程では、前記複数のＲＡＷ画像データのうちの第１のＲＡＷ画像データと第２のＲＡＷ画像データの差分データを生成する際に、前記第１のＲＡＷ画像データをシフトさせて、前記第１のＲＡＷ画像データと前記第２のＲＡＷ画像データの同一の色成分の画素データの差分をとることにより、前記差分データを生成する、ことを特徴とする撮像装置の制御方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
16. コンピュータを請求項１から１３のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを格納する記録媒体。

Images