JP2007174450A - 撮像装置、撮像方法およびプログラム、並びに記録媒体 - Google Patents

Abstract

【課題】 大容量で高速メモリを使用せずに、撮像素子の出力を信号処理および符号化する。
【解決手段】 撮像素子２の撮像面が（３×２）の読み出しブロックに分割される。５番目の読み出しブロック４１が撮像素子２１から読み出され、カメラ信号処理部４によって処理され、処理後のデータ４２が順に出力され、各マクロブロック毎に符号化部７において圧縮符号化される。符号化データがカメラ信号処理部４から出力されるデータの順序でメモリ４３に格納される。並べ替え部８は、メモリ４３の読み出しまたは書き込みを制御することによって、メモリ４４に元の撮像画像と同一の配置関係でもってデータが格納される。メモリ４３および４４は、圧縮符号化データを格納するので、小容量で低速のものとすることができる。
【選択図】 図１０

Description

この発明は、ディジタルカメラ等に適用可能な撮像装置、撮像方法および撮像方法のプログラム、並びに記録媒体に関する。

画像の歪みを補正する処理、色収差を補正する処理、画像のサイズを拡大または縮小する処理等の画像処理がディジタルスチルカメラ等の撮像装置においてしばしばなされる。また、画像処理で発生した画像データをＪＰＥＧ（Joint Photographic Experts Group)
、ＭＰＥＧ(Moving Picture Experts Group Phase)等の圧縮符号化によって圧縮することが通常なされている。これらの圧縮符号化においては、符号化ブロックまたは符号化単位と称される画像の単位で符号化を行うようにしている。例えばＪＰＥＧでは、符号化ブロックがマクロブロックとされる。

画像処理のためには、メモリからの画像データを読み出して補間等の処理がなされる。符号化を行う場合では、画像サイズの変換後の領域のサイズが符号化ブロックの大きさに設定される。このように、画像サイズの変更処理において、画像サイズを符号化ブロックのように小さな単位とするために、高速で画像データを読み出す必要が生じる問題があった。

また、画像処理においては、処理の対象とする領域の画像データのみならず、フィルタリング等のために、その領域に隣接する領域の画像データを必要とすることが多い。その場合には、なるべく大きなブロックサイズを単位として画像処理を行う方が小さいブロックサイズを単位とするのに比して効率を良くできる。この点について、図１を参照して説明する。

図１Ａは、斜線で示すような（８画素×８画素）を単位として画像処理を行う例である。縦横のそれぞれに２画素分の領域を処理に必要とするものと仮定すると、処理画素数が６４画素であり、有効処理画素数が（４画素×４画素＝１６画素）となり、効率（有効処理画素数／処理画素数＝２５％）となる。図１Ｂは、ブロックサイズを（１６画素×１６画素＝２５６画素）にする場合を示す。この場合では、処理画素数が２５６画素で、有効処理画素数が（１２画素×１２画素＝１４４画素）となり、効率が５６％となる。さらに、図１Ｃは、横長のブロック例えば（１６画素×８画素＝１２８画素）にする場合を示す。この場合では、有効処理画素数が（１２画素×４画素＝４８画素）となり、効率が３７％となる。さらに、図示しないが、ブロックサイズを（１２８画素×１２８画素＝１６３８４画素）とする場合を示す。この場合では、処理画素数が１６３８４がで、有効処理画素数が（１２４画素×１２４画素＝１５３７６画素）となり、効率が９３％となる。なお、図１では、（３×３＝９）個の処理単位によって１枚の画像が構成される例を示す。

図２は、画像処理後のデータを例えばＪＰＥＧで符号化する例を示す。模式的に、図２では、（４×２）個のマクロブロックによって１枚の画像が構成されている。画像処理が水平方向に並ぶ４個のマクロブロックを単位としてなされると、その順序がＪＰＥＧで規定されている正規の符号化の方向、すなわち、水平方向に走査してから下側の位置に移り、水平走査を繰り返す方向（所謂ラスター走査の方向）と一致しているので、画像処理で得られたデータがそのまま順にＪＰＥＧのエンコーダに転送されて符号化される。

図２では、画像の処理単位が横長の領域となるので、図３に示すように、（２×２）の４個のマクロブロック１〜４からなる領域を単位として画像処理を行う場合を考える。この場合には、処理後のマクロブロック１および２は、そのままエンコーダに転送してＪＰＥＧの符号化がなされる。マクロブロック３および４は、メモリに一時的に保管される。次の処理単位（マクロブロック５〜８からなる）において、処理後のマクロブロック５および６は、そのままエンコーダに転送してＪＰＥＧの符号化がなされる。マクロブロック７および８は、メモリに一時的に保管される。エンコーダにおいて、処理後のデータのマクロブロック１，２，５および６の符号化の後に、メモリに保管されていた処理後のデータのマクロブロック３，４，７および８が読み出され、読み出されたデータがエンコーダに対して転送される。

このように、画像処理の単位が整数個の符号化ブロックからなり、符号化ブロックの配列が符号化で規定されている順序と異なる場合には、後で符号化するデータの分をメモリに保管しておく必要がある。その結果、一時保管用のメモリが必要とされる問題がある。

この発明が適用できる画像処理の一例として、図４に示すような色収差補正がある。色収差を有する撮影画像Ｐから赤色画像Ｐｒ、緑色画像Ｐｇ、青色画像Ｐｂを分離する。色収差は、波長によってレンズの屈折率が異なることに起因し、原色画像間で同じ被写体であっても倍率が変化し、画像の大きさが変化する。各原色画像のサイズを変更して同じ大きさの原色画像Ｐｒ’，Ｐｂ’，Ｐｇ’を成形し、これら原色画像を合成して色収差補正がなされた画像Ｐ’が得られる。この発明は、サイズ変更の処理に対して適用できる。

図５は、この発明を適用できる他の画像処理を示す。画像が横方向および縦方向の両方向にたる型に歪んでいる画像Ｐ１に対して第１段階の拡大を行い、画像Ｐ２を得る。第１段階の拡大は、横方向に拡大するもので、拡大率が中心から縦方向に離れた位置ほど大きなものとされる。画像Ｐ２に対して第２段階の拡大がなされ、画像Ｐ３が得られる。第２段階の拡大は、画像Ｐ２を縦方向の拡大するものである。拡大率が中心から横方向に離れた位置ほど大きなものとされる。この発明は、画像拡大の処理に対して適用できる。

マクロブロック単位の並べ替え処理を行うことが下記特許文献１に記載されている。特許文献１では、ＭＰＥＧのストリームを生成した後に、マクロブロック単位で並べ替えを行うことによって、受信側では、ＭＰＥＧストリームをそのまま復号しても画像を見ることができないようにするものである。

特開平１１−２９８８７８号公報

上述したように、画像サイズ変換のような画像処理を行う場合に、圧縮符号化の符号化ブロック単位で画像データを切り出して符号化する時に、メモリからの読み出しを高速に行う必要が生じたり、大容量のメモリを必要とする問題が生じる。特許文献１に記載のものは、一旦正常なＭＰＥＧストリームを生成した後に並べ替え処理を行うものであるのに対して、この発明では、正規の順序と異なる画像処理部の出力順に符号化を行った後に正規の順序に並べ替えを行うものであり、特許文献１に記載のものと異なるものである。

上述した説明は、画像メモリに画像データが格納されており、画像メモリから画像データを切り出す例である。撮像素子の一例として、撮像した画像の一部を相互に重複して非破壊読み出しが可能な撮像素子が提案されている。例えば下記の特許文献２には、画像取込みモードにおいては、ＣＭＤ(Charge Moduration Device)のような撮像素子からブロック読み出しを行うことが記載されている。

特開平９−６９９７１号公報

かかる特許文献２では、ＪＰＥＧのＤＣＴ処理単位の（８×８）画素の単位ブロック領域毎の電気的信号を順次信号として読み出すようになされている。しかしながら、図１を参照して説明したように、小さなブロックサイズの読み出しを行う方法は、有効処理画素数に対して処理画素数が多くなり、効率が悪い問題があった。

効率が悪い問題を避けるために、図６を参照して、撮像素子から複数の符号化ブロックからなる読み出しブロック単位で読み出しを行う撮像装置の処理について説明する。図６において、参照符号２１が撮像素子を示す。撮像素子２１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像した画像の一部を相互に重複して非破壊読み出し可
能な素子である。重複して読み出すことは、フィルタリング処理等では、処理対象の画素の周辺に位置する画素のデータを必要とする場合があるからである。

図６の例では、撮像素子２１の撮像面が（３×２）の６個の読み出しブロックに分割されている。各読み出しブロックは、４個のマクロブロック等の符号化ブロックからなる。例えば４個の符号化ブロック(5-1,5-2,5-3,5-4)からなる５番目の読み出しブロックが撮
像素子２１から読み出され、カメラ信号処理部２２に対して供給される。撮像素子２１とカメラ信号処理部２２との間に読み出しブロックの撮像データを蓄積する比較的小容量のメモリを設けても良い。カメラ信号処理部２２は、γ補正、ホワイトバランス補正、欠陥補正、補間処理等を行うディジタル信号処理回路の構成を有する。

カメラ信号処理部２２からの処理後のデータが符号化ブロック(5-1)から(5-2),(5-3),(5-4)と順に出力され、１画面分の容量のメモリ２３に格納される。メモリ２３には、入力される符号化ブロックのデータがカメラ信号処理部２２から出力される順序で格納される。したがって、メモリ２３に格納されたデータの配置は、撮像画像の配置と異なったものとなる。この問題を並べ替え部２４の並べ替え処理で解決している。すなわち、並べ替え部２４は、メモリ２３からのデータの読み出し、またはメモリ２５に対するデータの書き込みを制御することによって、メモリ２５に元の画像と同一の配置関係でもってデータが格納される。メモリ２５から読み出された読み出しブロック毎のデータが符号化部２６において、圧縮符号化例えばＪＰＥＧで符号化される。符号化部１６から符号化データが得られる。

図６の処理では、並べ替え部２４の処理において、符号化前の画像データを並べ替え処理するために、大容量のメモリ２３および２５を必要とする問題があった。また、大容量のメモリ２３および２５を使用するために、メモリとして高速のものが必要とされた。

したがって、この発明の目的は、大容量で高速のメモリを必要とする問題点を解決することができる撮像装置、撮像方法および撮像方法のプログラム、並びに記録媒体を提供することにある。

上述した課題を解決するために、この発明は、縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出し可能な撮像素子と、
撮像素子から読み出された読み出しブロックのデータが入力される信号処理部と、
信号処理部から出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化部と、
符号化部で符号化されたデータに関して、信号処理部の処理方向から符号化部の符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替え部を備える撮像装置である。

この発明は、縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出す撮像素子を使用した撮像方法において、
撮像素子から読み出された読み出しブロックのデータを信号処理する信号処理ステップと、
信号処理後に出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化ステップと、
符号化ステップで符号化されたデータに関して、信号処理ステップの処理方向から符号化ステップの符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替えステップとからなる撮像方法である。

この発明は、縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出す撮像素子を使用した撮像方法をコンピュータに実行させるプログラムにおいて、
撮像素子から読み出された読み出しブロックのデータを信号処理する信号処理ステップと、
信号処理後に出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化ステップと、
符号化ステップで符号化されたデータに関して、信号処理ステップの処理方向から符号化ステップの符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替えステップとからなる撮像方法のプログラムである。

この発明は、縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出す撮像素子を使用した撮像方法をコンピュータに実行させるプログラムが格納された記録媒体において、
撮像方法は、
撮像素子から読み出された読み出しブロックのデータを信号処理する信号処理ステップと、
信号処理後に出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化ステップと、
符号化ステップで符号化されたデータに関して、信号処理ステップの処理方向から符号化ステップの符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替えステップとからなる記録媒体である。

この発明においては、信号処理後の大きさが複数の符号化ブロックからなる大きさの読み出しブロックで撮像素子から撮像データを読み出すので、効率を良くすることができる。また、カメラ信号処理、画像サイズ変換を行うような信号処理部から圧縮符号化の符号化部への画像データの転送は、信号処理部の単位であり、小さな単位である。そのため外部メモリを使用せずに転送を行うことができる。また、外部メモリを使用せずに転送できるため外部メモリより帯域の広い内部転送とすることができ高速な処理が可能となる。また、並べ替えのためのメモリに対しては、圧縮符号化後のデータが格納されるので、メモリの容量を小さくすることができる。

最初に、この発明の処理の概略について図７を参照して説明する。図７において、参照符号３１が信号処理の対象とする原画像を示す。この画像３１は、６個の符号化ブロック（ＪＰＥＧの場合にはマクロブロック）からなる。６個のマクロブロックに対してそれぞれ１〜６の番号を符して示す。例えば符号化ブロック１および２のように、２個のマクロブロック毎に信号処理例えばカメラ信号処理がなされる。信号処理後のデータがＪＰＥＧエンコーダにおいて符号化処理され、符号化後のデータ３２が得られる。信号処理は、拡大縮小処理、色収差補正処理、画像歪み補正処理、カメラ信号処理、白黒反転処理、色空間変換処理、フィルタリング処理等である。

この順序のＪＰＥＧデータ３２をそのまま復号すると、対応画像３３が得られる。しかしながら、復号画像３３は、原画像の領域３１とブロックの順序が相違しており、原画像と異なった画像となる。この問題を避けるために並べ替えがなされる。

並べ替え部によってＪＰＥＧデータ３２の順序をブロックを単位として並べ替え、ＪＰＥＧデータ３４を生成する。この順序のＪＰＥＧデータ３４を復号すると、原画像の領域３１とブロックの順序が一致した対応画像３５を得ることができる。並べ替えのために１画面分のメモリが必要となるが、圧縮符号化されたデータをメモリに書き込むので、メモリの容量を非圧縮の画像データを並べ替え処理するのに比して小とでき、データ量が減少することによって処理速度を低くすることができる。

図７の例では、原画像の横幅と３個のマクロブロックの合計の幅とが等しい例である。しかしながら、信号処理の単位の横幅が複数マクロブロックからなる例では、図８に示すように、信号処理単位の横幅として複数種類が存在する場合もある。例えば信号処理単位と画像の横幅が整数比でないために、最後の処理のみ大きさが異なることがある。複数種類の横幅の合計は、画像の横幅と等しくなる。この場合、符号化時の区切りの間隔を変えることによって、図７と同様に並べ替えを行うことができる。すなわち、画像１３１をＪＰＥＧ符号化し、ＪＰＥＧデータ１３２を得る。このＪＰＥＧデータ１３２に対応する画像１３３は、原画像と相違するので、並べ替え後のＪＰＥＧデータ１３４を生成する。このＪＰＥＧデータ１３４の対応画像１３５は、原画像に一致したものとなる。

この発明の一実施形態について説明すると、図９は、この発明による撮像装置例えばディジタルスチルカメラの一実施形態の構成を示す。図９において、参照符号１がレンズ装置を示し、参照符号２がＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像
素子を示す。撮像素子２は、撮像した画像の一部を相互に重複して非破壊読み出し可能な素子である。重複して読み出すことは、フィルタリング処理等では、処理対象の画素の周辺に位置する画素のデータを必要とするために必要とされる。撮像素子２に対しては、例えばBayer配列の三原色カラーフィルタが設けられており、撮像素子２の出力として三原
色信号が得られる。この三原色信号がＡ／Ｄコンバータ３によってディジタル信号へ変換される。

Ａ／Ｄコンバータ３からのディジタル撮像信号がＬＳＩ(Large Scale Integrated Circuit：大規模集積回路)の構成とされたディジタル処理のカメラ信号処理部４に入力される。カメラ信号処理部４では、ホワイトバランス補正処理、補間処理、フィルタリング処理、マトリクス演算処理、ガンマ補正処理、輝度信号（Ｙ）生成処理、色差信号（Ｃｒ，Ｃｂ）生成処理、フレーム間演算等を行う。カメラ信号処理部４によって生成された画像信号がディスプレイ５に供給され、撮像画像が表示される。また、カメラ信号処理部４からの画像データがサイズ変換、圧縮処理等を受けて内部または外部記憶媒体９に記憶される。

ホワイトバランス補正処理は、被写体の色温度環境の違い、カラーフィルタによる感度の違いによる各色間のアンバランスが補正する。補間処理は、存在していない色信号を補間する処理である。フィルタリング処理は、高域周波数補正処理であり、輪郭強調のための処理である。マトリクス演算処理は、撮像信号をｓＲＧＢへ変換する処理である。ガンマ補正処理によって、表示装置が有する非線形特性の逆補正を予め行うことで、最終的にリニアな特性が実現される。フレーム間演算は、長時間露光時のＳ／Ｎを改善するために、長時間露光時に得られる複数フレームの画像を加算処理する処理である。

輝度信号生成処理は、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって輝度信号を生成する。色差信号生成処理ブロックは、ガンマ補正されたＲＧＢ信号を所定の合成比で合成することによって色差信号を生成する。生成された色差信号が帯域制限の処理を受け、色差信号ＣｂおよびＣｒが生成される。

カメラ信号処理部４の出力（Ｙ，Ｃｒ，Ｃｂ）がサイズ変更部６に入力され、画像サイズが等倍、拡大または縮小される。サイズ変更部２４は、一例として、サイズを２倍に拡大する補間ディジタルフィルタを有する構成とされている。サイズ変更部６の出力データが例えばＪＰＥＧの符号化部７に入力される。符号化部７は、ＤＣＴ(Discrete Cosine Transform：離散コサイン変換)と量子化器と可変長符号化器とから構成されている。

ＤＣＴでは、（８×８）画素のブロック単位にＤＣＴ演算がなされ、ＤＣ(Direct Current：直流)係数およびＡＣ(Alternate Current：交流)係数からなるＤＣＴ係数が得られ
る。ＤＣ係数およびＡＣ係数が別々に量子化される。量子化されたＤＣ係数は、直前のブロックのＤＣ係数との差分値が符号化される。但し、区切りを示す所定の値のコードである区切りコードが挿入された直後は、ＤＣ係数の値自体が符号化される。量子化されたＡＣ係数の場合には、ブロック内でジグザクスキャンによって並べ替えた後に可変長符号化される。符号化部７によって圧縮された圧縮画像データが並べ替え部８に供給される。並べ替え部８は、ＪＰＥＧで規定された正規の処理方向へ圧縮画像データを並べ替えるものである。すなわち、正規の処理方向とは、ＪＰＥＧで復号した場合に元の画像が得られる符号化の順序を意味する。符号化画像データがストレージ９に記憶される。

上述したディジタルスチルカメラの信号処理等を制御するために、ＣＰＵ(Central Processing Unit)１１が備えられている。カメラ信号処理部４、サイズ変更部６、符号化部
７、並べ替え回路８、ストレージ９は、ＣＰＵバス１２を介してＣＰＵ１１と接続され、ＣＰＵ１１によって制御可能な構成とされている。ＣＰＵ１１には、ユーザが操作するスイッチ、ＧＵＩ(Graphical User Interface)等のキー１３の出力および角速度センサ１６の出力が入力される。角速度センサ１６の出力は、手振れの方向および量を検出するために使用される。

さらに、ＣＰＵバス１２に対してプログラム等が格納されているＲＯＭ１４およびＣＰＵ１１の作業用のメモリとしてのＲＡＭ１５が接続されている。ＲＡＭ１５には、ＣＰＵ１１の制御によって画像データが蓄積可能とされている。なお、図９の構成では、簡単のため、ストレージ９から読み出された圧縮画像データをデコードしてディスプレイ５に表示するための構成については省略されている。

この発明は、上述したディジタルスチルカメラの構成中で、サイズ変更部６、符号化部７、並べ替え部８における処理において、高速の処理および大容量メモリを不要とするものである。なお、この一実施形態におけるＪＰＥＧは、符号化単位としてのマクロブロックのサイズが（１６×８）画素であり、（８×８）画素の輝度（Ｙ）ブロックの２個と、それぞれが（８×８）画素の色差（Ｃｒ，Ｃｂ）ブロックとから構成されている。色差データの水平方向の画素の間隔は、輝度データの２倍とされている。したがって、１画素当たりのビット数は、（Ｙ＝８ビット、Ｃｒ＝４ビット，Ｃｂ＝４ビット）の１６ビットとなる。輝度データおよび二つの色差データは、分離してそれぞれ処理の対象とされる。色差データの処理は、輝度データと同様であるので、以下の説明では、輝度データの処理について説明する。

図１０は、上述したこの発明の一実施の形態の信号処理の流れを説明するものである。但し、サイズ変更部６において、サイズ変更処理を行わないものとしている。図１０の例では、撮像素子２の撮像面が（３×２）の６個の読み出しブロックに分割されている。各読み出しブロックは、サイズ変更処理を行わない場合では、複数個の例えば４個の符号化ブロックからなる。読み出しブロックは、符号化方向が横方向を想定しているので、カメラ信号処理およびサイズ変更処理後の大きさが少なくとも縦方向に複数個の符号化ブロック（マクロブロック）の大きさとされる。なお、読み出しブロックは、図１０に示すように、異なる横幅を持つようにしても良い。

例えば４個のマクロブロック(5-1,5-2,5-3,5-4)からなる５番目の読み出しブロック４
１が撮像素子２１から読み出され、カメラ信号処理部４に対して供給される。撮像素子２とカメラ信号処理部４との間に読み出しブロック４１の撮像データを蓄積する比較的小容量のメモリを設けても良い。

カメラ信号処理部４からの処理後のデータ４２がマクロブロック(5-1)から(5-2),(5-3),(5-4)と順に出力され、各マクロブロック毎に符号化部７において圧縮符号化される。符号化データがカメラ信号処理部４から出力されるデータの順序でメモリ４３に格納される。したがって、メモリ４３に格納されたデータの配置は、撮像画像の配置と異なったものとなる。この問題を並べ替え部８の並べ替え処理で解決している。

すなわち、並べ替え部８は、メモリ４３からの符号化データの読み出し、またはメモリ４３に対する符号化データの書き込みを制御することによって、メモリ４４に元の画像と同一の配置関係でもってデータが格納される。メモリ４３および４４は、圧縮符号化データを格納するので、小容量とすることができる。

次に、図１１を参照してサイズ変更部６によるサイズ変更（解像度変換）を伴う処理について説明する。サイズ変更処理は、図４を参照して説明した色収差補正、並びに図５を参照して説明した歪み補正に必要とされる。撮像素子２から撮影画像の一部のみがブロック読み出しで読み出される。撮像素子２からの撮像データ５１がカメラ信号処理部４に供給され、カメラ信号処理部４からの処理後のデータ５２が順に出力される。

サイズ変更部６によって、読み出しブロック５２の画像が拡大例えば縦横がそれぞれ２倍に拡大される。拡大後の画像データ５３が各マクロブロック毎に符号化部７において圧縮符号化される。例えば拡大後の画像の各マクロブロックの画素数が規定のもの例えば（１６×８）画素となるように設定される。符号化データがラスター走査の順序でメモリ４３に格納される。並べ替え部８は、メモリ４３からの符号化データの読み出し、またはメモリ４３に対する符号化データの書き込みを制御することによって、メモリ４４に元の画像と同一の配置関係でもってデータが格納される。メモリ４３および４４は、圧縮符号化データを格納するので、小容量、低速のものを使用できる。

図１２は、図１１と同様にサイズ変更部６によるサイズ変更を伴う処理の流れを示す。但し、縦横のそれぞれを４倍とするサイズ変更処理がなされている。拡大率が大きくなるので、撮影画像の内で読み出される領域がより小さくされる。このようにサイズ変更比率に応じて読み出される領域が変化される。さらに、図１２の例では、カメラ信号処理部４、サイズ変更部６および符号化部７のそれぞれは、扱うことができる画像の大きさが規定されているので、規定のサイズが収まるように、より小さいサイズの読み出しブロック６１が設定され、拡大後に規定のサイズ（この例では、４個のマクロブロックの集合の大きさ）となされる。

撮像素子２から読み出された画像データの読み出しブロック６１がカメラ信号処理部４において処理を受け、処理後の読み出しブロック６２がサイズ変更部６に供給される。サイズ変更部６において、読み出しブロック６２の画像が拡大例えば縦横がそれぞれ４倍に拡大される。拡大後の画像データ６３が各マクロブロック毎に符号化部７において圧縮符号化される。符号化データが符号化の順序でメモリ４３に格納される。並べ替え部８は、メモリ４３からの符号化データの読み出し、またはメモリ４３に対する符号化データの書き込みを制御することによって、メモリ４４に元の画像と同一の配置関係でもってデータが格納される。メモリ４３および４４は、圧縮符号化データを格納するので、小容量とすることができる。

図１３は、この発明による処理の流れを示すフローチャートである。このフローチャートで示す処理は、ＣＰＵ１１（図９参照）のような信号処理部を制御するコンピュータによる制御によって実現される。最初のステップＳ１において、画像が読み出しブロック単位で撮像素子２から読み出される。

ステップＳ２において、信号処理例えば縦横それぞれが２倍とされる拡大処理がなされる。ステップＳ３において、拡大処理されたデータが（１６×８）画素のマクロブロック単位で符号化部７に対して入力される。ステップＳ４において、符号化部７が入力された順序で画像データを符号化する。

ステップＳ５において、符号化データ例えばＪＰＥＧデータがメモリ４３へ書き出される。ステップＳ６では、読み出しブロックのデータを処理したか否かが判定される。処理が終了していない場合では、処理がステップＳ３に戻り、符号化処理（ステップＳ３〜Ｓ５）が繰り返される。

ステップＳ６において、読み出しブロックのデータを処理が終了したものと判定されると、ステップＳ７において、拡大画像の全体の処理が完了したか否かが判定される。完了していない場合には、ステップＳ８において、予め決められている所定の値の区切りコードが挿入される。すなわち、ＪＰＥＧデータのブロック毎の区切りに区切りコードが挿入される。

可変長符号化されている１ブロック分のＪＰＥＧデータがバイトの整数倍の長さとなるようにスタッフィングビットが付加され、その後に区切りコード（１６ビット）が付加される。図１４Ａは、ＪＰＥＧデータの一例を示す。最小符号化単位としてのＪＰＥＧ ＭＣＵ(Minimum Coded Unit)は、マクロブロックに対応して発生したデータである。ハフマン符号化がなされているので、ＪＰＥＧ ＭＣＵは、可変ビット長である。。

最小符号化単位と並べ替えの単位とが一致するとは限らない。例えば（２×２）のマクロブロックが信号処理単位とされる場合には、ＪＰＥＧの符号化の方向と一致する方向、すなわち、横方向のマクロブロックの個数が２個となり、２個のマクロブロックが並べ替え単位となる。図１４では、１ブロックが２個のマクロブロックからなるものとしている。図１４Ｂに示すように、２個のマクロブロックのそれぞれのＪＰＥＧデータＪＰＥＧ
ＭＣＵ１およびＪＰＥＧ ＭＣＵ２に対して６ビットのスタッフィングビットが付加される。それによって、（１７＋２５＋６＝４８ビット＝６バイト）とブロックのＪＰＥＧデータがバイトの整数倍とできる。スタッフィングビットの後に１６ビットの区切りコードが挿入される。

このように、区切りコードは、並びに替え単位の区切りを示している。この区切りは、ＥＣＳ(Entropy Coded Segment)と称される。したがって、並べ替えは、ＥＣＳ単位でな
される。ＪＰＥＧデータのＤＣ（直流）係数は、前のデータブロックのＤＣ係数との差分のデータを伝送するようにしており、区切りコードの次のＤＣ係数のデータは、差分ではなく、ＤＣ係数の値そのものとされている。

ステップＳ７において、拡大画像の全体の処理が完了したと判定されると、ステップＳ９において、ＪＰＥＧデータがメモリ４３から読み出され、ステップＳ１０において、ＪＰＥＧデータがブロック単位で並べ替えれる。ステップＳ１１において、並べ替えがされたＪＰＥＧデータがメモリ４４へ書き出される。

上述したこの発明の一実施形態は、ＪＰＥＧに対してこの発明を適用したものであるが、この発明は、ＭＰＥＧを符号化方法として使用する場合に対しても適用できる。その場合では、１ブロックの画像に対応するＭＰＥＧデータ毎に区切りとして予め決められている所定の値のスライススタートコードが挿入される。

図１５を参照してスライススタートコードの挿入について説明する。図１５ＡがＭＰＥＧデータのストリームを示す。簡単のため２個のマクロブロックに対応する２個のデータブロックが１ブロックの画像データに対応するものとしている。図１５Ｂに示すように、２個のマクロブロックのそれぞれのＭＰＥＧデータに対して６ビットのスタッフィングビットが付加される。それによって、（１７＋２５＋６＝４８ビット＝６バイト）とブロックのＭＰＥＧデータをバイトの整数倍とできる。スタッフィングビットの後に３２ビットのスライススタートコード挿入される。

上述したブロックの可変長データの区切りを示す区切りコード（ＪＰＥＧ）およびスライススタートコード（ＭＰＥＧ）は、並べ替え処理に伴って値を書き換えることが必要とされる。区切りコードは、Ｈ’ＦＦＤｘ（Ｈ’は１６進表記を意味する）と決められている。ｘは、区切りコードの回数を８で割った余りの値である。また、スライススタートコードＨ’０００００１ｘｘ（Ｈ’は１６進表記を意味する）と決められている。ｘｘは、スライス画像でのマクロブロック単位の垂直位置の値である。ｘおよびｘｘの部分は、並べ替えに伴って規格に合うように変更することが必要とされる。

図１６は、並べ替え部３４において区切りコードを削除する処理の例を説明するものである。図１６Ａは、図１５Ｂに示すＪＰＥＧデータのストリームと同様にバイト単位とされ、１ブロックのＪＰＥＧ ＭＣＵ毎に区切りコードが挿入されたものである。区切りコードを挿入することによる冗長度の増加の影響を少なくするために、図１６Ｂに示すストリームのように、区切りコードが削除される。区切りコードの削除は、ＪＰＥＧの規格に反することを避けるために必要とされる場合もある。

しかしながら、区切りコードの後の最初のマクロブロックに対応するＪＰＥＧ ＭＣＵ３のＤＣ係数ＤＣ１は、０との差、すなわち、値そのものとされているので、区切りコードの削除を行った図１６Ｂに示すストリームにおいては、ＪＰＥＧ ＭＣＵ３の最初のマクロブロックのＤＣ係数を前のＪＰＥＧ ＭＣＵ２の最後のマクロブロックのＤＣ係数との差分にする必要がある。

区切りコードの削除の処理方法の一例について図１７を参照して説明する。この方法では、符号化時に、ＪＰＥＧ ＭＣＵ２（以下、単にＭＣＵ２と表記する）の開始位置もしくはその終了位置、またはスタッフィングビット数と、区切りコードの直前の最小符号化単位であるＭＣＵ２のＤＣ成分とを伝送または記録されるデータと関連付けて記録または保持しておく必要がある。それによって、多くの符号を復号しないで、ＤＣ成分の符号化データを書き換えることができる。記録または保持の方法としては、ストリーム中にこれらのデータを挿入したり、メモリにこれらの情報を記憶する方法を採用できる。

ステップＳ２１において、記録されているＭＣＵ２の開始位置もしくはその終了位置、またはスタッフィングビットのビット数から、区切りコードを削除した後のＭＣＵ３の新しい先頭位置ａを計算する。位置ａは、ＭＣＵ２の終了位置と一致する。ＭＣＵ２の開始位置が分かると、復号することによって、１マクロブロックのデータの終端のコード（ＥＯＢ）が検出され、ＭＣＵ２の終了位置が分かる。さらに、区切りコードが検出されると、スタッフィングビットのビット数からＭＣＵ２の終了位置が分かる。

ステップＳ２２において、ＭＣＵ３のＤＣ成分を復号する。ＭＣＵ３のＤＣ成分は、絶対値を符号化したデータが伝送されるので、復号してＤＣ成分を得ることができる。そして、あらかじめ記録しておいたＭＣＵ２のＤＣ成分とＭＣＵ３の復号したＤＣ成分との差分を演算し、差分をハフマン符号化して、新たなＭＣＵ３のＤＣ成分の符号化データが得られる。

ステップＳ２４において、新しい先頭位置ａからＭＣＵ３を詰める。したがって、スタッフィングビットおよび区切りコードが削除される。ＭＣＵ３に配置されるＤＣ成分の符号化データは、差分を符号化したデータであって、元々挿入されていたＤＣ成分の符号化データ（絶対値）とは、ビット長が異なったデータである。

なお、図１８に示すように、はじめから区切りコードを挿入せずに、スタッフィングビットの挿入と、ＤＣ成分の差分予測値を０にする、すなわち、ＭＣＵ３のＤＣ成分の符号化データがＤＣ成分そのものの値の符号化データである場合にも上述の方法を適用でき、ＭＣＵ３に配置されるＤＣ成分の符号化データは、差分を符号化したデータとされる。

図１７に示される方法では、スタッフィングビット数を記録しておくことが必要とされる。図１９は、スタッフィングビットのビット数をストリーム中に記録する方法を示す。図１９Ａに示し、上述したように、区切りコードは、Ｈ’ＦＦＤｘ（Ｈ’は１６進表記を意味する）と決められている。ｘは、区切りコードの回数を８で割った余りの値である。

このｘの値は、０乃至７となる。したがって、図１９Ｂにスタッフィングビットのビット数が５の場合の例を示すように、スタッフィングビット数をｘの値としてストリーム中に記録することができる。この処理は、規格に反したストリームを作成することになるが、上述したように、区切りコードが削除され、外部に出力されるストリームには、区切りコードが含まれないので、問題とならない。

図２０は、一実施の形態における手ぶれ補正処理を説明するものである。撮像素子２から読み出される領域は、撮影画像の一部の領域に設定される。角速度センサ１６によって手ぶれの方向および量が検出され、ＣＰＵ１１によって動き量が画素数に変換される。例えば手ぶれによって上方向にｙ画素動いた場合には、図２０Ａに示すように、本来の読み出し対象領域の位置よりｙ画素下の位置に読み出し対象領域が設定される。一方、手ぶれによって下方向にｙ画素動いた場合には、図２０Ｂに示すように、本来の読み出し対象領域の位置よりｙ画素上の位置に読み出し対象領域が設定される。この手ぶれ補正の結果、同一の被写体像がある部分を読み出すことができる。

また、撮像素子２には、暗電流等のノイズ成分の影響を受けないで、撮像データの基準のレベルを検出することを可能とするために、所定の大きさのオプティカルブラック領域２ａが設けられている。このオプティカルブラック領域２ａが常に読み出されるように、読み出し対象領域に中にオプティカルブラック領域２ａが含まれるようにしても良い。

撮像素子２からの読み出しブロックを構成する最小単位について図２１を参照して説明する。撮像素子２は、例えばベイヤー配列と称される３原色フィルタを介して被写体光を受光する。ベイヤー配列では、水平方向および垂直方向において、同一の色が２画素周期で配置されているので、（２×２＝４）画素が読み出しブロックの最小単位となされる。すなわち、色フィルタの最小繰り返し単位の整数倍に読み出しブロックが設定される。複数の符号化ブロックからなる読み出しブロックは、この４画素の倍数とされる。図２１において、太線で囲んだ４画素の領域は、Ｒ，Ｇ，Ｂの色フィルタの可能な組合せを示している。ベイヤー配列以外の色配列に対しても同様に、三原色成分が含まる領域を最小単位とすることができる。

図２２は、撮像素子２の欠陥データの保持方法を示す。簡単のために、（８×８）画素の撮像素子２を想定する。図２２Ａにおいて、影を付した画素が欠陥のある画素Ｐ２２およびＰ６５を示す。画素Ｐ２２は、第３番目のラインの第３番目の画素であり、画素Ｐ５５は、第６番目のラインの第６番目の画素である。図２２Ａと対応して図２２Ｂに示すように、欠陥データが規定される。

図２２Ｂにおいて、Ｈ’は、１６進コードであることを意味し、縦に並ぶ８個の１６進コードがそれぞれ撮像素子の各ラインに対応し、８個のコード（０〜Ｆの値をとりうる）がそれぞれ同一ライン内の８個の画素に対応している。白レベル方向の欠陥が存在するので、黒レベルと対応する０の値のコードの場合では、欠陥が存在しないことを意味している。例えば図２２Ｂに示す欠陥データは、画素Ｐ２２の場合では、Ｂの値の欠陥が存在し、画素Ｐ５５の場合では、Ｃの値の欠陥が存在することを示す。このような欠陥データは、工場出荷時に作成され、例えば不揮発性メモリに記憶されている。なお、欠陥データは、各画素に対応する例に限らず、複数画素単位で圧縮して保持するようにしても良い。

次に、図２３を参照してブロック読み出しされた画像を記録メディアに記録する前に、事前に統計データを作成する処理について説明する。まず、オプティカルブラック２ａを有する撮像素子２から統計用データの読み出しを行う。この読み出しは、ブロック読み出し以外にラスター走査の順に読み出しを行うラスター読み出しであっても良く、加算または間引き読み出しによって、記録用画像に比して低解像度で、フレーム周期の画像データを取得する。

取得した統計用データは、通常、撮影時のモニタ用画像として表示用メモリ７１に格納される。表示用メモリ７１に格納された画像データが液晶等のディスプレイに表示されるのに使用されると共に、統計データ生成器７２にて処理され、統計データが生成される。統計データは、オプティカルブラックの値、色のバランス、明るさ等のデータである。

統計データ生成器７２によって、オートフォーカス制御信号、自動露光制御信号等が生成され、これらの制御信号がレンズ制御部に対して供給される。また、統計データ生成器７２によって生成された明るさのデータ、オートホワイトバランス制御信号等がカメラ信号処理部４に対して供給される。図示を省略しているが、カメラ信号処理部４に対しては、符号化部および並べ替え部が順に接続されている。サイズ変更部がカメラ信号処理部４と符号化部との間に配される場合もある。

シャッターを押す操作によって、撮像素子２からブロック読み出しによって記録用の画像データ７３が得られる。画像データ７３がカメラ信号処理部４に対して供給される。カメラ信号処理部４は、直前に作成した統計データを用いて信号処理を行う。このようにして、撮像素子の読み出しと同時に、カメラ信号処理、サイズ変更および符号化を行うことができる。

図２４は、この発明の他の構成例を示す。図１１を参照して説明した構成は、撮像素子から一つの読み出しブロックを読み出す例である。これに対して、図２４は、撮像素子２から２個の読み出しブロック５１ａおよび５１ｂを同時に出力する例である。読み出しブロック５１ａおよび５１ｂがカメラ信号処理部４ａおよび４ｂによって処理され、処理後の画像データ５２ａおよび５２ｂが得られる。

画像データ５２ａおよび５２ｂがサイズ変更部６ａおよび６ｂで解像度変換の処理を受け、サイズ変更後の画像データ５３ａおよび５３ｂが符号化部７ａおよび７ｂによってそれぞれ符号化される。メモリ４３ａに対して、符号化部７ａから出力される撮像画像の上側半分の３個の読み出しブロックの符号化データが格納され、メモリ４３ｂに対して、符号化部７ｂから出力される撮像画像の下側半分の３個の読み出しブロックの符号化データが格納される。並べ替え部８によってメモリ４４には、正しい順序で配置された符号化データが格納される。

図２４の構成によれば、符号化データをメモリ４３ａおよび４３ｂに格納するので、これらのメモリの容量を小さくでき、また、低速メモリを使用でき、さらに、１画面分のメモリを不要とできる。また、カメラ信号処理部単体の処理性能が読み出しブロックの画像データの処理にとって低い場合でも、複数のカメラ信号処理部を並列的に動作させることによって実質的に処理の性能を向上することができる。

図２５は、撮像素子２の固定パターンノイズを除去するのに適用される構成を示す。撮像素子２によって、シャッターを閉じた状態で例えば１／３０秒間露光して１枚目の画像を取得し、ブロック読み出しによって読み出した画像データがメモリ８３に格納される。シャッターを閉じているので、１枚目の画像には、撮像素子２の固定パターンノイズのみが存在する。次いで、シャッターを開いて１／３０秒間の露光によって２枚目の画像を取得し、ブロック読み出しによって読み出した画像データがメモリ８３に格納される。２枚目の画像には、被写体画像と固定パターンノイズの両方が存在している。これらの２枚の画像を演算例えば減算し、固定パターンノイズをキャンセルすることができる。

減算処理後の画像データがカメラ信号処理部４において処理される。カメラ信号処理部４からの画像データ８４が符号化部７で符号化され、並べ替え部８によって並べ替えの処理を受ける。

上述したメモリ８３の容量を節減するために、撮像素子２からの１枚目の画像８１をメモリ８３に格納した後に、２枚目の画像８２を撮像素子２から読み出しながら、メモリ８３の読み出しを行い、読み出した画像データ同士を減算するようにしても良い。フレーム間演算を行うか否かは、カメラの撮影モードに連動して設定するようにしても良い。操作キーによってフレーム間演算を行うか否かを設定しても良い。

図２６に示す構成例は、二つの撮像素子２ａおよび２ｂによって、同一の被写体の異なる部分例えば上半分と下半分とを撮影して大きな画像を得るものである。撮像素子２ａおよび２ｂのそれぞれからブロック読み出しで得られた読み出しブロック９１ａおよび９１ｂがカメラ信号処理ブロック４ａおよび４ｂによって処理され、処理後の画像データ９２ａおよび９２ｂが得られる。二つの撮像素子２ａおよび２ｂに対する駆動回路が共通とされ、ブロック読み出しの順序が同じ順序とされる。

サイズ変更部６ａおよび６ｂの出力画像データが符号化部７ａおよび７ｂによって符号化され、フレームメモリ４３ａおよび４３ｂにそれぞれ格納される。並べ替え部８によって、正しい順序となるように並べ替えがなされ、２フレームメモリ９４に対して符号化データが格納される。上下方向に限らず左右方向で２枚の画像を撮影し、取得された２枚の画像を連結しても良い。

図２７に示すように、３個の撮像素子２Ｒ，２Ｇ，２Ｂごとに担当する色が異なるようにしても良い。同じ被写体を撮影し、光学系によって、被写体光を三原色の各色光に分解し、撮像素子２Ｒ，２Ｇ，２Ｂによって撮影する。また、撮像素子２Ｒ，２Ｇ，２Ｂは、画像中の異なる２個の読み出しブロックの画像を同時に出力することが可能とされている。撮像素子２Ｒ，２Ｇ，２Ｂから出力される一方の読み出しブロックの位置が被写体画像中の同一位置とされ、他方の読み出しブロックの位置も被写体画像中の同一位置とされる。

二つの読み出しブロックの画像データが撮像素子２Ｒ，２Ｇ，２Ｂからカメラ信号処理部４ａ，４ｂに対してそれぞれ供給される。図示を省略しているが、カメラ信号処理部４ａ、４ｂに対しては、図２４の構成と同様に、サイズ変更部、符号化部が順に接続され、符号化部から出力される符号化データが並べ替え部８によって並べ替え処理される。

図２４の構成と同様に、符号化データを格納するメモリの容量を小さくでき、また、低速メモリを使用でき、さらに、１画面分のメモリを不要とできる。また、複数の撮像素子が異なる色を受け持つので、撮影画像の解像度を高くすることができる。また、カメラ信号処理部単体の処理性能が読み出しブロックの画像データの処理にとって低い場合でも、複数のカメラ信号処理部を並列的に動作させることによって実質的に処理の性能を向上することができる。

次に、画像を回転させる処理と並べ替え処理とを段階的に行う例に対してこの発明を適用した実施形態について説明する。すなわち、撮像素子２からの読み出し、カメラ信号処理部４の入力部、および符号化部７の入力部の何れかにおいて、それぞれの処理単位でもって上下反転、左右反転、９０度回転、１８０度回転、２７０度回転の何れかの処理を行い、並べ替えによって画像前提の上下反転、左右反転、回転を行うようになされる。最初に画像の回転、反転処理の並べ替えの定義について説明する。

９０度回転とは、下記のｎ行ｍ列の行列Ａからｂij＝ａ(n+1-j)iとなるｍ行ｎ列の行列Ｂへの並べ替えと同様の並べ替えと定義する。行列ＡおよびＢの各要素が画像の１画素、または複数画素からなるブロックに対応している。

１８０度回転とは、上記のｎ行ｍ列の行列Ａからｂij＝ａ(n+1-i)(m+1-j)となるｍ行ｎ列の行列Ｂへの並べ替えと同様の並べ替えと定義する。

２７０度回転とは、上記のｎ行ｍ列の行列Ａからｂij＝ａj(m+1-i)となるｍ行ｎ列の行列Ｂへの並べ替えと同様の並べ替えと定義する。

左右反転とは、上記のｎ行ｍ列の行列Ａからｂij＝ａi(m+1-j)となるｍ行ｎ列の行列Ｂへの並べ替えと同様の並べ替えと定義する。

上下反転とは、上記のｎ行ｍ列の行列Ａからｂij＝ａ(n+1-i)jとなるｍ行ｎ列の行列Ｂへの並べ替えと同様の並べ替えと定義する。

画像の回転処理について、画像を９０度回転させる処理の一例について図２８を参照して説明する。読み出しブロックがそれぞれ４個の符号化ブロックからなる。例えば5-1,5-2,5-3,5-4・・・・がそれぞれ符号化ブロックとしてのマクロブロックを表し、４個のマ
クロブロックによって一つの画像処理ブロックが構成される。

第１段階の処理として、撮像素子２からの読み出しの段階で、９０度回転して読み出しがなされ、読み出しブロック１０１が得られる。読み出しブロック１０１がカメラ信号処理部４で処理され、処理後の画像データが符号化部７で符号化される。

符号化部７からは、カメラ信号処理部４の出力の順序で発生した符号化データがフレームメモリ１０３に対して格納される。並べ替え部８は、正規の順序で復号した場合に原撮像画像を９０度回転した画像となるように、マクロブロックの順序の並べ替えと９０度回転の処理との両者を行う。並べ替え部８による並べ替え後の符号化データがフレームメモリ１０４に格納される。フレームメモリ１０４には符号化データであるが、９０度回転した画像が格納される。

なお、読み出しブロックの単位の回転は、カメラ信号処理部４の入力側または符号化部７の入力側において、読み出しブロックのデータを格納できる容量のメモリによって行うようにしても良い。さらに、他の１８０度回転の処理、並びに２７０度回転の処理に関しても上述した９０度回転と同様の処理で行うことができる。

なお、復号側では、符号化側でなされる並べ替えの処理と逆方向の処理がなされる。すなわち、復号側における並べ替えは、符号化方法で規定された正規の処理方向からカメラ信号処理部の処理方向への符号化データの並べ替えである。並べ替えられた符号化データが復号部に出力され、復号画像が得られる。復号画像の出力順に信号処理がなされ、原画像と同様の配列の処理結果画像を得ることができる。

以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えばこの発明は、ディジタルスチルカメラに限らず、ＪＰＥＧまたはＭＰＥＧの符号化装置を備える画像記録装置、パーソナルコンピュータ、ＰＤＡ(Personal Digital Assistants)、画像送信装置、携帯端末、携帯電話等に適用することができる。

画像処理ブロックの大きさと処理の効率の関係を説明するための略線図である。 画像処理の方向と符号化の方向とが一致する場合の処理を説明するための略線図である。 画像処理の方向と符号化の方向とが一致しない場合の従来の処理を説明するための略線図である。 この発明を適用できる画像処理の一例を説明するための略線図である。 この発明を適用できる画像処理の他の例を説明するための略線図である。 ブロック読み出しを行った場合の処理を説明するための略線図である。 この発明による処理の一例を概略的に説明するための略線図である。 この発明による処理の他の例を概略的に説明するための略線図である。 この発明による撮像装置の一実施形態のブロック図である。 この発明による画像処理装置の一実施形態を説明するための略線図である。 この発明による画像処理装置の一実施形態においてサイズ変更部を有する場合を説明するための略線図である。 この発明による画像処理装置の一実施形態においてサイズ変更部を有する場合を説明するための略線図である。 この発明の一実施形態の画像処理の流れを説明するためのフローチャートである。 この発明の一実施形態における区切りコードの挿入処理を説明するための略線図である。 この発明の一実施形態におけるスライススタートコードの挿入処理を説明するための略線図である。 この発明の一実施形態における区切りコードの削除処理を説明するための略線図である。 この発明の一実施形態における区切りコードの削除処理の方法を説明するための略線図である。 この発明の一実施形態におけるスタッフィングビットの削除処理の方法を説明するための略線図である。 この発明の一実施形態における区切りコードの削除処理において必要とされるスタッフィングビット数の記録方法の一例を説明するための略線図である。 この発明の一実施形態における手ぶれ補正を説明するための略線図である。 この発明における読み出しブロックと色フィルタの配置の関係を示す略線図である。 この発明における撮像素子の欠陥と欠陥データの関係を示す略線図である。 この発明における統計データの作成を説明する略線図である。 この発明において一つの撮像素子から同時に二つの読み出しブロックを出力する場合の処理を説明するための略線図である。 この発明において一つの撮像素子から順次二つの読み出しブロックを出力する場合の処理を説明するための略線図である。 この発明において二つの撮像素子によって同一の被写体を撮影する場合の処理を説明するための略線図である。 この発明において異なる色を分担する３個の撮像素子によって同一の被写体を撮影する場合の処理を説明するための略線図である。 この発明において画像を９０度回転する場合の処理を説明するための略線図である。

符号の説明

２ 撮像素子
４ カメラ信号処理部
６ サイズ変更部
７ 符号化部
８ 並べ替え部
１１ ＣＰＵ
１６ 角速度センサ

Claims (15)

1. 縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出し可能な撮像素子と、
   上記撮像素子から読み出された上記読み出しブロックのデータが入力される信号処理部と、
   上記信号処理部から出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化部と、
   上記符号化部で符号化されたデータに関して、上記信号処理部の処理方向から上記符号化部の符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替え部を備える撮像装置。
2. 請求項１において、
   上記読み出しブロックは、上記信号処理部による処理後に、少なくとも縦方向が複数個の上記符号化ブロックとなる大きさである撮像装置。
3. 請求項１において、
   上記信号処理部にサイズ変更部が含まれる場合には、サイズ変更後に、上記読み出しブロックの縦横の少なくとも一方が上記符号化ブロックの整数倍となる撮像装置。
4. 請求項１において、
   上記読み出しブロックの横幅は、複数種類ある撮像装置。
5. 請求項１において、
   上記読み出しブロックは、縦横とも撮像素子の色フィルタの最小繰り返し単位の整数倍である撮像装置。
6. 請求項１において、
   手ぶれ検出手段を有し、
   撮像した画像の一部のみをブロック読み出しを行う対象領域とし、
   上記手ぶれ検出手段の出力によって、上記対象領域の位置を変化させる撮像装置。
7. 請求項１において、
   上記撮像素子の読み出し以前に、同一撮像データを読み出して統計データを作成し、
   上記統計データを用いて上記信号処理部のパラメータとして利用する撮像装置。
8. 請求項１において、
   上記撮像素子から複数の上記読み出しブロックを同時に読み出す撮像装置。
9. 請求項１において、
   同一の被写体の異なる部分、若しくは同一の被写体の異なる色をそれぞれ撮像する複数の上記撮像素子を有し、
   上記複数の撮像素子から複数の上記読み出しブロックを同時に読み出す撮像装置。
10. 請求項１において、
    上記撮像素子からの読み出し、上記信号処理部および出願符号化部の入力部の何れかにおいて、それぞれの処理単位で上下反転、左右反転、９０度、１８０度および２７０度回転のいずれかの処理を行い、並び換えにより画像全体の上下反転、左右反転、回転を行う撮像装置。
11. 請求項１において、
    上記信号処理部にサイズ変更部が含まれ、
    上記サイズ変更部において、画像の位置によりサイズ変更比率を変化させ、歪補正を行う撮像装置。
12. 請求項１において、
    上記信号処理部にサイズ変更部が含まれ、
    上記サイズ変更部において、画像の色によりサイズ変更比率を変化させ、色収差補正を行う撮像装置。
13. 縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出す撮像素子を使用した撮像方法において、
    上記撮像素子から読み出された上記読み出しブロックのデータを信号処理する信号処理ステップと、
    上記信号処理後に出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化ステップと、
    上記符号化ステップで符号化されたデータに関して、上記信号処理ステップの処理方向から上記符号化ステップの符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替えステップとからなる撮像方法。
14. 縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出す撮像素子を使用した撮像方法をコンピュータに実行させるプログラムにおいて、
    上記撮像素子から読み出された上記読み出しブロックのデータを信号処理する信号処理ステップと、
    上記信号処理後に出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化ステップと、
    上記符号化ステップで符号化されたデータに関して、上記信号処理ステップの処理方向から上記符号化ステップの符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替えステップとからなる撮像方法のプログラム。
15. 縦方向および横方向が複数画素からなる読み出しブロックでもって、撮像した画像の一部を相互に重複して読み出す撮像素子を使用した撮像方法をコンピュータに実行させるプログラムが格納された記録媒体において、
    上記撮像方法は、
    上記撮像素子から読み出された上記読み出しブロックのデータを信号処理する信号処理ステップと、
    上記信号処理後に出力されるデータ順序で符号化ブロックを単位として符号化を行う符号化ステップと、
    上記符号化ステップで符号化されたデータに関して、上記信号処理ステップの処理方向から上記符号化ステップの符号化方法で規定された正規の処理方向へ並べ替えを行う並べ替えステップとからなる記録媒体。
    

Images