JP2013126101A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】撮像装置において、画像を一時保存するためのメモリへのアクセスをより少なくし、消費電力を低減することを可能にすること。
【解決手段】撮像素子を介して順次得られる入力画像の画素値を用いて当該入力画像をリサイズすることにより、第１の行数のリサイズ画像の各行の画素値を順次取得するリサイズ部と、上記リサイズ部により取得された１つ以上の行の画素値を用いて上記リサイズ画像に対する歪補正処理を行うことにより、第２の行数の歪補正画像の各行の画素値を順次取得する歪補正部と、を備える撮像装置が提供される。上記第１の行数は、上記歪補正画像の画素に対応する上記リサイズ画像内の位置のうちの垂直方向において隣接するいずれの２つの位置も上記リサイズ画像の行間隔以上の間隔を有するように設定される。
【選択図】図４

Description

本発明は、撮像装置および撮像方法に関する。

近年、撮像素子を用いてデジタル画像を取得するデジタルカメラ、デジタルカムコーダ等の撮像装置が広く普及している。当該撮像装置は、レンズを通して入射した光を撮像素子により光電変換し、得られた電気信号からデジタル画像を生成し、当該デジタル画像を記録メディアや内蔵メモリに記憶する。

撮像装置では、レンズを通して入射した光が撮像素子に当たるので、取得されるデジタル画像には当該レンズに起因する歪みが生じる。そのため、撮像装置または別の装置においてデジタル画像の歪みを補正するための技術が存在する。

例えば、特許文献１では、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）のようなフレームメモリに記憶されたデジタル画像の画素値をブロック毎に読み出し、当該ブロック毎の画素値を用いて歪補正を行う技術が記載されている。

特開２００４−３６２０６９号公報

しかし、上記特許文献１の技術を含む従来の技術は、ＳＤＲＡＭのような一時保存用のメモリにデジタル画像を一旦蓄積し、歪補正を行う際に当該メモリにアクセスするので、当該メモリへのアクセスが増大する。その結果、消費電力が大きくなる。

そこで、撮像装置において、画像を一時保存するためのメモリへのアクセスをより少なくし、消費電力を低減することを可能にする、撮像装置および撮像方法が提供される。

本発明によれば、撮像素子を介して順次得られる入力画像の画素値を用いて当該入力画像をリサイズすることにより、第１の行数のリサイズ画像の各行の画素値を順次取得するリサイズ部と、上記リサイズ部により取得された１つ以上の行の画素値を用いて上記リサイズ画像に対する歪補正処理を行うことにより、第２の行数の歪補正画像の各行の画素値を順次取得する歪補正部と、を備える撮像装置が提供される。上記第１の行数は、上記歪補正画像の画素に対応する上記リサイズ画像内の位置のうちの垂直方向において隣接するいずれの２つの位置も上記リサイズ画像の行間隔以上の間隔を有するように設定される。

また、上記第１の行数は、上記リサイズ画像内の上記位置のうちの垂直方向で最も近接する２つの位置間の間隔で上記リサイズ画像の垂直方向の幅を割ることにより得られる値以上に設定されてもよい。

また、上記撮像装置は、上記歪補正画像の画素に対応する上記リサイズ画像内の位置に関する情報に基づいて、上記第１の行数を算出する算出部をさらに備えてもよい。

また、上記算出部は、上記撮像装置の光学系の変更または焦点距離の変更に応じて上記第１の行数を算出してもよい。

また、上記撮像装置は、上記撮像装置の光学系の種類または焦点距離に応じた上記第１の行数を記憶する記憶部をさらに備えてもよい。

また、上記入力画像は、上記第１の行数以上の行数の画像であってもよい。

また、本発明によれば、撮像素子を介して順次得られる入力画像の画素値を用いて当該入力画像をリサイズすることにより、第１の行数のリサイズ画像の各行の画素値を順次取得するステップと、前記ステップで取得された１つ以上の行の画素値を用いて上記リサイズ画像に対する歪補正処理を行うことにより、第２の行数の歪補正画像の各行の画素値を順次取得するステップと、を含む撮像方法が提供される。上記第１の行数は、上記歪補正画像の画素に対応する上記リサイズ画像内の位置のうちの垂直方向において隣接するいずれの２つの位置も上記リサイズ画像の行間隔以上の間隔を有するように設定される。

以上説明したように本発明に係る撮像装置および撮像方法によれば、撮像装置において、画像を一時保存するためのメモリへのアクセスをより少なくし、消費電力を低減することが可能となる。

画像の歪みの例を説明するための説明図である。 歪補正処理の一例を説明するための説明図である。 歪補正画像の画素に対応する入力画像内の位置間の間隔の例を説明するための説明図である。 一実施形態に係る撮像装置の構成の一例を示すブロック図である。 垂直方向で最も近接する２つの位置の一例を説明するための説明図である。 一実施形態に係る撮像処理の概略的な流れの一例を示すフローチャートである。 従来の撮像装置の構成の一例を示すブロック図である。

以下に添付の図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以降、＜１.はじめに＞、＜２.撮像装置の構成＞、＜３.処理の流れ＞という順序で本発明の実施形態を説明する。

＜１.はじめに＞
まず、図１〜図３および図７を参照して、歪補正処理の例、従来の撮像装置の構成、および本実施形態における技術的課題を説明する。

（歪補正処理の例）
図１〜図２を参照して、一般的な歪補正処理の例を説明する。図１は、画像の歪みの例を説明するための説明図である。図１を参照すると、１−１および１−２のそれぞれに、歪みを伴う入力画像１０と、歪みなしの画像を入力画像１０に射影した場合に歪みなしの画像に対応する入力画像１０内の範囲２０とが示されている。１−１に示される画像の歪みは、樽型の歪みと呼ばれ、１−２に示される画像の歪みは、糸巻き型の歪みと呼ばれる。このような、画像の歪みは、撮像装置に備えられるレンズの特性および焦点距離によって決まる。

歪補正を行う撮像装置は、歪みなしの画像に対応する入力画像１０内の範囲２０のような、レンズに起因して発生する歪みに関する情報を保有する。より具体的には、撮像装置は、例えば、歪みなしの画像の各画素に対応する入力画像１０内の位置（以下、「対応位置２１」と呼ぶ）、すなわち歪みなしの画像の各画素を入力画像１０に射影した場合の射影位置に関する情報を保有する。そして、撮像装置は、当該対応位置２１の周辺に存在する入力画像１０の画素の画素値を用いて補間処理を行うことにより、歪みなしの画像（換言すると、歪補正画像）の画素値を取得する。以下、この点について図２を参照してより具体的に説明する。

図２は、歪補正処理の一例を説明するための説明図である。図２を参照すると、歪みを伴う入力画像１０の一部の領域１１の中に、入力画像１０の画素１３と、歪補正画像の画素に対応する入力画像１０内の対応位置２１とが示されている。例えば、対応位置２１ａの周辺に位置する４つの画素１３ａ、１３ｂ、１３ｄ、１３ｅを用いて補間処理を行うことにより、対応位置２１ａに対応する歪補正画像の画素の画素値を取得する。また、同様に、例えば、対応位置２１ｂの周辺に位置する画素１３ｂ、１３ｃ、１３ｅ、１３ｆを用いて補間処理を行うことにより、対応位置２１ｂに対応する歪補正画像の画素の画素値を取得する。このように、歪補正画像の各画素値を取得することにより、最終的に歪補正画像全体を得ることができる。

（従来の撮像装置の構成）
次に、図７を参照して、従来の撮像装置５００の構成について説明する。当該撮像装置５００は、例えばデジタルカムコーダである。図７を参照すると、撮像装置５００では、光学系５０１から光が入射し、撮像素子５０３で光電変換およびアナログ／デジタル変換（Ａ／Ｄ変換）が行われる。その結果、ベイヤ（Bayer）パターンのＲＡＷデータが得られる。当該ＲＡＷデータは、一例として、４０００列×２０００行の画素に相当するデータを含む。そして、プリプロセス部５０５で、ＲＡＷデータに対するシェーディング補正、欠陥補正、ノイズ除去等の処理が行われる。

次に、Ｂ２Ｙ部５０７は、上記ＲＡＷデータを、輝度信号（Ｙ）および色差（Ｃｂ、Ｃｒ）で表される画像（以下、ＹＣｂＣｒ画像）に変換する。そして、当該画像は、ＳＤＲＡＭコントローラ５１１を介してＳＤＲＡＭ５０９に記憶される。当該画像は、一例として、１９２０列×１０８０行の画素を有するフルハイビジョン映像の各フレームである。

次に、歪補正部５１３は、ＳＤＲＡＭ５０９へのアクセスにより上記画像を取得し、歪補正処理を行う。そして、歪補正画像も、ＳＤＲＡＭ５０９に記憶される。

その後、歪補正画像は、コーデック部５１５でＭＰＥＧ（ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２４６等）等の圧縮符号化が行われ、メモリカード５１７に記憶される。

（本実施形態における技術的課題）
以上のように、従来の撮像装置では、ＳＤＲＡＭのような一時保存用のメモリに画像が一旦記憶された上で、当該画像を読み出しながら歪補正処理が行われる。そのため、当該メモリへのアクセスが増大し、その結果、消費電力が大きくなる。また、歪補正前の画像と歪補正画像との両方が一時保存用のメモリに記憶されるので、当該メモリの容量も大きくなる。

そこで、本実施形態では、ＳＤＲＡＭのような画像を一時保存するためのメモリへのアクセスをより少なくし、消費電力を低減することを可能にする。そして、当該メモリの容量も減らすことも可能にする。

より具体的には、本実施形態では、画像を一時保存用のメモリに保存することなく歪補正処理を行う手法を導入する。すなわち、パイプライン処理として、撮像素子を介して入力画像１０（例えば、ＹＣｂＣｒ画像）の画素値を順次得て、当該画素値から歪補正処理を順次行い、歪補正画像を上記メモリに保存する。このように、歪補正処理は、一時保存用のメモリについてのオンザフライ（On The Fly）動作として実行される。それにより、歪補正処理による当該メモリへのアクセスを低減する。

ただし、撮像素子を介して順次得られる画像の画素値を用いて順次歪補正処理を行うと、歪補正画像の画素値を出力しきれなくなることが考えられる。より詳細に説明すると、例えば、撮像素子から継続的に出力される信号から、入力画像１０（例えば、ＹＣｂＣｒ画像）の各行の画素値が順次取得される。そして、歪補正画像の１行分の画素値を算出するために必要な、入力画像１０の１つ以上の行の画素値が揃うと、歪補正画像の当該１行分の画素値が算出される。すなわち、パイプライン処理として、入力画像１０の各行の画素値が順次取得され、それに応じて歪補正画像の画素値が１行分ずつ順次算出される。ここで、撮像素子からの信号は継続的に出力されるので、歪補正処理では、入力画像１０の画素値の入力に遅れることなく、歪補正画像の画素値を算出し、出力する必要がある。しかし、歪補正処理では、入力される画素値の行数と出力される画素値の行数との関係が画像内の領域によって異なるので、部分的には、入力される画素値の行数よりも、出力される画素値の行数の方が大きくなる。そのため、入力画像１０の行の画素値に対するハンドシェイク動作が必要となってしまう。その結果、継続的に生じる入力に対して出力が間に合わなくなり、パイプライン処理における歪補正処理が動作しなくなる。以下、この点について図３を参照してより具体的に説明する。

図３は、歪補正画像の画素に対応する入力画像１０内の位置間の間隔の例を説明するための説明図である。図３を参照すると、歪みを伴う入力画像１０の一部の領域１１の中に、入力画像１０の画素１３と、歪補正画像の画素に対応する入力画像１０内の対応位置２１とが示されている。ここでは、図２で説明したように、歪補正処理の一例として、対応位置２１の周辺に位置する４つの画素１３を用いて補間処理を行うことにより、対応位置２１に対応する歪補正画像の画素の画素値を取得するものとする。

例えば、領域１１−１には、垂直方向において隣接する２つの対応位置２１ｃ、２１ｄが含まれる。当該対応位置２１ｃと対応位置２１ｄとの間の間隔はＷ_ｐ１であり、当該間隔Ｗ_ｐ１は画素１３の間隔Ｗ_Ｌよりも大きい。よって、このような領域１１−１であれば、入力に対して出力が間に合わなくなることはない。すなわち、まず、入力画像１０側で、画素１３ｇ、１３ｈを含む行の画素値が取得されると、歪補正画像側で、対応位置２１ｃに対応する画素の画素値が算出可能となる。ここで、歪補正画像について、対応位置２１ｃと同一の行に含まれる他の画素の画素値も同様に算出可能になっていれば、対応位置２１ｃに対応する画素およびそれと同一の行に含まれる画素の画素値が算出される。次に、入力画像１０側で、画素１３ｉ、１３ｊを含む次の行の画素値が取得されるが、歪補正画像側では、いずれの画素値も算出されない。そして、入力画像１０側で、さらに次の行が取得されると、歪補正画像側で、対応位置２１ｄに対応する画素の画素値が算出可能となる。ここで、歪補正画像について、対応位置２１ｄと同一の行に含まれる他の画素の画素値も同様に算出可能になっていれば、対応位置２１ｄに対応する画素およびそれと同一の行に含まれる画素の画素値が算出される。このように、より多くの入力からより少ない出力が得られる領域１１−１、すなわち縮小領域１１−１では、入力画像１０の行の画素値に対するハンドシェイク動作は必要ないので、入力に対して出力は間に合う。

一方、領域１１−２には、垂直方向において隣接する２つの対応位置２１ｅ、２１ｄが含まれる。当該対応位置２１ｅと対応位置２１ｆとの間の間隔はＷ_ｐ２であり、当該間隔Ｗ_ｐ１は画素１３の間隔Ｗ_Ｌよりも小さい。よって、このような領域１１−１であれば、入力に対して出力が間に合わなくなることが考えられる。すなわち、入力画像１０側で、画素１３ｍ、１３ｎを含む行の画素値が取得されると、歪補正画像側で、対応位置２１ｅに対応する画素および対応位置２１ｆに対応する画素の画素値が算出可能となる。ここで、歪補正画像について、対応位置２１ｅと同一の行および対応位置２１ｆと同一の行に含まれる他の画素の画素値も同様に算出可能になっていれば、これらの２行分の画素値の算出が必要になる。このように、より少ない入力（例えば、１行分の画素）からより多くの出力（例えば、２行分の画素）が得られる領域１１−２、すなわち拡大領域１１−２では、入力画像１０の行の画素値に対するハンドシェイク動作が必要になる可能性がある。その結果、入力に対して出力が間に合わなくなり、パイプライン処理における歪補正処理が動作しなくなる。

以上のように着想し、検討した技術的課題を踏まえて、本実施形態は、画像を一時保存用のモリに保存することなく歪補正処理を行う手法を導入しつつ、当該歪補正処理を確実に動作させる。それにより、ＳＤＲＡＭ５０９のような一時保存用のメモリへのアクセスをより少なくし、消費電力を低減する。以降、＜２.撮像装置の構成＞および＜３.処理の流れ＞において、その具体的な内容を説明する。

＜２.撮像装置の構成＞
図４および図５を参照して、本実施形態に係る撮像装置１００の構成の一例について説明する。図４は、本実施形態に係る撮像装置１００の構成の一例を示すブロック図である。図４を参照すると、撮像装置１００は、光学系１０１、撮像素子１０３、プリプロセス部１０５、Ｂ２Ｙ部１０７、リサイズ部１０９、歪補正テーブル１１１、テーブル解析部１１３、歪補正部１１５、ＳＤＲＡＭ１１７、ＳＤＲＡＭコントローラ１１９、コーデック部１２１およびメモリカード１２３を備える。ここで、テーブル解析部１１３は、算出部および記憶部の一例である。また、本実施形態における撮像装置１００は、例えばデジタルカムコーダである。

（光学系１０１）
光学系１０１は、撮像装置１００内に位置する撮像素子１０３に光を導く。すなわち、光学系１０１は、撮像素子１００の撮像面に光学像を結像する。また、光学系１０１は、例えば、撮像における焦点距離を調整することができる。光学系１０１は、例えば、フォーカスレンズ、ズームレンズ等を含む。

（撮像素子１０３）
撮像素子１０３は、光電変換を実行する。すなわち、撮像素子１０３は、光学系１０１により導かれた光を電気信号に変換する。そして、撮像素子１０３は、内蔵するＡ／Ｄ変換器によって電気信号に対するＡ／Ｄ変換を行う。その結果、ベイヤパターンのＲＡＷデータが得られる。当該ＲＡＷデータは、一例として、４０００列×２０００行の画素に相当するデータを含む。撮像素子１０３は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。

（プリプロセス部１０５）
プリプロセス部１０５は、撮像素子１０３からのＲＡＷデータに対するプリプロセスを実行する。例えば、プリプロセス部１０５は、ＲＡＷデータに対するシェーディング補正、欠陥補正、ノイズ除去等の処理を行う。

（Ｂ２Ｙ部１０７）
Ｂ２Ｙ部１０７は、撮像素子１０３を介して入力画像１０の画素値を順次得る。より具体的には、Ｂ２Ｙ部１０７は、撮像素子１０３により出力されてプリプロセス部１０５により処理されたＲＡＷデータを、輝度信号（Ｙ）および色差（Ｃｂ、Ｃｒ）で表されるＹＣｂＣｒ画像に変換する。ここで、撮像素子１０３は、ＲＡＷデータの個別のデータを継続して出力し、またプリプロセス部１０５も、当該個別のデータを順次処理し、処理後の個別のデータを順次出力する。そのため、Ｂ２Ｙ部１０７は、ＲＡＷデータの個別のデータを順次取得し、当該個別のデータを用いて順次変換を行うことにより、ＹＣｂＣｒ画像の画素値を順次得る。そして、Ｂ２Ｙ部１０７は、ＹＣｂＣｒ画像の画素値を順次リサイズ部１０９に出力する。

上記ＹＣｂＣｒ画像は、光学系１０１に起因して生じた歪みを伴う画像であり、歪補正の対象となる入力画像である。また、ＹＣｂＣｒ画像は、例えば、４０００列×２０００行の画素を含む。

なお、Ｂ２Ｙ部１０７は、ＹＣｂＣｒ画像をＳＤＲＡＭ１１７に書きこむこともできる。ただし、本実施形態において、基本的には、Ｂ２Ｙ部１０７からのＹＣｂＣｒ画像は、ＳＤＲＡＭ１１７に書きこまれない。

（リサイズ部１０９）
リサイズ部１０９は、順次得られるＹＣｂＣｒ画像の画素値を用いて当該ＹＣｂＣｒ画像をリサイズすることにより、行数Ｌ_１のリサイズ画像の各行の画素値を順次取得する。例えば、リサイズ部１０９は、Ｂ２Ｙ部１０７により順次出力されるＹＣｂＣｒ画像の画素値を用いて補間処理を行うことにより、行数Ｌ_１のリサイズ画像（リサイズされたＹＣｂＣｒ画像）の各行の画素値を順次取得する。そして、リサイズ部１０９は、各行の画素値を歪補正部１１５に出力する。

行数Ｌ_１は、歪補正画像の画素に対応するリサイズ画像内の位置（以下、「対応位置」と呼ぶ）のうちの垂直方向において隣接するいずれの２つの対応位置もリサイズ画像の行間隔以上の間隔を有するように設定される。ここでの歪補正画像は、リサイズ画像に対する歪補正処理により取得される歪補正された画像であり、後述のとおり、当該歪補正画像は、歪補正部１１５により取得される。図３でも既に説明したように、垂直方向に隣接する２つの対応位置がある場合に、これらの２つの対応位置間の間隔によって歪補正処理における入力と出力とのバランスが変わる。より詳細に説明すると、隣接する２つの対応位置の間隔がリサイズ画像の行間隔よりも小さければ、歪補正処理において、より少ない入力（例えば、１行分の画素）に対してより多くの出力（例えば、２行分の画素）が発生する。そのため、リサイズ画像の行の画素値に対するハンドシェイク動作が必要となってしまう。その結果、継続的に取得されるリサイズ画像の行の画素値に対して、歪補正画像の画素値の算出が間に合わなくなり、パイプライン処理における歪補正処理が動作しなくなることが考えられる。一方で、隣接する２つの対応位置の間隔がリサイズ画像の行数の間隔以上であれば、歪補正処理において、入力に対してそれ以下の出力しか発生しない。よって、リサイズ画像の行の画素値に対するハンドシェイク動作は不用であるので、歪補正処理は確実に動作する。したがって、いずれの２つの対応位置の間隔もリサイズ画像の行間隔以上とすれば、すなわちリサイズ画像全体を歪補正処理における縮小領域とすれば、歪補正処理およびパイプライン処理全体を確実に動作させることが可能である。なお、リサイズ画像の行間隔は、リサイズ画像の行数Ｌ_１を増やせばより小さくなり、リサイズ画像の行数Ｌ_１を減らせばより大きくなる。そのため、リサイズ画像の行数Ｌ_１の設定により、リサイズ画像の行間隔を調整することができる。

さらに具体的には、例えば、行数Ｌ_１は、対応位置のうちの垂直方向で最も近接する２つの対応位置間の間隔Ｗ_ｐｍｉｎでリサイズ画像の垂直方向の幅を割ることにより得られる値以上に設定される。より詳細に説明すると、リサイズ画像の行間隔が、垂直方向で最も近接する２つの対応位置間の間隔Ｗ_ｐｍｉｎ以下であれば、リサイズ画像の歪補正処理において、リサイズ画像の１行分の画素の入力に対して、歪補正画像の１行分以上の画素値は出力されない。すなわち、より少ない入力に対してそれ以下の出力しか発生しない。ここで、リサイズ画像の垂直方向の幅を間隔Ｗ_ｐｍｉｎで割ることにより得られる値以上の行数を行数Ｌ_１として設定すれば、リサイズ画像の行間隔はＷ_ｐｍｉｎ以下となる。よって、当該値以上の行数をＬ_１として設定することにより、より少ない入力に対してそれ以下の出力しか発生しなくなる。その結果、リサイズ画像の行の画素値に対するハンドシェイク動作は不用であり、歪補正処理およびパイプライン処理全体を確実に動作させることができる。以下、この点について図５を参照してより具体的に説明する。

図５は、垂直方向で最も近接する２つの位置の一例を説明するための説明図である。図５を参照すると、５−１に、リサイズ画像３０と、歪補正画像をリサイズ画像３０に射影した場合に歪補正画像に対応するリサイズ画像３０内の範囲４０とが示されている。また、５−２に、間隔Ｗ_ｐｍｉｎが現れるリサイズ画像３０の一部の領域３１が示されている。そして、当該領域３１の中に、歪補正画像の画素に対応するリサイズ画像３０内の対応位置４１と、リサイズ画像３０が歪補正画像と同数の画素を有すると想定した場合のリサイズ画像３０の画素３３（以下、「仮想画素３３」と呼ぶ）が示されている。

５−２に示されるように、対応位置４１ａと対応位置４１ｂとの間の間隔が、対応位置間の垂直方向の間隔の中で最も小さい間隔Ｗ_ｐｍｉｎである。そして、当該間隔Ｗ_ｐｍｉｎは、仮想画素３３間の間隔Ｗ_Ｌよりも小さいことが分かる。リサイズ画像３０の垂直方向の幅をＷ_Ｉとすると、当該幅Ｗ_Ｉを間隔Ｗ_ｐｍｉｎで割ることにより得られる算出値をリサイズ画像３０の行数Ｌ_１とすれば、リサイズ画像の行間隔と間隔Ｗ_ｐｍｉｎとが等しくなる。また、リサイズ画像３０の行数Ｌ_１を上記算出値よりも大きくすれば、リサイズ画像の行間隔は、間隔Ｗ_ｐｍｉｎよりも小さくなる。よって、リサイズ画像３０の行数Ｌ_１を、上記算出値以上にすればよいことが分かる。

一例として、歪補正画像が、１９２０列×１０８０行の画素を有するフルハイビジョン映像の各フレームである場合の例を挙げる。この場合に、最小の間隔Ｗ_ｐｍｉｎが、仮想画素３３間の間隔Ｗ_Ｌ（すなわち歪補正画像の画素間の間隔）の８０％の大きさであるとすると、Ｌ_１≧Ｗ_Ｉ／Ｗ_ｐｍｉｎ＝（Ｌ_２×Ｗ_Ｌ）／（Ｗ_Ｌ×０．８）＝Ｌ_２／０．８＝１０８０／０．８＝１３５０となる。よって、リサイズ画像の行数Ｌ_１は、例えば１３５０行に設定される。このように、行数Ｌ_１を可能な範囲で小さくすることにより、クロック周波数を下げることができ、それにより消費電力を下げることができる。また、リサイズ画像の列数は、例えば、歪補正画像と同様に１９２０列に設定される。

以上のようにリサイズ画像の行数Ｌ_１が設定される。本来は、歪補正処理の入力とする画像の大きさは、クロック周波数を下げるためにも小さくすることが望ましい。例えば、歪補正画像と同じサイズの画像を入力とすることが考えられる。それにもかかわらず、本実施形態では、あえて、歪補正画像よりも行数が多い画像を入力することにより、パイプライン処理における歪補正処理のより確実な動作を可能にする。

なお、入力画像であるＹＣｂＣｒ画像は、行数Ｌ_１以上の行数の画像である。例えば、ＹＣｂＣｒ画像の行数は２０００行であり、リサイズ画像の行数Ｌ_１は、１３５０行である。これにより、ＹＣｂＣｒ画像からリサイズ画像３０を取得するリサイズ処理においても、入力に対してそれ以下の出力しか発生しなくなる。

（歪補正テーブル１１１）
歪補正テーブル１１１は、歪補正画像の画素に対応するリサイズ画像内の対応位置に関する情報（以下、対応情報）を記憶する。歪補正画像は、歪なしの画像であり、リサイズ画像は、歪みを伴う画像である。図１を参照して説明したとおり、光学系１０１を通してどのように入力画像（ＹＣｂＣｒ画像）およびリサイズ画像３０が歪むか、すなわち歪補正画像の各画素が入力画像内およびリサイズ画像内のどの位置に対応するかは、光学系の特性および焦点距離によって決まる。よって、光学系の種類または焦点距離に応じた上記対応情報を歪補正テーブル１１１に予め記憶させることが可能である。当該対応情報の保有により、リサイズ画像３０の行数Ｌ_１の算出および設定が可能になり、また、歪補正処理を行うことが可能になる。

（テーブル解析部１１３）
テーブル解析部１１３は、上記対応情報に基づいて行数Ｌ_１を算出する。より具体的には、テーブル解析部１１３は、歪補正テーブル１１１に記憶された対応情報を用いて、垂直方向で最も近接する２つの対応位置４１間の間隔Ｗ_ｐｍｉｎを特定する。次に、テーブル解析部１１３は、リサイズ画像３０の垂直方向の幅Ｗ_Ｉを当該間隔Ｗ_ｐｍｉｎで割ことにより、算出値を得る。そして、テーブル解析部１１３は、当該算出値以上の数をリサイズ画像３０の行数Ｌ_１として得る。このように得られた行数Ｌ_１がリサイズ画像３０の行数として設定される。

テーブル解析部１１３は、例えば、撮像装置１００の光学系１０１の変更または焦点距離の変更に応じて行数Ｌ_１を算出する。光学系１０１の特性および焦点距離によって対応情報が変わり、その結果、設定すべき行数Ｌ_１も変わる。よって、光学系１０１の変更または焦点距離の変更に応じて行数Ｌ_１を算出すれば、常に適切な行数Ｌ_１を設定することができる。

なお、テーブル解析部１１３は、撮像装置１００の光学系１０１の種類または焦点距離に応じた行数Ｌ_１を記憶してもよい。このように、光学系１０１の種類、焦点距離またはそれらの組合せに応じて行数Ｌ_１を記憶しておけば、都度算出する必要がなくなり、処理の負荷を減らすことができる。また、テーブル解析部１１３は、行数Ｌ_１を算出する代わりに、撮像装置１００外で算出された行数Ｌ_１を取得し、記憶してもよい。

（歪補正部１１５）
歪補正部１１５は、リサイズ部１０９により取得された（リサイズ画像３０の）１つ以上の行の画素値を用いてリサイズ画像３００に対する歪補正処理を行うことにより、行数Ｌ_２の歪補正画像の各行の画素値を順次取得する。例えば、歪補正部１１５は、リサイズ部１０９により順次出力されるリサイズ画像の各行の画素値をラインバッファに蓄積する。そして、ラインバッファに蓄積された１つ以上の行の画素値により歪補正画像の１行分の画素値が算出可能になると、歪補正部１１５は、蓄積された画素値を用いて歪補正処理を行うことにより、歪補正画像の１行分の画素値を取得する。このように取得された歪補正画像の画素値は、例えば、ＳＤＲＡＭコントローラ１１９を介してＳＤＲＡＭ１１７に記憶される。このように取得される歪補正画像は、例えば、１９２０列×１０８０行の画素を有するフルハイビジョン映像の各フレームである。

なお、上記のとおり、リサイズ部１０９により適切に行数が設定されたリサイズ画像３０が歪補正処理に用いられるので、歪補正処理全体を確実に動作させることができる。

（ＳＤＲＡＭ１１７）
ＳＤＲＡＭ１１７は、撮像装置１００内で一時的に保存すべき画像を記憶する。例えば、ＳＤＲＡＭ１１７は、歪補正画像を記憶する。

（ＳＤＲＡＭコントローラ１１９）
ＳＤＲＡＭコントローラ１１９は、ＳＤＲＡＭ１１７への書込みおよびＳＤＲＡＭ１１７からの読込みを制御する。例えば、ＳＤＲＡＭコントローラ１１９は、歪補正部１１５により順次出力される歪補正画像の画素値のＳＤＲＡＭ１１７への書込みを制御する。また、ＳＤＲＡＭコントローラ１１９は、歪補正画像の画素値のコーデック部１２１への読込みを制御する。

（コーデック部１２１）
コーデック部１２１は、ＳＤＲＡＭ１１７に記憶される歪補正画像に対して、ＭＰＥＧ（ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２４６等）等の圧縮符号化を行う。そして、コーデック部１２１は、例えば、圧縮符号化後の画像をメモリカード１２３に出力する。なお、動画像ではなく静止画像が取得される場合には、コーデック部１２１は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）等の圧縮符号化を行う。

（メモリカード１２３）
メモリカード１２３は、コーデック部１２１による圧縮符号化後の画像を記憶する。メモリカード１２３は、例えば、フラッシュメモリである。

＜３.処理の流れ＞
次に、図６を参照して、本実施形態に係る撮像処理の一例について説明する。図６は、本実施形態に係るにおける撮像処理の概略的な流れの一例を示すフローチャートである。

まず、ステップＳ２０１で、撮像素子１０３は、光電変換を実行する。すなわち、撮像素子１０３は、光学系１０１により導かれた光を電気信号に変換する。また、撮像素子１０３は、当該電気信号に対するＡ／Ｄ変換も行う。その結果、ベイヤパターンのＲＡＷデータが得られる。次に、ステップＳ２０３で、プリプロセス部１０５は、撮像素子１０３からのＲＡＷデータに対するプリプロセス（シェーディング補正、欠陥補正、ノイズ除去、等）を実行する。そして、ステップＳ２０５で、Ｂ２Ｙ部１０７は、ＲＡＷデータを、輝度信号（Ｙ）および色差（Ｃｂ、Ｃｒ）で表されるＹＣｂＣｒ画像に変換する。

次に、ステップ２０７で、リサイズ部１０９は、ＹＣｂＣｒ画像の画素値を用いて当該ＹＣｂＣｒ画像をリサイズすることにより、行数Ｌ_１のリサイズ画像の各行の画素値を取得する。そして、ステップ２０９で、歪補正部１１５は、蓄積されたリサイズ画像の１つ以上の行の画素値により歪補正画像の１行分の画素値が算出可能か否かを判定する。そして、歪補正画像の１行分の画素値が算出可能であれば、処理は、ステップＳ２１１へ進む。そうでなければ、処理は、ステップＳ２０１へ戻る。

ステップＳ２１１で、歪補正部１１５は、リサイズ部１０９により取得された（リサイズ画像３０の）１つ以上の行の画素値を用いてリサイズ画像３０に対する歪補正処理を行うことにより、行数Ｌ_２の歪補正画像の１行分の画素値を取得する。そして、ステップＳ２１３で、歪補正部１１５は、歪補正画像全体を取得済か否かを判定する。歪補正画像全体を取得済であれば、処理はステップＳ２１５へ進む。そうでなければ、処理はステップＳ２０１へ戻る。

ステップＳ２１５で、撮像が終了した否かが判定される。撮像が終了した場合には、処理は終了する。そうでなければ、処理は、ステップＳ２０１へ戻る。

以上のように説明された本実施形態によれば、撮像装置において、画像を一時保存するためのメモリへのアクセスをより少なくし、消費電力を低減することが可能となる。また、当該メモリの容量も減らすことも可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、撮像装置がデジタルカムコーダである例について説明したが、撮像装置は、別の撮像可能な装置（例えば、デジタルカメラ）であってもよい。

また、主として動画像の各フレームの画像が処理対象である例について説明したが、同様に静止画像が処理対象であってもよい。

また、入力画像がＹｃｂＣｒ画像である例について説明したが、入力画像は別の形式の画像（例えば、ＲＧＢ画像）であってもよい。

また、本明細書の撮像処理における各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理する必要はない。例えば、撮像処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

１０ 入力画像
１１ 入力画像の一部の領域
１３ 入力画像の画素
２０ 歪みなしの画像（歪補正画像）に対応する入力画像内の範囲
２１ 対応位置
３０ リサイズ画像
３１ リサイズ画像の一部の領域
３３ 仮想画素
４０ 歪補正画像に対応するリサイズ画像内の範囲
４１ 対応位置
１００ 撮像装置
１０１ 光学系
１０３ 撮像素子
１０５ プリプロセス部
１０７ Ｂ２Ｙ部
１０９ リサイズ部
１１１ 歪補正テーブル
１１３ テーブル解析部
１１５ 歪補正部
１１７ ＳＤＲＡＭ
１１９ ＳＤＲＡＭコントローラ
１２１ コーデック部
１２３ メモリカード

Claims (7)

1. 撮像素子を介して順次得られる入力画像の画素値を用いて当該入力画像をリサイズすることにより、第１の行数のリサイズ画像の各行の画素値を順次取得するリサイズ部と、
   前記リサイズ部により取得された１つ以上の行の画素値を用いて前記リサイズ画像に対する歪補正処理を行うことにより、第２の行数の歪補正画像の各行の画素値を順次取得する歪補正部と、
   を備え、
   前記第１の行数は、前記歪補正画像の画素に対応する前記リサイズ画像内の位置のうちの垂直方向において隣接するいずれの２つの位置も前記リサイズ画像の行間隔以上の間隔を有するように設定される、
   撮像装置。
2. 前記第１の行数は、前記リサイズ画像内の前記位置のうちの垂直方向で最も近接する２つの位置間の間隔で前記リサイズ画像の垂直方向の幅を割ることにより得られる値以上に設定される、請求項１に記載の撮像装置。
3. 前記歪補正画像の画素に対応する前記リサイズ画像内の位置に関する情報に基づいて、前記第１の行数を算出する算出部をさらに備える、請求項１または２に記載の撮像装置。
4. 前記算出部は、前記撮像装置の光学系の変更または焦点距離の変更に応じて前記第１の行数を算出する、請求項３に記載の撮像装置。
5. 前記撮像装置の光学系の種類または焦点距離に応じた前記第１の行数を記憶する記憶部をさらに備える、請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記入力画像は、前記第１の行数以上の行数の画像である、請求項１〜５のいずれか１項に記載の撮像装置。
7. 撮像素子を介して順次得られる入力画像の画素値を用いて当該入力画像をリサイズすることにより、第１の行数のリサイズ画像の各行の画素値を順次取得するステップと、
   前記ステップで取得された１つ以上の行の画素値を用いて前記リサイズ画像に対する歪補正処理を行うことにより、第２の行数の歪補正画像の各行の画素値を順次取得するステップと、
   を含み、
   前記第１の行数は、前記歪補正画像の画素に対応する前記リサイズ画像内の位置のうちの垂直方向において隣接するいずれの２つの位置も前記リサイズ画像の行間隔以上の間隔を有するように設定される、
   撮像方法。
   

Images