JP2013126186A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、効率よくＪＥＰＧ圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能な撮像装置を提供する。
【解決手段】画像処理部は、生成した画像データを横方向に複数のブロックに分割して前記記憶部を介さずに前記符号化部へ供給し、前記画像処理部は、前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも１つのフィルタ部と、前記フィルタ部のフィルタ処理を制御するフィルタ制御部と、を含み、前記フィルタ制御部は、前記符号化部で符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加する制御を前記フィルタ部へ実行することを特徴とする、撮像装置が提供される。
【選択図】図１

Description

本発明は、撮像装置及び画像処理方法に関する。

ＪＰＥＧ方式による画像の圧縮符号化に際しては、１画面全体を１つの単位として処理することが定められている。しかし、デジタルスチルカメラ等に設けられるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）の内部では、ラインメモリの容量削減のために、１つの画像を縦に複数のブロックに分割して処理する。

そのため、１つの画像全てを処理して、ＪＰＥＧ圧縮が可能な状態にするには、全てのブロックの処理を終了し、その結果をＳＤＲＡＭ等の外部メモリに書きこんで、結合する必要がある。そしてＪＰＥＧ圧縮するためのＪＰＥＧ圧縮符号化器は、外部メモリに構成された画像を読みだして圧縮符号化を実行する。そのため、デジタルスチルカメラでのＪＰＥＧ圧縮に際しては、常に画像を１枚分ＳＤＲＡＭ等の外部メモリに書き込み、また当該外部メモリから読みだすという手順が必要となる。

従来は、デジタルスチルカメラの速度性能は撮像素子の速度性能によって決まっている部分が多く、また１秒間に３枚から７枚程度の連写性能しか必要とされていなかった。しかし、近年では撮像素子の高性能化が進み、その解像度も１２００万画素から２０００万画素以上のものが用いられるようになった。さらに、最近では連写性能も１秒間に１０枚から１５枚程度のものが要求されるようになり、デジタルスチルカメラに求められる処理性能は従来のものに比べて格段に高くなってきている。

そのため、画像のＪＰＥＧ圧縮符号化のために、画像の外部メモリへの読み書きを毎回繰り返すと、消費電力の増大、読み書きの増加に伴う速度不足解消のための外部メモリ搭載数の増加によるコスト増という問題が生じる。そのため、外部メモリへの読み書きを極力行わずに画像のＪＰＥＧ圧縮符号化を実行する必要性が高まっている。

外部メモリを極力使用せずに画像のＪＰＥＧ圧縮符号化を実行するために、１つの画像を縦に分割した複数のブロックそれぞれに対してＪＰＥＧ圧縮符号化を実行し、記録メディアに記録する段階で結合する方法がある。これにより、外部メモリへのアクセスは軽減される。

特開２００７−２６７３４９号公報

ＪＰＥＧ圧縮符号化は、ＤＣＴ（離散コサイン変換）を基本とした符号化であり、垂直８画素単位でしか符号化することが出来ない。最下部が８画素に満たない場合には、最終ラインをコピーするか、黒ラインを挿入することにより最下部を符号化していた。しかし、最終ラインをコピーするか、黒ラインを挿入することにより最下部を符号化すると、最下部において自然な画像にならないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、効率よくＪＥＰＧ圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子への入光により生成されるデータから画像データを生成する画像処理部と、画像処理部が生成した画像データを符号化して符号化画像データを生成する符号化部と、符号化部が生成した符号化画像データを記憶する記憶部と、を備え、画像処理部は、生成した画像データを横方向に複数のブロックに分割して記憶部を介さずに符号化部へ供給し、画像処理部は、生成されるデータに対して所定のフィルタ処理を実行する少なくとも１つのフィルタ部と、フィルタ部のフィルタ処理を制御するフィルタ制御部と、を含み、フィルタ制御部は、符号化部で符号化される画像データの垂直画素数の情報を取得し、画像データの垂直画素数が符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、生成されるデータの最下行のデータを追加する制御をフィルタ部へ実行することを特徴とする、撮像装置が提供される。

かかる構成によれば、画像処理部は撮像素子への入光により生成されるデータから画像データを生成し、符号化部は画像処理部が生成した画像データを符号化して符号化画像データを生成し、記憶部は符号化部が生成した符号化画像データを記憶する。そして画像処理部は、生成した画像データを横方向に複数のブロックに分割して記憶部を介さずに符号化部へ供給し、また画像処理部は、少なくとも１つのフィルタ部と、フィルタ部のフィルタ処理を制御するフィルタ制御部とを含み、フィルタ部は、生成されるデータに対して所定のフィルタ処理を実行し、フィルタ制御部はフィルタ部のフィルタ処理を制御する。そして、フィルタ制御部は、符号化部で符号化される画像データの垂直画素数の情報を取得し、画像データの垂直画素数が符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、生成されるデータの最下行のデータを追加する制御をフィルタ部へ実行する。これにより、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、効率よくＪＥＰＧ圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能となる。

フィルタ部が実行する所定のフィルタ処理は、入力データの画素数と出力データの画素数とが一致するフィルタ処理であってもよい。

画像処理部は、フィルタ部を２つ以上含み、複数のフィルタ部は縦続接続され、入力データの画素数と出力データの画素数とが一致するフィルタ処理は、複数のフィルタ部の内の最後段のフィルタ部においてのみ実行されるようにしてもよい。

画像処理部は、符号化部が生成する符号化画像データの垂直画素数を取得し、画像データの垂直画素数が符号化部での符号化単位の垂直画素数で割り切れない場合は、符号化部での符号化単位に足りない分を生成されるデータの上下へ分担して画像データを生成するようにしてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子への入光により生成されるデータから画像データを生成する画像処理ステップと、前記画像処理ステップで生成した画像データを符号化して符号化画像データを生成する符号化ステップと、前記符号化ステップで生成された前記符号化画像データを記憶する記憶ステップと、を備え、前記画像処理ステップは、生成した画像データを横方向に複数のブロックに分割して前記記憶ステップを介さずに前記符号化ステップで符号化し、前記画像処理ステップは、前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも１つのフィルタステップと、前記フィルタステップでのフィルタ処理を制御するフィルタ制御ステップと、を含み、前記フィルタ制御ステップは、前記符号化ステップで符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化ステップでの符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加するよう前記フィルタステップでのフィルタ処理を制御することを特徴とする、画像処理方法が提供される。

以上説明したように本発明によれば、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、効率よくＪＥＰＧ圧縮符号化が可能であり、また自然な圧縮画像を生成することが可能な、新規かつ改良された撮像装置及び画像処理方法を提供することができる。

従来技術の概要を示す説明図である。 従来技術の概要を示す説明図である。 従来技術の概要を示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０の構成を示す説明図である。 Ｒｉｎｇ Ｐｉｘｅｌを取り除く、通常のフィルタ処理について示す説明図である。 フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理について示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００の動作を示す流ず図ある。 フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理について示す説明図である。 本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０の変形例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．従来技術およびその問題点＞
まず、本発明の好適な実施の形態について詳細に説明する前に、従来技術の説明および従来技術の問題点について述べる。図１は従来技術の概要を示す説明図であり、特許文献１に記載されている、ＪＰＥＧ圧縮符号化の際の外部メモリへのアクセスを軽減するために、１つの画像を縦に分割した複数のブロックそれぞれに対してＲＳＴマーカーコードを付ける技術の概要を示す説明図である。

ＪＰＥＧ圧縮符号化は、必ずしも１つの画像全体で行わなければいけないものではなく、画像の一部をＲＳＴマーカーコードで区切って符号化することが可能である。図１は、１つの画像を４つのブロック（タイル０、タイル１、タイル２、タイル３）に分割し、それぞれのブロックのＭＣＵラインの一番右にＲＳＴマーカーコードを付加して圧縮符号化する状態を示している。このように、１つの画像を複数のブロックに分割する際には、各ブロックのＭＣＵラインの最後尾にＲＳＴマーカーコードを付して符号化する。

しかし、このように符号化すると、データの保存方向はブロック単位となり、タイル０→タイル１→タイル２→タイル３のようにはならない。従って、符号化後の画像データを保存するためには、タイル０の最上行のＭＣＵライン→タイル１の最上行のＭＣＵライン→・・・という順番に並べ替える必要がある。

ＪＰＥＧの符号化では可変長符号化を用いるため、画素毎、ＭＣＵ毎の符号量は一定ではなく、なおかつバイト単位でもない。ただし、ＲＳＴマーカーコードはバイト境界にある必要があるため、各ＭＣＵ列はバイト単位となり、外部メモリでの扱いは簡単になる。

しかし、特許文献１に記載されている、ＲＳＴマーカーコードを付加して圧縮する方法は、以下のような問題がある。

まず、ＲＳＴマーカーコードを付加して圧縮すると、符号化効率が低下する。ＪＰＥＧでは左側のブロックの情報を基に、差分を取ってＤＣ予測を行なって符号化する。画像を複数のブロックに分割し、ＲＳＴマーカーコードで区切る場合、ブロック単位で差分がリセットされるために、構成は簡単になるが、この分ＲＳＴマーカーコードの符号を付加する必要性が生じ、またブロック間で差分符号化が使えないために符号化効率が低下する。

図２は、従来技術について示す説明図であり、従来技術では、ブロック間で差分符号化が使えない状態を示す説明図である。図２に示すように、同一のブロック内ではＭＣＵ間でＤＣ予測を行なって符号化することができる。しかし、ブロックを跨いでしまうと差分符号化が使えないので、このブロックを跨いだ部分での符号化効率が低下する。

次に、ＲＳＴマーカーコードを付加した圧縮には、画像サイズの制限がある。ＲＳＴマーカーコード間の画像サイズは一定である必要がある。通常、デジタルスチルカメラのＪＰＥＧでは、輝度成分で水平１６画素単位での処理を行うため、それぞれのブロックは１６画素単位でなければならない。従って、例えば４つのブロックに縦長に分割する構成であれば、６４画素単位でしか画像サイズを変更できない。

しかし、ブロックの大きさは通常水平２５６ｐｉｘｅｌ、５１２ｐｉｘｅｌ等の小さいものであり、画像全体は５０００〜８０００ｐｉｘｅｌ等の大きなものになりつつある。このため、例えば３２ブロックに画像を分割して処理すると、２５６画素単位でしか画像サイズを変更することができない。

しかし、そのような都合の良い撮像素子は多くなく、割り切れない部分は画像の右側には黒を挿入する必要が生じる。図３は、従来技術について示す説明図であり、従来技術では、画像の右側には黒を挿入する必要が生じる状態を示す説明図である。画像サイズが横７９５２画素で、ブロックの幅が２５６画素である場合、一番右のブロックは１６画素のみが実際の画像であり、残りの画素には黒のデータを挿入しないとブロックとして処理することができない。

そこで以下で説明する本発明の一実施形態では、外部メモリを介さずに画像処理後の画像を複数のブロックに分割してＪＰＥＧ圧縮符号化する際に、符号化効率を低下させず、またブロックの画像サイズの制限が無く、ＪＰＥＧ圧縮符号化および圧縮後の画像の結合を簡易に行うことが可能な、新規かつ改良された撮像装置について説明する。

＜２．本発明の一実施形態＞
［デジタルスチルカメラの機能構成例］
まず、本発明の一実施形態に係るデジタルスチルカメラの構成について説明する。図４は、本発明の一実施形態に係るデジタルスチルカメラ１００の構成について示す説明図である。以下、図４を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明する。

図４に示したデジタルスチルカメラ１００は、本発明の撮像装置の一例である。図４に示したように、本発明の一実施形態に係るデジタルスチルカメラ１００は、カメラ部１０２と、ＣＰＵ１０４と、ＲＯＭ１０５と、マルチプレクサ（ＭＵＸ）１０６と、現像部１１０と、画像圧縮部１１２と、歪補正処理部１１３と、メモリカード１１４と、ＬＣＤ１１６と、ＳＤＲＡＭ Ｉ／Ｆ１１８と、ＳＤＲＡＭ１２０と、を含んで構成される。

カメラ部１０２は、図４には図示しないが、ズームレンズ、フォーカスレンズ、ベイヤー配列の色フィルタが設けられた撮像素子等からなり、被写体からの光を撮像素子で光電変換し、撮像素子からのベイヤー配列のＲＧＢ画像データを出力するものである。ここで、撮像素子としてはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いることができる。カメラ部１０２で生成されて出力されるベイヤー配列のＲＧＢ画像データ（以下、カメラ部１０２から出力されるベイヤー配列のＲＧＢ画像データを単に「データ」とも称する）はＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られるか、または直接マルチプレクサ１０６に送られる。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０４は、デジタルスチルカメラ１０４の各部の動作を制御するものである。ＲＯＭ１０５は、デジタルスチルカメラ１００の動作制御に用いる各種プログラムや設定情報が格納されるものである。マルチプレクサ１０６は、カメラ部１０２で生成されて出力されるデータと、ＳＤＲＡＭ１２０に格納された画像データの入力を受け、現像部１１０に送るものである。

現像部１１０は、カメラ部１０２で生成されたデータを用いて、輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成する（現像処理に相当する処理を実行する）ものである。現像部１１０が生成する画像データは、画像圧縮部１１２に送られる。

画像圧縮部１１２は、現像部１１０が生成した画像データに対して所定の画像圧縮処理を実行するものである。所定の画像圧縮処理としては、ＪＰＥＧへの圧縮処理を用いる。ＣＰＵ１０４の制御によって画像圧縮部１１２で圧縮処理が施された画像データはＳＤＲＡＭ Ｉ／Ｆ１１８を介してＳＤＲＡＭ１２０に送られる。

歪補正処理部１１３は、ＳＲＡＭへのクロックの供給を制御することで消費電力を抑えつつ、ＳＤＲＡＭ１２０に格納された画像データに対して歪みを補正する処理を実行するものである。歪補正処理部１１３によって、歪補正処理部１１３によって、ＳＤＲＡＭ１２０に格納された画像データの歪みを補正することができる。

メモリカード１１４は、画像圧縮部１１２で圧縮され、ＳＤＲＡＭ１２０に格納された画像データを保存するものである。メモリカード１１４への画像データの記録はＣＰＵ１０４の制御によって実行される。

ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１１６は、デジタルスチルカメラ１００の各種設定画面を表示したり、カメラ部１０２が生成したデータをリアルタイムで表示（ライブビュー表示）したり、メモリカード１１４に保存された画像データを表示したりするものである。なお、本実施形態ではＬＣＤを用いているが、本発明においてはＬＣＤ以外の表示デバイス、例えば有機ＥＬを用いた表示デバイスを用いても良い。

ＳＤＲＡＭ Ｉ／Ｆ１１８は、ＳＤＲＡＭ１２０との間のインタフェースであり、ＳＤＲＡＭ１２０へのデータの記録やＳＤＲＡＭ１２０からのデータの読み出しを仲介するものである。ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２０は、カメラ部１０２が生成したデータや、現像部１１０で現像処理が施されたデータ、画像圧縮部１１２で圧縮された画像データ等を一時的に格納するものである。

なお、図４には図示しないが、デジタルスチルカメラ１００には、ユーザの入力操作を受け付ける入力部を備えていてもよく、入力部には、撮影処理を実行するためのシャッタボタンや、デジタルスチルカメラ１００を操作するための操作ボタンを備えていても良い。

本実施形態では、現像部１１０で画像データを生成すると、その画像データを、ＳＤＲＡＭ１２０を介さずに画像圧縮部１１２に直接供給する。これにより、カメラ部１０２により撮影が行われてから画像圧縮部１１２による圧縮処理が完了するまでに要する時間の高速化を図ることが出来る。

以上、図４を用いて本発明の一実施形態に係るデジタルスチルカメラ１００の構成について説明した。次に、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０の構成例について説明する。

図５は、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０の構成例を示す説明図である。以下、図５を用いて本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０の構成例について説明する。

図５に示したように、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０は、フィルタ部１３１ａ、１３１ｂ、１３１ｃと、リクエスト制御部１３２と、を含んで構成される。また図５には、現像部１１０に含まれる構成として、ＤＭＡ１３３と、ＪＰＥＧバッファ１３４と、を含んで構成される。また、画像圧縮部１１２の構成として、ＪＰＥＧ符号化部１４１と、ＤＭＡ１４２と、を図示している。

フィルタ部１３１ａ、１３１ｂ、１３１ｃは、それぞれ、ＤＭＡ１３３がＳＤＲＡＭ１２０から読み出したデータに対するフィルタ処理を実行するものである。例えば、フィルタ部１３１ａはベイヤーデータからＹＵＶデータへの変換、フィルタ部１３１ｂは、ノイズリダクション、フィルタ部１３１ｃはエッジ強調の補正等を行う。

リクエスト制御部１３２は、ＪＰＥＧバッファ１３４の出力ライン数を観測して、ＪＰＥＧバッファ１３４に対してラインが入力されるタイミングを制御するためのものである。これは、ＪＰＥＧバッファ１３４が出力を完了するまでに新たな入力がされないようにするためのものである。このリクエスト制御部１３２は、ＤＭＡ１３３及びフィルタ部１３１ａ、１３１ｂ、１３１ｃに対して、ラインをいつ出力するかについて、そのタイミングを制御するように構成してある。

ＤＭＡ１３３は、リクエスト制御部１３２からリクエストがあった場合に、ＳＤＲＡＭ１２０に格納されている元画像データの上端から下端に向かって１ライン又は複数ラインごとに読み出し、フィルタ部１３１ａへと出力する。なお、図５では３つのフィルタ部１３１ａ、１３１ｂ、１３１ｃを図示しているが、フィルタの数はかかる例に限定されないことは言うまでもなく、２つ以下であっても、４つ以上であってもよい。ここで、本実施形態にかかるデジタルスチルカメラ１００に含まれる現像部１１０の、フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理について説明する。

フィルタ処理を行う場合は、通常フィルタののりしろとなる部分（Ｒｉｎｇ Ｐｉｘｅｌ）が必要となる。フィルタの出力は、このＲｉｎｇ Ｐｉｘｅｌ部分が取り除かれた状態のものとなる。しかし、このようにＲｉｎｇ Ｐｉｘｅｌを取り除くと、Ｒｉｎｇ Ｐｉｘｅｌの分だけ画像が小さくなる。特に、近年の高画質化の要望に伴ってフィルタのタップ数も増大しているため、タップ数の増大に伴って、Ｒｉｎｇ Ｐｉｘｅｌの画素数も大きくなってきている。

図６は、Ｒｉｎｇ Ｐｉｘｅｌを取り除く、通常のフィルタ処理について示す説明図である。図６では、画像データの垂直方向における最終５ラインについて、それぞれラインメモリに画像データを入力している状態が図示されている。このように、画像データの垂直方向における最終５ラインについて、最後のラインまでラインメモリに入力された時点でフィルタ処理の動作が終了する。

ここで本実施形態にかかるデジタルスチルカメラ１００では、フィルタ部１３１ａ、１３１ｂ、１３１ｃにおいて、上述したようなＲｉｎｇ Ｐｉｘｅｌを取り除くことなく、入力画像のサイズと同じサイズの画像を出力するフィルタ処理（リングレス処理）を実行する。なお、リングレス処理は、フィルタ部１３１ａ、１３１ｂ、１３１ｃの全てにおいて実行するようにしてもよく、最後段のフィルタ部１３１ｃのみ実行するようにしてもよい。

図７は、本実施形態にかかるデジタルスチルカメラ１００に含まれる現像部１１０の、フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理について示す説明図である。図７では、図６と同様に画像データの垂直方向における最終５ラインについての処理が示されているが、図７では、最終３ラインをラインメモリに入力し、残りの２ラインは最終ラインのコピーをラインメモリに入力した状態が示されている。このようにラインメモリに画像データを入力することで、Ｒｉｎｇ Ｐｉｘｅｌを取り除くことなく、入力画像のサイズと同じサイズの画像を出力するフィルタ処理が実現できる。

フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理について簡単に説明する。上述したように、本実施形態では、フィルタ部１３１ａはベイヤーデータからＹＵＶデータへの変換、フィルタ部１３１ｂは、ノイズリダクション、フィルタ部１３１ｃはエッジ強調の補正等を行う。

これらのフィルタは直列に直結してあり、各フィルタから出力されたデータは直接、後の工程のフィルタへと入力されることになる。また、各フィルタにおいて複数ピクセルの画素に基づいて１つの画素を構成する処理を行うようになっており、そのまま入力された画像に対して処理を行うとその分画素が減少してしまうのを防ぐために、各フィルタにおいて、入力されたラインに対してリングピクセルを付加するようにしている。

より具体的には、リクエスト制御部１３２は、ＪＰＥＧバッファ１３４が、入力されたライン数よりも少ないライン数を出力する場合には、特に制御を行わない。この場合、ＪＰＥＧバッファ１３４への入力待ちがないので、連続してラインを入力すればよく、フィルタ部１３１ａ、１３１ｂ、１３１ｃは、入力されるラインが無くなったことを検出して、下側のリングラインを次のフィルタ又はＪＰＥＧバッファ１３４へと入力するように構成しておけばよい。

ＪＰＥＧバッファ１３４が、１ライン入力に対して１ライン出力以上が行われる場合には、リクエスト制御部１３２は、ＳＤＲＡＭ１２０に記憶されている元画像データの全てのラインが出力されるまでの間は、ＤＭＡ１３３のラインの読み出し、及びその出力タイミングを制御する。

具体的には、ＪＰＥＧバッファ１３４で出力が完了したことを検知すると、次のラインを読み込むようにＤＭＡ１３３にリクエストを行うようにしてある。その後、各フィルタにおいて付加されるリングピクセル枠に合わせて、各下側リングラインがＪＰＥＧバッファ１３４まで入力されるように、フィルタ部１３１ａ、１３１ｂ、１３１ｃの順で各下側リングラインを出力するリクエストを行うように構成してある。

このリクエストに関しては以下のような手順でその順番が決定される。ここで、元画像データを分割した入力ライン数をＡ、フィルタ部１３１ｃから今まで出力された出力ライン数をＢ、フィルタ部１３１ａ、１３１ｂ、１３１ｃにおける下側リングラインの数をそれぞれＬ１、Ｌ２、Ｌ３とした場合、Ａ−（Ｌ１＋Ｌ２＋Ｌ３）≦Ｂ＜Ａ−（Ｌ２＋Ｌ３）の間に出力ライン数Ｂがあるときは、フィルタ部１３１ａから下側リングラインを上から下へと順番に出力するようにリクエストする。

次にＡ−（Ｌ２＋Ｌ３）≦Ｂ＜Ａ−Ｌ３の間に出力ライン数Ｂがある場合には、リクエスト制御部１３２は、フィルタ部１３１ｂに下側リングラインを上から順に出力するようにリクエストする。

最後に、Ａ−Ｌ３≦Ｂ＜Ａの間に出力ライン数Ｂがある場合には、リクエスト制御部１３２は、フィルタ部１３１ｃに下側リングラインを上から順に出力するようにリクエストする。

もちろん、フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理は、かかる例に限定されないことは言うまでもない。

画像圧縮部１１２が実行する、ＪＰＥＧによる符号化は、ＤＣＴを基本とした符号化のため、垂直８画素単位でしか符号化することが出来ない。しかし、現像部１１０での画像処理はベイヤーのサイズ以上は出力しないため、例えば垂直ライン数が１００ラインであった場合には、最後に４ライン不足することになる。そして従来では、画像データを垂直８画素単位で符号化していき、最下部が８画素に満たない場合には、８ラインに満たない行については、最終ラインをコピーするか、黒データを挿入することにより対応していた。

しかし、本実施形態にかかるデジタルスチルカメラ１００のように、現像部１１０が画像処理したデータを、ＳＤＲＡＭ１２０を介さず画像圧縮部１１２に供給すると、ＪＰＥＧでの垂直画素数は画像圧縮部１１２（またはＪＰＥＧバッファ１３４）で分かる。従って、画像圧縮部１１２またはＪＰＥＧバッファ１３４からフィルタ部１３１ａ、１３１ｂ、１３１ｃに対して吐き出し処理を実行する。図５では、ＪＰＥＧバッファ１３４からリクエスト制御部１３２へ、フィルタ部１３１ａ、１３１ｂ、１３１ｃに対する吐き出し処理を指示する。

具体的には、本実施形態にかかるデジタルスチルカメラ１００は以下のような処理を実行する。

（１）Ｆｒａｍｅが有効の場合
通常動作のフィルタ処理を実行する。画像圧縮部１１２でのＪＰＥＧのＩＰが間に合っている間は、ＪＰＥＧバッファ１３４はリクエスト制御部１３２に対してラインのリクエストを行う。

（２）Ｆｒａｍｅが無効になった場合
Ｆｒａｍｅの有効期間中にフィルタ部１３１ａ、１３１ｂ、１３１ｃに含まれるラインカウンタが動作を始めていた場合、リクエスト制御部１３２は、８の倍数になるまでフィルタ部１３１ａ、１３１ｂ、１３１ｃへリクエストを発行し、８の倍数になった時点で動作を完了する。現像部１１０では、フィルタ部１３１ａ、１３１ｂ、１３１ｃが上述のリングレス処理を行っているため、入力される画像と大きく相違しない画像を出力することができる。

図８は、本発明の一実施形態にかかるデジタルスチルカメラ１００の動作を示す流れ図である。図８に示した流れ図は、本発明の一実施形態にかかるデジタルスチルカメラ１００の現像部１１０におけるフィルタ処理について示したものである。以下、図８を用いて本発明の一実施形態にかかるデジタルスチルカメラ１００の動作について説明する。

ＪＰＥＧバッファ１３４は、ＪＰＥＧ符号化前の垂直ライン数を取得する（ステップＳ１０１）。ＪＰＥＧバッファ１３４は、取得した垂直ライン数の情報をリクエスト制御部１３２へ送る。

リクエスト制御部１３２は、ＪＰＥＧバッファ１３４からＪＰＥＧ符号化前の垂直ライン数の情報を受け取ると、その垂直ライン数が、ＭＣＵの垂直画素数である８で割り切れるものかどうか判断する（ステップＳ１０２）。

リクエスト制御部１３２は、上記ステップＳ１０２の判断の結果、ＪＰＥＧ符号化前の垂直ライン数が８で割り切れないライン数である場合は、最終ライン以降、８で割り切れるようになるまで、最終ラインをラインメモリに挿入していくよう、フィルタ部１３１ａ、１３１ｂ、１３１ｃへリクエストする（ステップＳ１０３）。

リクエスト制御部１３２は、上記ステップＳ１０２の判断の結果、ＪＰＥＧ符号化前の垂直ライン数が８で割り切れる画素数である場合、また、上記ステップＳ１０３によりフィルタ部１３１ａ、１３１ｂ、１３１ｃへリクエストすると、フィルタ部１３１ａ、１３１ｂ、１３１ｃは、ＤＭＡ１３３がＳＤＲＡＭ１２０から読み出したデータに対するフィルタ処理を実行する（ステップＳ１０４）。

図９は、本実施形態にかかるデジタルスチルカメラ１００に含まれる現像部１１０の、フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理について示す説明図である。図９では、図６、図７と同様に、画像データの垂直方向における最終５ラインについての処理が示されている。

まずフィルタ部１３１ａでは、最終３ラインをラインメモリに入力し、残りの２ラインは最終ラインのコピーをラインメモリに入力して出力する。続いてフィルタ部１３１ｂでは、最終２ラインをラインメモリに入力し、残りの３ラインは最終ラインのコピーをラインメモリに入力して出力する。最後にフィルタ部１３１ｃでは、最終ラインをラインメモリに入力し、残りの４ラインは最終ラインのコピーをラインメモリに入力して出力する。

このように、最終ラインのデータを順次ラインメモリに入力していくことで、従来の、８ラインに満たない行について最終ラインをコピーするか、黒データを挿入することによりＪＰＥＧによる符号化を行なっていた場合と比較して、画像の下部において画質を改善し、より自然な画像を得ることが可能となる。

図１０は、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０の変形例を示す説明図である。以下、図５を用いて本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０の変形例について説明する。

図９に示したように、本発明の一実施形態に係るデジタルスチルカメラ１００に含まれる現像部１１０は、フィルタ部１３１ａ、１３１ｂ、１３１ｃと、リクエスト制御部１３２と、演算部１３５と、を含んで構成される。また図９には、現像部１１０に含まれる構成として、ＤＭＡ１３３と、ＪＰＥＧバッファ１３４と、を含んで構成される。また、画像圧縮部１１２の構成として、ＪＰＥＧ符号化部１４１と、ＤＭＡ１４２と、を図示している。

演算部１３５は、出力ライン数レジスタ１５１と、減算部１５２と、除算部１５３と、加算部１５４と、を含んで構成される。

出力ライン数レジスタ１５１は、ＪＰＥＧによる符号化後の画像の垂直ライン数の情報を記録する。減算部１５２は、出力ライン数レジスタ１５１に書きこまれた、出力ライン数の情報を、後述する、１つのＭＣＵの垂直画素数である８（１１１）から減算する。除算部１５３は、減算部１５２の減算結果を２で除算する。加算部１５４は、出力ライン数レジスタ１５１に書きこまれた出力ライン数の情報と、除算部１５３による除算結果とを加算して出力する。

ＪＰＥＧによる符号化後の画像の垂直ライン数の情報は、設定されれば予め分かるので、出力ライン数の情報は、ＣＰＵ１０４から出力ライン数レジスタ１５１に書き込むことができる。減算部１５２は、出力ライン数レジスタ１５１に書きこまれた、出力ライン数の情報におけるＬＳＢ３ビットを、１つのＭＣＵの垂直画素数である８（１１１）から減算する処理を実行し、減算結果を除算部１５３に送る。除算部１５３は、減算部１５２の減算結果を２で除算する。そして、加算部１５４は、出力ライン数レジスタ１５１に書き込まれる出力ライン数の情報と、除算部１５３の除算結果とを加算して、リクエスト制御部１３２に出力する。

演算部１３５が、このように出力ライン数の情報を演算してリクエスト制御部１３２に出力することで、フィルタ部１３１ａ、１３１ｂ、１３１ｃは、８ラインに満たない行についての演算を画面の上下で分担することができ、ＪＰＥＧによる符号化を行った場合に、より自然な画像を得ることができる。

例えば、ＪＰＥＧによる符号化後の画像の垂直ライン数を８で割った余りが４であることが演算部１３５の演算で判明したとすると、最初に２ライン分だけ余分にリクエストを発行し、その後、フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理を実行する、そして、最下部の２ライン分については、最終ラインのデータをラインメモリに挿入する。このように、フィルタ処理を画面の上下で分担することで、ＪＰＥＧによる符号化を行った場合に、より自然な画像を得ることができる。

＜３．まとめ＞
以上説明したように本発明の一実施形態にかかるデジタルスチルカメラ１００によれば、現像部１１０が輝度信号と色差信号とを含むＹＣｂＣｒ情報からなる画像データを生成し、ＳＤＲＡＭ１２０を介さずにその画像データを画像圧縮部１１２に供給する場合に、１つの画像を複数のタイルに分割して現像部１１０から画像圧縮部１１２に供給する。画像圧縮部１１２では、タイル単位で画像データを可変長符号化する。

そして、本発明の一実施形態にかかるデジタルスチルカメラ１００は、現像部１１０においてリングレス処理によるフィルタ処理を実行するが、ＪＰＥＧによる符号化はＭＣＵ単位で行われるので、垂直８ライン単位でしか符号化ができない。そこで現像部１１０は、フィルタ部１３１ａ、１３１ｂ、１３１ｃによるフィルタ処理に際して、８ラインに満たない部分については最終ラインをラインメモリに挿入する。これにより、ＪＰＥＧによる符号化後を行った場合により自然な画像を得ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ デジタルスチルカメラ
１０２ カメラ部
１０４ ＣＰＵ
１０５ ＲＯＭ
１０６ マルチプレクサ（ＭＵＸ）
１１０ 現像部
１１２ 画像圧縮部
１１３ 歪補正処理部
１１４ メモリカード
１１６ ＬＣＤ
１１８ ＳＤＲＡＭ Ｉ／Ｆ
１２０ ＳＤＲＡＭ
１３１ａ、１３１ｂ、１３１ｃ フィルタ部
１３２ リクエスト制御部
１３３ 入力ＤＭＡ
１３４ ＪＰＥＧバッファ
１３５ 演算部

Claims (5)

1. 撮像素子への入光により生成されるデータから画像データを生成する画像処理部と、
   前記画像処理部が生成した画像データを符号化して符号化画像データを生成する符号化部と、
   前記符号化部が生成した前記符号化画像データを記憶する記憶部と、
   を備え、
   前記画像処理部は、生成した画像データを横方向に複数のブロックに分割して前記記憶部を介さずに前記符号化部へ供給し、
   前記画像処理部は、
   前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも１つのフィルタ部と、
   前記フィルタ部のフィルタ処理を制御するフィルタ制御部と、
   を含み、
   前記フィルタ制御部は、前記符号化部で符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化部での符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加する制御を前記フィルタ部へ実行することを特徴とする、撮像装置。
2. 前記フィルタ部が実行する所定のフィルタ処理は、入力データの画素数と出力データの画素数とが一致するフィルタ処理であることを特徴とする、請求項１に記載の撮像装置。
3. 前記画像処理部は、前記フィルタ部を２つ以上含み、複数の前記フィルタ部は縦続接続され、
   入力データの画素数と出力データの画素数とが一致するフィルタ処理は、複数の前記フィルタ部の内の最後段のフィルタ部においてのみ実行されることを特徴とする、請求項１に記載の撮像装置。
4. 前記画像処理部は、前記符号化部が生成する符号化画像データの垂直画素数を取得し、前記画像データの垂直画素数が前記符号化部での符号化単位の垂直画素数で割り切れない場合は、前記符号化部での符号化単位に足りない分を前記生成されるデータの上下へ分担して画像データを生成することを特徴とする、請求項１に記載の撮像装置。
5. 撮像素子への入光により生成されるデータから画像データを生成する画像処理ステップと、
   前記画像処理ステップで生成した画像データを符号化して符号化画像データを生成する符号化ステップと、
   前記符号化ステップで生成された前記符号化画像データを記憶する記憶ステップと、
   を備え、
   前記画像処理ステップは、生成した画像データを横方向に複数のブロックに分割して前記記憶ステップを介さずに前記符号化ステップで符号化し、
   前記画像処理ステップは、
   前記生成されるデータに対して所定のフィルタ処理を実行する少なくとも１つのフィルタステップと、
   前記フィルタステップでのフィルタ処理を制御するフィルタ制御ステップと、
   を含み、
   前記フィルタ制御ステップは、前記符号化ステップで符号化される画像データの垂直画素数の情報を取得し、前記画像データの垂直画素数が前記符号化ステップでの符号化単位の垂直画素数で割り切れない場合は割り切れるまで、前記生成されるデータの最下行のデータを追加するよう前記フィルタステップでのフィルタ処理を制御することを特徴とする、画像処理方法。
   

Images