JP2004312073A - 画像処理装置及びカメラ - Google Patents

Abstract

【課題】低消費電力化と多機能化とを両立させる。
【解決手段】イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、画像を行又は列を単位として格納するラインメモリを有する内部メモリと、前記内部メモリを用いて前記画像処理を行う画像処理部と、前記画像処理部を制御するＣＰＵとを備える。前記画像処理部は、それぞれが前記画像処理として所定の処理を行う、複数の処理回路を有するものである。前記複数の処理回路のうちの少なくとも１つは、当該画像処理装置の外部に設けられた外部メモリを必要に応じて用いることができるように構成されている。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、イメージセンサから出力された信号を処理して出力する画像処理装置に関する。
【０００２】
【従来の技術】
イメージセンサとしてＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像デバイス等を用いたデジタルスチルカメラ、デジタルカメラ付き携帯電話、デジタルビデオカメラ等のデジタル式のカメラにおいては、イメージセンサから読み出された画像信号に対して画像処理装置が画像処理を行い、その結果を表示装置に出力する。この際、イメージセンサからの画像の読み出し、及び表示装置への画像信号の出力は、１画面中のライン毎に行われる。このため、画像処理装置内の各機能ブロックにおいては、ライン単位でデータを格納することができるラインメモリを用いた処理がよく行われている。
【０００３】
しかし、イメージセンサの画素数の増大に伴い、１ラインの画素数が増え、ラインメモリの容量を大きくする必要が生じた。そこで、１画面全体のデータを格納することができる外部メモリを用いることとし、画像処理をブロック単位で行う画像処理装置が知られている（例えば、特許文献１参照）。
【０００４】
図１６は、従来のカメラの構成の例を示すブロック図であって、特許文献１に開示されたものである。図１６において、イメージセンサからライン単位で読み出された画像信号は、外部メモリ１４に格納される。画像処理装置（信号処理回路）１６は、外部メモリ１４に格納された画像信号をブロック単位で読み出して画像処理を行い、再び外部メモリ１４に格納させる。表示デバイスは、画像処理された画像信号を外部メモリ１４から読み出して表示する。
【０００５】
【特許文献１】
特開２０００−３５４１９３号公報
【０００６】
【発明が解決しようとする課題】
近年のデジタルカメラには、単に撮影するだけではなく、画像の縮小、回転等の様々な拡張機能を実現することが要求されている。また、記録メディアの容量を考慮して、複数の画質モードを用意することも要求されている。すなわち、画像処理装置は複数の処理を行う必要があり、処理の内容によって必要となるメモリの容量やメモリの使い方が異なってくる。
【０００７】
前記特許文献１のカメラでは、画像処理がブロック単位で行われるので、いかなる処理を行う場合においても外部メモリ１４へアクセスを４回行う必要がある。すなわち、イメージセンサからライン単位で読み出された画像信号の書き込み、画像処理装置によるブロック単位での読み出し、画像処理後のデータのブロック単位での書き込み、及び表示の際の画像処理された画像信号の読み出しをする必要がある。
【０００８】
一般に、外部メモリへのアクセスは、内部メモリへのアクセスと比べると、消費電力が大きく、処理時間も長い。このため、このように画像処理の際に必ず外部メモリにアクセスをするようなシステムにおいては、処理の内容によらず、一定以上の電力と処理時間とが必要となるという問題がある。
【０００９】
また、ブロック単位での処理を行うには、複数のブロックに重複して属する画素のデータを、複数回読み出す必要がある。このため、各画素のデータを１回ずつ読み出す場合に比べて、外部メモリへのアクセスが多く発生し、やはり消費電力及び処理時間の点で問題がある。
【００１０】
更に、画像処理装置は、デジタルスチルカメラ、デジタルビデオカメラ、及びデジタルカメラ付き携帯電話等の様々なシステムに搭載され得るが、システム毎に要求される機能は異なっている。例えば、デジタルスチルカメラでは、高画素数の画像を処理する必要があり、オンスクリーンディスプレイ（以下では、ＯＳＤと称する）処理、回転等の拡張機能も当然必要である。一方、デジタルカメラ付き携帯電話では、処理する画像の画素数は少なく、縮小、回転等の拡張機能は必要ではない場合が多く、この場合には外部メモリは必要ない。しかし、前記特許文献１の場合には、どのようなシステムで用いられるかに係わらず、画像処理装置には外部メモリが必要である。
【００１１】
もちろん、用いられるシステム毎に、異なる画像処理装置を搭載することは可能である。しかし、近年、画像処理装置の開発コストを低減させることが強く要求されるようになってきており、１種類の画像処理装置を複数のシステムにおいて用いることができるようにすることが望まれている。
【００１２】
本発明は、低消費電力化と多機能化とを両立させた画像処理装置を提供することを目的とする。また、本発明は、多くのシステムにおいて用いることができる、汎用性が高い画像処理装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記課題を解決するため、請求項１の発明が講じた手段は、イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、画像を行又は列を単位として格納するラインメモリを有する内部メモリと、前記内部メモリを用いて前記画像処理を行う画像処理部と、前記画像処理部を制御するＣＰＵとを備え、前記画像処理部は、それぞれが前記画像処理として所定の処理を行う、複数の処理回路を有するものであり、前記複数の処理回路のうちの少なくとも１つは、当該画像処理装置の外部に設けられた外部メモリを必要に応じて用いることができるように構成されているものである。
【００１４】
請求項１の発明によると、画像処理装置は、内部メモリを用いることによって低消費電力化及び処理速度の向上を図ることと、外部メモリを用いることによって大容量のメモリが必要な拡張機能を実現することとを選択することができる。
このため、外部メモリを備えない場合においては、低消費電力化等を図りながら基本的な画像処理を行うようにし、外部メモリを備える場合においては、多機能化を図るようにすることができる。したがって、画像処理装置を多くのシステムに搭載することが可能になり、システムの開発コストを削減することができる。
【００１５】
また、内部メモリにおいてはライン単位でデータを格納するので、表示装置にデータを転送する前に一旦外部メモリにデータを格納する必要がない。このため、システム全体として見たときに、低消費電力化と処理速度の向上とを図ることができる。
【００１６】
請求項２の発明では、請求項１に記載の画像処理装置において、前記画像処理部は、前記画像処理として前記外部メモリを用いずに行うことが可能な処理を行う場合には、前記外部メモリを用いずにその処理を行うものである。
【００１７】
請求項２の発明によると、必要がある場合にのみ、外部メモリへのアクセスを行うので、低消費電力化と処理速度の向上とを図ることができる。
【００１８】
請求項３の発明では、請求項１に記載の画像処理装置において、前記ＣＰＵは、前記画像処理部が前記外部メモリを用いない場合には、前記外部メモリが消費する電力を低下させるように制御する信号を出力するものである。
【００１９】
請求項３の発明によると、外部メモリへのアクセスを行わない場合には、外部メモリにおいて消費する電力を削減することができるので、更に低消費電力化を図ることができる。
【００２０】
請求項４の発明では、請求項１に記載の画像処理装置において、前記画像処理部は、前記イメージセンサから得られた画像信号を、輝度信号及び色差信号に変換して出力する輝度色差信号処理回路と、前記輝度色差信号処理回路の出力に応じた画像に対して圧縮符号化を行い、得られた結果を前記画像処理部の出力とする圧縮処理回路とを、前記複数の処理回路として備えるものである。
【００２１】
請求項５の発明では、請求項１に記載の画像処理装置において、前記画像処理部は、前記外部メモリから読み出された画像を前記イメージセンサから得られた画像に重ね合わせて出力するオンスクリーンディスプレイ処理回路を備えるものである。
【００２２】
請求項６の発明では、請求項１に記載の画像処理装置において、前記複数の処理回路のうちの１つは、処理後の画像を、行及び列のうち、一方を単位として順に前記外部メモリに格納するものであり、前記複数の処理回路のうちの他の１つは、前記外部メモリに格納された画像を、行及び列のうち、格納の際とは異なるものを単位として順に読み出すものである。
【００２３】
請求項６の発明によると、画像の回転を行うことができる。
【００２４】
請求項７の発明では、請求項１に記載の画像処理装置において、前記複数の処理回路のうちの少なくとも２つは、前記内部メモリとして同一のものを用いて処理を行うものである。
【００２５】
請求項７の発明によると、複数の処理のそれぞれのために専用のメモリを備える場合に比べて、内部メモリの容量を削減することができる。
【００２６】
請求項８の発明では、請求項１に記載の画像処理装置において、前記画像処理部は、前記イメージセンサが出力する画像を前記外部メモリに格納させ、前記画像の行及び列のうち、画素数が少ない方を単位として前記外部メモリから読み出して前記内部メモリを用いた前記画像処理を行い、得られた結果を、これに対応する画素のデータが前記外部メモリからの読み出し前に格納されていた領域に格納させ、得られた画像を前記外部メモリから読み出して出力するものである。
【００２７】
請求項８の発明によると、例えば画像が横長であって、水平方向の画素数が内部メモリに格納できる１行分の画素数を越えているときにおいても、画像処理を行うことができる。
【００２８】
請求項９の発明では、請求項８に記載の画像処理装置において、前記画像処理部は、前記画像の行及び列のうち、画素数が少ない方であっても前記内部メモリに格納可能な画素数を越えている場合には、前記画像を複数の領域に分割して処理するものである。
【００２９】
請求項１０の発明は、カメラとして、請求項４に記載の画像処理装置と、前記画像処理装置に画像信号を出力するイメージセンサと、前記画像処理装置の出力を記録媒体に書き込む記録装置とを備えるものである。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３１】
図１は、本発明の実施形態に係る画像処理装置を備えるカメラの構成の例を示すブロック図である。図１のカメラは、例えばデジタルスチルカメラ、デジタルカメラ付き携帯電話、デジタルビデオカメラである。図１のカメラは、画像処理装置１００と、イメージセンサ１２と、ＡＤ変換器（ＡＤＣ）１３と、記録装置１４と、表示装置１５と、外部メモリ１６と、電源回路１７とを備えている。また、画像処理装置１００は、画像処理部２０と、ＣＰＵ５０と、内部メモリ６０と、出力部７０とを備えている。画像の画素の水平方向の並びを行、垂直方向の並びを列と称することとする。
【００３２】
イメージセンサ１２は、例えばＣＣＤやＣＭＯＳ撮像デバイスである。イメージセンサ１２は、画像信号をＡＤ変換器１３に出力する。ＡＤ変換器１３は、入力された信号をデジタルデータに変換して、画像処理部２０に出力する。
【００３３】
画像処理部２０は、ＣＰＵ５０の指示に従って、イメージセンサ１２の出力に画像処理を行って、出力部７０に出力する。画像処理を行う際に、画像処理部２０は、処理の内容に応じて、内部メモリ６０及び外部メモリ１６のうちの少なくとも一方を用いる。
【００３４】
内部メモリ６０は、画像を行又は列を単位として格納するラインメモリを複数有している。各ラインメモリは、ｍ画素（ｍは自然数）のデータを格納することができる容量（これを１Ｈと称する）を有する。画像の１行分の画素を複数のラインメモリにまたがって格納することはしないので、内部メモリ６０に１行分の画素として格納可能な画素数はｍである。したがって、通常は、画像処理装置１００において処理可能な画像の１行の最大画素数はｍである。以下では例として、ｍ＝１２８０であるとし、内部メモリ６０は、ラインメモリを１８個有しているものとする。
【００３５】
外部メモリ１６は、フレームメモリとして用いられ、画像処理装置１００において処理対象とする画像の最大のものを１画面以上格納することができる容量を有しているものとする。
【００３６】
電源回路１７は、ＣＰＵ５０の指示に従って、外部メモリ１６に電力を供給している。出力部７０は、バッファを有し、画像処理部２０の出力を、記録装置１４における記録媒体への書き込み、及び表示装置１５における表示に適した形式の信号に変換して出力するインタフェースとして動作する。記録装置１４は、出力部７０の出力をメモリカード等の記録媒体に書き込む。表示装置１５は、例えば液晶表示器であって、イメージセンサ１２が出力する画像のモニタ表示を行う。
【００３７】
図２は、図１の画像処理部２０の構成の例を示すブロック図である。画像処理部２０は、処理回路として、前処理回路２２と、輝度色差信号処理回路（以下では、ＹＣ信号処理回路と称する）２４と、縮小ズーム回路２６と、ポストフィルタ２８と、ＯＳＤ処理回路３２と、ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｉｍａｇｅ ｃｏｄｉｎｇ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）処理回路３４と、垂直拡大回路３６とを備えている。更に、画像処理部２０は、内部メモリ制御回路４２と、外部メモリ制御回路４４とを備えている。これらの画像処理部２０内の回路はいずれも、ＣＰＵ５０の指示に従って動作する。
【００３８】
前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、ＯＳＤ処理回路３２、ＪＰＥＧ処理回路３４、及び垂直拡大回路３６は、入力されたデータに対する処理を行うことなくそのまま出力することもできるように構成されているものとする。また、これらの回路は、内部メモリ制御回路４２を介して内部メモリ６０にアクセスし、外部メモリ制御回路４４を介して外部メモリ１６にアクセスする。したがって、これらの回路は、外部メモリ１６を介して相互にデータの受け渡しをすることもできるようになっている。
【００３９】
また、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、ＯＳＤ処理回路３２、ＪＰＥＧ処理回路３４、及び垂直拡大回路３６の各処理回路は、内部メモリとして同一のものを用いて処理を行う。言い換えると、これらの処理回路は、内部メモリ６０を共有するように構成されている。ＣＰＵ５０は、これらの処理回路のそれぞれに、それぞれにおける処理の必要に応じて、内部メモリ６０の領域を割り当てる。
【００４０】
前処理回路２２は、イメージセンサ１２から得られた画像信号に対して、黒レベルの抽出、ホワイトバランスの検出、及びガンマ補正のうちの少なくとも１つを前処理として行い、得られた結果をＹＣ信号処理回路２４に出力する。
【００４１】
ＹＣ信号処理回路２４は、前処理回路２２の出力を受け取り、これにＹＣ信号処理を行って、縮小ズーム回路２６に出力する。ＹＣ信号処理は、黒レベル補正、ホワイトバランス補正、並びに輝度信号及び色差信号への変換をいうものとする。
【００４２】
縮小ズーム回路２６は、一次補間を行って、輝度信号及び色差信号が表す画像を縮小させるズーム処理を行い、得られた結果をポストフィルタ２８に出力する。
【００４３】
ポストフィルタ２８は、係数が可変のローパスフィルタを有しており、ポストフィルタ処理、すなわち、縮小ズーム回路２６から入力された画像の低域成分を通過させ、アパーチャ補正を行う処理を行って、ＯＳＤ処理回路３２に出力する。
【００４４】
ＯＳＤ処理回路３２は、外部メモリ１６からＯＳＤ用の画像データを読み出し、これをポストフィルタ２８から入力された画像に重ね合わせるＯＳＤ処理を行って、ＪＰＥＧ処理回路３４に出力する。
【００４５】
圧縮処理回路としてのＪＰＥＧ処理回路３４は、ＯＳＤ処理回路３２から出力された画像に対してＪＰＥＧに基づく圧縮符号化（ＪＰＥＧ圧縮処理）を行い、得られた結果を、垂直拡大回路３６を経由して出力部７０に出力する。更にＪＰＥＧ圧縮処理結果は記録装置１４に出力され、メモリカード等の記録媒体に書き込まれる。
【００４６】
垂直拡大回路３６は、ＯＳＤ処理回路３２が出力する画像をＪＰＥＧ処理回路３４を経由して受け取り、これを垂直方向の画素数が表示装置１５に適合するように垂直方向に拡大する垂直拡大処理を行い、出力部７０に出力する。更に垂直拡大処理結果は表示装置１５に出力され、表示される。
【００４７】
図３は、図１の画像処理装置１００における処理の流れの例の一部分を示すフローチャートである。図４は、図１の画像処理装置１００における処理の流れの例の他の部分を示すフローチャートである。図５は、図１の画像処理装置１００における処理の流れの例の残りの部分を示すフローチャートである。
【００４８】
図６は、図１の画像処理装置１００におけるデータの流れの第１の例を示す説明図である。以下のデータの流れを示す図では、内部メモリ制御回路４２及び外部メモリ制御回路４４を省略する。図６の場合、イメージセンサ１２が出力する画像のサイズが横１２８０（＝ｍ）×縦９６０画素であるとし、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率２／３）、ポストフィルタ処理、及びＪＰＥＧ圧縮処理が行われるものとする。この場合、画像処理装置１００に入力される画像の水平方向の１行分のデータ量は、１Ｈに相当する。図２〜図６を参照して、画像処理装置１００の動作を説明する。
【００４９】
図３のステップＳ１１では、ＣＰＵ５０は、イメージセンサ１２が出力する信号が表す画像の水平画素数を、画像処理装置１００に入力される画像の水平画素数として設定する。この値は、接続されるイメージセンサ１２に応じて、画像処理装置１００の外部から設定することができるようになっている。より具体的には、画像処理装置１００で扱う画像の水平画素数が、内部メモリ６０の各ラインメモリに格納できる画素数（＝ｍ）の１／２以下であるか否かを設定する。
【００５０】
水平画素数がｍ／２以下である場合には、１つのラインメモリに２行分の画素データを格納することができるので、内部メモリ６０のみを用いて多くの処理を行うことができる。一方、水平画素数がｍ／２よりも多い場合には、１つのラインメモリに１行分の画素データしか格納することができないので、内部メモリ６０のみを用いて行える処理が限られる。このため、水平画素数がｍ／２以下であるか否かによって、各処理回路に割り当てる内部メモリ６０の容量を変更する必要がある。ここでは、ｍ＝１２８０であるので、水平画素数がｍ／２よりも多いということが設定される。
【００５１】
ステップＳ１２では、ＣＰＵ５０は、処理内容を設定する。具体的には、ズーム処理、ポストフィルタ処理、ＪＰＥＧ圧縮処理、垂直拡大処理、ＯＳＤ処理及び回転処理等を行うか否か、ズーム処理を行う場合の倍率等を設定する。図６の場合は、ズーム処理、ポストフィルタ処理、及びＪＰＥＧ圧縮処理を行うこと、並びに、ズーム処理の倍率が２／３であることが設定される。
【００５２】
ステップＳ１３では、ＣＰＵ５０は、画像処理部２０の各処理回路、すなわち、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、ＯＳＤ処理回路３２、ＪＰＥＧ処理回路３４、及び垂直拡大回路３６に、内部メモリ６０及び外部メモリ１６の領域の割り当てを行い、内部メモリ６０のみを用いて処理を行うか、又は外部メモリ１６をも用いて処理を行うかを必要に応じて選択することができるようにする。
【００５３】
この際、実際に行われる処理に対してのみ、内部メモリ６０が割り当てられる。ＯＳＤ処理を行う場合には、必ず外部メモリ１６が必要であり、ＯＳＤ処理回路３２には外部メモリ１６の領域が割り当てられる。また、後述する回転処理を行う場合にも、外部メモリ１６が必要であり、この処理のために外部メモリ１６の領域が割り当てられる。倍率が１／２以下のズーム処理を行う場合等には、それ以降の処理において１つのラインメモリに複数の行の画素データを格納することができる点も考慮して、割り当てが行われる。
【００５４】
図６の場合は、ズーム処理の倍率が２／３であるので、１つのラインメモリには縮小後の画像の１行分のデータしか格納することができない。すると、内部メモリ６０を用いてＪＰＥＧ圧縮処理を行うにはラインメモリが８Ｈ分必要となる。そこで、内部メモリ６０の容量（１８Ｈ）を考慮して、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、及びポストフィルタ２８には、それぞれ内部メモリ６０の２Ｈ、４Ｈ、４Ｈ、及び４Ｈに相当するラインメモリを割り当て、ＪＰＥＧ処理回路３４には、外部メモリ１６の領域を割り当てることとする。
【００５５】
ステップＳ１６では、ＣＰＵ５０は、外部メモリ１６を使う必要がある処理を行うか否か、又は外部メモリが接続されているか否か等を考慮して、外部メモリ１６を使用するか否かを判断する。外部メモリ１６を使用する場合はステップＳ２２に、使用しない場合はステップＳ１８に進む。図６の場合は、ＪＰＥＧ処理回路３４が外部メモリ１６を用いるので、ステップＳ２２に進む。
【００５６】
ステップＳ２２では、ＣＰＵ５０は、内部メモリ６０のみを用いて前処理を行うか否かを判断する。内部メモリ６０のみを用いる場合にはステップＳ２３に進み、その他の場合にはステップＳ２４に進む。図６の場合は、ステップＳ２３に進む。
【００５７】
ステップＳ２３では、前処理回路２２は、イメージセンサ１２が出力する画像信号が表す画像の水平方向の１行を単位として扱い、前処理回路２２に割り当てられた、内部メモリ６０の領域との間で読み書きを行って前処理を行い、得られた結果をＹＣ信号処理回路２４に出力する。その後、ステップＳ２７に進む。
【００５８】
ステップＳ２４では、前処理回路２２は、ステップＳ２３と同様に画像の水平方向の１行を単位として扱い、割り当てられた、外部メモリ１６又は内部メモリ６０の領域との間で読み書きを行って前処理を行い、得られた結果をＹＣ信号処理回路２４に出力する。その後、ステップＳ２７に進む。
【００５９】
ステップＳ２７では、ＣＰＵ５０は、内部メモリ６０のみを用いてＹＣ信号処理を行うか否かを判断する。内部メモリ６０のみを用いる場合にはステップＳ２８に進み、その他の場合にはステップＳ２９に進む。図６の場合は、ステップＳ２８に進む。
【００６０】
ステップＳ２８では、ＹＣ信号処理回路２４は、この回路に割り当てられた、内部メモリ６０の領域との間で読み書きを行ってＹＣ信号処理を行い、得られた結果を縮小ズーム回路２６に出力する。その後、ステップＳ３１に進む。
【００６１】
ステップＳ２９では、ＹＣ信号処理回路２４は、割り当てられた、外部メモリ１６又は内部メモリ６０の領域との間で読み書きを行ってＹＣ信号処理を行い、得られた結果を縮小ズーム回路２６に出力する。その後、ステップＳ３１に進む。
【００６２】
ステップＳ３１では、ＣＰＵ５０は、ズーム処理を行うか否かを判断する。ズーム処理を行う場合はステップＳ３２に、行わない場合はステップＳ３６に進む。図６の場合は、ズーム処理を行うので、ステップＳ３２に進む。
【００６３】
ステップＳ３２では、ＣＰＵ５０は、内部メモリ６０のみを用いてズーム処理を行うか否かを判断する。内部メモリ６０のみを用いる場合にはステップＳ３３に進み、その他の場合にはステップＳ３４に進む。図６の場合は、ステップＳ３３に進む。
【００６４】
ステップＳ３３では、縮小ズーム回路２６は、この回路に割り当てられた、内部メモリ６０の領域との間で読み書きを行って、画像の画素数を減少させるズーム処理を行い、得られた結果をポストフィルタ２８に出力する。その後、ステップＳ３６に進む。図６の場合、縮小ズーム回路２６は、水平方向の画素数が２／３になるように画像を縮小する処理を行う。
【００６５】
ステップＳ３４では、縮小ズーム回路２６は、割り当てられた、外部メモリ１６又は内部メモリ６０の領域との間で読み書きを行って、ズーム処理を行い、得られた結果をポストフィルタ２８に出力する。その後、ステップＳ３６に進む。
【００６６】
図４のステップＳ３６では、ＣＰＵ５０は、ポストフィルタ処理を行うか否かを判断する。ポストフィルタ処理を行う場合はステップＳ３７に、行わない場合はステップＳ４１に進む。図６の場合は、ポストフィルタ処理を行うので、ステップＳ３７に進む。
【００６７】
ステップＳ３７では、ＣＰＵ５０は、内部メモリ６０のみを用いてポストフィルタ処理を行うか否かを判断する。内部メモリ６０のみを用いる場合にはステップＳ３８に進み、その他の場合にはステップＳ３９に進む。図６の場合は、ステップＳ３８に進む。
【００６８】
ステップＳ３８では、ポストフィルタ２８は、これに割り当てられた、内部メモリ６０の領域との間で読み書きを行って、ポストフィルタ処理を行い、得られた結果をＯＳＤ処理回路３２に出力する。その後、ステップＳ４１に進む。
【００６９】
ステップＳ３９では、ポストフィルタ２８は、割り当てられた、外部メモリ１６又は内部メモリ６０の領域との間で読み書きを行って、ポストフィルタ処理を行い、得られた結果をＯＳＤ処理回路３２に出力する。その後、ステップＳ４１に進む。
【００７０】
ステップＳ４１では、ＣＰＵ５０は、ＯＳＤ処理を行うか否かを判断する。ＯＳＤ処理を行う場合はステップＳ４４に、行わない場合はステップＳ５１に進む。図６の場合は、ＯＳＤ処理を行わないので、ステップＳ５１に進む。
【００７１】
ステップＳ４４では、ＯＳＤ処理回路３２は、外部メモリ１６からＯＳＤ用の画像データを読み出し、これを、割り当てられた、外部メモリ１６又は内部メモリ６０の領域を使用して、ポストフィルタ２８から入力された画像に重ね合わせるＯＳＤ処理を行い、得られた結果をＪＰＥＧ処理回路３４に出力する。その後、ステップＳ５１に進む。
【００７２】
ステップＳ５１では、ＣＰＵ５０は、ＪＰＥＧ圧縮処理を行うか否かを判断する。ＪＰＥＧ圧縮処理を行う場合はステップＳ５２に、行わない場合はステップＳ５６に進む。図６の場合は、ＪＰＥＧ圧縮処理を行うので、ステップＳ５２に進む。
【００７３】
ステップＳ５２では、ＣＰＵ５０は、内部メモリ６０のみを用いてＪＰＥＧ圧縮処理を行うか否かを判断する。内部メモリ６０のみを用いる場合にはステップＳ５３に進み、その他の場合にはステップＳ５４に進む。図６の場合は、ＪＰＥＧ処理回路３４には外部メモリ１６が割り当てられているので、ステップＳ５４に進む。
【００７４】
ステップＳ５３では、ＪＰＥＧ処理回路３４は、この回路に割り当てられた、内部メモリ６０の領域との間で読み書きを行って、ＪＰＥＧ圧縮処理を行い、得られた結果を垂直拡大処理回路３６を経由して出力部７０に出力する。その後、処理を終了する。
【００７５】
ステップＳ５４では、ＪＰＥＧ処理回路３４は、割り当てられた、外部メモリ１６又は内部メモリ６０の領域との間で読み書きを行って、ＪＰＥＧ圧縮処理を行い、得られた結果を垂直拡大処理回路３６を経由して出力部７０に出力する。その後、処理を終了する。
【００７６】
また、ステップＳ５６では、ＣＰＵ５０は、垂直拡大処理を行うか否かを判断する。垂直拡大処理を行う場合はステップＳ５７に進み、行わない場合は処理を終了する。
【００７７】
ステップＳ５７では、ＣＰＵ５０は、内部メモリ６０のみを用いて垂直拡大処理を行うか否かを判断する。内部メモリ６０のみを用いる場合にはステップＳ５８に進み、その他の場合にはステップＳ５９に進む。
【００７８】
ステップＳ５８では、垂直拡大処理回路３６は、この回路に割り当てられた、内部メモリ６０の領域との間で読み書きを行って、垂直拡大処理を行い、得られた結果を出力部７０に出力する。その後、処理を終了する。
【００７９】
ステップＳ５９では、垂直拡大処理回路３６は、割り当てられた、外部メモリ１６又は内部メモリ６０との間で読み書きを行って、垂直拡大処理を行い、得られた結果を出力部７０に出力する。その後、処理を終了する。
【００８０】
このように、図６の場合には、外部メモリ１６へのアクセスは、ＪＰＥＧ処理回路３４によるＪＰＥＧ圧縮処理の際に行われるのみである。これ以外の画像処理は、外部メモリ１６を用いずに行うことが可能であるので、外部メモリ１６を用いずに行われる。したがって、外部メモリ１６へのアクセスを大幅に減少させることができる。
【００８１】
一方、外部メモリ１６を使用しない場合には、図５のステップＳ１８では、ＣＰＵ５０は、低消費電力モードへ以降する処理を行う。例えば、ＣＰＵ５０は、電源回路１７を制御して外部メモリ１６への電力の供給を停止させ、外部メモリ１６が電力を消費しないようにする。これ以降の処理では外部メモリ１６を使用しないからである。
【００８２】
以降の処理は、内部メモリを用いた処理を行うか否かの判断を行わずに、必ず内部メモリを用いた処理を行う点、並びにＯＳＤ処理を行うか否かを判断するステップ、及びＯＳＤ処理を行うステップを有しない点を除けば、図３及び図４を参照して説明したものと同様である。すなわち、ステップＳ６３，Ｓ６８，Ｓ７１，Ｓ７３，Ｓ７６，Ｓ７８，Ｓ８１，Ｓ８３，Ｓ８６，及びＳ８８は、それぞれステップＳ２３，Ｓ２８，Ｓ３１，Ｓ３３，Ｓ３６，Ｓ３８，Ｓ５１，Ｓ５３，Ｓ５６，及びＳ５８と同様であるので、その説明を省略する。以上で１画面分の処理が終了する。
【００８３】
このように、画像処理装置１００においては、ＪＰＥＧ圧縮処理と垂直拡大処理とのうち、いずれか一方のみが行われるようになっている。また、画像処理装置１００においては、外部メモリ１６を使用しない場合には、外部メモリ１６への電力の供給を停止させるので、外部メモリ１６で電力を消費しないようにすることができる。
【００８４】
図７は、図１の画像処理装置１００におけるデータの流れの第２の例を示す説明図である。図７の場合も、図６の場合と同様に、イメージセンサ１２が出力する画像のサイズが横１２８０（＝ｍ）×縦９６０画素であるとし、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率１／４）、ポストフィルタ処理、及びＪＰＥＧ圧縮処理が行われるものとする。図２〜図５及び図７を参照して、画像処理装置１００の動作を説明する。
【００８５】
ステップＳ１１，Ｓ１２における処理は、ズーム処理の倍率が１／４に設定される点の他は、図６の場合と同様である。
【００８６】
図７の場合は、画像処理装置１００に入力される画像の水平画素数がｍであり、ズーム処理の倍率が１／４であるので、１つのラインメモリには縮小後の画像の４行分のデータを格納することができる。そこで、ステップＳ１３では、ＣＰＵ５０は、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、及びＪＰＥＧ処理回路３４に、それぞれ内部メモリ６０の２Ｈ、４Ｈ、４Ｈ、１Ｈ、及び２Ｈに相当するラインメモリを割り当てる。内部メモリ６０だけで容量は足りるので、外部メモリ１６は割り当てられない。
【００８７】
ステップＳ１６では、ＣＰＵ５０は、外部メモリ１６を使用しないと判断し、ステップＳ１８に進む。ステップＳ１８では、外部メモリ１６への電力の供給を停止する。ステップＳ６３以降の処理は、ＣＰＵ５０が内部メモリ６０を用いて処理を行うか否かの判断をせず、各処理回路が必ず内部メモリ６０に読み書きを行って処理を行う点の他は、図６の場合と同様であるので、その説明を省略する。
【００８８】
このように、図７のように外部メモリを備えない場合においても、画像処理装置１００は、基本的な画像処理を行うことができる。また、画像処理の際に外部メモリ１６へのアクセスを行わないので、消費電力を減少させ、処理速度を向上させることができる。
【００８９】
図８は、図１の画像処理装置１００におけるデータの流れの第３の例を示す説明図である。図８の場合、イメージセンサ１２が出力する画像のサイズが横６４０（＝ｍ／２）×縦４８０画素であるとし、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率１／２）、ポストフィルタ処理、ＯＳＤ処理、及びＪＰＥＧ圧縮処理が行われるものとする。この場合、画像の水平方向の１行分のデータ量は、１／２Ｈに相当する。図２〜図４及び図８を参照して、画像処理装置１００の動作を説明する。
【００９０】
ステップＳ１１では、ＣＰＵ５０は、画像処理装置１００に入力される画像の水平画素数がｍ／２以下であることを設定する。ステップＳ１２では、ＣＰＵ５０は、ズーム処理、ポストフィルタ処理、ＯＳＤ処理、及びＪＰＥＧ圧縮処理を行うこと、並びに、ズーム処理の倍率が１／２であることを設定する。
【００９１】
図８の場合は、画像処理装置１００に入力される画像の水平画素数がｍ／２であり、ズーム処理の倍率が１／２であるので、１つのラインメモリには縮小後の画像の４行分のデータを格納することができる。そこで、ステップＳ１３では、ＣＰＵ５０は、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、ＯＳＤ処理回路３２及びＪＰＥＧ処理回路３４に、それぞれ内部メモリ６０の１Ｈ、２Ｈ、２Ｈ、１Ｈ、１Ｈ、及び２Ｈに相当するラインメモリを割り当てる。内部メモリ６０だけで容量は足りるので、外部メモリ１６は割り当てられない。
【００９２】
ＯＳＤ処理を行う必要があるので、ステップＳ１６では、ＣＰＵ５０は、外部メモリ１６を使用すると判断し、ステップＳ２２に進む。
【００９３】
図３のステップＳ２２以降における処理は、ステップＳ４１において、ＣＰＵ５０がＯＳＤ処理を行うと判断してステップＳ４４に進む点、及びステップＳ４４において、ＯＳＤ処理回路３２がＯＳＤ処理を行い、得られた結果をＪＰＥＧ処理回路３４に出力する点以外は、図６の場合と同様であるので、詳細な説明は省略する。
【００９４】
このように、外部メモリ１６を用いることにより、ＯＳＤ処理を拡張機能として行うことができる。また、図５の場合には、外部メモリ１６へのアクセスは、ＯＳＤ処理回路３２が読み出しを１回行うのみである。メモリに対するこれ以外のアクセスは内部メモリ６０に対して行われるので、外部メモリ１６へのアクセスを大幅に減少させることができる。
【００９５】
図９は、図１の画像処理装置１００におけるデータの流れの第４の例を示す説明図である。図９の場合は、図６の場合と同様に、イメージセンサ１２が出力する画像のサイズが横１２８０（＝ｍ）×縦９６０画素であるとする。また、画像処理として、前処理、ＹＣ信号処理、ズーム処理（本例においては、倍率１／２）、ポストフィルタ処理、垂直拡大処理、及び回転処理が行われるものとする。
図２〜図４及び図９を参照して、画像処理装置１００の動作を説明する。
【００９６】
ステップＳ１１では、ＣＰＵ５０は、画像処理装置１００に入力される画像の水平画素数がｍ／２よりも多いということを設定する。ステップＳ１２では、ＣＰＵ５０は、ズーム処理、ポストフィルタ処理、垂直拡大処理、及び回転処理を行うこと、並びに、ズーム処理の倍率が１／２であることを設定する。
【００９７】
図９の場合は、画像処理装置１００に入力される画像の水平画素数がｍであり、ズーム処理の倍率が１／２であるので、１つのラインメモリには縮小後の画像の２行分のデータを格納することができる。そこで、ステップＳ１３では、ＣＰＵ５０は、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、ポストフィルタ２８、及び垂直拡大処理回路３６に、それぞれ内部メモリ６０の２Ｈ、４Ｈ、４Ｈ、２Ｈ、及び２Ｈに相当するラインメモリを割り当てる。内部メモリ６０だけで容量は足りるので、外部メモリ１６は割り当てられない。
【００９８】
回転処理を行う必要があるので、ステップＳ１６では、ＣＰＵ５０は、外部メモリ１６を使用すると判断し、ステップＳ２２に進む。
【００９９】
以降、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、及びポストフィルタ２８における処理は、ズーム処理の倍率が異なる点以外は、図６の場合とほぼ同様である。ただし、ＹＣ信号処理回路２４及び縮小ズーム回路２６は、外部メモリ１６を用いて回転処理を行う。なお、図３及び図４のフローチャートにおいては、回転処理に関する記載を省略している。
【０１００】
回転処理について説明する。図１０（ａ）は、回転処理の際に書き込まれる画素の順の例を示す説明図である。図１０（ｂ）は、回転処理の際に読み出される画素の順の例を示す説明図である。図１０（ａ），（ｂ）に示すように、ＹＣ信号処理回路２４が出力する画像は、水平方向にｍ個、垂直方向にｎ個の画素を有し、水平方向の各行にはｖ１，ｖ２，…，ｖｎの各座標が与えられ、垂直方向の各列にはｈ１，ｈ２，…，ｈｍの各座標が与えられている。各画素を、水平、垂直両方向の座標を用いて、ｈ１ｖ１のように表すこととする。
【０１０１】
ＹＣ信号処理回路２４は、ＹＣ信号処理を行って得られた画素のデータを、画像における水平方向の１行分毎に順に、外部メモリ１６に書き込む。すなわち、図１０（ａ）のように、ｈ１ｖ１，ｈ２ｖ１，…，ｈｍｖ１の順に第１行の書き込みを行った後、ｈ１ｖ２，ｈ２ｖ２，…，ｈｍｖ２の順に第２行の書き込みを行い、以後、第ｎ行の書き込みまでを行う。
【０１０２】
次に、縮小ズーム回路２６は、ＹＣ信号処理回路２４が書き込んだ画素のデータを、書き込み前の画像における垂直方向の同一の列毎に読み出す。すなわち、図１０（ｂ）のように、ｈ１ｖ１，ｈ１ｖ２，…，ｈ１ｖｎの順に第１列の読み出しを行った後、ｈ２ｖ１，ｈ２ｖ２，…，ｈ２ｖｎの順に第２列の読み出しを行い、以後、第ｍ列の読み出しまでを行う。
【０１０３】
ここで、読み出した列毎の画素のデータを、水平方向の行毎の画素のデータとみなすこととする。すると、外部メモリ１６への書き込み前の画像を９０°回転させた画像が得られたことになる。
【０１０４】
その後、縮小ズーム回路２６は、回転後の画像に対して水平方向の画素数を１／２に縮小するズーム処理を行い、得られた結果をポストフィルタ２８に出力する。ポストフィルタ２８による処理後、垂直拡大処理回路３６は、内部メモリ６０を用いて垂直拡大処理を行い、出力部７０への出力を行う。
【０１０５】
このように、外部メモリ１６を用いることにより、画像の回転を拡張機能として容易に行うことができる。
【０１０６】
なお、画素のデータを、図１０（ｂ）と同様に、画像における垂直方向の１列分毎に外部メモリ１６に書き込み、図１０（ａ）と同様に、書き込み前の画像における水平方向の同一の行毎に読み出すようにしてもよい。
【０１０７】
また、前処理回路２２、ＹＣ信号処理回路２４、縮小ズーム回路２６、及びポストフィルタ２８のうちのいずれかが外部メモリ１６への書き込みを行い、その次の処理を行うべき回路が読み出しを行うようにしてもよい。ただし、ＪＰＥＧ処理回路３４へデータが入力されるまでに外部メモリ１６からの読み出しが行われていることが必要である。
【０１０８】
既に図７を参照して説明したが、外部メモリ１６を用いない場合における画素データの転送について簡単にまとめる。図１１は、外部メモリ１６を用いない場合における、画像処理の際の画素データの転送について示すフローチャートである。
【０１０９】
ステップＳ１１２では、ＣＰＵ５０は、１行の画素データを内部メモリ６０に格納させる。ステップＳ１１４では、画像処理部２０は、内部メモリ６０を用いて各種の画像処理を行う。ステップＳ１１６では、画像処理部２０は、画像処理終了後の１行の画素データを出力部７０に出力する。ステップＳ１１８では、ＣＰＵ５０は、１画面の処理が終了したか否かを判断する。終了した場合には処理を終了し、その他の場合はステップＳ１１２に戻る。
【０１１０】
内部メモリ６０においては、画像の１行分の画素を複数のラインメモリにまたがって格納することはしないので、内部メモリに１行分の画素として格納可能な画素数はｍである。したがって、外部メモリ１６を用いない場合には、画像処理装置１００は、水平方向の画素数がｍ以下である画像しか処理できない。
【０１１１】
一方、外部メモリを用いると、水平方向にｍ画素よりも多くの画素を有する画像を処理することができる。以下では、画像処理装置１００が、外部メモリを用いて水平方向にｍ画素よりも多くの画素を有する画像を処理する場合について説明する。
【０１１２】
図１２は、水平方向にｍ画素よりも多くの画素を有する画像を処理する場合のデータの流れの例を示す説明図である。図１３（ａ）は、水平画素数がｍを越えている場合において、転送される画素の順の一例を示す説明図である。図１３（ｂ）は、水平画素数がｍを越えている場合において、転送される画素の順の他の例を示す説明図である。図１３（ａ），（ｂ）の画像は、水平方向にｍ＋α個（αは自然数）、垂直方向にｍ個の画素を有し、水平方向の各行にはｖ１，ｖ２，…，ｖｍの各座標が与えられ、垂直方向の各列にはｈ１，ｈ２，…，ｈ（ｍ＋α）の各座標が与えられている。
【０１１３】
水平方向にｍ画素よりも多くの画素を有する画像の場合、内部メモリ６０は１行分の画素のデータを１つのラインメモリに格納することができないので、画像処理を行うことができない。しかし、図１３の画像は、垂直方向にｍ個の画素を有しているので、１列分の画素を各ラインメモリに格納すれば、処理を行うことができる。
【０１１４】
図１４は、水平方向にｍ画素よりも多くの画素を有する画像を処理する場合の図１の画像処理装置１００における処理の流れの例を示すフローチャートである。図１２〜図１４を参照して説明する。
【０１１５】
図１４のステップＳ１２２では、画像処理部２０は、ＡＤ変換器１３が出力した画素データを１行毎に外部メモリ１６に格納させる（図１２のＷ１）。すなわち、図１３（ａ）のように、ｈ１ｖ１，ｈ２ｖ１，…，ｈ（ｍ＋α）ｖ１の順に第１行の書き込みを行った後、ｈ１ｖ２，ｈ２ｖ２，…，ｈ（ｍ＋α）ｖ２の順に第２行の書き込みを行い、以後、第ｍ行の書き込みまでを行う。
【０１１６】
ステップＳ１２４では、ＣＰＵ５０は、画像の垂直方向の画素数（垂直画素数）がｍ以下であるか否かを判断する。ｍ以下である場合にはステップＳ１３２に、その他の場合にはステップＳ１５２に進む。図１３の画像の場合はステップＳ１３２に進む。
【０１１７】
ステップＳ１３２では、画像処理部２０は、１列の画素データを外部メモリ１６から読み出して内部メモリ６０に転送し、格納させる（図１２のＲ１）。すなわち、図１３（ｂ）のように、例えばｈ１ｖ１，ｈ１ｖ２，…，ｈ１ｖｍの順に読み出しを行う。
【０１１８】
ステップＳ１３４では、画像処理部２０は、前処理、ＹＣ信号処理、ズーム処理、ポストフィルタ処理等の画像処理を、１列の画素データを求めるために内部メモリ６０を用いて行う。
【０１１９】
ステップＳ１３６では、画像処理部２０は、処理後の１列の画素データを外部メモリ１６に格納させる（図１２のＷ２）。このとき、図１３（ｂ）のように、処理後の１列の画素データを、対応する処理前の１列の画素データが格納されていた領域に書き込む。
【０１２０】
ステップＳ１３８では、ＣＰＵ５０は、１画面の処理が終了したか否かを判断する。終了した場合にはステップＳ１４２に進み、その他の場合はステップＳ１３２に戻る。
【０１２１】
ステップＳ１４２では、画像処理部２０は、例えば図１３（ａ）のように１行毎に、得られた画像の画素データを外部メモリ１６から読み出す（図１２のＲ２）。更に、画像処理部２０は、例えばＪＰＥＧ圧縮処理等の処理が必要であれば、それを読み出された画像に対して行った後、出力部７０に出力する。
【０１２２】
このように、外部メモリを用いると、水平画素数がｍ以下の画像を処理するための画像処理装置１００において、垂直画素数がｍ以下であれば水平画素数がｍを越えていても、回路構成を変更することなく各種の画像処理を行うことができる。
【０１２３】
次に、画像の水平画素数及び垂直画素数がいずれもｍを越えている場合の処理について説明する。図１５は、水平及び垂直画素数がｍを越えている場合において、転送される画素の順の一例を示す説明図である。図１５の画像は、水平方向にｍ＋α＋β個（βは自然数）、垂直方向にｍ＋α個の画素を有し、水平方向の各行にはｖ１，ｖ２，…，ｖ（ｍ＋α）の各座標が与えられ、垂直方向の各列にはｈ１，ｈ２，…，ｈ（ｍ＋α＋β）の各座標が与えられている。
【０１２４】
図１４を参照して説明する。ステップＳ１２２では、ＣＰＵ５０は、ＡＤ変換器１３が出力した画素データを１行毎に外部メモリ１６に格納させる。すなわち、ｈ１ｖ１，ｈ２ｖ１，…，ｈ（ｍ＋α＋β）ｖ１の順に第１行の書き込みを行い、以後同様に第ｍ＋α行の書き込みまでを行う。
【０１２５】
図１５の画像の場合は、ステップＳ１２４において、垂直画素数がｍ以下ではないと判断され、ステップＳ１５２に進む。
【０１２６】
ステップＳ１５２では、ＣＰＵ５０は、図１５の画像を、第１行から第ｍ行までの領域ａと、それ以外の領域ｂとに分割する。
【０１２７】
ステップＳ１５４では、ＣＰＵ５０は、領域ａ，ｂのうちのいずれを処理するかを選択する。また、画像処理装置１００は、１列の画素データを外部メモリ１６から読み出して内部メモリ６０に転送し、格納させる。すなわち、図１５のように、領域ａが選択された場合には、例えばｈ１ｖ１，ｈ１ｖ２，…，ｈ１ｖｍの順に読み出しを行い、領域ｂが選択された場合には、例えばｈ１ｖ（ｍ＋１），ｈ１ｖ（ｍ＋２），…，ｈ１ｖ（ｍ＋α）の順に読み出しを行う。
【０１２８】
ステップＳ１５６，Ｓ１５８における処理は、それぞれステップＳ１３４，Ｓ１３６における処理と同様である。ただし、ステップＳ１５６，Ｓ１５８では、選択された領域についての処理のみを行う。
【０１２９】
ステップＳ１６２では、ＣＰＵ５０は、領域内での処理が終了したか否かを判断する。終了した場合はステップＳ１６４に進み、その他の場合はステップＳ１５４に戻って残りの領域の処理を行う。
【０１３０】
ステップＳ１６４では、ＣＰＵ５０は、１画面の処理が終了したか否かを判断する。終了した場合にはステップＳ１４２に進み、その他の場合はステップＳ１５２に戻る。
【０１３１】
図１４、図１５を参照して説明したように、外部メモリを用いると、水平画素数がｍ以下の画像を処理するための画像処理装置１００において、垂直及び水平画素数がｍを越えていても、回路構成を変更することなく各種の画像処理を行うことができる。
【０１３２】
以上の実施形態で説明したように、図１の画像処理装置１００は、外部メモリを用いる場合及び用いない場合のいずれにおいても、画像処理を行うことができる。
【０１３３】
外部メモリ１６を備えない場合には、画像処理装置１００は、ＹＣ信号処理や圧縮処理等の基本的な画像処理を行うことができる。この場合は、外部メモリ１６へのアクセスを行わないので、消費電力を減少させ、処理速度を向上させることができる。
【０１３４】
一方、外部メモリ１６を備える場合には、ＯＳＤ処理、回転処理、垂直又は水平画素数がｍ以上の大きな画像の処理等を行うことができる。
【０１３５】
なお、図１の画像処理装置１００の外にＡＤ変換器１３がある場合について説明したが、画像処理装置がＡＤ変換器１３を含むようにしてもよい。
【０１３６】
【発明の効果】
以上のように、本発明によると、低消費電力化と多機能化とを両立させた画像処理装置を実現することができる。また、外部メモリの有無にかかわらず動作することができるので、多くのシステムにおいて用いることができる、汎用性が高い画像処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置を備えるカメラの構成の例を示すブロック図である。
【図２】図１の画像処理部の構成の例を示すブロック図である。
【図３】図１の画像処理装置における処理の流れの例の一部分を示すフローチャートである。
【図４】図１の画像処理装置における処理の流れの例の他の部分を示すフローチャートである。
【図５】図１の画像処理装置における処理の流れの例の残りの部分を示すフローチャートである。
【図６】図１の画像処理装置におけるデータの流れの第１の例を示す説明図である。
【図７】図１の画像処理装置におけるデータの流れの第２の例を示す説明図である。
【図８】図１の画像処理装置におけるデータの流れの第３の例を示す説明図である。
【図９】図１の画像処理装置におけるデータの流れの第４の例を示す説明図である。
【図１０】（ａ）は、回転処理の際に書き込まれる画素の順の例を示す説明図である。
（ｂ）は、回転処理の際に読み出される画素の順の例を示す説明図である。
【図１１】外部メモリを用いない場合における、画像処理の際の画素データの転送について示すフローチャートである。
【図１２】水平方向にｍ画素よりも多くの画素を有する画像を処理する場合のデータの流れの例を示す説明図である。
【図１３】（ａ）は、水平画素数がｍを越えている場合において、転送される画素の順の一例を示す説明図である。
（ｂ）は、水平画素数がｍを越えている場合において、転送される画素の順の他の例を示す説明図である。
【図１４】水平方向にｍ画素よりも多くの画素を有する画像を処理する場合の図１の画像処理装置における処理の流れの例を示すフローチャートである。
【図１５】水平及び垂直画素数がｍを越えている場合において、転送される画素の順の一例を示す説明図である。
【図１６】従来のカメラの構成の例を示すブロック図である。
【符号の説明】
１２ イメージセンサ
１３ ＡＤ変換器
１４ 記録装置
１５ 表示装置
１６ 外部メモリ
１７ 電源回路
２０ 画像処理部
２２ 前処理回路
２４ 輝度色差信号処理回路（ＹＣ信号処理回路）
２６ 縮小ズーム回路
２８ ポストフィルタ
３２ オンスクリーンディスプレイ（ＯＳＤ）処理回路
３４ ＪＰＥＧ処理回路（圧縮処理回路）
３６ 垂直拡大回路
５０ ＣＰＵ
６０ 内部メモリ
７０ 出力部
１００ 画像処理装置

Claims (10)

1. イメージセンサが出力する画像信号に対して画像処理を行って出力する画像処理装置であって、
   画像を行又は列を単位として格納するラインメモリを有する内部メモリと、
   前記内部メモリを用いて前記画像処理を行う画像処理部と、
   前記画像処理部を制御するＣＰＵとを備え、
   前記画像処理部は、
   それぞれが前記画像処理として所定の処理を行う、複数の処理回路を有するものであり、
   前記複数の処理回路のうちの少なくとも１つは、
   当該画像処理装置の外部に設けられた外部メモリを必要に応じて用いることができるように構成されているものである
   画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像処理部は、
   前記画像処理として前記外部メモリを用いずに行うことが可能な処理を行う場合には、前記外部メモリを用いずにその処理を行うものであることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記ＣＰＵは、
   前記画像処理部が前記外部メモリを用いない場合には、前記外部メモリが消費する電力を低下させるように制御する信号を出力するものであることを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記画像処理部は、
   前記イメージセンサから得られた画像信号を、輝度信号及び色差信号に変換して出力する輝度色差信号処理回路と、
   前記輝度色差信号処理回路の出力に応じた画像に対して圧縮符号化を行い、得られた結果を前記画像処理部の出力とする圧縮処理回路とを、前記複数の処理回路として備えるものであることを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記画像処理部は、
   前記外部メモリから読み出された画像を前記イメージセンサから得られた画像に重ね合わせて出力するオンスクリーンディスプレイ処理回路を備えるものであることを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記複数の処理回路のうちの１つは、
   処理後の画像を、行及び列のうち、一方を単位として順に前記外部メモリに格納するものであり、
   前記複数の処理回路のうちの他の１つは、
   前記外部メモリに格納された画像を、行及び列のうち、格納の際とは異なるものを単位として順に読み出すものであることを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記複数の処理回路のうちの少なくとも２つは、
   前記内部メモリとして同一のものを用いて処理を行うものであることを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記画像処理部は、
   前記イメージセンサが出力する画像を前記外部メモリに格納させ、前記画像の行及び列のうち、画素数が少ない方を単位として前記外部メモリから読み出して前記内部メモリを用いた前記画像処理を行い、得られた結果を、これに対応する画素のデータが前記外部メモリからの読み出し前に格納されていた領域に格納させ、得られた画像を前記外部メモリから読み出して出力するものであることを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記画像処理部は、
   前記画像の行及び列のうち、画素数が少ない方であっても前記内部メモリに格納可能な画素数を越えている場合には、前記画像を複数の領域に分割して処理するものであることを特徴とする画像処理装置。
10. 請求項４に記載の画像処理装置と、
    前記画像処理装置に画像信号を出力するイメージセンサと、
    前記画像処理装置の出力を記録媒体に書き込む記録装置とを備えるカメラ。

Images