JP2004193686A

JP2004193686A - カメラ付き携帯端末

Info

Publication number: JP2004193686A
Application number: JP2002356044A
Authority: JP
Inventors: Hiroaki Shibayama; 博昭柴山
Original assignee: NEC AccessTechnica Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2002-12-06
Filing date: 2002-12-06
Publication date: 2004-07-08
Also published as: CN1745574A; EP1575278A1; US20060072027A1; WO2004054243A1; EP1575278A4

Abstract

【課題】低周波クロック，小容量メモリを用いて短時間でカメラからの高画素の画像データを処理する。
【解決手段】このカメラ付き携帯端末は、デジタルカメラモードでは、画像データＤ_Ｐ１が外部ＲＡＭに一旦バッファリングされた後、ＲＳＰＢ７６，ＦＴＢ７７における処理の空き時間に、エンコーダ７４が外部ＲＡＭからの画像データＤ_Ｐ１を時分割で画像データＤ_Ｐ２に圧縮符号化した後、外部ＲＡＭに記憶し、ＣＰＵは、必要に応じて外部ＲＡＭから画像データＤ_Ｐ２を取り込む。モバイルカメラモードでは、外部ＲＡＭの電源がオフされ、画像データＤ_Ｐ１が内部ＲＡＭ７５に一旦バッファリングされた後、ＲＳＰＢ７６，ＦＴＢ７７における処理の空き時間に、エンコーダ７４が内部ＲＡＭ７５からの画像データＤ_Ｐ１を時分割で画像データＤ_Ｐ２に圧縮符号化した後、内部ＲＡＭ７５に記憶し、ＣＰＵは、必要に応じて内部ＲＡＭ７５から画像データＤ_Ｐ２を取り込む。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
この発明は、カメラ付き携帯端末に関し、詳しくは、付属のカメラによる撮影で得られた画像データを処理して表示部に表示したり、電子メールに添付して送信する機能を有するカメラ付き携帯端末に関する。
【０００２】
【従来の技術】
図８は従来のカメラ付き携帯端末の要部構成例を示すブロック図である。ここで、携帯端末とは、携帯電話及び簡易型携帯電話（ＰＨＳ：ＰｅｒｓｏｎａｌＨａｎｄｙ−ｐｈｏｎｅＳｙｓｔｅｍ）の総称である。
この例のカメラ付き携帯端末は、カメラモジュール１と、インタフェース２と、ＣＰＵ（中央処理装置）３と、メイン液晶パネル４と、サブ液晶パネル５とを有している。
【０００３】
カメラモジュール１は、カメラセンサ１１と、デジタル・シグナル・プロセッサ（ＤＳＰ）１２とを有している。カメラセンサ１１は、例えば、記録解像度１２８０×９６０画素のメガピクセル（１００万画素）・ＣＭＯＳセンサであり、ＤＳＰ１２から供給される約４８ＭＨｚの周波数を有するクロックＣＫ_１に基づいて、アナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号Ｓ_Ｐを出力する。
カメラセンサ１１は、図９に示すように、行方向に所定間隔で設けられた９６０本の水平走査線１３と列方向に所定間隔で設けられた１２８０本の垂直走査線１４との交点を画素とし、各画素ごとに、フォトダイオード１５と、対応するフォトダイオード１５の出力電流を増幅するアンプ１６とが配列されている。また、各フォトダイオード１５の光入射面には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光学フィルタ１７_Ｒ、１７_Ｇ、１７_Ｂが設けられている。そして、例えば、約４８ＭＨｚの周波数を有するクロックＣＫ_１がＤＳＰ１２から供給されると、垂直スキャン回路１８がクロックＣＫ_１に同期して順次垂直走査信号を発生して９６０本の垂直走査線１４に印加することにより各垂直走査線１４に接続されたアンプ１６を順次活性化するとともに、水平スキャン回路１９がクロックＣＫ_１に同期して順次水平走査信号を発生して１２８０本の水平走査線１３の一端に接続されたＭＯＳトランジスタ２０のゲート電極に印加することにより、各フォトダイオード１５から出力され、対応するアンプ１６で増幅された出力電流が対応する水平走査線１３を介して映像読出線２１に供給された後、アンプ２２で増幅され、アナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号Ｓ_Ｐとして出力される。
【０００４】
ＤＳＰ１２は、クロック発生ブロック（ＣＧＢ：ＣｌｏｃｋＧｅｎｅｒａｔｉｎｇＢｌｏｃｋ）３１と、アナログ・デジタル変換器（ＡＤＣ：ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｏｒ）３２と、フォーマット変換ブロック（ＦＴＢ：ＦｏｒｍａｔＴｒａｎｓｆｏｒｍｉｎｇＢｌｏｃｋ）３３とを有している。ＣＧＢ３１は、インタフェースＬＳＩ２から供給される約２４ＭＨｚの周波数を有するクロックＣＫ_０に基づいて約４８ＭＨｚの周波数を有するクロックＣＫ_１を発生してカメラセンサ１１に供給する。ＡＤＣ３２は、カメラセンサ１１から供給されるアナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号Ｓ_Ｐを１画素８ビットのデジタルの赤データＲ、緑データＧ、青データＢからなるデジタルの画像データに変換してＦＴＢ３３に供給する。ＦＴＢ３３は、ＲＧＢ形式の画像データである赤データＲ、緑データＧ、青データＢをＹＵＶ形式の画像データである輝度データＹ、輝度データＹと赤データＲとの色差データＵ、輝度データＹと青データＢとの色差データＶからなる画像データＤ_Ｐに変換して８ビット幅のバス３４を介してインタフェースＬＳＩ２に供給する。この例では、画像データＤ_Ｐは、輝度データＹが４ビット、色差データＵ及びＶが各々２ビットの計８ビットである。以下に、赤データＲ、緑データＧ、青データＢと、輝度データＹ、差データＵ及びＶとの一般的な変換式を示す。
Ｙ＝Ｒ×０．２９９＋Ｇ×０．５８７＋Ｂ×０．１１４…（１）
Ｕ＝０．６５４×（Ｂ−Ｙ）＋１２８＝−Ｒ×０．１６８−Ｇ×０．３３１＋Ｂ×０．５００＋１２８…（２）
Ｖ＝０．７１３×（Ｒ−Ｙ）＋１２８＝Ｒ×０．５００−Ｇ×０．４１９−Ｂ×０．０８１＋１２８…（３）
【０００５】
インタフェースＬＳＩ２は、リサイズ処理ブロック（ＲＳＰＢ：ＲｅｓｉｚｅＰｒｏｃｅｅｄｉｎｇＢｌｏｃｋ）４１と、エンコーダ・デコーダ４２と、ＦＩＦＯ（ＦｉｒｓｔｉｎＦｉｒｓｔｏｕｔ）メモリ４３と、アービタ４４と、メモリ４５と、２ＤＧ（ＤｉｍｅｎｓｉｏｎＧｒａｐｈｉｃｓ）エンジン４６と、ＦＩＦＯメモリ４７と、インタフェース４８及び４９とを有している。ＲＳＰＢ４１は、カメラセンサ１１により撮影された１画素当たり８ビット、１フレームで１２８０×９６０画素の画像データＤ_Ｐを、ＱＶＧＡ（ｑｕａｔｅｒｖｉｄｅｏｇｒａｐｈｉｃｓａｒｒａｙ）と呼ばれ、解像度が３２０×２４０画素であるメイン液晶パネル４又はサブ液晶パネル５に表示するために、１画素当たり８ビット、１フレームで３２０×２４０画素のＹＵＶ形式の画像データＤ_ＰＲにリサイズ化処理を行った後、エンコーダ・デコーダ４２及びＦＩＦＯメモリ４３に供給する。
【０００６】
エンコーダ・デコーダ４２は、ＲＳＰＢ４１から供給されるＹＵＶ形式の画像データＤ_ＰＲをＪＰＥＧ（ｊｏｉｎｔｐｈｏｔｏｇｒａｐｈｉｃｅｘｐｅｒｔｓｇｒｏｕｐ）形式の画像データＤ_ＰＪ１に圧縮符号化処理してＦＩＦＯメモリ４３に記憶するとともに、ＦＩＦＯメモリ４３から供給されるＪＰＥＧ形式の画像データＤ_ＰＪ１をＹＵＶ形式の画像データＤ_ＰＪ２に伸張復号化処理してＦＩＦＯメモリ４５に記憶する。ここで、ＪＰＥＧ形式とは、カラー静止画像の符号化方式の標準化を進めている国際標準化機構（ＩＳＯ；ＩｎｔｅｒｎａｔｉｏｎａｌＯｒｇａｎｉｚａｔｉｏｎｆｏｒＳｔａｎｄｅｒｄｉｚａｔｉｏｎ）と国際電気通信連合の電気通信標準化部門（ＩＴＵ−Ｔ；ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎ−ＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＳｔａｎｄａｒｄｉｚａｔｉｏｎＳｅｃｔｏｒ）との合同組織で標準化された静止画像の圧縮・伸張方式を用いた画像ファイルの形式をいう。
【０００７】
ＦＩＦＯメモリ４３は、あるクロックに同期して、ＲＳＰＢ４１から供給される画像データＤ_ＰＲ又はエンコーダ・デコーダ４２から供給される画像データＤ_ＰＪ１を先入れで内部に記憶するとともに、上記クロックとは非同期の別個のクロックに同期して内部に記憶された画像データＤ_ＰＲ又は画像データＤ_ＰＪ１を先出しで読み出し、アービタ４４又はエンコーダ・デコーダ４２に供給する。アービタ４４は、インタフェース４９により制御され、ＲＳＰＢ４１、エンコーダ・デコーダ４２、２ＤＧエンジン４６、インタフェース４８又は４９（これらを総称するときはデバイスという）からのメモリ４５に対する画像データの書き込み要求又は読み出し要求を管理・調停する。メモリ４５は、２２５キロバイトの記憶容量を有し、アービタ４４により許可されたデバイスからの画像データが書き込まれるとともに、書き込まれたデータが読み出される。
【０００８】
２ＤＧエンジン４６は、アービタ４４の許可に基づいてメモリ４５から読み出した画像データに対して、ビットマップの処理、直線や曲線の描画、塗りつぶしなどの処理など、２次元的な描画処理を行う。ＦＩＦＯメモリ４７は、あるクロックに同期して、アービタ４４から供給される画像データを先入れで内部に記憶するとともに、上記クロックとは非同期の別個のクロックに同期して内部に記憶された画像データを先出しで読み出し、インタフェース４８に供給する。インタフェース４８は、インタフェース４９により制御され、第１チップセレクト信号ＣＳ_１をメイン液晶パネル４に供給してメイン液晶パネル４を活性化させつつ、アービタ４４の許可に基づいてメモリ４５から読み出しＦＩＦＯメモリ４７を経た画像データをメイン液晶パネル４に供給するとともに、第２チップセレクト信号ＣＳ_２をサブ液晶パネル５に供給してサブ液晶パネル５を活性化させつつ、アービタ４４の許可に基づいてメモリ４５から読み出しＦＩＦＯメモリ４７を経た画像データをサブ液晶パネル５に供給する。インタフェース４９は、アービタ４４及びインタフェース４８を制御する。
【０００９】
ＣＰＵ３は、図示せぬプログラムメモリに記憶されたプログラムを実行してカメラ付き携帯端末の各部を制御する。また、ＣＰＵ３は、インタフェース４８及び４９を介してメイン液晶パネル４及びサブ液晶パネル５に直接アクセスする。メイン液晶パネル４及びサブ液晶パネル５には、電池の電池残量情報やアンテナの感度情報等の携帯端末内部の情報、相手先の電話番号、電子メールの文章、相手先に送信する電子メールに添付する画像、相手先から送信された電子メールに添付された画像、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）サーバの各種コンテンツ提供者から提供されるコンテンツを示す画像などが表示される。また、メイン液晶パネル４及びサブ液晶パネル５は、カメラモード時には、カメラファインダとして利用される他、撮影結果である画像が表示される。
なお、先行技術調査を実施した限りでは、上述した従来技術の内容が具体的に記載された文献に関する情報は得られなかったが、従来のカメラ付き携帯端末における画像処理については、本出願人が先に提案した特願２００２−０３５１３６号に開示されている。
【００１０】
【発明が解決しようとする課題】
ところで、上記した従来のカメラ付き携帯端末においては、カメラモジュール１からバス３４を介してインタフェースＬＳＩ２供給される画像データＤ_Ｐのデータ量は、１フレーム当たり１２８０×９６０画素であり、１画素８ビットであるから、２，４５７，６００バイトとなるため、インタフェースＬＳＩ２におけるデータ処理時間が長くなってしまう。そこで、データ処理時間を短縮するためにインタフェースＬＳＩ２で用いるクロックの周波数を高くすることが考えられるが、このクロックの周波数を高くすると、消費電流が多くなるため、バッテリを電源として用いる携帯端末ではバッテリの寿命が短くなり不都合である。また、インタフェースＬＳＩ２で用いるクロックの周波数を高くすると、無線信号を処理する無線制御部で用いるクロックにノイズ等の悪影響を与えてしまう場合がある。
【００１１】
また、上記した従来のカメラ付き携帯端末においては、インタフェースＬＳＩ２においてほとんどの画像処理を行っているが、近年のメガピクセル化によりインタフェースＬＳＩ２を構成し、これらの画像処理に用いられるメモリ４５の必要とする記憶容量がますます増加する傾向がある。そこで、メモリ４５をＳＲＡＭで構成することが考えられるが、インタフェースＬＳＩ２内部にＳＲＡＭを形成すると、チップ面積が大きくなるため、インタフェースＬＳＩ２の価格、ひいてはカメラ付き携帯端末の価格が上昇してしまう。
【００１２】
この発明は、上述の事情に鑑みてなされたもので、低い周波数のクロック及び記憶容量の少ないメモリを用いても短いデータ処理時間でカメラから供給される高画素の画像データを処理することができるカメラ付き携帯端末を提供することを目的としている。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の発明に係るカメラ付き携帯端末は、カメラモジュールと、制御部と、表示部と、上記カメラモジュールと上記制御部及び上記表示部との間に設けられたインタフェース部とを備え、上記カメラモジュールは、記録解像度が第１の画素数であり、撮影された画像に対応した第１の形式の映像信号を出力するカメラセンサと、上記映像信号に画像処理を施すデジタル・シグナル・プロセッサと、外部メモリとを有し、上記デジタル・シグナル・プロセッサは、上記映像信号を第１の画像データに変換するアナログ・デジタル変換器と、内部メモリと、上記第１の画像データを第２の画像データに圧縮符号化処理するエンコーダと、上記第１の画像データを第２の画素数を有する第３の画像データにリサイズ化するリサイズ処理部と、上記第３の画像データを第２の形式の第４の画像データに変換するフォーマット変換部とを有し、上記第４の画像データを上記表示部にカメラファインダ用に表示するために第１のバスを介して上記インタフェース部に供給し、デジタルカメラモードでは、上記デジタル・シグナル・プロセッサにおいて、上記第１の画像データが上記外部メモリに一旦バッファリングされた後、上記リサイズ処理部及び上記フォーマット変換部において処理が行われていない空き時間に、上記エンコーダが上記内部メモリをバッファとして、上記外部メモリから読み出される上記第１の画像データを時分割で上記第２の画像データに圧縮符号化処理した後、上記外部メモリに記憶し、上記制御部は、必要に応じて上記外部メモリに記憶された上記第２の画像データを第２のバス及び上記インタフェース部を介して取り込み、モバイルカメラモードでは、上記外部メモリの電源がオフされ、上記デジタル・シグナル・プロセッサにおいて、上記第１の画像データが上記内部メモリに一旦バッファリングされた後、上記空き時間に、上記エンコーダが上記内部メモリをバッファとして、上記内部メモリから読み出される上記第１の画像データを時分割で上記第２の画像データに圧縮符号化処理した後、上記内部メモリに記憶し、上記制御部は、必要に応じて上記内部メモリに記憶された上記第２の画像データを第２のバス及び上記インタフェース部を介して取り込むことを特徴としている。
【００１４】
また、請求項２記載の発明は、請求項１記載のカメラ付き携帯端末に係り、上記デジタルカメラモードでは、上記外部メモリを複数のバッファリング構成とすることを特徴としている。
【００１５】
また、請求項３記載の発明は、請求項１又は２記載のカメラ付き携帯端末に係り、上記デジタルカメラモード及び上記モバイルカメラモードでは、上記リサイズ処理部及び上記フォーマット変換部において３フレーム分の画像を処理している期間の空き時間に、上記エンコーダが１フレーム分の画像を圧縮符号化処理をすることを特徴としている。
【００１６】
また、請求項４記載の発明は、請求項１乃至３のいずれか１に記載のカメラ付き携帯端末に係り、上記デジタルカメラモード及び上記モバイルカメラモードでは、静止画像を連続して撮影する連写が要求された場合には、上記デジタル・シグナル・プロセッサにおいて、上記制御部があるフレームの上記第２の画像データを取り込んでいる間に、次のフレームの上記第２の画像データの上記外部メモリへのバッファリングが開始されることを特徴としている。
【００１７】
また、請求項５記載の発明は、請求項１乃至３のいずれか１に記載のカメラ付き携帯端末に係り、上記デジタルカメラモードでは、動画像データを処理する場合には、上記デジタル・シグナル・プロセッサにおいて、一旦上記外部メモリに複数フレームごとに記憶された上記第１の画像データが順次読み出され、上記エンコーダにより圧縮符号化処理された上記第２の画像データが順次上記外部メモリに記憶され、上記圧縮符号化処理が終了すると、上記第２の画像データのキーフレームごとに圧縮符号化処理が終了した旨が上記インタフェース部及び上記制御部に通知されることを特徴としている。
【００１８】
また、請求項６記載の発明は、請求項１乃至３のいずれか１に記載のカメラ付き携帯端末に係り、上記デジタルカメラモードでは、動画像データを処理する場合には、上記デジタル・シグナル・プロセッサにおいて、上記カメラモジュールと上記インタフェース部との間に、上記動画像データをストリーム・データとして上記インタフェース部に供給する専用バスを設け、上記制御部が要求した際に上記第２の画像データを供給するストリーミング供給モードを有することを特徴としている。
【００１９】
また、請求項７記載の発明は、請求項６記載のカメラ付き携帯端末に係り、上記インタフェース部は、上記動画像データを取り込むための先入れ先出しメモリを有することを特徴としている。
【００２０】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。説明は、実施例を用いて具体的に行う。
図１は、この発明の一実施例であるカメラ付き携帯端末の要部構成を示すブロック図である。
この例のカメラ付き携帯端末は、カメラモジュール５１と、インタフェース５２と、ＣＰＵ５３と、メイン液晶パネル５４と、サブ液晶パネル５５とを有している。
【００２１】
カメラモジュール５１は、カメラセンサ６１と、ＤＳＰ６２と、外部ＲＡＭ６３とを有している。カメラセンサ６１は、例えば、記録解像度１２８０×９６０画素のメガピクセル・ＣＭＯＳセンサであり、ＤＳＰ６２から供給される約４８ＭＨｚの周波数を有するクロックＣＫ_１に基づいて、アナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号Ｓ_Ｐを出力する。カメラセンサ６１の構造は、図９に示すカメラセンサ１１の構造と略同様であるので、その説明を省略する。
【００２２】
ＤＳＰ６２は、図２に示すように、ＡＤＣ７１と、調整回路７２と、外部ＲＡＭコントローラ７３と、エンコーダ７４と、内部ＲＡＭ７５と、ＲＳＰＢ７６と、ＦＴＢ７７とを有している。ＤＳＰ６２は、動作モードに応じてインタフェースＬＳＩ５２から供給される、約１２ＭＨｚの周波数を有するクロック、約２４ＭＨｚの周波数を有するクロック、あるいは約４８ＭＨｚの周波数を有するクロックに基づいて動作する。ＡＤＣ７１は、カメラセンサ５１から供給されるアナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号Ｓ_Ｐを１画素８ビットのデジタルの赤データＲ、緑データＧ、青データＢからなるデジタルの画像データＤ_Ｐ０に変換して調整回路７２に供給する。
【００２３】
調整回路７２は、画像データＤ_Ｐ０に対してホワイトバランスや露光ゲイン調整などの画像処理を施した後、画像処理後の画像データを画像データＤ_Ｐ１として外部ＲＡＭコントローラ７３及びＲＳＰＢ７６に供給する。外部ＲＡＭコントローラ７３は、画像データＤ_Ｐ１を外部ＲＡＭ６３に一旦記憶するとともに、読み出してエンコーダ７４やインタフェースＬＳＩ５２に供給する。エンコーダ７４は、内部ＲＡＭ７５を圧縮符号化処理バッファとして用いて、外部ＲＡＭコントローラ７３の制御の下に外部ＲＡＭ６３から読み出される画像データＤ_Ｐ１をＪＰＥＧ形式の画像データＤ_Ｐ２に圧縮符号化処理した後、画像データＤ_Ｐ２を外部ＲＡＭ６３に記憶する。内部ＲＡＭ７５は、８０キロバイトの記憶容量を有し、上記した圧縮符号化処理等の各種の処理の際にバッファとして用いられる。なお、ＪＰＥＧ形式の画像データＤ_Ｐ２は、外部ＲＡＭコントローラ７３の制御の下、外部ＲＡＭ６３から読み出され、シリアルバス７８を介してインタフェースＬＳＩ５２に供給される。シリアルバス７８は、インタフェースＬＳＩ５２から供給されるカメラによる撮像のタイミングを通知する撮像タイミング通知信号Ｓ_ＴＭのトリガにより動作を開始する。
【００２４】
ＲＳＰＢ７６は、内部ＲＡＭ７５を用いて、１画素当たり８ビット、１フレームで１２８０×９６０画素の画像データＤ_Ｐ１を１画素当たり８ビット、１フレームで３２０×２４０画素の画像データＤ_Ｐ３にリサイズ化処理を行った後、画像データＤ_Ｐ３をＦＴＢ７７に供給する。ＦＴＢ７７は、ＲＧＢ形式（第１の形式）の画像データである赤データＲ、緑データＧ、青データＢからなる画像データＤ_Ｐ３をＹＵＶ形式（第２の形式）の画像データである輝度データＹ、色差データＵ、色差データＶからなる画像データＤ_Ｐ４に変換して１６ビット幅のバス７９を介してインタフェースＬＳＩ５２に供給する。
【００２５】
図１に示す外部ＲＡＭ６３は、例えば、４メガバイトの記憶容量を有し、同期型ＤＲＡＭのような、１メモリセル当たりの回路要素が少ないためにチップサイズが小さくて大容量であり、高速動作可能でかつ安価なメモリである。この外部ＲＡＭ６３は、後述するデジタルカメラモード時にはＲＧＢ形式の画像データをバッファリングするバッファの役目を果たすが、後述するモバイルカメラモード時には電源をオフすることができる機能を有している。
【００２６】
インタフェースＬＳＩ５２は、約４８ＭＨｚのクロックにより動作するものであり、レジスタ８０と、ＦＩＦＯメモリ８１と、アービタ８２と、メモリ８３と、デコーダ８４と、２ＤＧエンジン８５と、３ＤＧエンジン８６と、ＦＩＦＯメモリ８７と、インタフェース８８及び８９とを有している。レジスタ８０には、カメラモジュール５１から供給される画像データＤ_Ｐ２が一時保持される。ＦＩＦＯメモリ８１は、あるクロックに同期して、カメラモジュール５１から供給される画像データＤ_Ｐ２又は画像データＤ_Ｐ４を先入れで内部に記憶するとともに、上記クロックとは非同期の別個のクロックに同期して内部に記憶された画像データＤ_Ｐ２又は画像データＤ_Ｐ４を先出しで読み出し、アービタ８２を介してメモリ８３又はデコーダ８４に供給する。
【００２７】
アービタ８２は、インタフェース８９により制御され、ＦＩＦＯメモリ８１、デコーダ８４、２ＤＧエンジン８５、３ＤＧエンジン８６、インタフェース８８又は８９（これらを総称するときはデバイスという）からのメモリ８３に対する画像データの書き込み要求又は読み出し要求を管理・調停する。メモリ８３は、３２０キロバイトの記憶容量を有し、アービタ８２により許可されたデバイスからの画像データが書き込まれるとともに、書き込まれたデータが読み出される。
【００２８】
デコーダ８４は、アービタ８２の許可に基づいてメモリ８３から読み出され、アービタ８２を介して供給されるＪＰＥＧ形式の画像データをＹＵＶ形式の画像データに伸張復号化処理してアービタ８２を介してメモリ８３に記憶する。２ＤＧエンジン８５は、アービタ８２の許可に基づいてメモリ８３から読み出した画像データに対して、ビットマップの処理、直線や曲線の描画、塗りつぶしなどの処理など、２次元的な描画処理を行う。３ＤＧエンジン８６は、アービタ８２の許可に基づいてメモリ８３から読み出した画像データに対して、所定の３次元グラフィックス描画関数を用いて３次元的な描画処理を行う。
【００２９】
ＦＩＦＯメモリ８７は、あるクロックに同期して、メモリ８３から読み出され、アービタ８２から供給される画像データを先入れで内部に記憶するとともに、上記クロックとは非同期の別個のクロックに同期して内部に記憶された画像データを先出しで読み出し、インタフェース８８に供給する。インタフェース８８は、インタフェース８９により制御され、第１チップセレクト信号ＣＳ_１をメイン液晶パネル５４に供給してメイン液晶パネル５４を活性化させつつ、アービタ８２の許可に基づいてメモリ８３から読み出し、ＦＩＦＯメモリ８７を経た画像データをメイン液晶パネル５４に供給するとともに、第２チップセレクト信号ＣＳ_２をサブ液晶パネル５５に供給してサブ液晶パネル５５を活性化させつつ、アービタ８２の許可に基づいてメモリ８３から読み出し、ＦＩＦＯメモリ８７を経た画像データをサブ液晶パネル５５に供給する。インタフェース８９は、アービタ８２及びインタフェース８８を制御する。
【００３０】
ＣＰＵ５３は、インタフェースＬＳＩ５２とは３２ビットの高速メモリバス９０を介して接続され、図示せぬプログラムメモリに記憶されたプログラムを実行してカメラ付き携帯端末の各部を制御する。また、ＣＰＵ５３は、インタフェース８９及びインタフェース８８を介してメイン液晶パネル５４及びサブ液晶パネル５５に直接アクセスする。メイン液晶パネル５４及びサブ液晶パネル５５は、表示画面画素が例えば、３２０×２４０画素であり、電池の電池残量情報やアンテナの感度情報等の携帯端末内部の情報、相手先の電話番号、電子メールの文章、相手先に送信する電子メールに添付する画像、相手先から送信された電子メールに添付された画像、ＷＷＷ（ＷｏｒｌｄＷｉｄｅＷｅｂ）サーバの各種コンテンツ提供者から提供されるコンテンツを示す画像などが表示される。また、メイン液晶パネル５４及びサブ液晶パネル５５は、カメラモード時には、カメラファインダとして利用される他、撮影結果である画像が表示される。
【００３１】
次に、上記構成のカメラ付き携帯端末の動作のうち、カメラモードについて説明する。カメラモードには、モバイルカメラモードとデジタルカメラモードとがある。モバイルカメラモードとは、この例では３２０×２４０画素の小さいサイズの画像を撮影し保存するモードであり、撮影して得られた画像データを電子メールに添付したり、いわゆる壁紙に利用したするなど画像を手軽に楽しむことができる。デジタルカメラモードとは、この例では１２８０×９６０画素の大きいサイズの画像を撮影し保存するモードであり、撮影して得られた画像データはＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリカード（商標名）に保存し、ＳＤメモリカードが使用可能なパーソナルコンピュータや携帯情報端末などにより高解像度の画像を楽しむことができる。また、デジタルカメラモードでは、撮影と同時に得られた画像データをモバイルカメラモードと同じサイズの小さな画像（サムネイル）データに変換して保存することもできる。
【００３２】
まず、デジタルカメラモードにおける動作ついて、図３を参照して説明する。
インタフェースＬＳＩ５２から約４８ＭＨｚの周波数（第１の周波数）を有するクロックが供給されるＤＳＰ６２において、図３に示すように、カメラセンサ６１からアナログの映像信号Ｓ_Ｐが供給されると、図２に示すＡＤＣ７２は、アナログの映像信号Ｓ_Ｐを１画素８ビットのデジタルの画像データＤ_Ｐ０に変換する。この例では、カメラセンサ１１の記録解像度が１２８０×９６０画素であり、１画素当たり８ビットであるから、１，２２８，８００ビットのデータ量となる。上記画像データＤ_Ｐ０は、調整回路７３においてホワイトバランスや露光ゲイン調整などの画像処理が施された後、画像処理後の画像データが画像データＤ_Ｐ１として、外部ＲＡＭコントローラ７４により制御された外部ＲＡＭ６３に直接格納されてバッファリングされる。この一連の処理がなされるパスを静止画像処理パスと呼ぶ。この場合、外部ＲＡＭ６３は、例えば、図３に示すように、１面記憶エリア６３_ａと２面記憶エリア６３_ｂとからなるダブルバッファリング構成として、画像処理におけるタイムロスをリカバリできるようにしても良い。
【００３３】
また、上記画像データＤ_Ｐ１は、メイン液晶パネル５４及びサブ液晶パネル５５をカメラファインダとして用いて表示されるために、ＲＳＰＢ７６にも供給される。すなわち、ＲＳＰＢ７６は、１画素当たり８ビット、１フレームで１２８０×９６０画素の画像データＤ_Ｐ１を１画素当たり８ビット、１フレームで３２０×２４０画素の画像データＤ_Ｐ３にリサイズ化処理を行った後、画像データＤ_Ｐ３をＦＴＢ７７に供給する。これにより、ＦＴＢ７７は、ＲＧＢ形式の画像データである赤データＲ、緑データＧ、青データＢからなる画像データＤ_Ｐ３をＹＵＶ形式の画像データである輝度データＹ、色差データＵ、色差データＶからなる画像データＤ_Ｐ４に変換して１６ビット幅のバス７９を介してインタフェースＬＳＩ５２に供給する。これにより、画像データＤ_Ｐ４は、インタフェースＬＳＩ５２を経てメイン液晶パネル５４又はサブ液晶パネル５５に供給されて表示される。この一連の処理がなされるパスをカメラファインダパスと呼ぶ。
【００３４】
一方、カメラファインダパスにおいて処理が行われていない空き時間では、エンコーダ７４は、約１２ＭＨｚのクロックにより動作して、内部ＲＡＭ７５を圧縮符号化処理バッファとして用いて、外部ＲＡＭコントローラ７３の制御の下に外部ＲＡＭ６３から読み出される画像データＤ_Ｐ１を時分割でＪＰＥＧ形式の画像データＤ_Ｐ２に圧縮符号化処理した後、外部ＲＡＭ６３の空き記憶エリアに記憶する。通常、この処理は、カメラファインダパスにおいて３フレーム分の画像を処理している期間の空き時間に１フレーム分の静止画像を圧縮符号化処理することができるように設計する。なお、上記したタイミングで圧縮符号化処理が実行できない場合には、約１２ＭＨｚのクロックの周波数を位相同期ループ（ＰＬＬ；ＰｈａｓｅＬｏｃｋｅｄＬｏｏｐ）回路により逓倍して用いれば良い。
以上説明した圧縮符号化処理が終了すると、その旨がインタフェースＬＳＩ５２に通知され、さらにＣＰＵ５３に通知される。これにより、ＣＰＵ５３は、必要とするタイミングで外部ＲＡＭ６３に記憶された画像データＤ_Ｐ２をインタフェース５２を構成するレジスタ８０を介して取り込むことができ、分散処理を実現することができる。また、ＣＰＵ５３は、カメラファインダ用の画像データＤ_Ｐ４に関与することはないので、その負担が軽減される。
【００３５】
次に、モバイルカメラモードにおける動作について、図４を参照して説明する。この場合、外部ＲＡＭ６３は電源がオフされ、非動作状態となる。図４において外部ＲＡＭ６３が破線で表されているのは、非動作状態であること意味している。インタフェースＬＳＩ５２から約１２ＭＨｚの周波数（第２の周波数）を有するクロックが供給されるＤＳＰ６２において、図４に示すように、カメラセンサ６１からアナログの映像信号Ｓ_Ｐが供給されると、図２に示すＡＤＣ７２は、アナログの映像信号Ｓ_Ｐを１画素８ビットのデジタルの画像データＤ_Ｐ０に変換する。上記画像データＤ_Ｐ０は、調整回路７３においてホワイトバランスや露光ゲイン調整などの画像処理が施された後、画像処理後の画像データが画像データＤ_Ｐ１として、圧縮符号化処理に用いられるために内部ＲＡＭ７５にバッファリングされるとともに、ＲＳＰＢ７６に供給される。これにより、ＲＳＰＢ７６は、上記画像データＤ_Ｐ１、すなわち、１画素当たり８ビット、１フレームで１２８０×９６０画素の画像データＤ_Ｐ１を、１画素当たり８ビット、１フレームで３２０×２４０画素の画像データＤ_Ｐ３にリサイズ化処理を行った後、画像データＤ_Ｐ３を、内部ＲＡＭ７５に格納することによりバッファリングするとともに、ＦＴＢ７７に供給する。したがって、ＦＴＢ７７は、ＲＧＢ形式の画像データである赤データＲ、緑データＧ、青データＢからなる画像データＤ_Ｐ３をＹＵＶ形式の画像データである輝度データＹ、色差データＵ、色差データＶからなる画像データＤ_Ｐ４に変換して１６ビット幅のバス７９を介してインタフェースＬＳＩ５２に供給する。これにより、画像データＤ_Ｐ４は、インタフェースＬＳＩ５２を経てメイン液晶パネル５４又はサブ液晶パネル５５に供給されて表示される。この一連の処理がなされるパスをカメラファインダパスと呼ぶ。
【００３６】
一方、カメラファインダパスにおいて処理が行われていない空き時間では、エンコーダ７４は、約１２ＭＨｚのクロックにより動作して、内部ＲＡＭ７５を圧縮符号化処理バッファとして用いて、内部ＲＡＭ７５の他の記憶エリアから読み出される画像データＤ_Ｐ１を時分割でＪＰＥＧ形式の画像データＤ_Ｐ２に圧縮符号化処理した後、内部ＲＡＭ７５の空き記憶エリアに記憶する。通常、この処理は、カメラファインダパスにおける処理の３フレーム分に相当するように予め設定しておき、カメラファインダパスでの処理において３フレーム分の画像をメイン液晶パネル５４又はサブ液晶パネル５５に表示している間に１フレーム分の静止画像を処理することができるように設計する。なお、上記したタイミングで圧縮符号化処理が実行できない場合には、約１２ＭＨｚのクロックの周波数をＰＬＬ回路により逓倍して用いれば良い。
以上説明した圧縮符号化処理が終了すると、その旨がインタフェースＬＳＩ５２に通知され、さらにＣＰＵ５３に通知される。これにより、ＣＰＵ５３は、必要とするタイミングで内部ＲＡＭ７５に記憶された画像データＤ_Ｐ２をインタフェース５２を構成するレジスタ８０を介して取り込むことができ、分散処理を実現することができる。また、ＣＰＵ５３は、カメラファインダ用の画像データＤ_Ｐ４に関与することはないので、その負担が軽減される。
【００３７】
ここで、図５に、以上説明したこの例のカメラ付き携帯端末のモバイルカメラモードとデジタルカメラモードにおける内部ＲＡＭ７５と外部ＲＡＭ６３の役割及びインタフェースＬＳＩ５２のクロックについて示す。すなわち、モバイルカメラモードでは、処理すべき画像データの画素数が３２０×２４０画素と少なく、また供給されるクロックの周波数も低いため、外部ＲＡＭ６３を非動作状態として消費電力を低減した状態であっても、内部ＲＡＭ７５だけを用いて十分に画像処理を行うことができる。これに対し、モバイルカメラモードでは、処理すべき画像データの画素数が１２８０×９６０画素と多く、また供給されるクロックの周波数も高いため、外部ＲＡＭ６３をフレームバッファ及びデータバッファとして用いて画像処理を行うとともに、内部ＲＡＭ７５を圧縮符号化処理バッファとしてのみ用いて画像処理を行うことにより分散処理を実現している。
【００３８】
このように、この例の構成によれば、カメラモジュール５１に外部ＲＡＭ１３を設け、デジタルカメラモード時に静止画像処理用の画像データＤ_Ｐ２をバッファリングするとともに、カメラファインダパスにおいて処理が行われていない空き時間に静止画像の圧縮符号化処理を行ってカメラファインダ用の画像データＤ_Ｐ４と静止画像処理用の画像データＤ_Ｐ２とをそれぞれ別のシリアルバス７８及びバス７９を介してインタフェースＬＳＩ５２に供給している。
これにより、膨大な画像データの圧縮符号化処理がリアルタイムであることを要求されることなく実行することができるとともに、ＣＰＵ５３の負荷が分散され、かつ、優先順位の高いカメラファインダパスにおける処理を確実に実行することができる。また、ＣＰＵ５３の負荷が分散されるので、圧縮符号化処理が完全にリアルタイム性を損なうことなく行うことができる。
【００３９】
この結果、低い周波数のクロックをカメラモジュール５１に供給するとともに、インタフェースＬＳＩ５２を構成するメモリ８３の記憶容量が少ない場合であっても、短いデータ処理時間でカメラモジュール５１からインタフェースＬＳＩ５２に供給される高画素の画像データを処理することができる。したがって、携帯端末の消費電力を削減することができ、バッテリの寿命を延ばすことができる。また、インタフェースＬＳＩ２で用いるクロックの周波数が低いので、高周波数に起因するノイズ等の悪影響を防止することができる。ここで、図６に、モバイルカメラモード及びデジタルカメラモードにおけるカメラモジュール及びインタフェースＬＳＩの動作クロックに関する従来技術と実施例との比較結果を示す。図６から分かるように、この実施例においては、いずれのモードにおいてもインタフェースＬＳＩ５２の動作クロックの周波数は約４８ＭＨｚであるが、図８に示す従来技術においてこの実施例と同等の機能を発揮するためには、インタフェースＬＳＩ２の動作クロックの周波数は約２００ＭＨｚでなければならない。これにより、従来技術ではノイズの悪影響が出てしまう。
【００４０】
また、図７に、カメラモジュール及びインタフェースＬＳＩを構成するゲートのゲート数に関する従来技術と実施例との比較結果を示す。図７から分かるように、カメラモジュールについては、この実施例において外部ＲＡＭ６３を設けるため、ゲート数が若干増加しているが、インタフェースＬＳＩについては、この実施例のゲート数が従来技術のゲート数の約１／６となる。これは、この実施例においては、静止画像データの圧縮符号化処理をカメラモジュール５１内部で行い、インタフェースＬＳＩ５２においてはその分メモリ使用の競合が少なく、メモリ８３の記憶容量を３２０キロバイトに抑えることができるからである。この結果、この実施例におけるカメラモジュール及びインタフェースＬＳＩの合計のゲート数は従来技術のそれの約半分になっている。これにより、インタフェースＬＳＩ５２のチップ面積が大幅に削減され、インタフェースＬＳＩ５２の価格、ひいてはカメラ付き携帯端末の価格を減少させることができる。
【００４１】
以上、この発明の実施例を図面を参照して詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。
例えば、上述の実施例においては、カメラセンサ６１は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光学フィルタ１７_Ｒ、１７_Ｇ、１７_Ｂを用いることによりアナログの映像赤信号、映像緑信号、映像青信号からなるアナログの映像信号Ｓ_Ｐを出力する例を示したが、これに限定されない。カメラセンサ６１は、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の補色にあたる黄色、マゼンタ、シアンさらには緑の光学フィルタを用いることによりアナログの映像黄色信号、映像マゼンタ信号、映像シアン信号さらには映像緑信号からなるアナログの映像信号を出力するように構成しても良い。
また、上述の実施例においては、カメラセンサ６１がＣＭＯＳセンサである例を示したが、これに限定されず、カメラセンサ６１はＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサであっても良い。
また、上述の実施例においては、メイン液晶パネル５４及びサブ液晶パネル５５の両方を設ける例を示したが、これに限定されず、いずれか一方のみを設けるようにしても良い。さらに、カメラ付き携帯端末の表示部は、液晶パネルに限らず、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、プラズマディスプレイパネル（ＰＤＰ：ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）でも良い。
【００４２】
また、上述の実施例においては、デジタルカメラモード時にインタフェースＬＳＩ５２からカメラモジュール５１に約４８ＭＨｚの周波数を有するクロックを供給する例を示したが、これに限定されず、デジタルカメラモード時にインタフェースＬＳＩ５２からカメラモジュール５１に約１２ＭＨｚ又は約２４ＭＨｚの周波数を有するクロックを供給するように構成しても良い。この場合、外部ＲＡＭ６３において予め指定した回数ごとにフレームの画像データＤ_Ｐ１をバッファリングせず、指定されたフレームの画像データＤ_Ｐ１を順次外部ＲＡＭ６３に記憶し、エンコーダ７４が圧縮符号化処理を行うようにしても良い。
また、上述の実施例においては、デジタルカメラモード時に、外部ＲＡＭ６３を１面記憶エリア６３_ａ及び２面記憶エリア６３_ｂからなるダブルバッファリング構成とする例を示したが、これに限定されず、外部ＲＡＭ６３を３面、４面、５面の複数のフレームバッファ構成にしても良い。
【００４３】
また、上述の実施例においては、圧縮符号化処理は、１フレームごとに行う例を示したが、これに限定されない。例えば、静止画像を連続して撮影する連写が要求された場合には、ＣＰＵ５３があるフレームの圧縮符号化された画像データＤ_Ｐ２を取り込んでいる間に、次のフレームの画像データＤ_Ｐ１の外部ＲＡＭ６３へのバッファリングを開始することにより、完全にリアルタイム性を損なうことなく、圧縮符号化処理された静止画像データＤ_Ｐ２をＣＰＵ５３が取り込むことができ、静止画像の連写も実現することができる。
また、上述の実施例においては、ＪＰＥＧ形式の静止画像データを処理する例を示したが、これに限定されず、ＰＮＧ（ＰｏｒｔａｂｌｅＮｅｔｗｏｒｋＧｒａｐｈｉｃｓ）形式の静止画像データやＧＩＦ（ＧｒａｐｈｉｃｓＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）形式の静止画像データを処理するように構成しても良い。
また、上述の実施例においては、ＤＳＰ６２に調整回路７２を設ける例を示したが、これに限定されず、調整回路７２を設けなくても良い。
また、上述の実施例においては、画像データＤ_Ｐ２はカメラモジュール５１からシリアルバス７８を介してインタフェースＬＳＩ５２に供給される例を示したが、これに限定されず、画像データＤ_Ｐ２はカメラモジュール５１からパラレルのバスを介してインタフェースＬＳＩ５２に供給されるように構成しても良い。
【００４４】
また、上述の実施例においては、静止画像データを処理する例を示したが、これに限定されず、動画像データを処理するように構成しても良い。動画像データの形式としては、例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）４形式などがある。デジタルカメラモードにおいて、この動画像データを処理する場合、一旦外部ＲＡＭ６３に複数フレームごとに記憶された動画像データＤ_Ｐ１が順次読み出され、圧縮符号化処理された動画像データＤ_Ｐ２が順次外部ＲＡＭ６３の空きエリアに記憶される。圧縮符号化処理が終了すると、動画像データＤ_Ｐ２のキーフレームごとにその旨がインタフェースＬＳＩ５２、さらにはＣＰＵ５３に通知される。これにより、ＣＰＵ５３は、必要とするタイミングで外部ＲＡＭ６３に記憶された動画像データＤ_Ｐ２をインタフェース５２を構成するレジスタ８０を介して取り込むことができる。また、このような処理の代わりに、動画像データＤ_Ｐ２をストリーム・データとしてインタフェースＬＳＩ５２に供給する専用のバスを設けて、ＣＰＵ５３が要求した際に供給するストリーミング供給モードを備えるようにしても良い。この場合、インタフェースＬＳＩ５２の内部に動画像データＤ_Ｐ２を取り込むためのＦＩＦＯメモリを設けて、ＣＰＵ５３が別のタスク処理を実行しているなどのために、動画画像データＤ_Ｐ２を取り込むことができない場合であっても、動画像データＤ_Ｐ２を喪失することのないような構成にすることが必要である。
【００４５】
【発明の効果】
以上説明したように、この発明の構成によれば、カメラモジュールと、制御部と、表示部と、カメラモジュールと制御部及び表示部との間に設けられたインタフェース部とを備えている。カメラモジュールは、記録解像度が第１の画素数であり、撮影された画像に対応した第１の形式の映像信号を出力するカメラセンサと、映像信号に画像処理を施すデジタル・シグナル・プロセッサと、外部メモリとを有している。デジタル・シグナル・プロセッサは、映像信号を第１の画像データに変換するアナログ・デジタル変換器と、内部メモリと、第１の画像データを第２の画像データに圧縮符号化処理するエンコーダと、第１の画像データを第２の画素数を有する第３の画像データにリサイズ化するリサイズ処理部と、第３の画像データを第２の形式の第４の画像データに変換するフォーマット変換部とを有し、第４の画像データを表示部にカメラファインダ用に表示するために第１のバスを介してインタフェース部に供給している。そして、デジタルカメラモードでは、デジタル・シグナル・プロセッサにおいて、第１の画像データが外部メモリに一旦バッファリングされた後、リサイズ処理部及びフォーマット変換部において処理が行われていない空き時間に、エンコーダが内部メモリをバッファとして、外部メモリから読み出される第１の画像データを時分割で第２の画像データに圧縮符号化処理した後、外部メモリに記憶し、制御部は、必要に応じて外部メモリに記憶された第２の画像データを第２のバス及びインタフェース部を介して取り込んでいる。一方、モバイルカメラモードでは、外部メモリの電源がオフされ、デジタル・シグナル・プロセッサにおいて、第１の画像データが内部メモリに一旦バッファリングされた後、空き時間に、エンコーダが内部メモリをバッファとして、内部メモリから読み出される第１の画像データを時分割で第２の画像データに圧縮符号化処理した後、内部メモリに記憶し、制御部は、必要に応じて内部メモリに記憶された第２の画像データを第２のバス及びインタフェース部を介して取り込んでいる。
これにより、低い周波数のクロック及び記憶容量の少ないメモリを用いても短いデータ処理時間でカメラから供給される高画素の画像データを処理することができる。これにより、消費電力を削減することができるとともに、バッテリの寿命を延ばすことができ、さらに、ノイズの発生も抑えることができる。また、インタフェースＬＳＩ及びカメラ付き携帯端末を安価に構成することができる。
【図面の簡単な説明】
【図１】この発明の一実施例であるカメラ付き携帯端末の要部構成を示すブロック図である。
【図２】同端末を構成するＤＳＰ６２の構成を示すブロック図である。
【図３】同端末のデジタルカメラモードにおける動作を説明するための概念図である。
【図４】同端末のモバイルカメラモードにおける動作を説明するための概念図である。
【図５】同端末の各モードにおける各ＲＡＭの役割を説明するための図である。
【図６】各モードにおけるカメラモジュール及びインタフェースＬＳＩの動作クロックに関する従来技術と実施例との比較を説明するための図である。
【図７】カメラモジュール及びインタフェースＬＳＩを構成するゲートのゲート数に関する従来技術と実施例との比較を説明するための図である。
【図８】従来のカメラ付き携帯端末の要部構成例を示すブロック図である。
【図９】同端末を構成するカメラセンサ１１の一部構成例を示す回路図である。
【符号の説明】
５１カメラモジュール
５２インタフェースＬＳＩ（インタフェース部）
５３ＣＰＵ（制御部）
５４メイン液晶パネル（表示部）
５５サブ液晶パネル（表示部）
６１カメラセンサ
６２ＤＳＰ
６３外部ＲＡＭ（外部メモリ）
６３_ａ１面記憶エリア
６３_ｂ２面記憶エリア
７４エンコーダ
７５内部ＲＡＭ（内部メモリ）
７６ＲＳＰＢ（リサイズ処理部）
７７ＦＴＢ（フォーマット変換部）
７８シリアルバス（第２のバス）
７９バス（第１のバス）

Claims

カメラモジュールと、制御部と、表示部と、前記カメラモジュールと前記制御部及び前記表示部との間に設けられたインタフェース部とを備え、
前記カメラモジュールは、記録解像度が第１の画素数であり、撮影された画像に対応した第１の形式の映像信号を出力するカメラセンサと、前記映像信号に画像処理を施すデジタル・シグナル・プロセッサと、外部メモリとを有し、
前記デジタル・シグナル・プロセッサは、前記映像信号を第１の画像データに変換するアナログ・デジタル変換器と、内部メモリと、前記第１の画像データを第２の画像データに圧縮符号化処理するエンコーダと、前記第１の画像データを第２の画素数を有する第３の画像データにリサイズ化するリサイズ処理部と、前記第３の画像データを第２の形式の第４の画像データに変換するフォーマット変換部とを有し、前記第４の画像データを前記表示部にカメラファインダ用に表示するために第１のバスを介して前記インタフェース部に供給し、
デジタルカメラモードでは、前記デジタル・シグナル・プロセッサにおいて、前記第１の画像データが前記外部メモリに一旦バッファリングされた後、前記リサイズ処理部及び前記フォーマット変換部において処理が行われていない空き時間に、前記エンコーダが前記内部メモリをバッファとして、前記外部メモリから読み出される前記第１の画像データを時分割で前記第２の画像データに圧縮符号化処理した後、前記外部メモリに記憶し、前記制御部は、必要に応じて前記外部メモリに記憶された前記第２の画像データを第２のバス及び前記インタフェース部を介して取り込み、
モバイルカメラモードでは、前記外部メモリの電源がオフされ、前記デジタル・シグナル・プロセッサにおいて、前記第１の画像データが前記内部メモリに一旦バッファリングされた後、前記空き時間に、前記エンコーダが前記内部メモリをバッファとして、前記内部メモリから読み出される前記第１の画像データを時分割で前記第２の画像データに圧縮符号化処理した後、前記内部メモリに記憶し、前記制御部は、必要に応じて前記内部メモリに記憶された前記第２の画像データを第２のバス及び前記インタフェース部を介して取り込むことを特徴とするカメラ付き携帯端末。
前記デジタルカメラモードでは、前記外部メモリを複数のバッファリング構成とすることを特徴とする請求項１記載のカメラ付き携帯端末。
前記デジタルカメラモード及び前記モバイルカメラモードでは、前記リサイズ処理部及び前記フォーマット変換部において３フレーム分の画像を処理している期間の空き時間に、前記エンコーダが１フレーム分の画像を圧縮符号化処理をすることを特徴とする請求項１又は２記載のカメラ付き携帯端末。
前記デジタルカメラモード及び前記モバイルカメラモードでは、静止画像を連続して撮影する連写が要求された場合には、前記デジタル・シグナル・プロセッサにおいて、前記制御部があるフレームの前記第２の画像データを取り込んでいる間に、次のフレームの前記第２の画像データの前記外部メモリへのバッファリングが開始されることを特徴とする請求項１乃至３のいずれか１に記載のカメラ付き携帯端末。
前記デジタルカメラモードでは、動画像データを処理する場合には、前記デジタル・シグナル・プロセッサにおいて、一旦前記外部メモリに複数フレームごとに記憶された前記第１の画像データが順次読み出され、前記エンコーダにより圧縮符号化処理された前記第２の画像データが順次前記外部メモリに記憶され、前記圧縮符号化処理が終了すると、前記第２の画像データのキーフレームごとに圧縮符号化処理が終了した旨が前記インタフェース部及び前記制御部に通知されることを特徴とする請求項１乃至３のいずれか１に記載のカメラ付き携帯端末。
前記デジタルカメラモードでは、動画像データを処理する場合には、前記デジタル・シグナル・プロセッサにおいて、前記カメラモジュールと前記インタフェース部との間に、前記動画像データをストリーム・データとして前記インタフェース部に供給する専用バスを設け、前記制御部が要求した際に前記第２の画像データを供給するストリーミング供給モードを有することを特徴とする請求項１乃至３のいずれか１に記載のカメラ付き携帯端末。
前記インタフェース部は、前記動画像データを取り込むための先入れ先出しメモリを有することを特徴とする請求項６記載のカメラ付き携帯端末。