【０００１】
【発明の属する技術分野】
本発明は、画像撮影機能や画像通信機能を備えた電子装置に用いて好適な画像処理装置、撮像装置及び画像圧縮表示装置に関する。
【０００２】
【従来の技術】
近年、携帯電話に代表される通信端末装置においても、カメラを内蔵させて静止画像撮影やテレビ電話などの動画像通信を実現させている。
【０００３】
一般に、テレビ電話など双方向の動画像通信に使われる動画像圧縮方式は、国際標準方式であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ）−４のシンプル・プロファイル、レベル１である。このＭＰＥＧ−４に準拠した画像データの一般的な解像度はＱＣＩＦ（１７６画素×１４４ライン）又はｓｕｂＱＣＩＦ（１２８画素×９６ライン）である。これに対して、静止画撮影機能において、より高解像度な画像データを得るため、例えばＶＧＡ（６４０画素×４８０ライン）など、ＱＣＩＦよりも高い解像度を有する撮像素子を有するカメラが用いられることがある。
【０００４】
ここで、例えばＶＧＡの解像度を有するカメラにおいて、ＱＣＩＦ解像度の画像データを得る場合、ＶＧＡ解像度の画像データの中から任意の矩形領域を切り出し、その矩形領域の画像データに対し解像度変換を施してＱＣＩＦ解像度の画像データを得ることにより、電子ズームを実現することができる。この電子ズームにおいて、ＶＧＡ解像度の画像データの中から切り出す矩形領域の解像度がＱＣＩＦの解像度を上回る範囲であれば、一般に電子ズームによって得られた画像の解像度が劣化することは無い。
【０００５】
したがって、携帯電話に代表される通信端末装置において、ＶＧＡなどの解像度のカメラを搭載することは、静止画撮影機能においてより高解像度な画像データを得ることを可能にするだけでなく、ＱＣＩＦなどのより小さい解像度の画像データを得る場合に電子ズーム機能の実現を可能にする。なお、この場合、電子ズームによって得られる画像の解像度が劣化しない範囲で実現可能なズーム倍率は、カメラが具備する撮像素子の解像度をそのカメラが出力する画像データの解像度で除した数値となる。
【０００６】
一方、携帯電話に代表される通信端末装置に用いられる表示デバイスとして、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）がある。近年、この表示デバイスの解像度は増加の一途にある。
【０００７】
携帯電話に代表される通信端末装置において、例えばテレビ電話など双方向の動画像通信を実施する場合、国際標準方式に準拠した画像データの解像度であるＱＣＩＦ又はｓｕｂＱＣＩＦに対して表示デバイスの解像度の方が高くなることがある。この場合、カメラから得る画像の解像度を、動画像圧縮を行うための解像度に合わせてＱＣＩＦ又はｓｕｂＱＣＩＦとすると、表示デバイスの全画面にカメラからの画像を表示するためには、ＱＣＩＦ又はｓｕｂＱＣＩＦの画像データに対し画素間の補間演算を施して拡大することで表示デバイスの解像度の画像データを得ることになるので、解像感の劣化した画像となる。
【０００８】
また、カメラから得る画像の解像度を表示デバイスの解像度に合わせると、上述したように電子ズームによって得られる画像のズーム倍率は、カメラの撮像素子の解像度をカメラが出力する画像データの解像度で除した数値であるから、カメラから得る画像の解像度を実際の動画像圧縮に必要なＱＣＩＦ又はｓｕｂＱＣＩＦとする場合と比べてズーム倍率が小さくなってしまう。
【０００９】
従来、電子ズームの倍率を上げても表示画像の解像度を劣化させない方法が案出されている（例えば、特許文献１及び特許文献２参照）
【００１０】
【特許文献１】
特開２００１−１１１８８０号公報
【特許文献２】
特開平９−３２６９５７号公報
【００１１】
特許文献１では、低画素数の撮像素子と高画素数の撮像素子とを具備し、ユーザによる電子ズームの制御によって２つの撮像素子を切り替えて表示パネルへの画像表示を行うようにしている。これによって、電子ズーム処理時は高画素数の撮像素子から切り出された画像を表示するので、表示パネルに表示される画像の解像度が劣化することはない。
【００１２】
特許文献２では、撮像素子から出力されるアナログ画像信号をサンプリングクロックに同期したタイミングで画像メモリに書き込む構成を採り、出力画像データの表示倍率の設定に応じてメモリに書き込む入力画像データのサンプリング間隔を変化させるようにしている。これによって、解像度の高い画像データを画像メモリに記憶させ、モニターに表示した場合の画質劣化を防止する。
【００１３】
【発明が解決しようとする課題】
しかしながら、従来の通信端末装置においては、次のような問題がある。
特許文献１で開示された装置においては、２個の撮像素子を搭載する必要があることから回路規模が大きくなり、その分、小型化が困難でコスト高になる。
【００１４】
特許文献２で開示された装置においては、サンプリングクロックの周波数をズーム倍率に応じて適応的に制御する必要があり、また画像メモリといった大規模なメモリ部を必要とする。これは処理が煩雑化するとともに回路規模の増大を招き、その分上記同様に小型化が困難であり、またコスト高にもなる。
【００１５】
本発明は係る点に鑑みてなされたものであり、携帯電話に代表される画像撮影機能や画像通信機能を備えた電子装置において好適な解像度の画像表示および画像符号化を行うとともに、電子装置に好適な電子ズームを実現し、かつ回路規模を削減することができる画像処理装置、撮像装置及び画像圧縮表示装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１に係る発明の画像処理装置は、入力画像データから任意の矩形領域を抽出して第１の画像データを生成する矩形領域抽出手段と、前記矩形領域抽出手段で生成された第１の画像データの解像度を変換して第２の画像データを生成する解像度変換手段と、前記解像度変換手段で生成された第２の画像データを所定の出力フォーマットに従って出力する出力手段と、を具備する画像処理装置であって、前記出力手段は、複数の解像度の画像データに対応した複数の出力フォーマットを有し、前記解像度変換手段は、前記出力手段の有する複数の出力フォーマットの中から前記矩形領域抽出手段で抽出された第１の画像データの解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択して前記第１の画像データの解像度を選択した出力フォーマットに対応した解像度へ変換することによって前記第２の画像データを生成し、前記出力手段は、前記解像度変換手段で選択された出力フォーマットで前記第２の画像データを出力する構成を採る。
【００１７】
この構成によれば、入力画像データから抽出した任意の矩形領域の画像データを、矩形領域の解像度に応じて最適な解像度の出力画像データに変換することができるので、本画像処理装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００１８】
請求項２に係る発明の画像処理装置は、請求項１に係る発明の画像処理装置において、前記矩形領域抽出手段は、入力画像データから抽出する第１の画像データの解像度を連続的に増加又は減少する構成を採る。
【００１９】
この構成によれば、画像処理装置において連続的なズームアウトまたはズームインを実現することができる。
【００２０】
請求項３に係る発明の撮像装置は、撮像した被写体像を画像信号として出力する撮像素子と、被写体像を前記撮像素子へ結像するレンズと、前記撮像素子が出力した画像信号をディジタル画像データに変換する画像信号処理手段と、請求項１又は請求項２のいずれかに記載の画像処理装置と、を具備する構成を採る。
【００２１】
この構成によれば、レンズ、撮像素子、画像信号処理手段から得られたディジタル画像データから抽出した任意の矩形領域の画像データを、矩形領域の解像度に応じて最適な解像度の出力画像データに変換することができるので、本撮像装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００２２】
請求項４に係る発明の画像圧縮表示装置は、入力画像データの解像度を検出する解像度検出手段と、入力画像データの解像度を変換して第３の画像データを生成する解像度変換手段と、予め定められた第１の解像度の画像データを符号化して画像符号化データを出力する符号化手段と、予め定められた第２の解像度の画像データを表示する表示手段とを具備する画像圧縮表示装置であって、前記入力データの解像度が前記第１の解像度又は前記第２の解像度のいずれかであり、前記解像度変換手段は、前記解像度検出手段で検出された解像度が前記第１の解像度であった場合、前記入力画像データを前記第２の解像度へ変換して第３の画像データを生成し、前記解像度検出手段で検出された解像度が前記第２の解像度であった場合、前記入力画像データを前記第１の解像度へ変換して第３の画像データを生成し、前記符号化手段は、前記入力画像データと前記第３の画像データの中から前記第１の解像度の画像データを選択して符号化を行い、前記表示手段は、前記入力画像データと前記第３の画像データの中から前記第２の解像度の画像データを選択して表示を行う構成を採る。
【００２３】
この構成によれば、入力されたディジタル画像データの解像度から符号化および表示に適した解像度のディジタル画像データをそれぞれ生成して、画像符号化データを出力し且つ画像表示を行うことができるので、本画像圧縮表示装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００２４】
請求項５に係る発明の電子装置は、請求項３に係る発明の撮像装置と、請求項４に係る発明の画像圧縮表示装置と、を具備する構成を採る。
【００２５】
この構成によれば、電子装置において、上記構成の撮像装置及び上記構成の画像圧縮表示装置と同様な作用効果を得ることができる。
【００２６】
請求項６に係る発明の電子装置は、請求項５に係る発明の電子装置において、前記撮像装置が有する複数の画像フォーマットは、少なくとも画像圧縮表示装置が具備する符号化手段が符号化する画像データにおいて予め定められた第１の解像度と、画像圧縮表示装置が具備する表示手段が表示する画像データにおいて予め定められた第２の解像度とに対応した画像フォーマットを含み、前記撮像装置は、前記第１の解像度に対応した画像フォーマットと前記第２の解像度に対応した画像フォーマットとのいずれかを選択して画像データを出力する構成を採る。
【００２７】
この構成によれば、撮像装置で得られたディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が表示部の解像度以上であった場合は、矩形領域のディジタル画像データを表示部の解像度へ変換することで、ズーム倍率が小さい範囲においては表示用ディジタル画像データの解像度を高く保つことができるので、本画像処理装置、撮像装置及び画像圧縮表示装置を用いた電子装置の高画質化を図ることができる。
【００２８】
また、矩形領域の解像度が表示手段の解像度未満となった場合は、矩形領域のディジタル画像データを符号化手段の解像度へ変換することで、表示用ディジタル画像データおよび符号化用ディジタル画像データにおいて、最大限のズーム倍率を得ることができるので、本画像処理装置、撮像装置及び画像圧縮表示装置を用いた電子装置の高機能化を図ることができる。
【００２９】
さらに、以上の処理をフレームメモリ等の大容量メモリを使用せずに実現できるので、本画像処理装置、撮像装置及び画像圧縮表示装置を用いた電子装置において回路規模の削減を図ることができる。
【００３０】
請求項７に係る発明の電話装置は、請求項５又は請求項６のいずれかに係る発明の電子装置を具備する構成を採る。
【００３１】
この構成によれば、電話装置において、上記いずれかの構成の電子装置と同様な作用効果を得ることができる。
【００３２】
請求項８に係る発明の情報端末装置は、請求項５又は請求項６のいずれかに記載の電子装置を具備する構成を採る。
【００３３】
この構成によれば、情報端末装置において、上記いずれかの構成の電子装置と同様な作用効果を得ることができる。
【００３４】
請求項９に係る発明の移動局装置は、請求項５又は請求項６のいずれかに係る発明の電子装置を具備する構成を採る。
【００３５】
この構成によれば、移動局装置において、上記いずれかの構成の電子装置と同様な作用効果を得ることができる。
【００３６】
請求項１０に係る発明の移動体通信システムは、請求項９に係る発明の移動局装置を具備する構成を採る。
【００３７】
この構成によれば、移動体通信システムにおいて、上記構成の移動局装置と同様な作用効果を得ることができる。
【００３８】
請求項１１に係る発明の画像処理方法は、入力画像データから任意の矩形領域を抽出して第１の画像データを生成し、前記第１の画像データの解像度を変換して第２の画像データを生成し、前記第２の画像データを所定の出力フォーマットに従って出力する画像処理方法であって、複数の解像度の画像データに対応した複数の出力フォーマットの中から、前記第１の画像データの解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択し、前記第１の画像データの解像度を前記選択した出力フォーマットに対応した解像度へ変換することによって前記第２の画像データを生成し、選択した出力フォーマットで前記第２の画像データを出力する。
【００３９】
この方法によれば、入力画像データから抽出した任意の矩形領域の画像データを、矩形領域の解像度に応じて最適な解像度の出力画像データに変換することができるので、本画像処理方法を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００４０】
請求項１２に係る発明の画像圧縮表示方法は、入力画像データの解像度を検出し、入力画像データの解像度を変換して第３の画像データを生成し、予め定められた第１の解像度の画像データを符号化して画像符号化データを出力し、予め定められた第２の解像度の画像データを表示する画像圧縮表示方法であって、前記入力画像データの解像度は前記第１の解像度または前記第２の解像度のいずれかであり、前記入力画像データの解像度検出結果が前記第１の解像度であった場合、前記入力画像データを前記第２の解像度へ変換して第３の画像データを生成し、前記入力画像データの解像度検出結果が前記第２の解像度であった場合、前記入力画像データを前記第１の解像度へ変換して第３の画像データを生成し、前記入力画像データと前記第３の画像データの中から前記第１の解像度の画像データを選択して符号化を行い、前記入力画像データと前記第３の画像データの中から前記第２の解像度の画像データを選択して表示を行う。
【００４１】
この方法によれば、入力されたディジタル画像データの解像度から符号化および表示に適した解像度のディジタル画像データをそれぞれ生成して、画像符号化データを出力し、且つ画像表示を行うことができるので、本画像圧縮表示方法を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００４２】
【発明の実施の形態】
本発明の骨子は、画像処理装置では、撮像素子から出力された画像信号からディジタル画像データを生成し、生成したディジタル画像データから矩形領域を抽出し、その領域の解像度を、表示手段で表示する解像度または符号化手段で符号化する解像度のいずれかに適応的に変換して出力し、画像圧縮表示装置では、入力されたディジタル画像データの解像度を検出し、検出した解像度に応じて適応的に解像度変換を行うことで、表示手段で表示する画像の解像度と符号化手段で符号化する解像度を得るようにし、これによって表示用のディジタル画像データ及び符号化用のディジタル画像データにおいて最大限のズーム倍率を得るとともに、ズーム倍率の小さな範囲でも解像度を高く保つことにある。
【００４３】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４４】
（実施の形態１）
本発明の実施の形態１に係る電子装置は、撮像装置と、この撮像装置に用いられる画像処理装置と、画像圧縮表示装置とを備えて構成される。
【００４５】
図１は本発明の実施の形態１に係る電子装置の撮像装置の構成を示すブロック図である。この図において、本実施の形態に係る電子装置の撮像装置１は、レンズ１１と、撮像素子１２と、画像信号処理部１３と、画像処理装置１０とを備えて構成される。撮像素子１２には、図示していない被写体からの光がレンズ１１を通して入射する。撮像素子１２は、入射した被写体からの光に対して光電変換を行い、画像信号Ｓ１を生成する。生成した画像信号Ｓ１を画像信号処理部１３に入力する。画像信号処理部１３は、撮像素子１２から入力された画像信号Ｓ１に対してＡ／Ｄ変換や色変換などを行って例えば輝度データと色差データからなる第１のディジタル画像データＤ１を生成し、それを画像処理装置１０に入力する。
【００４６】
画像処理装置１０は、矩形領域抽出部１０１と、解像度変換部１０２と、インタフェース部１０３と、制御部１０４とを備えて構成される。矩形領域抽出部１０１は、制御部１０４から与えられる抽出領域指示Ｃ１に基づいて第１のディジタル画像データＤ１の中から矩形領域のディジタル画像データを抽出し、それを第２のディジタル画像データＤ２として解像度変換部１０２に入力する。解像度変換部１０２は、制御部１０４から与えられる出力解像度選択指示Ｃ２に基づいて第２のディジタル画像データＤ２の解像度を変換することでディジタル画像データＤ３を生成し、それをインタフェース部１０３に入力する。
【００４７】
図２は解像度変換部１０２の詳細な構成を示すブロック図である。この図において、解像度変換部１０２は、画素遅延部１０２１と、画素補間部１０２２と、ライン遅延部１０２３と、ライン補間部１０２４と、解像度変換制御部１０２５とを備えて構成される。画素遅延部１０２１は、画素遅延素子１０２１ａ、１０２１ｂ及び１０２１ｃを備えており、ライン遅延部１０２３は、ライン遅延素子１０２３ａ、１０２３ｂ、１０２３ｃを備えて構成される。
【００４８】
図３は、解像度変換部１０２における解像度変換処理の一例を説明するための図である。この図に示す例では第２のディジタル画像データＤ２の８画素（Ｘ１、…、Ｘ８）から、解像度変換後のディジタル画像データＤ３の５画素（Ｙ１、…、Ｙ５）を生成し、解像度を５／８に変換する例を示している。画素Ｙ１の画素値は、画素Ｘ１および画素Ｘ２の各画素値を重み付け平均することで得られる。また、画素Ｙ２の画素値は、画素Ｘ２および画素Ｘ３の各画素値を重み付け平均することで得られる。以下、同様に、解像度変換後のディジタル画像データＤ３の画素値は、第２のディジタル画像データＤ２から空間座標的に最も近い２画素の画素値を、空間的な距離に応じた重み付け平均することで得られる。
【００４９】
なお、図３は解像度を５／８の倍率で変換する例であるが、他の倍率についても同様の処理で変換を行うことができる。また、図３は第２のディジタル画像データＤ２に対して水平方向の解像度を変換する場合の説明図であるが、水平方向に隣接する画素を垂直方向に隣接する画素に置き換えることで垂直方向の解像度変換も同様に行うことができる。
【００５０】
図２に戻り、画素遅延部１０２１は、画素遅延素子１０２１ａ、１０２１ｂ、１０２１ｃによって水平方向に隣接する３画素の画素値を同時に画素補間部１０２２に入力する。画素補間部１０２２は、解像度変換制御部１０２５の指示に従い、画素遅延部１０２１から入力された水平方向に隣接する３画素の画素値から２画素を選択し、重み付け平均演算を行ってライン遅延部１０２３に入力する。ライン遅延部１０２３は、ライン遅延素子１０２３ａ、１０２３ｂ、１０２３ｃによって垂直方向に隣接する３画素を同時にライン補間部１０２４に入力する。ライン補間部１０２４は、解像度変換制御部１０２５の指示に従い、ライン遅延部１０２３から入力された垂直方向に隣接する３画素から２画素を選択し、重み付け平均演算を行って、解像度変換後のディジタル画像データＤ３として出力する。
【００５１】
解像度変換制御部１０２５は、出力解像度選択指示Ｃ２に基づいて解像度変換後のディジタル画像データＤ３の各画素に対し第２のディジタル画像データＤ２の中で水平方向に最も近い２画素を算出し、画素補間部１０２２に指示する。また、解像度変換制御部１０２５は、出力解像度選択指示Ｃ２に基づいて解像度変換後のディジタル画像データＤ３の各画素に対し第２のディジタル画像データＤ２の中で垂直方向に最も近い２画素を算出し、それをライン補間部１０２４に指示する。
【００５２】
図１に戻り、インタフェース部１０３は、複数の出力解像度に対応した出力フォーマットを有しており、制御部１０４から与えられる出力解像度選択指示Ｃ２に基づいて、解像度変換後のディジタル画像データＤ３に適した出力フォーマットを選択する。そして、選択した出力フォーマットに従って解像度変換後のディジタル画像データＤ３をインタフェース信号として出力する。このインタフェース信号は、例えばディジタル画像データ信号、垂直同期信号、水平同期信号、データクロックなどからなる。
【００５３】
制御部１０４は、矩形領域抽出部１０１が第１のディジタル画像データＤ１の中から抽出する矩形領域を指示する抽出領域指示Ｃ１を生成するとともに、インタフェース部１０３が有する複数の出力フォーマットの中から第２のディジタル画像データＤ２の解像度を超えない範囲で最大の解像度に対応した出力フォーマットを選択し、これを解像度選択指示Ｃ２として解像度変換部１０２とインタフェース部１０３に与える処理を行う。
【００５４】
ここで、インタフェース部１０３が有する出力フォーマットとして少なくとも画像圧縮表示装置２（図４参照）の符号化部２７で圧縮するディジタル画像データの解像度と、画像圧縮表示装置２の表示部２６で表示するディジタル画像データの解像度とを有しても良い。また、制御部１０４は、画像圧縮表示装置２の符号化部２７で圧縮するディジタル画像データの解像度と、画像圧縮表示装置２の表示部２６で表示するディジタル画像データの解像度とのいずれかを選択して出力解像度選択指示を生成し、解像度変換部１０２とインタフェース部１０３に入力するように構成しても良い。
【００５５】
このような構成において、矩形領域抽出部１０１にて第１のディジタル画像データＤ１の中から抽出された第２のディジタル画像データＤ２が、画像圧縮表示装置２の符号化部２７で圧縮するディジタル画像データの解像度または画像圧縮表示装置２（図４参照）の表示部２６で表示するディジタル画像データの解像度のいずれかの解像度に変換されてインタフェース信号として出力される。
【００５６】
以後、便宜的に画像圧縮表示装置２に入力されるインタフェース信号が、画像圧縮表示装置２の符号化部２７で圧縮するディジタル画像データの解像度または画像圧縮表示装置２の表示部２６で表示するディジタル画像データの解像度のいずれか一方の解像度のディジタル画像データ信号を含むものと仮定する。なお、この仮定は、画像圧縮表示装置２の説明のために便宜的に行うものであり、画像処理装置１０および撮像装置１の構成を限定するものではない。
【００５７】
このように、本実施の形態の撮像装置１は、レンズ１１、撮像素子１２、画像信号処理部１３から得られたディジタル画像データＤ１から抽出した任意の矩形領域の画像データを矩形領域の解像度に応じて最適な解像度の出力画像データに変換する。さらに、制御部１０４が矩形領域抽出部１０１へ出力する抽出領域指示Ｃ１において、第１のディジタル画像データＤ１の中から抽出する矩形領域の解像度を連続的に増加または減少させることにより、解像度変換後のディジタル画像データＤ３において連続的なズームアウトまたはズームインを実現する。そして、本実施の形態の画像処理装置１０は、撮像装置１で得られたディジタル画像データから任意の矩形領域を抽出し、その矩形領域の解像度に応じて最適な解像度のディジタル画像データを生成して画像圧縮表示装置２へ出力する。
【００５８】
なお、画像処理装置１０の解像度変換部１０２においては、解像度変換後のディジタル画像データＤ３の画素値が、第２のディジタル画像データＤ２から空間的に最も近い２画素の画素値を重み付け平均することで得られるものとしたが、これは本発明の構成を限定するものではなく、例えば最も近い１画素の画素値をそのまま解像度変換後のディジタル画像データＤ３の画素値として用いても良いし、または最も近い３画素以上の画素値に対して特定の演算処理を施すことで解像度変換後のディジタル画像データＤ３の画素値を算出しても良い。
【００５９】
次に、図４は、本発明の実施の形態１に係る電子装置の画像圧縮表示装置の構成を示すブロック図である。この図において、本実施の形態の画像圧縮表示装置２は、インタフェース部２０と、解像度検出部２１と、解像度変換部２２と、第１の選択部２３と、第２の選択部２４と、駆動信号生成部２５と、表示部２６と、符号化部２７とを備えて構成される。
【００６０】
インタフェース部２０は、画像圧縮表示装置２と上述した撮像装置１の画像処理装置１０とを接続し、画像処理装置１０から出力されたインタフェース信号即ちディジタル画像データＤ３を解像度検出部２１と解像度変換部２２と第１の選択部２３と第２の選択部２４それぞれに入力する。解像度検出部２１は、ディジタル画像データＤ３の解像度を検出し、解像度情報Ｓ２を解像度変換部２２と第１の選択部２３と第２の選択部２４それぞれに入力する。ここで、解像度情報Ｓ２は、符号化部２７で圧縮するディジタル画像データの解像度または表示部２６で表示するディジタル画像データの解像度のいずれかの解像度となる。
【００６１】
解像度情報Ｓ２が符号化部２７で圧縮するディジタル画像データの解像度であった場合、解像度変換部２２は、ディジタル画像データＤ３の解像度を表示部２６で表示するディジタル画像データの解像度に変換し、ディジタル画像データＤ４として第１の選択部２３と第２の選択部２４それぞれに入力する。他方、解像度情報Ｓ２が表示部２６で表示するディジタル画像データの解像度であった場合、解像度変換部２２は、ディジタル画像データＤ３の解像度を符号化部２７で圧縮するディジタル画像データの解像度に変換し、ディジタル画像データＤ４として第１の選択部２３と第２の選択部２４それぞれに入力する。
【００６２】
図５は解像度変換部２２の詳細な構成を示すブロック図である。この図において、解像度変換部２２は、画素遅延部２２１と、画素補間部２２２と、ライン遅延部２２３と、ライン補間部２２４と、解像度変換制御部２２５とを備えて構成される。画素遅延部２２１は、画素遅延素子２２１ａ、２２１ｂ、２２１ｃを備え、ライン遅延部２２３は、ライン遅延素子２２３ａ、２２３ｂ、２２３ｃを備えている。なお、画素遅延部２２１、画素補間部２２２、ライン遅延部２２３、ライン補間部２２４の動作は、図２で説明した画素遅延部１０２１、画素補間部１０２２、ライン遅延部１０２３、ライン補間部１０２４の動作とそれぞれ同様であるため、詳しい説明を省略する。
【００６３】
解像度変換制御部２２５は、解像度情報Ｓ２に基づいて解像度変換後のディジタル画像データＤ４の各画素に対し、ディジタル画像データＤ３の中で水平方向に最も近い２画素を算出し、それを画素補間部２２２に指示する。また、解像度変換制御部２２５は、解像度情報Ｓ２に基づいて解像度変換後のディジタル画像データＤ４の各画素に対し、ディジタル画像データＤ３の中で垂直方向に最も近い２画素を算出し、それをライン補間部２２４に指示する。
【００６４】
なお、本実施の形態の解像度変換部２２においては、解像度変換後のディジタル画像データＤ４の画素値は、ディジタル画像データＤ３から空間的に最も近い２画素の画素値を重み付け平均することで得られるものとしたが、これは本発明の構成を限定するものではなく、例えば最も近い１画素の画素値をそのまま解像度変換後のディジタル画像データＤ４の画素値として用いても良いし、または最も近い３画素以上の画素値に対して特定の演算処理を施すことで解像度変換後のディジタル画像データＤ４の画素値を算出しても良い。
【００６５】
図４に戻り、第１の選択部２３は、解像度情報Ｓ２が符号化部２７で圧縮するディジタル画像データの解像度であった場合、解像度変換後のディジタル画像データＤ４を選択し、表示用ディジタル画像データＤ５として駆動信号生成部２５に入力する。また、第１の選択部２３は、解像度情報Ｓ２が表示部２６で表示するディジタル画像データの解像度であった場合、ディジタル画像データＤ３を選択し、表示用ディジタル画像データＤ５として駆動信号生成部２５に入力する。
【００６６】
一方、解像度情報Ｓ２が符号化部２７で圧縮するディジタル画像データの解像度であった場合、第２の選択部２４は、ディジタル画像データＤ３を選択し、符号化用ディジタル画像データＤ６として符号化部２７に入力する。また、解像度情報Ｓ２が表示部２６で表示するディジタル画像データの解像度であった場合、第２の選択部２４は、解像度変換後のディジタル画像データＤ４を選択し、符号化用ディジタル画像データＤ６として符号化部２７に入力する。
【００６７】
駆動信号生成部２５は、入力された表示用ディジタル画像データＤ５から駆動信号Ｓ３を生成し表示部２６に入力する。この駆動信号Ｓ３は例えばディジタル画像データ信号、垂直同期信号、水平同期信号、データクロックなどからなる。また、駆動信号生成部２５は、例えば輝度および色差成分で構成されるディジタル画像データからＲＧＢ成分で構成されるディジタル画像データへの変換やディジタル画像データのγ調整、色調整などの信号処理を行う。表示部２６は、入力された駆動信号Ｓ３に従って画像を表示する。符号化部２７は、入力された符号化用ディジタル画像データＤ６を符号化し、画像符号化データＤ７を出力する。
【００６８】
このように、本実施の形態の画像圧縮表示装置２は、符号化および表示に適した解像度のディジタル画像データをそれぞれ生成して、画像符号化データ出力および画像表示を行うことにより、本画像処理装置、撮像装置、および画像圧縮表示装置を用いた電子装置の高画質化、高機能化と回路規模の削減を図ることができる。
【００６９】
図６及び図７は、本実施の形態に係る電子装置の画像処理装置１０、撮像装置１及び画像圧縮表示装置２の各入出力におけるディジタル画像データの具体的な解像度の一例を示す図である。なお、これらの図において図１及び図４と同一の信号については同一の符号を付すこととする。
【００７０】
ここで説明の便宜上、撮像素子１２の解像度をＶＧＡ（横６４０画素×縦４８０画素）、符号化部２７で符号化する符号化用ディジタル画像データＤ６の解像度をｓｕｂＱＣＩＦ（横１２８画素×縦９６画素）、表示部２６で表示する表示用ディジタル画像データＤ５の解像度をＱＶＧＡ（横３２０画素×縦２４０画素）と仮定する。なお、この仮定は、本実施の形態の画像処理装置１０、撮像装置１及び画像圧縮表示装置２の動作を説明するために便宜的に行うものであり、本発明の構成を限定するものではない。
【００７１】
撮像装置１では、解像度がＶＧＡである第１のディジタル画像データＤ１の中から矩形領域のディジタル画像データを抽出することで横ＡＨ画素×縦ＡＶ画素の第２のディジタル画像データＤ２を生成する。次に、第２のディジタル画像データＤ２の解像度がＱＶＧＡ以上であった場合、第２のディジタル画像データＤ２の解像度をＱＶＧＡへ変換し、解像度変換後のディジタル画像データＤ３を生成する。
【００７２】
また、第２のディジタル画像データＤ２の解像度がＱＶＧＡ未満であった場合、第２のディジタル画像データＤ２の解像度をｓｕｂＱＣＩＦに変換し、解像度変換後のディジタル画像データＤ３を生成する。解像度変換後のディジタル画像データＤ３は、所定の出力フォーマットに従ってインタフェース信号として画像圧縮表示装置２へ出力される。
【００７３】
画像圧縮表示装置２では、インタフェース信号からディジタル画像データＤ３を生成し、ディジタル画像データＤ３の解像度がＱＶＧＡであった場合、ディジタル画像データＤ３の解像度をｓｕｂＱＣＩＦに変換し、解像度変換後のディジタル画像データＤ４を生成する。また、ディジタル画像データＤ３の解像度がｓｕｂＱＣＩＦであった場合、ディジタル画像データＤ３の解像度をＱＶＧＡに変換し、解像度変換後のディジタル画像データＤ４を生成する。
【００７４】
ディジタル画像データＤ３の解像度がＱＶＧＡであった場合、ディジタル画像データＤ３を表示用ディジタル画像データＤ５として表示し、解像度変換後のディジタル画像データＤ４を符号化用ディジタル画像データＤ６として画像符号化データを生成する。
【００７５】
また、ディジタル画像データＤ３の解像度がｓｕｂＱＣＩＦであった場合、解像度変換後のディジタル画像データＤ４を表示用ディジタル画像データＤ５として表示し、ディジタル画像データＤ３を符号化用ディジタル画像データＤ６として画像符号化データを生成する。
【００７６】
以上のように、本実施の形態に係る電子装置によれば、撮像装置１で得られたディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が表示部２６の解像度以上であった場合は、矩形領域のディジタル画像データを表示部２６の解像度へ変換することで、ズーム倍率が小さい範囲においては表示用ディジタル画像データの解像度を高く保つことができ、高画質化を図ることができる。
【００７７】
また、矩形領域の解像度が表示部２６の解像度未満となった場合は、矩形領域のディジタル画像データを符号化部２７の解像度へ変換することで、表示用ディジタル画像データおよび符号化用ディジタル画像データにおいて、最大限のズーム倍率を得ることができ、高機能化を図ることができる。
【００７８】
さらに、以上の処理をフレームメモリ等の大容量メモリを使用せずに実現でき、回路規模の削減を図ることができる。
【００７９】
（実施の形態２）
図８は、本発明の実施の形態２に係る電子装置の構成の例を示すブロック図である。なお、この図において、図１及び図４と同一のブロックおよび信号については同一の符号を付し、詳しい説明を省略する。
【００８０】
図８において、本実施の形態に係る電子装置は、アンテナ６０と、ＲＦ部６１と、ベースバンド信号処理部６２と、音声コーデック部６３と、レシーバ６４と、マイク６５と、ＣＰＵ６６と、画像伸張部６７と、セレクタ６８と、撮像装置１と、画像圧縮表示装置２とを備えて構成される。ベースバンド信号処理部６２と、音声コーデック部６３と、ＣＰＵ６６と、画像伸張部６７と、セレクタ６８と、画像圧縮表示装置２とがＣＰＵバス６００に接続される。
【００８１】
このような構成において、アンテナ６０にて受信された無線信号が受信信号としてＲＦ部６１に入力され、またＲＦ部６１から出力された送信信号がアンテナ６０から送信される。ＲＦ部６１は、アンテナ６０からの受信信号をベースバンド周波数にダウンコンバートしてベースバンド信号処理部６２へ出力し、またベースバンド信号処理部６２から入力された送信信号を無線周波数にアップコンバートしてアンテナ６０へ出力する。
【００８２】
ベースバンド信号処理部６２は、ＲＦ部６１から入力された受信信号を復調してＣＰＵ６６へ出力し、またＣＰＵ６６より入力された送信信号を変調してＲＦ部６１へ出力する。ＣＰＵ６６は、ベースバンド信号処理部６２から入力された受信信号が音声符号化データである場合、音声符号化データを音声コーデック部６３へ出力する。また、受信信号が画像符号化データである場合、画像符号化データを画像伸張部６７へ出力する。また、ＣＰＵ６６は音声コーデック部６３から入力された音声符号化信号を送信信号としてベースバンド信号処理部６２へ出力し、画像圧縮表示装置２から入力された画像符号化データを送信信号としてベースバンド信号処理部６２へ出力する。
【００８３】
音声コーデック部６３は、ＣＰＵ６６から入力された音声符号化データを復号化し、得られた音声信号をレシーバ６４へ出力し、またマイク６５から入力された音声信号を符号化し、得られた音声符号化信号をＣＰＵ６６へ出力する。レシーバ６４は、音声コーデック部６３から入力された音声信号を音声として出力する。マイク６５は、入力された音声を音声信号として音声コーデック部６３へ出力する。画像伸張部６７は、ＣＰＵ６６より入力された画像符号化データを復号し、得られた画像データを画像圧縮表示装置２における表示解像度に変換してインタフェース信号Ｓ５としてセレクタ６８へ出力する。撮像装置１は、撮像した画像データからインタフェース信号Ｓ６を生成しセレクタ６８へ出力する。
【００８４】
セレクタ６８は、ＣＰＵ６６からの制御に基づいてインタフェース信号Ｓ５、Ｓ６のいずれか一方を選択し、インタフェース信号Ｓ７として画像圧縮装置２へ出力する。画像圧縮表示装置２は、セレクタ６８からのインタフェース信号Ｓ７によって入力された画像データを表示するとともに、符号化処理を行って画像符号化データをＣＰＵ６６へ出力する。
【００８５】
次に、本実施の形態に係る電子装置の動作について説明する。
受信信号が、アンテナ６０、ＲＦ部６１、及びベースバンド信号処理部６２を介してＣＰＵ６６に入力される。受信した信号が画像符号化データである場合、ＣＰＵ６６は、画像符号化データを画像伸張部６７へ出力し、画像伸張部６７は画像符号化データを復号して得られた画像データを画像圧縮表示装置２における表示解像度に変換して画像圧縮表示装置２へ出力し、画像圧縮表示装置２において動画像が表示される。
【００８６】
撮像装置１は、撮像したディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が画像圧縮表示装置の表示解像度以上であった場合は、矩形領域のディジタル画像データを画像圧縮表示装置の表示解像度へ変換し、また矩形領域の解像度が画像圧縮表示装置の表示解像度未満となった場合は、矩形領域のディジタル画像データを画像圧縮表示装置の符号化解像度へ変換して、解像度変換後のディジタル画像データをインタフェース信号Ｓ６として出力する。
【００８７】
動画像圧縮表示装置２は、インタフェース信号Ｓ７から符号化に適した解像度のディジタル画像データと、表示に適した解像度のディジタル画像データとを生成する。また、動画像圧縮表示装置２は、符号化に適した解像度のディジタル画像データを符号化して画像符号化データをＣＰＵ６６へ出力し、画像符号化データはベースバンド信号処理部６２、ＲＦ部６１、アンテナ６０を通して送信される。さらに、動画像圧縮表示装置２は、表示に適した解像度のディジタル画像データの表示を行う。
【００８８】
受信した信号が音声符号化データである場合、ＣＰＵ６６は、音声符号化データを音声コーデック部６３へ出力し、音声コーデック部６３において音声符号化データから音声信号が生成され、レシーバ６４へ出力される。また、マイク６５から入力された音声信号が音声コーデック部６３において符号化されて、ベースバンド信号処理部６２、ＲＦ部６１、アンテナ６０を通して送信される。
【００８９】
このように、本実施の形態に係る電子装置によれば、撮像装置１で得られたディジタル画像データから任意の矩形領域を抽出し、矩形領域の解像度が画像圧縮表示装置２の表示解像度以上であった場合は、矩形領域のディジタル画像データを画像圧縮表示装置２の表示解像度へ変換することで、ズーム倍率が小さい範囲においては表示用ディジタル画像データの解像度を高く保つことができ、電子装置の高画質化を図ることができる。
【００９０】
また、矩形領域の解像度が画像圧縮表示装置２の表示解像度未満となった場合は、矩形領域のディジタル画像データを画像圧縮表示装置２の符号化解像度へ変換することで、表示用ディジタル画像データおよび符号化用ディジタル画像データにおいて最大限のズーム倍率を得ることができ、電子装置の高機能化を図ることができる。さらに以上の処理をフレームメモリ等の大容量メモリを使用せずに実現でき、電子装置において回路規模の削減を図ることができる。
【００９１】
なお、本実施の形態の画像処理装置１０、撮像装置１、および画像圧縮表示装置２は、移動通信システムにおける携帯電話機、携帯テレビ電話機、コンピュータ機能を備える通信端末機等の移動局装置または有線回線で接続される据え置き型の電話機やテレビ電話機、さらにはテレビ受像機、コンピュータおよびコンピュータ機能を有する情報端末装置等に用いることができる。この場合、電子装置において、フレームメモリ等の大容量メモリを使用せずに、ズーム倍率が小さい範囲において表示画像の解像度を高く保つことができ、また表示画像および符号化画像において最大限のズーム倍率を得ることができ、電子装置の高画質化、高機能化、回路規模の削減を図ることができる。
【００９２】
【発明の効果】
以上説明したように本発明によれば、携帯電話に代表される画像撮影機能や画像通信機能を備えた電子装置において、好適な解像度の画像表示および画像符号化を行うとともに、電子装置に好適な電子ズームを実現し、かつ回路規模を削減することができる画像処理装置、撮像装置および画像圧縮表示装置を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る電子装置の撮像装置の構成を示すブロック図
【図２】図１に示す撮像装置の構成の一部である画像処理装置の解像度変換部の詳細な構成を示すブロック図
【図３】図２に示す解像度変換部の処理例を示す説明図
【図４】本発明の実施の形態１に係る電子装置の画像圧縮表示装置の構成を示すブロック図
【図５】図４に示す画像圧縮表示装置の解像度変換部の詳細な構成を示すブロック図
【図６】本発明の実施の形態１に係る電子装置の処理過程を説明するための図
【図７】本発明の実施の形態１に係る電子装置の処理過程を説明するための図
【図８】本発明の実施の形態２に係る電子装置の構成を示すブロック図
【符号の説明】
１ 撮像装置
２ 画像圧縮表示装置
１０ 画像処理装置
１１ レンズ
１２ 撮像素子
１３ 画像信号処理部
２０ インタフェース部
２１ 解像度検出部
２２ 解像度変換部
２３ 第１の選択部
２４ 第２の選択部
２５ 駆動信号生成部
２６ 表示部
２７ 符号化部
１０１ 矩形領域抽出部
１０２ 解像度変換部
１０３ インタフェース部
１０４ 制御部
１０２１、２２１ 画素遅延部
１０２１ａ、１０２１ｂ、１０２１ｃ、２２１ａ、２２１ｂ、２２１ｃ 画素遅延素子
１０２２、２２２ 画素補間部
１０２３、２２３ ライン遅延部
１０２３ａ、１０２３ｂ、１０２３ｃ、２２３ａ、２２３ｂ、２２３ｃ ライン遅延素子
１０２４、２２４ ライン補間部
１０２５、２２５ 解像度変換制御部
６０ アンテナ
６１ ＲＦ部
６２ ベースバンド信号処理部
６３ 音声コーデック部
６４ レシーバ
６５ マイク
６６ ＣＰＵ
６７ 画像伸張部
６８ セレクタ
６００ ＣＰＵバス[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device, an imaging device, and an image compression display device suitable for use in an electronic device having an image capturing function and an image communication function.
[0002]
[Prior art]
In recent years, a communication terminal device represented by a mobile phone has also incorporated a camera to realize moving image communication such as still image shooting and videophone.
[0003]
In general, a moving image compression method used for two-way moving image communication such as a videophone is a simple profile, level 1 of MPEG (Moving Picture Experts Group) -4 which is an international standard method. The general resolution of image data conforming to the MPEG-4 is QCIF (176 pixels × 144 lines) or subQCIF (128 pixels × 96 lines). On the other hand, in the still image capturing function, a camera having an image sensor having a higher resolution than QCIF, such as VGA (640 pixels × 480 lines), may be used to obtain higher resolution image data. .
[0004]
Here, for example, when obtaining image data of QCIF resolution in a camera having a resolution of VGA, an arbitrary rectangular area is cut out from the image data of VGA resolution, and resolution conversion is performed on the image data of the rectangular area to perform QCIF. By obtaining image data of a resolution, electronic zoom can be realized. In this electronic zoom, the resolution of an image obtained by the electronic zoom does not generally deteriorate as long as the resolution of a rectangular area cut out from VGA resolution image data exceeds the QCIF resolution.
[0005]
Therefore, mounting a camera with a resolution such as VGA in a communication terminal device represented by a mobile phone not only enables a still image capturing function to obtain higher-resolution image data, but also enables a camera to obtain higher-resolution image data. It is possible to realize an electronic zoom function when obtaining image data of a smaller resolution. In this case, the zoom magnification that can be realized in a range where the resolution of the image obtained by the electronic zoom is not degraded is a numerical value obtained by dividing the resolution of the image sensor provided in the camera by the resolution of the image data output by the camera.
[0006]
On the other hand, as a display device used for a communication terminal device represented by a mobile phone, there is an LCD (Liquid Crystal Display). In recent years, the resolution of this display device is constantly increasing.
[0007]
In a communication terminal device represented by a mobile phone, for example, when performing bidirectional moving image communication such as a videophone, the resolution of the display device is higher than the resolution of image data QCIF or subQCIF conforming to the international standard. May be higher. In this case, assuming that the resolution of the image obtained from the camera is QCIF or subQCIF in accordance with the resolution for performing the moving image compression, in order to display the image from the camera on the entire screen of the display device, the image of QCIF or subQCIF is used. By performing interpolation operation between pixels on the data and enlarging the data, image data having the resolution of the display device is obtained, so that the image has a deteriorated resolution.
[0008]
Further, when the resolution of the image obtained from the camera is matched to the resolution of the display device, the zoom magnification of the image obtained by the electronic zoom as described above is obtained by dividing the resolution of the image sensor of the camera by the resolution of the image data output from the camera. Since it is a numerical value, the zoom magnification becomes smaller than when the resolution of the image obtained from the camera is QCIF or subQCIF necessary for actual moving image compression.
[0009]
Conventionally, a method has been devised in which the resolution of a displayed image is not degraded even when the magnification of the electronic zoom is increased (for example, see Patent Documents 1 and 2).
[0010]
[Patent Document 1]
JP 2001-111880 A
[Patent Document 2]
JP-A-9-326957
[0011]
In Patent Document 1, an image sensor having a low number of pixels and an image sensor having a high number of pixels are provided, and an image is displayed on a display panel by switching between the two image sensors under control of electronic zoom by a user. Thus, during the electronic zoom processing, an image cut out from the image sensor having a large number of pixels is displayed, so that the resolution of the image displayed on the display panel does not deteriorate.
[0012]
Patent Document 2 adopts a configuration in which an analog image signal output from an image sensor is written to an image memory at a timing synchronized with a sampling clock, and a sampling interval of input image data to be written to the memory according to a display magnification setting of output image data. Is changed. As a result, high-resolution image data is stored in the image memory, and image quality degradation when displayed on a monitor is prevented.
[0013]
[Problems to be solved by the invention]
However, the conventional communication terminal apparatus has the following problem.
In the device disclosed in Patent Document 1, since it is necessary to mount two image pickup devices, the circuit scale is increased, and accordingly, miniaturization is difficult and cost is increased.
[0014]
In the device disclosed in Patent Document 2, it is necessary to adaptively control the frequency of the sampling clock in accordance with the zoom magnification, and a large-scale memory unit such as an image memory is required. This complicates the processing and increases the circuit scale, which makes it difficult to reduce the size as described above and also increases the cost.
[0015]
The present invention has been made in view of the above points, and performs image display and image encoding at a suitable resolution in an electronic device having an image capturing function and an image communication function typified by a mobile phone. It is an object of the present invention to provide an image processing device, an imaging device, and an image compression display device that can realize a suitable electronic zoom and can reduce a circuit scale.
[0016]
[Means for Solving the Problems]
An image processing apparatus according to a first aspect of the present invention includes a rectangular area extracting unit that extracts an arbitrary rectangular area from input image data to generate first image data, and a first area generated by the rectangular area extracting unit. An image comprising: resolution conversion means for converting the resolution of image data to generate second image data; and output means for outputting the second image data generated by the resolution conversion means according to a predetermined output format. A processing device, wherein the output unit has a plurality of output formats corresponding to image data of a plurality of resolutions, and the resolution conversion unit extracts the rectangular area from the plurality of output formats of the output unit. Means for selecting the output format corresponding to the maximum resolution within a range not exceeding the resolution of the first image data extracted by the means, and changing the resolution of the first image data. The second image data is generated by converting the resolution to a resolution corresponding to the selected output format, and the output unit outputs the second image data in the output format selected by the resolution conversion unit. take.
[0017]
According to this configuration, image data of an arbitrary rectangular area extracted from the input image data can be converted into output image data of an optimum resolution according to the resolution of the rectangular area. It is possible to achieve higher image quality, higher functionality, and a smaller circuit size of the electronic device.
[0018]
An image processing apparatus according to a second aspect of the present invention is the image processing apparatus according to the first aspect, wherein the rectangular area extracting means continuously increases or decreases the resolution of the first image data extracted from the input image data. Take a decreasing configuration.
[0019]
According to this configuration, continuous zoom-out or zoom-in can be realized in the image processing apparatus.
[0020]
An image pickup device according to claim 3, wherein the image pickup device outputs a picked-up subject image as an image signal, a lens that forms the subject image on the image pickup device, and a digital image data output from the image pickup device. And an image processing device according to any one of claims 1 and 2.
[0021]
According to this configuration, the image data of an arbitrary rectangular area extracted from the digital image data obtained from the lens, the image sensor, and the image signal processing means is converted into output image data having an optimum resolution according to the resolution of the rectangular area. Therefore, it is possible to achieve higher image quality, higher function, and a smaller circuit size of an electronic device using the imaging apparatus.
[0022]
According to a fourth aspect of the present invention, there is provided an image compression display device, comprising: a resolution detection unit configured to detect a resolution of input image data; a resolution conversion unit configured to convert a resolution of the input image data to generate third image data; An image compression display device comprising: an encoding unit that encodes the obtained first resolution image data and outputs image encoded data; and a display unit that displays image data of a predetermined second resolution. The resolution of the input data is either the first resolution or the second resolution, and the resolution conversion means has the resolution detected by the resolution detection means is the first resolution. In the case, the input image data is converted to the second resolution to generate third image data, and when the resolution detected by the resolution detecting means is the second resolution, The image data is converted to the first resolution to generate third image data, and the encoding unit converts the image data of the first resolution from the input image data and the third image data. The encoding is performed selectively, and the display means selects and displays the image data of the second resolution from the input image data and the third image data.
[0023]
According to this configuration, it is possible to generate digital image data having a resolution suitable for encoding and display from the resolution of the input digital image data, output the image encoded data, and perform image display. It is possible to achieve higher image quality, higher function, and a smaller circuit size of an electronic device using the image compression display device.
[0024]
An electronic device according to a fifth aspect of the invention employs a configuration including the imaging device according to the third aspect and the image compression display device according to the fourth aspect.
[0025]
According to this configuration, in the electronic device, it is possible to obtain the same operation and effect as those of the imaging device having the above configuration and the image compression display device having the above configuration.
[0026]
An electronic device according to a sixth aspect of the present invention is the electronic device according to the fifth aspect of the present invention, wherein the plurality of image formats included in the imaging device are at least image data encoded by an encoding unit included in the image compression display device. Includes an image format corresponding to a predetermined first resolution and a predetermined second resolution in the image data displayed by the display means included in the image compression display device, wherein the imaging device includes A configuration is adopted in which one of the image format corresponding to the first resolution and the image format corresponding to the second resolution is selected and the image data is output.
[0027]
According to this configuration, an arbitrary rectangular area is extracted from the digital image data obtained by the imaging device, and if the resolution of the rectangular area is equal to or higher than the resolution of the display unit, the digital image data of the rectangular area is displayed on the display unit. By converting the resolution, the resolution of the digital image data for display can be kept high in a range where the zoom magnification is small, so that the image processing device, the imaging device, and the electronic device using the image compression display device can have high image quality. Can be achieved.
[0028]
Further, when the resolution of the rectangular area is lower than the resolution of the display means, the digital image data of the rectangular area is converted into the resolution of the encoding means, so that the display digital image data and the encoding digital image data have Since the maximum zoom magnification can be obtained, the functions of the electronic device using the image processing device, the imaging device, and the image compression display device can be enhanced.
[0029]
Furthermore, since the above processing can be realized without using a large-capacity memory such as a frame memory, the circuit scale can be reduced in an electronic device using the image processing device, the imaging device, and the image compression display device.
[0030]
A telephone device according to a seventh aspect of the invention employs a configuration including the electronic device according to the fifth or sixth aspect of the invention.
[0031]
According to this configuration, in the telephone device, the same operation and effect as those of the electronic device having any of the above configurations can be obtained.
[0032]
An information terminal device according to an eighth aspect of the present invention employs a configuration including the electronic device according to any one of the fifth and sixth aspects.
[0033]
According to this configuration, in the information terminal device, the same operation and effect as those of the electronic device having any of the above configurations can be obtained.
[0034]
A mobile station device according to a ninth aspect of the present invention employs a configuration including the electronic device according to the fifth or sixth aspect of the present invention.
[0035]
According to this configuration, in the mobile station device, the same operation and effect as those of the electronic device having any of the above configurations can be obtained.
[0036]
A mobile communication system according to a tenth aspect of the present invention employs a configuration including the mobile station device according to the ninth aspect.
[0037]
According to this configuration, in the mobile communication system, the same operation and effect as those of the mobile station device having the above configuration can be obtained.
[0038]
12. The image processing method according to claim 11, wherein an arbitrary rectangular area is extracted from the input image data to generate first image data, and a resolution of the first image data is converted to obtain a second image data. And outputting the second image data in accordance with a predetermined output format, wherein the resolution of the first image data is selected from among a plurality of output formats corresponding to a plurality of resolutions of image data. Selecting an output format corresponding to the maximum resolution within a range that does not exceed and converting the resolution of the first image data to a resolution corresponding to the selected output format to generate the second image data; The second image data is output in the selected output format.
[0039]
According to this method, the image data of an arbitrary rectangular area extracted from the input image data can be converted into output image data having an optimum resolution according to the resolution of the rectangular area. It is possible to achieve higher image quality, higher functionality, and a smaller circuit size of the electronic device.
[0040]
An image compression display method according to claim 12, wherein a resolution of the input image data is detected, the resolution of the input image data is converted to generate third image data, and an image having a predetermined first resolution is generated. An image compression display method for encoding image data, outputting image encoded data, and displaying image data having a predetermined second resolution, wherein the resolution of the input image data is the first resolution or the second resolution. If the resolution is one of the two resolutions and the resolution detection result of the input image data is the first resolution, the input image data is converted to the second resolution to generate third image data. When the resolution detection result of the input image data is the second resolution, the input image data is converted to the first resolution to generate third image data, and the input image data and the 3, the image data of the first resolution is selected from among the image data of 3 and the encoding is performed, and the image data of the second resolution is selected from the input image data and the third image data. Display.
[0041]
According to this method, it is possible to generate digital image data having a resolution suitable for encoding and display from the resolution of the input digital image data, output the encoded image data, and display the image. In addition, it is possible to achieve higher image quality, higher functionality, and a smaller circuit size of an electronic device using the image compression and display method.
[0042]
BEST MODE FOR CARRYING OUT THE INVENTION
The essence of the present invention is that in an image processing apparatus, digital image data is generated from an image signal output from an image sensor, a rectangular area is extracted from the generated digital image data, and the resolution of the area is displayed by a display unit. The image compression and display device detects the resolution of the input digital image data and adaptively converts it according to the detected resolution. By performing the resolution conversion, it is possible to obtain the resolution of the image displayed by the display means and the resolution to be encoded by the encoding means, thereby maximizing the zoom in the digital image data for display and the digital image data for encoding. In addition to obtaining the magnification, the resolution is kept high even in a small range of the zoom magnification.
[0043]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0044]
(Embodiment 1)
The electronic device according to the first embodiment of the present invention includes an imaging device, an image processing device used in the imaging device, and an image compression display device.
[0045]
FIG. 1 is a block diagram illustrating a configuration of an imaging device of an electronic device according to Embodiment 1 of the present invention. In this figure, an imaging device 1 of an electronic device according to the present embodiment includes a lens 11, an imaging element 12, an image signal processing unit 13, and an image processing device 10. Light from a subject (not shown) enters the image sensor 12 through the lens 11. The image sensor 12 performs photoelectric conversion on incident light from the subject to generate an image signal S1. The generated image signal S1 is input to the image signal processing unit 13. The image signal processing unit 13 performs A / D conversion, color conversion, and the like on the image signal S1 input from the image sensor 12 to generate first digital image data D1 including, for example, luminance data and color difference data, It is input to the image processing device 10.
[0046]
The image processing apparatus 10 includes a rectangular area extraction unit 101, a resolution conversion unit 102, an interface unit 103, and a control unit 104. The rectangular area extracting unit 101 extracts the digital image data of the rectangular area from the first digital image data D1 based on the extraction area instruction C1 given from the control unit 104, and uses it as the second digital image data D2. The resolution is input to the resolution conversion unit 102. The resolution conversion unit 102 generates digital image data D3 by converting the resolution of the second digital image data D2 based on the output resolution selection instruction C2 given from the control unit 104, and inputs the digital image data D3 to the interface unit 103. .
[0047]
FIG. 2 is a block diagram showing a detailed configuration of the resolution conversion unit 102. In this figure, the resolution conversion unit 102 includes a pixel delay unit 1021, a pixel interpolation unit 1022, a line delay unit 1023, a line interpolation unit 1024, and a resolution conversion control unit 1025. The pixel delay unit 1021 includes pixel delay elements 1021a, 1021b, and 1021c, and the line delay unit 1023 includes line delay elements 1023a, 1023b, and 1023c.
[0048]
FIG. 3 is a diagram for explaining an example of the resolution conversion process in the resolution conversion unit 102. In the example shown in this figure, five pixels (Y1,..., Y5) of the digital image data D3 after resolution conversion are generated from eight pixels (X1,..., X8) of the second digital image data D2, and the resolution is set to five. / 8 is shown as an example. The pixel value of the pixel Y1 is obtained by weighting and averaging the pixel values of the pixel X1 and the pixel X2. The pixel value of the pixel Y2 is obtained by weighting and averaging the pixel values of the pixel X2 and the pixel X3. Hereinafter, similarly, the pixel value of the digital image data D3 after the resolution conversion is obtained by weighting and averaging the pixel values of the two pixels closest in spatial coordinates from the second digital image data D2 according to the spatial distance. Is obtained.
[0049]
Although FIG. 3 shows an example in which the resolution is converted at a magnification of 5/8, the conversion can be performed by the same processing for other magnifications. FIG. 3 is an explanatory diagram of the case where the resolution in the horizontal direction is converted with respect to the second digital image data D2. The vertical adjacent pixels are replaced by the pixels adjacent in the horizontal direction by the pixels adjacent in the vertical direction. Resolution conversion can be performed similarly.
[0050]
Returning to FIG. 2, the pixel delay unit 1021 simultaneously inputs the pixel values of three horizontally adjacent pixels to the pixel interpolation unit 1022 by the pixel delay elements 1021a, 1021b, and 1021c. The pixel interpolation unit 1022 selects two pixels from the pixel values of three horizontally adjacent pixels input from the pixel delay unit 1021 according to the instruction of the resolution conversion control unit 1025, performs a weighted average operation, and performs a line delay unit 1023 To enter. The line delay unit 1023 simultaneously inputs three vertically adjacent pixels to the line interpolation unit 1024 by the line delay elements 1023a, 1023b, and 1023c. The line interpolation unit 1024 selects two pixels from three vertically adjacent pixels input from the line delay unit 1023 according to the instruction of the resolution conversion control unit 1025, performs a weighted average operation, and performs a resolution-converted digital image. Output as data D3.
[0051]
The resolution conversion control unit 1025 calculates two pixels closest to the horizontal in the second digital image data D2 for each pixel of the digital image data D3 after the resolution conversion based on the output resolution selection instruction C2. An instruction is given to the interpolation unit 1022. Further, the resolution conversion control unit 1025 calculates the two pixels closest to the vertical in the second digital image data D2 for each pixel of the digital image data D3 after the resolution conversion based on the output resolution selection instruction C2. Is instructed to the line interpolation unit 1024.
[0052]
Returning to FIG. 1, the interface unit 103 has an output format corresponding to a plurality of output resolutions, and is suitable for the digital image data D3 after the resolution conversion based on the output resolution selection instruction C2 given from the control unit 104. Select the output format. Then, the digital image data D3 after resolution conversion is output as an interface signal according to the selected output format. The interface signal includes, for example, a digital image data signal, a vertical synchronization signal, a horizontal synchronization signal, a data clock, and the like.
[0053]
The control unit 104 generates an extraction area instruction C1 that indicates a rectangular area to be extracted from the first digital image data D1 by the rectangular area extraction unit 101, and outputs the extraction area instruction C1 from a plurality of output formats of the interface unit 103. Then, an output format corresponding to the maximum resolution within a range not exceeding the resolution of the digital image data D2 is selected, and the output format is given to the resolution conversion unit 102 and the interface unit 103 as a resolution selection instruction C2.
[0054]
Here, at least the resolution of the digital image data to be compressed by the encoding unit 27 of the image compression display device 2 (see FIG. 4) as the output format of the interface unit 103 and the digital format displayed by the display unit 26 of the image compression display device 2 Image data resolution. The control unit 104 selects one of the resolution of the digital image data to be compressed by the encoding unit 27 of the image compression display device 2 and the resolution of the digital image data to be displayed by the display unit 26 of the image compression display device 2. Then, an output resolution selection instruction may be generated and input to the resolution conversion unit 102 and the interface unit 103.
[0055]
In such a configuration, the second digital image data D2 extracted from the first digital image data D1 by the rectangular area extraction unit 101 is converted into a digital image to be compressed by the encoding unit 27 of the image compression and display device 2. The resolution is converted to one of the data resolution or the resolution of the digital image data displayed on the display unit 26 of the image compression display device 2 (see FIG. 4), and is output as an interface signal.
[0056]
Thereafter, for convenience, the interface signal input to the image compression display device 2 is the resolution of the digital image data to be compressed by the encoding unit 27 of the image compression display device 2 or the digital signal displayed on the display unit 26 of the image compression display device 2. It is assumed that a digital image data signal of one of the resolutions of the image data is included. Note that this assumption is made for the sake of convenience of the description of the image compression display device 2 and does not limit the configurations of the image processing device 10 and the imaging device 1.
[0057]
As described above, the imaging apparatus 1 of the present embodiment converts the image data of an arbitrary rectangular area extracted from the digital image data D1 obtained from the lens 11, the image sensor 12, and the image signal processing unit 13 to the resolution of the rectangular area. The image data is converted into output image data having an optimum resolution in accordance with the image data. Further, the control unit 104 continuously increases or decreases the resolution of the rectangular area extracted from the first digital image data D1 in the extraction area instruction C1 output to the rectangular area extraction unit 101, so that after the resolution conversion, Of the digital image data D3 of FIG. Then, the image processing apparatus 10 of the present embodiment extracts an arbitrary rectangular area from the digital image data obtained by the imaging apparatus 1, and generates digital image data having an optimal resolution according to the resolution of the rectangular area. And outputs it to the image compression display device 2.
[0058]
In the resolution conversion unit 102 of the image processing apparatus 10, the pixel value of the digital image data D3 after the resolution conversion is obtained by weighting and averaging the pixel values of two pixels spatially closest to the second digital image data D2. However, this does not limit the configuration of the present invention. For example, the pixel value of the closest one pixel may be directly used as the pixel value of the digital image data D3 after resolution conversion, or The pixel value of the digital image data D3 after the resolution conversion may be calculated by performing a specific arithmetic process on the nearest three or more pixel values.
[0059]
Next, FIG. 4 is a block diagram showing a configuration of the image compression display device of the electronic device according to Embodiment 1 of the present invention. In this figure, the image compression and display device 2 of the present embodiment includes an interface unit 20, a resolution detection unit 21, a resolution conversion unit 22, a first selection unit 23, a second selection unit 24, It comprises a signal generation unit 25, a display unit 26, and an encoding unit 27.
[0060]
The interface unit 20 connects the image compression and display device 2 and the image processing device 10 of the above-described imaging device 1, and converts an interface signal output from the image processing device 10, that is, digital image data D 3, into a resolution detection unit 21 and a resolution conversion unit. 22, a first selector 23 and a second selector 24. The resolution detector 21 detects the resolution of the digital image data D3, and inputs the resolution information S2 to each of the resolution converter 22, the first selector 23, and the second selector 24. Here, the resolution information S2 is one of the resolution of the digital image data compressed by the encoding unit 27 and the resolution of the digital image data displayed by the display unit 26.
[0061]
If the resolution information S2 is the resolution of the digital image data to be compressed by the encoding unit 27, the resolution conversion unit 22 converts the resolution of the digital image data D3 to the resolution of the digital image data to be displayed on the display unit 26, The image data D4 is input to each of the first selection unit 23 and the second selection unit 24. On the other hand, when the resolution information S2 is the resolution of the digital image data displayed on the display unit 26, the resolution conversion unit 22 converts the resolution of the digital image data D3 into the resolution of the digital image data to be compressed by the encoding unit 27. , As digital image data D4 to the first selector 23 and the second selector 24, respectively.
[0062]
FIG. 5 is a block diagram showing a detailed configuration of the resolution conversion unit 22. In the figure, the resolution conversion unit 22 includes a pixel delay unit 221, a pixel interpolation unit 222, a line delay unit 223, a line interpolation unit 224, and a resolution conversion control unit 225. The pixel delay unit 221 includes pixel delay elements 221a, 221b, and 221c, and the line delay unit 223 includes line delay elements 223a, 223b, and 223c. The operations of the pixel delay unit 221, the pixel interpolation unit 222, the line delay unit 223, and the line interpolation unit 224 are performed by the pixel delay unit 1021, the pixel interpolation unit 1022, the line delay unit 1023, and the line interpolation unit 1024 described with reference to FIG. The operations are the same as those described above, and a detailed description thereof will be omitted.
[0063]
The resolution conversion control unit 225 calculates, for each pixel of the digital image data D4 after the resolution conversion based on the resolution information S2, the two pixels closest to the horizontal direction in the digital image data D3, and calculates the two pixels in the pixel interpolation unit. Instruct 222. Further, the resolution conversion control unit 225 calculates, for each pixel of the digital image data D4 after the resolution conversion based on the resolution information S2, two pixels which are closest in the vertical direction in the digital image data D3, and calculates the two pixels in a line. An instruction is given to the interpolation unit 224.
[0064]
In the resolution conversion unit 22 of the present embodiment, the pixel values of the digital image data D4 after the resolution conversion are obtained by weighting and averaging the pixel values of two pixels that are spatially closest to the digital image data D3. However, this does not limit the configuration of the present invention. For example, the pixel value of the closest one pixel may be used as it is as the pixel value of the digital image data D4 after resolution conversion, or the closest three pixel values may be used. The pixel value of the digital image data D4 after the resolution conversion may be calculated by performing a specific arithmetic processing on the pixel value of the pixel or more.
[0065]
Referring back to FIG. 4, when the resolution information S2 is the resolution of the digital image data to be compressed by the encoding unit 27, the first selection unit 23 selects the digital image data D4 after the resolution conversion, and The data D5 is input to the drive signal generator 25. When the resolution information S2 is the resolution of the digital image data to be displayed on the display unit 26, the first selection unit 23 selects the digital image data D3 and sets the drive signal generation unit 25 as the display digital image data D5. To enter.
[0066]
On the other hand, if the resolution information S2 is the resolution of the digital image data to be compressed by the encoding unit 27, the second selecting unit 24 selects the digital image data D3 and sets the digital image data D6 as the encoding digital image data D6. Enter 27. When the resolution information S2 is the resolution of the digital image data to be displayed on the display unit 26, the second selecting unit 24 selects the digital image data D4 after the resolution conversion, and sets the digital image data D6 as the encoding digital image data D6. It is input to the encoding unit 27.
[0067]
The drive signal generation unit 25 generates a drive signal S3 from the input display digital image data D5 and inputs the drive signal S3 to the display unit 26. The drive signal S3 includes, for example, a digital image data signal, a vertical synchronizing signal, a horizontal synchronizing signal, a data clock, and the like. The drive signal generation unit 25 performs signal processing such as conversion from digital image data composed of luminance and color difference components to digital image data composed of RGB components, γ adjustment of digital image data, and color adjustment. . The display unit 26 displays an image according to the input drive signal S3. The encoding unit 27 encodes the input digital image data for encoding D6 and outputs encoded image data D7.
[0068]
As described above, the image compression and display apparatus 2 according to the present embodiment generates digital image data having resolutions suitable for encoding and display, performs image encoded data output and image display, and performs the image processing. It is possible to achieve higher image quality, higher functionality, and a smaller circuit size of an electronic device using the device, the imaging device, and the image compression display device.
[0069]
FIGS. 6 and 7 are diagrams illustrating an example of a specific resolution of digital image data at each input / output of the image processing device 10, the imaging device 1, and the image compression display device 2 of the electronic device according to the present embodiment. . In these drawings, the same signals as those in FIGS. 1 and 4 are denoted by the same reference numerals.
[0070]
Here, for convenience of explanation, the resolution of the image sensor 12 is VGA (640 horizontal pixels × 480 vertical pixels), and the resolution of the digital image data D6 for encoding to be encoded by the encoding unit 27 is subQCIF (128 horizontal pixels × 96 vertical pixels). It is assumed that the resolution of the display digital image data D5 displayed on the display unit 26 is QVGA (320 horizontal pixels × 240 vertical pixels). Note that this assumption is made for the sake of convenience in describing the operations of the image processing device 10, the imaging device 1, and the image compression display device 2 of the present embodiment, and does not limit the configuration of the present invention. .
[0071]
The imaging apparatus 1 generates second digital image data D2 of horizontal AH pixels × vertical AV pixels by extracting digital image data of a rectangular area from the first digital image data D1 having a resolution of VGA. Next, when the resolution of the second digital image data D2 is equal to or higher than QVGA, the resolution of the second digital image data D2 is converted to QVGA, and digital image data D3 after the resolution conversion is generated.
[0072]
If the resolution of the second digital image data D2 is lower than QVGA, the resolution of the second digital image data D2 is converted to subQCIF, and the digital image data D3 after the resolution conversion is generated. The digital image data D3 after the resolution conversion is output to the image compression and display device 2 as an interface signal according to a predetermined output format.
[0073]
The image compression and display device 2 generates digital image data D3 from the interface signal. If the resolution of the digital image data D3 is QVGA, the resolution of the digital image data D3 is converted to subQCIF, and the digital image data after the resolution conversion is converted. Generate D4. If the resolution of the digital image data D3 is subQCIF, the resolution of the digital image data D3 is converted to QVGA, and the converted digital image data D4 is generated.
[0074]
When the resolution of the digital image data D3 is QVGA, the digital image data D3 is displayed as the display digital image data D5, and the digital image data D4 after the resolution conversion is used as the encoding digital image data D6. Generate.
[0075]
When the resolution of the digital image data D3 is subQCIF, the digital image data D4 after the resolution conversion is displayed as the display digital image data D5, and the digital image data D3 is encoded as the encoding digital image data D6. Generate data.
[0076]
As described above, according to the electronic device according to the present embodiment, an arbitrary rectangular area is extracted from the digital image data obtained by the imaging device 1, and the resolution of the rectangular area is equal to or higher than the resolution of the display unit 26. In this case, by converting the digital image data of the rectangular area to the resolution of the display unit 26, the resolution of the display digital image data can be kept high in a range where the zoom magnification is small, and high image quality can be achieved. .
[0077]
When the resolution of the rectangular area is lower than the resolution of the display unit 26, the digital image data of the rectangular area is converted into the resolution of the encoding unit 27, so that the display digital image data and the encoding digital image data are converted. In this case, the maximum zoom magnification can be obtained, and high functionality can be achieved.
[0078]
Further, the above processing can be realized without using a large-capacity memory such as a frame memory, and the circuit scale can be reduced.
[0079]
(Embodiment 2)
FIG. 8 is a block diagram illustrating an example of a configuration of an electronic device according to Embodiment 2 of the present invention. In this figure, the same blocks and signals as those in FIGS. 1 and 4 are denoted by the same reference numerals, and detailed description thereof will be omitted.
[0080]
8, the electronic device according to the present embodiment includes an antenna 60, an RF unit 61, a baseband signal processing unit 62, an audio codec unit 63, a receiver 64, a microphone 65, a CPU 66, an image The configuration includes a unit 67, a selector 68, the imaging device 1, and the image compression and display device 2. The baseband signal processing unit 62, the audio codec unit 63, the CPU 66, the image decompression unit 67, the selector 68, and the image compression and display device 2 are connected to the CPU bus 600.
[0081]
In such a configuration, a radio signal received by the antenna 60 is input to the RF unit 61 as a received signal, and a transmission signal output from the RF unit 61 is transmitted from the antenna 60. The RF unit 61 down-converts a received signal from the antenna 60 to a baseband frequency and outputs the down-converted signal to a baseband signal processing unit 62, and also up-converts a transmission signal input from the baseband signal processing unit 62 to a radio frequency. Output to the antenna 60.
[0082]
The baseband signal processing unit 62 demodulates the received signal input from the RF unit 61 and outputs it to the CPU 66, and modulates the transmission signal input from the CPU 66 and outputs it to the RF unit 61. When the received signal input from baseband signal processing section 62 is encoded audio data, CPU 66 outputs the encoded audio data to audio codec section 63. If the received signal is image encoded data, it outputs the image encoded data to the image decompression unit 67. Also, the CPU 66 outputs the encoded audio signal input from the audio codec unit 63 to the baseband signal processing unit 62 as a transmission signal, and uses the encoded image data input from the image compression and display device 2 as a transmission signal. Output to the processing unit 62.
[0083]
The audio codec section 63 decodes the encoded audio data input from the CPU 66, outputs the obtained audio signal to the receiver 64, encodes the audio signal input from the microphone 65, and obtains the obtained audio encoding The signal is output to the CPU 66. The receiver 64 outputs the audio signal input from the audio codec unit 63 as audio. The microphone 65 outputs the input voice to the voice codec 63 as a voice signal. The image decompression unit 67 decodes the encoded image data input from the CPU 66, converts the obtained image data into a display resolution of the image compression display device 2, and outputs it to the selector 68 as an interface signal S 5. The imaging device 1 generates an interface signal S6 from the captured image data and outputs the interface signal S6 to the selector 68.
[0084]
The selector 68 selects one of the interface signals S5 and S6 based on the control from the CPU 66, and outputs it to the image compression device 2 as the interface signal S7. The image compression display device 2 displays the image data input by the interface signal S7 from the selector 68, performs an encoding process, and outputs the encoded image data to the CPU 66.
[0085]
Next, the operation of the electronic device according to the present embodiment will be described.
The received signal is input to the CPU 66 via the antenna 60, the RF unit 61, and the baseband signal processing unit 62. If the received signal is encoded image data, the CPU 66 outputs the encoded image data to the image decompression unit 67, and the image decompression unit 67 compresses and displays the image data obtained by decoding the image encoded data. The image is converted into the display resolution of the device 2 and output to the image compression display device 2, and the moving image is displayed on the image compression display device 2.
[0086]
The imaging device 1 extracts an arbitrary rectangular area from the captured digital image data, and if the resolution of the rectangular area is equal to or higher than the display resolution of the image compression display device, converts the digital image data of the rectangular area to the image compression display device. If the resolution of the rectangular area is smaller than the display resolution of the image compression display device, the digital image data of the rectangular region is converted to the encoding resolution of the image compression display device, and the resolution after the resolution conversion is changed. The digital image data is output as an interface signal S6.
[0087]
The moving image compression and display device 2 generates digital image data having a resolution suitable for encoding and digital image data having a resolution suitable for display from the interface signal S7. The moving image compression and display device 2 encodes digital image data having a resolution suitable for encoding and outputs image encoded data to the CPU 66. The image encoded data is transmitted to the baseband signal processing unit 62, the RF unit 61, It is transmitted through the antenna 60. Further, the moving image compression and display device 2 displays digital image data having a resolution suitable for display.
[0088]
If the received signal is encoded audio data, CPU 66 outputs the encoded audio data to audio codec section 63, and an audio signal is generated from the encoded audio data in audio codec section 63 and output to receiver 64. . The audio signal input from the microphone 65 is encoded by the audio codec 63 and transmitted through the baseband signal processor 62, the RF unit 61, and the antenna 60.
[0089]
As described above, according to the electronic apparatus according to the present embodiment, an arbitrary rectangular area is extracted from digital image data obtained by the imaging apparatus 1 and the resolution of the rectangular area is equal to or higher than the display resolution of the image compression display apparatus 2. If there is, by converting the digital image data in the rectangular area to the display resolution of the image compression display device 2, the resolution of the display digital image data can be kept high in the range where the zoom magnification is small, and Higher image quality can be achieved.
[0090]
When the resolution of the rectangular area is lower than the display resolution of the image compression display device 2, the digital image data of the rectangular region is converted into the encoding resolution of the image compression display device 2 to display digital image data for display and The maximum zoom magnification can be obtained for the digital image data for encoding, and the electronic device can be enhanced in function. Further, the above processing can be realized without using a large-capacity memory such as a frame memory, and the circuit size of the electronic device can be reduced.
[0091]
Note that the image processing device 10, the imaging device 1, and the image compression display device 2 of the present embodiment are mobile station devices such as a mobile phone, a mobile videophone, a communication terminal having a computer function, or a wired line in a mobile communication system. It can be used for stationary telephones and video telephones connected by the above, as well as television receivers, computers and information terminal devices having computer functions. In this case, in the electronic device, the resolution of the displayed image can be kept high in a small range of the zoom magnification without using a large capacity memory such as a frame memory, and the maximum zoom magnification of the displayed image and the encoded image can be maintained. Therefore, it is possible to improve the image quality and function of the electronic device and reduce the circuit scale.
[0092]
【The invention's effect】
As described above, according to the present invention, in an electronic device having an image capturing function and an image communication function typified by a mobile phone, image display and image encoding with a suitable resolution are performed, and the present invention is suitable for the electronic device. It is possible to provide an image processing device, an imaging device, and an image compression display device that can realize electronic zoom and reduce the circuit scale.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an imaging device of an electronic device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a detailed configuration of a resolution conversion unit of the image processing device which is a part of the configuration of the imaging device shown in FIG.
FIG. 3 is an explanatory diagram showing a processing example of a resolution conversion unit shown in FIG. 2;
FIG. 4 is a block diagram illustrating a configuration of an image compression display device of the electronic device according to the first embodiment of the present invention.
5 is a block diagram showing a detailed configuration of a resolution conversion unit of the image compression display device shown in FIG.
FIG. 6 is a diagram for explaining a process of the electronic device according to the first embodiment of the present invention;
FIG. 7 is a diagram for explaining a process of the electronic device according to the first embodiment of the present invention;
FIG. 8 is a block diagram showing a configuration of an electronic device according to Embodiment 2 of the present invention.
[Explanation of symbols]
1 Imaging device
2 Image compression display device
10 Image processing device
11 lenses
12 Image sensor
13 Image signal processing unit
20 Interface section
21 Resolution detector
22 Resolution converter
23 First Selection Unit
24 Second Selection Unit
25 Drive signal generator
26 Display
27 Encoding unit
101 Rectangular area extraction unit
102 Resolution converter
103 Interface section
104 control unit
1021, 221 pixel delay unit
1021a, 1021b, 1021c, 221a, 221b, 221c Pixel delay element
1022, 222 Pixel interpolation unit
1023, 223 line delay section
1023a, 1023b, 1023c, 223a, 223b, 223c Line delay element
1024, 224 line interpolation unit
1025, 225 resolution conversion control unit
60 antenna
61 RF section
62 Baseband signal processing unit
63 Audio codec section
64 receiver
65 microphone
66 CPU
67 Image expansion unit
68 Selector
600 CPU bus
