JP2004140613A - Image processor, image processing method, and communication terminal - Google Patents

Image processor, image processing method, and communication terminal Download PDF

Info

Publication number
JP2004140613A
JP2004140613A JP2002303647A JP2002303647A JP2004140613A JP 2004140613 A JP2004140613 A JP 2004140613A JP 2002303647 A JP2002303647 A JP 2002303647A JP 2002303647 A JP2002303647 A JP 2002303647A JP 2004140613 A JP2004140613 A JP 2004140613A
Authority
JP
Japan
Prior art keywords
image
display
size
encoding
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2002303647A
Other languages
Japanese (ja)
Inventor
Tadashi Kayata
加宅田 忠
Kosuke Kubota
久保田 孝介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002303647A priority Critical patent/JP2004140613A/en
Publication of JP2004140613A publication Critical patent/JP2004140613A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor realizing high quality image display, low power consumption and more versatile image display by adding a relatively simple function, and to provide an image processing method and a communication terminal. <P>SOLUTION: An image to be displayed by a display means and an image to be encoded by an image encoding means can be obtained from an image picked up by an imaging device without deteriorating the image quality by reducing the image thus picked up to image sizes required by the display means and the image encoding means thereby obtaining high quality display image and encoded image. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、画像を撮像し、撮像された画像の記録及び表示を行う画像処理装置、画像処理方法及び通信端末装置に関する。
【0002】
【従来の技術】
従来、携帯電話装置に代表される通信端末装置においては、その表示部に、カラー画像を表示するものや動画像を表示するものがあり、その表示画面も大画面を有するものがある。また、これらの通信端末装置では、CCD(Charge Coupled Device)等の撮像素子を用いて画像を撮像し得るものもある。これにより、携帯電話機等の通信端末装置では、取り扱う画像データの大容量化が進んでいる。
【0003】
従来の通信端末装置では、装置全体の制御を行うMPU(Micro Processor Unit)を有するメインプロセッサに画像表示インターフェース及び画像入力インターフェースを搭載し、それらを画像表示装置及び画像撮像装置と直結し、MPUから液晶表示素子に画素データを転送する方法が用いられている。
【0004】
すなわち、図14は従来の通信端末装置1の構成のうち、特に画像撮像装置及び画像表示装置を抽出して示したブロックであり、通信端末装置1は、カメラモジュール2において、撮像部3は、CCD等の撮像素子によって被写体画像を光電変換し、信号処理部4に供給する。
【0005】
信号処理部4は、撮像部3から供給された撮像信号を、輝度及び色差成分からなるYUVデータに変換し、これをメインプロセッサ7のカメラインターフェース(I/F)に供給する。この場合、信号処理部4は、YUVデータを画素単位で転送するためのピクセルクロック(pclk)、水平同期信号及び垂直同期信号を含む同期信号(sync)をYUVデータとともにメインプロセッサ7に供給する。
【0006】
カメラインターフェース8は、信号処理部4からのYUVデータを一旦バッファリングした後、これを順次バス変換部13を介してRAM(Random Access Memory)14に格納する。
【0007】
バス変換部13は、高速でデータ転送されるメインプロセッサ7の内部と、低速でデータ転送される外部との間で、データ転送に伴ってタイミング調整を行うものである。
【0008】
RAM14に格納されたYUVデータは、DSP(Digital Signal Processor)12の制御により、順次RGBデータに変換され、再度RAM14に格納される。この格納されたRGBデータは、所定のタイミングでLCD(Liquid Crystal Display)インターフェース9に出力される。
【0009】
LCDインターフェース9は、RAM14から読み出されたRGBデータを、ピクセルクロック(pclk)及び同期信号(sync)とともにLCDモジュール17のドライバ18に供給する。ドライバ18は、RGBデータを順次LCD19の所定の画素位置に供給することにより、そのRGBデータをLCD19に表示する。
【0010】
なお、メインプロセッサ7は、MPU11によって制御されており、ROM(Read Only Memory)15には、種々の処理プログラムが格納されている。
【0011】
このような、画像表示インターフェース及び画像入力インターフェースをメインプロセッサに搭載することにより、撮像された画像をLCD等の画像表示部に表示させることができる。そして、このような構成を、携帯電話装置等の通信端末装置に搭載することにより、通信端末装置においても画像の撮像を行うことが可能となっている。
【0012】
また、これらの通信端末装置が行う画像処理は、複雑化、高度化してきており、例えば動画像の撮像及び表示、テレビ電話機能、又は3次元グラフィック処理等の機能を搭載したものも考えられている。また、複数のカメラやLCDを搭載した通信端末装置も考えられている。
【0013】
これらの複雑な機能を搭載した携帯電話装置等の通信端末装置に対応するために、メインプロセッサに画像処理を行うためのサブ画像処理プロセッサを搭載する方法が一般化している(例えば非特許文献1参照。)。
【0014】
このような構成の通信端末装置の構成を図15に示す。図15は従来の通信端末装置30の構成のうち、特に画像撮像装置及び画像表示装置を抽出して示したブロックであり、図14と同一の構成となる部分には同一符号を付して詳しい説明は省略する。
【0015】
図15において、通信端末装置30は、カメラモジュール2から出力されるYUVデータを、サブ画像処理プロセッサ31のカメラインターフェース32に受ける。カメラインターフェース32は、信号処理部4からのYUVデータを一旦バッファリングした後、これを順次画像処理プロセッサ35を介してRAM34に格納する。
【0016】
RAM34に格納されたYUVデータは、DSP(Digital Signal Processor)12の制御により、順次画像処理プロセッサ35に読み出されて、ここでRGBデータに変換され、再度RAM34に格納される。この格納されたRGBデータは、所定のタイミングでLCD(Liquid Crystal Display)インターフェース33に出力される。
【0017】
LCDインターフェース33は、RAM34から読み出されたRGBデータをLCDモジュール17のドライバ18に供給する。ドライバ18は、RGBデータを順次LCD19の所定の画素位置に供給することにより、そのRGBデータをLCD19に表示する。
【0018】
このように、通信端末装置30では、画像処理を行うためのサブ画像処理プロセッサ31をメインプロセッサに搭載することにより、複雑な画像処理を可能としている。
【0019】
なお、図14及び図15に示した通信端末装置1及び30において、カメラモジュール2からの出力画像は、一般に画像記録を行う際の画像サイズに合わせて出力されることが一般的であり、例えば、3GGPに記載されている3G−324規格で定義されているテレビ電話機能を実現するためには、QCIF(Quarter Common Intermediate Format)サイズ(176×144ドット)の画像を出力する。又は、カメラモジュール2のCCDが持つ画素数の画像をそのまま出力する場合もある。
【0020】
【非特許文献1】
A MPEG4 Programmable Codec DSP with an Embedded Pre/Post−processing Engine(IEEE 1999 Custom Integrated Circuits Conference)
【0021】
【発明が解決しようとする課題】
しかしながら、近年の携帯電話装置等の通信端末装置では、画像処理が複雑化かつ高画素化しており、例えば、VGA(Video Graphics Array)サイズ(640×480ドット)の静止画記録や、CIF(Common Intermediate Format)サイズ(352×288ドット)の動画記録を行うようにしたものもある。さらには、表示手段であるLCD等も高画素化が進んでおり、QVGA(Quarter VGA)サイズ(320×240ドット)のLCDを搭載する機器もある。
【0022】
このように、画像処理の複雑化及び高画素化が進むことにより、その画像処理を行うためのプロセッサの性能やバスバンド幅が増大してきており、また、表示手段であるLCD等の高画素化に対して、高品位な画像の表示が要求されている。
【0023】
本発明はかかる点に鑑みてなされたものであり、比較的容易な機能追加で、高品位の画像表示及び低消費電力化、さらには汎用性ある画像表示を実現し得る画像処理装置、画像処理方法及び通信端末装置を提供することを目的とする。
【0024】
【課題を解決するための手段】
本発明の画像処理装置は、撮像された画像のデータを符号化する画像符号化手段と、前記撮像された画像を表示する表示手段と、前記撮像された画像のサイズを、必要に応じて、前記画像符号化前に縮小処理する第1の画像縮小手段と、前記撮像された画像のサイズを、必要に応じて、前記表示前に縮小処理する第2の画像縮小手段と、を具備する構成を採る。
【0025】
この構成によれば、画像品質の劣化を伴うことなく、カメラモジュールから供給される入力画像の画像サイズとは異なる画像サイズでなる表示画像及び符号化画像を得ることができる。また、表示画像及び符号化画像をそれぞれ別個に縮小処理することにより、互いに異なる画像サイズでなる表示画像及び符号化画像を得ることができる。
【0026】
本発明の画像処理装置は、撮像された画像のデータを符号化する画像符号化手段と、前記撮像された画像を表示する表示手段と、前記撮像された画像を前記画像符号化手段及び前記表示手段において必要とされる最大の画像サイズに縮小する第1の縮小手段と、前記第1の縮小手段によって縮小された画像を、前記画像符号化手段及び又は前記表示手段で必要とされる画像サイズに縮小する第2の縮小手段と、を具備する構成を採る。
【0027】
この構成によれば、撮像された画像のデータサイズを小さくしてカメラモジュール(撮像部)から画像処理部に供給するようにしたことにより、カメラモジュールと画像処理部との間での高速クロックの引き回しや、負荷容量による電力増加といった状態を回避することができる。従って、カメラモジュールからの出力信号をフレキシブル配線等で出力させる構成では、電気ノイズの発生や消費電力の増大を防ぐことができる。かくして、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに得ることができる構成を、一段と低ノイズ及び低消費電力で実現することができる。
【0028】
本発明の画像処理装置は、上記構成において、前記第1の縮小手段は、前記画像のアスペクト比を変更する手段を更に具備する構成を採る。
【0029】
この構成によれば、符号化画像及び表示画像の共通の要素(アスペクト比及び最大画像サイズ)を満足するように、画像処理部の前段処理部であるカメラモジュール(撮像部)において撮像された画像のリサイズ処理を行うことにより、画像処理部において符号化画像及び表示画像を得るための複雑な画像処理を別個に行う場合に比べて、システム全体として、一段と容易に画像処理を行うことが可能となる。また、カメラモジュールにおけるリサイズ処理及び画像処理部における画像処理のいずれにおいても、画像を縮小するような処理を行うことにより、画像品質の劣化を回避することができる。かくして、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに得ることができる構成を、一段と容易に実現することができる。
【0030】
本発明の画像処理装置は、撮像された画像のデータを必要に応じて符号化する画像符号化手段と、前記撮像された画像又は前記符号化された画像のいずれかを選択的に出力する選択手段と、前記選択手段から出力される前記撮像された画像を表示する表示手段と、前記撮像された画像及び又は前記符号化された画像を縮小処理する縮小手段と、を具備する構成を採る。
【0031】
この構成によれば、静止画像の撮像時において、カメラモジュール(撮像部)から出力される画像データ量を少なくすることができることにより、カメラモジュールと画像処理部との間での高速クロックの引き回しや、負荷容量による電力増加といった状態を回避することができ、電気ノイズの発生や消費電力の増大を防ぐことができる。また、カメラモジュールにおける縮小処理及び画像処理部における画像処理のいずれにおいても、画像を縮小するような処理を行うことにより、画像品質の劣化を回避することができる。かくして、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに得ることができる構成を、一段と低ノイズ及び低消費電力で実現することができる。
【0032】
本発明の画像処理方法は、撮像された画像のデータを符号化する画像符号化工程と、前記撮像された画像を表示する表示工程と、前記撮像された画像のサイズを、必要に応じて、前記画像符号化前に縮小処理する第1の画像縮小工程と、前記撮像された画像のサイズを、必要に応じて、前記表示前に縮小処理する第2の画像縮小工程と、を具備するようにした。
【0033】
この方法によれば、画像品質の劣化を伴うことなく、カメラモジュールから供給される入力画像の画像サイズとは異なる画像サイズでなる表示画像及び符号化画像を得ることができる。また、表示画像及び符号化画像をそれぞれ別個に縮小処理することにより、互いに異なる画像サイズでなる表示画像及び符号化画像を得ることができる。
【0034】
本発明の画像処理方法は、撮像された画像のデータを符号化する画像符号化工程と、前記撮像された画像を表示する表示工程と、前記撮像された画像を前記画像符号化工程及び前記表示工程において必要とされる最大の画像サイズに縮小する第1の縮小工程と、前記第1の縮小工程によって縮小された画像を、前記画像符号化工程及び又は前記表示工程で必要とされる画像サイズに縮小する第2の縮小工程と、を具備するようにした。
【0035】
この方法によれば、撮像された画像のデータサイズを小さくしてカメラモジュール(撮像部)から画像処理部に供給するようにしたことにより、カメラモジュールと画像処理部との間での高速クロックの引き回しや、負荷容量による電力増加といった状態を回避することができる。従って、カメラモジュールからの出力信号をフレキシブル配線等で出力させる構成では、電気ノイズの発生や消費電力の増大を防ぐことができる。かくして、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに、低ノイズ及び低消費電力で得ることができる。
【0036】
本発明の画像処理方法は、上記工程において、前記第1の縮小工程では、前記画像のアスペクト比を変更する工程を更に具備するようにした。
【0037】
この方法によれば、符号化画像及び表示画像の共通の要素(アスペクト比及び最大画像サイズ)を満足するように、画像処理部の前段処理部であるカメラモジュール(撮像部)において撮像された画像のリサイズ処理を行うことにより、画像処理部において符号化画像及び表示画像を得るための複雑な画像処理を別個に行う場合に比べて、システム全体として、一段と容易に画像処理を行うことが可能となる。また、カメラモジュールにおけるリサイズ処理及び画像処理部における画像処理のいずれにおいても、画像を縮小するような処理を行うことにより、画像品質の劣化を回避することができる。かくして、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに低ノイズ及び低消費電力で得ることができる。
【0038】
本発明の画像処理方法は、撮像された画像のデータを必要に応じて符号化する画像符号化工程と、前記撮像された画像又は前記符号化された画像のいずれかを選択的に出力する選択工程と、前記選択工程を介して出力される前記撮像された画像を表示する表示工程と、前記撮像された画像及び又は前記符号化された画像を縮小処理する縮小工程と、を具備するようにした。
【0039】
この方法によれば、静止画像の撮像時において、カメラモジュール(撮像部)から出力される画像データ量を少なくすることができることにより、カメラモジュールと画像処理部との間での高速クロックの引き回しや、負荷容量による電力増加といった状態を回避することができ、電気ノイズの発生や消費電力の増大を防ぐことができる。また、カメラモジュールにおける縮小処理及び画像処理部における画像処理のいずれにおいても、画像を縮小するような処理を行うことにより、画像品質の劣化を回避することができる。かくして、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに一段と低ノイズ及び低消費電力で得ることができる。
【0040】
本発明の通信端末装置は、通信手段を有する通信端末装置であって、撮像された画像のデータを符号化する画像符号化手段と、前記撮像された画像を表示する表示手段と、前記撮像された画像のサイズを、必要に応じて、前記画像符号化前に縮小処理する第1の画像縮小手段と、前記撮像された画像のサイズを、必要に応じて、前記表示前に縮小処理する第2の画像縮小手段と、を具備する構成を取る。
【0041】
この構成によれば、通信端末装置において、画像品質の劣化を伴うことなく、カメラモジュールから供給される入力画像の画像サイズとは異なる画像サイズでなる表示画像及び符号化画像を得ることができる。また、表示画像及び符号化画像をそれぞれ別個に縮小処理することにより、互いに異なる画像サイズでなる表示画像及び符号化画像を得ることができる。
【0042】
【発明の実施の形態】
本発明の骨子は、撮像された画像を、表示手段及び画像符号化手段において各々必要とされる画像サイズに縮小することにより、高品位の表示画像及び符号化画像を得ることである。
【0043】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0044】
(実施の形態1)
図14との対応部分に同一符号を付して示す図1は、本発明の実施の形態1に係る通信端末装置(携帯電話装置)100の構成を示すブロック図である。この通信端末装置100は、画像の撮像を行うカメラモジュール2と、撮像した画像を入力し、画像符号化、画像表示処理を行う画像処理部111と、作成された表示画像の表示を行うLCDモジュール17とを含んでいる。
【0045】
通信端末装置100において、カメラモジュール2の撮像部3は、CCD等の撮像素子によって被写体画像を光電変換し、信号処理部4に供給する。信号処理部4は、撮像部3から供給された撮像信号に対して、YC処理、ホワイトバランス処理等の信号処理を行った後、これを1ピクセルごとに輝度及び色差成分からなるYUVデータとしてメインプロセッサ110の画像処理部111に供給する。
【0046】
この場合、信号処理部4は、YUVデータを画素単位で転送するためのピクセルクロック(pclk)、水平同期信号及び垂直同期信号を含む同期信号(sync)をYUVデータとともにメインプロセッサ110に供給する。
【0047】
画像処理部111は、カメラモジュール2から供給されたYUVデータを一旦RAM14に格納した後、これをRAM14から読み出してRGBデータに変換した後、再度RAM14に格納する。なお、カメラモジュール2からRGBデータを出力するようにしてもよく、この場合には、そのRGBデータはRAM14に格納される。
【0048】
また、画像処理部111は、RAM14に格納されたRGBデータに対して、必要に応じて縮小処理(後述)を施し、この縮小処理されたデータをMREG4やJPEG等の画像符号化処理によって圧縮符号化する。この符号化データは、RAM14に格納される。また、一方、画像処理部111は、RAM14に格納されているRGBデータに対して、必要に応じて縮小処理(後述)を施し、この縮小処理されたRGBデータを、ピクセルクロック及び同期信号とともにLCDモジュール17のドライバ18に供給する。ドライバ18は、RGBデータを順次LCD19の所定の画素位置に供給することにより、そのRGBデータをLCD19に表示する。画像処理部111の詳細な説明は後述する。
【0049】
なお、メインプロセッサ110は、MPU101によって制御されており、ROM(Read Only Memory)15には、種々の処理プログラムが格納されている。
【0050】
また、通信端末装置100の携帯電話機能を実現するための構成として、マイク104を介して電気信号に変換されてなる音声信号は、DSP102の制御の基、PCM(Pulse Code Modulation)コーデック103においてデジタル信号に符号化され、ベースバンド信号処理部115に供給される。
【0051】
ベースバンド処理部115は、供給された音声データをアナログ信号に変換した後、変調処理等を施した後、これをRF(Radio Frequency)部116に供給することにより、無線帯域に周波数変換し、アンテナ117を介して送信する。
【0052】
また、アンテナ117において受信された信号は、RF部116においてベースバンド帯域に周波数変換された後、ベースバンド信号処理部115において復調処理される。この復調処理された信号は、デジタルデータに変換された後、バス変換部13、DSP102を介してPCMコーデック103に供給され、ここでアナログ信号に変換される。アナログ信号に変換された信号は、レシーバスピーカ105において電気信号から音声波に変換されて出力される。
【0053】
次に、画像処理部111の詳細について説明する。図1との対応部分に同一符号を付し示す図2は、図1に示した通信端末装置100のうち、カメラモジュール2、画像処理部111及びLCDモジュール17の機能部を抽出して示したブロック図である。
【0054】
この図2に示されるように、カメラモジュール2から出力されたYUVデータは、画像処理部111のカメラインターフェース8を介して縮小処理部121及び123に供給される。縮小処理部121は、入力されたYUVデータに対して、必要に応じてその画像を間引き処理及び補間処理することにより縮小し、この縮小された画像データを画像符号化部122に供給する。画像符号化部122は、入力された画像データをMPEG4等の手法によって圧縮符号化処理する。この圧縮符号化された符号化データ(動画データ)は、図1に示したRAM14に格納される。なお、撮像された画像を静止画として記録する場合には、画像符号化部122においてその画像データをJPEG等の静止画用の符号化処理によって圧縮符号化する。
【0055】
また、縮小処理部123は、入力されたYUVデータに対して、必要に応じてその画像を間引き処理及び補間処理することにより縮小し、この縮小された画像データをLCDインターフェース124を介してLCDモジュール17に供給する。
【0056】
図3及び図4は、図2に示した画像処理部111の動作を説明する略線図である。図3に示されるように、カメラモジュール2から供給される入力画像140は、そのサイズが(横)320×(縦)240ドットのQVGAサイズとなっているとする。この入力画像140は、画像処理部111の縮小処理部121において縮小処理されずにそのままのサイズで符号化画像141として画像符号化部122に供給される。
【0057】
これに対して、縮小処理部123は、カメラモジュール2から供給された入力画像140に対して、間引き処理及び補間処理を施すことにより、その画像サイズを(横)240×(縦)180ドットに縮小し、これを表示画像142としてLCD19に表示させる。LCD19は、図3に示すように、縦長の表示領域143を有しており、縮小処理部123は、この表示領域143の横方向のサイズ(240ドット)の大きさに合うように、入力画像140を縮小処理するのである。
【0058】
このように、(横)320×(縦)240ドットの画像サイズでなる入力画像は、LCD19の表示領域143の大きさに合わせて縮小処理されるとともに、画像符号化部122に対しては、その画像サイズを縮小することなく供給される。すなわち、表示画像142と符号化画像(記録画像)141のうち、大きい画像サイズである記録画像のピクセル数に合わせたサイズの入力画像140をカメラモジュール2から入力し、LCD19への表示の直前においてその入力画像140を縮小処理して表示画像142を得る。
【0059】
これにより、符号化画像142の画像サイズよりも表示画像142の画像サイズが小さい場合には、カメラモジュール2から出力される入力画像140の画像サイズを画像符号化部122に供給される符号化画像141の画像サイズに合わせることで、画像符号化部122に供給される符号化画像141の画像サイズは縮小することなく、表示画像142のみを縮小処理することで、符号化画像141及び表示画像142を得ることができる。
【0060】
すなわち、画像符号化部122及びLCD表示用に2つの独立した縮小処理部121及び123を設けることにより、各々の画像サイズを独立して制御することができ、大きい画像サイズに合わせた画像サイズの入力画像140をカメラモジュール2から受け取るようにすることで、相対的に小さい画像サイズが必要となる方(図3に示した例の場合は表示画像142)のみを縮小処理すれば、所望サイズの符号化画像141及び表示画像142を得ることができる。
【0061】
この結果、符号化画像141及び表示画像142の画像サイズが異なる場合であっても、拡大処理する必要が無くなり、拡大処理による画質の劣化を回避することができる。因みに、画像サイズを拡大処理すると、例えば1ドット分の画像を数ドットで表すこととなり、この分、画質が劣化することとなる。
【0062】
また、図4は、LCD19の表示領域143(QVGAサイズ)の全体に表示画像142を表示させるのに対して、画像符号化部122に供給される符号化画像141の画像サイズが、表示画像142の画像サイズ(QVGAサイズ)よりも小さい(QQVGAサイズ)場合を示している。すなわち、通信端末装置100においては、符号化画像141の画像サイズを設定することが可能となっており、この設定によって、符号化画像141の画像サイズが変更されることがあり、図4では、符号化画像141の画像サイズが表示画像142の画像サイズ(QVGAサイズ)よりも小さいサイズ(QQVGAサイズ)として設定された場合を示している。
【0063】
この場合、図3の場合と同様にして、カメラモジュール2から供給される入力画像140は、そのサイズが(横)320×(縦)240ドットのQVGAサイズとなっているとすると、この入力画像140は、画像処理部111の縮小処理部123において縮小処理されずにそのままのサイズ(QVGAサイズ)で表示画像142としてLCDモジュール17に供給される。
【0064】
これに対して、縮小処理部121は、カメラモジュール2から供給された入力画像140に対して、間引き処理及び補間処理を施すことにより、その画像サイズを(横)160×(縦)120ドットのQQVGAサイズに縮小し、これを符号化画像141として画像符号化部122に供給する。
【0065】
このように、(横)320×(縦)240ドットの画像サイズでなる入力画像は、符号化画像141の大きさに合わせて縮小処理されるとともに、表示画像142としては、その画像サイズを縮小することなくLCDモジュール17に供給される。すなわち、表示画像142と符号化画像(記録画像)141のうち、大きい画像サイズである表示画像のピクセル数に合わせたサイズの入力画像140をカメラモジュール2から入力し、画像符号化部122へ供給する直前においてその入力画像140を縮小処理して符号化画像141を得る。
【0066】
これにより、表示画像142の画像サイズよりも符号化画像142の画像サイズが小さい場合には、カメラモジュール2から出力される入力画像140の画像サイズを表示画像142の画像サイズに合わせることで、LCDモジュール17に供給される表示画像142の画像サイズは縮小することなく、符号化画像141のみを縮小処理することで、符号化画像141及び表示画像142を得ることができる。
【0067】
すなわち、画像符号化部122及びLCD表示用に2つの独立した縮小処理部121及び123を設けることにより、各々の画像サイズを独立して制御することができ、大きい画像サイズに合わせた画像サイズの入力画像140をカメラモジュール2から受け取るようにすることで、相対的に小さい画像サイズが必要となる方(図3に示した例の場合は符号化画像141)のみを縮小処理すれば、所望サイズの符号化画像141及び表示画像142を得ることができる。
【0068】
この結果、符号化画像141及び表示画像142の画像サイズが異なる場合であっても、拡大処理する必要が無くなり、拡大処理による画質の劣化を回避することができる。図4の場合、表示画像142の画像サイズを、カメラモジュール2から供給される入力画像140の画像サイズと同一のピクセル数とすることにより、この表示画像142を拡大処理する必要がなくなり、画質の劣化を回避して、高品位な表示画像をLCD19において得ることができる。
【0069】
図5は、画像処理部111における画像処理手順を示すフローチャートである。この場合、入力画像140が、符号化画像141の画像サイズ及び表示画像142の画像サイズよりも大きいようになされている。図5において、画像処理部111は、ステップST101において、符号化画像141の画像サイズが入力画像140の画像サイズと同一であるか否かを判断する。
【0070】
ここで肯定結果が得られると、このことは、符号化画像141として設定されている画像サイズが入力画像140の画像サイズと等しいことを意味しており、このとき画像処理部111は、ステップST103に移って入力画像140の画像サイズのままの符号化画像141を符号化する。
【0071】
これに対してステップST101において否定結果が得られると、このことは、符号化画像141として設定されている画像サイズが、入力画像140の画像サイズよりも小さいことを意味しており、このとき画像処理部111は、ステップST102に移って、縮小処理部121において入力画像140を縮小処理することで符号化画像141を得た後、ステップST103に移って、この縮小された符号化画像141を符号化する。
【0072】
そして、画像処理部111は、ステップST104に移って、表示画像142のとして設定されている画像サイズが入力画像140の画像サイズと同一であるか否かを判断する。
【0073】
ここで肯定結果が得られると、このことは、表示画像142として設定されている画像サイズが入力画像140の画像サイズと等しいことを意味しており、このとき画像処理部111は、ステップST106に移って入力画像140の画像サイズのままの表示画像142をLCD19に表示する。
【0074】
これに対してステップST104において否定結果が得られると、このことは、表示画像142として設定されている画像サイズが、入力画像140の画像サイズよりも小さいことを意味しており、このとき画像処理部111は、ステップST105に移って、縮小処理部123において入力画像140を表示画像142として要求される大きさに合わせて縮小処理することで表示画像142を得た後、ステップST106に移って、この縮小された表示画像142をLCD19に表示する。
【0075】
このように、画像処理部111では、入力画像140に対して、そのとき設定されている符号化画像141及び表示画像142として必要な画像サイズが一致しているか否かを判断し、その判断結果に基づいて、必要な場合には入力画像を縮小処理することで所望の画像サイズを得ることができる。
【0076】
これにより、画像の劣化を生じることなく、異なる画像サイズの符号化画像141及び表示画像142を得ることができる。
【0077】
このように、本実施の形態の通信端末装置100によれば、画像品質の劣化を伴うことなく、カメラモジュール2から供給される入力画像の画像サイズとは異なる画像サイズでなる表示画像142及び符号化画像141を得ることができる。また、表示画像142及び符号化画像141をそれぞれ別個に縮小処理することにより、互いに異なる画像サイズでなる表示画像142及び符号化画像141を得ることができる。また、画像処理部111を半導体構成としたことにより、低コスト化を図ることもできる。
【0078】
なお、上述の実施の形態においては、図2に示したように、画像処理部111の各ブロックをハードウエア構成とした場合について述べたが、本発明はこれに限らず、例えば、図2との対応部分に同一符号を付して示す図6に示されるように、画像処理部111の各ブロック(カメラインターフェース8、縮小処理部121、123、画像符号化部122及びLCDインターフェース124)を画像処理LSI130によって統合化するように構成してもよい。このようにすれば、画像処理部111を半導体によって統合化することにより、低コスト化を図ることができる。因みに、画像符号化部122は、別半導体によって構成するようにしてもよい。
【0079】
また、上述の実施の形態においては、図2及び図6に示したように、画像処理部111の各ブロックによって、画像の縮小処理や符号化処理を行う場合について述べたが、本発明はこれに限らず、例えば図7に示されるように、画像処理部111の各機能(縮小処理、画像符号化処理)を画像処理プロセッサ150によって実現するようにしてもよい。この場合、画像処理プロセッサ150、カメラインターフェース8及びLCDインターフェース124は、半導体によって統合化した構成(画像処理LSI151)とする。
【0080】
そして、図5に示した画像処理手順を実行するためのプログラムをROM152に予め格納しておき、画像処理プロセッサ150は、このROM152に格納されているプログラムに従って画像処理を実行する。このように、画像処理をソフトウエアによって実現することにより、低コスト化を図ることができる。
【0081】
また、本発明では、図7の構成に代えて、図8に示されるように、図5に示した画像処理手順を実行するためのプログラムを、CD−ROM等の外部記憶媒体164に格納しておき、読み取り部163によって、この外部記憶媒体164からプログラムを読み取り、RAM162に格納するようにしてもよい。画像処理プロセッサ150は、RAM162に格納されたプログラムに従って、図5に示した画像処理を実行する。
【0082】
このように、外部記憶媒体164に画像処理プログラムを格納して利用することにより、コンピュータ構成の装置においても、本発明の画像処理を実現することが可能となる。
【0083】
また、上述の実施の形態においては、本発明を携帯電話装置に適用する場合について述べたが、本発明はこれに限らず、PDA(Personal Digital Assistance)等の他の種々の通信端末装置、又は、通信機能を持たない端末装置に広く適用することができる。
【0084】
(実施の形態2)
図9は、本発明の実施の形態2に係る通信端末装置の画像処理部111、カメラモジュール202及びLCDモジュール17の構成を示すブロック図である。但し、図1及び図2と同一の構成となるものについては、図1及び図2と同一番号を付し、詳しい説明を省略する。
【0085】
図9に示すカメラモジュール202は、図2に示したカメラモジュール2と比較して、縮小処理部201を有する点が異なる。この縮小処理部201は、信号処理部4から出力されたYUVデータを縮小処理するようになされている。
【0086】
この実施の形態では、図10に示すように、撮像部3のCCD(センサ)から出力されるセンサ出力画像144の画素数を、(横)640×(縦)480ドットでなるVGAサイズとし、符号化画像141及び表示画像142の各画像サイズを(横)320×(縦)240ドットのQVGAサイズとする場合について説明する。
【0087】
カメラモジュール202において信号処理部から出力されたセンサ出力画像144は、カメラモジュール202に設けられた縮小処理部201において間引き処理及び補間処理によって縮小処理される。
【0088】
この場合、縮小処理部201は、符号化画像141及び表示画像142のうち、画像サイズの大きな方と同じ画像サイズにセンサ出力画像144を縮小処理する。すなわち、縮小処理部201では、センタ出力画像144を、画像処理部111において必要とされる最大の画像サイズに縮小処理する。この実施の形態の場合、符号化画像141及び表示画像142は、同じ画像サイズ(320×240ドット)であることにより、カメラモジュール202の縮小処理部201は、センサ出力画像144(640×480ドット)を、符号化画像141及び表示画像142の画像サイズ(320×240ドット)に縮小処理する。
【0089】
このように縮小処理された画像は、センサ出力画像144に比べてデータサイズの小さな入力画像140としてカメラモジュール202から画像処理部111に供給される。
【0090】
データサイズが小さくなった入力画像140をカメラモジュール202から画像処理部111に供給するようにしたことにより、カメラモジュール202と画像処理部111との間での高速クロックの引き回しや、負荷容量による電力増加といった状態を回避することができる。従って、カメラモジュール202からの出力信号をフレキシブル配線等で出力させる構成では、電気ノイズの発生や消費電力の増大を防ぐことができる。
【0091】
このように、本実施の形態の通信端末装置によれば、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに得ることができる構成を、一段と低ノイズ及び低消費電力で実現することができる。
【0092】
なお、上述の実施の形態においては、図9に示したように、画像処理部111及びカメラモジュール202の縮小処理部201の各ブロックをハードウエア構成とした場合について述べたが、本発明はこれに限らず、画像処理部111の各ブロック(カメラインターフェース8、縮小処理部121、123、画像符号化部122及びLCDインターフェース124)及びカメラモジュール202の縮小処理部201を画像処理LSIによって構成してもよい。このようにすれば、低コスト化を図ることができる。因みに、画像符号化部122は、別半導体によって構成するようにしてもよい。
【0093】
また、上述の実施の形態においては、図9に示したように、画像処理部111の各ブロック及びカメラモジュール202の縮小処理部201によって、画像の縮小処理や符号化処理を行う場合について述べたが、本発明はこれに限らず、画像処理部111及び縮小処理部201の各機能(縮小処理、画像符号化処理)を画像処理プロセッサによって実現するようにしてもよい。この場合、画像処理プロセッサは、半導体構成とする。このように、画像処理をソフトウエアによって実現することにより、低コスト化を図ることができる。
【0094】
また、本発明では、図9について上述した画像処理を実行するためのプログラムを、CD−ROM等の外部記憶媒体に格納しておき、この外部記憶媒体からプログラムを読み取り、このプログラムに従って、画像プロセッサによる画像処理を実行するようにしてもよい。このように、外部記憶媒体に画像処理プログラムを格納して利用することにより、コンピュータ構成の装置においても、本発明の画像処理を実現することが可能となる。
【0095】
また、上述の実施の形態においては、本発明を携帯電話装置に適用する場合について述べたが、本発明はこれに限らず、PDA(Personal Digital Assistance)等の他の種々の通信端末装置、又は、通信機能を持たない端末装置に広く適用することができる。
【0096】
(実施の形態3)
図11は、本発明の実施の形態3に係る通信端末装置の画像処理部111、カメラモジュール302及びLCDモジュール17の構成を示すブロック図である。但し、図1及び図2と同一の構成となるものについては、図1及び図2と同一番号を付し、詳しい説明を省略する。
【0097】
図11に示すカメラモジュール302は、図2に示したカメラモジュール2と比較して、リサイズ処理部301を有する点が異なる。このリサイズ処理部301は、信号処理部4から出力されたYUVデータのアスペクト比を変換するようになされている。
【0098】
この実施の形態では、図12に示すように、撮像部3のCCD(センサ)から出力されるセンサ出力画像144の画素数を、(横)640×(縦)480ドットでなるVGAサイズとし、符号化画像141の画像サイズを、(横)175×(縦)144ドットでなるQCIFサイズとし、表示画像142の画像サイズを(横)240×(縦)196ドットサイズ(すなわち、QVGAサイズを縦長にした場合の表示領域143の横幅に、横長の表示画像142の横幅を略合わせて表示させる場合のサイズ)とする場合について説明する。
【0099】
撮像部3から出力されるセンサ出力画像144のアスペクト比は4:3であり、符号化画像141のアスペクト比は11:9である。従って、カメラモジュール302のリサイズ処理部301では、符号化画像141として必要なアスペクト比(11:9)にセンサ出力画像144のアスペクト比を変換するとともに、このアスペクト比が得られるとともに符号化画像141及び表示画像142の画像サイズのうちの大きなサイズと同等またはそれ以上の画像サイズとなるような縮小処理も行う。アスペクト比の変換は、図12に示すように、不要な領域のデータをカットする方法等がある。
【0100】
従って、リサイズ処理された入力画像140が画像処理部111に供給されることにより、画像処理部111では、入力画像140に対する切り出し処理やマスク処理といった複雑な画像処理を施すことなく、図2について上述した縮小処理を行うだけで、必要なアスペクト比及び画像サイズでなる符号化画像141及び表示画像142を得ることができる。
【0101】
このように、符号化画像141及び表示画像142の共通の要素(アスペクト比及び最大画像サイズ)を満足するように、画像処理部111の前段処理部であるカメラモジュール302においてセンサ出力画像144のリサイズ処理を行うことにより、画像処理部111において符号化画像141及び表示画像142を得るための複雑な画像処理を別個に行う場合に比べて、システム全体として、一段と容易に画像処理を行うことが可能となる。また、カメラモジュール302におけるリサイズ処理及び画像処理部における画像処理のいずれにおいても、画像を縮小するような処理を行うことにより、画像品質の劣化を回避することができる。
【0102】
このように、本実施の形態の通信端末装置によれば、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに得ることができる構成を、一段と容易に実現することができる。
【0103】
なお、上述の実施の形態においては、図11に示したように、画像処理部111及びカメラモジュール302のリサイズ処理部301の各ブロックをハードウエア構成とした場合について述べたが、本発明はこれに限らず、画像処理部111の各ブロック(カメラインターフェース8、縮小処理部121、123、画像符号化部122及びLCDインターフェース124)及びカメラモジュール302のリサイズ処理部301を画像処理LSIによって構成してもよい。このようにすれば、低コスト化を図ることができる。因みに、画像符号化部122は、別半導体によって構成するようにしてもよい。
【0104】
また、上述の実施の形態においては、図11に示したように、画像処理部111の各ブロック及びカメラモジュール302のリサイズ処理部301によって、画像の縮小処理や符号化処理を行う場合について述べたが、本発明はこれに限らず、画像処理部111及びリサイズ処理部301の各機能(縮小処理、リサイズ処理、画像符号化処理)を画像処理プロセッサによって実現するようにしてもよい。この場合、画像処理プロセッサは、半導体構成とする。このように、画像処理をソフトウエアによって実現することにより、低コスト化を図ることができる。
【0105】
また、本発明では、図11について上述した画像処理(リサイズ処理、縮小処理、画像符号化処理)を実行するためのプログラムを、CD−ROM等の外部記憶媒体に格納しておき、この外部記憶媒体からプログラムを読み取り、このプログラムに従って、画像プロセッサによる画像処理を実行するようにしてもよい。このように、外部記憶媒体に画像処理プログラムを格納して利用することにより、コンピュータ構成の装置においても、本発明の画像処理を実現することが可能となる。
【0106】
また、上述の実施の形態においては、本発明を携帯電話装置に適用する場合について述べたが、本発明はこれに限らず、PDA(Personal Digital Assistance)等の他の種々の通信端末装置、又は、通信機能を持たない端末装置に広く適用することができる。
【0107】
(実施の形態4)
図13は、本発明の実施の形態4に係る通信端末装置の画像処理部111、カメラモジュール402及びLCDモジュール17の構成を示すブロック図である。但し、図1、図2及び図11と同一の構成となるものについては、図1及び図2と同一番号を付し、詳しい説明を省略する。
【0108】
図13に示すカメラモジュール402は、図11に示したカメラモジュール302と比較して、画像符号化部401を有する点が異なる。この画像符号化部401は、信号処理部4から出力されたYUVデータを必要に応じてJPEG等によって圧縮符号化するようになされている。
【0109】
この実施の形態では、撮像部3のCCD(センサ)から出力されるセンサ出力画像144の画素数を、(横)640×(縦)480ドットでなるVGAサイズとし、表示画像の画像サイズを(横)320×(縦)240ドットのQVGAサイズとする場合について説明する。
【0110】
まず、プレビュー等のようにカメラモジュール402からの画像をLCDに表示させる場合には、画像符号化部401によって圧縮符号化された符号化画像を出力せずに、リサイズ処理部301においてセンサ出力画像(VGAサイズ)を表示用のQVGAサイズにリサイズされた結果を画像処理部111に対して出力する。
【0111】
この場合、画像処理部111の縮小処理部123は、カメラモジュール402から供給されたQVGAサイズの画像をそのままの画像サイズでLCDモジュール17に出力する。
【0112】
これに対して、静止画像を1枚撮像する場合には、DSP102(図1)からカメラモジュール402に対してJPEG符号化画像の出力が指示される。これにより、カメラモジュール402では、切り替え部403がオフ状態に制御されると共に、信号処理部4から出力されるVGAサイズのセンサ出力画像がリサイズ処理されずに直接画像符号化部401に供給される。そして、画像符号化部401の出力(JPEG符号化画像)が1枚分だけ画像処理部111に対して出力される。
【0113】
このJPEG符号化画像は、必要に応じて縮小処理部121によって縮小処理された後、メモリ404に格納され、撮像処理が完了する。このように、カメラモジュール402において画像符号化処理を行うことにより、このカメラモジュール402から出力される画像データ(JPEG符号化画像)は、YUVデータとして出力される場合に比べて、1/6〜1/10程度に圧縮されたものとなる。
【0114】
従って、静止画像の撮像時において、カメラモジュール402から出力される画像データ量を少なくすることができることにより、カメラモジュール402と画像処理部111との間での高速クロックの引き回しや、負荷容量による電力増加といった状態を回避することができ、電気ノイズの発生や消費電力の増大を防ぐことができる。また、カメラモジュール402におけるリサイズ処理及び画像処理部における画像処理のいずれにおいても、画像を縮小するような処理を行うことにより、画像品質の劣化を回避することができる。
【0115】
このように、本実施の形態の通信端末装置によれば、画像品質の劣化を伴うことなく、所望の画像サイズをその用途ごとに得ることができる構成を、一段と低ノイズ及び低消費電力で実現することができる。
【0116】
なお、上述の実施の形態においては、図13に示したように、画像処理部111及びカメラモジュール402の画像符号化部401並びにリサイズ処理部301の各ブロックをハードウエア構成とした場合について述べたが、本発明はこれに限らず、画像処理部111の各ブロック(カメラインターフェース8、縮小処理部121、123、画像符号化部122及びLCDインターフェース124)及びカメラモジュール402の画像符号化部401並びにリサイズ処理部301を画像処理LSIによって構成してもよい。このようにすれば、低コスト化を図ることができる。因みに、画像符号化部122は、別半導体によって構成するようにしてもよい。
【0117】
また、上述の実施の形態においては、図13に示したように、画像処理部111の各ブロック及びカメラモジュール402の画像符号化部401並びにリサイズ処理部301によって、画像の縮小処理や符号化処理を行う場合について述べたが、本発明はこれに限らず、画像処理部111、画像符号化部401及びリサイズ処理部301の各機能(縮小処理、リサイズ処理、画像符号化処理)を画像処理プロセッサによって実現するようにしてもよい。この場合、画像処理プロセッサは、半導体構成とする。このように、画像処理をソフトウエアによって実現することにより、低コスト化を図ることができる。
【0118】
また、本発明では、図13について上述した画像処理(リサイズ処理、縮小処理、画像符号化処理)を実行するためのプログラムを、CD−ROM等の外部記憶媒体に格納しておき、この外部記憶媒体からプログラムを読み取り、このプログラムに従って、画像プロセッサによる画像処理を実行するようにしてもよい。このように、外部記憶媒体に画像処理プログラムを格納して利用することにより、コンピュータ構成の装置においても、本発明の画像処理を実現することが可能となる。
【0119】
また、上述の実施の形態においては、本発明を携帯電話装置に適用する場合について述べたが、本発明はこれに限らず、PDA(Personal Digital Assistance)等の他の種々の通信端末装置、又は、通信機能を持たない端末装置に広く適用することができる。
【0120】
【発明の効果】
以上説明したように、本発明によれば、表示手段に表示する画像及び画像符号化手段によって符号化する画像を撮像された画像からその画像品質を劣化させることなく得ることができる。
【図面の簡単な説明】
【図1】本発明に係る通信端末装置の構成を示すブロック図
【図2】実施の形態1に係る画像処理装置の構成を示すブロック図
【図3】実施の形態1の動作の説明に供する略線図
【図4】実施の形態1の動作の説明に供する略線図
【図5】実施の形態1の動作を説明するためのフローチャート
【図6】他の実施の形態の画像処理装置の構成を示すブロック図
【図7】他の実施の形態の画像処理装置の構成を示すブロック図
【図8】他の実施の形態の画像処理装置の構成を示すブロック図
【図9】実施の形態2に係る画像処理装置の構成を示すブロック図
【図10】実施の形態2の動作の説明に供する略線図
【図11】実施の形態3に係る画像処理装置の構成を示すブロック図
【図12】実施の形態3の動作の説明に供する略線図
【図13】実施の形態4に係る画像処理装置の構成を示すブロック図
【図14】従来の通信端末装置の構成を示すブロック図
【図15】従来の通信端末装置の構成を示すブロック図
【符号の説明】
2、202、302、402 カメラモジュール
3 撮像部
4 信号処理部
8 カメラインターフェース
13 バス変換部
17 LCDモジュール
18 ドライバ
19 LCD
100 通信端末装置
101 MPU
102 DSP
103 PCMコーデック
104 マイク
105 レシーバスピーカ
111 画像処理部
115 ベースバンド信号処理部
116 RF部
117 アンテナ
121、123、201 縮小処理部
122、401 画像符号化部
124 LCDインターフェース
130 画像処理LSI
140 入力画像
141 符号化画像
142 表示画像
143 表示領域
144 センサ出力画像
150 画像処理プロセッサ
163 読み取り部
164 外部記憶媒体
301 リサイズ処理部
403 切り替え部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device, an image processing method, and a communication terminal device that capture an image and record and display the captured image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in a communication terminal device represented by a mobile phone device, a display portion of a communication terminal device displays a color image or a moving image, and a display screen has a large screen. Some of these communication terminals can capture an image using an image sensor such as a CCD (Charge Coupled Device). As a result, in communication terminal devices such as mobile phones, the volume of image data to be handled is increasing.
[0003]
In a conventional communication terminal device, an image display interface and an image input interface are mounted on a main processor having an MPU (Micro Processor Unit) for controlling the entire device, and these are directly connected to the image display device and the image pickup device. A method of transferring pixel data to a liquid crystal display element has been used.
[0004]
That is, FIG. 14 is a block diagram illustrating an image capturing device and an image display device, particularly extracted from the configuration of the conventional communication terminal device 1. The communication terminal device 1 includes a camera module 2 and an imaging unit 3 includes: The subject image is photoelectrically converted by an image pickup device such as a CCD and supplied to the signal processing unit 4.
[0005]
The signal processing unit 4 converts the imaging signal supplied from the imaging unit 3 into YUV data including luminance and color difference components, and supplies this to a camera interface (I / F) of the main processor 7. In this case, the signal processing unit 4 supplies the main processor 7 with a pixel clock (pclk) for transferring the YUV data on a pixel-by-pixel basis and a synchronization signal (sync) including a horizontal synchronization signal and a vertical synchronization signal together with the YUV data.
[0006]
After temporarily buffering the YUV data from the signal processing unit 4, the camera interface 8 sequentially stores the YUV data in a RAM (Random Access Memory) 14 via a bus conversion unit 13.
[0007]
The bus converter 13 adjusts the timing between the inside of the main processor 7 where data is transferred at a high speed and the outside where data is transferred at a low speed in accordance with the data transfer.
[0008]
The YUV data stored in the RAM 14 is sequentially converted into RGB data under the control of a DSP (Digital Signal Processor) 12 and stored in the RAM 14 again. The stored RGB data is output to an LCD (Liquid Crystal Display) interface 9 at a predetermined timing.
[0009]
The LCD interface 9 supplies the RGB data read from the RAM 14 to the driver 18 of the LCD module 17 together with a pixel clock (pclk) and a synchronization signal (sync). The driver 18 displays the RGB data on the LCD 19 by sequentially supplying the RGB data to a predetermined pixel position of the LCD 19.
[0010]
Note that the main processor 7 is controlled by the MPU 11, and a ROM (Read Only Memory) 15 stores various processing programs.
[0011]
By mounting such an image display interface and an image input interface in the main processor, a captured image can be displayed on an image display unit such as an LCD. By mounting such a configuration in a communication terminal device such as a mobile phone device, it is possible to capture an image also in the communication terminal device.
[0012]
Further, the image processing performed by these communication terminal devices has become complicated and sophisticated, and for example, those equipped with functions such as capturing and displaying a moving image, a videophone function, and three-dimensional graphic processing have been considered. I have. A communication terminal device equipped with a plurality of cameras and LCDs has also been considered.
[0013]
In order to support a communication terminal device such as a mobile phone device equipped with these complicated functions, a method of mounting a sub-image processing processor for performing image processing on a main processor has been generalized (for example, Non-Patent Document 1). reference.).
[0014]
FIG. 15 shows a configuration of a communication terminal device having such a configuration. FIG. 15 is a block diagram showing, in particular, an image pickup device and an image display device extracted from the configuration of the conventional communication terminal device 30, and the portions having the same configuration as in FIG. Description is omitted.
[0015]
In FIG. 15, the communication terminal device 30 receives the YUV data output from the camera module 2 at the camera interface 32 of the sub image processing processor 31. The camera interface 32 temporarily buffers the YUV data from the signal processing unit 4, and then sequentially stores the YUV data in the RAM 34 via the image processor 35.
[0016]
The YUV data stored in the RAM 34 is sequentially read out to the image processor 35 under the control of a DSP (Digital Signal Processor) 12, converted into RGB data here, and stored in the RAM 34 again. The stored RGB data is output to an LCD (Liquid Crystal Display) interface 33 at a predetermined timing.
[0017]
The LCD interface 33 supplies the RGB data read from the RAM 34 to the driver 18 of the LCD module 17. The driver 18 displays the RGB data on the LCD 19 by sequentially supplying the RGB data to a predetermined pixel position of the LCD 19.
[0018]
As described above, in the communication terminal device 30, by mounting the sub-image processing processor 31 for performing image processing on the main processor, complicated image processing is enabled.
[0019]
In the communication terminal devices 1 and 30 shown in FIGS. 14 and 15, the output image from the camera module 2 is generally output according to the image size when performing image recording. In order to realize a videophone function defined by the 3G-324 standard described in 3GGP, an image of a QCIF (Quarter Common Intermediate Format) size (176 × 144 dots) is output. Alternatively, the image of the number of pixels of the CCD of the camera module 2 may be output as it is.
[0020]
[Non-patent document 1]
A MPEG4 Programmable Codec DSP with an Embedded Pre / Post-processing Engine (IEEE 1999 Custom Integrated Circuits Conference)
[0021]
[Problems to be solved by the invention]
However, in a communication terminal device such as a mobile phone device in recent years, image processing is complicated and the number of pixels is increased. For example, recording of a still image of a VGA (Video Graphics Array) size (640 × 480 dots) or CIF (Common) There is also an apparatus that records moving images of an Intermediate Format (352 × 288 dots). Further, the number of pixels of an LCD or the like as a display means is also increasing, and some devices are equipped with a QVGA (Quarter VGA) size (320 × 240 dots) LCD.
[0022]
As the image processing becomes more complicated and the number of pixels increases, the performance and the bus bandwidth of the processor for performing the image processing have increased. However, there is a demand for display of high-quality images.
[0023]
The present invention has been made in view of the above circumstances, and provides an image processing apparatus and an image processing apparatus capable of realizing high-quality image display, low power consumption, and versatile image display by adding relatively easy functions. It is an object to provide a method and a communication terminal.
[0024]
[Means for Solving the Problems]
The image processing apparatus according to the present invention includes an image encoding unit that encodes data of a captured image, a display unit that displays the captured image, and a size of the captured image, as necessary. A configuration comprising: a first image reduction unit configured to perform a reduction process before the image encoding; and a second image reduction unit configured to reduce a size of the captured image before the display as necessary. Take.
[0025]
According to this configuration, it is possible to obtain a display image and an encoded image having an image size different from the image size of the input image supplied from the camera module without deteriorating the image quality. Also, by separately reducing the display image and the encoded image, it is possible to obtain a display image and an encoded image having different image sizes.
[0026]
The image processing apparatus of the present invention includes: an image encoding unit that encodes data of a captured image; a display unit that displays the captured image; and the image encoding unit and the display that displays the captured image. First reducing means for reducing the image size to the maximum image size required by the means, and an image size required by the image encoding means and / or the display means for reducing the image reduced by the first reducing means. And a second reduction means for reducing the number of pixels.
[0027]
According to this configuration, the data size of the captured image is reduced and supplied from the camera module (imaging unit) to the image processing unit, so that the high-speed clock between the camera module and the image processing unit is generated. It is possible to avoid states such as routing and power increase due to load capacity. Therefore, in a configuration in which an output signal from the camera module is output through a flexible wiring or the like, generation of electric noise and increase in power consumption can be prevented. Thus, a configuration that can obtain a desired image size for each application without deteriorating image quality can be realized with lower noise and lower power consumption.
[0028]
The image processing apparatus of the present invention employs a configuration in the above configuration, wherein the first reduction unit further includes a unit for changing an aspect ratio of the image.
[0029]
According to this configuration, the image captured by the camera module (imaging unit), which is the pre-processing unit of the image processing unit, satisfies the common elements (the aspect ratio and the maximum image size) of the encoded image and the display image. By performing the resizing process, it is possible to more easily perform image processing as a whole system as compared with a case where complicated image processing for obtaining an encoded image and a display image is separately performed in the image processing unit. Become. Further, in both the resizing processing in the camera module and the image processing in the image processing unit, the processing for reducing the image is performed, so that the deterioration of the image quality can be avoided. Thus, a configuration in which a desired image size can be obtained for each application without deteriorating image quality can be realized more easily.
[0030]
An image processing apparatus according to the present invention includes an image encoding unit that encodes data of a captured image as necessary, and a selection unit that selectively outputs either the captured image or the encoded image. Means, display means for displaying the captured image output from the selection means, and reduction means for reducing the captured image and / or the encoded image.
[0031]
According to this configuration, when capturing a still image, the amount of image data output from the camera module (imaging unit) can be reduced, so that high-speed clock routing between the camera module and the image processing unit can be performed. In addition, it is possible to avoid a state such as an increase in power due to a load capacity, and it is possible to prevent generation of electric noise and increase in power consumption. Further, in both the reduction processing in the camera module and the image processing in the image processing unit, the processing for reducing the image is performed, so that the deterioration of the image quality can be avoided. Thus, a configuration that can obtain a desired image size for each application without deteriorating image quality can be realized with lower noise and lower power consumption.
[0032]
The image processing method of the present invention, an image encoding step of encoding data of a captured image, a display step of displaying the captured image, and, if necessary, the size of the captured image, A first image reduction step of performing a reduction processing before the image encoding, and a second image reduction step of performing a reduction processing of the size of the captured image before the display as necessary. I made it.
[0033]
According to this method, it is possible to obtain a display image and an encoded image having an image size different from the image size of the input image supplied from the camera module without deteriorating the image quality. Also, by separately reducing the display image and the encoded image, it is possible to obtain a display image and an encoded image having different image sizes.
[0034]
The image processing method of the present invention includes an image encoding step of encoding data of a captured image, a display step of displaying the captured image, the image encoding step of the captured image, and the display of the image. A first reduction step of reducing the image size to a maximum image size required in the step, and an image size required in the image encoding step and / or the display step of reducing the image reduced by the first reduction step. And a second reduction step of reducing the number of pixels.
[0035]
According to this method, the data size of the captured image is reduced and supplied from the camera module (imaging unit) to the image processing unit, so that a high-speed clock between the camera module and the image processing unit is generated. It is possible to avoid states such as routing and power increase due to load capacity. Therefore, in a configuration in which an output signal from the camera module is output through a flexible wiring or the like, generation of electric noise and increase in power consumption can be prevented. Thus, a desired image size can be obtained for each application with low noise and low power consumption without deteriorating image quality.
[0036]
The image processing method of the present invention, in the above step, further includes, in the first reduction step, a step of changing an aspect ratio of the image.
[0037]
According to this method, an image captured by a camera module (imaging unit) that is a pre-processing unit of the image processing unit so as to satisfy common elements (aspect ratio and maximum image size) of the encoded image and the display image. By performing the resizing process, it is possible to more easily perform image processing as a whole system as compared with a case where complicated image processing for obtaining an encoded image and a display image is separately performed in the image processing unit. Become. Further, in both the resizing processing in the camera module and the image processing in the image processing unit, the processing for reducing the image is performed, so that the deterioration of the image quality can be avoided. Thus, a desired image size can be obtained with low noise and low power consumption for each application without deteriorating image quality.
[0038]
An image processing method according to the present invention includes an image encoding step of encoding data of a captured image as needed, and a selection step of selectively outputting either the captured image or the encoded image. And a display step of displaying the captured image output through the selection step, and a reduction step of reducing the captured image and / or the encoded image. did.
[0039]
According to this method, when capturing a still image, the amount of image data output from the camera module (imaging unit) can be reduced, so that high-speed clock routing between the camera module and the image processing unit can be achieved. In addition, it is possible to avoid a state such as an increase in power due to a load capacity, and it is possible to prevent generation of electric noise and increase in power consumption. Further, in both the reduction processing in the camera module and the image processing in the image processing unit, the processing for reducing the image is performed, so that the deterioration of the image quality can be avoided. Thus, a desired image size can be obtained for each application with much lower noise and lower power consumption without deteriorating the image quality.
[0040]
The communication terminal device according to the present invention is a communication terminal device having a communication unit, wherein the image encoding unit encodes data of a captured image, a display unit that displays the captured image, and the display unit that displays the captured image. A first image reducing means for reducing the size of the captured image before the image encoding, if necessary, and a second image reducing means for reducing the size of the captured image before the display, if necessary. 2 image reduction means.
[0041]
According to this configuration, in the communication terminal device, a display image and an encoded image having an image size different from the image size of the input image supplied from the camera module can be obtained without deteriorating the image quality. Also, by separately reducing the display image and the encoded image, it is possible to obtain a display image and an encoded image having different image sizes.
[0042]
BEST MODE FOR CARRYING OUT THE INVENTION
The gist of the present invention is to obtain a high-quality display image and a coded image by reducing a captured image to an image size required for each of the display unit and the image coding unit.
[0043]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0044]
(Embodiment 1)
FIG. 1 in which parts corresponding to those in FIG. 14 are assigned the same reference numerals is a block diagram showing the configuration of communication terminal apparatus (mobile phone apparatus) 100 according to Embodiment 1 of the present invention. The communication terminal device 100 includes a camera module 2 that captures an image, an image processing unit 111 that receives the captured image, performs image encoding and image display processing, and an LCD module that displays a created display image. 17 is included.
[0045]
In the communication terminal device 100, the imaging unit 3 of the camera module 2 photoelectrically converts a subject image using an imaging device such as a CCD and supplies the subject image to the signal processing unit 4. The signal processing unit 4 performs signal processing such as YC processing and white balance processing on the image pickup signal supplied from the image pickup unit 3, and then performs the main processing as YUV data including luminance and color difference components for each pixel. The data is supplied to the image processing unit 111 of the processor 110.
[0046]
In this case, the signal processor 4 supplies the main processor 110 with a pixel clock (pclk) for transferring the YUV data on a pixel-by-pixel basis and a synchronization signal (sync) including a horizontal synchronization signal and a vertical synchronization signal together with the YUV data.
[0047]
The image processing unit 111 temporarily stores the YUV data supplied from the camera module 2 in the RAM 14, reads the YUV data from the RAM 14, converts the data into RGB data, and stores the RGB data again in the RAM 14. Note that RGB data may be output from the camera module 2. In this case, the RGB data is stored in the RAM 14.
[0048]
Further, the image processing unit 111 performs a reduction process (described later) on the RGB data stored in the RAM 14 as necessary, and compresses the reduced data by an image encoding process such as MREG4 or JPEG. Become This encoded data is stored in the RAM 14. On the other hand, the image processing unit 111 performs a reduction process (described later) on the RGB data stored in the RAM 14 as necessary, and outputs the reduced RGB data together with a pixel clock and a synchronization signal to the LCD. It is supplied to the driver 18 of the module 17. The driver 18 displays the RGB data on the LCD 19 by sequentially supplying the RGB data to a predetermined pixel position of the LCD 19. The detailed description of the image processing unit 111 will be described later.
[0049]
The main processor 110 is controlled by the MPU 101, and various processing programs are stored in a ROM (Read Only Memory) 15.
[0050]
As a configuration for realizing the mobile phone function of the communication terminal apparatus 100, an audio signal converted into an electric signal via the microphone 104 is converted into a digital signal by a PCM (Pulse Code Modulation) codec 103 under the control of the DSP 102. The encoded signal is supplied to the baseband signal processing unit 115.
[0051]
The baseband processing unit 115 converts the supplied audio data into an analog signal, performs a modulation process and the like, and supplies this to an RF (Radio Frequency) unit 116 to convert the frequency into a radio band. The signal is transmitted via the antenna 117.
[0052]
Further, the signal received by the antenna 117 is frequency-converted into a baseband band by the RF unit 116 and then demodulated by the baseband signal processing unit 115. After the demodulated signal is converted into digital data, it is supplied to the PCM codec 103 via the bus converter 13 and the DSP 102, where it is converted into an analog signal. The signal converted to an analog signal is converted from an electric signal to an audio wave in the receiver speaker 105 and output.
[0053]
Next, details of the image processing unit 111 will be described. FIG. 2 in which the same reference numerals are assigned to parts corresponding to those in FIG. 1 shows the camera module 2, the image processing unit 111, and the functional units of the LCD module 17 extracted from the communication terminal device 100 shown in FIG. It is a block diagram.
[0054]
As shown in FIG. 2, the YUV data output from the camera module 2 is supplied to the reduction processing units 121 and 123 via the camera interface 8 of the image processing unit 111. The reduction processing unit 121 reduces the input YUV data by performing thinning processing and interpolation processing on the image as necessary, and supplies the reduced image data to the image encoding unit 122. The image encoding unit 122 performs compression encoding processing on the input image data by a method such as MPEG4. The compressed and encoded data (moving image data) is stored in the RAM 14 shown in FIG. When a captured image is recorded as a still image, the image data is compression-encoded by a still image encoding process such as JPEG in the image encoding unit 122.
[0055]
The reduction processing unit 123 reduces the input YUV data by performing a thinning process and an interpolation process on the image as necessary, and converts the reduced image data into an LCD module via the LCD interface 124. 17.
[0056]
FIGS. 3 and 4 are schematic diagrams illustrating the operation of the image processing unit 111 illustrated in FIG. As shown in FIG. 3, it is assumed that the input image 140 supplied from the camera module 2 has a QVGA size of (horizontal) 320 × (vertical) 240 dots. The input image 140 is supplied to the image encoding unit 122 as an encoded image 141 in the same size without being reduced by the reduction processing unit 121 of the image processing unit 111.
[0057]
On the other hand, the reduction processing unit 123 performs the thinning process and the interpolation process on the input image 140 supplied from the camera module 2 to reduce the image size to (horizontal) 240 × (vertical) 180 dots. The image is reduced and displayed on the LCD 19 as a display image 142. The LCD 19 has a vertically long display area 143 as shown in FIG. 3, and the reduction processing section 123 adjusts the size of the input image so as to match the size of this display area 143 in the horizontal direction (240 dots). 140 is reduced.
[0058]
As described above, the input image having the image size of (horizontal) 320 × (vertical) 240 dots is reduced in accordance with the size of the display area 143 of the LCD 19, and transmitted to the image encoding unit 122. Supplied without reducing the image size. That is, of the display image 142 and the encoded image (recorded image) 141, an input image 140 having a size corresponding to the number of pixels of the recorded image having a large image size is input from the camera module 2, and immediately before display on the LCD 19. The display image 142 is obtained by reducing the input image 140.
[0059]
Accordingly, when the image size of the display image 142 is smaller than the image size of the encoded image 142, the image size of the input image 140 output from the camera module 2 is changed to the encoded image supplied to the image encoding unit 122. By reducing the size of the encoded image 141 supplied to the image encoding unit 122 by reducing the size of the encoded image 141 supplied to the image encoding unit 122 and reducing only the display image 142, the encoded image 141 and the display image 142 are reduced. Can be obtained.
[0060]
That is, by providing the image encoding unit 122 and the two independent reduction processing units 121 and 123 for LCD display, each image size can be controlled independently, and the image size corresponding to the large image size can be controlled. By receiving the input image 140 from the camera module 2, if only the one requiring a relatively small image size (the display image 142 in the example shown in FIG. 3) is reduced, the desired image size can be obtained. An encoded image 141 and a display image 142 can be obtained.
[0061]
As a result, even when the image sizes of the encoded image 141 and the display image 142 are different, it is not necessary to perform the enlargement processing, and it is possible to avoid deterioration in image quality due to the enlargement processing. Incidentally, when the image size is enlarged, for example, an image for one dot is represented by several dots, and the image quality is degraded accordingly.
[0062]
FIG. 4 shows that the display image 142 is displayed on the entire display area 143 (QVGA size) of the LCD 19, whereas the image size of the encoded image 141 supplied to the image encoding unit 122 is smaller than the display image 142. (QQVGA size) is smaller than the image size (QVGA size). That is, in the communication terminal device 100, the image size of the encoded image 141 can be set, and the image size of the encoded image 141 may be changed by this setting. This shows a case where the image size of the encoded image 141 is set as a size (QQVGA size) smaller than the image size (QVGA size) of the display image 142.
[0063]
In this case, assuming that the input image 140 supplied from the camera module 2 has a (horizontal) 320 × (vertical) 240 dot QVGA size as in the case of FIG. 140 is supplied to the LCD module 17 as a display image 142 in the same size (QVGA size) without being reduced by the reduction processing unit 123 of the image processing unit 111.
[0064]
On the other hand, the reduction processing unit 121 performs a thinning process and an interpolation process on the input image 140 supplied from the camera module 2 to reduce the image size to (horizontal) 160 × (vertical) 120 dots. The image is reduced to the QQVGA size and supplied to the image encoding unit 122 as an encoded image 141.
[0065]
As described above, an input image having an image size of (horizontal) 320 × (vertical) 240 dots is subjected to reduction processing in accordance with the size of the encoded image 141, and the display image 142 is reduced in image size. It is supplied to the LCD module 17 without performing. That is, of the display image 142 and the encoded image (recorded image) 141, an input image 140 having a size corresponding to the number of pixels of the display image having a large image size is input from the camera module 2 and supplied to the image encoding unit 122. Immediately before, the input image 140 is reduced to obtain an encoded image 141.
[0066]
Accordingly, when the image size of the encoded image 142 is smaller than the image size of the display image 142, the image size of the input image 140 output from the camera module 2 is adjusted to the image size of the display image 142, and By reducing only the coded image 141 without reducing the image size of the display image 142 supplied to the module 17, the coded image 141 and the display image 142 can be obtained.
[0067]
That is, by providing the image encoding unit 122 and the two independent reduction processing units 121 and 123 for LCD display, each image size can be controlled independently, and the image size corresponding to the large image size can be controlled. By receiving the input image 140 from the camera module 2, if only the one that requires a relatively small image size (the coded image 141 in the example shown in FIG. 3) is reduced, the desired size can be obtained. And the display image 142 can be obtained.
[0068]
As a result, even when the image sizes of the encoded image 141 and the display image 142 are different, it is not necessary to perform the enlargement processing, and it is possible to avoid deterioration in image quality due to the enlargement processing. In the case of FIG. 4, by making the image size of the display image 142 the same number of pixels as the image size of the input image 140 supplied from the camera module 2, there is no need to enlarge the display image 142, and A high-quality display image can be obtained on the LCD 19 while avoiding deterioration.
[0069]
FIG. 5 is a flowchart illustrating an image processing procedure in the image processing unit 111. In this case, the input image 140 is configured to be larger than the image size of the encoded image 141 and the image size of the display image 142. 5, in step ST101, the image processing unit 111 determines whether or not the image size of the encoded image 141 is the same as the image size of the input image 140.
[0070]
If a positive result is obtained here, this means that the image size set as the coded image 141 is equal to the image size of the input image 140, and at this time, the image processing unit 111 determines in step ST103 Then, the encoded image 141 having the image size of the input image 140 is encoded.
[0071]
On the other hand, if a negative result is obtained in step ST101, this means that the image size set as the encoded image 141 is smaller than the image size of the input image 140. The processing unit 111 proceeds to step ST102 and obtains an encoded image 141 by performing a reduction process on the input image 140 in the reduction processing unit 121, and then proceeds to step ST103 to encode the reduced encoded image 141. Become
[0072]
Then, the image processing unit 111 proceeds to step ST104 and determines whether or not the image size set as the display image 142 is the same as the image size of the input image 140.
[0073]
If a positive result is obtained here, this means that the image size set as the display image 142 is equal to the image size of the input image 140. At this time, the image processing unit 111 proceeds to step ST106. Then, the display image 142 having the same image size as the input image 140 is displayed on the LCD 19.
[0074]
On the other hand, if a negative result is obtained in step ST104, this means that the image size set as the display image 142 is smaller than the image size of the input image 140. The unit 111 proceeds to step ST105, and obtains the display image 142 by performing the reduction process on the input image 140 to the size required as the display image 142 in the reduction processing unit 123, and then proceeds to step ST106. The reduced display image 142 is displayed on the LCD 19.
[0075]
As described above, the image processing unit 111 determines whether or not the input image 140 and the image size required as the coded image 141 and the display image 142 set at that time match, and the determination result , A desired image size can be obtained by reducing the input image if necessary.
[0076]
Accordingly, the encoded image 141 and the display image 142 having different image sizes can be obtained without causing image deterioration.
[0077]
As described above, according to the communication terminal device 100 of the present embodiment, the display image 142 and the code having the image size different from the image size of the input image supplied from the camera module 2 are obtained without deteriorating the image quality. Image 141 can be obtained. Further, by separately reducing the display image 142 and the encoded image 141, the display image 142 and the encoded image 141 having different image sizes can be obtained. Further, since the image processing unit 111 has a semiconductor configuration, cost reduction can be achieved.
[0078]
Note that, in the above-described embodiment, a case where each block of the image processing unit 111 has a hardware configuration as illustrated in FIG. 2 has been described. However, the present invention is not limited to this. As shown in FIG. 6 in which the same reference numerals are assigned to the corresponding parts, the respective blocks of the image processing unit 111 (the camera interface 8, the reduction processing units 121 and 123, the image encoding unit 122, and the LCD interface 124) The processing LSI 130 may be configured to be integrated. In this case, the cost can be reduced by integrating the image processing unit 111 with a semiconductor. Incidentally, the image encoding unit 122 may be configured by another semiconductor.
[0079]
Further, in the above-described embodiment, as described in FIGS. 2 and 6, the case where each block of the image processing unit 111 performs the image reduction processing and the encoding processing has been described. The functions (reduction processing, image encoding processing) of the image processing unit 111 may be realized by the image processor 150 as shown in FIG. 7, for example. In this case, the image processing processor 150, the camera interface 8, and the LCD interface 124 have a configuration (image processing LSI 151) integrated by a semiconductor.
[0080]
Then, a program for executing the image processing procedure shown in FIG. 5 is stored in the ROM 152 in advance, and the image processing processor 150 executes the image processing according to the program stored in the ROM 152. As described above, the cost can be reduced by realizing the image processing by software.
[0081]
Further, in the present invention, instead of the configuration of FIG. 7, as shown in FIG. 8, a program for executing the image processing procedure shown in FIG. 5 is stored in an external storage medium 164 such as a CD-ROM. The program may be read from the external storage medium 164 by the reading unit 163 and stored in the RAM 162. The image processor 150 executes the image processing shown in FIG. 5 according to the program stored in the RAM 162.
[0082]
As described above, by storing and using the image processing program in the external storage medium 164, it is possible to realize the image processing of the present invention even in an apparatus having a computer configuration.
[0083]
Further, in the above-described embodiment, a case has been described in which the present invention is applied to a mobile phone device. However, the present invention is not limited to this, and various other communication terminal devices such as a PDA (Personal Digital Assistance), or The present invention can be widely applied to terminal devices having no communication function.
[0084]
(Embodiment 2)
FIG. 9 is a block diagram illustrating a configuration of the image processing unit 111, the camera module 202, and the LCD module 17 of the communication terminal device according to Embodiment 2 of the present invention. However, components having the same configuration as those in FIGS. 1 and 2 are denoted by the same reference numerals as those in FIGS. 1 and 2, and detailed description is omitted.
[0085]
The camera module 202 shown in FIG. 9 is different from the camera module 2 shown in FIG. The reduction processing section 201 performs reduction processing on the YUV data output from the signal processing section 4.
[0086]
In this embodiment, as shown in FIG. 10, the number of pixels of the sensor output image 144 output from the CCD (sensor) of the imaging unit 3 is a VGA size of (horizontal) 640 × (vertical) 480 dots. A case where the image size of the encoded image 141 and the display image 142 is a QVGA size of (horizontal) 320 × (vertical) 240 dots will be described.
[0087]
The sensor output image 144 output from the signal processing unit in the camera module 202 is reduced by a reduction processing unit 201 provided in the camera module 202 by thinning processing and interpolation processing.
[0088]
In this case, the reduction processing unit 201 reduces the sensor output image 144 to the same image size as the larger one of the encoded image 141 and the display image 142. That is, the reduction processing unit 201 reduces the center output image 144 to the maximum image size required by the image processing unit 111. In this embodiment, since the encoded image 141 and the display image 142 have the same image size (320 × 240 dots), the reduction processing unit 201 of the camera module 202 determines that the sensor output image 144 (640 × 480 dots) ) Is reduced to the image size of the encoded image 141 and the display image 142 (320 × 240 dots).
[0089]
The image reduced in this way is supplied from the camera module 202 to the image processing unit 111 as an input image 140 having a smaller data size than the sensor output image 144.
[0090]
By supplying the input image 140 having a reduced data size from the camera module 202 to the image processing unit 111, a high-speed clock can be routed between the camera module 202 and the image processing unit 111, and the power due to the load capacity can be reduced. A situation such as increase can be avoided. Therefore, in a configuration in which an output signal from the camera module 202 is output through a flexible wiring or the like, generation of electric noise and increase in power consumption can be prevented.
[0091]
As described above, according to the communication terminal device of the present embodiment, a configuration in which a desired image size can be obtained for each application without deteriorating image quality is realized with further lower noise and lower power consumption. can do.
[0092]
In the above embodiment, as shown in FIG. 9, the case where each block of the image processing unit 111 and the reduction processing unit 201 of the camera module 202 has a hardware configuration has been described. Not limited to this, each block of the image processing unit 111 (the camera interface 8, the reduction processing units 121 and 123, the image encoding unit 122 and the LCD interface 124) and the reduction processing unit 201 of the camera module 202 are configured by an image processing LSI. Is also good. In this way, cost reduction can be achieved. Incidentally, the image encoding unit 122 may be configured by another semiconductor.
[0093]
Further, in the above-described embodiment, as shown in FIG. 9, a case has been described where image reduction processing and encoding processing are performed by each block of the image processing unit 111 and the reduction processing unit 201 of the camera module 202. However, the present invention is not limited to this, and each function (reduction processing, image encoding processing) of the image processing unit 111 and the reduction processing unit 201 may be realized by an image processing processor. In this case, the image processor has a semiconductor configuration. As described above, the cost can be reduced by realizing the image processing by software.
[0094]
In the present invention, a program for executing the image processing described above with reference to FIG. 9 is stored in an external storage medium such as a CD-ROM, the program is read from the external storage medium, and an image processor is read in accordance with the program. May be executed. Thus, by storing and using the image processing program in the external storage medium, it is possible to realize the image processing of the present invention even in an apparatus having a computer configuration.
[0095]
Further, in the above-described embodiment, a case has been described in which the present invention is applied to a mobile phone device. However, the present invention is not limited to this, and various other communication terminal devices such as a PDA (Personal Digital Assistance), or The present invention can be widely applied to terminal devices having no communication function.
[0096]
(Embodiment 3)
FIG. 11 is a block diagram showing a configuration of image processing section 111, camera module 302, and LCD module 17 of the communication terminal device according to Embodiment 3 of the present invention. However, components having the same configuration as those in FIGS. 1 and 2 are denoted by the same reference numerals as those in FIGS. 1 and 2, and detailed description is omitted.
[0097]
The camera module 302 illustrated in FIG. 11 is different from the camera module 2 illustrated in FIG. 2 in that the camera module 302 includes a resize processing unit 301. The resizing section 301 converts the aspect ratio of the YUV data output from the signal processing section 4.
[0098]
In this embodiment, as shown in FIG. 12, the number of pixels of the sensor output image 144 output from the CCD (sensor) of the imaging unit 3 is a VGA size of (horizontal) 640 × (vertical) 480 dots, The image size of the encoded image 141 is a QCIF size of (horizontal) 175 × (vertical) 144 dots, and the image size of the display image 142 is (horizontal) 240 × (vertical) 196 dots (that is, the QVGA size is vertically long). (The size when the width of the horizontally long display image 142 is displayed substantially in accordance with the width of the display area 143 in the case of (1)) will be described.
[0099]
The aspect ratio of the sensor output image 144 output from the imaging unit 3 is 4: 3, and the aspect ratio of the encoded image 141 is 11: 9. Accordingly, the resize processing unit 301 of the camera module 302 converts the aspect ratio of the sensor output image 144 into an aspect ratio (11: 9) necessary for the encoded image 141, and obtains the aspect ratio and also encodes the encoded image 141. Also, a reduction process is performed so that the image size becomes equal to or larger than the larger one of the image sizes of the display image 142. As for the conversion of the aspect ratio, as shown in FIG. 12, there is a method of cutting data of an unnecessary area.
[0100]
Accordingly, the resized input image 140 is supplied to the image processing unit 111, so that the image processing unit 111 does not perform complicated image processing such as cutout processing and mask processing on the input image 140, and performs the processing described with reference to FIG. The encoded image 141 and the display image 142 having the required aspect ratio and image size can be obtained only by performing the reduced processing.
[0101]
As described above, the resizing of the sensor output image 144 is performed in the camera module 302 which is the pre-processing unit of the image processing unit 111 so as to satisfy the common elements (the aspect ratio and the maximum image size) of the encoded image 141 and the display image 142. By performing the processing, the image processing can be performed more easily as a whole system as compared with the case where the complicated image processing for obtaining the encoded image 141 and the display image 142 is separately performed in the image processing unit 111. It becomes. Further, in both the resizing process in the camera module 302 and the image processing in the image processing unit, a process of reducing an image is performed, so that deterioration in image quality can be avoided.
[0102]
As described above, according to the communication terminal device of the present embodiment, it is possible to more easily realize a configuration capable of obtaining a desired image size for each application without deteriorating image quality.
[0103]
In the above embodiment, as shown in FIG. 11, the case where each block of the image processing unit 111 and the resizing processing unit 301 of the camera module 302 has a hardware configuration has been described. Not limited to this, each block of the image processing unit 111 (camera interface 8, reduction processing units 121 and 123, image coding unit 122 and LCD interface 124) and the resizing processing unit 301 of the camera module 302 are configured by an image processing LSI. Is also good. In this way, cost reduction can be achieved. Incidentally, the image encoding unit 122 may be configured by another semiconductor.
[0104]
Further, in the above-described embodiment, as shown in FIG. 11, a case has been described in which each block of the image processing unit 111 and the resizing processing unit 301 of the camera module 302 perform image reduction processing and encoding processing. However, the present invention is not limited to this, and each function (reduction processing, resizing processing, image encoding processing) of the image processing unit 111 and the resizing processing unit 301 may be realized by an image processing processor. In this case, the image processor has a semiconductor configuration. As described above, the cost can be reduced by realizing the image processing by software.
[0105]
In the present invention, a program for executing the image processing (resize processing, reduction processing, image encoding processing) described above with reference to FIG. 11 is stored in an external storage medium such as a CD-ROM, and A program may be read from a medium, and image processing may be performed by an image processor according to the program. Thus, by storing and using the image processing program in the external storage medium, it is possible to realize the image processing of the present invention even in an apparatus having a computer configuration.
[0106]
Further, in the above-described embodiment, a case has been described in which the present invention is applied to a mobile phone device. However, the present invention is not limited to this, and various other communication terminal devices such as a PDA (Personal Digital Assistance), or The present invention can be widely applied to terminal devices having no communication function.
[0107]
(Embodiment 4)
FIG. 13 is a block diagram illustrating a configuration of the image processing unit 111, the camera module 402, and the LCD module 17 of the communication terminal device according to Embodiment 4 of the present invention. However, components having the same configuration as those in FIGS. 1, 2 and 11 are denoted by the same reference numerals as those in FIGS. 1 and 2, and detailed description is omitted.
[0108]
The camera module 402 illustrated in FIG. 13 is different from the camera module 302 illustrated in FIG. 11 in that an image encoding unit 401 is provided. The image encoding unit 401 compresses and encodes the YUV data output from the signal processing unit 4 by JPEG or the like as necessary.
[0109]
In this embodiment, the number of pixels of the sensor output image 144 output from the CCD (sensor) of the imaging unit 3 is a VGA size of (horizontal) 640 × (vertical) 480 dots, and the image size of the display image is ( The case of a QVGA size of (horizontal) 320 × (vertical) 240 dots will be described.
[0110]
First, when an image from the camera module 402 is displayed on the LCD as in a preview or the like, the encoded image compressed and encoded by the image encoding unit 401 is not output. The result of resizing (VGA size) to the QVGA size for display is output to the image processing unit 111.
[0111]
In this case, the reduction processing unit 123 of the image processing unit 111 outputs the QVGA size image supplied from the camera module 402 to the LCD module 17 in the same image size.
[0112]
On the other hand, when capturing one still image, the DSP 102 (FIG. 1) instructs the camera module 402 to output a JPEG encoded image. As a result, in the camera module 402, the switching unit 403 is controlled to be in the OFF state, and the VGA-size sensor output image output from the signal processing unit 4 is directly supplied to the image encoding unit 401 without being resized. . Then, only one output (JPEG encoded image) of the image encoding unit 401 is output to the image processing unit 111.
[0113]
The JPEG encoded image is reduced by the reduction processing unit 121 as necessary, and then stored in the memory 404, thereby completing the imaging process. As described above, by performing the image encoding process in the camera module 402, the image data (JPEG encoded image) output from the camera module 402 becomes 1/6 to 1/6 of the case where the image data is output as YUV data. It is compressed to about 1/10.
[0114]
Therefore, when a still image is captured, the amount of image data output from the camera module 402 can be reduced, so that a high-speed clock can be routed between the camera module 402 and the image processing unit 111, and the power due to the load capacity can be reduced. It is possible to avoid a state such as increase, and to prevent generation of electric noise and increase in power consumption. Further, in both the resizing processing in the camera module 402 and the image processing in the image processing unit, deterioration in image quality can be avoided by performing processing for reducing an image.
[0115]
As described above, according to the communication terminal device of the present embodiment, a configuration in which a desired image size can be obtained for each application without deteriorating image quality is realized with further lower noise and lower power consumption. can do.
[0116]
In the above-described embodiment, as shown in FIG. 13, a case has been described in which each block of the image processing unit 111, the image encoding unit 401 of the camera module 402, and the resizing processing unit 301 has a hardware configuration. However, the present invention is not limited to this, and each block of the image processing unit 111 (the camera interface 8, the reduction processing units 121 and 123, the image encoding unit 122 and the LCD interface 124) and the image encoding unit 401 of the camera module 402 and The resize processing unit 301 may be configured by an image processing LSI. In this way, cost reduction can be achieved. Incidentally, the image encoding unit 122 may be configured by another semiconductor.
[0117]
In the above-described embodiment, as shown in FIG. 13, each block of the image processing unit 111 and the image encoding unit 401 and the resizing processing unit 301 of the camera module 402 perform image reduction processing and encoding processing. However, the present invention is not limited to this, and each function (reduction processing, resizing processing, image encoding processing) of the image processing unit 111, the image encoding unit 401, and the resizing processing unit 301 is performed by an image processing processor. It may be realized by. In this case, the image processor has a semiconductor configuration. As described above, the cost can be reduced by realizing the image processing by software.
[0118]
In the present invention, a program for executing the image processing (resize processing, reduction processing, image encoding processing) described above with reference to FIG. 13 is stored in an external storage medium such as a CD-ROM, A program may be read from a medium, and image processing may be performed by an image processor according to the program. Thus, by storing and using the image processing program in the external storage medium, it is possible to realize the image processing of the present invention even in an apparatus having a computer configuration.
[0119]
Further, in the above-described embodiment, a case has been described in which the present invention is applied to a mobile phone device. However, the present invention is not limited to this, and various other communication terminal devices such as a PDA (Personal Digital Assistance), or The present invention can be widely applied to terminal devices having no communication function.
[0120]
【The invention's effect】
As described above, according to the present invention, an image to be displayed on the display unit and an image to be encoded by the image encoding unit can be obtained from the captured image without deteriorating the image quality.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a communication terminal device according to the present invention.
FIG. 2 is a block diagram illustrating a configuration of the image processing apparatus according to the first embodiment;
FIG. 3 is a schematic diagram used to explain the operation of the first embodiment;
FIG. 4 is a schematic diagram used to explain the operation of the first embodiment;
FIG. 5 is a flowchart for explaining the operation of the first embodiment;
FIG. 6 is a block diagram illustrating a configuration of an image processing apparatus according to another embodiment.
FIG. 7 is a block diagram illustrating a configuration of an image processing apparatus according to another embodiment.
FIG. 8 is a block diagram illustrating a configuration of an image processing apparatus according to another embodiment.
FIG. 9 is a block diagram illustrating a configuration of an image processing apparatus according to a second embodiment.
FIG. 10 is a schematic diagram used for describing the operation of the second embodiment.
FIG. 11 is a block diagram illustrating a configuration of an image processing apparatus according to a third embodiment;
FIG. 12 is a schematic diagram used for describing the operation of the third embodiment.
FIG. 13 is a block diagram illustrating a configuration of an image processing apparatus according to a fourth embodiment.
FIG. 14 is a block diagram showing a configuration of a conventional communication terminal device.
FIG. 15 is a block diagram showing a configuration of a conventional communication terminal device.
[Explanation of symbols]
2, 202, 302, 402 camera module
3 Imaging unit
4 Signal processing unit
8 Camera interface
13 Bus converter
17 LCD module
18 Driver
19 LCD
100 Communication terminal device
101 MPU
102 DSP
103 PCM codec
104 microphone
105 receiver speaker
111 Image processing unit
115 Baseband signal processing unit
116 RF unit
117 antenna
121, 123, 201 Reduction processing unit
122, 401 image coding unit
124 LCD interface
130 Image Processing LSI
140 input image
141 encoded image
142 Display image
143 display area
144 Sensor output image
150 Image Processor
163 reading unit
164 external storage medium
301 Resize processing unit
403 switching unit

Claims (9)

撮像された画像のデータを符号化する画像符号化手段と、
前記撮像された画像を表示する表示手段と、
前記撮像された画像のサイズを、必要に応じて、前記画像符号化前に縮小処理する第1の画像縮小手段と、
前記撮像された画像のサイズを、必要に応じて、前記表示前に縮小処理する第2の画像縮小手段と、
を具備することを特徴とする画像処理装置。
Image encoding means for encoding data of a captured image,
Display means for displaying the captured image;
First image reduction means for reducing the size of the captured image, if necessary, before the image encoding;
A second image reduction unit configured to reduce the size of the captured image, if necessary, before the display;
An image processing apparatus comprising:
撮像された画像のデータを符号化する画像符号化手段と、
前記撮像された画像を表示する表示手段と、
前記撮像された画像を前記画像符号化手段及び前記表示手段において必要とされる最大の画像サイズに縮小する第1の縮小手段と、
前記第1の縮小手段によって縮小された画像を、前記画像符号化手段及び又は前記表示手段で必要とされる画像サイズに縮小する第2の縮小手段と、
を具備することを特徴とする画像処理装置。
Image encoding means for encoding data of a captured image,
Display means for displaying the captured image;
A first reducing unit that reduces the captured image to a maximum image size required in the image encoding unit and the display unit;
A second reduction unit configured to reduce the image reduced by the first reduction unit to an image size required by the image encoding unit and / or the display unit;
An image processing apparatus comprising:
前記第1の縮小手段は、前記画像のアスペクト比を変更する手段を更に具備することを特徴とする請求項2記載の画像処理装置。3. The image processing apparatus according to claim 2, wherein the first reduction unit further includes a unit for changing an aspect ratio of the image. 撮像された画像のデータを必要に応じて符号化する画像符号化手段と、
前記撮像された画像又は前記符号化された画像のいずれかを選択的に出力する選択手段と、
前記選択手段から出力される前記撮像された画像を表示する表示手段と、
前記撮像された画像及び又は前記符号化された画像を縮小処理する縮小手段と、
を具備することを特徴とする画像処理装置。
Image encoding means for encoding the data of the captured image as necessary,
Selection means for selectively outputting either the captured image or the encoded image,
Display means for displaying the captured image output from the selection means,
A reduction unit configured to perform a reduction process on the captured image and / or the encoded image;
An image processing apparatus comprising:
撮像された画像のデータを符号化する画像符号化工程と、
前記撮像された画像を表示する表示工程と、
前記撮像された画像のサイズを、必要に応じて、前記画像符号化前に縮小処理する第1の画像縮小工程と、
前記撮像された画像のサイズを、必要に応じて、前記表示前に縮小処理する第2の画像縮小工程と、
を具備することを特徴とする画像処理方法。
An image encoding step of encoding data of a captured image,
A display step of displaying the captured image;
A first image reduction step of reducing the size of the captured image, if necessary, before the image encoding;
A second image reduction step of reducing the size of the captured image, if necessary, before the display;
An image processing method comprising:
撮像された画像のデータを符号化する画像符号化工程と、
前記撮像された画像を表示する表示工程と、
前記撮像された画像を前記画像符号化工程及び前記表示工程において必要とされる最大の画像サイズに縮小する第1の縮小工程と、
前記第1の縮小工程によって縮小された画像を、前記画像符号化工程及び又は前記表示工程で必要とされる画像サイズに縮小する第2の縮小工程と、
を具備することを特徴とする画像処理方法。
An image encoding step of encoding data of a captured image,
A display step of displaying the captured image;
A first reduction step of reducing the captured image to a maximum image size required in the image encoding step and the display step;
A second reduction step of reducing the image reduced by the first reduction step to an image size required in the image encoding step and / or the display step;
An image processing method comprising:
前記第1の縮小工程では、前記画像のアスペクト比を変更する工程を更に具備することを特徴とする請求項6記載の画像処理方法。7. The image processing method according to claim 6, further comprising a step of changing an aspect ratio of the image in the first reduction step. 撮像された画像のデータを必要に応じて符号化する画像符号化工程と、
前記撮像された画像又は前記符号化された画像のいずれかを選択的に出力する選択工程と、
前記選択工程を介して出力される前記撮像された画像を表示する表示工程と、
前記撮像された画像及び又は前記符号化された画像を縮小処理する縮小工程と、
を具備することを特徴とする画像処理方法。
An image encoding step of encoding data of the captured image as necessary,
A selection step of selectively outputting either the captured image or the encoded image,
A display step of displaying the captured image output through the selection step;
A reduction step of reducing the captured image and / or the encoded image,
An image processing method comprising:
通信手段を有する通信端末装置であって、
撮像された画像のデータを符号化する画像符号化手段と、
前記撮像された画像を表示する表示手段と、
前記撮像された画像のサイズを、必要に応じて、前記画像符号化前に縮小処理する第1の画像縮小手段と、
前記撮像された画像のサイズを、必要に応じて、前記表示前に縮小処理する第2の画像縮小手段と、
を具備することを特徴とする通信端末装置。
A communication terminal device having communication means,
Image encoding means for encoding data of a captured image,
Display means for displaying the captured image;
First image reduction means for reducing the size of the captured image, if necessary, before the image encoding;
A second image reduction unit configured to reduce the size of the captured image, if necessary, before the display;
A communication terminal device comprising:
JP2002303647A 2002-10-17 2002-10-17 Image processor, image processing method, and communication terminal Withdrawn JP2004140613A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002303647A JP2004140613A (en) 2002-10-17 2002-10-17 Image processor, image processing method, and communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002303647A JP2004140613A (en) 2002-10-17 2002-10-17 Image processor, image processing method, and communication terminal

Publications (1)

Publication Number Publication Date
JP2004140613A true JP2004140613A (en) 2004-05-13

Family

ID=32451326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002303647A Withdrawn JP2004140613A (en) 2002-10-17 2002-10-17 Image processor, image processing method, and communication terminal

Country Status (1)

Country Link
JP (1) JP2004140613A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006135566A (en) * 2004-11-05 2006-05-25 Casio Comput Co Ltd Image processing apparatus and image processing method
US8417281B2 (en) 2006-08-22 2013-04-09 Kyocera Corporation Communication terminal with camera
DE102022212370A1 (en) 2021-11-19 2023-05-25 Renesas Electronics Corporation SEMICONDUCTOR DEVICE AND IMAGE PROCESSING SYSTEM

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006135566A (en) * 2004-11-05 2006-05-25 Casio Comput Co Ltd Image processing apparatus and image processing method
US8417281B2 (en) 2006-08-22 2013-04-09 Kyocera Corporation Communication terminal with camera
DE102022212370A1 (en) 2021-11-19 2023-05-25 Renesas Electronics Corporation SEMICONDUCTOR DEVICE AND IMAGE PROCESSING SYSTEM
US11763417B2 (en) 2021-11-19 2023-09-19 Renesas Electronics Corporation Semiconductor device and image processing system for processing regions of interest images

Similar Documents

Publication Publication Date Title
JP4655991B2 (en) Imaging apparatus, electronic zoom method, and program
US9313378B2 (en) Image processing apparatus and method of camera
US20130258136A1 (en) Image processing apparatus and method of camera device
US20060268016A1 (en) Mobile terminal
US7583280B2 (en) Image display device
EP1575278A1 (en) Camera-equipped mobile terminal
KR100663430B1 (en) Device and method for displaying zoom screen in wireless telephone having camera
JP2001238190A (en) Image processing apparatus and its control processing method
JP4028694B2 (en) CAMERA DEVICE AND ELECTRONIC DEVICE HAVING THE CAMERA DEVICE
KR100650251B1 (en) Handset having image processing function and method therefor
JP4490776B2 (en) Image processing apparatus, information terminal apparatus, and image processing method
US8698950B2 (en) Device and method for controlling a camera module in a mobile terminal to reduce power consumption
KR102058860B1 (en) Apparatus and mehod for processing a image in camera device
US20040263663A1 (en) Digital camera image controller apparatus for a mobile phone
US7705890B2 (en) Apparatus and method for photographing an image in a wireless terminal
JP2004140613A (en) Image processor, image processing method, and communication terminal
JP4877995B2 (en) Image processing apparatus and electronic apparatus using the same
JP2001197298A (en) Image data transmission method and communication terminal device
KR20060000612A (en) Apparatus, system and method for compression of rotated image
KR101276874B1 (en) Mobile communication terminal having a camera and method of controlling the same
JP2005303512A (en) Camera and data transfer method
JP2004104222A (en) Imaging unit
US7486828B2 (en) Method and apparatus for processing an image data for output
JP2012090212A (en) Image processing device, personal digital assistance, image processing method, and program
JP2004088510A (en) Zooming processor and method for zooming processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051014

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20071001