JP2006094420A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 圧縮蓄積データと表示データのいずれにも最適なエッジ強調強度の画像を同時に且つリアルタイムに得ることができるようにすること。
【解決手段】 撮像部１では撮像素子１１が出力した映像信号から信号処理部１２でディジタル画像データを生成し、エッジ強調部１３でエッジ強調を行い、ズーム部１４でズーム処理を行い表示部２と圧縮蓄積部３夫々に入力する。表示部２では解像度変換部２１で解像度を変換し、エッジ強調部２２でエッジ強調を行い、表示制御部２３で駆動信号を生成しディスプレイ２４で表示を行う。圧縮蓄積部３ではエッジ強調部３１でエッジ強調を行い、圧縮部３２で圧縮し、蓄積部３３に蓄積する。制御部４はズーム部１４におけるズーム倍率に連動してエッジ強調部１３、２２及び３１のエッジ強調強度を適応的に制御する。
【選択図】 図１

Description

本発明は、静止画像撮影機能と、動画像撮影機能と、テレビ電話などの動画像通信機能とを兼ね備えた携帯電話やＰＤＡ(Personal Digital Assistant)等の情報端末装置に用いて好適な画像処理装置及び画像処理方法に関する。

近年、携帯電話に代表される通信端末装置のなかには、カメラを搭載して静止画像や動画像の撮影を可能にするとともに、テレビ電話などの動画像を送受信できるものがある。搭載するカメラの解像度も日々進歩し、現在ではメガピクセルを超えるものがある。

一方で、一般にテレビ電話など双方向の動画像通信に使われる動画像圧縮方式は、国際標準方式であるＭＰＥＧ−４のシンプル・プロファイル、レベル１であり、これに対応した画像データの解像度はＱＣＩＦ（１７６画素×１４４ライン）である。これに準じてムービー撮影等における動画像撮影の画像データの解像度もＱＣＩＦ程度であることが多い。さらに、静止画撮影に使用される画像データの解像度も、通信容量の制限から、搭載されたカメラの解像度よりも小さいことが多い。

上記のように、携帯電話に代表される通信端末装置で使用される画像データの解像度は、搭載されるカメラの解像度よりも小さいことが多いため、ディジタルズームによるズーミングが一般に行われている。一般にディジタルズームは、カメラが撮像した全画角の画像データからズーム画角に相当する矩形領域の画像データを抽出し、これを所望の解像度に変換することで実現する。

また、携帯電話に代表される通信端末装置では、カメラから出力された画像にエッジ強調処理を施すことで、画像の先鋭度を増し、ユーザへ与える画質の印象の改善を図ることが多い。このエッジ強調処理は、上記のディジタルズームによるズーム倍率によらず一定のものやズーム倍率に応じてエッジ強調強度を制御するものが知られている。

ここで、携帯電話に代表される通信端末装置に搭載される液晶パネルなどのディスプレイの解像度は、水平方向画素数、垂直方向ライン数とも、一般に１００から３００前後である。したがって、静止画撮影時のプレビュー画像や動画像撮影時のモニタ画像など、通信端末装置に搭載されたディスプレイに表示する画像の解像度は、そのディスプレイの解像度に合わせる必要があり、この解像度は必ずしもテレビ電話や動画像撮影などのアプリケーションが要求する画像の解像度とは一致しない。これにより、カメラが出力する画像に対し、更なる解像度変換を行って表示画像を生成することが必要となる。然るに、仮にカメラがズーム倍率に応じたエッジ強調強度の制御を行ったとしても、この画質が通信端末装置に搭載されたディスプレイに表示する画像として最適とは限らない。

また、携帯電話に代表される通信端末装置におけるテレビ電話や動画像撮影では、動画像の表示処理と圧縮処理を同時かつリアルタイムに行う必要がある。

上記に類似の問題を解決する方法として、例えば、カメラから出力した画像データに対する解像度変換の情報を、画像データに対応づけて別個に格納する方法が提案されている（例えば、特許文献１参照）。

特許文献１で開示された画像処理システムは、撮像装置では、撮像した画像に対して解像度変換を行い、そのときの解像度変換の処理内容を示す情報（解像度変換情報）を画像に対応づけて記憶し、画像処理装置では、撮像装置からの画像を受信した際に、画像に付加された解像度変換情報に基づいて該画像のエッジ強調の度合いを制御するようにしている。すなわち、撮像された画像の解像度変換処理に応じて、最適なエッジ強調処理を行う。
特開２００３−１６９２８９号公報

しかしながら、従来の画像処理装置においては、次のような問題がある。すなわち、特許文献１で開示された画像処理装置では、解像度変換情報を、例えばＪＰＥＧ形式圧縮データの付加データのように、画像データに対応付けて別に格納する構成を採っているため、出力画像の最適化は必然的に圧縮処理の後になり、このため動画像表示と画像圧縮の画質最適化を同時かつリアルタイムに行うことができず、携帯電話に代表される通信端末装置には適していない。

本発明はかかる点に鑑みてなされたものであり、圧縮蓄積データと表示データのいずれにも最適なエッジ強調強度の画像を同時に且つリアルタイムに得ることができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の画像処理装置は、撮像素子が被写体像を撮像して出力した映像信号をディジタル画像データに変換して出力する映像信号処理手段と、前記映像信号処理手段が出力したディジタル画像データにエッジ強調処理を施す第１のエッジ強調手段と、前記第１のエッジ強調手段の出力データにズーム処理を施すズーム手段と、前記ズーム手段の出力データに解像度変換を施す解像度変換手段と、前記解像度変換手段の出力データにエッジ強調処理を施す第２のエッジ強調手段と、前記第２のエッジ強調手段の出力データを表示する表示手段と、前記ズーム手段の出力データにエッジ強調処理を施す第３のエッジ強調手段と、前記第３のエッジ強調手段の出力データを圧縮する圧縮手段と、前記ズーム手段で行うズームの倍率に連動して前記第１のエッジ強調手段のエッジ強調強度と前記第２のエッジ強調手段のエッジ強調強度と前記第３のエッジ強調手段のエッジ強調強度とを適応的に制御する制御手段と、を具備する構成を採る。

本発明の画像処理装置は、前記ズーム手段の出力データの解像度が前記圧縮手段で圧縮するデータの解像度と等しい条件下で、前記ズーム手段の出力データの解像度に応じて前記第１のエッジ強調手段のエッジ強調強度と前記第３のエッジ強調手段のエッジ強調強度とを適応的に制御する構成を採る。

本発明の画像処理装置は、前記解像度変換手段の入力データと出力データの解像度変換倍率に応じて前記第１のエッジ強調手段のエッジ強調強度と前記第２のエッジ強調手段のエッジ強調強度とを適応的に制御する構成を採る。

本発明の情報端末装置は、上記いずれかの構成の画像処理装置を具備する構成を採る。

本発明の画像処理方法は、撮像素子が被写体像を撮像して出力した映像信号をディジタル画像データに変換する映像信号処理工程と、前記ディジタル画像データに第１のエッジ強調処理を施す第１のエッジ強調処理工程と、前記第１のエッジ強調処理が施されたデータにズーム処理を施すズーム処理工程と、前記ズーム処理を施されたデータを解像度変換する解像度変換処理工程と、前記解像度変換されたデータに第２のエッジ強調処理を施す第２のエッジ強調処理工程と、前記第２のエッジ強調処理を施されたデータを表示する表示工程と、前記ズーム処理を施されたデータに第３のエッジ強調処理を施す第３のエッジ強調処理工程と、前記第３のエッジ強調処理を施されたデータを圧縮するデータ圧縮工程と、前記ズーム処理で行うズームの倍率に連動して前記第１のエッジ強調処理のエッジ強調強度と前記第２のエッジ強調処理のエッジ強調強度と前記第３のエッジ強調処理のエッジ強調強度とを適応的に制御するエッジ強調処理工程と、を具備する。

本発明の画像処理方法は、前記エッジ強調処理工程では、前記ズーム処理の出力データの解像度が、前記圧縮処理で圧縮するデータの解像度と等しい条件下で、前記ズーム処理で行うズームの倍率に連動して前記第１のエッジ強調処理のエッジ強調強度と前記第３のエッジ強調処理のエッジ強調強度とを適応的に制御する。

本発明の画像処理方法は、前記エッジ強調処理工程では、前記解像度変換処理の入力データと出力データの解像度変換倍率に応じて前記第１のエッジ強調処理のエッジ強調強度と前記第２のエッジ強調処理のエッジ強調強度とを適応的に制御する。

本発明によれば、圧縮蓄積データと表示データのいずれにも最適なエッジ強調強度の画像を同時に且つリアルタイムに得ることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

図１において、この実施の形態の画像処理装置は、撮像部１と、表示部２と、圧縮蓄積部３と、制御部４とを備えて構成される。

撮像部１は、レンズ１０と、撮像素子１１と、信号処理部１２と、エッジ強調部１３と、ズーム部１４とを備えている。ズーム部１４は、トリミング部１４１と、解像度変換部１４２とを備えている。表示部２は、解像度変換部２１と、エッジ強調部２２と、表示制御部２３と、ディスプレイ２４とを備えている。圧縮蓄積部３は、エッジ強調部３１と、圧縮部３２と、蓄積部３３とを備えている。制御部４は、所謂マイコンと呼ばれるコンピュータから構成されるので、その内部には制御プログラムを記憶したメモリ（図示略）が設けられている。

被写体からの光は、レンズ１０を通して撮像素子１１に入射する。撮像素子１１は、入射した被写体からの光に光電変換を施し、映像信号Ｓ１を生成して信号処理部１２に入力する。信号処理部１２は、入力された映像信号Ｓ１に対してホワイトバランス調整や色変換などの信号処理を施し、輝度データと色差データとからなるディジタル画像データＤ１を生成し、エッジ強調部１３に入力する。

エッジ強調部１３は、入力されたディジタル画像データＤ１に対して、制御部４から指示された強度でエッジ強調処理を施し、エッジ強調処理後のディジタル画像データＤ２を生成してズーム部１４に入力する。ズーム部１４は、制御部４からの指示に従ってトリミング部１４１において、エッジ強調処理後のディジタル画像データＤ２からズーム画角に相当する画像データを抽出し、さらに解像度変換部１４２において、トリミング部１４１が抽出した画像データを撮像画像データＤ３の解像度に変換する。ここで、撮像画像データＤ３の解像度は、圧縮蓄積部３において圧縮及び蓄積を行う画像の解像度と等しいものとする。撮像画像データＤ３は表示部２及び圧縮蓄積部３に同時に入力される。

なお、解像度変換部１４２における解像度変換処理は画素間の補間処理によって行われるが、この補間処理はエッジ強調処理後のディジタル画像データＤ２の画素数をアップサンプルすることによって増加させる処理でも、ダウンサンプルによりことによって減少させる処理でも良い。

圧縮蓄積部３を構成するエッジ強調部３１は、入力された撮像画像データＤ３に対して、制御部４から指示された強度でエッジ強調処理を施し、エッジ強調処理後の撮像画像データＤ４を生成して圧縮部３２に入力する。圧縮部３２は、エッジ強調処理後の撮像画像データＤ４に対して、ＪＰＥＧ(Joint Photographic Experts Group)方式などによる静止画像符号化やＭＰＥＧ(Moving Picture Experts Group)−４方式などによる動画像符号化による圧縮を施し、静止画像や動画像の圧縮データＤ５を生成して蓄積部３３に入力する。蓄積部３３は、ＲＡＭ、フラッシュメモリ、リムーバブルなメモリカードなどの記憶素子であり、圧縮部３２から入力された圧縮データＤ５を記憶蓄積する。

一方、表示部２を構成する解像度変換部２１は、制御部４からの指示に従い、撮像画像データＤ３をディスプレイ２４に表示する画像の解像度に変換し、表示用画像データＤ６を生成しエッジ強調部２２に入力する。エッジ強調部２２は、入力された表示用画像データＤ６に対して、制御部４から指示された強度でエッジ強調処理を施し、エッジ強調処理後の表示用画像データＤ７を生成して表示制御部２３に入力する。

表示制御部２３は、エッジ強調処理後の表示用画像データＤ７をディスプレイ２４に表示するための駆動信号Ｓ２を生成する。ディスプレイ２４は、入力された駆動信号Ｓ２に従って画像を表示する。なお、解像度変換部２１における解像度変換処理は画素間の補間処理によって行われるが、この補間処理は撮像画像データＤ３の画素数をアップサンプルすることによって増加させる処理でも、ダウンサンプルによりことによって減少させる処理でも良い。

制御部４は、エッジ強調部１３のエッジ強調強度と、ズーム部１４のズーム倍率と、ズーム部１４の出力である撮像画像データＤ３の解像度と、解像度変換部２１の出力である表示用画像データＤ６の解像度と、エッジ強調部２２のエッジ強調強度と、エッジ強調部３１のエッジ強調強度とを一元的に制御する。

図２は、制御部４が行う制御の一例を説明するためのグラフである。この図において、横軸はズーム部１４によるズーム倍率を表し、縦軸はエッジ強調部１３と、エッジ強調部２２と、エッジ強調部３１のエッジ強調強度を表す。

横軸のズーム倍率は、撮像素子１１の解像度をａとし、トリミング部１４１が抽出するズーム画角の画像データの解像度をｂとしたとき、ａ／ｂで表される値である。したがって、ズーム部１４におけるズーム倍率は、トリミング部１４１が抽出したズーム画角が狭く解像度ｂが小さいほど、高くなる。ズーム倍率の最小値は１となる。最大値は論理的にはａとなるが、実用的なズーム倍率の最大値はａよりも小さい範囲とされるのが一般的である。

縦軸のエッジ強調強度は、各エッジ強調部１３、２２、３１におけるエッジ強調の度合いを示す。一般にエッジ強調の方法としては、対象となる画像データの輝度信号に対してフィルタリングを施すことで輪郭信号を得て、この輪郭信号に、あるゲイン値を乗じて元の輝度信号に加算する方法や、対象となる画像データの輝度信号を周波数領域に変換し、この高周波成分に、あるゲイン値を乗じて実画像空間に逆変換を施す方法などがある。図２の縦軸におけるエッジ強調強度は、これらのエッジ強調方法におけるゲイン値の大きさに相当する。

制御部４は、ズーム部１４におけるズーム倍率に連動して、エッジ強調部１３と、エッジ強調部２２と、エッジ強調部３１のエッジ強調強度を適応的に制御する。すなわち、制御部４は、ズーム倍率をズーム部１４に設定すると同時に、エッジ強調部１３と、エッジ強調部２２と、エッジ強調部３１のそれぞれについてエッジ強調強度を算出し、各エッジ強調部へ指示を出す。

図２の例では、エッジ強調部１３と、エッジ強調部２２と、エッジ強調部３１のそれぞれについて、エッジ強調強度の最大値（ｍａｘ）と最小値（ｍｉｎ）、エッジ強調強度を変化させるズーム倍率の始点（start）と傾き（slope）を、制御部４が管理する。これは、制御部４が、各エッジ強調部のエッジ強調強度をリアルタイムに、具体的には撮像部１が出力する撮像画像データＤ３のフレーム周期ごとに、算出することを考慮して演算処理を簡単化した例であるが、例えばズーム倍率ごとの各エッジ強調強度を参照可能なテーブルを予め用意すれば、より複雑な制御を行うことも可能である。

図２の例では、エッジ強調部１３のエッジ強調強度を１３ａ、エッジ強調部２２のエッジ強調強度を２２ａ、エッジ強調部３１のエッジ強調強度を３１ａで示している。ここではズーム倍率が大きくなるに従い、撮像部１におけるエッジ強調強度を徐々に大きくし、表示部２および圧縮蓄積部３におけるエッジ強調強度を徐々に小さくする（直線的に小さくする）例を示している。

このように、本実施の形態の画像処理装置では、撮像画像のズーム倍率によらず、圧縮蓄積データと表示データのいずれにも最適なエッジ強調強度の画像を同時かつリアルタイムに得ることができ、静止画像撮影機能と、動画像撮影機能と、テレビ電話などの動画像通信機能とを兼ね備えた携帯電話やＰＤＡ等の情報端末装置の高画質化を図ることができる。

すなわち、静止画像撮影時には、ＪＰＥＧ圧縮などで得られる静止画像データと、その撮影を行うときのプレビュー動画像の画質を、いずれも同時に最適化することができる。また、動画像撮影時には、ＭＰＥＧ−４圧縮などで得られる動画像データと、その撮影を行うときのプレビュー動画像の画質をいずれも同時に最適化することができる。

また、撮像画像データＤ３の解像度に応じて、エッジ強調部１３と、エッジ強調部３１のエッジ強調強度の制御カーブを変更することで、圧縮部３２で圧縮する画像の解像度に最適な画質を得ることができる。

さらに、解像度変換部２１における変換前後の画像の解像度変換比率に応じて、エッジ強調部１３と、エッジ強調部２２とのエッジ強調強度の制御カーブを変更することで、ディスプレイ２４で表示する表示画像の解像度に最適な画質を得ることができる。

また、ズーム倍率が連続的に変化するようなズームインやズームアウトの場合でも、ズーム部１４におけるズーム倍率に連動して、エッジ強調部１３と、エッジ強調部２２と、エッジ強調部３１のエッジ強調強度を適応的にリアルタイムに制御可能なため、圧縮画像と表示画像のいずれについても、各ズーム倍率において常に最適な画質を得ることができる。

ここで、具体的な例として、１．２Ｍ画素の撮像部と、３２０画素×２４０画素のＱＶＧＡ(Quarter Video Graphics Array)解像度のディスプレイを搭載した電子装置の例を以下に記載する。なお、以下に記載の数値や制御内容は、本発明の説明の為に便宜的に定めたものであり、本発明の範囲を限定するものではない。

１．２Ｍ画素の撮像部とＱＶＧＡ解像度の表示部を搭載した電子装置において、例えばＶＧＡ解像度の静止画データを得る場合、撮像素子１１の解像度は１２８０画素×９６０画素、ディスプレイ２４に表示する画像の解像度は３２０画素×２４０画素、圧縮部３２で圧縮する画像データの解像度は６４０画素×４８０画素、撮像画像データＤ３は６４０画素×４８０画素となる。

この例において、ズーム倍率が小さい範囲では、トリミング部１４１で抽出する画像データの解像度が大きくなるため、解像度変換部１４２で撮像画像データＤ３を生成する際の解像度縮小率が高くなる。したがって、トリミング部１４１で抽出した画像データに含まれる高周波成分が原因で、撮影画像データＤ３に折り返し雑音が発生することがある。また、トリミング部１４１で抽出した画像データに含まれる斜め方向のエッジが原因で、撮影画像データＤ３にジャギーが発生することがある。これに対し、エッジ強調部１３のエッジ強調強度を小さく抑えることで、折り返し雑音やジャギーを低減することができる。そして、これに伴い、エッジ強調部３１とエッジ強調部２２のエッジ強調調度を高めにすることで、圧縮画像と表示画像の画質の最適化を図ることができる。

また、ズーム倍率が大きくなり、解像度変換部１４２における解像度変換処理が、ディジタル画像データＤ２の画素数をアップサンプルすることによって増加させる処理を行う場合には、画素間の補間処理が原因で発生する撮像画像データＤ３の解像感の低下を補うため、エッジ強調部１３のエッジ強調強度を高くし、エッジ強調部３１とエッジ強調部２２のエッジ強調は画質の微調整に用いることで，圧縮画像と表示画像の画質の最適化を図ることができる。

次に、同じ構成例の電子装置において、例えば１７６画素×１４４画素のＱＣＩＦ(Quarter Common Intermediate Format)解像度の動画像データを得る場合、撮像素子１１の解像度は１２８０画素×９６０画素、ディスプレイ２４に表示する画像の解像度は３２０画素×２４０画素、圧縮部３２で圧縮する画像データの解像度は１７６画素×１４４画素、撮像画像データＤ３は１７６画素×１４４画素となる。この場合、表示部２を構成する解像度変換部２１において、表示用画像データＤ６を生成するために、撮像画像データＤ３の画素数をアップサンプルすることによって増加させる処理を行うため、画素間の補間処理によって表示画像の解像感が低下することが考えられる。これに対して、図３の２２ｂに示すように、エッジ強調部２２のエッジ強調強度を強めることで、表示画像の解像感を改善することができる。

また、例えば、圧縮蓄積部３で圧縮する画像の解像度は、撮像画像データＤ３の解像度であるＱＣＩＦとなるが、エッジ強調部３１の制御カーブを、撮像画像データＤ３の解像度に応じて最適なものに変更することも可能である。さらに、エッジ強調部１３の制御カーブを、撮像画像データＤ３の解像度と、解像度変換部２１の出力である表示用画像データＤ６の解像度に応じて最適なものに変更することも可能である。

以上のように、本実施の形態の画像処理装置によれば、静止画像及び動画像撮影時に、圧縮画像データと、その撮影を行うときのプレビュー動画像の画質を、いずれも同時に最適化することができ、さらに圧縮画像と表示画像の各々の解像度に応じて最適なエッジ強調処理を施すことが可能であり、静止画像撮影機能と、動画像撮影機能と、テレビ電話などの動画像通信機能とを兼ね備えた携帯電話やＰＤＡ等の情報端末装置の高画質化を図ることができる。

（実施の形態２）
図４は、本発明の実施の形態２に係る情報端末装置の構成の例を示すブロック図である。なお、図４において、図１と同一のブロックおよび信号については同一の符号を付し、詳しい説明を省略する。

図４において、この実施の形態の情報端末装置は、アンテナ６０と、ＲＦ部６１と、ベースバンド信号処理部６２と、音声コーデック部６３と、レシーバ６４と、マイク６５と、復号部６６と、選択部６７と、撮像部１と、表示部２と、圧縮蓄積部３と、制御部４と、ＣＰＵ５と、ＣＰＵ５が制御するＣＰＵバス５０とを備えて構成される。

ＣＰＵ５は、ＣＰＵバス５０を通して、本実施の形態に係る情報端末装置全体を制御する。撮像部１と、表示部２と、圧縮蓄積部３の構成は実施の形態１に記載の内容と同一であるため、同一の符号を付し、詳しい説明を省略するが、圧縮蓄積部３の圧縮動作を制御するために、圧縮部３２がＣＰＵバス５０に接続されており、また、圧縮蓄積されたデータをＣＰＵ５が参照可能なように、蓄積部３３がＣＰＵバス５０に接続されている。

制御部４もＣＰＵバス５０に接続されており、ＣＰＵ５からの指示を、撮像部１と、表示部２と、圧縮蓄積部３へ伝えるインタフェース部の役割を果たす。アンテナ６０は、無線信号を受信してＲＦ部６１に受信信号として出力し、またＲＦ部６１から出力された送信信号を送信する。ＲＦ部６１は、アンテナ６０から出力された受信信号をベースバンド周波数にダウンコンバートしてベースバンド信号処理部６２に入力し、またベースバンド信号処理部６２から出力された送信信号を無線周波数にアップコンバートしてアンテナ６０に入力する。ベースバンド信号処理部６２は、ＲＦ部６１から出力された受信信号を復調してＣＰＵ５に入力し、またＣＰＵ５から出力された送信信号を変調してＲＦ部６１に入力する。

ＣＰＵ５は、ベースバンド信号処理部６２から出力された受信信号が音声符号化データである場合は音声符号化データを音声コーデック部６３に入力し、該受信信号が動画像符号化データである場合は動画像符号化データを復号部６６に入力する。また、ＣＰＵ５は、音声コーデック部６３から出力された音声符号化信号を送信信号としてベースバンド信号処理部６２に入力し、圧縮部３２から出力された動画像の符号化データを送信信号としてベースバンド信号処理部６２に入力する。

音声コーデック部６３は、ＣＰＵ５から出力された音声符号化データを復号化し、これにより得られた音声信号をレシーバ６４に入力し、またマイク６５から出力された音声信号を符号化し、これにより得られた音声符号化信号をＣＰＵ５に入力する。レシーバ６４は、音声コーデック部６３から出力された音声信号を音声として出力する。マイク６５は音声を入力して音声信号として音声コーデック部６３に入力する。

復号部６６は、ＣＰＵ５から出力された動画像符号化データを復号して復号動画像データＤ８を生成し、選択部６７に入力する。また、圧縮部３２は、エッジ強調処理後の撮像画像データＤ４を符号化して、静止画像又は動画像の圧縮データＤ５を生成し、ＣＰＵ５または蓄積部３３に入力する。選択部６７は、表示部２へ入力する画像データを、撮像画像データＤ３と復号動画像データＤ８とから選択する。

次に、本実施の形態に係る情報端末装置の動作について説明する。受信信号は、アンテナ６０、ＲＦ部６１及びベースバンド信号処理部６２を介してＣＰＵ５に入力される。受信した信号が動画像符号化データである場合、ＣＰＵ５は、動画像符号化データを復号部６６に入力し、復号部６６は動画像符号化データを復号して復号動画像データＤ８を生成して表示部２へ出力する。この場合、選択部６７は、復号動画像データＤ８を選択する。

表示部２では、解像度変換部２１が復号動画像データＤ８の解像度を、制御部４の指示に従ってディスプレイ２４に表示する動画像の解像度へ変換する。さらに制御部４の指示に従ってエッジ強調部２２がエッジ強調処理を施し、表示制御部２３がディスプレイ２４の駆動信号を生成し、ディスプレイ２４に復号された動画像データが表示される。

一方、撮像部１の撮像素子１１で撮像された動画像は、制御部４の指示に従って、エッジ強調部１３によるエッジ強調処理と、ズーム部１４によるズーム処理と、エッジ強調部３１によるエッジ強調処理とを施された後、圧縮部３２において符号化され、ベースバンド信号処理部６２、ＲＦ部６１、アンテナ６０を通して送信される。

また、受信した信号が音声符号化データである場合、ＣＰＵ５は、音声符号化データを音声コーデック部６３に入力し、音声コーデック部６３において音声符号化データから音声信号が生成され、レシーバ６４に入力される。また、マイク６５から入力された音声信号は音声コーデック部６３において符号化され、ベースバンド信号処理部６２、ＲＦ部６１、アンテナ６０を通して送信される。以上の動作によって、動画像及び音声の双方向通信によるテレビ電話が実現する。

本実施の形態に係る情報端末装置は、受信して復号し表示する動画像データの表示画質と、撮像して符号化し送信する動画像データの画質を、いずれも同時に最適化することができ、さらに表示画像と圧縮画像の各々の解像度に応じて最適なエッジ強調処理を施すことが可能であり、高画質化が図れる。

また、本実施の形態に係る情報端末装置では、撮像部１で撮像した自画像を表示部２で表示する場合、解像度変換部２１が撮像画像データＤ３の解像度を制御部４の指示に従ってディスプレイ２４に表示する動画の解像度に変換し、エッジ強調部２２がエッジ強調処理を施し、表示制御部２３がディスプレイ２４の駆動信号を生成してディスプレイ２４に入力すれば良い。この場合、選択部６７は、撮像画像データＤ３を選択する。

この場合、撮像して表示部２に自画像表示する動画像データの表示画質と、撮像して符号化し送信する動画像データの画質をいずれも同時に最適化することができ、さらに表示画像と圧縮画像の各々の解像度に応じて最適なエッジ強調処理を施すことが可能であり、高画質化が図れる。

次に、本実施の形態に係る情報端末装置における動画像撮影時の動作について説明する。撮像部１の撮像素子１１で撮像された動画像は、制御部４の指示に従って、エッジ強調部１３によるエッジ強調処理と、ズーム部１４によるズーム処理と、エッジ強調部３１によるエッジ強調処理とを施された後、圧縮部３２においてＭＰＥＧ−４などの動画像符号化を施され、蓄積部３３に記憶蓄積される。

また、表示部２では、撮像部１で撮像した撮像画像データＤ３に対して、解像度変換部２１が撮像画像データＤ３の解像度を制御部４の指示に従ってディスプレイ２４に表示する動画の解像度へ変換し、エッジ強調部２２がエッジ強調処理を施し、表示制御部２３がディスプレイ２４の駆動信号を生成してディスプレイ２４に入力することで、ディスプレイ２４に動画像撮影のためのプレビュー画像が表示される。この場合、選択部６７は、撮像画像データＤ３を選択する。

この場合、撮像してプレビュー表示する動画像データの表示画質と、撮像して符号化し蓄積する動画像データの画質をいずれも同時に最適化することができ、さらに表示画像と圧縮画像の各々の解像度に応じて最適なエッジ強調処理を施すことが可能であり、高画質化が図れる。

最後に、本実施の形態に係る情報端末装置における静止画像撮影時の動作について説明する。撮像部１の撮像素子１１で撮像された動画像は、制御部４の指示に従って、エッジ強調部１３によるエッジ強調処理と、ズーム部１４によるズーム処理と、エッジ強調部３１によるエッジ強調処理を施された後、圧縮部３２においてＪＰＥＧなどの静止画像符号化を施され、蓄積部３３に記憶蓄積される。

また、表示部２では、撮像部１で撮像した撮像画像データＤ３に対して、解像度変換部２１が撮像画像データＤ３の解像度を制御部４の指示に従ってディスプレイ２４に表示する動画の解像度へ変換し、エッジ強調部２２がエッジ強調処理を施し、表示制御部２３がディスプレイ２４の駆動信号を生成してディスプレイ２４に入力することで、ディスプレイ２４に静止画撮影のためのプレビュー画像が表示される。この場合、選択部６７は、撮像画像データＤ３を選択する。

この場合、撮像してプレビュー表示する動画像データの表示画質と、撮像して符号化し蓄積する静止画像データの画質をいずれも同時に最適化することができ、さらに表示画像と圧縮画像の各々の解像度に応じて最適なエッジ強調処理を施すことが可能であり、高画質化が図れる。

本発明は、静止画像撮影機能と、動画像撮影機能と、テレビ電話などの動画像通信機能とを兼ね備えた携帯電話やＰＤＡ等の情報端末装置に用いるに好適である。

本発明の実施の形態１に係る画像処理装置の構成を示すブロック図 実施の形態１に係る画像処理装置の制御を説明するための図 実施の形態１に係る画像処理装置の制御を説明するための図 本発明の実施の形態２に係る情報端末装置の構成の例を示すブロック図

符号の説明

１ 撮像部
２ 表示部
３ 圧縮蓄積部
４ 制御部
５ ＣＰＵ
１０ レンズ
１１ 撮像素子
１２ 信号処理部
１３ エッジ強調部
１４ ズーム部
１４１ トリミング部
１４２ 解像度変換部
２１ 解像度変換部
２２ エッジ強調部
２３ 表示制御部
２４ ディスプレイ
３１ エッジ強調部
３２ 圧縮部
３３ 蓄積部
５０ ＣＰＵバス
６０ アンテナ
６１ ＲＦ部
６２ ベースバンド信号処理部
６３ 音声コーデック部
６４ レシーバ
６５ マイク
６６ 復号部
６７ 選択部

Claims (7)

1. 撮像素子が被写体像を撮像して出力した映像信号をディジタル画像データに変換して出力する映像信号処理手段と、
   前記映像信号処理手段が出力したディジタル画像データにエッジ強調処理を施す第１のエッジ強調手段と、
   前記第１のエッジ強調手段の出力データにズーム処理を施すズーム手段と、
   前記ズーム手段の出力データに解像度変換を施す解像度変換手段と、
   前記解像度変換手段の出力データにエッジ強調処理を施す第２のエッジ強調手段と、
   前記第２のエッジ強調手段の出力データを表示する表示手段と、
   前記ズーム手段の出力データにエッジ強調処理を施す第３のエッジ強調手段と、
   前記第３のエッジ強調手段の出力データを圧縮する圧縮手段と、
   前記ズーム手段で行うズームの倍率に連動して前記第１のエッジ強調手段のエッジ強調強度と前記第２のエッジ強調手段のエッジ強調強度と前記第３のエッジ強調手段のエッジ強調強度とを適応的に制御する制御手段と、
   を具備することを特徴とする画像処理装置。
2. 前記制御手段は、前記ズーム手段の出力データの解像度が前記圧縮手段で圧縮するデータの解像度と等しい条件下で、前記ズーム手段の出力データの解像度に応じて前記第１のエッジ強調手段のエッジ強調強度と前記第３のエッジ強調手段のエッジ強調強度とを適応的に制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記解像度変換手段の入力データと出力データの解像度変換倍率に応じて前記第１のエッジ強調手段のエッジ強調強度と前記第２のエッジ強調手段のエッジ強調強度とを適応的に制御することを特徴とする請求項１に記載の画像処理装置。
4. 請求項１から請求項３のいずれかに記載の画像処理装置を具備することを特徴とする情報端末装置。
5. 撮像素子が被写体像を撮像して出力した映像信号をディジタル画像データに変換する映像信号処理工程と、
   前記ディジタル画像データに第１のエッジ強調処理を施す第１のエッジ強調処理工程と、
   前記第１のエッジ強調処理が施されたデータにズーム処理を施すズーム処理工程と、
   前記ズーム処理を施されたデータを解像度変換する解像度変換処理工程と、
   前記解像度変換されたデータに第２のエッジ強調処理を施す第２のエッジ強調処理工程と、
   前記第２のエッジ強調処理を施されたデータを表示する表示工程と、
   前記ズーム処理を施されたデータに第３のエッジ強調処理を施す第３のエッジ強調処理工程と、
   前記第３のエッジ強調処理を施されたデータを圧縮するデータ圧縮工程と、
   前記ズーム処理で行うズームの倍率に連動して前記第１のエッジ強調処理のエッジ強調強度と前記第２のエッジ強調処理のエッジ強調強度と前記第３のエッジ強調処理のエッジ強調強度とを適応的に制御するエッジ強調処理工程と、
   を具備することを特徴とする画像処理方法。
6. 前記エッジ強調処理工程では、前記ズーム処理の出力データの解像度が、前記圧縮処理で圧縮するデータの解像度と等しい条件下で、前記ズーム処理で行うズームの倍率に連動して前記第１のエッジ強調処理のエッジ強調強度と前記第３のエッジ強調処理のエッジ強調強度とを適応的に制御することを特徴とする請求項５に記載の画像処理方法。
7. 前記エッジ強調処理工程では、前記解像度変換処理の入力データと出力データの解像度変換倍率に応じて前記第１のエッジ強調処理のエッジ強調強度と前記第２のエッジ強調処理のエッジ強調強度とを適応的に制御することを特徴とする請求項５に記載の画像処理方法。

Images