JP2003204480A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 デジタル画像のズーミングを含む画像出力に
あたり、画像劣化を引き起こすことなく、移動通信関連
分野のアプリケーションとして容易な適用が可能となる
画像処理方法を提供する。 【解決手段】 画像を取得してズーミングを含む画像出
力を行うデジタル画像処理方法であって、取得される取
得画像のピクセル数は、出力される出力画像のピクセル
数より大きく設定され、前記出力画像は、前記取得画像
にデシメーション比率に応じた処理がなされて得られる
画像処理方法とした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタルビデオ
(動画・静止画等の画像を含む)の処理技術にかかり、よ
り詳細には、そのズーミング(画像の切り取り・引き伸ば
し)を含んで画像を出力するデジタル画像処理方法に関
するものである。

【０００２】

【従来の技術】従来からの方法によれば、ビデオ・イメ
ージ(画像)は、低解像度のイメージセンサにより取得画
像として取り込まれて、ノーマル・モード(標準／等倍モ
ード)で画像出力がなされる。ズーミング・モードでは、
画像はトリミングがなされ、単に形式的に拡大化される
ものの、画質そのものは劣化する。図４は、従来方法に
より、ノーマル・モード(等倍または通常モード)で表示
されている画像にズーミングを施して部分的に拡大して
画像出力する一例を示す図である。ここで、同じ大きさ
の画像出力部において、拡大された画像出力をさせるた
めにトリミングが施され、元になる取得画像のトリミン
グ部が単に形式的に拡大されているだけで、ズーミング
された画質そのものは、明らかに劣化してしまう。

【０００３】図３は、従来のズーミング画像出力に関連
する技術を説明する図であり、図３(ａ)ではカメラから
取り込まれた取得画像が、ディスプレーに画像出力され
る様子を示す。ここでの手順は次のようになる。 1) カメラ・センサーから、ひとつのフレーム・ビデオ・デ
ータ(取得画像または元となる画像)が得られる。(ステ
ップS100) 2) 取得画像(元画像)からズーミング領域が選択されて
切り取られる。(ステップS110) 3) ビデオ信号が、インターポレータを経由して補完処
理され(ステップS120)、デジタル・フィルターを通して
フィルター処理され(ステップS130)、デジタル画像処理
がなされ、ビデオ・イメージ・サイズに引き伸されて、画
面に画像出力される(ステップS140)。

【０００４】図３(ｂ)は、カメラから取り込まれた取得
画像のデータが、デジタル・ズーミング処理をされて画
像出力される様子を示す図である。ここで用いられるＱ
ＣＩＦは、規定された世界共通のビデオ信号フォーマッ
トであって、CIFの解像度を相似比1/2である(横176×縦
144)のピクセル数に縮小したものである。図３(ｂ)にお
いて、ＱＣＩＦ(176×144)画像イメージセンサから取得
された画像であるＱＣＩＦフレーム・データ(200)は、図
の中央に示したフレーム・データ(200')からズーミング
領域が切り取られる。このとき、引き伸ばしをしないで
等倍の画像出力をするのなら、ノーマルタイプ(１倍／
通常モード)のフレーム・データ(画像200'')ＱＣＩＦ(17
6×144)であって、これは元となる取得画像のフレーム・
データ(200)と同じピクセル数(画素数)を有している。

【０００５】そして、ズーミングを行う場合で、たとえ
ば４倍ズーミングにおいては、元となる取得画像のフレ
ーム・データ(200')が、ＱＣＩＦ(176/2×144/2)で(画像
データ210の88×72)のズーミング出力画像(220)とな
り、ピクセル数は減少の変化をする。また同じく、９倍
のズーミングを行うときは、取得画像のフレーム・デー
タ(200')が、ＱＣＩＦ(176/4×144/4) で(画像データ24
0の44×36)のズーミング出力画像(230)となり、さらに
ピクセル数は減少の変化をする。このように、ズーミン
グ倍率が増えるにつれ、そのピクセル数は段階的に低下
してくるため、ズーミングされる出力画像の品質も劣化
してくる。

【０００６】図３(ａ)のインターポレータ(ステップS12
0)にかかる従来のデジタル技術において、ビデオ信号を
補完処理するためのインターポレーション技術として
は、ゼロ次ホールド方法とゼロ・インターポレーション
方法が用いられている。インターポレーション・フィル
ターとしては、ライナー・インターポレーション方法と
低パス・フィルターが使用される。

【０００７】従来のデジタル画像処理によるズーミング
画像出力の問題点しては、次のようなことが挙げられ
る。 ・シャノンの情報理論によると、ビデオイメージ(出力
画像)の品質は劣化するが、それは、カットされたピク
セル(画素)があるため、ピクセル数そのもの数が減少さ
せられるからである。 ・インターポレーション技術では、ビデオイメージ(出
力画像)のパワーが増加して、ダイナミック・レンジが増
加する。例えば、ゼロ次ホールド方法では理論的にみて
３dＢ上昇する。このことは、ビデオ・イメージング・ビ
ューポイントでのコントラストが高くなり、処理計算に
おけるオーバー・フローが生じてくることを、意味して
いる。よって、ここでは、出力画像のパワー調整をしな
くてはならない問題を生じる。

【０００８】本発明による画像処理方法は、上記の点に
鑑みてなされたものであり、デジタルビデオ(画像)のズ
ーミング処理を含む画像を出力するにあたり、画像劣化
を引き起こすことなく、画像イメージ・パワーの調整が
必要なく、移動通信の関連分野において、例えばビデオ
電話のようなモバイル用ビデオ／ビジュアル(画像・映像
・動画等を含む)アプリケーションとして、容易に適用が
可能となるデジタル画像を処理する方法を提供すること
を目的とする。

【０００９】

【課題を解決するための手段】前記課題を解決し、所望
の目的を達成するために、本発明による画像処理方法
は、以下のように構成されるものである。 （１）画像を取得してズーミングを含む画像出力を行う
デジタル画像処理方法であって、取得される取得画像の
ピクセル数は、出力される出力画像のピクセル数より大
きく設定され、前記出力画像は、前記取得画像にデシメ
ーション比率に応じた処理がなされて得られる、画像処
理方法とした。

【００１０】（２）(１)の画像処理方法において、前記
出力画像のピクセル数は、出力されるズーミング倍率に
かかわらず、等しいか、もしくは、ほぼ等しく設定され
る。 （３）(１)または(２)の画像処理方法において、前記取
得画像のピクセル数は、等倍の出力画像のピクセル数
に、ズーミング最大倍率をかけた数以上のピクセル数を
有する。

【００１１】

【発明の実施の形態】以下、図面を参照しながら、本発
明による画像処理方法の実施の形態について詳細に説明
する。図１は、本発明による画像処理方法の一実施の形
態を示す図であり、図１(ａ)ではカメラから取り込まれ
た取得画像が、ディスプレーに画像出力される様子を示
す。ここでの手順は、まず、カメラ・センサーから、ひ
とつのフレーム・ビデオ・データ(元となる取得画像)が得
られ(ステップS300)、ビデオ信号が、デシメーション・
フィルターを経由し(ステップS310)、次にデシメーター
を経由し(ステップS320)、デシメーション処理(画像デ
ータの間引き処理)が行われて、デジタル画像処理がな
され、希望するビデオ・イメージ・サイズに合わせて、表
示画面に画像出力される(ステップS330)。このときのデ
シメーション処理については、取得画像に対してデシメ
ーション比率に応じた処理がなされるものである。ま
た、ここでのデシメーション処理は、画像データを間引
きする処理をいい、サンプリングデータのレートを低く
することに関連してくる。

【００１２】図１(ｂ)は、本発明の画像処理方法によ
り、カメラから取り込まれた取得画像データが、デシメ
ーション処理を施され、画像出力される様子を示す図で
ある。また、図２は、本発明の画像処理方法によって、
オリジナル・イメージ(高解像度画像)が、ノーマルモー
ド(通常/等倍モード)とズームモード(引き伸ばし)で画
像出力される一例を示す図である。この図１(ｂ)におい
ては、本発明の一実施の形態として、最大で９倍のズー
ミング画像出力ができるデジタル画像処理方法を備える
画像出力装置を想定するものとする。本発明によれば、
取得画像データ(Ａ)は高解像度センサーを備えるカメラ
装置等から得られ、ノーマルモード(通常モード)(図２
でのａ１画像)では大きなデシメーション比率によって
デシメーション処理が施されて画像出力され、ズームモ
ード(引き伸ばしモード) (図２でのａ２画像)にあって
は、ノーマルモードより小さなデシメーション比率によ
ってデシメーション処理が施されて画像出力される。ズ
ーミング倍率が最大値に近づくほどデシメーション処理
が施されて割合は少なくなる。

【００１３】さて、ズーミング率が１倍(等倍率、引き
伸ばし率１)のノーマルモード(標準モード)における画
像出力(通常画像出力)は、次のようにして実行される。
まず、画像イメージセンサ(カメラS300など)から、元と
なる取得画像であるフレーム・データ(400,410)が獲得さ
れる。ここで得られた画像は、ＱＣＩＦ(176×144)ピク
セル数の９倍(ここでは最大ズーミング倍率にあたる)す
なわち(3×3)倍の(528×432)ピクセル数以上が得られる
高解像度のイメージセンサによって取得されており、(5
28×432)のフレームデータ(410)が得られている。この
図では、(528×432)のフレームデータ(410)を得るため
に、ＶＧＡ(640×480)センサーを用いており、元となる
取得画像としては、よりピクセル数の大きな(640×480)
のフレームデータ(400)が得られている。

【００１４】そして、ピクセル数が(528×432)のフレー
ムデータ(410)には、ローパス(ＬＰ)フィルターのよう
なデシメーション・フィルターが適用され(S310)、余分
なスペクトル(高い周波数ノイズ分)を取り除き、デシメ
ーター(S320)において画像データの間引き処理が実行さ
れ、それら画像データのデシメーション処理が行われる
(ステップS310−S320)。ノーマルモード(標準、１倍での
画像出力)であるＱＣＩＦサイズは、出力画像は(176×1
44)ピクセル数である。このピクセル数の(3×3)である
(528×432)のフレーム・イメージ・データが、元となる取
得画像のデータとして獲得されていて、そして、この元
となる取得画像データに対して１／９(1/3×1/3)のデシ
メーション比率でのデシメーション処理がなされ、ＱＣ
ＩＦサイズ用として(176×144)ピクセル数に合わせて、
出力画像(フレームデータ420)として画像表示される。

【００１５】さて、ビデオ画像圧縮技術であるビデオ信
号のデジタル化処理にはいくつかの方法があるが、その
中にＹＵＶ表色方式がある。この方式は、輝度信号(Ｙ)
・輝度信号と赤色成分の差(Ｕ)・輝度信号と青色成分の
差(Ｖ)の３つの情報で色を表す形式であり、輝度信号に
(Ｙ)により多くのデータ量を割り当てることにより、画
質の劣化をなくして、高いデータ圧縮率を得ることがで
きる。

【００１６】このＹＵＶ表色方式において、カラー画像
イメージは、一般的に、信号パワーがＲＧＢ(３色)領域
をもつ構成要素中に拡散させられる。しかし、よく知ら
れるように、信号パワーは、主にＹＵＶ領域中の輝度信
号(Ｙ)構成要素に集中される。そして、ＬＰ(ローパス)
フィルター処理の制御を、ＹＵＶ領域中の輝度信号(Ｙ)
構成要素に行なわせることが、十分可能である。ここで
は、ＵとＶの構成要素のために、デシメーション・フィ
ルター制御処理は必要とされなくてもよい。しかしなが
ら、デシメーション処理は、全てのＹＵＶ構成要素にお
いて処理制御がなされることができる。

【００１７】また、４倍(2×2)ズーミングでの画像出力
は、次のようになされる。図１(ｂ)を参照するに、元と
なる取得画像のフレームデータ(528×432)の1/4倍(1/2
×1/2)である(264×216)の画像データ(450)が使用さ
れ、この(264×216)のデータに対して４／９(2/3×2/3)
のデシメーション比率となるデシメーション処理がなさ
れ、ＱＣＩＦサイズ用に(176×144)フレームデータ(43
0)が画像出力される。この４倍(2×2)ズーミングでの画
像出力は、ビデオ画像は、ＱＣＩＦ(176×144)のピクセ
ル数の９／４倍(3/2×3/2)のセンサ、すなわち(264×21
6)のやや高感度のセンサを用いて、画像イメージの獲得
がなされるものと考えてもよい。なお、ＹＵＶ表色方式
において、ＬＰデジタル・フィルターの処理は、Ｙ構成
要素に対してだけ行われる。また、全てのＹＵＶ領域へ
のデシメーション処理は、ＱＣＩＦサイズのためになさ
れるものである。

【００１８】さらに、９倍(3×3)ズーミング画像出力
は、次のようになされる。図１(ｂ)において、元となる
取得画像のフレームデータ(528×432)の1/9倍(1/3×1/
3)である(176×144)の画像データ(460)が用いられ、こ
の(176×144)の画像データに対して９／９(3/3×3/3)、
すなわち１となるデシメーション比率でのデシメーショ
ン処理がなされ、ＱＣＩＦサイズ用に(176×144)フレー
ムデータ(430)が画像出力される。ところで、ここでの
９倍ズーミング画像出力は、この実施の形態では最大ズ
ーミング倍率として設定してあり、この場合はデシメー
ション比率１の処理がなされるものであるが、実質的に
はデシメーション処理がなされないと考えることもでき
る。

【００１９】このように、最大ズーミング倍率となる９
倍ズーミング画像出力でのビデオ信号は、ＱＣＩＦの数
(176×144)と同数のピクセル数が得られる画像取得セン
サを用いて、その画像データが獲得されることが可能で
あり、このとき、デシメーション比率１の処理すなわち
デシメーション処理が必要ないものとすれば、ＬＰデジ
タル・フィルターとデシメーターを動作させる必要はな
くなる。

【００２０】図１(ａ)(ｂ)に示したズーミング画像出力
に見られるように、出力される画像のピクセル数は、ズ
ーミング出力の倍率にかかわらず、等しいか略等しく設
定されているが、このようにすれば、本発明にかかる移
動電話機等の装置設計や製作にあたってきわめて効率的
で実践的である。また、元画像となる取得画像のピクセ
ル数は、通常出力モード(ノーマルモード)の出力画像の
ピクセル数に、ズーミング最大倍率をかけた数以上のピ
クセル数を有するように設定されるのが、実施化にあた
っては有効である。

【００２１】本発明による画像処理方法の一実施の形態
である図１においては、その例として、最大ズーミング
倍率が９倍のズーミング画像と４倍ズーミング画像、お
よび等倍表示画像をディスプレー等に描出する例が、説
明されている。しかしながら、これらのズーミング(拡
大／引き伸ばし)倍率と最大設定値は、この例に限るも
のではなく、いかなる数字に適宜定められ設計されても
よいものであるのは、勿論である。また、出力される画
像のアスペクト比(縦−横の比率)に関しては、ＱＣＩＦ
サイズ(176×144)やこの比例倍率の画像データを使用す
る例を用いて説明してきたが、これに限らず、ズーミン
グ出力される各画像のアスペクト比が異なっていてもよ
いし、さらに取得画像と出力画像のアスペクト比が異な
っていてもよい。

【００２２】本発明によるビデオズーミングを含む画像
処理方法によれば、ビデオ画像イメージは、静止画像の
ための高解像度イメージ・センサを使用して、高ピクセ
ル数データのままに取り込まれて、ノーマル(標準)等倍
モード用画像出力のためには大きな比率でデシメーショ
ン処理がなされる。ズーミング・モードでは、その出力
画像はノーマル・モードほどデシメーション処理をされ
ることはなく、トリミングに合わせてデシメーション比
率が調整されて処理され、適正な画像出力がなされる。
図２には、本発明の画像処理方法によるノーマルモード
とズーミング・モードで出力された画像の一例を示し
た。このように、本発明によれば、これらのズーミング
を施した場合であっても、出力画像の質が劣化すること
はない。

【００２３】本発明においては、出力されるビデオ画像
の劣化を解決するために、高解像度を有するイメージセ
ンサとダウン・サンプリング技術が利用されるのがよ
く、例えば、デシメーション・フィルターや、デシメー
ション制御方法などが効果的に用いられるのがよい。ま
た、ビデオ画像のパワーの増加の問題を解決するために
は、例えば、パワー・アダプターを備えるデシメーショ
ン・フィルター制御処理手段などの使用がより有効な手
段となりうる。

【００２４】本発明の画像処理方法によれば、デジタル
画像をズーミングして画像出力するときでも画像劣化を
起こすことがなく、そのうえ、高解像度イメージセン
サ、デジタル・デシメーション・フィルター制御技術、デ
シメーション制御処理技術などを、移動通信分野におけ
るビデオ／ビジュアル・アプリケーション(ビデオ電話な
ど)に効率的に適用することができる。

【００２５】そして、それらの理由は次のような点にあ
る。 ・ビジュアル分野における移動通信では、静止画像イメ
ージ・アプリケーション用の高解像度イメージ・センサが
既に使用されていて、移動電話機などでは標準で搭載さ
れている。 ・画像センサの解像技術は、静止画像用のアプリケーシ
ョンに採用されており、それゆえに、ビデオ電話用アプ
リケーションのこれらの技術的スペックが、もっと強調
されてもよい。 ・デジタル画像処理技術のポイントとして、ダウン・サ
ンプリング技術と、ズーミング処理のための十分なビデ
オ画像品質データの提供が、容易に得られる。

【００２６】近年の移動通信関連のビジュアル分野で
は、インターネットに見られるような高品質の出力画像
が得られることが要求されている。そのために、画像セ
ンサのピクセル数による性能は、ＱＣＩＦ(176×144)か
ら、ＶＧＡ(640×480)、及び／またはＸＧＡ(1024×76
8)へと、成長してきている。しかしながら、ビデオ電話
用のビデオ画像のサイズを示せば、一般にはＱＣＩＦ(1
76×144)によって制限されていて、それは、３ＧＰＰ-3
24Ｍマルチメディア電話の技術スペックに類似している
エア・インターフェイスに基づくものであり、これが近
年の移動通信分野での画像出力の基準となっている。ま
た、ビデオ電話等のアプリケーション適用に関しては、
ビジュアル分野で移動通信関連装置にすでに搭載されて
いる高解像度の画像センサについて、その技術スペック
にもっと注目を寄せ、ズーミングを含む高品質な画像出
力に、この高解像度の画像センサを大いに利用するの
が、本発明を活用するひとつの手段ともなりうる。

【００２７】本発明は、既に述べてきたように、高解像
度画像センサ等による既存の技術スペックを利用して、
画像品質を劣化させることなく、画像をデジタル・ズー
ミング出力する技術を提供することができる。また、Ｖ
ＧＡ(640×480)の数の画像センサは、ＱＣＩＦの数と比
較して９倍以上の画像センサを有するものであり、これ
を適用させて、本発明にかかる装置の設計製造をするこ
とができる。また、本発明の実施化として移動電話装置
に適用するにあたっては、ＹＵＶ表色方式での説明に見
られるように、画像パワーがそれほど増加するわけでは
なく、ＣＰＵなどに多くの負担をかけることもないの
で、製品の製造コストアップが最小限に押さえられると
いうメリットがある。

【００２８】

【発明の効果】本発明は、デジタルビデオ画像のズーミ
ング技術を含む画像処理方法であり、画像劣化を引き起
こさず、画像パワーの調整が必要なく、従来から移動電
話等に搭載されている高解像度イメージセンサが利用で
き、また移動通信の分野では、例えばビデオ電話のよう
なモバイル用のビデオ／ビジュアル(画像・映像・動画等
を含む)アプリケーションとして適用するのが極めて容
易となる。

【図面の簡単な説明】

【図１】本発明の画像処理方法を説明する図である。

【図２】本発明の画像処理方法によるズーミングを含む
画像出力を示す図である。

【図３】従来の画像処理方法を説明する図である。

【図４】従来の画像処理方法によるズーミングを含む画
像出力を示す図である。

【符号の説明】

400、410、450、460 元になる取得画像 420 等倍(ノーマルモード)による出力画像 430 ４倍ズーミングによる出力画像 440 ９倍ズーミングによる出力画像 Ａ 取得画像データ(オリジナル画像) ａ１ ノーマルモードによる出力画像 ａ２ ズームモードによる出力画像

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA20 CA16 CB16 CD07 DA16 5C023 AA02 AA27 CA02 5C076 AA02 AA21 AA22 BB06 BB22 CB05 5C082 AA01 BA12 BB13 BB42 CA00 CA33 DA22 DA42 DA53 MM10

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像を取得してズーミングを含む画像出
   力を行うデジタル画像処理方法であって、 取得される取得画像のピクセル数は、出力される出力画
   像のピクセル数より大きく設定され、 前記出力画像は、前記取得画像にデシメーション比率に
   応じた処理がなされて得られる、 ことを特徴とする画像処理方法。
2. 【請求項２】 請求項１に記載の画像処理方法におい
   て、 前記出力画像のピクセル数は、出力されるズーミング倍
   率にかかわらず、略等しく設定される、 ことを特徴とする画像処理方法。
3. 【請求項３】 請求項１または２に記載の画像処理方法
   において、 前記取得画像のピクセル数は、等倍の出力画像のピクセ
   ル数に、ズーミング最大倍率をかけた数以上のピクセル
   数を有する、 ことを特徴とする画像処理方法。