JP2002330283A

JP2002330283A - 解像度変換方法および解像度変換装置

Info

Publication number: JP2002330283A
Application number: JP2001135155A
Authority: JP
Inventors: Hajime Sasaki; 元佐々木
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2001-05-02
Filing date: 2001-05-02
Publication date: 2002-11-15
Anticipated expiration: 2021-05-02
Also published as: JP4412446B2

Abstract

(57)【要約】【課題】画像拡大機能をハードウェアで実現しても回
路規模が小さくて済み且つ高速に画像拡大処理を実行し
得る。【解決手段】ＲＰＵ（リアルタイム・プロセッシング
・ユニット）は、単板式の色フィルタを備えた撮像セン
サで撮像した原画像データに対して、各画素毎に不足の
色成分を補間する画素補間処理部１４ｂを備えている。
画素補間処理部１４ｂは入力する画像データの不足の色
成分を補間し、その補間データを補間データ・バッファ
２６ｂに転送させる。その補間データは、色成分を再配
列されて補間データ・バッファ２６ｂから読み出され画
素補間処理部１４ｂに転送され、第２回目の画素補間を
施される。これにより、画像サイズを２倍に拡大された
補間データを得ることが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像処理
で画像を拡大する解像度変換方法および解像度変換装置
に関する。

【０００２】

【従来の技術】一般に、デジタル・ビデオ・カメラやデ
ジタル・スチル・カメラなどの撮像デバイスでは、レン
ズ群やプリズムなどからなる光学系を透過した光はＣＣ
ＤセンサやＣＭＯＳセンサなどの撮像センサで検出され
画像信号に変換される。その画像信号はデジタル信号
（原画像データ）にＡ／Ｄ変換された後に、画素補間、
色空間変換、輪郭強調および解像度変換などの種々の画
像処理を施され、液晶表示装置（ファインダー）などで
表示される。また撮像デバイスの中には、その画像処理
を施した画像データを、ＪＰＥＧ（Joint Photographic
Experts Group）やモーションＪＰＥＧ、ＭＰＥＧ（Mo
ving Picture Experts Group）などの方式で圧縮符号化
した後に不揮発性メモリなどのメモリカードに書き出し
たり、インターフェースを介してパーソナル・コンピュ
ータなどの外部機器に出力したりする機能を有するもの
もある。

【０００３】ファインダーに表示される画像の表示倍率
を変更するには、結像位置を変えることなく光学系の焦
点距離を物理的に変化させる方法と、画像データを画像
処理で解像度変換する方法とが知られている。一般に、
ベイヤー方式に代表される単板式の色フィルタ・アレイ
を備えた撮像デバイスでは、撮像した原画像データは、
各画素毎に不足の色成分を補うべく画素補間処理を施さ
れる。またその画素補間処理は主にハードウェアで迅速
に実行される。その後、画像を拡大するために、画素補
間後の画像データは解像度変換を施される。解像度変換
方法としては、原画像データの複数の画素データの重み
付け平均値を算出する内分点補間方法（バイリニア法）
や、原画像データの画素データとｓｉｎｃ関数（ｓｉｎ
（ｘ）／ｘ）との折り畳み演算値を算出する３次折り畳
み補間方法（バイキュービック法）などが採用されてい
る。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
バイリニア法やバイキュービック法などを採用した画像
拡大機能はソフトウェアで実現されることが多く、ソフ
トウェア処理は、演算時間が長大化しマイクロプロセッ
サの負荷が多大になるという欠点をもつ。デジタル・ス
チル・カメラではその演算時間の長大化により、撮影間
隔が開いて撮影タイミングを逸したり、連続撮影枚数が
制限されたりする事態が発生する。他方、その演算時間
の短縮化や処理負荷の低減のためにその画像拡大機能を
ハードウェアで実現しようとすれば、回路規模やデータ
・ストリームの量が大きくなり過ぎ、回路の低コスト化
が難しくなるという問題が生ずる。

【０００５】以上の問題に鑑みて本発明が解決しようと
するところは、画像拡大機能をハードウェアで実現して
も回路規模が小さくて済み且つ高速に画像拡大処理を実
行し得る解像度変換方法および解像度変換装置を提供す
る点にある。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に係る発明は、各画素に単色成分をもつカ
ラー原画像データの画像サイズを拡大する解像度変換方
法であって、（ａ）入力する画像データに対して各画素
毎に不足の色成分を画素補間することで、各画素毎に複
数の色成分をもつ補間データを生成する工程と、（ｂ）
前記補間データにおける各画素の前記複数の色成分を再
配列し、当該複数の色成分の各々を１画素に対応付けた
画像データを生成する工程と、（ｃ）前記工程（ｂ）で
生成された前記画像データに対して前記工程（ａ）を再
度実行して補間データを生成する工程と、を備えること
を特徴とするものである。

【０００７】請求項２に係る発明は、請求項１記載の解
像度変換方法であって、前記工程（ｂ）における前記補
間データとして、前記工程（ｃ）で生成された前記補間
データを用いて前記色成分を再配列し、前記工程（ｂ）
および前記工程（ｃ）を繰り返し実行するものである。

【０００８】請求項３に係る発明は、請求項１または２
記載の解像度変換方法であって、（ｄ）前記工程（ｃ）
で生成された前記補間データに対して、前記工程（ｂ）
で再配列された前記複数の色成分の空間的位置を、当該
複数の色成分の中の１色成分の空間的位置に一致させる
ように相対移動させる空間フィルタリング処理を実行す
る工程、を備えるものである。

【０００９】請求項４に係る発明は、請求項３記載の解
像度変換方法であって、前記工程（ｂ）における前記補
間データとして、前記工程（ｄ）で生成された前記補間
データを用いて前記色成分を再配列し、前記工程（ｂ）
〜（ｄ）を繰り返し実行するものである。

【００１０】請求項５に係る発明は、請求項１〜４の何
れか１項に記載の解像度変換方法であって前記工程
（ｂ）において、前記工程（ａ）で各画素毎に補間され
た３色成分を、水平方向に２画素および垂直方向に２画
素からなる単位画素領域の３画素に１対１で割り当て且
つ前記単位画素領域の１画素には何れの色成分も割り当
てないものである。

【００１１】請求項６に係る発明は、請求項１〜５の何
れか１項に記載の解像度変換方法であって、（ｅ）前記
工程（ｃ）で生成された前記補間データもしくは前記工
程（ｄ）で空間フィルタリング処理を施された補間デー
タの画像サイズを縮小する工程、を備えるものである。

【００１２】請求項７に係る発明は、各画素に単色成分
をもつカラー原画像データの画像サイズを拡大する解像
度変換装置であって、入力する画像データに対して各画
素毎に不足の色成分を画素補間することで、各画素毎に
複数の色成分をもつ補間データを生成し出力する画素補
間部と、前記画素補間部から出力された前記補間データ
における前記複数の色成分を再配列し、当該複数の色成
分の各々を１画素に対応付けた画像データを生成し前記
画素補間部に転送させるデータ転送制御部と、を備える
ことを特徴とするものである。

【００１３】請求項８に係る発明は、請求項７記載の解
像度変換装置であって、前記データ転送制御部は、前記
色成分を再配列した前記画像データを繰り返し画素補間
部に転送するものである。

【００１４】請求項９に係る発明は、請求項７または８
記載の解像度変換装置であって、前記色成分を再配列さ
れ且つ前記画素補間部で画素補間された補間データに対
して、再配列された前記複数の色成分の空間的位置を、
当該複数の色成分の中の１色成分の空間的位置に一致さ
せるように相対移動させる空間フィルタリング処理を実
行する空間フィルタリング処理部、を備えるものであ
る。

【００１５】請求項１０に係る発明は、請求項９記載の
解像度変換装置であって、前記データ転送制御部は、前
記空間フィルタリング処理部から出力された補正データ
を前記画素補間部に繰り返し転送するものである。

【００１６】請求項１１に係る発明は、請求項７〜１０
の何れか１項に記載の解像度変換装置であって、前記原
画像データが３色成分からなり、前記データ転送制御部
は、前記画素補間部で各画素毎に補間された３色成分
を、水平方向に２画素および垂直方向に２画素からなる
単位画素領域の３画素に１対１で割り当て且つ前記単位
画素領域の１画素には何れの色成分も割り当てずに前記
色成分を再配列した画像データを生成するものである。

【００１７】請求項１２に係る発明は、請求項７〜１１
の何れか１項に記載の解像度変換装置であって、前記画
素補間部で生成された前記補間データもしくは前記空間
フィルタリング処理部から出力された前記補正データの
画像サイズを縮小する縮小処理部、を備えるものであ
る。

【００１８】

【発明の実施の形態】図１は、本発明の実施の形態に係
る解像度変換機能を備えたデジタル・スチル・カメラ１
の全体構成を示す機能ブロック図である。このデジタル
・スチル・カメラ１は、ＡＦ（オート・フォーカス）機
能や自動露出調節機能などを備えた光学機構１１を有し
ており、この光学機構１１を通して入射した被写体画像
の光がＣＣＤからなる画像撮像センサ１２で検出され
る。また被写体を撮影するタイミングと同期するように
光量を調節された光をストロボ（閃光装置）３０から発
して被写体に照射することができる。アナログ信号処理
回路１３は、画像撮像センサ１２から出力された被写体
の画像信号をデジタル化して得られる原画像データをＲ
ＰＵ（リアルタイム・プロセッシング・ユニット）１４
に出力する。ＲＰＵ１４は入力する原画像データに対し
て、後述する画素補間や色空間変換などの画像処理をリ
アルタイムに実行する機能を有する。また上記アナログ
信号処理回路１３とＲＰＵ１４は、それぞれメイン・バ
ス１０と接続されており、アナログ信号処理回路１３か
ら出力される原画像データをＲＰＵ１４に入力させず
に、メイン・バス１０を介して主メモリ２６に転送させ
一時記憶させることができる。

【００１９】またＲＰＵ１４から出力された画像データ
は主メモリ２６のバッファ領域に転送されて一時記憶さ
れたり、メイン・バス１０を介してディスプレイ・モジ
ュール２０に転送されＬＣＤ（液晶表示装置）２３に表
示されたりする。尚、同図中、符号２１はデジタル・エ
ンコーダ、２２はＬＣＤ駆動回路２２を示している。ま
たそのバッファ領域に記憶された画像データは、ＣＰＵ
１７やＤＭＡ（ダイレクト・メモリ・アクセス）コント
ローラ２４の制御により読み出され、メイン・バス１０
を介して圧縮処理部２５に転送されＪＰＥＧやＭＰＥＧ
などの方式で圧縮符号化された後に、インターフェース
２７Ａに転送され不揮発性メモリからなるメモリ・カー
ド２７に格納できる。また圧縮処理部２５で圧縮符号化
された画像データを外部インターフェース２８に転送
し、この外部インターフェース２８と接続された外部の
表示装置やコンピュータなどに転送することも可能であ
る。

【００２０】尚、図１中、符号１５は画像撮像センサ１
２を駆動する駆動回路、符号１６はＲＰＵ１４および駆
動回路１５などの動作タイミングを規律するタイミング
・ジェネレータ、符号１８はＰＬＬ発信回路、符号１９
はＣＰＵ１７の補助演算を実行するコプロセッサを示し
ている。またクロック・ジェネレータ２９は、ＰＬＬ発
信回路１８から供給されるクロック信号を逓倍もしくは
分周することで、ＲＰＵ１４、タイミング・ジェネレー
タ１６、ＣＰＵ１７およびデジタル・エンコーダ２１な
どの全モジュールの駆動クロック信号を生成する。

【００２１】上記画像撮像センサ（ＣＣＤ撮像センサ）
１２は、光電効果で発生したキャリア（電子またはホー
ル）をポテンシャル井戸に蓄積する電荷蓄積部と、蓄積
されたキャリアに電界を印加して転送するように制御す
る電荷転送部とを備える一般的なものである。画像撮像
センサ１２としては、画素を構成するラインのうち偶数
番目ラインからなるフィールド（偶数フィールド）と奇
数番目ラインからなるフィールド（奇数フィールド）と
から交互に画素データを読み出されるインターレース
（飛越し走査）タイプのものと、ライン順次に画素デー
タを読み出されるプログレッシブ（順次走査）タイプの
ものとの何れが使用される。尚、本実施の形態では、画
像撮像センサ１２としてＣＣＤ撮像センサを採用する
が、これに限らず、電荷転送部をもたないＣＭＯＳ撮像
センサを採用してもよい。後述するように画像撮像セン
サ１２の感光部上には単板式の色フィルタ・アレイが配
設されている。

【００２２】図２は、上記ＲＰＵ１４の概略構成を示す
機能ブロック図である。ＲＰＵ１４は集積回路化されて
おり、単一画素処理部１４ａ、画素補間処理部１４ｂ、
ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理部１
４ｄ、空間フィルタリング処理部１４ｅ、コアリング処
理部１４ｆ、縮小処理部１４ｇおよび出力部１４ｈを備
えている。色空間変換・色抑圧処理部１４ｄおよびコア
リング処理部１４ｆを除く各ブロック１４ａ〜１４ｃ，
１４ｅ，１４ｇはメイン・バス１０と接続されている。
よって、画像データをブロック１４ａ〜１４ｈでシリア
ル（逐次的）に処理させてもよいし、メイン・バス１０
に接続されたブロックのみで当該画像処理をし、その処
理データをメイン・バス１０を介して転送してもよい。
例えば、主メモリ２６に一時記憶された画像データをメ
イン・バス１０経由で画素補間処理部１４ｂに転送し、
画素補間処理のみを施した画像データを再度、主メモリ
２６に転送し格納することが可能である。

【００２３】前記単一画素処理部１４ａは、入力する画
像データを複数フレームもしくは複数フィールドに亘り
平均化する経時的平均化処理と、１フレーム単位もしく
は１フィールド単位のシェーディング処理との何れか一
方を選択的に行う機能を有する。前記の経時的平均化処
理は、画像撮像センサ１２から通常周期で読み出されア
ナログ信号処理回路１３で増幅されデジタル化された複
数フレームもしくは複数フィールドの画像データを、累
積加算または循環加算した後に、その加算値を加算回数
で除算する平均化処理である。従来、被写体の露光量が
足りない場合は、画像撮像センサ１２からの画素データ
の読出しを所定期間停止して、蓄積電荷量を十分に増大
させた後に読出しパルスを印加し画素データを読み出し
ていたが、これではノイズも増幅されてしまい映像Ｓ／
Ｎ特性が低下するという問題があった。そこで、本実施
の形態の経時的平均化処理では、画素データの読出しを
通常周期で実行し、読出した複数フレームまたは複数フ
ィールドに亘る画素データを蓄積して平均化する。これ
により、映像Ｓ／Ｎ特性の低下を防止することが可能と
なる。単一画素処理部１４ａは累積加算と循環加算との
何れか一方を選択して平均化処理を実行できる。その累
積加算による平均化処理の概略は次の通りである。アナ
ログ信号処理回路１３から入力する１番目フレームの画
素データは主メモリ２６のバッファ領域に転送され格納
される。次に入力する２番目フレームの画素データは、
バッファ領域から読み出した１番目フレームの画素デー
タと加算されバッファ領域に転送されて記憶内容を更新
する。このように、入力するｉ番目（ｉ：３以上の整
数）フレームの画素データとバッファ領域から読み出さ
れたｉ−１番目の画素データとを加算しバッファ領域に
転送し蓄積する加算処理（蓄積加算処理）が繰り返し実
行される。その後、累積加算データはバッファ領域から
読み出され、ＲＰＵ１４の他のブロックに出力される。
他方、循環加算による平均化処理では、バッファ領域に
蓄積される累積加算データのビット長の増大を防ぐべ
く、入力する画素データに比率αを乗算し、バッファ領
域から読み出された画素データに比率β（＝単位長−
α）を乗算して双方を加算した後、バッファ領域に転送
し蓄積するという加算処理（循環加算処理）が繰り返し
実行される。

【００２４】また上記シェーディング処理は、画像の全
体が平均的に一様な明るさになるように、各画素の輝度
値などをゲイン調整することで実行される。尚、シェー
ディングとは、光学機構１１の中心部に対する周辺部の
減光や、画像撮像センサ１２の受光感度の不均一に起因
して生ずる、被写体画像の本来の輝度と映像信号との間
の変換特性の不整合を意味しており、例えば、画像の周
辺部が中心部に比べて暗くなるという輝度ムラとなって
現れるものである。

【００２５】上記画素補間処理部１４ｂは、前記単一画
素処理部１４ａもしくはメイン・バス１０から入力する
画素データを用いて、各画素毎に不足の色成分を補間す
る機能を有する。画像撮像センサ１２の感光部上に配設
される単板式の色フィルタ・アレイには各種あるが、ベ
イヤー配列と称するものが多用されている。図３は、
「Ｒ（赤色）」，「Ｇ（緑色）」，「Ｂ（青色）」の３
原色系色フィルタのベイヤー配列の例を示す概略図であ
る。図３に示す通り、単板の色フィルタ・アレイ４０
は、太線枠で示した２×２画素の単位画素領域４１を繰
り返し単位として複数個配列して構成される。単位画素
領域４１は、２個のＧフィルタを対角に配置し、残るＲ
フィルタとＢフィルタとを対角に配置してなる。画素補
間処理部１４ｂは、このような各色フィルタを透過した
光の画素データ（色成分）を用いて各画素毎に不足の色
成分を補間する。図３に示した例では、Ｒ成分のみをも
つ注目画素４２ａについて補間する場合、画素４２ａに
不足の色成分はＧ成分とＢ成分であるから、画素補間処
理部１４ｂは当該画素４２ａの上下左右に隣接する４画
素のＧ成分の平均値を算出し、当該画素４２ａの斜め四
方に隣接する４画素のＢ成分の平均値を算出する。ま
た、Ｇ成分のみをもつ画素４２ｂについて補間する場
合、当該画素４２ｂに不足の色成分はＲ成分とＢ成分で
あるから、画素補間処理部１４ｂは当該画素４２ｂの左
右に隣接する２画素のＲ成分の平均値を算出し、当該画
素４２ｂの上下に隣接する２画素のＢ成分の平均値を算
出する。また、Ｂ成分のみをもつ画素４２ｃについて補
間する場合は、当該画素４２ｃの上下左右の４画素のＧ
成分の平均値を算出し、当該画素４２ｃの斜め四方に隣
接する４画素のＲ成分の平均値を算出する。このように
して各画素毎にＲ，Ｇ，Ｂの３色成分が創り出される。

【００２６】また、上記の３原色系色フィルタの代わり
に、「Ｙ（イエロー色）」、「Ｍ（マゼンダ色）」、
「Ｃ（シアン色）」、「Ｇ（緑色）」のような補色系色
フィルタを用いる場合もある。図４は、補色系色フィル
タの配列例を示す概略図である。図４に示す通り、単板
の色フィルタ・アレイ４３は、太線枠で示した単位画素
領域４４を繰り返し単位として複数個配列して構成され
る。単位画素領域４４は、左上の画素に「Ｃ」、左下の
画素に「Ｙ」、右上の画素に「Ｍ」、右下の画素に
「Ｇ」を配置してなる。Ｃ成分のみをもつ注目画素４５
ａについて補間する場合、当該画素４５ａの斜め四方に
隣接する４画素のＧ成分の平均値を算出し、当該画素４
５ａの左右に隣接する２画素のＭ成分の平均値を算出
し、当該画素４５ａの上下に隣接する２画素のＹ成分の
平均値を算出する。Ｍ成分のみをもつ画素４５ｂや、Ｇ
成分のみをもつ画素４５ｃについての補間処理も同様に
実行される。このようにして各画素毎に、Ｙ，Ｍ，Ｃ，
Ｇの４色成分が創り出される。

【００２７】次に、上記ガンマ補正処理部１４ｃはガン
マ補正を実行する機能を有し、色空間変換・色抑圧処理
部１４ｄは、原信号がカラー画像信号の場合に例えばＲ
ＧＢ信号からＹＣｂＣｒ信号へ色空間を変換する色空間
変換機能と、画像中の明部と暗部の色抑圧（クロマサプ
レス；偽色防止）を行う色抑圧機能とを有してる。色空
間変換機能で変換先の色空間としては、ＹＣｂＣｒ色空
間の他に、ＮＴＳＣ（National Television System Com
mitee）方式などで規定されているＹＵＶ色空間やＹＩ
Ｑ色空間などを採用しても構わない。また色抑圧機能で
は画像に現れる明部および暗部の発色を抑制することで
自然な画質が得られる。一般に、画像に現れる暗部は様
々なノイズの影響を受けやすい性質をもつため、暗部で
はできるだけ発色を抑制することが自然な画質を出すこ
とにつながる。一方、画像の現れる明部は当該明部を撮
像した撮像素子やその他の種々のハードウェアの特性に
応じて変調の影響を受け易い部分でありホワイトバラン
スが狂い易い部分であるため、出来るだけ発色を抑制す
ることが自然な画質を出すことにつながる。これらを考
慮して色抑圧機能は画像中の明部と暗部の発色を抑制す
る。

【００２８】次に、上記空間フィルタリング処理部１４
ｅは、画像データの５×５画素程度の局所領域に空間フ
ィルタ（重みマスク）を適用し、重みマスクの係数値を
対応する画素データに重み付け（乗算）し加算するとい
う積和演算を実行する機能を有する。空間フィルタの係
数値データは、空間フィルタリング処理を実行する際に
ＣＰＵ１７からキャッシュ（図示せず）に転送されて使
用される。図５は、５×５画素の空間フィルタ５０を示
す模式図であり、図６は、その空間フィルタ５０を適用
された、２次元配列した画素５３，５３，…からなる入
力画像データ５１を示す模式図である。図５に示す通
り、空間フィルタ５０は、各画素値に重み付ける係数値
Ｋ（０，０），Ｋ（０，１），…，Ｋ（４，４）を備え
ており、空間フィルタ５０が図６に示す入力画像データ
５１の局所領域５２に適用された場合、局所領域５２中
のｉ行ｊ列目（ｉ，ｊ：整数）の注目画素値ｇ（ｉ，
ｊ）についてｉ行ｊ列目の出力画素値Ｏ（ｉ，ｊ）を出
力する。ここで、出力画素値Ｏ（ｉ，ｊ）は次式（１）
に従って算出される。

【００２９】

【数１】

【００３０】上式（１）において、出力画素値Ｏ（ｉ，
ｊ）に所定の補正値を加算してもよいし、出力画素値Ｏ
（ｉ，ｊ）を２の巾乗値で除算して算術シフトさせても
よい。空間フィルタリング処理部１４ｅは、空間フィル
タ５０を適用する５×５画素分の画素データをレジスタ
（図示せず）に記憶しておき、レジスタから各画素値を
選択的に読み出し、対応する係数Ｋ（ｍ，ｎ）と乗算さ
せて加算し出力する。コアリング処理部１４ｆは、空間
フィルタリング処理部１４ｅから出力された画像データ
に対して、高域成分が一定レベルを超えたときに一般的
な非線形処理（コアリング）を施す。以上の空間フィル
タリング処理部１４ｅとコアリング処理部１４ｆとで画
像に含まれる雑音を低減されたり、線およびエッジ部分
を強調する輪郭強調処理が実行されたりする。

【００３１】次に、縮小処理部１４ｇは、ＣＰＵ１７か
ら指定された縮小率βに基づいて入力する画像データの
サイズを一般的なバイリニア法（線形補間法）などで縮
小する機能を有する。例えば、縮小率βが０．５倍の値
をもつ場合、縮小処理部１４ｇは入力する画像データの
水平ライン数と水平画素数とをそれぞれ半分に解像度変
換した画像データを出力する。

【００３２】実施の形態１．以上の構成を有するデジタ
ル・スチル・カメラ１を用いた実施の形態１に係る解像
度変換処理の例を図７〜図９を参照しつつ以下に詳説す
る。図７は、本実施の形態１に係る解像度変換処理の一
例を示すフローチャート、図８は、その解像度変換処理
を説明するための概略図、図９は、その解像度変換処理
における処理データの流れを示すブロック図である。
尚、説明の便宜上、画像撮像センサ１２から出力される
画像データの画像サイズは４×４画素であるものとす
る。

【００３３】先ず、ステップＳ１で、アナログ信号処理
回路１３から、Ｒ，Ｇ，Ｂの３原色成分からなる原画像
データがＲＰＵ１４の単一画素処理部１４ａに入力す
る。単一画素処理部１４ａは、上述した通り、単一画素
単位で経時的平均化処理とシェーディング処理とを実行
する。経時的平均化処理は、入力する複数フレームもし
くは複数フィールドに亘る画素データを原画像データ・
バッファ２６ａを用いて所定期間、累積加算もしくは循
環加算するものである。アナログ信号処理回路１３から
入力する画素データは、原画像データ・バッファ２６ａ
から読み出された画素データと累積加算または循環加算
された後、原画像データ・バッファ２６ａにＤＭＡ転送
され記憶内容を更新する。このように経時的平均化処理
を施され原画像データ・バッファ２６ａに転送された画
像データが、図８に示す原画像データ６０である。

【００３４】次のステップＳ２で、単一画素処理部１４
ａで処理を終えた画素データは原画像データ・バッファ
２６ａから画素補間処理部１４ｂにＤＭＡ転送される。
そして、画素補間処理部１４ｂは上述した通り、入力す
る画素データを用いて画素補間処理を実行して補間デー
タを出力し、その補間データは補間データ・バッファ２
６ｂにＤＭＡ転送される。図８に示すように、画素補間
を施され補間データ・バッファ２６ｂに格納された補間
データ６１は、各画素に対応するＲ，Ｇ，Ｂの３色成分
を有し、Ｒ成分のみのＲフィールド６１ａ、Ｇ成分のみ
のＧフィールド６１ｂおよびＢ成分のみのＢフィールド
６１ｃで構成されている。

【００３５】次のステップＳ３で、前記補間データ６１
は、画像撮像センサ１２における単板式の色フィルタ配
列と略一致するように各色成分を再配列されて読み出さ
れ、画素補間処理部１４ｂへＤＭＡ転送される。ここ
で、ＤＭＡコントローラ２４の制御により補間データ６
１を画素補間処理部１４ｂへＤＭＡ転送する代わりに、
ＣＰＵ１７の制御により補間データ６１を画素補間処理
部１４ｂへ転送してもよい。このように、同一の空間的
位置（画素）をもつ３色成分は、補間データ・バッファ
２６ｂから読み出される際に互いに分離され、それら３
色成分は各画素に割り当てられるように再配列される。
よって、図８に示すように再配列後の画像データ６２で
は、Ｒフィールド６１ａの０行０列目のＲ成分は、２×
２画素の単位画素領域６２ａ内の０行０列目に空間的位
置（光学的位置）を定められ、Ｇフィールド６１ｂの０
行０列目のＧ成分は、単位画素領域６２ａ内の０行１列
目に空間的位置を定められ、そしてＢフィールド６１ｃ
の０行０列目のＢ成分は、単位画素領域６２ａ内の１行
１列目に空間的位置を定められる。但し、単位画素領域
６２ａ内の１行０列目のＸ成分は何れの色成分も配置さ
れないものである。同一の空間的位置をもつ３色成分を
２×２画素に再配列し、各色成分の空間的位置を元の位
置から移動させているから、解像度の低下を避けること
ができない。そこで、その解像度の低下を低減する目的
で、上記Ｘ成分の位置には敢えて何れの色成分も配置さ
れていない。このようにして、原画像データ６０を水平
方向と垂直方向とにそれぞれ画素数を２倍に解像度変換
（拡大）された画像データ６２が画素補間処理部１４ｂ
に入力する。

【００３６】次のステップＳ４で、画素補間処理部１４
ｂで次に実行する画素補間処理が最後か否かが判定され
る。当該画素補間処理が最後の場合、ステップＳ５で、
画素補間処理部１４ｂは入力する画像データ６２につい
て上記ステップＳ２と略同様の手順で第２回目の画素補
間を実行し、その補間データをガンマ補正処理部１４ｃ
に順次出力する。但し、Ｘ成分は何れの色成分をもたな
いため不足の３色成分を補間する必要がある。例えば、
Ｘ成分の上下に隣接する２画素のＲ成分の平均値を算出
してＲ成分を補間し、当該Ｘ成分の左右に隣接する２画
素のＢ成分の平均値を算出してＢ成分を補間し、当該Ｘ
成分の斜め四方に隣接する４画素のＧ成分の平均値を算
出してＧ成分を補間することができる。このように、図
８に示すように画素補間によりサイズが拡大した補間デ
ータ６３は、各画素に対応するＲ，Ｇ，Ｂの３色成分を
有し、Ｒ成分のみのＲフィールド６３ａ、Ｇ成分のみの
Ｇフィールド６３ｂおよびＢ成分のみのＢフィールド６
３ｃで構成されている。

【００３７】他方、上記ステップＳ４で当該画素補間処
理が最後でない旨が判定された場合は、ステップＳ６
で、前記ステップＳ５と同様に画素補間処理部１４ｂは
入力する画像データ６２について第２回目の画素補間を
実行して補間データを出力し、その補間データはメイン
・バス１０を介して主メモリ２６の補間データ・バッフ
ァ２６ｂにＤＭＡ転送され記憶内容を更新する。次い
で、上記ステップＳ４で当該画素補間処理が最後である
旨が判定される迄、上記ステップＳ３，Ｓ４，Ｓ６の処
理が繰り返し実行される。その繰り返し回数がｎ回
（ｎ：整数）の場合、画素補間処理部１４ｂからガンマ
補正処理部１４ｃに出力される画像データのサイズは拡
大率２ⁿ（＝α）倍に解像度変換されることとなる。

【００３８】次のステップＳ７で、上記画素補間処理部
１４ｂから出力された画像データは、ガンマ補正処理部
１４ｃ、色空間変換・色抑圧処理部１４ｄ、空間フィル
タリング処理部１４ｅ、コアリング処理部１４ｆおよび
縮小処理部１４ｇで逐次的に処理された後、出力部１４
ｈからメイン・バス１０に転送され、処理データ・バッ
ファ２６ｃに書き出される。ここで、縮小処理部１４ｇ
は、上述したようにＣＰＵ１７から指定された縮小率β
に基づいて画像サイズを縮小できる。よって、例えば、
原画像データ６０の画像サイズを１．５倍に拡大したい
場合、上記ステップＳ３，Ｓ４，Ｓ６を１回実行して原
画像データ６０のサイズを２倍に拡大した後、前記ステ
ップＳ７でその縮小率βを０．７５倍に設定すればよ
い。これにより原画像データ６０は２．０×０．７５＝
１．５倍に拡大される。

【００３９】次のステップＳ８で、ＣＰＵ１７は処理デ
ータ・バッファ２６ｃに格納された画像データを読み出
し、主メモリ２６に設けた一時記憶データ・バッファ２
６ｄを利用して圧縮符号化などした後に、外部インター
フェース２８を介して外部機器に出力させる。

【００４０】以上の実施の形態１によれば、画素補間処
理部１４ｂで画素補間を施された補間データの色成分を
再配列し、再度、画素補間処理部１４ｂで画素補間する
ことをｎ回繰り返し実行するため、原画像データ６０の
画像サイズを２ⁿ倍に解像度変換（拡大）することが可
能となる。その解像度変換はハードウェア構成の画素補
間処理部１４ｂを用いて実行されることから、ソフトウ
ェア処理で画像拡大処理を行う場合と比べて演算速度が
大幅に向上する。また画像拡大用の回路構成をＲＰＵ１
４内に設ける必要が無いため低コストの画像拡大機能を
実現することが可能である。更に、縮小処理部１４ｇに
おいて任意の縮小率βで画像を縮小できることから、画
像の拡大率α（＝２ⁿ倍）と縮小率βとを組み合わせる
ことで、任意の拡大率γ＝α・βで画像を拡大すること
が可能となる。

【００４１】実施の形態２．次に、図１０，１１を参照
しつつ、本発明の実施の形態２に係る解像度変換処理に
ついて説明する。図１０は、本実施の形態２に係る解像
度変換処理の一例を示すフローチャート、図１１は、本
実施の形態２に係る解像度変換処理における処理データ
の流れを示すブロック図である。尚、図１０中、図７と
同じステップ番号を付したブロックでは上記と略同一処
理が実行されるものとして、その詳細な説明を省略す
る。

【００４２】先ず、ステップＳ１〜Ｓ３の処理は、上記
実施の形態１における処理と同じである。すなわち、ス
テップＳ１では、単一画素処理部１４ａは入力する原画
像データに対して単一画素単位で経時的平均化処理とシ
ェーディング処理とを実行しその処理データを出力す
る。出力されたその処理データは主メモリ２６の原画像
データ・バッファ２６ａにＤＭＡ転送され格納される。
続くステップＳ２では、原画像データ・バッファ２６ａ
から転送された原画像データ６０に対して画素補間処理
を施すことで、各画素に対応する３色成分を有する補間
データ６１が生成される。そしてステップＳ３で、その
補間データ６１の各色成分は再配列されて、補間データ
・バッファ２６ｂから画素補間処理部１４ｂに転送され
る。

【００４３】次のステップＳ１０では、画素補間処理部
１４ｂは入力する各色成分の画素データを用いて第２回
目の画素補間処理を行い、その補間データを、再度、前
記補間データ・バッファ２６ｂにＤＭＡ転送させる。こ
れにより、補間データ・バッファ２６ｂは、画像サイズ
が２倍に解像度変換された補間データを格納することに
なる。

【００４４】次のステップＳ１１で、補間データ・バッ
ファ２６ｂに格納された補間データは、空間フィルタリ
ング処理部１４ｅにＤＭＡ転送される。そして、空間フ
ィルタリング処理部１４ｅは、各色成分に対応した空間
フィルタ（重みマスク）を用いて、入力する補間データ
の色ずれを補正し、その補正データを補間データ・バッ
ファ２６ｂにＤＭＡ転送させる。図１２は、色ずれ補正
用の空間フィルタの例を示す概略図である。同図（ａ）
はＧ成分補正用の空間フィルタ５０Ｇ、同図（ｂ）はＢ
成分補正用の空間フィルタ５０Ｂを示してる。上記した
通り、上記ステップＳ３において同一の空間的位置（光
学的位置）にあった３色成分は再配列により互いに異な
る空間的位置に分離される。すなわち、図８に示すよう
に、Ｒ成分は２×２画素の単位画素領域６２ａの０行０
列目に、Ｇ成分は単位画素領域６２ａの０行１列目に、
Ｂ成分は単位画素領域６２ａの１行１列目に配置され
る。その結果、そのＧ成分は、Ｒ成分に対して水平方向
に１画素ずれた位置に配置され、そのＢ成分はＲ成分に
対して水平方向に１画素および垂直方向に１画素ずれた
位置に配置される。それら色ずれを補正するため、空間
フィルタ５０ＢはＢ成分の空間的位置を水平方向にマイ
ナス１画素分移動させるフィルタであり、空間フィルタ
５０Ｂの係数Ｋ（２，３）は単数（＝１）、それ以外の
係数Ｋ（ｉ，ｊ）は全て零値である。また空間フィルタ
５０ＧはＧ成分の空間的位置を垂直方向にマイナス１画
素分且つ水平方向にマイナス１画素分、Ｒ成分の空間的
位置に対して相対移動させるフィルタであり、空間フィ
ルタ５０Ｇの係数Ｋ（３，３）は単数（＝１）、それ以
外の係数Ｋ（ｉ，ｊ）は全て零値となる。

【００４５】上記ステップＳ１１の後のステップＳ１２
では、再度の画素補間処理を実行するか否かが判定さ
れ、その画素補間処理を実行する場合は、上記ステップ
Ｓ３に処理が戻り、その再度の画素補間処理を実行しな
いと判定される迄、上記ステップＳ３，Ｓ１０，Ｓ１１
の処理がｎ回（ｎ：自然数）繰り返し実行される。

【００４６】このようにして画像サイズを２ⁿ倍に解像
度変換され色ずれを補正された画像データを補間データ
・バッファ２６ｂに格納後、ステップＳ１３では、その
画像データはガンマ補正処理部１４ｃにＤＭＡ転送さ
れ、ガンマ補正処理部１４ｃ、色空間変換・色抑圧処理
部１４ｄ、空間フィルタリング処理部１４ｅ、コアリン
グ処理部１４ｆおよび縮小処理部１４ｇで逐次的に処理
された後、出力部１４ｈからメイン・バス１０に転送さ
れ、処理データ・バッファ２６ｃに書き出される。ステ
ップＳ８では、上記実施の形態１と同様に、ＣＰＵ１７
は処理データ・バッファ２６ｃに格納された画像データ
を読出し、一時記憶データ・バッファ２６ｄを利用して
圧縮符号化などした後に、外部インターフェース２８を
介して外部機器に出力させる。

【００４７】このように本実施の形態２によれば、上記
ステップＳ１１において、上記ステップＳ３，Ｓ１０で
色成分を再配列され画素補間を施された画像データの色
ずれを空間フィルタを用いて補正するから、色成分の再
配列による解像度の低下を防止し高解像度の拡大画像を
得ることが可能となる。

【００４８】

【発明の効果】以上の如く、本発明の請求項１に係る解
像度変換方法および請求項７に係る解像度変換装置によ
れば、不足の色成分を画素補間する画素補間法を利用し
て原画像データの画像サイズを拡大できることから、従
来のバイリニア法やバイキュービック法などを用いた処
理負荷の大きい画像拡大機能が不要となり、処理時間を
大幅に短縮化することが可能となる。また、既存の画素
補間回路を転用して画像を拡大できるため、専用の画像
拡大機能を回路中に組み込む必要が無く、回路全体の電
力消費量を低減できると共に回路の製作コストを低く抑
えることが可能となる。

【００４９】請求項２によれば、色成分の再配列を１回
実行したときの画像サイズの拡大率をδで表せば、上記
工程（ｂ），（ｃ）をｎ回実行することで、原画像デー
タの画像サイズをδⁿ倍に拡大することが可能となる。
また請求項８でも、請求項２と同様に、色成分を再配列
された前記画像データを上記画素補間部にｎ回転送する
ことで、原画像データの画像サイズをδⁿ倍に拡大でき
る。

【００５０】請求項３および請求項９によれば、色成分
を再配列することで発生する色ずれを補正でき、高い解
像度をもつ拡大画像を得ることが可能となる。また、本
請求項の解像度変換方法を実行するには、輪郭強調など
に使用する空間フィルタを転用すれば足りるため、色ず
れ防止用の空間フィルタを回路中に設ける必要が無く、
回路全体の電力消費量を低減できると共に回路の製作コ
ストを低く抑えることが可能となる。

【００５１】請求項４および請求項１０によれば、色ず
れを補正された高解像度の拡大画像を得ることが可能と
なる。

【００５２】請求項５および請求項１１によれば、同一
の空間的位置をもつ３色成分を上記単位画素領域の４画
素に割り当てると色ずれが拡大するため、上記単位画素
領域の１画素に何れの色成分も割り当てないことで解像
度の低下を防ぐことができる。

【００５３】請求項６および請求項１２によれば、例え
ば、画像サイズの縮小率がβ倍（０≦β＜１）で、上記
色成分の再配列による画像の拡大率がδⁿ倍（δ＞１）
のとき、拡大率δⁿと縮小率βとを組み合わせることで
原画像データを任意の拡大率γ＝δⁿ・βで拡大するこ
とが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る解像度変換装置を搭
載したデジタル・スチル・カメラの全体構成を示す機能
ブロック図である。

【図２】本実施の形態に係るＲＰＵ（リアルタイム・プ
ロセッシング・ユニット）の概略構成を示す機能ブロッ
ク図である。

【図３】３原色系色フィルタのベイヤー配列の例を示す
概略図である。

【図４】補色系色フィルタの配列例を示す概略図であ
る。

【図５】空間フィルタを示す模式図である。

【図６】空間フィルタを適用された入力画像データを示
す模式図である。

【図７】本発明の実施の形態１に係る解像度変換処理の
一例を示すフローチャートである。

【図８】実施の形態１に係る解像度変換処理を説明する
ための概略図である。

【図９】実施の形態１に係る解像度変換処理における処
理データの流れを示すブロック図である。

【図１０】本発明の実施の形態２に係る解像度変換処理
の一例を示すフローチャートである。

【図１１】実施の形態２に係る解像度変換処理における
処理データの流れを示すブロック図である。

【図１２】実施の形態２で用いる空間フィルタの例を示
す概略図であり、（ａ）はＧ成分用の空間フィルタ、
（ｂ）はＢ成分用の空間フィルタを示す図である。

【符号の説明】

１デジタル・スチル・カメラ１０メイン・バス１１光学機構１２画像撮像センサ１３アナログ信号処理回路１４ＲＰＵ１４ａ単一画素処理部１４ｂ画素補間処理部１４ｃガンマ補正処理部１４ｄ色空間変換・色抑圧処理部１４ｅ空間フィルタリング処理部１４ｆコアリング処理部１４ｇ縮小処理部１４ｈ出力部

フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 9/07 Ｈ０４Ｎ 9/64 Ｒ 9/64 101:00 // Ｈ０４Ｎ 101:00 1/46 ＺＦターム(参考） 5B057 AA01 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CC02 CD06 CE06 CE16 CH01 CH08 CH09 CH11 CH14 CH18 5C065 AA03 BB48 DD02 EE03 GG17 GG26 5C066 AA01 CA00 HA01 KE05 KE07 KM05 KP05 5C076 AA21 AA22 BB25 BB40 5C079 HB01 LA15 LA17 LA28 LA37 MA11 NA11 PA00

Claims

【特許請求の範囲】

【請求項１】各画素に単色成分をもつカラー原画像デ
ータの画像サイズを拡大する解像度変換方法であって、
（ａ）入力する画像データに対して各画素毎に不足の色
成分を画素補間することで、各画素毎に複数の色成分を
もつ補間データを生成する工程と、（ｂ）前記補間デー
タにおける各画素の前記複数の色成分を再配列し、当該
複数の色成分の各々を１画素に対応付けた画像データを
生成する工程と、（ｃ）前記工程（ｂ）で生成された前
記画像データに対して前記工程（ａ）を再度実行して補
間データを生成する工程と、を備えることを特徴とする
解像度変換方法。
【請求項２】請求項１記載の解像度変換方法であっ
て、前記工程（ｂ）における前記補間データとして、前
記工程（ｃ）で生成された前記補間データを用いて前記
色成分を再配列し、前記工程（ｂ）および前記工程
（ｃ）を繰り返し実行する、解像度変換方法。
【請求項３】請求項１または２記載の解像度変換方法
であって、（ｄ）前記工程（ｃ）で生成された前記補間
データに対して、前記工程（ｂ）で再配列された前記複
数の色成分の空間的位置を、当該複数の色成分の中の１
色成分の空間的位置に一致させるように相対移動させる
空間フィルタリング処理を実行する工程、を備える解像
度変換方法。
【請求項４】請求項３記載の解像度変換方法であっ
て、前記工程（ｂ）における前記補間データとして、前
記工程（ｄ）で生成された前記補間データを用いて前記
色成分を再配列し、前記工程（ｂ）〜（ｄ）を繰り返し
実行する、解像度変換方法。
【請求項５】請求項１〜４の何れか１項に記載の解像
度変換方法であって前記工程（ｂ）において、前記工程
（ａ）で各画素毎に補間された３色成分を、水平方向に
２画素および垂直方向に２画素からなる単位画素領域の
３画素に１対１で割り当て且つ前記単位画素領域の１画
素には何れの色成分も割り当てない、解像度変換方法。
【請求項６】請求項１〜５の何れか１項に記載の解像
度変換方法であって、（ｅ）前記工程（ｃ）で生成され
た前記補間データもしくは前記工程（ｄ）で空間フィル
タリング処理を施された補間データの画像サイズを縮小
する工程、を備える解像度変換方法。
【請求項７】各画素に単色成分をもつカラー原画像デ
ータの画像サイズを拡大する解像度変換装置であって、入力する画像データに対して各画素毎に不足の色成分を
画素補間することで、各画素毎に複数の色成分をもつ補
間データを生成し出力する画素補間部と、前記画素補間部から出力された前記補間データにおける
前記複数の色成分を再配列し、当該複数の色成分の各々
を１画素に対応付けた画像データを生成し前記画素補間
部に転送させるデータ転送制御部と、を備えることを特
徴とする解像度変換装置。
【請求項８】請求項７記載の解像度変換装置であっ
て、前記データ転送制御部は、前記色成分を再配列した
前記画像データを繰り返し画素補間部に転送する、解像
度変換装置。
【請求項９】請求項７または８記載の解像度変換装置
であって、前記色成分を再配列され且つ前記画素補間部
で画素補間された補間データに対して、再配列された前
記複数の色成分の空間的位置を、当該複数の色成分の中
の１色成分の空間的位置に一致させるように相対移動さ
せる空間フィルタリング処理を実行する空間フィルタリ
ング処理部、を備える解像度変換装置。
【請求項１０】請求項９記載の解像度変換装置であっ
て、前記データ転送制御部は、前記空間フィルタリング
処理部から出力された補正データを前記画素補間部に繰
り返し転送する、解像度変換装置。
【請求項１１】請求項７〜１０の何れか１項に記載の
解像度変換装置であって、前記原画像データが３色成分
からなり、前記データ転送制御部は、前記画素補間部で各画素毎に
補間された３色成分を、水平方向に２画素および垂直方
向に２画素からなる単位画素領域の３画素に１対１で割
り当て且つ前記単位画素領域の１画素には何れの色成分
も割り当てずに前記色成分を再配列した画像データを生
成する、解像度変換装置。
【請求項１２】請求項７〜１１の何れか１項に記載の
解像度変換装置であって、前記画素補間部で生成された
前記補間データもしくは前記空間フィルタリング処理部
から出力された前記補正データの画像サイズを縮小する
縮小処理部、を備える解像度変換装置。