JP2001014454A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP2001014454A
JP2001014454A JP11184443A JP18444399A JP2001014454A JP 2001014454 A JP2001014454 A JP 2001014454A JP 11184443 A JP11184443 A JP 11184443A JP 18444399 A JP18444399 A JP 18444399A JP 2001014454 A JP2001014454 A JP 2001014454A
Authority
JP
Japan
Prior art keywords
signal
image
interpolation
color difference
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11184443A
Other languages
English (en)
Inventor
Shiyoubou Chiyou
小▲忙▼ 張
Yasuji Kobuchi
保司 小渕
Noboru Kubo
登 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP11184443A priority Critical patent/JP2001014454A/ja
Priority to US09/571,846 priority patent/US6765587B1/en
Publication of JP2001014454A publication Critical patent/JP2001014454A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6016—Conversion to subtractive colour signals
    • H04N1/6019—Conversion to subtractive colour signals using look-up tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

(57)【要約】 【課題】 デジタル画像信号の信号処理を行う際に、デ
ータ処理時間の短縮とメモリの使用量の低減を図ること
ができると共に、画質、処理速度、消費電力等の要求条
件に応じた色ずれのない画像を得ることができる画像処
理装置を提供する。 【解決手段】 画像処理装置が、画像信号を輝度信号と
色差信号に分けて異なる補間方法を用いて信号処理を行
う輝度信号処理部１及び色差信号処理部２を有する構成
とする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタル画像信号
を輝度信号と色差信号に分けて異なる補間方法を用いて
信号処理を行う画像処理装置に関する。
【０００２】
【従来の技術】コンピュータグラフィックスや画像処理
などで、画像の拡大縮小、回転、変形などの幾何変換が
必要となるときがある。ベクトル型データの場合には、
幾何変換は各ベクトルの座標変換だけですむが、ラスタ
画像の場合には、座標変換以外に追加的な処理が必要に
なる。ラスタ画像の幾何変換とは、現在ある画像を、与
えられた座標変換式により別の座標系に射影する操作
で、次の３つの処理が主なものとなる。
【０００３】１．座標変換 与えられた座標変換式に基づき、入力画像の画像座標を
出力画像の画像座標に、又は出力画像の画像座標を入力
画像の画像座標に変換する。
【０００４】２．画像の再配列 座標変換後の出力画像の格子状配列に対応するように、
入力画像の画像データを並べ直す。
【０００５】３．画像データの内挿 座標変換後の画像データが一般には格子状に並ばないの
で、再配列に必要な格子点の画像データを内挿により求
める。
【０００６】より詳しくは、画像の再配列とは、座標変
換後の出力画像の格子状配列に対応するように、入力画
像の画像データを並ベ直す処理である。再配列には、入
力画像の各画素を出力画像上に投影する順変換の考え方
に基づく方法と、出力画像の各画素に対応する入力画像
上での位置を計算する逆変換の考え方に基づく方法の２
つの方法がある。ラスタ画像の幾何変換では、逆変換の
考え方に基づく再配列のほうが一般的である。なお、ど
ちらの方法においても、計算される対応位置の座標は一
般に整数値とはならないため、内挿処理を行う必要があ
る。
【０００７】２−１．順変換の考え方に基づく方法 入力画像の各画素について、座標変換後の出力画像座標
系での対応する位置を計算し、その位置に各画素の画像
データを投影する方法である。内挿処理は出力画像座標
系上で行い、投影された入力画像の各画素の画像データ
より、出力画像の各格子点の画像データを求める。
【０００８】２−２．逆変換の考え方に基づく方法 出力画像の各画素について、入力画像座標系での対応す
る位置を計算し、その位置における画素データを求める
方法である。内挿処理は入力画像座標系上で行い、格子
状に配置された入力画像の各画素の画像データより、出
力画像の各画素の画像データを求める。
【０００９】ラスタ画像の幾何変換では、変換後の出力
画像座標系上に正方格子を設定し、その格子点に対応す
る画像データの配列に、入力画像を変換する。しかし、
入力画像の各画素の画像データを出力画像上に投影する
順変換の考え方に基づく再配列でも、出力画像の各画素
の入力画像での対応する画像データを求める逆変換の考
え方に基づく再配列でも、計算される対応位置の座標
（順変換の場合は出力画像座標、逆変換の場合は入力画
像座標）は、一般に整数値とはならない。このため、求
めたい点の画像データを、周辺に存在する画像データか
ら内挿によって求める必要がある。
【００１０】ラスタ画像の幾何変換で用いられる内挿手
法は数多く存在しているが、以下では、主な３つの方法
である最近隣内挿法、共１次内挿法、立体畳み込み内挿
法について、その概要を説明する。
【００１１】ここでは、ラスタ画像の幾何変換において
一般的な、逆変換の考え方に基づく再配列について述べ
る。以下の説明では、内挿したい点の入力画像座標を
（ｕ，ｖ）、その画像データをＰ、また入力画像で画素
番号ｉ、ライン番号ｊの格子点（ｉ，ｊ）の画像データ
をＰｉ，ｊとする。尚、［］はガウス記号で、小数部分
を切り捨てて整数部分をとることを示す。
【００１２】３−１．最近隣内挿法（Ｎｅａｒｅｓｔ
Ｎｅｉｇｈｂｏｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ） 内挿したい点Ｐに最も近い格子点Ｐi,jの画像データ
を、求める点の画像データとするもので、次の式で求め
る。
【００１３】Ｐ＝Ｐi,j ただし、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］ 位置誤差は最大１／２画素生じるが、オリジナルの画像
データを壊さないという利点がある。また、処理アルゴ
リズムが簡単であるという利点もある。
【００１４】３−２．共１次内挿法（Ｂｉ−ｌｉｎｅａ
ｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）内挿したい点Ｐの画
像データを、その点の周囲の２×２の格子点４点
（Pi,j、Pi,j+1、Pi+1、j、Pi+1,j+1）の画像データを用
いて、次の式で求める。
【００１５】P=[(i+1)-u][(j+1)-v]Pi,j+[(i+1)-u][v-
j]Pi,j+1+[u-i][(j+1)-v]Pi+1、j+[u-i][v-j]Pi+1,j+1 ただし、i=[u]、j=[v] この方法には、オリジナルのデータが壊されるという欠
点はあるが、平均化のために平滑化の効果が得られると
いう利点がある。
【００１６】３−３．立体畳み込み内挿法（Ｃｕｂｉｃ
Ｃｏｎｖｏｌｕｔｉｏｎ Ｉｎｔｅｒｐｏｌａｔｉｏ
ｎ） 内挿したい点Ｐの画像データを、その点の周囲の４×４
の格子点１６点（Ｐ1, 1、Ｐ1,2……Ｐ4,4）の画像デー
タを用いて、次の式で示される立体畳み込み関数を用い
て求める。
【００１７】
【数１】
【００１８】具体的には、従来の画像の拡大縮小に関す
る補間方法として、例えば、特開平８−２５１４００号
公報には、複数の補間方法を備えたデジタル画像補間回
路が開示されているが、１枚のカラー画像に対して同時
に複数の補間方法を適用することに関しては何も記載さ
れてはいない。
【００１９】特開平１−１４２８７９号公報には、ビデ
オ信号源から切り出された輝度信号だけに立体畳み込み
内挿法を適用することが開示されているが、色差信号の
処理に関しては何も記載されてはいない。
【００２０】
【発明が解決しようとする課題】上記した立体畳み込み
内挿法は、補間対象画素の近くに位置する画素に対して
は正の係数を乗じて加算することにより画像を平滑化
し、同時に補間対象画素の遠くに位置する画素に対して
は負の係数を乗じて加算、つまり減算して、近くと遠く
の画素値の差を強調するため、画像の平滑化と同時に鮮
鋭化の効果が得られるという利点がある一方で、計算量
が莫大になるという欠点がある。
【００２１】例えば、カラー画像のＲＧＢ各成分に立体
畳み込み内挿法を適用した場合には、処理時間とメモリ
の使用量が白黒画像の３倍程になるために、デジタルカ
メラ等の携帯機器への搭載には大きな課題となってい
る。
【００２２】更には、色差信号に対して立体畳み込み内
挿法を適用すると、演算領域が４×４画素領城と広いた
め離れた画素の色の影響を受けることになり、位置が離
れていると色が違う可能性が高いため色が混じる恐れが
あることに加えて、立体畳み込み内挿法には微分演算の
減算があり、それにより画素値の差を強調するので、少
しの色の違いが強調される。このため、カラー画像の色
成分の比率が大きく変わることで、色ずれが増幅される
という問題が生じる。
【００２３】本発明は、こうした従来技術の課題を解決
するものであり、デジタル画像信号の信号処理を行う際
に、データ処理時間の短縮とメモリの使用量の低減を図
ることができると共に、画質、処理速度、消費電力等の
要求条件に応じた色ずれのない画像を得ることができる
画像処理装置を提供することを目的とする。
【００２４】
【課題を解決するための手段】本発明の画像処理装置
は、画像信号を輝度信号と色差信号に分けて異なる補間
方法を用いて信号処理を行う信号処理部を有しており、
そのことにより上記目的が達成される。
【００２５】本発明の画像処理装置は、画像信号を輝度
信号と色差信号に分けて異なる補間方法を用いて信号処
理を行う信号処理部と、複数種の補間プログラムを記憶
したプログラム記憶手段と、要求条件に応じて信号処理
を行う補間プログラムを切り替えるプログラム切替手段
とを有し、該プログラム記憶手段に記憶された複数種の
補間プログラムを、該プログラム切替手段により要求条
件に応じた最適な補間プログラムに切り替え、該信号処
理部で画像信号を輝度信号と色差信号に分けて異なる補
間方法を用いて信号処理を行うようにしており、そのこ
とにより上記目的が達成される。
【００２６】好ましくは、輝度信号には、４×４画素以
上の演算領域の内挿法を適用して信号処理を行い、色差
信号には、２×２画素以内の演算領域の内挿法を適用し
て信号処理を行う構成とする。
【００２７】好ましくは、輝度信号には、立体畳み込み
内挿法を適用して信号処理を行い、色差信号には、共１
次内挿法、最近隣内挿法、単純間引き又は単純補間を適
用して信号処理を行う構成とする。
【００２８】前記補間プログラムを、該補間プログラム
による所定の演算結果を予め記憶したデータテーブルと
することができる。
【００２９】以下に、本発明の作用について説明する。
【００３０】上記構成によれば、信号処理部が、画像信
号を輝度信号と色差信号に分けて異なる補間方法を用い
て信号処理を行う。
【００３１】人の目は色差信号より輝度信号のほうに敏
感であるので、輝度信号に高画質が得られる補間方法を
適用し、色差信号には他の計算量の少ない補間方法を適
用することにより、高画質を保ちながら計算量を減ら
し、データ処理時間の短縮を図ることが可能となる。加
えて、色差信号は、原色成分よりデータの少ない所定フ
ォーマット（４２２式、４１１式等）で表現できるの
で、中間結果を保存するメモリを節約することが可能と
なる。
【００３２】ここで、４２２式、４１１式とは、ＹＣｒ
Ｃｂの表色系において、各情報に割り当てられる情報量
の割合を表しており、４２２式はＹ：Ｃｒ：Ｃｂ＝４：
２：２で、４１１式Ｙ：Ｃｒ：Ｃｂ＝４：１：１で表す
ことをいう。これは、人間の視覚特性が、輝度の違いに
比較して色の違いに鈍感であることを利用して、情報量
を圧縮してメモリを節約しようとするものである。
【００３３】更には、色差信号に演算領域の狭い補間方
法を適用すれば、演算領域が狭いため位置が離れている
ことによる色の違いが生じる可能性が低くなると共に、
微分演算もないので、色ずれを防ぐことが可能となる。
【００３４】以上により、デジタル画像信号の信号処理
を行う際に、データ処理時間の短縮とメモリの使用量の
低減を図ることができると共に、画質、処理速度、消費
電力等の要求条件に応じた色ずれのない画像を得ること
ができる。
【００３５】より具体的には、例えば、輝度信号には、
４×４画素以上の演算領域の内挿法を適用して信号処理
を行い、色差信号には、２×２画素以内の演算領域の内
挿法を適用して信号処理を行うことにより、上記の作用
効果を奏する。
【００３６】又は、輝度信号には、立体畳み込み内挿法
を適用して信号処理を行い、色差信号には、共１次内挿
法、最近隣内挿法、単純間引き又は単純補間を適用して
信号処理を行うことにより、上記の作用効果を奏する。
【００３７】本発明の他の画像処理装置は、複数種の補
間プログラムを記憶したプログラム記憶手段と、要求条
件に応じて信号処理を行う補間プログラムを切り替える
プログラム切替手段と、画像信号を輝度信号と色差信号
に分けて異なる補間方法を用いて信号処理を行う信号処
理部とを有する。
【００３８】従って、プログラム記憶手段に記憶された
複数種の補間プログラムを、プログラム切替手段によ
り、画質、処理速度、消費電力等の要求条件に応じた最
適な補間プログラムに切り替え、信号処理部で画像信号
を輝度信号と色差信号に分けて異なる補間方法を用いて
信号処理を行うことが可能となる。
【００３９】例えば、本発明の画像処理装置を、動画撮
影機能付きのデジタルスチルカメラに適用する場合を考
えると、デジタルスチルカメラでは、メインの機能は静
止画の撮影であり、この場合は高画素数で高画質な画像
が要求される一方で、動画の撮影機能は、デジタルスチ
ルカメラに搭載されるメモリ容量の制限（＝撮影時間の
制限）や、データ伝送路のバンド幅等により単位時間当
たりに伝送できるデータ量に制限があるため、一枚一枚
の画像は低画素数で、画質もそれほど高画質は要求され
ない。
【００４０】そこで、静止画撮影におけるデジタルズー
ム時には、輝度信号に立体畳み込み内挿法を適用し、色
差信号にはより単純な内挿法を適用し、動画撮影におけ
るデジタルズーム時には、輝度信号に例えば共１次内挿
法を適用し、色差信号にはより単純な内挿法を適用する
ことが考えられる。
【００４１】これにより、画質、処理速度、消費電力等
の要求条件に応じた色ずれのない画像を得ることが可能
となる。
【００４２】補間プログラムを、補間プログラムによる
所定の演算結果を予め記憶したデータテーブルとする
と、演算量を低減することができ、データ処理のより一
層の高速化を図ることが可能となる。
【００４３】
【発明の実施の形態】以下に、本発明の実施の形態を図
面に基づいて具体的に説明する。
【００４４】図１は、本発明の画像処理装置を、デジタ
ルカメラのデジタル画像を補間するデジタルズーム機能
に適用した場合の構成例を示すブロック図である。
【００４５】この画像処理装置は、図１に示すように、
デジタル画像の輝度信号のデータ処理を行う輝度信号処
理部１と、デジタル画像の色差信号のデータ処理を行う
色差信号処理部２とを有し、デジタル画像を輝度信号と
色差信号に分けて、異なる補間プログラムで処理する構
成をとる。
【００４６】ここでは、カラー画像の色を表すのにＹＵ
Ｖ（＝ＹＣｒＣｂ）方式による輝度信号Ｙ、色差信号Ｃ
ｒＣｂを用いる。但し、本発明はＹＵＶ方式に限定され
るものではなく、他の方式を用いてもよい。
【００４７】より詳しくは、輝度信号処理部１は、デー
タ処理前の輝度信号Ｙを記憶する第１の画像メモリ１２
と、立体畳み込み内挿法のプログラム及び係数テーブル
を記憶させたＲＯＭ１１と、データ処理後の輝度信号Ｙ
を記憶する第２の画像メモリ１３と、ＡＲＭコア等使用
しデータの演算処理を行うプロセッサ３とを有し、制御
バス５を用いてプロセッサ３、第１の画像メモリ１２、
ＲＯＭ１１及び第２の画像メモリ１３を制御して、デー
タバス４を経由して伝送されてくる画像データの輝度信
号Ｙに対するデータ処理を行う。
【００４８】具体的には、データバス４を経由して伝送
されてくる画像データの輝度信号Ｙを第１の画像メモリ
１２に格納した後、ＲＯＭ１１から立体畳み込み内挿法
のプログラム及び係数テーブルを読み出すと共に、第１
の画像メモリ１２からデータ処理前の輝度信号Ｙを読み
出し、プロセッサ３により演算処理を行い、これにより
得られたデータ処理後の輝度信号Ｙを第２の画像メモリ
１３に記憶させる。
【００４９】色差信号処理部２は、データ処理前の色差
信号ＣｒＣｂを記憶する第３の画像メモリ２２と、立体
畳み込み内挿法とは異なる他の内挿法のプログラム及び
係数テーブルを記憶させたＲＯＭ２１と、データ処理後
の色差信号ＣｒＣｂを記憶する第４の画像メモリ２３
と、データの演算処理を行うプロセッサ３とを有し、制
御バス５を用いてプロセッサ３、第３の画像メモリ２
２、ＲＯＭ２１及び第２の画像メモリ２３を制御して、
データバス４を経由して伝送されてくる画像データの色
差信号ＣｒＣｂに対するデータ処理を行う。
【００５０】具体的には、データバス４を経由して伝送
されてくる画像データの色差信号ＣｒＣｂを第３の画像
メモリ２２に格納した後、ＲＯＭ２１から立体畳み込み
内挿法とは異なる他の内挿法のプログラム及び係数テー
ブルを読み出すと共に、第３の画像メモリ２２からデー
タ処理前の色差信号ＣｒＣｂを読み出し、プロセッサ３
により演算処理を行い、これにより得られたデータ処理
後の色差信号ＣｒＣｂを第４の画像メモリ２３に記憶さ
せる。
【００５１】ところで、カラー画像の色を表す主な方式
として、上記ＹＵＶ（＝ＹＣｒＣｂ）方式の他にもいく
つかある。
【００５２】ＹＵＶ（＝ＹＣｒＣｂ）方式は、Ｙ（輝
度）、Ｕ（青み成分Ｃｂ）、Ｖ（赤み成分Ｃｒ）の３つ
でカラー画像の色を表すもので、一般的に画像処理にお
いて、間引きによる圧縮に用いられる。これは、人間の
目が色の違いに鈍感であるという性質を利用している。
【００５３】ＲＧＢ方式は、Ｒ（赤）、Ｇ（緑）、Ｂ
（青）の三原色でカラー画像の色を表すもので、表示装
置に用いられることが多い。
【００５４】ＣＭＹ方式は、Ｃ（シアン）、Ｍ（マゼン
タ）、Ｙ（黄）の三原色でカラー画像の色を表すもの
で、印刷などで用いられることが多い。
【００５５】ＹＩＱ方式は、Ｙ（輝度）、Ｉ（肌色）、
Ｑ（肌色以外の色）の３つでカラー画像の色を表すもの
で、アメリカや日本などのテレビ放送で採用されてい
る。これは、Ｙ信号により自黒テレビでもカラー放送を
受信でき、白黒テレビとの互換性を保つことができると
共に、人間の目が肌色（Ｉ）の違いに敏感であることか
ら、肌色以外の色（Ｑ）を圧縮するのに都合がよいため
である。
【００５６】以下に、輝度信号と色差信号について詳し
く説明する。
【００５７】カラー画像に関して、その原色成分である
ＲＧＢ信号と、輝度信号Ｙ及び色差信号ＣｒＣｂとは下
記（１）式の関係がある。
【００５８】
【数２】
【００５９】その応用として、色差信号はＣｒＣｂの代
わりにＩＱを使うことがよくあり、ＲＧＢ信号とＹＩＱ
信号は下記（２）式の関係がある。
【００６０】
【数３】
【００６１】ＹＣｒＣｂ方式とＹＩＱ方式は、色立体中
の輝度領城の座標軸が同じで、色領域の座標軸が異な
る。ＹＣｒＣｂ方式では、赤方向への座標軸と、青方向
への座標軸とに基づいて色差情報を表し、ＹＩＱ方式で
は、肌色方向への座標軸と、これと直交する座標軸とに
基づいて色差情報を表す。上記（１）式と（２）式との
比較で、Ｙに対応する係数が同じで、それ以外の係数が
違っているのはこのためである。
【００６２】カラー画像を輝度信号と色差信号で表すこ
とによってメモリを節約できるため、画像処理やデータ
伝送などにおいて、画像データは輝度信号と色差信号の
形で扱うことが多い。
【００６３】より詳しくは、輝度信号と色差信号を分離
した信号であるデジタル・コンポーネント・ビデオ信号
は、輝度信号Ｙと、２つの色差信号Ｃｒ、Ｃｂの３つの
信号に分離して記録されている。輝度信号Ｙは、明るさ
を表し、つまり白から黒への階調を示す。これに対し、
色差信号Ｃｒ、Ｃｂは、色相と色の濃さを表す。輝度信
号Ｙ、色差信号Ｃｒ、Ｃｂはそれぞれ直交する３本の軸
を意味し、この軸で示される図形を色立体といい、これ
ら３本の軸の中の座標を選ぶことで、あらゆる色が選択
できる。
【００６４】いわゆるＤ1方式では、この３本の軸は平
等に扱われておらず、輝度信号Ｙ，色差信号Ｃｒ、Ｃｂ
のサンプリング周波数の比は、４：２：２に設定されて
いる。これは、人間は色の細かさを明るさの半分までし
か認識できないという説に基づいて、色差信号のサンプ
リング周波数を、輝度信号の半分しか与えていないこと
を意味する。従って、色差信号Ｃｒ、Ｃｂのサンプリン
グ周波数はそれぞれ６．７５ＭＨｚしかない。つまり、
約０．００００００１４８２秒に１回のサンプリング、
画素に直すと３６０×４８０＝１７２，８００個という
ことになる。この差を４：２：２（１３．５：６．７
５：６．７５（ＭＨｚ））と表している訳である。
【００６５】Ｄ１方式では、各画素に８ビットの情報を
与えており、これは２５６段階の階調を意味する。つま
り、輝度信号でいえば、真っ白から真っ黒までを２５６
色のグレーで表すことになる。輝度差が十分ある場合に
はさほど問題にならないが、わりと近い輝度差のグラデ
ーションを表示した時などには、この２５６色のパレッ
トでは不足してしまい段階的な階調になってしまう。
【００６６】この点を改善したのがいわゆるＤ５方式で
ある。Ｄ５方式では、４：２：２の１０ビットでデジタ
ル・コンポーネント・ビデオ信号を記録している。１０
ビットとは階調が１０２４色あることを意味する。
【００６７】次に、輝度信号に適用する内挿法について
詳しく説明する。
【００６８】輝度信号を重視する観点から、高画質の結
果が得られる拡大縮小方法として、立体畳み込み内挿法
を採用している。
【００６９】下記（３）式は、立体畳み込み内挿法で一
般的に使用される重み係数を生成する式である。
【００７０】ｆ（ｔ）＝ｓｉｎπｔ／πｔ……（３） 上記（３）式中に含まれるｓｉｎ関数等はデジタル的に
演算できないので、このままではＬＳＩ化できないた
め、積和演算のみで実現できる下記（４−１）式〜（４
−３）式で近似しており、内挿点からの距離である|ｔ|
の値に応じて、係数を生成するための式を使い分けてい
る。
【００７１】 ｆ（ｔ）＝（ａ＋２）|ｔ|3−（ａ＋３）|ｔ|2＋１ ０≦|ｔ|＜１…(4-1) ｆ（ｔ）＝ａ|ｔ|3−５ａ|ｔ|2＋８ａ|ｔ|−４ａ １≦|ｔ|＜２…(4-2) ｆ（ｔ）＝０ ２≦|ｔ|………(4-3) ここで、ａは実数定数で、ｔは内挿したい点から周囲観
察点までに関する距離変数で、ｆは重み係数である。
【００７２】次に、上記（３）式を使って、立体畳み込
み内挿法に使用される重み係数の生成方法を説明する。
【００７３】まず、図２（ａ−１）に示すように、変数
ｔ∈（−２，２）の範囲で、上記（３）式の関数を表示
しておく。１次元の画像データが有って、その画素Ｐ２
とＰ３の間で画素Ｐを内挿する時に、まずＰの隣接画素
Ｐ２（又はＰ３）の位置を図２（ａ−１）の原点０に合
わせて、図２（ａ−２）に示すように、画素Ｐ１〜Ｐ４
を並び合わせる。
【００７４】次に、画素Ｐの位置と軸ｔの位置を対応
し、点ｘを見つける。そして、点ｘ−２、ｘ−１、ｘ、
ｘ＋１における関数値ｆ(ｘ−２)、ｆ(ｘ−１)、ｆ
(ｘ)、ｆ(ｘ＋１)は、立体畳み込み内挿法でＰ点を内挿
する時使われる４つの重み係数の値である。
【００７５】内挿する画素Ｐの値は、下記（５）式で求
められる。
【００７６】 Ｐ＝ｆ(ｘ)Ｐ２＋ｆ(ｘ＋１)Ｐ１＋ｆ(ｘ−１)Ｐ３＋ｆ(ｘ−２)Ｐ４…（５） 「オンライン計算」の場合は、上記（４−１）式〜（４
−３）式においてａ＝−１として、簡略化した下記（６
−１）式〜（６−３）式を使うことができる。
【００７７】 ｆ（ｔ）＝|ｔ|3−２|ｔ|2＋１ ０≦|ｔ|＜１…（６−１） ｆ（ｔ）＝−|ｔ|3−５|ｔ|2＋８|ｔ|＋４ １≦|ｔ|＜２…（６−２） ｆ（ｔ）＝０ ２≦|ｔ|………（６−３） ここで、「オンライン計算」とは、リアルタイムの計算
という意味であり、撮影操作におけるズーム操作に対す
る実時間処理のことを指す。
【００７８】ＤＳＰでデジタルズームを実現する時、高
速化のために、上記（４−１）式〜（４−３）式をデー
タテーブルに保存しておくことは１つの手法である。
【００７９】ズーム倍率が固定で予め決まっている場合
は、内挿点の座標（上記（３）式のｔの値）も予め決ま
るので、上記（４−１）式〜（４−３）式で得られる係
数ｆ（ｔ）の内、必要な値のみをデータテーブルとして
チップ中に持たせておくことができる。この場合、上記
（６−１）式〜（６−３）式に相当する演算は不要とな
り、演算量を低減できるので、データ処理の高速化を図
ることができる。
【００８０】ズーム機能として、連続約な拡大縮小が必
要な場合は、その都度、上記（６−１）式〜（６−３）
式の演算によって係数ｆ（ｔ）を求める必要がある。
【００８１】従って、両方式を一つのチップに搭載して
おき、アプリケーシヨンに応じて切り換えるようにして
もよい。
【００８２】尚、上記では内挿前の画素座標を基準とし
て係数ｆを得る例を示したが、逆に、内挿対象画素の座
標を基準として係数ｆを得ることもできる。
【００８３】この場合は、図２（ｂ）に示すように、内
挿するＰ点の位置をｔ＝０に合わせた状態で、画素Ｐ１
〜Ｐ４のそれぞれから垂線を引き、これらの垂線と交わ
るｆ（ｔ）の値ｆ１〜ｆ４を求める。
【００８４】内挿するＰ点の値は、各点の係数ｆ１〜ｆ
４と画素値Ｐ１〜Ｐ４のそれぞれの乗算の和である下記
（７）式で求められる。
【００８５】 Ｐ＝ｆ１・Ｐ１＋ｆ２・Ｐ２＋ｆ３・Ｐ３＋ｆ４・Ｐ４…（７） 図２の（ａ）と（ｂ）に示す方法では、最初に基準とす
る画素を何にするかが相違するだけで、得られる係数値
に変わりはないが、図２（ｂ）に示す方法の方がプログ
ラミング上シンプルで実現し易いものと考えられる。
【００８６】次に、色差信号に適用する内挿法について
説明する。
【００８７】色差信号はＣｒ、Ｃｂの２つあるので、同
一画素に対してズーム操作後の２信号値の割合が、操作
前に比べて大きく変化すると、色ずれなどが生じ不自然
な画像となる。このため、色差信号に適用する内挿法は
微分演算の含まない方法がよく、又演算領域は狭いほう
がよく、２×２画素以下とすることが望ましい。
【００８８】尚、上記（７）式では、簡単のため１次元
を対象とした式を示しているが、実際には４×４の２次
元領域に対して適用され、内挿したい点Ｐの画像データ
を、その点の周囲の４×４の格子点１６点（Ｐ1,1、Ｐ
1,2……Ｐ4,4）の画像データを用いて、下記（８）式で
示される立体畳み込み関数を用いて求める。
【００８９】
【数４】
【００９０】図３は、本発明の画像処理装置の他の構成
例を示すブロック図であり、複数種の補間プログラムを
記憶したプログラム記憶手段であるＲＯＭ等からなるプ
ログラムバンク３１と、画質、処理速度、消費電力等の
要求条件に応じて信号処理を行う補間プログラムを切り
替えるプログラム切替手段３２と、画像信号を輝度信号
と色差信号に分けて異なる補間方法を用いて信号処理を
行う輝度信号処理部３３及び色差信号処理部３４とを有
する。
【００９１】プログラムバンク３１には、複数種の補間
プログラム、例えば、立体畳み込み内挿法、共１次内挿
法、最近隣内挿法、単純間引き、単純補間等が記憶され
ており、プログラム切替手段３２により、画質、処理速
度、消費電力等の要求条件に応じた最適な補間プログラ
ムに切り替え、画像信号を輝度信号と色差信号に分けて
それぞれを輝度信号処理部３３及び色差信号処理部３４
で異なる補間方法を用いて信号処理を行う。
【００９２】例えば、輝度信号には、４×４画素以上の
演算領域の内挿法を適用して信号処理を行い、色差信号
には、２×２画素以内の演算領域の内挿法を適用して信
号処理を行う。
【００９３】又は輝度信号には、立体畳み込み内挿法を
適用して信号処理を行い、色差信号には、共１次内挿
法、最近隣内挿法、単純間引き又は単純補間を適用して
信号処理を行うようにしてもよい。
【００９４】ここで、より具体的な例として、本発明の
画像処理装置を、動画撮影機能付きのデジタルスチルカ
メラに適用する場合を考える。
【００９５】デジタルスチルカメラでは、メインの機能
は静止画の撮影であり、この場合は高画素数で高画質な
画像が要求される一方で、動画の撮影機能は、デジタル
スチルカメラに搭載されるメモリ容量の制限（＝撮影時
間の制限）や、データ伝送路のバンド幅等により単位時
間当たりに伝送できるデータ量に制限があるため、一枚
一枚の画像は低画素数で、画質もそれほど高画質は要求
されない。
【００９６】従って、静止画撮影におけるデジタルズー
ム時には、輝度信号に立体畳み込み内挿法を適用し、色
差信号にはより単純な内挿法を適用し、動画撮影におけ
るデジタルズーム時には、輝度信号に例えば共１次内挿
法を適用し、色差信号にはより単純な内挿法を適用する
ことが考えられる。
【００９７】このように、色々な内挿法をプログラムバ
ンク３１としてメモリに搭載しておき、ターゲットシス
テムのアプリケーシヨン毎に要求される画質、処理速
度、消費電力等の条件に応じて、輝度信号、色差信号毎
に最適な内挿法に切り換える。上記のデジタルスチルカ
メラの例では、デジタルスチルカメラの制御系がターゲ
ットシステムに相当し、静止画撮影機能や動画撮影機能
がアプリケーションに相当する。
【００９８】尚、上記の実施形態では、輝度信号に立体
畳み込み内挿法を、色差信号に他の演算領域の狭い内挿
法を適用する例を示したが、本発明はこれに限定される
ものではなく、要求される画質、処理速度、消費電力等
の条件に応じた最適な補間プログラムに適宜設定すれば
よい。
【００９９】
【発明の効果】以上説明したように、本発明の画像処理
装置によれば、信号処理部が、デジタル画像信号を輝度
信号と色差信号に分けて異なる補間方法を用いて信号処
理を行うので、データ処理時間の短縮とメモリの使用量
の低減を図ることができると共に、画質、処理速度、消
費電力等の要求条件に応じた色ずれのない画像を得るこ
とができる。
【０１００】人の目は色差信号より輝度信号のほうに敏
感であるので、輝度信号に高画質が得られる補間方法を
適用し、色差信号には他の計算量の少ない補間方法を適
用することにより、高画質を保ちながら計算量を減ら
し、データ処理時間の短縮を図ることができる。加え
て、色差信号は、原色成分よりデータの少ない所定フォ
ーマット（４２２式、４１１式等）で表現できるので、
中間結果を保存するメモリを節約することが可能とな
る。
【０１０１】更には、色差信号に演算領域の狭い補間方
法を適用すれば、演算領域が狭いため位置が離れている
ことによる色の違いが生じる可能性が低くなると共に、
微分演算もないので、色ずれを防ぐことができる。
【０１０２】より具体的には、例えば、輝度信号には、
４×４画素以上の演算領域の内挿法を適用して信号処理
を行い、色差信号には、２×２画素以内の演算領域の内
挿法を適用して信号処理を行うことにより、上記の作用
効果を奏する。
【０１０３】又は、輝度信号には、立体畳み込み内挿法
を適用して信号処理を行い、色差信号には、共１次内挿
法、最近隣内挿法、単純間引き又は単純補間を適用して
信号処理を行うことにより、上記の作用効果を奏する。
【０１０４】本発明の他の画像処理装置は、複数種の補
間プログラムを記憶したプログラム記憶手段と、要求条
件に応じて信号処理を行う補間プログラムを切り替える
プログラム切替手段と、画像信号を輝度信号と色差信号
に分けて異なる補間方法を用いて信号処理を行う信号処
理部とを有するので、プログラム記憶手段に記憶された
複数種の補間プログラムを、プログラム切替手段によ
り、画質、処理速度、消費電力等の要求条件に応じた最
適な補間プログラムに切り替え、信号処理部で画像信号
を輝度信号と色差信号に分けて異なる補間方法を用いて
信号処理を行うことができる。
【０１０５】例えば、本発明の画像処理装置を、動画撮
影機能付きのデジタルスチルカメラに適用する場合を考
えると、静止画撮影におけるデジタルズーム時には、輝
度信号に立体畳み込み内挿法を適用し、色差信号にはよ
り単純な内挿法を適用し、動画撮影におけるデジタルズ
ーム時には、輝度信号に例えば共１次内挿法を適用し、
色差信号にはより単純な内挿法を適用することで、画
質、処理速度、消費電力等の要求条件に応じた色ずれの
ない画像を得ることができる。
【０１０６】更には、補間プログラムを、補間プログラ
ムによる所定の演算結果を予め記憶したデータテーブル
とすると、演算量を低減することができ、データ処理の
より一層の高速化を図ることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置を、デジタルカメラのデ
ジタルズーム機能に適用した場合の構成例を示すブロッ
ク図である。
【図２】立体畳み込み内挿法の原理を説明するための図
である。
【図３】本発明の画像処理装置の他の構成例を示すブロ
ック図である。
【符号の説明】
１、３３ 輝度信号処理部 ２、３４ 色差信号処理部 ３ プロセッサ ４ データバス ５ 制御バス １１ 立体畳み込み内挿法のプログラム及び係数テーブ
ルを記憶させたＲＯＭ １２ 第１の画像メモリ １３ 第２の画像メモリ ２１ 立体畳み込み内挿法とは異なる他の内挿法のプロ
グラム及び係数テーブルを記憶させたＲＯＭ ２２ 第３の画像メモリ ２３ 第４の画像メモリ ３１ プログラムバンク（プログラム記憶手段） ３２ プログラム切替手段
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/00 Ｈ０４Ｎ 1/40 Ｄ ５Ｃ０７９ 9/64 1/46 Ｚ (72)発明者 久保 登 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B057 AA01 CA01 CA16 CB01 CB16 CC02 CD06 CE11 CE16 CH01 CH07 CH11 5C057 AA01 AA06 AA13 BB01 DA04 DA05 DA06 EA01 EA02 EA07 ED01 EH01 EL01 GG01 GL02 5C066 AA01 AA13 CA05 CA21 DD01 ED09 EE03 EE04 GA01 GA02 GA05 HA01 KE04 5C076 AA21 BA07 BB04 5C077 LL17 LL18 MP08 PP20 PP31 PP34 RR19 5C079 HB04 LA37 MA02 NA10 NA11

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 画像信号を輝度信号と色差信号に分けて
    異なる補間方法を用いて信号処理を行う信号処理部を有
    する画像処理装置。
  2. 【請求項２】 画像信号を輝度信号と色差信号に分けて
    異なる補間方法を用いて信号処理を行う信号処理部と、 複数種の補間プログラムを記憶したプログラム記憶手段
    と、 要求条件に応じて信号処理を行う補間プログラムを切り
    替えるプログラム切替手段とを有し、 該プログラム記憶手段に記憶された複数種の補間プログ
    ラムを、該プログラム切替手段により要求条件に応じた
    最適な補間プログラムに切り替え、該信号処理部で画像
    信号を輝度信号と色差信号に分けて異なる補間方法を用
    いて信号処理を行う画像処理装置。
  3. 【請求項３】 輝度信号には、４×４画素以上の演算領
    域の内挿法を適用して信号処理を行い、 色差信号には、２×２画素以内の演算領域の内挿法を適
    用して信号処理を行う請求項１又は請求項２記載の画像
    処理装置。
  4. 【請求項４】 輝度信号には、立体畳み込み内挿法を適
    用して信号処理を行い、 色差信号には、共１次内挿法、最近隣内挿法、単純間引
    き又は単純補間を適用して信号処理を行う請求項１又は
    請求項２記載の画像処理装置。
  5. 【請求項５】 前記補間プログラムを、該補間プログラ
    ムによる所定の演算結果を予め記憶したデータテーブル
    とする請求項２〜請求項４にいずれかに記載の画像処理
    装置。
JP11184443A 1999-06-29 1999-06-29 画像処理装置 Pending JP2001014454A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP11184443A JP2001014454A (ja) 1999-06-29 1999-06-29 画像処理装置
US09/571,846 US6765587B1 (en) 1999-06-29 2000-05-16 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11184443A JP2001014454A (ja) 1999-06-29 1999-06-29 画像処理装置

Publications (1)

Publication Number Publication Date
JP2001014454A true JP2001014454A (ja) 2001-01-19

Family

ID=16153247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11184443A Pending JP2001014454A (ja) 1999-06-29 1999-06-29 画像処理装置

Country Status (2)

Country Link
US (1) US6765587B1 (ja)
JP (1) JP2001014454A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075624A1 (ja) * 2018-10-11 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222033A (ja) * 2001-01-29 2002-08-09 Nec Corp 省電力システム、タスク省電力処理方法、及びそのプログラム
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
JP2003167751A (ja) * 2001-04-24 2003-06-13 Ricoh Co Ltd プロセッサ処理方法およびプロセッサシステム
JP2004104716A (ja) * 2002-09-12 2004-04-02 Ricoh Co Ltd 画像処理装置および画像処理方法
JP3935499B2 (ja) * 2004-07-26 2007-06-20 松下電器産業株式会社 画像処理方法、画像処理装置および画像処理プログラム
JP3996630B2 (ja) * 2005-01-19 2007-10-24 松下電器産業株式会社 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置
US20060187770A1 (en) * 2005-02-23 2006-08-24 Broadcom Corporation Method and system for playing audio at a decelerated rate using multiresolution analysis technique keeping pitch constant
JP4772754B2 (ja) * 2007-06-25 2011-09-14 三菱電機株式会社 画像補間装置及び方法、並びに画像読取装置
JP6004375B2 (ja) * 2011-06-03 2016-10-05 サン パテント トラスト 画像符号化方法および画像復号化方法
JP5836110B2 (ja) * 2011-12-27 2015-12-24 キヤノン株式会社 撮像装置およびその制御方法
US9774872B2 (en) * 2013-04-05 2017-09-26 Mitsubishi Electric Corporation Color image encoding device, color image decoding device, color image encoding method, and color image decoding method
US20210304357A1 (en) * 2020-03-27 2021-09-30 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2297216B (en) 1995-01-20 1999-11-24 Eastman Kodak Co Digital image interpolator using a plurality of interpolation kernels
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
US6108383A (en) * 1997-07-15 2000-08-22 On2.Com, Inc. Method and apparatus for compression and decompression of video images
US6480230B1 (en) * 1998-03-06 2002-11-12 Canon Kabushiki Kaisha Image processing of video signal for display
US5991464A (en) * 1998-04-03 1999-11-23 Odyssey Technologies Method and system for adaptive video image resolution enhancement
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075624A1 (ja) * 2018-10-11 2020-04-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム
JPWO2020075624A1 (ja) * 2018-10-11 2021-09-24 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、情報提供装置、情報提供方法、提示制御装置、提示制御方法および情報処理システム
JP7391029B2 (ja) 2018-10-11 2023-12-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および情報処理システム

Also Published As

Publication number Publication date
US6765587B1 (en) 2004-07-20

Similar Documents

Publication Publication Date Title
US9483848B2 (en) Image processing apparatus having a plurality of image processing blocks that are capable of real-time processing of an image signal
JP4666274B2 (ja) カラー画像処理装置及びその方法
TWI289274B (en) Method and apparatus for converting from a source color space to a target color space
EP1729526B1 (en) Color adjustment method, and color adjusment system by use of a three-dimensional look-up table
EP2120449B1 (en) Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
US8520009B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
US7755670B2 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
JP2004192614A (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JPWO2005081187A1 (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよび集積回路装置
JP2001014454A (ja) 画像処理装置
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
JPH1023267A (ja) 画像のシャープネス処理装置
JP2876853B2 (ja) 色変換装置
JP2020145553A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2001197321A (ja) カラー画像処理方法並びに画像処理装置
JP2005204229A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2007151094A (ja) 画像の階調変換装置、プログラム、電子カメラ、およびその方法
JP2007158446A (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2601265B2 (ja) 色彩補正方式
JP3854706B2 (ja) 画像処理装置、方法および記録媒体
JP2000184216A (ja) 画像処理装置
Alias et al. Enhancement of color images by scaling the dct coefficients and interpolation
JP3780587B2 (ja) 色彩データ変換装置
JP2001313839A (ja) 画像処理方法および装置並びに記録媒体
JPH10257338A (ja) 色変換装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050308