JP2006185123A - 画素補間装置 - Google Patents

画素補間装置 Download PDF

Info

Publication number
JP2006185123A
JP2006185123A JP2004377373A JP2004377373A JP2006185123A JP 2006185123 A JP2006185123 A JP 2006185123A JP 2004377373 A JP2004377373 A JP 2004377373A JP 2004377373 A JP2004377373 A JP 2004377373A JP 2006185123 A JP2006185123 A JP 2006185123A
Authority
JP
Japan
Prior art keywords
pixel
interpolation
data
coefficient data
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004377373A
Other languages
English (en)
Other versions
JP4774736B2 (ja
Inventor
Hiroshi Shimizu
博 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004377373A priority Critical patent/JP4774736B2/ja
Priority to US11/317,161 priority patent/US7693350B2/en
Priority to TW094146030A priority patent/TWI309132B/zh
Priority to CNB2005101217539A priority patent/CN100418358C/zh
Priority to KR1020050129360A priority patent/KR100783992B1/ko
Publication of JP2006185123A publication Critical patent/JP2006185123A/ja
Application granted granted Critical
Publication of JP4774736B2 publication Critical patent/JP4774736B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】画像の拡大補間に用いる係数の特性を利用することで回路規模を縮小させる。
【解決手段】画素補間装置は、水平方向についてはスティックバッファ部52、垂直方向についてはバッファ部80に保持される同一線上に存在する複数点の画素データをもとに補間位置の画素データを生成する。水平LUT部54の拡大係数テーブル54a、垂直LUT部56の拡大係数テーブル56aには、補間位置から第n近傍に存在する複数の画素データに対して共通する係数データが記憶される。水平LUT部54及び垂直LUT部56は、拡大器コントローラ50から指示され補間位置に応じて、拡大係数テーブル54a,56aに記憶された係数データをもとに、第n近傍位置(P0,P1,P2,P3,P4,P5)の複数の画素データに対する係数データを出力して、複数点の画素データのそれぞれとの演算を実行する。
【選択図】 図4

Description

本発明は、デジタルスチルカメラ、デジタルビデオカメラなどの画像を拡大処理する機能が搭載された装置に用いる画素補間装置に関する。
一般に、デジタルスチルカメラ、デジタルビデオカメラなどの装置には、光学的な操作/機能によらず画像を拡大処理するデジタルズーム機能が搭載されている。こうしたカメラ装置では、ユーザによるズーム操作に応じて、元の画像の画素データをもとに拡大画像の画素データを生成(補間)することで画像を拡大(ズーム)する。この際、複数の既存画素データの値と、補間位置に応じて選択された補間係数とを用いた演算処理を実行することで画素データを生成する。
例えば、画像を拡大する装置としては、縦横の一方向に隣接して並ぶ少なくとも4個の画素データの各々に所定の係数を乗じた上で加算することによって、その中央の2個の画素データの間に位置する画素データを生成し、縦横の他の方向に隣接して並ぶ少なくとも4個の先に生成した画素データの各々に所定の係数を乗じた上で加算することによって、その中央の2個の画素データの間に位置する画素データを生成する画像拡大装置が考えられている(特許文献1参照)。
また、ピクセルの各々がデジタルデータを含むピクセルのアレイによって形成されたイメージを拡大するために、イメージの隣接するピクセル間を補間することにより拡大されたイメージのピクセルを提供するイメージ装置であって、スプライン重み付け関数を表すフィルタ係数が記憶されたルックアップテーブルの形のメモリと、拡大されたイメージ内に補間されるピクセル値を計算するために係数を用いるように適合された演算回路とを含むイメージ処理装置が考えられている(特許文献2参照)。
特開平5−7584号公報 特開平10−63828号公報
このように従来の画像を拡大する装置では、画像を拡大する場合に画素(ピクセル)データに対する係数を用いた演算を実行しているが、拡大補間における係数の特徴などを考慮していない、汎用的な係数データが記憶されたテーブルや演算回路が用いられていた。従って、テーブル(メモリ)や演算回路が冗長な回路構成となり、回路規模の増大を招いている可能性があった。
本発明の課題は、画像の拡大補間に用いる係数の特性を利用することで回路規模を縮小させることが可能な画素補間装置を提供することにある。
請求項1記載の発明は、共通するライン上に存在する複数点の画素データをもとに、前記ライン上の補間位置の画素データを生成する画素補間装置において、補間位置から前記ライン上で異なる方向でそれぞれn番目に近い第n近傍に存在する複数の画素データに対して共通する係数データが記憶された記憶手段と、前記補間位置から第n近傍の複数の画素データに対して、前記記憶手段に記憶された係数データを用いて演算を実行する演算手段とを具備したことを特徴とする。
請求項2記載の発明は、請求項1記載の発明において、前記記憶手段に記憶される係数データは、前記補間位置から離れた位置の画素データに対するほどビット数を小さくしたことを特徴とする。
請求項3記載の発明は、請求項1記載の発明において、前記記憶手段に記憶される係数データは、第n近傍の複数の画素データのそれぞれに対する係数データを組み合わせたもので、前記演算手段は、前記記憶手段に記憶される係数データを分割して、第n近傍の複数の画素データのそれぞれに対して演算を実行することを特徴とする。
請求項4記載の発明は、請求項1記載の発明において、前記記憶手段に記憶される係数データを正の値とし、前記演算手段は、前記補間位置から第n近傍の画素データに対して、nが偶数の場合には演算結果を負の値、nが奇数の場合には演算結果を正の値として演算を実行することを特徴とする。
請求項5記載の発明は、請求項1記載の発明において、前記記憶手段に記憶される係数データは、補間位置の画素データの生成のもとになる複数の画素データのそれぞれに対する係数データを1つにまとめた値とすることを特徴とする。
請求項6記載の発明は、請求項1記載の発明において、前記演算手段は、前記記憶手段に記憶された第n近傍の画素データに対する係数データが0の場合には、演算結果とする値を前記画素データと同じとなるように演算を実行することを特徴とする。
請求項7記載の発明は、請求項1記載の発明において、前記記憶手段に記憶される係数データは、所定の偶関数に基づく値を示すことを特徴とする。
請求項8記載の発明は、共通するライン上に存在する複数点の画素データをもとに、前記ライン上の補間位置の画素データを生成する画素補間装置において、補間位置を示す補間位置データを出力するコントローラと、補間位置として取りうる各位置に応じた、補間位置から前記ライン上で異なる方向でそれぞれn番目に近い第n近傍に存在する複数の画素データに対して共通する係数データを記憶する係数テーブルと、前記コントローラより出力された補間位置データに対応する位置に応じて、前記係数テーブルから前記第n近傍のそれぞれに対する係数データを出力する係数データ出力手段と、前記ライン上の複数の画素データを記憶するバッファ手段と、前記バッファ手段により記憶された複数の画素データのそれぞれに対して、前記係数データ出力手段により出力された係数データを用いて演算を実行する演算手段とを具備したことを特徴とする。
請求項9記載の発明は、請求項8記載の発明において、前記演算手段は、前記バッファ手段により記憶された複数の画素データのそれぞれに対して、前記係数データ出力手段により出力された係数データを用いて乗算を実行する乗算手段と、前記乗算手段による前記補間位置から奇数番目にある画素データに対する演算結果の総和から、偶数番目にある画素データに対する演算結果の総和を減算する加減算手段とを具備したことを特徴とする。
請求項10記載の発明は、所定間隔で複数配置された既存画素の画素データを取得する取得手段と、補間すべき補間画素の位置である補間位置を指定する指定手段と、前記取得手段により取得された複数の画素データのうち、前記指定手段により指定された補間位置の近傍に存在する複数の既存画素に対応する画素データを出力する画素データ出力手段と、補間画素と既存画素との位置関係に応じた複数の係数データを予め記憶する記憶手段と、前記記憶手段に記憶された複数の係数データのうち、前記画素データ出力手段により出力された複数の既存画素に対応する複数の係数データを出力する係数データ出力手段と、前記画素データ出力手段により出力された複数の画素データと、前記係数データ出力手段により出力された複数の係数データとに基づく所定の演算によって、前記指定手段により指定された補間位置の画素データを生成する生成手段とを備え、前記記憶手段は、補間画素に対して既存画素が第1の方向にある場合の係数データと、補間画素に対して既存画素が前記第1の方向とは逆の第2の方向にある場合の係数データのうち、いずれか一方の係数データを記憶し、前記係数データ出力手段は、前記記憶手段に記憶されている係数データに基づいて、補間画素に対して既存画素が第1の方向にある場合の係数データと、補間画素に対して既存画素が前記第1の方向とは逆の第2の方向にある場合の係数データを出力することを特徴とする。
請求項11記載の発明は、請求項11記載の発明において、前記記憶手段は、符号を省略した係数データを記憶し、前記係数データ出力手段は、補間画素に対して各既存画素が奇数番目であるか偶数番目であるかに応じて、前記記憶手段に記憶されている係数データに符号を付加して出力することを特徴とする。
請求項1記載の発明によれば、補間位置から共通するライン上で第n近傍に存在する複数の画素データに対して共通する係数データを記憶しておき、補間位置から第n近傍の複数の画素データに対して共通する係数データを用いて演算を実行して補間位置の画素データを生成するので、補間位置の画素データを生成するために用いる第n近傍のそれぞれの既存画素に対応する係数データを個別に記憶しないようにすることで回路規模の縮小を図ることができる。
請求項2記載の発明によれば、請求項1の発明の効果に加えて、補間位置から離れた位置の画素データ、すなわち補間位置の画素データの生成に影響の少ない画素データに対する係数データほどビット数を小さくすることで、補間への影響を増大させずに係数データを記憶するレジスタ等のビット幅縮小による回路規模の縮小を図ることができる。
請求項3記載の発明によれば、請求項1の発明の効果に加えて、第n近傍の複数の画素データのそれぞれに対する係数データを組み合わせて1つの係数データとし、この係数データを分割して第n近傍の複数の画素データのそれぞれに対して演算を実行するようにすることで、第n近傍のそれぞれの既存画素に対応する係数データを個別に記憶することなく、1つの係数データを用いて複数の画素データに対するそれぞれの演算を実行することができる。
請求項4記載の発明によれば、請求項1の発明の効果に加えて、補間位置から第n近傍の画素データに対して、nが偶数の場合には演算結果を負の値、nが奇数の場合には演算結果を正の値として演算を実行することにより、全ての係数データを正の値として記憶しておくことができ、これにより符号に要する回路を不要にして回路規模の縮小を図ることができる。
請求項5記載の発明によれば、請求項1の発明の効果に加えて、補間位置の画素データの生成のもとになる複数の画素データのそれぞれに対する係数データを1つにまとめた値とするので、ある補間位置についての係数データを読み出すためのアドレスを削減して回路規模の縮小を図ることができる。
請求項6記載の発明によれば、請求項1の発明の効果に加えて、第n近傍の画素データに対する係数データが0の場合には、演算結果とする値を画素データと同じとなるように演算を実行することで、例えば補間位置と既存画素位置とが同じ(または同じとみなす位置のもの)場合に既存画素の画素データを補間された値として用いるために、ビット数が増加する特別な係数データを記憶させておく必要がない。例えば、係数データを256で正規化した値とした場合、既存画素の画素データを補間された値として演算するためには、正規化の値を256とする必要があるが、この係数データの値(256)のためだけに係数データのビット幅を増やす必要がないので回路規模の増大を回避できる。
請求項7記載の発明によれば、請求項1の発明の効果に加えて、係数データは、所定の偶関数に基づく値を示すようにすることで、拡大補間における係数の特徴を利用した回路規模の縮小を図ることができる。
請求項8記載の発明によれば、補間位置として取りうる各位置に応じた、補間位置から共通するライン上で異なる方向でそれぞれn番目に近い第n近傍に存在する複数の画素データに対して共通する係数データを係数テーブルに記憶し、補間位置に応じて係数テーブルから第n近傍のそれぞれに対する係数データを出力して、複数の画素データのそれぞれに対して係数データを用いて演算を実行するので、補間位置の画素データを生成するために用いる第n近傍のそれぞれの既存画素に対応する係数データを個別に記憶しないようにすることで回路規模の縮小を図ることができる。
請求項9記載の発明によれば、請求項1の発明の効果に加えて、複数の画素データのそれぞれに対して係数データを用いて乗算を実行し、補間位置から奇数番目にある画素データに対する演算結果の総和から、偶数番目にある画素データに対する演算結果の総和を減算することにより、奇数番目にある画素データに対する演算結果を正の値とし、偶数番目にある画素データに対する演算結果を負の値として演算することになり、係数テーブルに記憶された係数データを全て符号無しの正の値とし、符号ビットに要する回路を不要として回路規模の縮小を図ることができる。
請求項10記載の発明によれば、補間画素に対して第1の方向にある既存画素に対する係数データと、第1の方向とは逆の第2の方向にある既存画素に対する係数データのいずれか一方の係数データのみを記憶し、この係数データに基づいて、第1の方向にある既存画素に対する係数データと第2の方向にある既存画素に対する係数データを出力するので、第1及び第2の方向にある既存画素に対する係数データを個別に記憶しないことで回路規模の縮小を図ることができる。
請求項11記載の発明によれば、請求項10の発明の効果に加えて、符号を省略した係数データを記憶し、補間画素に対して各既存画素が奇数番目であるか偶数番目であるかに応じて係数データに符号を付加して出力することで、係数データを記録するために符号に要する回路を不要にし、また係数データを用いた演算回路を簡略化して回路規模の縮小を図ることができる。
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の実施の形態における画素補間装置が実装されたカメラ装置1の構成を示すブロック図である。
図1に示すカメラ装置1において、基本モードである撮影モードにおいては、レンズ光学系において、モータ(M)10の駆動により絞り位置や通常撮影に応じたレンズ位置に撮影レンズ11が移動される。撮影レンズ11の撮影光軸後方に配置された撮像素子であるCCD(Charge Coupled Device)12は、タイミング発生器(TG)13、垂直ドライバ14によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
この光電変換出力は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド(S/H)回路15でサンプルホールドされ、A/D変換器16でデジタルデータに変換され、さらにカラープロセス回路17で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Y及び色差信号Cb,Crが生成され、DMA(Direct Memory Access)コントローラ18に出力される。
なお、カラープロセス回路17には、本実施形態における画素補間装置に相当する拡大補間部17aが設けられている。拡大補間部17aは、制御部25からのデジタルズーム操作に伴う制御に応じて、画像を拡大するための拡大補間処理を実行する。
DMAコントローラ18は、カラープロセス回路17の出力する輝度信号Y及び色差信号Cb,Crを、同じくカラープロセス回路17からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度DMAコントローラ18内部のバッファに書込み、DRAMインタフェース(I/F)20を介してバッファメモリとして使用されるDRAM21にDMA転送を行なう。
制御部25は、CPUと、該CPUで実行される動作プログラムやデータ等を固定的に記録したR0M、及びワークメモリとして使用されるRAM等により構成され、このカメラ装置1全体の制御動作を司る。
制御部25は、輝度及び色差信号のDRAM21へのDMA転送終了後に、この輝度及び色差信号をDRAMインタフェース20を介してDRAM21より読出し、VRAMコントローラ26を介してVRAM27に書込む。
デジタルビデオエンコーダ28は、輝度及び色差信号をVRAMコントローラ26を介してVRAM27より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部29に出力する。
表示部29は、撮影モード時にはモニタ表示部(電子ファインダ)として機能し、デジタルビデオエンコーダ28からのビデオ信号に基づいた表示を行なうことで、その時点でVRAMコントローラ26から取込んでいる画像情報に基づく画像(スルー画像)をリアルタイムに表示することになる。
表示部29にスルー画像がリアルタイムに表示されている表示状態で、静止画像を撮影するタイミングでキー入力部37のシャッタキーが操作されると、トリガ信号を発生する。
制御部25は、このトリガ信号に応じてその時点でCCD12の駆動を停止した後、自動露出処理を実行して適正な露出値を得て、レンズ光学系の絞りとCCD12の露光時間を制御してあらためて撮像を実行させる。
こうして新たに得られた1フレーム分の画素データがDRAM21にDMA転送されて書込まれた後、制御部25がDRAM21に書込まれている1フレーム分の画素データを読出して画像処理部30に書込む。画像処理部30は、画素データに対して、JPEG(Joint Photographic Experts Group)により画素データを符号化する。
符号化された画素データは、カメラ装置1の記録媒体として着脱自在に装着されているメモリカード32、あるいはメモリカード32が装着されていない場合は固定的に内蔵されている内蔵メモリ33に書き込まれる。
そして、1フレーム分のメモリカード32または内蔵メモリ33への画素データの書込み終了に伴なって、制御部25は、CCD12からDRAM21を経由したスルー画像を表示部29においてモニタ表示させる駆動を再開する。
また、制御部25には、キー入力部37、音声処理部40、ストロボ駆動部41が接続される。
キー入力部37は、電源キー、シャッタキー、モードスイッチ、メニューキー、選択キー、ズームボタン、及び十字キー(カーソルキー)等から構成され、それらのキー操作に伴なう信号は直接制御部25へ送出される。
音声処理部40は、PCM音源等の音源回路を備え、音声の録音時にはマイクロホン部(MIC)42より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばMP3(MPEG-1 Audio Layer-3)規格に従ってデータ圧縮して音声データファイルを作成してメモリカード32または内蔵メモリ33へ送出する一方、音声の再生時にはメモリカード32または内蔵メモリ33から送られてきた音声データファイルの圧縮を解いてアナログ化し、スピーカ部(SP)43を駆動して、拡声放音させる。
さらに音声処理部40は、制御部25からの制御に基づいて、各種動作音、例えばシャッタキーの操作に伴う擬似的なシャッタ音、他のキーの操作に伴うビープ音等も発生してスピーカ部43より拡声放音させる。
ストロボ駆動部41は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部25からの制御に基づいてストロボ発光部45を閃光駆動する。
次に、本実施形態における画素補間装置(拡大補間部17a)について説明する。
本実施形態における画素補間装置の具体的な回路構成(図4に示す)を説明する前に、拡大補間部17aにより実行される拡大補間処理の方法について説明する。ここでは、例えば、格子状に存在する複数の既存画素、例えば図2に示すように6x6の既存画素からのある点(補間点)を補間する場合を例にして説明する。
6x6の既存画素からの補間演算の手順としては、まず水平または垂直方向の共通するライン上に存在する6つの既存画素から1点を演算して補間し、これを6回繰り返して実行して6つの補間画素を生成し、その垂直または水平方向のライン上の6つの補間画素から同様にして1点を演算して補間を行う。なお、図2においては、同一線上に存在する複数の画素を対象として説明しているが、必ずしも全ての画素の位置が同一線上にある必要はない。すなわち、共通する1つのラインに存在すると見なすことができる複数の画素、例えばデルタ配列された画素を用いて補間する場合にも適用することができる。以下では、説明を簡単にするために同一線上に存在する画素を用いた場合を対象とする。 図2では、まず水平方向の同一線上に存在する6つの既存画素P0、…P5をもとにして、同一線上の補間位置における画素Pt0を生成する。同様にして、各水平方向の同一線上に配列された6つの既存画素をもとにして画素Pt1〜Pt5を生成する。そして、垂直方向の同一線上に存在する6つの既存画素Pt1〜Pt5をもとにして1点の画素Ptを演算して補間する。
一般的には、連続画像からの補間は、連続画像と矩形関数(RECT関数)のたたみこみ(コンボルージョン)によるものと考えることができ、矩形関数のフーリエ変換がsinc(t)=sin(πt)/πtとなる。
正確には、演算に使用する既存画素の範囲が限定されることや、演算が複雑であることから、近似式やルックアップテーブル(LUT)を使用するケースが多い。
補間によく用いられる、サンプリング定理を用いた関数による補間係数は以下の式で表される。
f(t)=sin(πt)/πt
また、既存画素の範囲(つまりたたみこみに使用する画素の範囲/数)で演算するため、前式のように、−∞から∞の既存画素の値を使用する式は一般的でなく、通常は、有限個の既存画素の大きさに見合った窓関数などによってフィルタ特性を有限範囲内に抑える。
例えば、lanczos 3lobbed window関数による補間係数は以下の式で表される。
f(t)={sin(πt)/πt}
x{sln(πt/3)/(πt/3)}
ただし−3≦t≦3
6点の既存画素をP0、…P5、補間画素をPtとするとするとき、Ptの値は以下の式で表せられる。
pt=Σf(tn)Pn
ただしtnは、既存画素PnからPtまでの距離。
ここで、P2,P3を第1近傍画素、P1,P4を第2近傍画素、P0,P5を第3近傍画素とする。
たたみこみ演算回路は、一般的に係数に汎用性を持たせることにより、LPFやHPFなど、さまざまなフィルタ演算に使用するケースが多いが、サンプリング定理で使用する上記の関数など、拡大補間係数のみを考えた場合では、tによって補間係数の値はある程度決まった特性を持つ。サンプリング定理におけるsin(πt)/πtのグラフおよび既存画素と補間画素の関係は、下記の特徴1〜3を有する。
特徴1.第n近傍画素における係数は、同じ区間の値を使用することができる(例えば画素P2,P3に対する係数)。
特徴2.第n近傍画素における係数は、n=奇数ならば正、偶数なら負の値をとる。
特徴3.nの数値が大きくなるほど、値が小さくなる。
以下、各特徴1〜3のそれぞれについて説明する。まず、特徴1について説明する。
補間画素から既存画素の位置関係は、P2Pt距離がtのとき、順番に−(t+2)、−(t+1)、−t、1−t、2−t、3−tとなる。このとき、第n近傍画素の位置は、−(t−n−1)とn−tで、このときの拡大係数は、sinc関数f(t)=sin(πt)/πtより、
f(−(t−n−1))
=sin(−(t−n−1)π)/(−(t−n−1)π)
=sin((t−n−1)π)/(−(t−n−1)π)
ここでt'=Hとすると、
上式
=sin((n−t')π)/(n−t')π
=f(n−t')
0≦t≦1より、t'=1−tなので、0≦t'≦1となる。
第n近傍の補間係数は同じ区間の値でカバーすることができる(関数が偶関数であること、既存画素の間隔が同じことからも自明であるし、また窓関数などによる有限範囲に限定した関数においても、窓関数も偶関数であるから前述したlanczosにおいてもこのことは自明である)。
次に、特徴2について説明する。
第n近傍の区間は、n−1≦tn≦nと−n≦tn≦1−nである。
関数は偶関数であるからn−1≦tn≦nだけを例にとると、第n近傍の区間について、関数sin(πt)は、
f(tn)=sin(πtn)/πtn
f(tn)=0の解は、tn=0以外の整数のとき。また、
f'(tn)=(πcos(πtn)−sin(πtn))/πtn
これより、f(tn)=0における傾きは、
nが奇数のとき
tn=n−1でf'(n−1)≧0(ただし0はtn=0のとき)
tn=nでf'(n−1)<0
nが偶数のとき
tn=n−1でf'(n−1)<0
tn=nでf'(n−1)>0
なので、第n近傍の区間では、n=奇数ならば正、偶数なら負の値となる。
図3(a)には、sinc関数のグラフを示している。また、図3(b)には、図3(a)に示す関数をもとにした、補間位置(画素Pt)と既存画素位置(画素P0〜P5)、及び各既存画素に対する係数の関係を示している。各既存画素に対する係数(画素値に乗算される値)はf(t)の値となる。
図3(b)に示すように、第1近傍の画素P2,P3と第3近傍の画素P0,P5に対する係数の値が正となっており、また第2近傍の画素P1,P4に対する係数の値が負になっている。
なお、図3では、係数の値は1で正規化されているが、回路上では例えば256に正規化した値などを使用し、各既存画素と係数の乗和を256で割った値とする。
特徴3について説明する。
関数f(t)の分母の関数は周期関数であり、また1/πtnはtが大きいほどは0に近づくので、関数f(t)としては、tの絶対値が大きくなるほど値は0に収束していく。
図3(a)(b)に示すように、既存画素PnからPtまでの距離が大きくなるほど値が小さくなっている。
これらの3つ特徴1,2,3から、拡大係数に関する回路の構成を以下のように限定することで、回路規模の縮小を図ることができる。
構成1.第n近傍画素に対する複数の係数データを、それぞれ個別のテーブルに記憶しない。
構成2.第n近傍画素における係数は、n=奇数ならば正、偶数なら負の値として扱うようにたたみこみ演算を行う。これにより、係数データを全て正数としてテーブルに記憶することができる。
構成3.nの数値が大きくなるほど、テーブルのレジスタのビット幅を少なくする。
また、回路設計においては、拡大係数は小数点で保持できないので、例えば256などで正規化を行う。正規化にする値は、ビットシフトによる除算を考慮して2のべき乗の値を用いる。
このとき、補間画素位置が、既存画素位置と同じ、または同じとみなす位置(限りなく近い位置)とみなす場合には、最隣接の既存画素と同等の値をとるようにするために拡大係数が256(正規化した値)となる。これは、例えば、正規化の値が256の場合であれば、256のためだけに係数のビット幅を増やすことになり非効率である。また、テーブルに記憶する係数データの値を変更することで拡大特性を変更させる構成としたとき、最近傍法を用いた拡大処理を実行することができるように、補間位置に近い方の第1近傍の画素に対する係数データが0のときは256を用いた演算と同等の演算結果を出力し、遠い方の第1近傍の画素に対する係数データが0のときは0となるような回路とする。これにより、拡大係数データを記憶するテーブルのビット幅の増加を防ぎながら、所望の拡大補間係数を得ることができる。
次に、本実施形態における前述した構成1〜3を考慮した画素補間装置(拡大補間部17a)の詳細な構成について説明する。図4は、本実施形態における拡大補間部17aの構成を示すブロック図である。拡大補間部17aは、例えば6×6の方形配置された既存画素データをもとに補間位置の画素データを生成する構成を有しているものとする。
図4において、拡大器コントローラ50は、6×6の既存画素データをもとにした補間を制御するもので、水平方向の補間位置を示す水平補間位置データを水平LUT(ルックアップテーブル)部54に出力し、垂直方向の補間位置を示す垂直補間位置データを垂直LUT(ルックアップテーブル)部56に出力する。
スティックバッファ部52は、画素データをバッファリングするもので、入力された画素データを垂直方向に保持する6本のバッファが水平方向に配列されている。スティックバッファ部52に画素データがバッファリングされることで、図2に示す水平方向の6つの画素データP0、…P5が出力される。
水平LUT部54には、スティックバッファ部52にバッファリングされた画素データに対する、水平方向の補間演算を実行するための係数データが記憶された拡大係数テーブル54aが設けられている。水平LUT部54は、拡大器コントローラ50から水平補間位置データを入力し、このデータが示す補間位置からの各近傍位置の画素データP0、…P5に対する係数データ(拡大係数)を出力する。水平LUT部54は、拡大係数テーブル54aにおける係数データの構成、すなわち後述する図6(a)〜(c)の何れの構成とされているかに応じて、拡大係数テーブル54aに記憶されたデータを選択、分割して各近傍位置に対する係数データを出力する。
乗算器600〜605は、それぞれスティックバッファ部52から出力される水平方向の画素データP0、…P5と、水平LUT部54から出力される各近傍位置の係数データとを乗算を実行する。例えば、乗算器600は、スティックバッファ部52からの画素データP0に対して、この画素位置に対する係数データ(P0拡大係数)を用いた乗算を実行する。
レジスタ620〜625は、乗算器600〜605による演算結果である画素データをそれぞれ記憶する。例えば、レジスタ600には、乗算器600による演算結果が保持される。
加算器64は、レジスタ620,625に保持されたデータを加算し、加算器66は、レジスタ621,623に保持されたデータを加算し、加算器68は、レジスタ622,623に保持されたデータを加算する。さらに、加算器70は、加算器64,68による演算結果を加算する。すなわち、レジスタ620〜625に保持された乗算結果について、補間位置から奇数番目にある画素データに対する演算結果の総和を加算器64,70によって算出し、偶数番目にある画素データに対する演算結果の総和を加算器66により算出している。
レジスタ72は、加算器70による演算結果、すなわち補間位置から奇数番目(第1近傍、第3近傍)にある画素データに対する演算結果の総和を保持する。レジスタ74は、加算器66による演算結果、すなわち補間位置から偶数番目(第2近傍)にある画素データに対する演算結果の総和を保持する。
減算器76は、レジスタ72に保持された補間位置から奇数番目にある画素データに対する演算結果の総和から、レジスタ74に保持された補間位置から偶数番目にある画素データに対する演算結果の総和を減算する。
すなわち、乗算器600〜605、加算器64,66,68,70、及び減算器76により、補間位置から第n近傍の画素データに対して、nが偶数の場合には演算結果を負の値、nが奇数の場合には演算結果を正の値として演算を実行することになる。従って、水平LUT部54から出力される係数データが全て正の値としても、本来、係数を負とする値を含めた乗算結果を得ることができる。
これにより、水平方向の同一線上にある6つの画素データP0〜P5と水平LUT部54に記憶された係数データをもとに、補間位置における画素データPtを生成することができる。
バッファ部80は、減算器76による演算結果(水平方向の補間位置における画素データ)を保持するレジスタ800〜805を有する。バッファ部80は、減算器76による減算結果を順次保持し、6つ分の画素データを保持することで、各水平方向での補間位置に対して求められた垂直方向の同一線上に位置する画素データPt0〜Pt5をレジスタ800〜805に保持する。
垂直LUT部56には、バッファ部80に保持された画素データに対する、垂直方向の補間演算を実行するための係数データが記憶された拡大係数テーブル56aが設けられている。垂直LUT部56は、拡大器コントローラ50から垂直補間位置データを入力し、このデータが示す補間位置からの近傍の画素データPt1〜Pt6に対する係数データ(拡大係数)を出力する。
乗算器820〜825は、それぞれバッファ部80のレジスタ800〜805から出力される垂直方向の画素データPt0、…Pt5と、垂直LUT部56から出力される各近傍位置の係数データとを乗算を実行する。例えば、乗算器820は、バッファ部80のレジスタ800からの画素データPt0に対して、この画素位置に対する係数データ(P0拡大係数)を用いた乗算を実行する。
レジスタ840〜845は、乗算器820〜825による演算結果である画素データをそれぞれ記憶する。例えば、レジスタ840には、乗算器820による演算結果が保持される。
加算器86は、レジスタ840,845に保持されたデータを加算し、加算器88は、レジスタ841,843に保持されたデータを加算し、加算器90は、レジスタ842,843に保持されたデータを加算する。さらに、加算器92は、加算器86,90による演算結果を加算する。すなわち、レジスタ840〜845に保持された乗算結果について、補間位置から奇数番目にある画素データに対する演算結果の総和を加算器90,92によって算出し、偶数番目にある画素データに対する演算結果の総和を加算器88により算出している。
レジスタ94は、加算器92による演算結果、すなわち補間位置から奇数番目(第1近傍、第3近傍)にある画素データに対する演算結果の総和を保持する。レジスタ96は、加算器90による演算結果、すなわち補間位置から偶数番目(第2近傍)にある画素データに対する演算結果の総和を保持する。
減算器98は、レジスタ94に保持された補間位置から奇数番目にある画素データに対する演算結果の総和から、レジスタ96に保持された補間位置から偶数番目にある画素データに対する演算結果の総和を減算する。
すなわち、乗算器820〜825、加算器86,88,90,92、及び減算器98により、補間位置から第n近傍の画素データに対して、nが偶数の場合には演算結果を負の値、nが奇数の場合には演算結果を正の値として演算を実行することになる。従って、垂直LUT部56から出力される係数データが全て正の値としても、本来、係数を負とする値を含めた乗算結果を得ることができる。
これにより、垂直方向の同一線上にある6つの画素データPt0〜Pt5と垂直LUT部56に記憶された係数データをもとに、補間位置における画素データPの値を出力することができる。
次に、拡大係数テーブル54a及び拡大係数テーブル56aに記憶される係数データの具体例について説明する。
図5(a)には、256で正規化した場合の第1〜第3近傍の画素データに対する拡大係数データの一例を示している。図5(a)では、補間位置として画素間を8分割した何れかの位置が水平補間位置データまたは垂直補間位置データにより指定されるものとして、補間位置(t)が0,0.125,0.25,0.375,…,0.875のそれぞれにおける、各近傍画素P0〜P5に対する係数データが設定されている。本実施形態において用いられる係数データは、全て正の値としている。
なお、図5に示す例では、8分割される場合を示しているが、分解能(分割数)に応じた数の係数データが、第n近傍のそれぞれの画素に対して設定される。
なお、補間位置0における画素位置P2に対する係数データ0に対しては、画素位置P2の画素データを演算結果として出力することを示す。
図5(b)には、図5(a)に示す256で正規化した値を2のべき乗の値を用いて示す拡大係数データの一例を示している。図5(b)に示すように、各第n近傍の係数データの大きさを考慮したビット幅に固定されている。
すなわち、第1近傍に該当する画素位置P2,P3に対する係数データは8ビットで表し、第2近傍に該当する画素位置P1,P4に対する係数データは6ビット、第3近傍に該当する画素位置P0,P5に対する係数データは4ビットでそれぞれ表している。すなわち、補間位置から離れた画素位置に対する係数データほどビット幅を少なくすることで、補間に対する影響を少なくすると共に、水平LUT部54(拡大係数テーブル54a)、及び垂直LUT部56(拡大係数テーブル56a)の回路規模を減少させている。
図6(a)には、図5(b)に示すテーブルをもとにした、本実施形態における拡大係数テーブル54a及び拡大係数テーブル56aに記憶される係数データの一例を示している。
図6(a)は、例えば、第1近傍の画素位置P2,P3に対する2つの係数データを共通する1つの係数データとして記憶させた構成としている。図6(a)に示す例では、画素位置P2に対する係数データを上位ビット、画素位置P3に対する係数データを下位ビット(図中、斜体文字により表している)として並べて1つのデータとしている。第1近傍の2つの画素に対する係数データは、1つの係数データとすることでビット幅が16ビットとなる。
第n近傍の2つの画素位置(例えばP2,P3)の係数データの組み合わせは、補間位置ごとに1通りしかないので、補間位置が決まれば1つの係数データを読み出すことができる。そして、画素位置P2と補間位置Ptとの間の距離がtのとき、画素位置P3に対しては1−tの係数データを用いれば良い。
同様にして、第2近傍(画素位置P1,P4)、第3近傍(画素位置P0,P5)についても、それぞれの画素位置に対する係数データを1つに並べて1つの係数データとしてテーブルに記憶させる。従って、第2近傍の2つの画素に対する係数データはビット幅が12ビット、第3近傍の2つの画素に対する係数データはビット幅が8ビットとなる。
この場合、水平LUT部54は、拡大器コントローラ50からの水平補間位置データに応じたLUT用アドレスが示す各近傍の画素に対する係数データを、拡大係数テーブル54aから読み出し、それぞれ分割して出力する。
例えば、図6(a)のLUT用アドレス2が示す画素位置P2P3に対する1つの係数データ「1110010001000101」を読み出し、画素位置P2の係数データとして上位ビット「11100100」を乗算器602に出力し、画素位置P3の係数データとして下位ビット「01000101」を乗算器603に出力する。同様にして、画素位置P0P5、画素位置P1P4についても、それぞれ1つの係数データを読み出し、各画素位置に応じて分割してそれぞれ乗算器600,601,604,605に出力する。
なお、垂直LUT部56においても、前述と同様にして、拡大係数テーブル56aから係数データを読み出して、1つの係数データを分割して乗算器820〜825に出力するものとして詳細な説明を省略する。
このようにして、図6(a)に示すように、第n近傍の複数の画素データのそれぞれに対する係数データを個別に記憶するのではなく、1つに組み合わせて拡大係数テーブル54a,56aに記憶させることで、第n近傍の2つの画素位置について係数データを共用することができる。従って、6×6の既存画素をもとにした補間をする場合、3つの近傍位置に対する係数データをテーブルに記憶させておけば良い。
図6(b)は、図6(a)に示す係数データをもとにして、さらに回路規模を減少できるように構成したテーブルの一例を示す図である。
図6(b)は、図6(a)に示す係数データのうち、補間位置が中心(補間位置t=0.5)までを拡大係数テーブル54a及び拡大係数テーブル56aに記憶させる構成である。
第n近傍の画素データに対する2つの係数データは、補間位置が第1近傍の既存画素の中心を対称に同じである(t=1−t'より、t=0〜0.5のときの係数データの組み合わせと、t'=0〜0.5のときの係数データの組み合わせは等しい)ので、拡大係数テーブル54a,56aには補間位置分解能の半分の値を記憶していれば良い。
この場合、水平LUT部54は、拡大器コントローラ50からの水平補間位置データに応じたLUT用アドレスが示す各近傍の画素に対する係数データを、拡大係数テーブル54aから読み出し、それぞれ分割して出力する。LUT用アドレス0〜4によって読み出される係数データについては、図6(a)に示すテーブルを用いた場合と同じである。
また、水平補間位置データが補間位置0.625、0.75、0.875を示す場合(図6(a)のLUT用アドレス5,6,7に相当する)、補間位置に応じてLUT用アドレス1,2,3の何れかから1つの係数データを読み出す。すなわち、水平補間位置データが補間位置0.625を示す場合にはLUT用アドレス3、補間位置0.75を示す場合にはLUT用アドレス2、補間位置0.875を示す場合にはLUT用アドレス1の係数データを読み出す。
例えば水平補間位置データが補間位置0.75であることにより、LUT用アドレス2が示す画素位置P2P3に対する1つの係数データ「1110010001000101」を読み出したものとする。この場合、補間位置0.25の場合と係数データの振り分けが異なり、画素位置P2の係数データとして下位ビット「01000101」を選択して乗算器602に出力し、画素位置P3の係数データとして上位ビット「11100100」を乗算器603に出力する。同様にして、画素位置P0P5、画素位置P1P4についても、それぞれ1つの係数データを読み出し、各画素に対する係数データを各画素位置に応じて分割し、さらに分割した係数データを選択して、それぞれ乗算器600,601,604,605に出力する。
なお、垂直LUT部56においても、前述と同様にして、拡大係数テーブル56aから係数データを読み出して、1つの係数データを分割して、さらに補間位置0.625、0.75、0.875の場合には分割した係数データを振り分けて(上位ビットと下位ビットとを交換して)乗算器820〜825に出力するものとして詳細な説明を省略する。
このようにして、図6(b)に示すように、補間位置が中心までの係数データが記録されたテーブルとすることにより、拡大係数テーブル54a,56aに記憶させる係数データ量を削減し、また水平LUT部54及び垂直LUT部56の制御回路を簡略化して回路規模の減少を図ることができる。
図6(c)は、図6(b)に示す係数データをもとにして、さらに回路規模を減少できるように構成したテーブルの一例を示す図である。
図6(c)は、図6(b)に示す各近傍位置に対する係数データを、補間位置ごとに並べて1つの係数データとして拡大係数テーブル54a及び拡大係数テーブル56aに記憶させる構成である。
この場合、水平LUT部54は、拡大器コントローラ50からの水平補間位置データに応じたLUT用アドレスが示す各近傍の画素に対する1つの係数データを、拡大係数テーブル54aから読み出し、各近傍位置に応じた個別の係数データに分割して出力する。
なお、水平補間位置データが補間位置0.625、0.75、0.875を示す場合(図6(a)のLUT用アドレス5,6,7に相当する)には、図6(b)のテーブルを用いた場合と同様にして、補間位置に応じてLUT用アドレス1,2,3の何れかから1つの係数データを読み出す。
例えば水平補間位置データが補間位置0.75であることにより、LUT用アドレス2が示す画素位置の1つの係数データ、すなわち図6(b)に示す画素位置P0P5,P1P4,P2P3のそれぞれに対する個別の係数データを並べた係数データ「100000101000100100011110010001000101」を読み出す。
そして、画素位置P0P5,P1P4,P2P3のそれぞれに対応するビット幅ごとに分割する。すなわち、上位から8ビットを第3近傍、12ビットを第2近傍、16ビットを第1近傍の画素に対する係数データとして分割する。
さらに各画素位置に対する係数データにそれぞれ分割し、図6(b)のテーブルを用いた場合と同様にして係数データを振り分けて、乗算器600〜605に出力する。
なお、垂直LUT部56においても、前述と同様にして、拡大係数テーブル56aから係数データを読み出して、1つの係数データを画素位置P0P5,P1P4,P2P3ごとに分割し、さらに画素位置毎に分割して乗算器820〜825にそれぞれ出力する。
このようにして、図6(c)に示すように、補間位置(LUT用アドレス)に対応する1つの係数データが記録されたテーブルとすることにより、拡大係数テーブル54a,56aに記憶させる係数データ量を削減し、またある補間位置についての係数データを読み出すためのアドレスを削減して回路規模の縮小を図ることができる。
なお、前述した実施形態では、sinc関数または有限範囲に特性を変えたsinc関数に基づいて拡大係数が設定される場合の例について説明しているが、拡大係数の関数の特徴が同じであれば、sinc関数以外の他の関数を対象とすることもできる。例えば、バイリニア(線形補間)や、双3次スプライン補間、バイキュービックなどを用いる場合にも適用することができる。
また、前述した説明では、水平LUT部54及び垂直LUT部56から出力される係数データを全て正の値とし、水平方向については加算器64,66,68,70、及び減算器76、垂直方向については加算器86,88,90,92、及び減算器98によって、偶数番目の画素についての演算結果を負の値、奇数番目の画素についての演算結果を正の値として演算を実行しているが、水平LUT部54及び垂直LUT部56から係数データに符号を付加して係数データを出力する構成とすることで、演算回路の構成を簡単化することができる。この場合、拡大係数テーブル54a,56aには、正の値の係数データを記憶させておき、偶数番目の画素に対する係数データについてのみ符号を付加して出力すればよい。これにより、各乗算器による演算結果を単に加算するだけで良く回路構成を簡単化することができる。
また、図1において、本発明の画素補間装置に相当する拡大補間部17aがカラープロセス回路17に設けられているものとして説明しているが、画像の拡大処理を実行する他のモジュール等に実装される構成とするようにしても良い。
また、前述した説明では、画像を拡大するための拡大補間処理を実行する場合について説明しているが、画像を縮小する縮小補間処理に適用することも可能である。
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
本発明の実施の形態における画素補間装置が実装されたカメラ装置1の構成を示すブロック図。 本実施形態における拡大補間処理の対象となる格子状に存在する複数の既存画素を示す図。 本実施形態における既存画素に対する係数を説明するための関数グラフを示す図。 本実施形態における拡大補間部17aの構成を示すブロック図。 本実施形態における256で正規化した場合の第1〜第3近傍の画素データに対する拡大係数データの一例を示す図。 本実施形態における拡大係数テーブル54a,56aに記憶される係数データの構成の例を示す図。
符号の説明
1…カメラ装置、11…撮影レンズ、10…モータ(M)、12…CCD、13…タイミング発生器(TG)、14…垂直ドライバ、15…サンプルホールド回路(S/H)、16…A/D変換器、17…カラープロセス回路、18…DMAコントローラ、20…DRAMインタフェース(I/F)、21…DRAM、25…制御部、26…VRAMコントローラ、27…VRAM、28…デジタルビデオエンコーダ、29…表示部、30…画像処理部、32…メモリカード、33…内蔵メモリ、36…拡大補間部、37…キー入力部、40…音声処理部、41…ストロボ駆動部、42…マイクロホン部(MIC)、43…スピーカ部(SP)、45…ストロボ発光部、50…拡大器コントローラ、52…スティックバッファ部、54…水平LUT部、54a…拡大係数テーブル、56…垂直LUT部、56a…拡大係数テーブル、601〜605,820〜825…乗算器、620〜625,840〜845…レジスタ、64,66,68,70,86,88,90,92…加算器、72,74,94,96…レジスタ、76,98…減算器。

Claims (11)

  1. 共通するライン上に存在する複数点の画素データをもとに、前記ライン上の補間位置の画素データを生成する画素補間装置において、
    補間位置から前記ライン上で異なる方向でそれぞれn番目に近い第n近傍に存在する複数の画素データに対して共通する係数データが記憶された記憶手段と、
    前記補間位置から第n近傍の複数の画素データに対して、前記記憶手段に記憶された係数データを用いて演算を実行する演算手段と
    を具備したことを特徴とする画素補間装置。
  2. 前記記憶手段に記憶される係数データは、前記補間位置から離れた位置の画素データに対するほどビット数を小さくしたことを特徴とする請求項1記載の画素補間装置。
  3. 前記記憶手段に記憶される係数データは、第n近傍の複数の画素データのそれぞれに対する係数データを組み合わせたもので、
    前記演算手段は、前記記憶手段に記憶される係数データを分割して、第n近傍の複数の画素データのそれぞれに対して演算を実行することを特徴とする請求項1記載の画素補間装置。
  4. 前記記憶手段に記憶される係数データを正の値とし、
    前記演算手段は、前記補間位置から第n近傍の画素データに対して、nが偶数の場合には演算結果を負の値、nが奇数の場合には演算結果を正の値として演算を実行することを特徴とする請求項1記載の画素補間装置。
  5. 前記記憶手段に記憶される係数データは、補間位置の画素データの生成のもとになる複数の画素データのそれぞれに対する係数データを1つにまとめた値とすることを特徴とする請求項1記載の画素補間装置。
  6. 前記演算手段は、前記記憶手段に記憶された第n近傍の画素データに対する係数データが0の場合には、演算結果とする値を前記画素データと同じとなるように演算を実行することを特徴とする請求項1記載の画素補間装置。
  7. 前記記憶手段に記憶される係数データは、所定の偶関数に基づく値を示すことを特徴とする請求項1記載の画素補間装置。
  8. 共通するライン上に存在する複数点の画素データをもとに、前記ライン上の補間位置の画素データを生成する画素補間装置において、
    補間位置を示す補間位置データを出力するコントローラと、
    補間位置として取りうる各位置に応じた、補間位置から前記ライン上で異なる方向でそれぞれn番目に近い第n近傍に存在する複数の画素データに対して共通する係数データを記憶する係数テーブルと、
    前記コントローラより出力された補間位置データに対応する位置に応じて、前記係数テーブルから前記第n近傍のそれぞれに対する係数データを出力する係数データ出力手段と、
    前記ライン上の複数の画素データを記憶するバッファ手段と、
    前記バッファ手段により記憶された複数の画素データのそれぞれに対して、前記係数データ出力手段により出力された係数データを用いて演算を実行する演算手段と
    を具備したことを特徴とする画素補間装置。
  9. 前記演算手段は、
    前記バッファ手段により記憶された複数の画素データのそれぞれに対して、前記係数データ出力手段により出力された係数データを用いて乗算を実行する乗算手段と、
    前記乗算手段による前記補間位置から奇数番目にある画素データに対する演算結果の総和から、偶数番目にある画素データに対する演算結果の総和を減算する加減算手段と
    を具備したことを特徴とする請求項8記載の画素補間装置。
  10. 所定間隔で複数配置された既存画素の画素データを取得する取得手段と、
    補間すべき補間画素の位置である補間位置を指定する指定手段と、
    前記取得手段により取得された複数の画素データのうち、前記指定手段により指定された補間位置の近傍に存在する複数の既存画素に対応する画素データを出力する画素データ出力手段と、
    補間画素と既存画素との位置関係に応じた複数の係数データを予め記憶する記憶手段と、
    前記記憶手段に記憶された複数の係数データのうち、前記画素データ出力手段により出力された複数の既存画素に対応する複数の係数データを出力する係数データ出力手段と、
    前記画素データ出力手段により出力された複数の画素データと、前記係数データ出力手段により出力された複数の係数データとに基づく所定の演算によって、前記指定手段により指定された補間位置の画素データを生成する生成手段と
    を備え、
    前記記憶手段は、補間画素に対して既存画素が第1の方向にある場合の係数データと、補間画素に対して既存画素が前記第1の方向とは逆の第2の方向にある場合の係数データのうち、いずれか一方の係数データを記憶し、
    前記係数データ出力手段は、前記記憶手段に記憶されている係数データに基づいて、補間画素に対して既存画素が第1の方向にある場合の係数データと、補間画素に対して既存画素が前記第1の方向とは逆の第2の方向にある場合の係数データを出力することを特徴とする画素補間装置。
  11. 前記記憶手段は、符号を省略した係数データを記憶し、
    前記係数データ出力手段は、補間画素に対して各既存画素が奇数番目であるか偶数番目であるかに応じて、前記記憶手段に記憶されている係数データに符号を付加して出力することを特徴とする請求項10記載の画素補間装置。
JP2004377373A 2004-12-27 2004-12-27 画像拡大装置および撮像装置 Expired - Fee Related JP4774736B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004377373A JP4774736B2 (ja) 2004-12-27 2004-12-27 画像拡大装置および撮像装置
US11/317,161 US7693350B2 (en) 2004-12-27 2005-12-22 Pixel interpolation device and camera adapted to perform pixel interpolation of captured image
TW094146030A TWI309132B (en) 2004-12-27 2005-12-23 Pixel interpolation device and camera adapted to perform pixel interpolation of captured image
CNB2005101217539A CN100418358C (zh) 2004-12-27 2005-12-26 像素插值装置及照相机装置
KR1020050129360A KR100783992B1 (ko) 2004-12-27 2005-12-26 화상데이터의 화소보간을 실행하는 화소보간장치, 및촬영화상의 화소보간을 실행하는 카메라장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004377373A JP4774736B2 (ja) 2004-12-27 2004-12-27 画像拡大装置および撮像装置

Publications (2)

Publication Number Publication Date
JP2006185123A true JP2006185123A (ja) 2006-07-13
JP4774736B2 JP4774736B2 (ja) 2011-09-14

Family

ID=36652834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004377373A Expired - Fee Related JP4774736B2 (ja) 2004-12-27 2004-12-27 画像拡大装置および撮像装置

Country Status (5)

Country Link
US (1) US7693350B2 (ja)
JP (1) JP4774736B2 (ja)
KR (1) KR100783992B1 (ja)
CN (1) CN100418358C (ja)
TW (1) TWI309132B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738712B2 (en) * 2006-01-04 2010-06-15 Aten International Co., Ltd. Mixing 2-D gradient-difference and interpolation/decimation method and device for scaling a digital image
WO2007143340A2 (en) * 2006-06-02 2007-12-13 Clairvoyante, Inc High dynamic contrast display system having multiple segmented backlight
AT504372B8 (de) * 2006-11-13 2008-09-15 Arc Seibersdorf Res Gmbh Verfahren und vorrichtung zur ermittlung von interpolationswerten in datenfeldern
JP4772754B2 (ja) * 2007-06-25 2011-09-14 三菱電機株式会社 画像補間装置及び方法、並びに画像読取装置
JP2009081812A (ja) * 2007-09-27 2009-04-16 Nec Electronics Corp 信号処理装置および信号処理方法
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US8913661B2 (en) * 2010-02-19 2014-12-16 Skype Motion estimation using block matching indexing
US8249395B2 (en) * 2010-03-05 2012-08-21 Intel Corporation System, method, and computer program product for picture resizing
JP5980080B2 (ja) * 2012-10-02 2016-08-31 キヤノン株式会社 光電変換装置、撮像システム、光電変換装置の検査方法および撮像システムの製造方法
CN104869284B (zh) * 2015-05-14 2018-05-04 北京邮电大学 一种双线性插值放大算法的高效率fpga实现方法和装置
CN111917934B (zh) * 2020-08-12 2022-08-30 珠海奔图电子有限公司 图像处理方法、装置、图像形成装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164322A (ja) * 1992-11-25 1994-06-10 Sony Corp フィルタの係数発生装置
JP2000261291A (ja) * 1999-03-11 2000-09-22 Mitsubishi Electric Corp リサンプラ方法およびリサンプラ回路
JP2002152498A (ja) * 2000-10-11 2002-05-24 Neucore Technol Inc 画像処理方法および装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4872188A (en) * 1987-11-27 1989-10-03 Picker International, Inc. Registration correction for radiographic scanners with sandwich detectors
JPH02161872A (ja) * 1988-12-14 1990-06-21 Fuji Xerox Co Ltd 画像処理装置の縮拡処理方式
GB2229059B (en) * 1989-03-07 1993-08-04 Sony Corp Obtaining access to a two-dimensional portion of a digital picture signal
US5208875A (en) * 1989-03-07 1993-05-04 Sony Corporation Digital picture signal processing apparatus
WO1990016035A2 (en) * 1989-06-16 1990-12-27 Eastman Kodak Company Digital image interpolator
US5008752A (en) * 1989-06-16 1991-04-16 Eastman Kodak Company Digital image interpolator with multiple interpolation algorithms
JPH04185075A (ja) 1990-11-20 1992-07-01 Canon Inc カラー画像処理装置
JPH057584A (ja) 1991-06-30 1993-01-19 Shimadzu Corp 画像拡大装置
GB2263373B (en) * 1992-01-09 1995-05-24 Sony Broadcast & Communication Data error concealment
US5365604A (en) * 1993-01-14 1994-11-15 Rca Thomson Licensing Corporation Error concealment apparatus for video signal processors
US6680782B1 (en) * 1993-06-30 2004-01-20 Nexpress Solutions Llc Method and apparatus of using a raster image processor and interpolator to increase the speed of operation and reduce memory requirements for electronic printing
US5802218A (en) * 1994-11-04 1998-09-01 Motorola, Inc. Method, post-processing filter, and video compression system for suppressing mosquito and blocking atrifacts
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
KR0157566B1 (ko) * 1995-09-30 1998-11-16 김광호 고화질을 위한 보간방법 및 장치
AU7435696A (en) * 1995-10-13 1997-04-30 Apple Computer, Inc. Method and apparatus for video scaling and convolution for displaying computer graphics on a conventional television monitor
US5959676A (en) * 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
US5847714A (en) * 1996-05-31 1998-12-08 Hewlett Packard Company Interpolation method and apparatus for fast image magnification
GB2314477A (en) 1996-06-19 1997-12-24 Quantel Ltd Image magnification processing system employing non-linear interpolation
US5793435A (en) * 1996-06-25 1998-08-11 Tektronix, Inc. Deinterlacing of video using a variable coefficient spatio-temporal filter
US6188803B1 (en) * 1996-10-18 2001-02-13 Sony Corporation Image processing device
JP3754803B2 (ja) 1997-07-31 2006-03-15 キヤノン株式会社 撮像装置
JP4066484B2 (ja) 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
KR19990050860A (ko) * 1997-12-17 1999-07-05 윤종용 카메라의 공간 해상도 향상 장치
US6275836B1 (en) * 1998-06-12 2001-08-14 Oak Technology, Inc. Interpolation filter and method for switching between integer and fractional interpolation rates
KR100311482B1 (ko) * 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
DE60131115T2 (de) * 2000-06-02 2008-08-14 Texas Instruments Inc., Dallas Abtastratenumwandler und Verfahren
JP2002024815A (ja) * 2000-06-13 2002-01-25 Internatl Business Mach Corp <Ibm> 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置
JP2002199265A (ja) 2000-12-27 2002-07-12 Canon Inc 電子ズーム装置及びビデオカメラ
JP2003018397A (ja) * 2001-06-28 2003-01-17 Sony Corp 画像処理装置及びその方法
KR100423503B1 (ko) * 2001-09-14 2004-03-18 삼성전자주식회사 디지털영상 처리 장치 및 방법
JP2003153078A (ja) 2001-11-14 2003-05-23 Sony Corp デジタルカメラ装置およびその電子ズーム処理方法
JP4451044B2 (ja) * 2002-02-21 2010-04-14 株式会社メガチップス 混成画素補間装置および混成画素補間方法
TW578117B (en) 2002-10-25 2004-03-01 Advanced & Wise Technology Cor Apparatus and method of enhancing image resolution
KR20040050577A (ko) * 2002-12-10 2004-06-16 삼성전자주식회사 디인터레이싱 장치 및 방법
TWI228915B (en) 2003-11-11 2005-03-01 Mitac Int Corp Digital zooming method
US7580461B2 (en) * 2004-02-27 2009-08-25 Microsoft Corporation Barbell lifting for wavelet coding
US8331710B2 (en) * 2007-11-06 2012-12-11 Sony Corporation Image processing apparatus and method, learning apparatus and method, and program
JP4915341B2 (ja) * 2007-12-20 2012-04-11 ソニー株式会社 学習装置および方法、画像処理装置および方法、並びにプログラム
US8593572B2 (en) * 2008-01-30 2013-11-26 Csr Technology Inc. Video signal motion detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06164322A (ja) * 1992-11-25 1994-06-10 Sony Corp フィルタの係数発生装置
JP2000261291A (ja) * 1999-03-11 2000-09-22 Mitsubishi Electric Corp リサンプラ方法およびリサンプラ回路
JP2002152498A (ja) * 2000-10-11 2002-05-24 Neucore Technol Inc 画像処理方法および装置

Also Published As

Publication number Publication date
US20060152597A1 (en) 2006-07-13
JP4774736B2 (ja) 2011-09-14
US7693350B2 (en) 2010-04-06
TWI309132B (en) 2009-04-21
TW200633511A (en) 2006-09-16
CN1835556A (zh) 2006-09-20
KR20060074851A (ko) 2006-07-03
CN100418358C (zh) 2008-09-10
KR100783992B1 (ko) 2007-12-07

Similar Documents

Publication Publication Date Title
KR100783992B1 (ko) 화상데이터의 화소보간을 실행하는 화소보간장치, 및촬영화상의 화소보간을 실행하는 카메라장치
JP4144292B2 (ja) 画像処理装置と画像処理システム及び画像処理方法
JP2010268441A (ja) 画像処理装置、撮像装置及び画像再生装置
JP4854620B2 (ja) 電子ズーム装置およびプログラム
JP3022405B2 (ja) 画像メモリ制御装置
JP4432786B2 (ja) カメラ装置、画像処理方法
JP2009237650A (ja) 画像処理装置及び撮像装置
JP4285575B2 (ja) 画像処理装置とカメラシステム及び画像処理方法
JP2006319541A (ja) 撮像装置、動画処理方法及びプログラム
US20090046176A1 (en) Video signal processing apparatus
JP2003316331A (ja) 表示装置
JP2004364039A (ja) 画像処理装置、画像処理方法及びプログラム
JP2009033438A (ja) 撮像装置
JP4725053B2 (ja) 液晶駆動装置及び液晶駆動方法
JP5696525B2 (ja) 撮像装置、撮像方法及びプログラム
WO2012011211A1 (ja) サムネイル画像生成装置、拡大画像生成装置、サムネイル画像生成方法、及び拡大画像生成方法
JP2008131472A (ja) 転送装置、転送制御プログラム及び撮像装置
JPH07177408A (ja) 信号処理装置
JPS5977771A (ja) 画像信号処理装置
JP3764963B2 (ja) 画像表示装置、画像表示方法及び記憶媒体
JP2012216215A (ja) 画像表示装置、及び画像表示方法、プログラム
JP2007311835A (ja) 画像処理装置およびその制御方法
JP2009110555A (ja) 画像処理装置及び方法
JPS6353682A (ja) 画像処理装置
JPH11122480A (ja) 画像拡大回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110613

R150 Certificate of patent or registration of utility model

Ref document number: 4774736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees