JP2007295129A - 撮像装置及び電子ズーム方法と、プログラム - Google Patents

撮像装置及び電子ズーム方法と、プログラム Download PDF

Info

Publication number
JP2007295129A
JP2007295129A JP2006118507A JP2006118507A JP2007295129A JP 2007295129 A JP2007295129 A JP 2007295129A JP 2006118507 A JP2006118507 A JP 2006118507A JP 2006118507 A JP2006118507 A JP 2006118507A JP 2007295129 A JP2007295129 A JP 2007295129A
Authority
JP
Japan
Prior art keywords
electronic zoom
image quality
zoom magnification
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006118507A
Other languages
English (en)
Other versions
JP4655991B2 (ja
Inventor
Kazuyuki Kurosawa
和幸 黒沢
Hitoshi Nakayama
仁 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2006118507A priority Critical patent/JP4655991B2/ja
Priority to US11/787,798 priority patent/US7733389B2/en
Priority to CN2007800005925A priority patent/CN101326816B/zh
Priority to PCT/JP2007/058998 priority patent/WO2007123261A1/en
Priority to KR1020077029705A priority patent/KR100917088B1/ko
Priority to TW096113877A priority patent/TWI339985B/zh
Publication of JP2007295129A publication Critical patent/JP2007295129A/ja
Priority to HK09103617.8A priority patent/HK1123914A1/xx
Application granted granted Critical
Publication of JP4655991B2 publication Critical patent/JP4655991B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

【課題】電子ズームを使用しているときのズーム倍率の変化途中における大きな画質変化をなくすことにより、電子ズームの質を向上させる。
【解決手段】電子ズーム動作に際し、電子ズーム倍率に応じて撮像素子からの撮像信号の読み出しモードを3×3画素加算モード、2×2画素加算モード、全画素モードに設定し、電子ズーム倍率に適した画素数(画素サイズ)の撮像信号を取得する。その際、読み出しモードが切り替わる倍率(画素加算数切替ポイント)を境とした前後の所定のズーム倍率区間A,Bにおいて、シャープネス処理とぼかし処理とを行い、かつ双方の処理強度を画素加算数切替ポイントで最大とするよう変化させる。撮像信号から直接得られる画像において画素加算数切替ポイントの前後で画質が変化しても、電子ズーム倍率の変化方向に関係なく、その直前(直後)の画質を、違和感を生じさせることなく、その直後(直前)の画質に近づけることができる。
【選択図】 図8

Description

本発明は、電子ズーム機能を備えたデジタルカメラ等に用いて好適な撮像装置及び電子ズーム方法と、それらの実現に使用されるプログラムに関するものである。
従来、デジタルカメラ等における電子ズーム機能に関し、CCD等の撮像素子からの撮像信号の読み出しモードとして、通常の読み出しモードとは別に、画素加算数の異なる複数の画素加算モードや、画素間引きを行う画素間引きモードを用意しておき、電子ズーム倍率に応じて読み出しモードを切り替えることにより、そのときのズーム倍率に適した画素数(画素サイズ)の撮像信号を取得し、それに基づく画像に対して所定領域の切り出し処理や、さらには拡大又縮小処理を行うことにより、ズーム倍率に応じた画角の画像を取得する技術が、例えば下記特許文献1〜4に記載されている。
特開2004−172845号公報 特開2005−191867号公報 特開2004−72278号公報 特開2004−96611号公報
しかしながら、上記のように電子ズーム倍率に応じて撮像信号の読み出すモードを切り替えると、読み出すモードの切り替え前後では、加算される画素数の変化、画素間引き率の変化、拡大率・縮小率の変化等の様々な要因によって、撮像信号から直接得られる画像の質が変化する。そのため、最終的に取得するズーム倍率に応じた画角の画像においても、撮像信号の読み出しモードが切り替わる位置のズーム倍率の前後において画質が大きく変化するという問題があった。
本発明は、かかる従来の課題に鑑みてなされたものであり、電子ズームを使用しているときのズーム倍率の変化途中における大きな画質変化をなくすことにより、電子ズームの質を向上させることが可能となる撮像装置及び電子ズーム方法と、それらの実現に使用されるプログラムを提供することを目的とする。
前記課題を解決するため請求項1の発明にあっては、電子ズーム機能による電子ズーム動作に際し、撮像素子から異なる画素数の画素情報からなる撮像信号を読み出すための複数の読み出しモードを電子ズーム倍率に応じて切り替えるとともに、各々の読み出しモードが設定されている間、電子ズーム倍率に応じて前記撮像信号に対するズーム処理を変更する撮像装置において、前記撮像素子から読み出された撮像信号に基づく画像に対して画質を調整するための画質調整処理を行う画質調整手段を備え、この画質調整手段は、電子ズーム倍率が前記読み出しモードが切り替わる切り替えポイントに近づくに従い、前記画質調整処理の処理強度を次第に増大させるものとした。
かかる構成においては、電子ズーム機能によるズーム動作に際して、ズーム倍率の変化に伴い撮像信号の読み出しモードが切り替わるとき、その前後において撮像信号から直接得られる画像の質が不可避的に変化したとしても、読み出しモードが切り替わる以前の画像の質を、読み出しモードが切り替わる以前の段階から予めズーム倍率の変化に応じて徐々に変化させることによって、読み出しモードが切り替わる直前の画像の質を、読み出しモードが切り替わった直後の画像の質に違和感なく近づけることができる。
また、請求項2の発明にあっては、前記画質調整手段は、電子ズーム倍率が、同一の読み出しモードが適用されるズーム区間の一部であって、前記切り替えポイントを含む所定のズーム区間に位置する間に、前記撮像素子から読み出された撮像信号に基づく画像に対して前記画質調整処理を行うものとした。
また、請求項3の発明にあっては、前記画質調整手段は、前記切り替えポイントを境として隣接する双方のズーム区間のうち電子ズーム倍率が小さい側に位置するズーム区間において、前記画質調整処理の処理強度を、前記読み出しモードが切り替わる電子ズーム倍率における切り替えポイントに近づくに従い次第に増大させるものとした。
また、請求項4の発明にあっては、前記画質調整手段は、前記切り替えポイントを境として隣接する双方のズーム区間のうち電子ズーム倍率が大きい側に位置するズーム区間において、前記画質調整処理の処理強度を、前記読み出しモードが切り替わる電子ズーム倍率における切り替えポイントに近づくに従い次第に増大させるものとした。
また、請求項5の発明にあっては、前記画質調整手段は、電子ズーム倍率が、前記切り替えポイントを境として隣接する双方のズーム倍率区間に位置する間に、前記画質調整処理を前記撮像信号に基づく画像に対してそれぞれ行うとともに、電子ズーム倍率が前記双方のズーム倍率区間の一方に位置する間に前記画質調整手段により行われる前記画質調整処理と、電子ズーム倍率が前記双方のズーム倍率区間の他方に位置する間に前記画質調整手段により行われる前記画質調整処理とは、画質の調整内容が相反する処理であるものとした。
また、請求項6の発明にあっては、前記画質調整手段により行われる前記撮像信号に基づく画像に対する前記画質調整処理は、輪郭部分の強度の調整効果を含む処理であるものとした。
また、請求項7の発明にあっては、前記複数の読み出しモードには、画素加算読み出しモード又は画素間引き読み出しモードの少なくともいずれか一方が含まれるものとした。
また、請求項8の発明にあっては、電子ズーム機能による電子ズーム動作に際し、撮像素子から異なる画素数の画素情報からなる撮像信号を読み出すための複数の読み出しモードを電子ズーム倍率に応じて切り替えるとともに、各々の読み出しモードが設定されている間、電子ズーム倍率に応じて前記撮像信号に対するズーム処理を変更する撮像装置における電子ズーム方法であって、前記撮像素子から読み出された撮像信号に基づく画像に対して画質を調整するための画質調整処理を行うとともに、電子ズーム倍率が前記読み出しモードが切り替わる切り替えポイントに近づくに従い、前記画質調整処理の処理強度を次第に増大させる方法とした。
かかる方法によれば、電子ズーム機能によるズーム動作に際して、ズーム倍率の変化に伴い撮像信号の読み出しモードが切り替わるとき、その前後において撮像信号から直接得られる画像の質が不可避的に変化したとしても、読み出しモードが切り替わる以前の画像の質を、読み出しモードが切り替わる以前の段階から予めズーム倍率の変化に応じて徐々に変化させることによって、読み出しモードが切り替わる直前の画像の質を、読み出しモードが切り替わった直後の画像の質に違和感なく近づけることができる。
また、請求項9の発明にあっては、電子ズーム機能による電子ズーム動作に際し、撮像素子から異なる画素数の画素情報からなる撮像信号を読み出すための複数の読み出しモードを電子ズーム倍率に応じて切り替えるとともに、各々の読み出しモードが設定されている間、電子ズーム倍率に応じて前記撮像信号に対するズーム処理を変更する撮像装置が有するコンピュータに、前記撮像素子から読み出された撮像信号に基づく画像に対して画質を調整するための画質調整処理を行うための処理と、電子ズーム倍率が前記読み出しモードが切り替わる切り替えポイントに近づくに従い、前記画質調整処理の処理強度を次第に増大させるための処理とを実行させるプログラムとした。
以上のように本発明においては、読み出しモードが切り替わる以前の画像の質を、読み出しモードが切り替わる以前の段階から予め電子ズーム倍率の変化に応じて徐々に変化させることによって、読み出しモードが切り替わる直前の画像の質を、読み出しモードが切り替わった直後の画像の質に違和感なく近づけることができるようにした。
よって、電子ズームを使用しているときの電子ズーム倍率の変化途中における大きな画質変化をなくすことにより、電子ズームの質を向上させることが可能となる。
以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明に係るデジタルカメラのブロック図である。このデジタルカメラは、静止画撮影機能と動画撮影機能とを有するものであり、以下の構成を備えている。
すなわちデジタルカメラは、カメラ本体1と、カメラ本体1に着脱可能な記録メディア20から構成されており、カメラ本体1にはズームレンズやフォーカスレンズからなる光学系2、及び撮像手段であるCCD3が配置されている。CCD3は、CPU13の制御に従いタイミングジェネレータ7によって生成される水平及び垂直駆動信号に基づき駆動され、被写体の光像を光電変換し撮像信号として出力する。なお、本実施の形態において、CCD3の有効画素サイズ(水平×垂直)は「2,880×2,160」であり、また、CCD3の駆動モードつまりCCD3からの信号の読み出しモードとして、後述する全画素モード、2×2画素加算モード、3×3画素加算モードの3種類のモードが用意されている。
CCD3の出力信号はCDS回路4で相関二重サンプリングされた後、A/D変換回路5でデジタル信号に変換される。A/D変換された撮像信号はDSP(Digital Signal Processor)6に入力され、ペデスタルクランプ等の処理が施された後、ブロック内の輝度・色差マトリックス回路でYUV変換によって輝度(Y)信号及び色差(UV)信号に変換される。
また、DSP6は、CPU13の制御に従いオートホワイトバランス等の各種の画像処理も行う。特に、電子ズーム機能によるズーム動作時においては、本発明の画質調整手段として機能し、必要に応じて画質の調整内容が相反するシャープネス処理(第1の画質調整処理)と、ぼかし処理(第2の画質調整処理)とを行う。すなわち、シャープネス処理は、画像の中にある輪郭線等の色や明るさの差が大きい部分を強調する処理であり、ぼかし処理は、輪郭線等の色や明るさの差が大きい部分における色や明るさの変化を減少させることにより画像のコントラストを減少させる処理であり、双方の処理は、例えば所定の画素単位毎に注目画素及びそれと近接する周囲の画素の輝度値に応じて注目画素の輝度値を増大又は減少させる等の方法によって行われる。
そして DSP6から出力されたYUVデータは、データバス21を介して1フレーム毎に順次内蔵メモリ14(例えばSDRAM)に格納され、内蔵メモリ14に格納された1フレーム分のYUVデータはCPU13により読み出される。その際には、所定の画像領域に対応するYUVデータのみの読み出しによる切り出し処理が必要に応じて行われる。
内蔵メモリ14から読み出されたYUVデータは、必要に応じ拡大・縮小回路8において所定の画像サイズに拡大又は縮小、つまり変倍された後、表示コントローラ11でビデオ信号に変換され、LCD(液晶表示器)12によってスルー画像として表示される。 なお、拡大・縮小回路8における画像データの拡大又は縮小は、0次補間法、1次補間法、3次補間法、投影法といった幾何学的補間法などの所定の変倍アルゴリズムに基づいて行われる。
また、内蔵メモリ14から読み出された1フレーム分のYUVデータは、静止画撮影モードにおいては、前記データ圧縮伸長ブロック9でJPEG方式等でデータ圧縮した後コード化され、内蔵メモリ14内でファイル化された後、メディアコントローラ10を介して記録メディア20に静止画データ(静止画ファイル)として記録される。さらに、動画撮影モードでは、順次データ圧縮伸長ブロック9へ送られ、所定の動画記録方式(例えばMotion−JPEGやMPEG)のコーデックによりデータ圧縮した後コード化され、最終的にはメディアコントローラ10を介して動画ファイルとして記録メディア20(画像記録手段)に記録される。
一方、再生モードにおいてデータ圧縮伸長ブロック9は、記録メディア20から読み出された静止画や動画のデータを伸張し、静止画データや動画像のフレームデータとして内蔵メモリ14の画像データ作業領域に展開する。
音声処理ブロック15は、音声付の動画撮影時においてカメラ本体1に内蔵されたマイク16に入力した音声をデジタル信号に変換し、データ圧縮後にオーディオデータとして内蔵メモリ14へ送る。内蔵メモリ14に送られたオーディオデータは、動画ファイルと共に記録メディア20に記録される。また、音声処理ブロック15は、音声付動画の再生時には、内蔵メモリ14から送られたオーディオデータを復号し、アナログの音声信号に変換した後、カメラ本体1に内蔵された内蔵スピーカ17から音声出力させる。
キー入力ブロック18は、電源キーと、静止画撮影モード、動画撮影モード、再生モードの各モードの切り替えを行うモード切替キー、MENUキー、シャッターキー、ズームキー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をCPU13に出力する。なお、シャッターキーは動画撮影時には録画開始/終了ボタンとしても機能する。
また、前記光学系2内のフォーカスレンズ及びズームレンズは、CPU13の指令に従いレンズドライバ22により生成される駆動信号によって駆動される。すなわちフォーカスレンズは、CPU13によるAF制御によってフォーカス位置に駆動され、また、ズームレンズは、ユーザーによるズームキーの操作に応じたズーム位置に駆動される。
以上の各ブロックはCPU13によって制御されており、CPU13が各ブロックの制御に必要とされるプログラムや各種データはEEPROMやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ19に記憶されている。なお、プログラムメモリ19には、ユーザーにより設定、又は変更されたシステムや各機能に関する他の設定データも記憶されている。そして、CPU13は上記プログラム及びキー入力信号に基づき各ブロックを制御する。
また、プログラムメモリ19には、電子ズーム制御に際して使用される図2に示したような設定テーブル100を構成するデータが記録されている。設定テーブル100は、必要とする画像のサイズ別、すなわち動画撮影モードで記録可能な動画像のサイズや、動画撮影モード及び静止画撮影モードでの撮影待機状態でLCD12に表示するスルー画像のサイズ毎に複数用意されており、電子ズーム機能によるズーム倍率(光学ズームによるズーム倍率を含まない倍率)100aと、各々のズーム倍率100aに対応する以下の設定項目から構成される。
すなわちCCD3から撮像信号(ベイヤーデータ)を読み出す際の読み出しモード(CCD3の駆動モード)100bと、撮像信号に基づく画像から使用する領域部分を切り出す場合の切り出しサイズ100cと、要求される画素サイズを得るための変倍率(拡大・縮小率)100dと、画質調整の内容100dとの各設定項目から構成されている。なお、切り出しサイズは、撮像信号に基づく画像の水平方向及び垂直方向の画素サイズにズーム倍率の逆数を掛けたサイズである。
図2に示した設定テーブル100は、必要とする画像のサイズが「640×480」である場合に使用されるものであり、電子ズーム倍率は1倍から画質に劣化を生じさせない最大倍率である4.5倍までの間で複数段階である。
また、撮像信号の読み出しモード100bは、全画素、2×2画素加算、3×3画素加算の3種類であり、電子ズーム倍率が1倍から1.5倍までの区間が3×3画素加算モード、1.5倍から2.25倍までの区間が2×2画素加算モード、2.25倍から4.5倍までの区間が全画素モードに設定されている。
全画素モードは、CCD3から一般的なフレーム読み出しによって全画素の信号電荷をそのまま読み出すモードである。2×2画素加算モードは、CCD3において水平及び垂直方向に各々2画素を加算し4画素分の信号を1画素の信号として読み出すモードであり、3×3画素加算モードは、水平及び垂直方向に各々3画素を加算し9画素分の信号を1画素の信号として読み出すモードである。
ここで、上記の2×2画素加算モード、及び3×3画素加算モードによる画像信号の読み出し方法について説明する。図3及び図4は、それを示す前記CCD3の模式図である。図示したようにCCD3は、各画素を構成する多数の感光用CCD(図でR,G,B)と、水平方向に並んだ感光機能を有していないCCDからなるホールド蓄積部(HOLD)、及び水平転送部31と、感光用CCDの信号電荷を垂直転送する図示しない垂直転送部と、出力回路32とを備えている。
2×2画素加算モードでは、図3に示したように第1フィールドでは、垂直方向奇数番目のラインの(15,13,11,・・・)の信号電荷のみを垂直転送し、その際、ホールド蓄積部HOLDを用いて互いに隣り合う奇数ラインの信号電荷を加算、つまり同色の2画素分の信号電荷を1ラインおきに垂直加算して水平転送部31へ転送する。同時に、水平転送部31において同一ラインに1画素おきに存在する同色の2画素分の信号電荷を加算(水平加算)する。しかる後、同色の画素配列(R,G,R,G,・・・)からなる2ライン分の信号電荷が垂直加算され、かつ同一ラインに1画素おきに存在する同色の2画素分の信号電荷が水平加算された奇数ラインの信号を読み出し、以後、全ての奇数ラインの信号電荷を順に読み出す。
同様に、第2フィールドでは、垂直方向偶数番目のライン(16,14,12,・・・)について第1フィールドと同様の垂直加算と水平加算を行い、奇数ラインと異なる同色の画素配列(G,B,G,B,・・・)からなる2ライン分の信号電荷を垂直加算し、かつ同一ラインに1画素おきに存在する同色の2画素分の信号電荷が水平加算された偶数ラインの信号を読み出し、以後、全ての偶数ラインの信号電荷を順に読み出す。
図5(a)は、4画素×4画素の任意の画素空間において上記のように読み出される撮像信号からなるベイヤーデータを示す概念図であり、2×2画素加算モードでは、例えば画素位置が(1,1)、(1,3)、(3,1)、(3,3)のG画素の信号電荷は、互いに加算されて(2,2)のG画素の信号電荷として読み出される。つまり水平方向および垂直方向の画素数がそれぞれ2分の1であるものの、全画素の画素情報が反映されたベイヤーデータが得られることとなる。
また、3×3画素加算モードでは、図4に示したように第1フィールドでは、垂直方向奇数番目のラインの(17,15,13,・・・)の信号電荷のみを垂直転送し、その際、ホールド蓄積部HOLDを用いて互いに隣り合う3ライン分の奇数ラインの信号電荷を加算、つまり同色の3画素分の信号電荷を1ラインおきに垂直加算して水平転送部31へ転送する。同時に、水平転送部31において同一ラインに1画素おきに存在する同色の3画素分の信号電荷を加算(水平加算)する。しかる後、同色の画素配列(R,G,R,G,・・・)からなる3ライン分の信号電荷が垂直加算され、かつ同一ラインに1画素おきに存在する同色の3画素分の信号電荷が水平加算された奇数ラインの信号を読み出し、以後、全ての奇数ラインの信号電荷を順に読み出す。
同様に、第2フィールドでは、垂直方向偶数番目のライン(16,14,12,・・・)について第1フィールドと同様の垂直加算と水平加算を行い、奇数ラインと異なる同色の画素配列(G,B,G,B,・・・)からなる3ライン分の信号電荷を垂直加算し、かつ同一ラインに1画素おきに存在する同色の3画素分の信号電荷が水平加算された偶数ラインの信号を読み出し、以後、全ての偶数ラインの信号電荷を順に読み出す。
図5(b)は、8画素×8画素の任意の画素空間において上記のように読み出される撮像信号からなるベイヤーデータを示す概念図であり、3×3画素加算モードでは、例えば画素位置が(1,1)、(1,3)、(1,5)、(3,1)、(3,3)、(3,5)、(5,1)、(5,3)、(5,5)、のG画素の信号電荷が、互いに加算されて(3,3)のG画素の信号電荷として読み出される。つまり水平方向および垂直方向の画素数がそれぞれ3分の1であるものの、全画素の画素情報が反映されたベイヤーデータが得られることとなる。
なお、2×2画素加算モード及び3×3画素加算モードによる具体的な撮像信号の読み出し方法については、上述した方法以外にも任意の方法を採用することができる。
一方、前述した画質調整100eは、所定のズーム倍率でシャープネス処理と、ぼかし処理とを所定の強度で実施させる内容であり、以下の設定となっている。すなわち、電子ズーム倍率100aの値が1倍から4.5倍まで変化(ズームアップ)する間に、撮像信号の読み出しモードが切り替わる倍率である画素加算数切替ポイント、つまり境界ズーム倍率である1.5倍と2.25倍とを境として、画素加算数切替ポイントの直前(低ズーム倍率側)における所定の倍率区間においてはシャープネス処理を行うとともに、その処理強度を徐々に増大させ、画素加算数切替ポイントにおいて強度を最大とする。また、画素加算数切替ポイント以上になると、それ以降(高ズーム倍率側)の所定の倍率区間においてぼかし処理を行うとともに、画素加算数切替ポイントにおける処理強度を最大として以後徐々に減少させる設定となっている。
次に、以上の構成からなるデジタルカメラ1の本発明に係る動作について説明する。図6は、動画撮影モードや静止画撮影モードにおいて、ズーム倍率が光学系2のズームレンズの駆動により得られるズーム倍率を超えた領域内、つまり電子ズーム領域内にある間にCPU13が実行する電子ズーム制御に関する処理の概略を示したフローチャートである。
電子ズーム制御に際してCPU13は、ズームキーの操作中であった場合には(ステップS1でYES)、電子ズーム倍率を変更する(ステップS2)。
しかる後、前述したいずれかの設定テーブル100(図2)を参照して、変更した電子ズーム倍率に応じた各設定項目100b〜100eにおける設定値(設定内容)を読み出し(ステップS3)、それに基づき必要に応じて以下の処理を実行する。すなわちCCD3から撮像信号(ベイヤーデータ)を読み出す際の読み出しモードの切り替え(ステップS4)、画質調整100eとして設定されているシャープネス処理、又はぼかし処理による画質調整の変更(ステップS5)、撮像信号に基づく画像からの切り出しサイズ100cとして設定されているサイズの領域の切り出し処理を行い(ステップS6)、切り出した画像を必要とする画素サイズとするためのサイズ調整、すなわち変倍率100dとして設定されている倍率での拡大又は縮小を拡大・縮小回路8に行わせる(ステップS7)。以後、ズームキーが操作されている間(電子ズーム倍率が変更される毎に)ステップS2〜ステップS7の処理を繰り返し実行する。なお、電子ズーム倍率の変更がない間は、その変更の無い電子ズーム倍率に応じた各設定項目100b〜100eにおける設定値に基づく処理が動画像やスルー画像に対して繰り返し実行されることになる。
図7は、図2に示した設定テーブル100に基づき上記電子ズーム制御における具体的内容を示した図である。ここでは、動画撮影モードで動画像の記録を行っている間に、電子ズーム倍率が1倍から4.5倍(最大倍率)まで変化する(変更される)ものとして説明する。まず電子ズーム倍率が1倍のときには、撮像信号の読み出しモードを3×3画素加算モードに設定し、1フレーム毎に内蔵メモリ14に記憶するYUV変換後の画像データすなわち撮像画像の画素サイズを「960×720」とし、YUV変換後の画像を縮小することにより必要とする画素サイズ「640×480」の記録画像(フレーム画像)を取得する。
以後、電子ズーム倍率が1倍から1.5倍までのズーム倍率区間では、電子ズーム倍率が増大(ズームアップ)するに従ってYUV変換後の画像における切り出しサイズを徐々に縮小させると同時に、変倍率を徐々に増大(縮小率を徐々に減少)させながら切り出し後の画像に対する縮小処理を行うことによって必要とする画素サイズを確保する。そして、ズーム倍率が1.5倍の時点では変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
次に、電子ズーム倍率が1.5倍となった時点で撮像信号の読み出しモードを2×2画素加算モードに切り替え、1フレーム毎に内蔵メモリ14に記憶する撮像画像の画素サイズを「1,440×1,080」とするとともに、2.25倍までのズーム倍率区間においても、電子ズーム倍率が増大するに従ってYUV変換後の画像における切り出しサイズを徐々に縮小すると同時に、変倍率を徐々に増大(縮小率を徐々に減少)させながら切り出し後の画像に対する縮小処理を行うことによって必要とする画素サイズを確保する。そして、電子ズーム倍率が2.25倍の時点では変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
引き続き、電子ズーム倍率が2.25倍となった時点で撮像信号の読み出しモードを全画素モードに切り替え、1フレーム毎に内蔵メモリ14に記憶する撮像画像の画素サイズを「2,880×2,160」とするとともに、4.5倍までのズーム倍率区間においても、電子ズーム倍率が増大するに従ってYUV変換後の画像における切り出しサイズを徐々に縮小すると同時に、変倍率を徐々に増大(縮小率を徐々に減少)させながら切り出し後の画像に対する縮小処理を行うことによって必要とする画素サイズを確保する。そして、電子ズーム倍率が4.5倍、すなわち最大倍率に達した時点では変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
つまり、撮像信号の読み出しモードを3×3画素加算モードから2×2画素加算モードに切り替える時期と、2×2画素加算モードから全画素モードに切り替える時期とを、それぞれ必要とする画素サイズが切り出し処理のみにより確保できるズーム倍率となった時点とし、切り出し処理と、切り出し処理及び縮小処理とによって必要とする画素サイズを確保する。
また、上記処理と並行し、電子ズーム倍率100aの値が1倍から4.5倍まで変化(ズームアップ)する間に、前述したように撮像信号の読み出しモードが切り替わる電子ズーム倍率である画素加算数切替ポイント(1.5倍と2.25倍)を境として、画素加算数切替ポイントまでの(低ズーム倍率側)における所定の倍率区間A(図8参照)においてはシャープネス処理を行うとともに、電子ズーム倍率が増大するに従ってその処理強度を徐々に増大させ、画素加算数切替ポイントにおいて強度を最大とする。また、画素加算数切替ポイント以降(高ズーム倍率側)の所定の倍率区間B(図8参照)においてはぼかし処理を行うとともに、画素加算数切替ポイントにおける処理強度を最大として以後電子ズーム倍率が増大するに従って徐々に処理強度を減少させる。
ここで、以上の電子ズーム制御が行われる間、上記画素加算数切替ポイントの前後においては、撮像信号から直接得られる画像の質、すなわち主に輪郭部分が消失したり、コントラストが低下したりすることに伴うボケ度合が不可避的に変化する。これは、画素加算数切替ポイントの前後におけるCCD3内部での画素加算数(全画素モードの加算数は「0」である。)の違いに起因するものであるため、画素加算数切替ポイントが、切り出し処理のみにより必要とする画素サイズを確保できる電子ズーム倍率(1.5倍と2.25倍)に設定されていても、つまり縮小処理が不要な電子ズーム倍率に設定されていても解消できない。
しかし、本実施の形態においては、画素加算数切替ポイント(1.5倍と2.25倍)を境とした前後の所定のズーム倍率区間においてシャープネス処理とぼかし処理とを行い、かつ双方の処理強度を画素加算数切替ポイントで最大とするよう変化させるため、撮像信号から直接得られる画像において画素加算数切替ポイントの前後で画質が変化しても、電子ズーム倍率が変化する方向に関係なく、画素加算数切替ポイントの直前(直後)の画質を、違和感を生じさせることなく、その直後(直前)の画質に近づけることができる。
よって、電子ズームを使用しているときの電子ズーム倍率の変化途中における、大きな画質変化をなくすことにより、電子ズームの質を向上させることができる。
しかも、画素加算数切替ポイントの前後におけるズーム倍率の小さい側と大きい側とにおいて、画質の調整内容が相反するシャープネス処理(第1の画質調整処理)と、ぼかし処理(第2の画質調整処理)とを行うことにより、画素加算数切替ポイントの前後における画質の低下を最小限とすることができる。したがって、電子ズームの質をより一層向上させることができる。
図8はそれを便宜的に示した図であって、画素加算数切替ポイントの前後、つまり低倍率側のズーム倍率区間Aと高倍率側のズーム倍率区間Bとにおける記録画像のぼけ度合の変化を示した図である。なお、図に実線で示した変化が本実施の形態における変化であり、破線で示した変化が前述したシャープネス処理とぼかし処理とを行わない場合の変化である。
また、図9は、図7の例において電子ズーム倍率が2.25倍(画素加算数切替ポイント)であったときの画像のぼけ状態を便宜的に示した図である。すなわち同図(a)が2×2画素加算モードで読み出した撮像信号に基づく元画像201と、それに最大強度のシャープネス処理が施された記録画像202を示したものであり、同図(b)が、全画素モードで読み出した撮像信号に基づく元画像301と、それに最大強度のぼかし処理が施された記録画像302を示したものである。
また、以上の効果については、動画撮影モードで動画像の記録を行っている間に限らず、動画撮影モードや静止画撮影モードにおける撮影待機状態でスルー画像をLCD12に表示している間においても、スルー画像のサイズに応じた設定テーブル(100)に基づいて図6に示した電子ズーム制御が行われることにより得ることができる。
なお、静止画撮影モードについては撮影待機状態に限らず、静止画の撮影時においても図6の電子ズーム制御を行うようにしてもよい。その場合には、予め設定可能な記録画像サイズ(最大サイズを除く)に対応する設定テーブルを用意しておき、それに基づく電子ズーム制御を行えばよい。
ここで、以上説明した本実施の形態においては、撮像信号の読み出しモードを3×3画素加算モードから2×2画素加算モードに切り替える時期と、2×2画素加算モードから全画素モードに切り替える時期とを、それぞれ必要とする画素サイズが切り出し処理のみにより確保できる電子ズーム倍率となった時点とすることにより、切り出し処理と、切り出し処理及び縮小処理とによって必要とする画素サイズを確保するようにしたが、以下のようにすることもできる。
すなわち、読み出しモードの切り替え時期を、必要とする画素サイズが切り出し処理のみにより確保できる電子ズーム倍率である時点とし、切り出し処理と、切り出し処理及び拡大処理とによって必要とする画素サイズを確保するようにしてもよい。
以下、その場合における電子ズーム制御の具体的内容について説明する。図10は、図7に対応する図である。但し、動画像の記録画素サイズが「960×720」である。なお、電子ズーム制御に際しては、図2に示した設定テーブル100と異なる図示しない設定内容の設定テーブルが使用されることとなる。
以下説明すると、図示したように電子ズーム倍率が1倍のときには、撮像信号の読み出しモードを3×3画素加算モードに設定し、1フレーム毎に内蔵メモリ14に記憶するYUV変換後の画像データすなわち撮像画像の画素サイズを「960×720」として、そのまま記録画像(フレーム画像)を取得する。以後、電子ズーム倍率が1倍から1.5倍までのズーム倍率区間では、電子ズーム倍率が増大するに従ってYUV変換後の画像に対する切り出しサイズを徐々に縮小すると同時に、切り出した画像に対する変倍率(拡大率)を徐々に増大させながら拡大処理を行うことによって必要とする画素サイズを確保する。
次に、電子ズーム倍率が1.5倍となった時点で撮像信号の読み出しモードを2×2画素加算モードに切り替え、1フレーム毎に内蔵メモリ14に記憶する撮像画像の画素サイズを「1,440×1,080」とする。この時点では電子ズーム倍率に応じた切り出しサイズが「960×720」で変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
以後、電子ズーム倍率が3倍となるまでの倍率区間においては、電子ズーム倍率が増大するに従ってYUV変換後の画像に対する切り出しサイズを徐々に縮小すると同時に、切り出した画像に対する変倍率(拡大率)を徐々に増大させながら拡大処理を行うことによって必要とする画素サイズを確保する。
次に、電子ズーム倍率が3倍となった時点で撮像信号の読み出しモードを全画素モードに切り替え、1フレーム毎に内蔵メモリ14に記憶する撮像画像の画素サイズを「2,880×2,160」とする。この時点では電子ズーム倍率に応じた切り出しサイズが「960×720」で変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
引き続き、電子ズーム倍率が3倍以上では、電子ズーム倍率が増大するに従ってYUV変換後の画像に対する切り出しサイズを徐々に縮小すると同時に、切り出した画像に対する変倍率(拡大率)を徐々に増大させながら拡大処理を行うことによって必要とする画素サイズを確保する。
また、以上のように読み出しモードの切り替え時期を、必要とする画素サイズが切り出し処理のみにより確保できる電子ズーム倍率である時点とし、切り出し処理と、切り出し処理及び拡大処理とによって必要とする画素サイズを確保する場合についても、上記処理と並行して、前述したシャープネス処理とぼかし処理とを行う。
すなわち、電子ズーム倍率100aの値が1倍から4.5倍まで変化(ズームアップ)する間に、前述したように撮像信号の読み出しモードが切り替わる電子ズーム倍率である画素加算数切替ポイント(1.5倍と3倍)を境として、画素加算数切替ポイントに達する以前(低ズーム倍率側)の所定の倍率区間においてはシャープネス処理を行うとともに、電子ズーム倍率が増大するに従ってその処理強度を徐々に増大させ、画素加算数切替ポイントにおいて強度を最大とする。また、画素加算数切替ポイントに達した以後(高ズーム倍率側)の所定の倍率区間においてぼかし処理を行うとともに、その処理強度を画素加算数切替ポイントにおいて最大として以後電子ズーム倍率が増大するに従って徐々に減少させる(図8参照)。
ここで、以上の電子ズーム制御が行われる間においては、画素加算数切替ポイントの前後において、先に説明した場合と同様にCCD3内部での画素加算数が異なることにより、撮像信号から直接得られる画像の質が不可避的に変化する。さらには、画素加算数切替ポイントでは切り出し処理及び拡大処理によって必要とする画素サイズを確保するため、それによっても撮像信号から直接得られる画像の質が変化する。
しかし、係る場合においても、画素加算数切替ポイント(1.5倍と3倍)を境とした前後の所定の電子ズーム倍率区間においてシャープネス処理とぼかし処理とを行い、かつ双方の処理強度を画素加算数切替ポイントで最大とするよう変化させるため、撮像信号から直接得られる画像において画素加算数切替ポイントの前後で画質が変化しても、電子ズーム倍率が変化する方向に関係なく、画素加算数切替ポイントの直前(直後)の画質を、違和感を生じさせることなく、その直後(直前)の画質に近づけることができる。しかも、画素加算数切替ポイントの前後における画質の低下を最小限とすることができる。
さらに、上記とは異なり、読み出しモードの切り替え時期を、その前後における双方の変倍率をできるだけ100%に近づけることができる時点とし、切り出し処理及び縮小処理(なお、電子ズーム倍率が1倍のときは縮小処理)と、切り出し処理と、切り出し処理及び拡大処理とによって必要とする画素サイズを確保するようにしてもよい。
以下、その場合における電子ズーム制御の具体的内容について説明する。図11は、図7に対応する図である。但し、動画像の記録画素サイズが「800×600」であり、また、電子ズーム制御に際しては、図2に示した設定テーブル100と異なる図示しない設定内容の設定テーブルが使用される。
以下説明すると、図示したように電子ズーム倍率が1倍のときには、撮像信号の読み出しモードを3×3画素加算モードに設定し、1フレーム毎に内蔵メモリ14に記憶するYUV変換後の画像データすなわち撮像画像の画素サイズを「960×720」とし、縮小処理のみを行うことによって必要とする画素サイズを確保する。
以後、電子ズーム倍率が1倍から1.2倍までのズーム倍率区間では、電子ズーム倍率が増大するに従ってYUV変換後の画像に対する切り出しサイズを徐々に縮小すると同時に、切り出した画像に対する変倍率を徐々に増大(縮小率を徐々に減少)させ、切り出し処理と縮小処理とを行うことによって必要とする画素サイズを確保する。そして、電子ズーム倍率が1.2倍となった時点では変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
次に、電子ズーム倍率が1.2倍から1.6倍までのズーム倍率区間では、電子ズーム倍率が増大するに従ってYUV変換後の画像に対する切り出しサイズを徐々に縮小すると同時に、切り出した画像に対する変倍率(拡大率)を徐々に増大させ、切り出し処理と拡大処理とを行うことによって必要とする画素サイズを確保する。
引き続き、電子ズーム倍率が1.6倍となった時点で撮像信号の読み出しモードを2×2画素加算モードに切り替え、1フレーム毎に内蔵メモリ14に記憶する撮像画像の画素サイズを「1,440×1,080」とするとともに、1.8倍までのズーム倍率区間では、電子ズーム倍率が増大するに従って、切り出した画像に対する切り出しサイズを徐々に縮小する切り出し処理と、変倍率を徐々に増大(縮小率を徐々に減少)させての切り出した画像に対する縮小処理とによって必要とする画素サイズを確保する。そして、電子ズーム倍率が1.8倍となった時点では変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
以後、電子ズーム倍率が1.8倍から2.6倍までのズーム倍率区間では、電子ズーム倍率が増大するに従ってYUV変換後の画像に対する切り出しサイズを徐々に縮小すると同時に、切り出した画像に対する変倍率(拡大率)を徐々に増大させ、切り出し処理と拡大処理とを行うことによって必要とする画素サイズを確保する。
引き続き、電子ズーム倍率が2.6倍となった時点で撮像信号の読み出しモードを全画素モードに切り替え、1フレーム毎に内蔵メモリ14に記憶する撮像画像の画素サイズを「2,880×2,160」とするとともに、3.6倍までのズーム倍率区間では、電子ズーム倍率が増大するに従って、YUV変換後の画像に対する切り出しサイズを徐々に縮小する切り出し処理と、変倍率を徐々に増大(縮小率を徐々に減少)させての切り出した画像に対する縮小処理とを行うことによって必要とする画素サイズを確保する。そして、電子ズーム倍率が3.6倍となった時点では変倍率が100%となるため、切り出し処理のみによって必要とする画素サイズを確保する。
以後、電子ズーム倍率が3.6倍以上では、電子ズーム倍率が増大するに従ってYUV変換後の画像に対する切り出しサイズを徐々に縮小すると同時に、切り出した画像に対する変倍率(拡大率)を徐々に増大させ、切り出し処理と拡大処理とによって必要とする画素サイズを確保する。
また、以上のように読み出しモードの切り替え時期を、その前後における双方の変倍率をできるだけ100%に近づけることができる時点とし、切り出し処理及び縮小処理(なお、電子ズーム倍率が1倍のときは縮小処理)と、切り出し処理と、切り出し処理及び拡大処理とによって必要とする画素サイズを確保する場合についても、上記処理と並行して、前述したシャープネス処理とぼかし処理とを行う。
すなわち、電子ズーム倍率100aの値が1倍から4.5倍まで変化(ズームアップ)する間に、前述したように撮像信号の読み出しモードが切り替わる電子ズーム倍率である画素加算数切替ポイント(1.6倍と2.6倍)を境として、画素加算数切替ポイントに達する以前(低ズーム倍率側)の所定の倍率区間においてはシャープネス処理を行うとともに、電子ズーム倍率が増大するに従ってその処理強度を徐々に増大させ、画素加算数切替ポイントにおいて強度を最大とする。また、画素加算数切替ポイントに達した以後(高ズーム倍率側)の所定の倍率区間においてはぼかし処理を行うとともに、その処理強度を画素加算数切替ポイントで最大として以後電子ズーム倍率が増大するに従って徐々に減少させる(図8参照)。
ここで、以上の電子ズーム制御が行われる間においても、画素加算数切替ポイントの前後においては、先に説明した場合と同様にCCD3内部での画素加算数が異なることにより、撮像信号から直接得られる画像の質が不可避的に変化する。さらには、画素加算数切替ポイントでは切り出し処理及び拡大処理によって必要とする画素サイズを確保するため、それによっても撮像信号から直接得られる画像の質が変化する。
しかし、係る場合においても、画素加算数切替ポイント(1.6倍と2.6倍)を境とした前後の所定のズーム倍率区間においてシャープネス処理とぼかし処理とを行い、かつ双方の処理強度を画素加算数切替ポイントで最大とするよう変化させるため、撮像信号から直接得られる画像において画素加算数切替ポイントの前後で画質が変化しても、電子ズーム倍率が変化する方向に関係なく、画素加算数切替ポイントの直前(直後)の画質を、違和感を生じさせることなく、その直後(直前)の画質に近づけることができる。しかも、画素加算数切替ポイントの前後における画質の低下を最小限とすることができる。
一方、以上の説明においては、画素加算数切替ポイントの前後の所定の倍率区間でシャープネス処理とぼかし処理とを行う場合について説明したが、これに限らず以下のようにしてもよい。すなわち、図12(a)に示したように、画素加算数切替ポイントの前の所定の倍率区間でのシャープネス処理のみを行うようにしたり、図12(b)に示したように、画素加算数切替ポイントの後の所定の倍率区間でのぼかし処理のみを行うようにしたりしてもよい。
その場合においても電子ズーム倍率が変化する方向に関係なく、画素加算数切替ポイントの直前(直後)の画質を、違和感を生じさせることなく、その直後(直前)の画質に近づけることができる。したがって、電子ズームを使用しているときの電子ズーム倍率の変化途中における、大きな画質変化をなくすことにより、電子ズームの質を向上させることができる。さらに、その場合においては、図12(a)、(b)に示したように画素加算数切替ポイントの近傍における処理強度の変化を急峻なものとしてもよい。
また、シャープネス処理とぼかし処理の強度を、電子ズーム倍率の変化に応じて段階的に変化させる場合について説明したが、電子ズーム倍率が無段階的(ユーザに意識されない程度)で変更可能な構成であればシャープネス処理とぼかし処理の強度についても無段階的に変化させてもよい。また、各々の処理強度を画素加算数切替ポイントで最大とすることができれば、電子ズーム倍率が複数段階変動する毎に各々の処理強度を1段階変化させるようにしてもよい。また、シャープネス処理や、ぼかし処理は画素加算数切替ポイントの前後の所定の倍率区間に限定することなく、それぞれを電子ズーム倍率が1倍のときと、最大倍率のときとを除き、同一の読み出しモードが設定されている倍率区間の全域において行うようにすることもできる。
また、ここでは、画素加算数切替ポイントの前後における画質変化のうち、主として輪郭部分が消失したり、コントラストが低下することに伴うボケ度合の変化を抑制するために、画素加算数切替ポイントの前後においてシャープネス処理とぼかし処理といった画質調整を行うものについてのみ説明したが、本発明は、これに限定されるものではない。すなわち、シャープネス処理とぼかし処理以外の所定の画質調整を画素加算数切替ポイントの前後(又はいずれか一方)において行うとともに、その強度を画素加算数切替ポイントにおいて最大とすることにより、画素加算数切替ポイントの前後に生ずるボケ度合以外の他の画質変化を抑制するようにしてもよい。
その場合についても、電子ズームを使用しているときの電子ズーム倍率の変化途中における、大きな画質変化をなくすことにより、電子ズームの質を向上させることができる。
また、先に説明した例では、電子ズーム倍率が変化する間、画素加算数切替ポイントにおいては、同一の電子ズーム倍率による処理を読み出しモードを変えて2回行うものとしたが、それを1回としてもよい。例えば、画素加算数切替ポイントでは、常に画素加算数が少ない側の読み出しモードによる処理を行うようにしたり、電子ズーム倍率がズームアップに伴い画素加算数切替ポイントとなったときには、画素加算数が少ない読み出しモードによる処理を行い、かつ電子ズーム倍率がズームダウンに伴い画素加算数切替ポイントとなったときには、画素加算数が多い側の読み出しモードによる処理を行うようにしたりしてもよい。
また、CCD3内部で画素加算が行われる撮像信号の読み出しモードが2×2画素加算モードと3×3画素加算モードの2種類であり、それらのモードを電子ズーム倍率に応じて設定する場合を説明したが、画素加算が行われる撮像信号の読み出しモードの種類は3種類以上でも構わない。また、画素加算は上記の数に限らず5×5画素加算や、水平又は垂直方向の2画素加算、3画素加算などであっても構わない。さらに、撮像信号の読み出しモード(CCD3の駆動モード)として、画素間引き数の異なる画素間引を行う間引きモードが1又は複数種用意されていたり、それと画素加算による読み出しモードとが混在して用意されていたりしており、電子ズーム倍率に応じた読み出しモードとして間引きモードが適宜設定される構成であっても構わない。
また、前述した電子ズーム制御では、電子ズーム倍率に応じた読み出しモード、切り出しサイズ、変倍率(拡大・縮小率)、画質調整の各設定内容を設定テーブル100から取得するようにしたが、それらを所定の条件演算や算術演算によって取得するものとしてもよい。
また、撮像信号に基づく画像から所定の切り出しサイズの領域を切り出す切り出し処理を、内蔵メモリ14にいったん格納したYUV変換後の画像データ(YUVデータ)に対して行うようにしたが、その切り出し処理を、撮像信号(ベイヤーデータ)に対して行ってもよい。
また、撮像素子は、撮像信号の読み出し時点での画素加算等が可能な構成であれば(撮像素子の内部で行われても、外部で行われてもよい)、CCDに限らずCMOSセンサ等の他の撮像素子であってもよい。その場合、撮像素子が、CMOSセンサのように所定の画素の電荷信号を選択的に読み出すことができる構造であれば、前述した切り出し処理を撮像信号の読み出し時点で行うようにすることができる。
また、シャープネス処理とぼかし処理とを、切り出し処理を行う以前に行う構成を示したが、それらを切り出し処理により取得した画像データに対して行う構成としてもよい。さらに、シャープネス処理とぼかし処理とを、拡大又は縮小処理を行う以前に行う構成を示したが、それらを拡大又は縮小処理を行った後の画像データに対して行う構成としてもよい。
さらに、本実施の形態においては、本発明をデジタルカメラに適用した場合について説明したが、本発明は電子ズーム機能を有しているものであれば、光学ズームの有無に関係なくデジタルビデオカメラ、カメラ付き携帯電話端末、カメラ付きPDA等の他の撮像装置にも採用することができる。
本発明に係るデジタルカメラのブロック図である。 動画撮影時における電子ズーム制御に際して使用される設定テーブルを示す概念図である。 2×2画素加算モードによる画像信号の読み出し方法を示すCCDの模式図である。 3×3画素加算モードによる画像信号の読み出し方法を示すCCDの模式図である。 (a)は、2×2画素加算モードで読み出される撮像信号からなるベイヤーデータの一部を示した概念図、(b)は3×3画素加算モードで読み出される撮像信号からなるベイヤーデータの一部を示した概念図である。 CPU13が実行する電子ズーム制御に関する処理の概略を示したフローチャートである。 動画撮影時の電子ズーム制御における具体的内容の一例を示した図である。 電子ズーム倍率が画素加算数切替ポイントの前後のズーム倍率区間で変化するときの画像のぼけ度合の変化を示した図である。 画素加算数切替ポイントの前後における画質変化の抑制効果を便宜的に示した図である。 変形例を示す図7に対応する図である。 他の変形例を示す図7に対応する図である。 他の変形例における、シャープネス処理の強度変化(a)と、ぼかし処理の強度変化(b)とを示した図である。
符号の説明
3 CCD
6 DSP部
8 拡大・縮小回路
13 CPU
14 内蔵メモリ
19 プログラムメモリ
20 記録メディア
100 設定テーブル

Claims (9)

  1. 電子ズーム機能による電子ズーム動作に際し、撮像素子から異なる画素数の画素情報からなる撮像信号を読み出すための複数の読み出しモードを電子ズーム倍率に応じて切り替えるとともに、各々の読み出しモードが設定されている間、電子ズーム倍率に応じて前記撮像信号に対するズーム処理を変更する撮像装置において、
    前記撮像素子から読み出された撮像信号に基づく画像に対して画質を調整するための画質調整処理を行う画質調整手段を備え、
    この画質調整手段は、電子ズーム倍率が前記読み出しモードが切り替わる切り替えポイントに近づくに従い、前記画質調整処理の処理強度を次第に増大させる
    ことを特徴とする撮像装置。
  2. 前記画質調整手段は、電子ズーム倍率が、同一の読み出しモードが適用されるズーム区間の一部であって、前記切り替えポイントを含む所定のズーム区間に位置する間に、前記撮像素子から読み出された撮像信号に基づく画像に対して前記画質調整処理を行うことを特徴とする請求項1記載の撮像装置。
  3. 前記画質調整手段は、前記切り替えポイントを境として隣接する双方のズーム区間のうち電子ズーム倍率が小さい側に位置するズーム区間において、前記画質調整処理の処理強度を、前記読み出しモードが切り替わる電子ズーム倍率における切り替えポイントに近づくに従い次第に増大させることを特徴とする請求項1又は2記載の撮像装置。
  4. 前記画質調整手段は、前記切り替えポイントを境として隣接する双方のズーム区間のうち電子ズーム倍率が大きい側に位置するズーム区間において、前記画質調整処理の処理強度を、前記読み出しモードが切り替わる電子ズーム倍率における切り替えポイントに近づくに従い次第に増大させることを特徴とする請求項1又は2記載の撮像装置。
  5. 前記画質調整手段は、電子ズーム倍率が、前記切り替えポイントを境として隣接する双方のズーム倍率区間に位置する間に、前記画質調整処理を前記撮像信号に基づく画像に対してそれぞれ行うとともに、
    電子ズーム倍率が前記双方のズーム倍率区間の一方に位置する間に前記画質調整手段により行われる前記画質調整処理と、電子ズーム倍率が前記双方のズーム倍率区間の他方に位置する間に前記画質調整手段により行われる前記画質調整処理とは、画質の調整内容が相反する処理である
    ことを特徴とする請求項1又は2記載の撮像装置。
  6. 前記画質調整手段により行われる前記撮像信号に基づく画像に対する前記画質調整処理は、輪郭部分の強度の調整効果を含む処理であることを特徴とする請求項1乃至5いずれか記載の撮像装置。
  7. 前記複数の読み出しモードには、画素加算読み出しモード又は画素間引き読み出しモードの少なくともいずれか一方が含まれることを特徴とする請求項1乃至6いずれか記載の撮像装置。
  8. 電子ズーム機能による電子ズーム動作に際し、撮像素子から異なる画素数の画素情報からなる撮像信号を読み出すための複数の読み出しモードを電子ズーム倍率に応じて切り替えるとともに、各々の読み出しモードが設定されている間、電子ズーム倍率に応じて前記撮像信号に対するズーム処理を変更する撮像装置における電子ズーム方法であって、
    前記撮像素子から読み出された撮像信号に基づく画像に対して画質を調整するための画質調整処理を行うとともに、電子ズーム倍率が前記読み出しモードが切り替わる切り替えポイントに近づくに従い、前記画質調整処理の処理強度を次第に増大させる
    ことを特徴とする電子ズーム方法。
  9. 電子ズーム機能による電子ズーム動作に際し、撮像素子から異なる画素数の画素情報からなる撮像信号を読み出すための複数の読み出しモードを電子ズーム倍率に応じて切り替えるとともに、各々の読み出しモードが設定されている間、電子ズーム倍率に応じて前記撮像信号に対するズーム処理を変更する撮像装置が有するコンピュータに、
    前記撮像素子から読み出された撮像信号に基づく画像に対して画質を調整するための画質調整処理を行うための処理と、
    電子ズーム倍率が前記読み出しモードが切り替わる切り替えポイントに近づくに従い、前記画質調整処理の処理強度を次第に増大させるための処理と
    を実行させるプログラム。
JP2006118507A 2006-04-21 2006-04-21 撮像装置及び電子ズーム方法と、プログラム Expired - Fee Related JP4655991B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006118507A JP4655991B2 (ja) 2006-04-21 2006-04-21 撮像装置及び電子ズーム方法と、プログラム
US11/787,798 US7733389B2 (en) 2006-04-21 2007-04-18 Image capturing apparatus having electronic zoom function
PCT/JP2007/058998 WO2007123261A1 (en) 2006-04-21 2007-04-19 Image capturing apparatus and electronic zoom method
KR1020077029705A KR100917088B1 (ko) 2006-04-21 2007-04-19 촬상 장치 및 전자 줌 방법
CN2007800005925A CN101326816B (zh) 2006-04-21 2007-04-19 摄像设备和电子变焦方法
TW096113877A TWI339985B (en) 2006-04-21 2007-04-20 Image capturing apparatus and electronic zoom
HK09103617.8A HK1123914A1 (en) 2006-04-21 2009-04-20 Image capturing apparatus and electronic zoom method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006118507A JP4655991B2 (ja) 2006-04-21 2006-04-21 撮像装置及び電子ズーム方法と、プログラム

Publications (2)

Publication Number Publication Date
JP2007295129A true JP2007295129A (ja) 2007-11-08
JP4655991B2 JP4655991B2 (ja) 2011-03-23

Family

ID=38353760

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006118507A Expired - Fee Related JP4655991B2 (ja) 2006-04-21 2006-04-21 撮像装置及び電子ズーム方法と、プログラム

Country Status (7)

Country Link
US (1) US7733389B2 (ja)
JP (1) JP4655991B2 (ja)
KR (1) KR100917088B1 (ja)
CN (1) CN101326816B (ja)
HK (1) HK1123914A1 (ja)
TW (1) TWI339985B (ja)
WO (1) WO2007123261A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010062671A (ja) * 2008-09-01 2010-03-18 Canon Inc 撮像装置およびその制御方法、プログラム
JP2010098577A (ja) * 2008-10-17 2010-04-30 Canon Inc 撮像装置およびその制御方法
JP2013106351A (ja) * 2011-11-10 2013-05-30 Delaware Capital Formation Inc Pcbの素子を配列するカメラシステム
JP2014518049A (ja) * 2011-05-24 2014-07-24 クゥアルコム・インコーポレイテッド 画像キャプチャパラメータに基づくビデオ符号化の制御
WO2016002447A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置
US10178406B2 (en) 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
JP2022091853A (ja) * 2016-10-21 2022-06-21 テクスマーク・ゲーエムベーハー・フェアトリープスゲゼルシャフト 帯状材料観察および帯状材料検査のための方法および装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4433981B2 (ja) 2004-10-29 2010-03-17 ソニー株式会社 撮像方法および撮像装置
JP4569441B2 (ja) * 2005-10-26 2010-10-27 カシオ計算機株式会社 コード読取装置及びプログラム
US20090033774A1 (en) * 2007-07-31 2009-02-05 Nikon Corporation Imaging device
JP5171287B2 (ja) * 2008-01-26 2013-03-27 三洋電機株式会社 データ処理装置
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
US8155479B2 (en) 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
KR20100064533A (ko) 2008-12-05 2010-06-15 삼성전자주식회사 카메라를 이용한 문자 크기 자동 조절 장치 및 방법
FR2940840B1 (fr) * 2009-01-07 2012-06-01 Michel Henri Hilaire Mazier Procede de recadrage-image en cours d'enregistrement video, sans interruption de l'image et du son grace au pre-parametrage des cadrages selon l'echelle des plans filmiques
JP5101544B2 (ja) * 2009-02-13 2012-12-19 富士通株式会社 撮影装置、撮影方法、撮影プログラム及び携帯端末装置
EP2267654A1 (en) * 2009-06-23 2010-12-29 Research in Motion Limited Adjustment of sharpness during digital zoom in digital photography
JP2011114788A (ja) * 2009-11-30 2011-06-09 Sanyo Electric Co Ltd 撮像装置、および、撮像方法
JP2012160864A (ja) * 2011-01-31 2012-08-23 Sanyo Electric Co Ltd 撮像装置
US8462231B2 (en) 2011-03-14 2013-06-11 Mark E. Nusbaum Digital camera with real-time picture identification functionality
JP5953187B2 (ja) * 2011-10-11 2016-07-20 オリンパス株式会社 合焦制御装置、内視鏡システム及び合焦制御方法
FR3016989B1 (fr) 2014-01-29 2016-01-15 St Microelectronics Grenoble 2 Procede de transformation combinee de l'echelle et du rapport d'aspect d'une image
JPWO2016006440A1 (ja) * 2014-07-08 2017-05-25 ソニー株式会社 フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置
US9717417B2 (en) 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
CN107205624B (zh) 2014-10-29 2019-08-06 光谱Md公司 用于组织分类的反射式多光谱时间分辨光学成像方法和装备
US9445007B1 (en) 2015-02-25 2016-09-13 Qualcomm Incorporated Digital zoom methods and systems
CN106657780B (zh) * 2016-12-16 2020-06-02 北京小米移动软件有限公司 图像预览方法和装置
US20220240783A1 (en) 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
CN113260835A (zh) 2018-12-14 2021-08-13 光谱Md公司 用于高精度多孔径光谱成像的系统和方法
US10740884B2 (en) 2018-12-14 2020-08-11 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
EP3893733A4 (en) 2018-12-14 2022-10-12 Spectral MD, Inc. MACHINE LEARNING SYSTEMS AND METHODS FOR WOUND ASSESSMENT, HEALING PREDICTION AND TREATMENT
US10783632B2 (en) 2018-12-14 2020-09-22 Spectral Md, Inc. Machine learning systems and method for assessment, healing prediction, and treatment of wounds
CN113132614B (zh) * 2019-12-31 2023-09-01 中兴通讯股份有限公司 一种摄像头光学变焦电子装置、方法、单元及存储器

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261238A (ja) * 1993-03-05 1994-09-16 Canon Inc 撮像装置
JP2001086391A (ja) * 1999-09-10 2001-03-30 Sony Corp 撮像装置
JP2004072278A (ja) * 2002-08-02 2004-03-04 Canon Inc 撮像装置およびその制御方法
JP2004096611A (ja) * 2002-09-03 2004-03-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2004172845A (ja) * 2002-11-19 2004-06-17 Canon Inc 撮像装置
JP2005191867A (ja) * 2003-12-25 2005-07-14 Olympus Corp 撮像装置及び電子ズーミング方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838371A (en) 1993-03-05 1998-11-17 Canon Kabushiki Kaisha Image pickup apparatus with interpolation and edge enhancement of pickup signal varying with zoom magnification
CN100448286C (zh) * 2002-11-25 2008-12-31 卡西欧计算机株式会社 图像信号产生单元、数码相机以及图像信号产生方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261238A (ja) * 1993-03-05 1994-09-16 Canon Inc 撮像装置
JP2001086391A (ja) * 1999-09-10 2001-03-30 Sony Corp 撮像装置
JP2004072278A (ja) * 2002-08-02 2004-03-04 Canon Inc 撮像装置およびその制御方法
JP2004096611A (ja) * 2002-09-03 2004-03-25 Matsushita Electric Ind Co Ltd 撮像装置
JP2004172845A (ja) * 2002-11-19 2004-06-17 Canon Inc 撮像装置
JP2005191867A (ja) * 2003-12-25 2005-07-14 Olympus Corp 撮像装置及び電子ズーミング方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010062671A (ja) * 2008-09-01 2010-03-18 Canon Inc 撮像装置およびその制御方法、プログラム
US8687093B2 (en) 2008-09-01 2014-04-01 Canon Kabushiki Kaisha Image sensing apparatus, control method thereof, and storage medium
US8964068B2 (en) 2008-09-01 2015-02-24 Canon Kabushiki Kaisha Image sensing apparatus, control method thereof, and storage medium
JP2010098577A (ja) * 2008-10-17 2010-04-30 Canon Inc 撮像装置およびその制御方法
US10178406B2 (en) 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
JP2014518049A (ja) * 2011-05-24 2014-07-24 クゥアルコム・インコーポレイテッド 画像キャプチャパラメータに基づくビデオ符号化の制御
JP2013106351A (ja) * 2011-11-10 2013-05-30 Delaware Capital Formation Inc Pcbの素子を配列するカメラシステム
US9265186B2 (en) 2011-11-10 2016-02-16 Delaware Capital Formation, Inc. Camera system for aligning components of a PCB
WO2016002447A1 (ja) * 2014-07-03 2016-01-07 ソニー株式会社 フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置
JPWO2016002447A1 (ja) * 2014-07-03 2017-05-25 ソニー株式会社 フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置
JP2022091853A (ja) * 2016-10-21 2022-06-21 テクスマーク・ゲーエムベーハー・フェアトリープスゲゼルシャフト 帯状材料観察および帯状材料検査のための方法および装置
JP7311665B2 (ja) 2016-10-21 2023-07-19 テクスマーク・ゲーエムベーハー・フェアトリープスゲゼルシャフト 帯状材料観察および帯状材料検査のための方法および装置

Also Published As

Publication number Publication date
US20070257996A1 (en) 2007-11-08
JP4655991B2 (ja) 2011-03-23
KR20080016657A (ko) 2008-02-21
CN101326816A (zh) 2008-12-17
CN101326816B (zh) 2010-11-03
US7733389B2 (en) 2010-06-08
TWI339985B (en) 2011-04-01
HK1123914A1 (en) 2009-06-26
WO2007123261A1 (en) 2007-11-01
TW200746808A (en) 2007-12-16
KR100917088B1 (ko) 2009-09-15

Similar Documents

Publication Publication Date Title
JP4655991B2 (ja) 撮像装置及び電子ズーム方法と、プログラム
EP3429189B1 (en) Dual image capture processing
JP5983616B2 (ja) 撮像装置、撮像方法及びプログラム
JP5043635B2 (ja) 撮像装置
JP2007251860A (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
JP2006345054A (ja) 画像撮像装置
JP2006352715A (ja) デジタルカメラ、及びその露出制御方法
JP4435228B2 (ja) 撮像装置、およびその制御方法
JP5092536B2 (ja) 画像処理装置及びそのプログラム
JP2006345055A (ja) 画像撮像装置
JP2007336257A (ja) フォーカスアシスト機能付撮像装置
JP4759488B2 (ja) 撮像装置
JP5673137B2 (ja) 撮像装置および撮像方法
JP4836500B2 (ja) デジタルカメラ、及びその画像処理方法
JP5956813B2 (ja) 画像処理装置およびその制御方法
JP2017201749A (ja) 画像処理装置およびその制御方法
JP2006352716A (ja) 撮像装置及び撮像方法
JP4816129B2 (ja) 画像処理装置及び撮像装置
JP4987800B2 (ja) 撮像装置
US11310442B2 (en) Display control apparatus for displaying image with/without a frame and control method thereof
JP6087720B2 (ja) 撮像装置及びその制御方法
JP4940291B2 (ja) 撮像装置、およびその制御方法
JP2007142908A (ja) 撮像装置及び撮像方法
JP2004088510A (ja) ズーム処理装置およびズーム処理方法
JP2005080198A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4655991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees