JP2006186594A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2006186594A
JP2006186594A JP2004377242A JP2004377242A JP2006186594A JP 2006186594 A JP2006186594 A JP 2006186594A JP 2004377242 A JP2004377242 A JP 2004377242A JP 2004377242 A JP2004377242 A JP 2004377242A JP 2006186594 A JP2006186594 A JP 2006186594A
Authority
JP
Japan
Prior art keywords
color
unit
image
conversion
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004377242A
Other languages
English (en)
Other versions
JP2006186594A5 (ja
JP4471373B2 (ja
Inventor
Kenji Takahashi
賢司 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004377242A priority Critical patent/JP4471373B2/ja
Priority to EP05257678A priority patent/EP1675063A3/en
Priority to US11/313,608 priority patent/US20060139669A1/en
Priority to CN2005100230907A priority patent/CN1812478B/zh
Priority to KR1020050130355A priority patent/KR100797113B1/ko
Publication of JP2006186594A publication Critical patent/JP2006186594A/ja
Publication of JP2006186594A5 publication Critical patent/JP2006186594A5/ja
Application granted granted Critical
Publication of JP4471373B2 publication Critical patent/JP4471373B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/622Retouching, i.e. modification of isolated colours only or in isolated picture areas only with simulation on a subsidiary picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】撮像装置の限られたユーザインターフェースでも変換元色と変換目標色を自由、明瞭且つ容易に設定可能とし、撮影時における所望の色変換を簡易な操作で実現可能とする。
【解決手段】撮像部と、撮像部で得られた画像データを処理する画像処理部と、画像処理部より出力される画像データを記録する記録部とを備えた撮像装置において、撮像部によって撮像され、画像処理部より出力される画像データに基づいて画像を表示する電子ビューファインダが表示される(S402〜S407)。この電子ビューファインダに表示中の画像の所定領域に含まれる色情報に基づいて変換元色が決定される(S408〜S410)。また、別のタイミングで、電子ビューファインダに表示中の画像の所定領域に含まれる色情報に基づいて変換目標色が決定される(S411〜S413)。そして、決定された変換元色を決定された変換目標色に変換するように画像処理部のパラメータが設定される(S414,S415)。
【選択図】 図4

Description

本発明は色のユーザカスタマイズを可能とする撮像装置及びその制御方法に関する。
近年、デジタルカメラが普及し、多くのユーザがデジタルカメラを使用する機会が増えている。このため、デジタルカメラに対するユーザのニーズもより多様化してきている。そのようなニーズの一つとして色再現性がある。メーカが目標とする色再現特性は多くのユーザが好ましいと感じる平均的な色再現を目指している。しかしながら、ユーザ毎に好みは異なるため、すべてのユーザが満足するような色再現性を実現することはできなかった。
このような課題を解決するために、色相、彩度、明度等のパラメータをカスタマイズすることを可能とし、撮影時においてユーザが所望する色再現性を実現可能とするデジタルカメラが存在する。しかしながら、これらパラメータの変化と色の変化の関係をユーザに示すことは困難なため、最適な設定をするにはユーザの熟練を必要としていた。
ユーザにわかりやすく色を調整させるための方法に関する提案としては、特許文献1矢特許文献2が挙げられる。特許文献1には画像のレタッチ処理において画像中の所望のソース色を指示するとともに、変換先の目標色として所望の色を指示することにより、指示されたソース色が指示された目標色に変換されるような色変換処理を実行する構成が記載されている。また、特許文献2では、撮像装置で変更したい元色として肌色を取り込み、その取り込んだ肌色とROMに記憶された肌色再現目標値とに基づいて色補正係数を算出する構成が記載されている。
特開2004−129226号公報 特開2003−299115号公報
しかしながら、特許文献1は画像のレタッチ処理に関するものであり、撮像装置における撮影時の色変換処理を設定するものではない。また、カーソルによるソース色及び目標色の指定が必要である等、撮像装置のような限られたユーザインターフェースでの色変換処理に不向きである。また、特許文献2では、予めROMに記憶された数種類の目標色の中からユーザが所望の目標色を選ぶ。すなわち、目標色は数種類に制限され、自由な色変換を実現するものではない。また、目標色は画像としてユーザに提示されないので、ユーザはどのような色に変換されるのかを知ることが困難である。
本発明は上記の課題に鑑みてなされたものであり、撮像装置の限られたユーザインターフェースでも変換元色と変換目標色を自由、明瞭且つ容易に設定可能とし、撮影時における所望の色変換を簡易な操作で実現可能とすることを目的とする。
上記課題を解決するための本発明による撮像装置は以下の構成を備える。即ち、
撮像手段と、前記撮像手段で得られた画像データを処理する画像処理手段と、前記画像処理手段より出力される画像データを記録する記録手段とを備えた撮像装置であって、
前記撮像手段によって撮像され、前記画像処理手段より出力される画像データに基づいて電子ビューファインダ画面を表示する表示手段と、
前記電子ビューファインダ画面に表示中の画像の所定領域に含まれる色情報に基づいて第1の色値を決定する第1決定手段と、
前記第1決定手段とは異なるタイミングで、前記電子ビューファインダ画面に表示中の画像の所定領域に含まれる色情報に基づいて第2の色値を決定する第2決定手段と、
前記第1の色値を前記第2の色値に変換するように前記画像処理手段のパラメータを設定する設定手段とを備える。
上記構成によれば、撮像装置の限られたユーザインターフェースでも変換元色と変換目標色を自由、明瞭且つ容易に設定することが可能となり、撮影時における所望の色変換を簡易な操作で実現できる。
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
<第1実施形態>
図1は、本実施形態による撮像装置100(本例ではデジタルカメラとする)の構成例を示す図である。実空間の像は撮影レンズ101と、絞り機能を備えるシャッター102とを経て、光学像を電気信号に変換する撮像素子103上に結像される。A/D変換部105は撮像素子103から出力されるアナログ信号をディジタル信号に変換する。タイミング発生部106は、メモリ制御部108及びシステム制御部109により制御され、撮像素子103、A/D変換部105及びD/A変換部107にクロック信号や制御信号を供給する。
画像処理部110は、A/D変換部105からのデータ或いはメモリ制御部108からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部110は、撮像した画像データを用いて所定の演算処理を行う。システム制御部109は画像処理部110の演算結果に基づいて露光制御部111や測距制御部112を制御し、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理を行っている。さらに、画像処理部110は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
メモリ制御部108は、A/D変換部105、タイミング発生部106、D/A変換部107、画像処理部110、画像表示メモリ113、メモリ114、圧縮・伸長部115を制御する。A/D変換部105から出力されたデータは画像処理部110とメモリ制御部108を介して、或いはメモリ制御部108のみを介して、画像表示メモリ113或いはメモリ114に書き込まれる。なお、画像表示メモリ113に画像データを書き込む際には、画像表示部116が備える表示器の解像度に応じて間引きされて書き込まれる。画像表示メモリ113に書き込まれた表示用の画像データはD/A変換部107を介して画像表示用のアナログ信号となり、画像表示部116により表示される。画像表示部116はTFTLCD等で構成される。なお、画像表示部116を用いて撮像した画像データを逐次表示すれば、所謂電子ビューファインダ機能を実現することが可能である。画像表示部116は、システム制御部109の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には撮像装置100の電力消費を大幅に低減することが出来る。
メモリ114は撮影した静止画像や動画像を格納するためのメモリである。メモリ114は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ114に対して行うことが可能となる。また、メモリ114はシステム制御部109の作業領域としても使用することが可能である。
圧縮・伸長部115は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する。圧縮・伸長部115はメモリ114に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ114に書き込む。
露光制御部111は、絞り機能を備えるシャッター102を制御し、フラッシュ117と連携することによりフラッシュ調光機能も有する。測距制御部112は、撮影レンズ101のフォーカシングを制御する。ズーム制御部118は撮影レンズ101のズーミングを制御する。バリア制御部119は、保護部151の動作を制御する。保護部151は、撮像装置100のレンズ101、シャッター102、撮像素子103を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである。一般には、保護部151はレンズ101の保護を主たる目的とする。フラッシュ117は、AF補助光の投光機能、フラッシュ調光機能を有する。露光制御部111、測距制御部112はTTL方式を用いて制御されている。すなわち、撮像により得られた画像データを画像処理部110によって演算した演算結果に基づき、システム制御部109が露光制御部111と測距制御部112に対して制御を行っている。システム制御部109は撮像装置100の全体の制御を司る。メモリ120は、システム制御部109の動作用の定数、変数、プログラム等を記憶する。
表示部121は、システム制御部109でのプログラムの実行に応じて、文字や画像により動作状態やメッセージ等を提示する液晶表示装置(LDC)やLED等である。なお、表示部121は、動作上体やメッセージの一部を提示するための音声やブザー音等を出力可能なスピーカ或いは圧電ブザー(発音素子)等を含んでもよい。表示部121は、撮像装置100の操作部近辺の視認し易い位置に単数或いは複数個所設置されてもよい。また、表示部121は、その一部の機能が光学ファインダ104内に設置されている。
表示部121の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体122及び123の着脱状態表示、通信I/F動作表示、日付け・時刻表示、等がある。また、表示部121の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。
不揮発性メモリ124は電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。125、126、127、128、129及び130は、システム制御部109の各種の動作指示を入力するための操作部を示している。これらの操作部はスイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等のいずれか或いはそれらのうちの複数の組み合わせで構成される。これらの操作部について、以下に具体的に説明する。
モードダイアルスイッチ125は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを切り替え設定するためのスイッチである。シャッタースイッチ126は、シャッターボタン(図2の203)の操作途中(シャッターボタンの半押し)で信号SW1を出力し、シャッターボタンの操作完了(シャッターボタンの全押し)で信号SW2を出力する。信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始が指示される。また、信号SW2により、一連の撮影処理の動作開始が指示される。撮影処理では、撮像素子102から読み出した信号をA/D変換部105でデジタル変換し(露光処理)、メモリ制御部108を介してメモリ114に画像データ(RAWデータ)として書き込む、露光処理された信号を画像処理部110やメモリ制御部108で演算処理(現像処理)してメモリ114に書き込む、メモリ114から画像データを読み出して圧縮・伸長部115で圧縮を行い、記録媒体122或いは123に書き込む(記録処理)という一連の処理が行なわれる。
画像表示ON/OFFスイッチ128は、画像表示部116のON/OFFを設定する。この機能により、光学ファインダ104を用いて撮影を行う際に、TFTLCD等から成る画像表示部116への電源供給を遮断することができ、省電力を図ることが可能となる。クイックレビューON/OFFスイッチ129は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能のON/OFFを設定する。なお画像表示部116をOFFとした場合におけるクイックレビュー機能(画像表示をOFFにした場合においても撮像された画像をレビュー可能とする)の設定をする機能を備えるものとする。
操作部130は各種ボタンやタッチパネル等を含み、1つのスイッチまたは複数のスイッチの組み合わせにより各種操作指示ボタンとして機能する。このような操作指示としては、例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、画像削除ボタン、画像削除取消しボタン等があげられる。
電源制御部131は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部131は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部109の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。電源部134は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプタ等から構成される。電源部134は、コネクタ132、133を介して電源制御部131に接続される。
インターフェース135、136はメモリカードやハードディスク等の記録媒体と撮像装置100内のバスとを接続する。メモリカードやハードディスク等の記録媒体とインターフェース135、136との接続はコネクタ137、138を介してなされる。記録媒体着脱検知部139はコネクタ137及び/またはコネクタ138に記録媒体122及び/またはコネクタ123が装着されているか否かを検知する。
なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。このようなインターフェース及びコネクタとしては、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。
さらに、インタフェース135及び136、そしてコネクタ137及び138をPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことを可能とすることが出来る。
光学ファインダ104は、画像表示部116による電子ビューファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことを可能とする。また、上述したように、光学ファインダ104内には表示部121の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。
通信部110は、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。接続部112は通信部110により撮像装置100を他の機器と接続するためのコネクタである。或いは無線通信の場合は、接続部112はアンテナである。
記録媒体122、123は、半導体メモリや磁気ディスク等から構成される記録部139、142と、撮像装置100とのインタフェース140、143、撮像装置100と接続を行うコネクタ141、144を備えている。
図2は、撮像装置100(デジタルカメラ)の斜視図である。電源スイッチ201は電源をON/OFFするためのボタンである。参照番号202、205〜209は上述した操作部130の一部を構成している。モード切り替えレバー202は、撮影モード、再生モード、動画撮影モード、静止画撮影モード等の各機能モードを切り替え設定する。シャッターボタン203は上述のシャッタースイッチ126として機能する。LCD204は上述した画像表示部116の一部を構成し、電子ビューファインダとして機能するほか、静止画像及び/または動画像を再生して得られる画面を表示する。メニューボタン205は、撮影パラメタやカメラの設定を変更するためのメニュー画面をON、OFFさせるスイッチである。セットボタン206は、メニューボタン205の操作により表示されたメニュー画面でのメニューの選択・決定等に使用する。削除ボタン207は画像の削除を指定する。ディスプレイボタン208は上述の画像表示ON/OFFスイッチ128を構成し、LCD204における表示の有無を切り替えるためのボタンである。十字ボタン209は、この上下左右ボタンを使ってメニュー画面での項目の移動などを行ったり、再生モードでは左右ボタンを押して画像送りを行ったりするのに使用され得る。
図3は本実施形態によるディジタルカメラ100内の画像処理部110の処理を説明するブロック図である。なお、以下で説明する各処理に用いられるパラメータ値(マトリクス演算のためのパラメータや3次元ルックアップテーブルのパラメータ)はメモリ120に格納されており、画像処理部110により適宜読み出される。A/D変換部105によりA/D変換されたCCDデジタル信号に対して、まずホワイトバランス処理部301にてホワイトバランス処理が行われる。ホワイトバランス処理についてはここでは説明しないが、例えば特開2003−244723号公報に記載されている方法を用いて行うことができる。ホワイトバランス処理が行われたCCDデジタル信号は補間処理部302に供給される。本実施形態の撮像素子103は図5に示すようなベイヤー配列のカラーフィルタを有するものとする。従って、補間処理部302では、図5に示されたCCDのベイヤー配列データを図6に示されるようなR、G1、G2、Bの補間データに変換する処理が行なわれる。補間されたCCDデジタル信号はマトリクス演算処理部303に入力され、式(1)に示される4×3のマトリクス演算が行われ、Rm、Gm、Bmが求められる。
Figure 2006186594
マトリクス演算処理されたCCDデジタル信号は色差ゲイン演算処理部304において色差信号にゲインがかけられる。即ち、Rm、Gm、Bm信号は式(2)に従ってY、Cr、Cb信号へと変換される。そして、得られたCr、Cb信号に式(3)に従ってゲインがかけられる。その後、式(4)(式(2)の逆行列演算)により、Rg、Gg、Bg信号へと変換される。
Figure 2006186594
色差ゲイン演算処理されたCCDデジタル信号はガンマ処理部305へ送られる。ガンマ処理部305では以下の式(5)〜(7)を用いてCCDデジタル信号のガンマ変換を行なう。ここで、GammaTableは1次元ルックアップテーブルである。
Rt=GammaTable[Rg] …式(5)
Gt=GammaTable[Gg] …式(6)
Bt=GammaTable[Bg] …式(7)。
上記ガンマ処理が施されたCCDデジタル信号は色相補正演算処理部306へ送られる。色相補正演算処理部306は、以下の式(8)によりRt、Gt、Bt信号をY、Cr、Cb信号へ変換し、さらに式(9)によりCr、Cb、信号を補正し、その後、式(10)(式(9)の逆行列演算)により、Rh、Gh、Bh信号へ変換する。
Figure 2006186594
色相補正演算処理部306で処理されたCCDデジタル信号は色差信号変換処理部307へと送られる。色差信号変換処理部307は、式(11)を用いてRh、Gh、Bh信号よりUV信号を作成する。
Figure 2006186594
一方、ホワイトバランス処理部301でホワイトバランス処理が施されたCCDデジタル信号は、輝度信号作成部308にも供給される。輝度信号作成選択部308は、CCDデジタル信号を輝度信号へと変換する。例えば、図5に示すような原色フィルタの場合の輝度信号は、R、Bの信号をすべて0にして、図7に示す係数を持つ2次元フィルタ処理を施したものを輝度信号とする。なお、補色フィルタの場合の輝度信号はそのまま図7に示す係数を持つ2次元フィルタ処理を施したものを輝度信号とする。補色輝度信号処理部308で作成された輝度信号は高域強調処理部309にてエッジ強調処理され、さらにガンマ処理部310にてガンマ変換処理されてY信号が作成される。
ガンマ処理部310から出力されるY信号および、色差信号変換処理部307から出力されるU,V信号は色変換処理部311にて、Y’、U’、V’信号へと変換される。色変換処理部311では、3次元ルックアップテーブルを用いた変換処理がなされるが、詳細は後述する。
本実施形態のデジタルカメラ(撮像装置100)は、ユーザが指定した任意の色を、ユーザが指定した別の任意の色へ変換が可能な撮影モード(以下、色変換モードという)を有する。この色変換モードでは、LCD204上に図8に示す電子ビューファインダ(EVF)画面801を表示し、リアルタイムに表示される撮像画像中の色取り込み枠802内に所望の色が入るようにして所定の操作を行なうことにより、色取り込み枠802内の画像の色を変換元色或いは変換目標色として決定する。変換元色と変換目標色が決定されると、決定された変換元色が変換目標色に変換されるように色変換処理部311のルックアップテーブルが設定される。この結果、その後のEVF画面801における表示画像、及びシャッターボタン203の操作により記録される撮影画像は、上記変換元色が上記変換目標色になるように変換されたものとなる。以下、本実施形態の色変換モードについて詳細に説明する。
まず、色変換モードにおける変換元色から変換目標色への色変換処理について説明する。色変換処理部311では、3次元ルックアップテーブルによりYUVをY’U’V’へ変換する。本実施形態においては、3次元ルックアップテーブルの容量を減らすため、Y信号、U信号、及びV信号の最小値から最大値までを8分割した、9×9×9=729個の3次元代表格子点におけるYUV値のリスト(ルックアップテーブル)を用意し、代表格子点以外のYUV信号は補間により求めるものとする。図9は本実施形態の3次元ルックアップテーブルを概念的に示す図である。各格子点には変換後のYUV値が入ることになる。例えば、格子点1101は、(32,255,32)の点であり、変換前と変換後に変化がなければ格子点1101には(32,255,32)が割り当てられることになる。また、格子点1101が変換後では(32,230,28)のようになるのであれば、その値が当該格子点1101に入ることになる。
例えば、図9の立方格子1102内における点1103のYUV値は、立方格子1102の頂点に対応する各格子点(a〜h)のYUV値からの補間演算により求める。補間演算は以下の式(12)〜式(14)により行われる。ただし、式(12)〜式(14)において、入力YUV信号をY、U、V、そのときの出力YUV信号をYout(Y,U,V)、Uout(Y,U,V)、Vout(Y,U,V)とする。また、入力YUV信号のY、U、Vそれぞれの信号値より小さく、かつ一番近い値の代表格子点(図11ではa)の信号をYi、Ui、Viとする。さらに、代表格子点出力信号をYout(Yi,Ui,Vi)、Uout(Yi,Ui,Vi)、Vout(Yi,Ui,Vi)とし、代表格子点のステップ幅をStep(本実施形態においては32)とする。従って、例えば格子点bの信号はYi+step、Ui、Vi、格子点cの信号はYi、Ui+step、Viのようになる。
Y=Yi+Yf
U=Ui+Uf
V=Vi+Vf
Yout(Y,U,V)=Yout(Yi+Yf,Ui+Uf,Vi+Vf)=
(Yout(Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Yout(Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Yout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Yout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Yout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Yout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Yout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式(12)
Uout(Y,U,V)=Uout(Yi+Yf,Ui+Uf,Vi+Vf)=
(Uout (Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Uout (Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Uout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Uout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Uout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Uout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Uout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式(13)
Vout(Y,U,V)=Vout(Yi+Yf,Ui+Uf,Vi+Vf)=
(Vout(Yi,Ui,Vi)×(Step-Yf)×(Step-Uf)×(Step-Vf)
+Vout(Yi+Step,Ui,Vi)×(Yf)×(Step-Uf)×(Step-Vf)
+Vout(Yi,Ui+Step,Vi)×(Step-Yf)×(Uf)×(Step-Vf)
+Vout(Yi,Ui,Vi+Step)×(Step-Yf)×(Step-Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi)×(Yf)×(Uf)×(Step-Vf)
+Vout(Yi+Step,Ui,Vi+Step)×(Yf)×(Step-Uf)×(Vf)
+Vout(Yi,Ui+Step,Vi+Step)×(Step-Yf)×(Uf)×(Vf)
+Vout(Yi+Step,Ui+Step,Vi+Step)×(Yf)×(Uf)×(Vf))/(Step×Step×Step)
…式(14)。
以下、上記式(12)、式(13)、及び式(14)のルックアップテーブル変換及び補間演算式を簡易的に以下のような式(15)で表すことにする。ただし、式(15)において、Y、U、Vは入力信号値を示し、LUTは図9に示すような9×9×9のルックアップテーブルを示し、Yout、Uout、Voutはルックアップテーブル変換及び補間演算した結果(図3のY’,U’,V’)を示す。即ち、色変換処理部311は以下の式(15)に示される変換処理を実行する。
(Yout,Uout,Vout)=LUT[(Y,U,V)] …式(15)。
上述したように、色変換モードで変換元色と変換目標色が決定されると、変換元色を内包する立方格子が決定され、変換元色の座標位置で変換目標色となるようにその立方格子を形成する各格子点の値を変更する。例えば、図9において決定された変換元色が点1103のYUV値であった場合、上記式(15)による補間処理を実行した際に点1103におけるYUV値が設定された変換目標色のYUV値となるように、立方格子1102の格子点a〜hの値を変更する。詳細な説明は省略するが、変更後の代表格子点の値は数学的に求まる。そして、色変換処理部311では変更後の3次元ルックアップテーブルを用いて色変換処理を実行する。なお、以下の説明では、このような格子点の値の変更をパラメータの設定と称する。
以上のように、指定された変換元色と変換目標色により3次元ルックアップテーブルの格子点データを決定して色変換を行なうので、ユーザの好みの色設定を、再生する画像に対して容易に与えることができる。また、上記の色変換処理では、3次元ルックアップテーブルにおいて、変更したい色の近傍の代表格子点のみが変更される。このため、画像中の色全体ではなく、一部の色のみをユーザの好みの色へと変換することを容易且つ高速に実現することができる。即ち、マトリクス演算部303、色差ゲイン演算処理部304、ガンマ処理部305、色相補正演算処理部306等で利用されるパラメータを変更するものではないので、所望の色(色領域)だけを変更することができる。
図4は、色変換モード撮影時における本実施形態のデジタルカメラの処理を説明するフローチャートである。なお、色変換モード以外の通常の撮影モードは一般的なデジタルカメラにおける動作と違いがない為、ここでは色変換モードについての説明に限定する。
ユーザがデジタルカメラの撮影モードを色変換モードに設定すると、ステップS401において前回の色変換モードにて設定された前回の設定パラメータが色変換処理部311のパラメータとして設定される。なお、ステップS401において前回の設定パラメータを設定するのは、ユーザによっては、色変換モードを常にA色をB色に変換するために使用する(例えばある空の色を異なる空の色)ことが考えられるためである。この場合、前回の変換元色と変換目標色をそれぞれ変換元色表示枠803及び変換目標色表示枠804に表示するのが好ましい。ステップS402においてシステム制御部109は露出制御開始タイミングか否かを判定する。露出制御開始タイミングであればステップS403において露光制御部111により露出処理を行なう。この露出処理はEVFに表示するための露出設定である。この露出処理を頻繁に実行すると画面のちらつきの原因となるため、その実行間隔は時定数により設定されている。例えば、2秒に1回の割合で露出処理が行われるように設定されている。従って、この間隔でステップS402における判定が肯定となり、ステップS403で露出制御が行なわれることになる。
次に、ステップS404においてシステム制御部109はホワイトバランス制御の開始タイミングか否かを判定する。ホワイトバランス制御の開始タイミングであればステップS405へ進み、ホワイトバランス制御処理が行われる。ホワイトバランス制御処理も露出処理と同様に頻繁に実行すると画面のちらつきとなるため、例えば5秒に1回の割合で実行するように時定数が設定されている。ホワイトバランス制御処理では、ホワイトバランス処理をするためのホワイトバランス係数を求め、画像処理部110が用いるホワイトバランス係数を更新する。
ステップS406では、ステップS403の露出制御で設定された絞り、で撮像が実行され、撮像素子からのリアルタイム出力であるスルー画像に対して画像処理部110はステップS405で設定されたホワイトバランス係数を用いて画像処理を行なう。そして、ステップS407において、ステップS406で画像処理された画像データをEVFとして機能するLCD204(画像表示部116)上に表示する。
LCD204上には図8に示すEVF画面801が表示される。図8に示すように、色変換モードにおいては、LCD204上には、EVF画面801、EVF画面801内の色取り込み枠802、変換元色表示枠803、変換目標色表示枠804が表示されている。操作部130の所定操作による変換元色および変換目標色の設定(ステップS408〜S413)および、シャッターボタン203の操作による画像の撮影(ステップS416、S417)を行うことが可能である。
まず、変換元色および変換目標色の設定の仕方について説明する。ユーザは変換元色を指定するために、カメラの方向および光学ズームを動作させ、色取り込み枠802一杯に所望の色が入るように画角を設定する。十字ボタン209の左ボタンが押されると、変換元色の取り込み指示が入力されたとしてステップS408からステップS409へ進む。ステップS409では、その時点における色取り込み枠802内の画像の画素データが取得され、ステップS410ではその平均値が算出され変換元色(Src色)として決定される。変換元色が決定されると変換元色を表すパッチが変換元色表示枠803に表示される。
同様に、ユーザは、変換目標色を決定するために、色取り込み枠802一杯に所望の色が入るようにして、十字ボタン209の右ボタンを押す。十字ボタン209の右ボタンが押されると変換目標色の取り込み指示が入力されたとしてステップS411からステップS412へ進む。ステップS411では、その時点における色取り込み枠802内の画像の画素データを取得し、ステップS412においてその平均値が算出され、変換目標色(Dst色)に決定される。変換目標色が決定されると変換目標色を表すパッチが変換目標色表示枠804に表示される。
なお、上記ステップS410、S413において色取り込み枠802内の画素値の平均が算出されるが、その際に用いる画素データは電子ビューファインダーの表示用に間引かれた画像データ(画像表示メモリ113に格納されている画像データ)であってもよいし、メモリ114に格納されている画像データであってもよい。
ステップS410或いはステップS413にて変換元色或いは変換目標色が決定されると、処理はステップS414に進む。ステップS414では、変換元色から変換目標色に変換するための変換パラメータが決定される。本実施形態では、図9等により上述したように、3次元ルックアップテーブルの変換元色を内包する立方格子を形成する格子点の変更値が決定される。そして、ステップS409において、色変換処理部311の3次元ルックアップテーブルを更新する。以降のEVFのための画像表示(ステップS406,S407)や撮影実行時(ステップS416,S417)における画像処理部110の画像処理では、色変換処理部311において更新された3次元ルックアップテーブルが用いられることになる。なお、上述したように撮影実行時においては、シャッターボタン203の半押し状態で信号SW1が発生して撮影のためのAF(オートフォーカス)処理、AE(自動露出制御)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等が実行され、全押し状態で信号SW2が発生して一連の撮影処理が実行される。
なお、上記実施形態においては、変換元色および変換目標色を各1色しか設定しない例について説明したが、これに限られるものではなく、変換元色および変換目標色の複数の組み合わせを設定可能にしてもよい。このような複数設定を行った場合は、例えば、各変換元色毎にそれを内包する立方格子の代表格子点を変更するようにすればよい。また、一つの立法格子に複数の変換元色が入った場合には、例えば、それぞれのベクトルを計算して、その平均を用いるようにすればよい。
また、本実施形態において、変換元色および変換目標色の取り込みを行うにあたり十字ボタン209の左右ボタンを用いたが、これに限られるものではない。他の操作ボタンに割り当ててもよいし、もしくは専用のボタンを設けてもよいことは明らかである。
また、本実施形態において変換元色/変換目標色取り込み時のEVF画面中の色取り込み枠は中央付近に固定されているが、ユーザの指定により色取り込み枠をEVF画面中の任意の場所に移動することが可能なようにすることも可能である。また同様に色取り込み枠の大きさもユーザの指定により変化可能なようにすることも可能である。
また、本実施形態にける色変換処理部311の演算処理に3次元ルックアップテーブル処理と補間演算処理を用いているが、これに限られるものではない。変換元色が変換目標色に変換可能な処理、例えば色空間ごとにマトリクス演算の係数を変化させるマトリクス演算処理を用いて行うことも可能である。
ここで、簡単にマトリクス演算処理を用いた処理について説明する。上記実施形態において、図9の各格子点上に変換後のYUV信号の値が設定されているが、マトリクス演算処理を用いた処理においては各格子点上に下に示す式(16)のM11〜M33の係数が格納されており、Yin、Uin、Vinに応じて、M11〜M33の係数が決定され、さらに式(15)の演算が行われYout、Uout、Voutが求められるようにしてもよい。ただし、M11〜M33の決定はYin、Uin、Vinに一番近い格子点に格納されている係数、または、上記実施形態のように、各格子点からの補間演算により求められるようにしてもよい。
Figure 2006186594
<第2実施形態>
第1実施形態では、露光処理とホワイトバランス処理がそれぞれ所定の時定数で決定される時間間隔で実行されるのみである(ステップS402〜S405)。第2実施形態では、変換元色と変換目標色を決定するための画像取り込み時(ステップS409、S412)に通常撮影とは異なるホワイトバランス処理や露光制御処理を実行する。これにより、変換元色および変換目標色の取り込み時の露出やホワイトバランスをより適正にして、より正確な変換元色および変換目標色の取り込みを実現する。
以下に第2実施形態について、第1実施形態とは異なる部分について説明する。第2実施形態では、第1実施形態で説明したステップS409及びステップS412の色取り込み処理において、露出制御処理及びホワイトバランス処理が実行される。図10は、取り込み枠802内の画像情報を取得する際の第2実施形態による動作を説明するフローチャートであり、図4のステップS409、S412に置き換わるものである。以下、図10を用いて第2実施形態を説明する。
十字ボタン209の左ボタンが押されると、変換元色の取り込み指示が入力されたと判定され、処理はステップS408からS409へ進む。ステップS409では図10のステップS501〜S504に示される処理が実行される。
まず、ステップS501においてステップS403と同様の露出制御処理が、ステップS502においてステップS405と同様のホワイトバランス制御処理が実行される。露出制御処理では、露出が決定され、決定された露出に基づいて絞りおよびシャッタースピードが決定される(S501)。撮像装置は決定された絞りおよびシャッタースピードで撮影を行い、撮影されたデータを基にホワイトバランス制御処理を行なう(S502)。その後、ステップS503へ進み、上記露出設定で撮像を実行し、画像処理部110はホワイトバランス制御処理で決定されたホワイトバランス係数を用いたホワイトバランス処理を含む画像処理を実行し、その結果をEVFに表示する。そして、ステップS504において、ステップS503のEVF表示に用いられた画像(画像表示メモリ113或いはメモリ114に格納されている画像)より、色取り込み枠802内の画素データを取得する。ステップS410、S413では上記ステップS501〜S504の手順で取得された画素データを用いてそれぞれ変換元色や変換目標色を決定する。
以上のように、第2実施形態では、変換元色の決定時と変換目標色の決定時のそれぞれにおいて露出処理とホワイトバランス処理を実行する点が第1実施形態と相違する。すなわち、第1実施形態では十字ボタン209の左または右ボタンが押された時にEVFに表示されている画像データを用いて色取り込み枠802内の画素を平均して変換元色まはた変換目標色の決定が行われる。これに対して、第2実施形態においては、十字ボタン209の左または右ボタンが押されると、さらに露出制御やホワイトバランス制御が行われ、それらの設定に従って撮像及び画像処理された画像を用いて色取り込み枠802の画素の平均値が求められる。
以上説明したように、第2実施形態によれば、変換元色や変換目標色を決定する際に、適正露出に制御してから撮像した画像が用いられる。このため、適正な明るさで取り込まれた画像を用いて変換元色および変換目標色を決定できる。このため、ユーザが意図した変換元色および変換目標色をより正確に取り込むことが可能となる。
また、上記第2実施形態によれば、変換元色や変換目標色を決定する際に、ホワイトバランス処理部301のパラメータを適正化してから、画像処理部110によって処理された画像が用いられる。このため、適正な色で変換元色や変換目標色を取り込むことが可能となり、ユーザが変換元色および変換目標色をより正確に取り込むことが可能となる。従って、変換元色、変換目標色を取り込む際に、それぞれ、撮影時刻、撮影場所、撮影環境、被写体が異なる場合であっても、その都度適正な制御値で色を取り込むことが出来る。
<第3実施形態>
以下に第3実施形態を説明する。上述したように、撮像装置は通常撮影モードと、変換元色および変換目標色を設定し色再現を変更可能な色変換撮影モードの2つのモードを有する。第3実施形態では、色変換モードと通常撮影モードとにおいて露出制御処理の実行間隔とホワイトバランス制御処理の実行間隔を変更する。すなわち、色変換モード時における露出制御処理の実行間隔とホワイトバランス制御処理のそれぞれの実行間隔を、撮影モード時よりも短くする。
なお、通常撮影モードにおける処理は、図4に示した処理から色変換に関わる処理、即ちステップS408〜S415を除いたものとなる。すなわち、通常撮影モードが設定されると、はじめに露出の決定が行われる。露出の決定が行われると決定された露出に基づいて絞りおよびシャッタースピードが決定され、これが当該撮像装置の絞りおよびシャッタースピードとして設定される。ここでの露出制御はEVFに表示するための画像の露出制御であり、頻繁に変更すると画面のちらつきとなるため、時定数が設定されており、例えば2秒に1回の割合で露出の制御を行うように設定されている(ステップS402,S403)。次に、設定された絞りおよびシャッタースピードで撮影されたデータを基にホワイトバランス処理が行われる。この処理も露出制御と同様に頻繁に変更すると画面のちらつきとなるため、例えば5秒に1回の割合でホワイトバランス処理をするためのホワイトバランス係数を求め、画像処理に用いるホワイトバランス係数を更新する(ステップS404,S405)。次に、撮像が実行され、画像処理部110による画像処理を経て画像がEVFの画面上に表示される(ステップS406,S407)。ユーザがシャッターをレリーズすれば撮影動作(ステップS416,S417)を実行する。またレリーズが行われなければ、S402に戻る。
一方、色変換撮影モード時においては、変換元色および変換目標色をより正確な色で取り込む必要があるため、図4中のステップS402,S403による露出制御処理の時定数は通常撮影モードより短く設定される。例えば、1秒に1回の割合で露出制御が行われるように設定されている。また、ステップS404,S405のホワイトバランス制御処理においても同様に通常撮影モードより短い、例えば1秒に1回の割合で実行されるように設定されている。ホワイトバランス係数を求め、ホワイトバランス係数の更新を行うように設定されている。これにより、色変換撮影モードのEVF表示はちらつきは大きくなるが、常に露出およびホワイトバランスが取り込む前にすばやく適正値に収束し、正しい状態に保たれるため、より正確な変換元色および変換目標色を設定可能となる。
以上の動作を実現するために、システム制御部109では図11に示す処理が実行される。まず、ステップS601において色変換モードへ移行したか否かが検出される。色変換モードへ移行した場合はステップS602へ進み、露出制御の実行間隔を単位時間当たりMa回(上記の例では1秒に1回)に設定する。更に、ステップS603へ進み、ホワイトバランス制御処理の実行間隔を単位時間当たりMw回に設定する(上記の例では1秒に1回)。一方、色変換モードが終了した場合、例えば通常撮影モードに戻った場合は、ステップS604からステップS605へ進む。ステップS605では、露出制御の実行間隔を単位時間当たりNa回(上記の例では1秒に1/2回)に設定する。更に、ステップS606へ進み、ホワイトバランス制御処理の実行間隔を単位時間当たりNw回に設定する(上記の例では1秒に1/6回)。
以上のように、通常撮影モードにおけるEVF表示中の露出制御動作が行われる単位時間当たりの回数をNa、色変換モードにおけるEVF表示中の露出制御動作が行われる単位時間当たりの回数をMaとした場合、Na<Maとなるように設定することにより、色変換モードにおける色取り込み時の画像をより適正な露出でプレビューすることが可能となる。従って、ユーザが変換元色および変換目標色をより正確に取り込みやすくすることができる。すなわち、通常撮影モードにおけるホワイトバランス制御動作にかかる時間よりも色変換モードにおける色撮り込み時の露出制御動作にかかる時間を短くすることによって、撮影場所や時間、環境照度の変化に対応した適正露出での取り込みを行なうことが出来る。
また、通常撮影モードにおけるEVF表示中のホワイトバランス制御動作が行われる単位時間当たりの回数をNw、色変換モードにおける色取り込み時のEVF表示中のホワイトバランス制御動作が行われる単位時間当たりの回数をMwとした場合、Nw<Mwとなるように設定することにより、色取り込み時の画像をより適正なホワイトバランスでプレビューすることが可能となる。従って、ユーザが変換元色および変換目標色をより正確に取り込みやすくすることができる。すなわち、通常撮影モードにおけるホワイトバランス制御動作にかかる時間よりも色変換モードにおける色撮り込み時のホワイトバランス制御動作にかかる時間を短くすることによって、環境光の変化や被写体のすばやい動きに対応した適切な取り込みを行なうことが出来る。
なお、上記第2実施形態において、色変換モードの変換元色と変換目標色を決定するための画像取り込み時における露出制御のAE測光は通常の撮影モードと同じ画像全体を用いた評価測光により行われているが、画像の色取り込み枠以外の領域が極端に暗かったり、もしくは明るかった場合においては、画面全体を考慮した評価測光では、色取り込み枠の色が適正な明るさで変換元色、変換目標色を取り込むことができない場合がある。このような問題を解決するため、図10中のS501の露出制御処理を行う場合に、取り込み枠内の輝度が適正になるように測光方式をスポット測光に変更して、露出制御を行うようにしてもよい。このようにすれば、色取り込み枠802内の輝度をより適正になるように制御できる。
また、上記第2実施形態において、変換元色と変換目標色の取り込みを行う場合において、変換元色を取り込んだ時点で、変換目標色が取り込まれるまでは露出を固定するようにしてもよい。例えば、図12に示したようなシーンにおいて、物体Bの色を物体Aの色に変換する場合、図13の変換元色取り込み時と変換目標色取り込み時では画角、被写体が異なるため、露出が異なる。露出が異なってしまった場合、変換元色を変換目標色に正確に変換することができなくなる。このような不具合を防ぐため、変換元色取り込み時の露出制御(図10中のS501)が行われた後は、変更目標色が次に取り込まれるまでは露出制御を行わず、すなわち変換元色を取り込んだ時点の露出で固定(AEロック)し、変更目標色を取り込むようにしてもよい。同様に図13のように画角、被写体を変更するとホワイトバランスが異なってしまうため、変換元色取り込み時のホワイトバランス制御(図10中のS502)が行われた後は、変更目標色が次に取り込まれるまではホワイトバランス制御を行わず、すなわち変換元色を取り込んだ時点のホワイトバランスで固定(WBロック)した状態で変更目標色を取り込むようにしてもよい。
以上の処理を実現するためのフローチャートを図14に示す。図4のフローチャートのステップS408〜S413の部分を、図14に示すように変更することで、上記処理を実現できる。すなわち、ステップS1410でAEロック設定操作を検出した場合はステップS1411へ進み、その状態で露出を固定する。また、ステップS1412でホワイトバランスをロックする操作が検出された場合は、ステップS1413でWBロック状態とする。AEロック、及びWBロックの設定操作は例えばメニューボタン205とセットボタン206の組み合わせにより行う等、如何なる形態を用いてもよい。
変換元色の取り込み指示が検出されると、ステップS408からステップS1414へ進み、AEロック状態となっているか否かを確認する。同様に、ステップS1415ではWBロック状態となっているか否かを確認する。そして、AEロック及びWBロックが設定されている場合にはステップS409へ進み、変換元色の取り込みを実行する。この例では、AEロック及びWBロックの両方が設定されている場合にのみステップS409,S410による変換目標色取り込み動作を開始するが、AEロック、WBロックのいずれかが設定されている場合にステップS409以降へ進むように構成してもよい。こうすることで、同じような被写体、シーンから変換元色と変換目標色を取り込む場合に、画角等の微小な変化による影響を受けずに、同一の撮影条件で変換元色と変換目標色を取り込むことが出来るようになる。
なお、ステップS411の変換目標色取り込み操作は、十字キーの所定操作に加え、上記の変換目標色取り込み動作(S409、S410)が完了したことを条件としてステップS412へ進むものとする。また、AEロック、WBロックの解除は、メニューボタン205やセットボタン206の操作によりなされてもよいし、変換目標色の取り込みを終えたとき(ステップS413の終了後)に行うようにしてもよい。
なお、上記第2実施形態において、色取り込み時に露出制御処理およびホワイトバランス制御処理を実行する実施形態について述べたが、同様に色取り込み時にオートフォーカス処理を実行するようにしてもよい。ただし、色変換モードの色取り込み時においては、色取り込みを高速に行なうためにオートフォーカスの精度を下げるようにしてもよい。オートフォーカスの精度を下げるのは、フォーカス位置を決定するための評価信号を得るためのフォーカスレンズの駆動ステップ幅を通常撮影時の駆動ステップ幅より大きく設定することで実現することが可能である。
また、変換元色と変換目標色の色取り込み時と本露光撮影時の露出およびホワイトバランスが大きく異なる場合に、ユーザが意図した変換元色を変換目標色へと正確に変換した撮影ができなくなる場合があるため、図14に示したようにしてAE及びWBがロックされた状態でステップS416以降の撮影動作を行うようにしてもよい。
また、WBロックは、予め白色等の無彩色の被写体(白紙画像)を取り込むことによってそこから算出されたホワイトバランス制御値を用いる白紙ホワイトバランスを設定した場合は、白紙ホワイトバランス制御値でロック(固定)して、変換元色、変換目標色を取り込むようにしてもよい。 また、上記問題を解決するために変換元色および変換目標色の色取り込み時と本露光の露出が異ならないように、露出補正を禁止するようにしてもよい。
以上説明したように、上記各実施形態によれば、変換元色及び変換目標色をカメラで実際に取り込むことにより、指定することが可能となるため、容易にユーザの好みの画像を得ることが可能となる。
(本発明に係る他の実施の形態)
上述した本発明の実施の形態における撮像装置を構成する各手段、並びに撮像方法の各ステップは、コンピュータのRAMやROMなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び上記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム(実施の形態では図3に示すフローチャートに対応したプログラム)を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
プログラムを供給するための記録媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD−ROM、CD−R、CD−RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD−ROM,DVD−R)などがある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可
能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。
さらに、以上のように得られたプログラムを記録媒体を介して、あるいはコンピュータと接続した状態で、撮像装置内のメモリに書き込まれた後、そのプログラムの指示に基づき、実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される。
実施形態による撮像装置の構成を示すブロック図である。 実施形態による撮像装置の外観を示す図である。 実施形態による画像処理を説明する図である。 第1実施形態による色変換モード動作時の処理を説明するフローチャートである。 実施形態の撮像装置におけるCCDの色配列を説明する概念図である。 実施形態の撮像装置におけるCCD信号の補間後のデータを説明する概念図である。 実施形態の輝度信号作成処理に用いられるフィルタを説明する図である。 実施形態による変換元色/変換目標色取り込みモード時のEVF画面例を示す図である。 3次元ルックアップテーブルによる色変換処理を説明する図である。 第2実施形態による色変換モード動作時の処理を説明するフローチャートである。 第3実施形態による色変換モード動作時における、露出制御及びホワイトバランス制御の実行タイミングの切り替え処理を説明するフローチャートである。 撮影シーンを説明する図である。 (a)変換元色取り込み時、(b)変換目標色取り込み時の画角、被写体の変化を説明する図である。 変換元色取り込み前に露出、ホワイトバランス固定を行う処理を示したフローチャートである。

Claims (15)

  1. 撮像手段と、前記撮像手段で得られた画像データを処理する画像処理手段と、前記画像処理手段より出力される画像データを記録する記録手段とを備えた撮像装置であって、
    前記撮像手段によって撮像され、前記画像処理手段より出力される画像データに基づいて電子ビューファインダ画面を表示する表示手段と、
    前記電子ビューファインダ画面に表示中の画像の所定領域に含まれる色情報に基づいて第1の色値を決定する第1決定手段と、
    前記第1決定手段とは異なるタイミングで、前記電子ビューファインダ画面に表示中の画像の所定領域に含まれる色情報に基づいて第2の色値を決定する第2決定手段と、
    前記第1の色値を前記第2の色値に変換するように前記画像処理手段のパラメータを設定する設定手段とを備えることを特徴とする撮像装置。
  2. 前記表示手段は、前記第1及び第2決定手段における所定領域を前記電子ビューファインダ画面上に枠として表示することを特徴とする請求項1に記載の撮像装置。
  3. 前記所定領域に対応する前記枠の位置及びまたは大きさをユーザに設定させる枠設定手段を更に備えることを特徴とする請求項2に記載の撮像装置。
  4. 前記表示手段は、前記第1の色値を有するパッチ画像と前記第2の色値を有するパッチ画像を前記電子ビューファインダ画面とともに所定位置に表示することを特徴とする請求項1に記載の撮像装置。
  5. 前記画像処理手段は、色空間中に設定された複数の格子点のうち、入力された色値の近傍の格子点の色値で補間処理を行なうことにより該入力された色値を出力すべき色値に変換する処理を含み、
    前記設定手段は、色空間中に設定された複数の格子点のうち、前記第1の色値の近傍の格子点の色値を、該近傍の格子点の色値による補間計算の結果が前記第2の色値となるように変更することを特徴とする請求項1に記載の撮像装置。
  6. 前記色空間はYUV空間であることを特徴とする請求項5に記載の撮像装置。
  7. 前記第1決定手段による前記第1の色値の決定を開始させるための第1の指示と、前記第2決定手段による前記第2の色値の決定を開始させるための第2の指示を入力可能な入力手段と、
    前記第1及び第2の指示のいずれかが入力された場合に、前記撮像手段の露出を適正に設定する露出制御を実行する実行手段とを更に備え、
    前記第1及び第2決定手段は、それぞれ、前記実行手段によって露出制御された後に前記撮像手段によって撮像された画像を用いて前記第1及び第2の色値を決定することを特徴とする請求項1に記載の撮像装置。
  8. 前記第1決定手段による前記第1の色値の決定を開始させるための第1の指示と、前記第2決定手段による前記第2の色値の決定を開始させるための第2の指示を入力可能な入力手段と、
    前記第1及び第2の指示のいずれかが入力された場合に、前記画像処理手段におけるホワイトバランス処理用のパラメータの適正化制御を実行する実行手段とを更に備え、
    前記第1及び第2決定手段は、それぞれ、前記実行手段によってホワイトバランス処理用のパラメータが適正化された後の前記画像処理手段から出力される画像を用いて前記第1及び第2の色値を決定することを特徴とする請求項1に記載の撮像装置。
  9. 前記第1決定手段、前記第2決定手段、前記設定手段を機能させる動作モードでは、前記撮像手段の露出を適正に設定するための露出制御の実行間隔が通常撮影時における該露出制御の実行間隔よりも短く設定されることを特徴とする請求項1に記載の撮像装置。
  10. 前記第1決定手段、前記第2決定手段、前記設定手段を機能させる動作モードでは、前記画像処理手段におけるホワイトバランス処理用のパラメータの適正化処理の実行間隔が通常撮影時における該適正化処理の実行間隔よりも短く設定されることを特徴とする請求項1に記載の撮像装置。
  11. 前記第1決定手段、前記第2決定手段、前記設定手段を機能させる動作モードでは、前記画像処理手段における露出制御のAE測光をスポット測光で行なうことを特徴とする請求項1に記載の撮像装置。
  12. 前記第1決定手段、前記第2決定手段、前記設定手段を機能させる動作モードでは、オートフォーカス制御の精度を低くすることを特徴とする請求項1に記載の撮像装置。
  13. 前記第1決定手段、前記第2決定手段、前記設定手段を機能させる動作モードでは、前記第1決定手段で前記第1の色値を決定した後、前記第2決定手段で前記第2の色値が決定されるまでは前記画像処理手段における露光制御及び/またはホワイトバランス制御を禁止することを特徴とする請求項1に記載の撮像装置。
  14. 前記第1決定手段、前記第2決定手段、前記設定手段を機能させる動作モードでは、前記第1の色値および前記第2の色値を決定する前に前記画像処理手段における露光制御及び/またはホワイトバランス制御を禁止することを特徴とする請求項1に記載の撮像装置。
  15. 撮像手段と、前記撮像手段で得られた画像データを処理する画像処理手段と、前記画像処理手段より出力される画像データを記録する記録手段とを備えた撮像装置の制御方法であって、
    前記撮像手段によって撮像され、前記画像処理手段より出力される画像データに基づいて電子ビューファインダ画面を表示手段に表示する表示工程と、
    前記電子ビューファインダ画面に表示中の画像の所定領域に含まれる色情報に基づいて第1の色値を決定する第1決定工程と、
    前記第1決定手段とは異なるタイミングで、前記電子ビューファインダ画面に表示中の画像の所定領域に含まれる色情報に基づいて第2の色値を決定する第2決定工程と、
    前記第1の色値を前記第2の色値に変換するように前記画像処理手段のパラメータを設定する設定工程とを備えることを特徴とする撮像装置の制御方法。
JP2004377242A 2004-12-27 2004-12-27 撮像装置及びその制御方法 Expired - Fee Related JP4471373B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004377242A JP4471373B2 (ja) 2004-12-27 2004-12-27 撮像装置及びその制御方法
EP05257678A EP1675063A3 (en) 2004-12-27 2005-12-14 Image pickup apparatus and control method of the apparatus
US11/313,608 US20060139669A1 (en) 2004-12-27 2005-12-20 Image pickup apparatus and control method of the apparatus
CN2005100230907A CN1812478B (zh) 2004-12-27 2005-12-26 图像摄取设备及该设备的控制方法
KR1020050130355A KR100797113B1 (ko) 2004-12-27 2005-12-27 촬상장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004377242A JP4471373B2 (ja) 2004-12-27 2004-12-27 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2006186594A true JP2006186594A (ja) 2006-07-13
JP2006186594A5 JP2006186594A5 (ja) 2008-02-21
JP4471373B2 JP4471373B2 (ja) 2010-06-02

Family

ID=35976631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004377242A Expired - Fee Related JP4471373B2 (ja) 2004-12-27 2004-12-27 撮像装置及びその制御方法

Country Status (5)

Country Link
US (1) US20060139669A1 (ja)
EP (1) EP1675063A3 (ja)
JP (1) JP4471373B2 (ja)
KR (1) KR100797113B1 (ja)
CN (1) CN1812478B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345140B2 (en) 2007-11-16 2013-01-01 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling same
JP2015133758A (ja) * 2015-04-20 2015-07-23 キヤノン株式会社 画像処理装置、画像処理方法およびそのプログラム
JP2016072893A (ja) * 2014-09-30 2016-05-09 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4448039B2 (ja) * 2005-01-26 2010-04-07 キヤノン株式会社 撮像装置及びその制御方法
JP5169139B2 (ja) * 2007-10-25 2013-03-27 株式会社ニコン カメラ、および画像記録プログラム
US8184176B2 (en) * 2009-12-09 2012-05-22 International Business Machines Corporation Digital camera blending and clashing color warning system
JP2011166678A (ja) * 2010-02-15 2011-08-25 Seiko Epson Corp 画像表示装置、明るさ制御方法および明るさ制御プログラム
CN104378612B (zh) * 2013-08-12 2017-09-29 联想(北京)有限公司 一种调节色彩平衡的方法及电子设备
JP6195633B2 (ja) * 2014-02-07 2017-09-13 富士フイルム株式会社 画像処理装置及び画像処理方法
KR102555953B1 (ko) * 2016-11-04 2023-07-17 삼성전자주식회사 전지 장치, 디스플레이 장치 및 그의 제어 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335097A (en) * 1992-04-21 1994-08-02 Dainippon Screen Mfg. Co., Ltd. Color tone correcting apparatus
KR100219604B1 (ko) * 1996-06-10 1999-09-01 윤종용 디스플레이 장치에 적합한 색보정 특성계수를 결정하는 방법 및 그에 적합한 장치
JP3750830B2 (ja) * 1996-08-30 2006-03-01 ソニー株式会社 撮像装置における色補正装置
US6339434B1 (en) * 1997-11-24 2002-01-15 Pixelworks Image scaling circuit for fixed pixed resolution display
JP3652194B2 (ja) * 1999-12-09 2005-05-25 三菱電機株式会社 画像表示装置
JP4067775B2 (ja) 2001-03-09 2008-03-26 株式会社リコー ホワイトバランス調整装置
JP3534101B2 (ja) * 2001-10-18 2004-06-07 ミノルタ株式会社 デジタルカメラ
EP1389003B1 (en) * 2002-08-08 2014-01-15 Canon Kabushiki Kaisha Color conversion table generation method and apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345140B2 (en) 2007-11-16 2013-01-01 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling same
JP2016072893A (ja) * 2014-09-30 2016-05-09 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US10334161B2 (en) 2014-09-30 2019-06-25 Canon Kabushiki Kaisha Image processing apparatus, image processing method, computer program and imaging apparatus
JP2015133758A (ja) * 2015-04-20 2015-07-23 キヤノン株式会社 画像処理装置、画像処理方法およびそのプログラム

Also Published As

Publication number Publication date
EP1675063A3 (en) 2009-03-04
EP1675063A2 (en) 2006-06-28
CN1812478A (zh) 2006-08-02
CN1812478B (zh) 2012-11-28
KR20060074885A (ko) 2006-07-03
KR100797113B1 (ko) 2008-01-23
JP4471373B2 (ja) 2010-06-02
US20060139669A1 (en) 2006-06-29

Similar Documents

Publication Publication Date Title
JP4533168B2 (ja) 撮像装置及びその制御方法
KR100797113B1 (ko) 촬상장치 및 그 제어 방법
JP4662356B2 (ja) 撮像装置及びその制御方法、及びその制御プログラム、制御プログラムを格納した記憶媒体
JP2006262451A (ja) 画像記録装置及び方法
JP5366584B2 (ja) 撮像装置、画像処理方法およびプログラム
JP4533153B2 (ja) 撮像装置及びその制御方法
JP2006211103A (ja) 撮像装置及びその制御方法
JP5553230B2 (ja) 撮像装置および撮像処理方法
JP5076717B2 (ja) 電子カメラ
JP5059159B2 (ja) 撮像装置及びその制御方法
JP4812073B2 (ja) 画像撮像装置、画像撮像方法、プログラムおよび記録媒体
JP4481846B2 (ja) 色変換装置及び方法及び撮像装置
JP2009044239A (ja) 電子カメラ
JP4745672B2 (ja) 撮像装置及びその制御方法
JP4719453B2 (ja) 撮像装置及びその制御方法
JP2007208913A (ja) デジタルカメラ、プリンタ、およびその制御方法
JP2009044242A (ja) 電子カメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071227

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100301

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees