JP2007323030A - 撮像装置及びその制御方法、画像処理装置、画像処理方法、撮像システム並びにプログラム - Google Patents

撮像装置及びその制御方法、画像処理装置、画像処理方法、撮像システム並びにプログラム Download PDF

Info

Publication number
JP2007323030A
JP2007323030A JP2006156646A JP2006156646A JP2007323030A JP 2007323030 A JP2007323030 A JP 2007323030A JP 2006156646 A JP2006156646 A JP 2006156646A JP 2006156646 A JP2006156646 A JP 2006156646A JP 2007323030 A JP2007323030 A JP 2007323030A
Authority
JP
Japan
Prior art keywords
image
imaging
offset amount
moving
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006156646A
Other languages
English (en)
Other versions
JP4968885B2 (ja
JP2007323030A5 (ja
Inventor
Masashi Kimura
正史 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006156646A priority Critical patent/JP4968885B2/ja
Priority to US11/757,556 priority patent/US7769282B2/en
Publication of JP2007323030A publication Critical patent/JP2007323030A/ja
Publication of JP2007323030A5 publication Critical patent/JP2007323030A5/ja
Priority to US12/822,808 priority patent/US8023811B2/en
Application granted granted Critical
Publication of JP4968885B2 publication Critical patent/JP4968885B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】 撮像素子近傍の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑えることを可能にする撮像装置を提供する。
【解決手段】 撮像装置は、撮像光学系102により結像された被写体像を光電変換する撮像素子106と、被写体像を撮像素子に対して相対的に移動させるための手振れ補正レンズ103と、手振れを検出する手振れ検出センサ108と、手振れ検出センサ108の出力と撮影ごとに変更される予め定められるオフセット量とに基づいて手振れ補正レンズ103を駆動する駆動部109aと、複数枚の被写体画像を取得する制御手段とを備える。
【選択図】 図3

Description

本発明は、デジタルカメラなどにおいて撮像素子近傍に付着した異物が撮影画像に写りこむことによる画質の劣化を抑制することを可能にする技術に関する。
近年カメラのデジタル化が急速に進んでおり、特に従来の一眼レフカメラと同様の光学配置で、フィルムを光電変換を行う撮像素子に置き換えた所謂デジタル一眼レフカメラの普及が進んでいる。デジタル一眼レフカメラではフィルムの巻き取り、交換という作業が存在しない。そのため、レンズ交換等の作業において、一旦撮像素子近傍にゴミ等の異物が侵入すると、継続して異物が撮影した像に写り込む。そのため一連の撮影画像の品質を損ねてしまうという問題がある。
特許文献1は、撮像装置において異物を除去する方法を開示している。特許文献1に開示された発明によると、ブロアーなどを用いてユーザーが清掃作業を行うことなく、撮像面近傍に配置された防塵素子を動作させることによって、レンズ交換等の作業において付着した異物を除去し高品位の像を得ることができる。
特許文献2は、基準画像から異物による輝度変化を補正する方法を開示している。特許文献2に開示された発明によると、基準となる一様な輝度を持つ被写体を撮影し、そのときの輝度分布から透過率マップを生成する。その後、ユーザーが撮影した画像に対して、適切にゲイン補正を行うことによって、異物による透過率変化を補正し、高品位の像を得ることができる。
特許文献3は、複数の画像から異物検出を行う方法を開示している。特許文献3に開示された発明によると、ユーザーは予め複数の画像を取得し、複数画像にわたるコントラスト等の不変部分を検出し、不変部分を基に異物位置を検出する。ユーザーは適切にクリーニングモードなどで異物除去を行った後に、撮影を行うことによって、高品位の像を得ることができる。
特開2002−204379号公報(図1) 特開2004−222231号公報(図6) 特開2004−172820号公報(図5)
しかしながら、特許文献1の発明では、防塵素子を新たに設ける必要があり、製造コストがかかるといった問題があった。
また、特許文献2の発明では、テクスチャの影響が出てしまうような参照画像が適切ではない場合には、適切なゲイン補正を行うことができず、良好な画像を得ることができないといった問題があった。
また、特許文献3の発明では、ユーザーは事前にクリーニングモードなどで異物の除去を行う動作を行う必要があり、撮像直前に付着した異物に対しては対応できないといった問題があった。
従って、本発明は、上記の問題点に鑑みてなされたものであり、撮像素子近傍の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑えることを目的とする。
本発明の第1の側面は、撮像装置に係り、撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を前記撮像手段に対して相対的に移動させるための移動手段と、手振れを検出する手振れ検出手段と、前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出する算出手段と、前記算出手段により算出された移動量に予め定められるオフセット量を加算して前記移動手段を駆動する駆動手段と、前記予め定められるオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御手段とを備えることを特徴とする。
本発明の第2の側面は、撮像装置に係り、撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を前記撮像手段に対して相対的に移動させるための移動手段と、前記撮像光学系の絞り値に基づいて予め定められるオフセット量に従って前記移動手段を駆動する駆動手段と、前記予め定められるオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御手段とを備えることを特徴とする。
本発明の第3の側面は、画像処理装置に係り、撮像装置において取得された複数枚の撮影画像と、前記撮像装置において前記複数枚の撮影画像を得る際に被写体像を撮像手段に対して相対的に移動させるための移動手段に与えたオフセット量とを取得する取得手段と、前記複数枚の撮影画像を比較することにより、少なくとも前記撮像手段の近傍に付着した異物に関する位置情報を含む、異物領域情報を検出する異物検出手段と、前記オフセット量に基づいて、前記複数枚の撮影画像を位置合わせして合成する画像合成手段と、前記画像合成手段により合成する際に、前記オフセット量と前記異物領域情報とに基づいて、前記複数枚の撮影画像のうちの1つである第1の撮影画像における前記異物が写りこんだ一部の領域を、前記複数枚の撮影画像のうちの前記第1の画像とは異なる他の撮影画像における前記異物が写りこんでいない一部の領域で補正する画像補正手段とを備えることを特徴とする。
本発明の第4の側面は、撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を撮像手段に対して相対的に移動させるための移動手段と、手振れを検出する手振れ検出手段とを備える撮像装置を制御する方法に係り、前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出する算出工程と、前記算出工程において算出された移動量に予め定められるオフセット量を加算して前記移動手段を駆動する駆動工程と、前記予め定められたオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御工程と含むことを特徴とする。
本発明の第5の側面は、撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を撮像手段に対して相対的に移動させるための移動手段とを備える撮像装置を制御する方法に係り、前記撮像光学系の絞り値に基づいて予め定められるオフセット量に従って前記移動手段を駆動する駆動工程と、前記予め定められたオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御工程とを含むことを特徴とする。
本発明の第6の側面は、画像処理方法に係り、撮像装置において取得された複数枚の撮影画像と、前記撮像装置において前記複数枚の撮影画像を得る際に被写体像を撮像手段に対して相対的に移動させるための移動手段に与えたオフセット量とを取得する取得工程と、前記複数枚の撮影画像を比較することにより、少なくとも前記撮像手段の近傍に付着した異物に関する位置情報を含む異物領域情報を検出する異物検出工程と、前記オフセット量に基づいて、前記複数枚の撮影画像を位置合わせして合成する画像合成工程と、前記画像合成工程により合成する際に、前記オフセット量と前記異物領域情報とに基づいて、前記複数枚の撮影画像の内の1つである第1の撮影画像における前記異物が写りこんだ一部の領域を、前記複数枚の撮影画像のうちの前記第1の画像とは異なる他の撮影画像における前記異物が写りこんでいない一部の領域で補正する画像補正工程とを含むことを特徴とする。
本発明の第7の側面は、プログラムに係り、上記の制御方法又は画像処理方法をコンピュータに実行させることを特徴とする。
本発明によれば、撮像素子近傍の光学素子上に存在する異物が撮影画像に写りこむことによる画質の劣化を効果的に抑えることが可能となる。
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の好適な第1の実施の形態に係る撮像装置を示す図である。101はデジタルカメラ等の撮像装置、102は撮影レンズ等の撮像光学系、103は撮像光学系102に配置された手振れ補正レンズ、104は撮像光学系の光軸、105はレンズ鏡筒、106は撮像素子、107はメモリを示す。また、108は手振れを検出するジャイロセンサによって構成される手振れ検出センサ、109aは手振れ補正レンズ103を駆動する駆動部、110は電源、111はレリーズ釦を示す。
撮像装置101は、撮像光学系102と不図示のピント調整部を用いて、被写体像を撮像素子106近傍に結像させる。撮像素子106は、撮像光学系102により結像された被写体像を光電変換する。そして、ユーザーによるレリーズ釦111の操作と同期させて、撮像素子106から画像信号を取得し、メモリ107へ記録する。また、手振れ補正をするモードの場合には、露光中に手振れ検出センサ108の信号に基づいて、駆動部109aが手振れ補正レンズ103を駆動することによって、手振れによる画像のズレを補正する。なお、手振れ補正をするモードの有効/無効はスイッチ211によって設定される。また、スイッチ211は、後述の異物補正を有効とするか否かの設定を行うことも可能である。
図2は、撮像装置101の電気的構成を示すブロック図である。撮像装置101は、例えば、撮像系、画像処理系、記録再生系、制御系で構成される。撮像系は、例えば、撮像光学系102及び撮像素子106を含む。画像処理系は、例えば、A/D変換器201、画像処理回路202を含む。記録再生系は、例えば、記録処理回路203、メモリ107を含む。制御系は、例えば、カメラシステム制御回路205、AF(オートフォーカス)センサ206、AE(自動露出)センサ207、手振れ検出センサ108、操作検出回路208、及びレンズシステム制御回路209を含む。また、手振れ補正レンズ103の位置を検出する位置検出センサ204も備えている。なお、レンズシステム制御回路209には、手振れ補正レンズ103を駆動する駆動部109aが備えられている。
撮像系は、物体からの光を撮像光学系102を介して撮像素子106の撮像面に結像する光学処理系であり、AEセンサ207の信号に基づいて、図示しない絞りなどを用いて、適切な光量の物体光を撮像素子106に露光する。画像処理回路202は、A/D変換器201を介して、撮像素子106から受けた撮像素子106の画素数に対応する画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
記録処理回路203は、メモリ107への画像信号の出力を行うと共に、表示部210に出力する像を生成し、保存する。また、記録処理回路203は、公知の方法を用いて画像や動画の圧縮を行う。
制御系は、操作検出回路208と、カメラシステム制御回路205と、AFセンサ206と、AEセンサ207と、手振れ検出センサ108と、レンズシステム制御回路209を含む。操作検出回路208は、レリーズ釦111等の操作を検出する。カメラシステム制御回路205は、操作検出回路208の検出信号に応答して各部を制御し、撮像の際のタイミング信号などを生成して出力する。AFセンサ206は、撮像装置101のピント状態を検出する。AEセンサ207は、被写体の輝度を検出する。手振れ検出センサ108は、手振れを検出する。レンズシステム制御回路209は、カメラシステム制御回路205の信号に応じて、適切にレンズなどを制御する。また、レンズシステム制御回路209は、内部の駆動部109aを用いて手振れ補正レンズ103を駆動する。
制御系は、外部操作に応答して、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、レリーズ釦111の押下を検出して、撮像素子106の駆動、画像処理回路202の動作、記録処理回路203での圧縮処理などを制御する。更に、表示部210によって光学ファインダー、液晶モニタ等に情報の表示を行う情報表示装置の各セグメントの状態を制御する。
カメラシステム制御回路205には、AFセンサ206とAEセンサ207が接続されており、これらの信号を元にレンズ、絞りを適切に制御する。カメラシステム制御回路205には、手振れ検出センサ108が接続され、スイッチ211で手振れ補正を行うモードが設定されると、この手振れ検出センサ108の信号と算出部212の算出結果に基づいて、駆動部109aが手振れ補正レンズ103を駆動する。なお、スイッチ211の設定は、レンズシステム制御回路209を介して、カメラシステム制御回路205に通知される。
次に、手振れ補正システムについて、図3〜図5を用いて詳細に説明する。手振れ補正系の制御ブロックは、図3に示すように構成されている。手振れ検出センサ108で検出された手振れ信号は、所定の周波数以上の信号を通過させるハイパスフィルタ(HPF)302を通過した後、積分器303により振れ量に換算される。そして、この換算された振れ量に、手振れ補正レンズ103の位置を検出する位置検出センサ204の検出信号が、算出部212において加味され、第1の移動目標量300aが生成される。
通常の手振れ補正制御であれば、この第1の移動目標量300aに基づいて駆動部109aを制御し、手振れ補正レンズ103を駆動することによって、ユーザーの手振れを相殺する。本実施形態においては、更に、メモリ107に格納されたオフセット量301が読み出され、第1の移動目標量300aに加算されて第2の移動目標量300bが生成される。そして、この第2の移動目標量300bに従って、駆動部109aを制御し、手振れ補正レンズ103を駆動する。なお、オフセット量は、1枚撮影するごとに変更される予め定められる所定量であり、第1の移動目標量は、1枚の撮影中(撮像素子106への露光中)の間もユーザーの手振れに従って刻々と変更される量である。具体的には後述する。また、ハイパスフィルタ302および積分器303はカメラシステム制御回路205に内蔵されている。
上記の説明においては、手振れ補正レンズ103の移動方向につき1軸を対象に1系統分説明したが、実際には手振れ補正レンズ103は、光軸104に対して垂直な面内で移動する。従って、平面内の2軸で移動させるためには2系統分必要となり、本実施形態においても2系統有するものとする。
図4は、図3のフィードバック制御系による手振れ補正レンズ103の動作を概略的に説明するための図である。横軸は時間の経過を表し、縦軸は光軸中心からの偏心量を表す。実線は、被写体像が撮像素子106上で振れることなく、光軸104を中心として結像するように、ユーザーの手振れに応答して、手振れ補正レンズ103を駆動した場合を表す。すなわち、通常の手振れ補正制御による駆動であり、第1の移動目標量300aに基づいて駆動部109aを制御したときの状態を示したものである。これに対し本実施形態においては、点線のように手振れ補正レンズ103を駆動する。まず、オフセット量301としての第1のオフセット量1501aを与え、第1の移動目標量300aに加算することで第2の移動目標量300bを得る。このオフセット量は1枚目の撮影に係る露光の前後にわたって一律に適用される。なお、このオフセット量1501aは、被写体像を上方に所定量ずらすものとする。このオフセット量1501aを与えて、手振れ補正レンズ103を駆動した場合、被写体像が撮像素子106上で振れることなく、光軸104よりオフセット量に応じた分だけ上方にずれて結像する。従って、撮像素子106からは、上方にオフセット量1501aに応じた分だけ画角のずれた、手振れのない画像信号を得ることができる。
次に、同一被写体に対する2枚目の撮影に移る際に、オフセット量301として第2のオフセット量1501bを与える。このオフセット量1501bは、被写体像を下方にずらすものとする。この第2のオフセット量1501bを第1の移動目標量300aに加算することで、第2の移動目標量300bを得る。1枚目の撮影と同様に、このオフセット量は2枚目の撮影に係る露光の前後にわたって一律に適用される。このオフセット量1501bを与えて、手振れ補正レンズ103を駆動した場合、被写体像が撮像素子106上で振れることなく、光軸104よりオフセット量に応じた分だけ下方にずれて結像する。従って、撮像素子106からは、下方にオフセット量1501bに応じた分だけ画角のずれた、手振れのない画像信号を得ることができる。このようにして連続して同一被写体を撮影することで、手振れを補正しつつ、オフセット量301を切り替えて画角が少しずつ異なる複数の画像を取得することができる。図4では、上下に被写体像をずらす場合を説明したが、オフセット量301を適当に与えることにより、左右や、斜め方向にずらすことも可能である。従って、例えば、右斜め上、右斜め下、左斜め上、左斜め下となるようにオフセット量301を順次切り替えれば、同一の被写体に対し、少しずつ画角の異なる4枚の画像信号を得ることが可能となる。
次に、手振れ補正レンズ103を駆動する機構について図5を用いて説明する。図5は、撮像光学系102の一部の光学系である手振れ補正レンズ103を移動させる機構を概略的に示す図である。
図5(a)において、401はレンズを保持する可動枠、103は手振れ補正レンズ、403は鏡筒に取り付けられた固定部、404は可動枠上の支持/案内部、405は支持/案内部と同軸に取り付けられたバネを示す。また、406a、406bは固定部に取り付けられたコイル、407a、407bは可動枠に取り付けられたマグネットを示す。図5(b)は図5(a)に示した手振れ補正機構の右側面図である。図5(b)において、410、412は図5(a)には図示しないヨークである。411は図5(a)には図示しない可動部の位置検出センサである。具体的にはホール素子により構成される。図5(c)は図5(a)の402矢視図である。可動枠401は支持/案内部404によって固定部403に対して平面運動可能に案内支持されている。図5(c)では、長円形の案内溝413の中に円形の支持/案内部404が挿入されている。手振れ補正機構は、3箇所とも同一の構造とすることによって、撮像光学系102の光軸104の方向には拘束され、光軸104に直行する平面上では運動させることができる。可動枠401上には、手振れ補正レンズ103及び駆動用のマグネット407a、407bが取り付けられている。また、可動枠401は支持/案内部404と同軸に取り付けられたバネ405によって弾性支持されており、駆動力が発生していないときは手振れ補正レンズ103の中心が光軸104にほぼ一致するように配置されている。駆動部分は図5(b)に示すようにマグネット407aの両側をヨークで挟み込み、片側にコイル406aを備えた構成をしている。駆動部分の原理は図6を用いて説明する。
図6(a)、(b)は、図5(a)に示す点線408を断面として駆動回路部分を抜粋した矢視図である。駆動用マグネット407aは2極で厚み方向に着磁されている。更に、マグネット407aの着磁方向の両側にはヨーク410、412が設けられており、多くの磁束は外に漏れることなく、図6(a)の図中に示すような矢印方向の磁界を発生させている。この状態でコイル406aに通電すると、コイル406a上の領域501と502には、それぞれ反対方向の電流が流れる。一方、磁界の方向も反対であるため、フレミング左手の法則によって同一方向の力が発生する。このときコイルが固定されているため、作用反作用の法則によって可動部に取り付けられたマグネット407aが力を受けて駆動される。駆動力はコイル406aの電流に比例し、コイル406aに流す電流の向きを反対方向にすることによって、マグネット407aが受ける駆動力も反対にすることができる。駆動力が発生すると、可動部がバネ405によって弾性支持されているので、バネ力と釣り合う点まで変位する。つまり、コイル406aの電流を適切に制御することによって、可動部の位置を制御することができる。更に、ヨーク410上にはホール素子411が取り付けられており、図6(b)に示すように、コイル406aに電流を印加することにより発生した駆動力によってマグネット407aが変位すると、ホール素子411上の磁気バランスも変化する。そのため、ホール素子411の信号を得ることによって、マグネット407aの位置を検出することが可能となる。
図5、図6では、可動部にマグネットが配置され、固定部にコイルが配置されたムービングマグネット方式での実施形態を例示した。しかしながら、本実施形態は、可動部にコイルが配置され、固定部にマグネットが配置されたムービングコイルやその他の駆動方法を用いた手振れ補正機構を備えた撮像装置についても適用可能である。
次に、本実施形態に係る撮像動作について図7を用いて説明する。図7は本実施形態における撮像動作のフローチャートである。図7における各ステップを順に説明して撮像動作を説明する。なお、ユーザーの設定によって本実施形態の動作の実行/不実行が選択可能となっているものとする。
最初に、カメラシステム制御回路205が本実施形態に係る手振れ補正及び異物補正(図7では、「手振れ補正&異物補正」と表記)を実行しない場合(ステップS601で「NO」)について説明する。通常の手振れ補正のみを実行する場合(ステップS602で「YES」)、ステップS603において、通常の手振れ補正用の目標値、すなわち第1の移動目標量300aを算出する。そして、第1の移動目標量300aに基づいて手振れ補正レンズ103を駆動し(ステップS604)、手振れ補正をした状態で撮影シーケンスを実行する(ステップS605)。
ステップS605の撮影のシーケンスの詳細を図8に示す。レリーズ釦111の押下げ操作によって発生する撮影開始信号を受けると、まず、ステップS701でAF/AE動作を行う。具体的には、AFセンサ206、AEセンサ207から得られた信号に基づき、カメラシステム制御回路205がレンズシステム制御回路等を介して焦点合わせ、絞り調整及び露光時間設定を行う。そして、ステップS702で撮像素子106に被写体像を露光させる。その後、光電変換された画像信号を撮像素子106から読み出し、A/D変換器201でA/D変換されたデジタル信号を、ステップS703で画像処理回路202により画像処理する。具体的には、公知のγ補正、ホワイトバランス補正、圧縮処理等の画像処理を施し、画像ファイルを生成する。そして、ステップS704において、記録処理回路203により、生成した画像ファイルをメモリ107に記録し、一連の撮影シーケンスを終了する。
図7に戻り、ステップS605で撮影シーケンスの実行が終了すると、ステップS606に進む。ユーザーは、表示部210に被写体像を逐次表示させることにより、被写体像を確認しながら撮影前に構図を決めることができるが、このエイミングの間にも、逐次表示される被写体像に対して手振れ補正を行うことが可能である。ステップS606では、エイミング時の手振れ補正が設定されているか否かを判断する。設定されていれば、通常の手振れ補正制御と同様に手振れ補正レンズ103を駆動し、設定されていなければ、手振れ補正レンズ103の駆動を行わないようにする。
一方、スイッチ211により、手振れ補正と共に異物補正も実行されるように設定されている場合には、ステップS601からステップS608へ進む。ステップS608において、まず、現在の撮影枚数iを0に設定し、取得枚数をn(nは2以上の整数)に設定する。次に、ステップS609において、通常の手振れ補正用の目標値、すなわち第1の移動目標量300aを算出する。この第1の移動目標量300aは、n枚の撮影画像を取得するまで、ユーザーの手振れに応じて逐次更新する。次に、ステップS610に進み、メモリ107に格納されたオフセット量301を読み出し、ステップS609で算出した第1の移動目標量300aに加算して、第2の移動目標量300bを算出する。ここで、オフセット量301は、現在の撮影枚数iによって更新され、取得枚数nに対応してn個用意されるものである。例えば、取得枚数が4枚であれば、i=1、すなわち1枚目の撮影では被写体像が右斜め上にシフトするオフセット量を、i=2、すなわち2枚目の撮影では被写体像が右斜め下にシフトするオフセット量を用意する。また、i=3、すなわち3枚目の撮影では被写体像が左斜め上にシフトするオフセット量を、i=4、すなわち4枚目の撮影では被写体像が左斜め下にシフトするオフセット量を用意する。従ってこの場合は、オフセット量301として、第1のオフセット量1501aから第4のオフセット量1501dが用意されることになる。具体的なオフセット量としては、想定される撮像素子近傍に付着する異物の大きさや、撮影時の撮影光学系の絞り値によって決定されるが、具体的な決定の仕方については、第2の実施形態と共に詳述する。また、前述のように、第1の移動目標量300aが1枚の撮影中においても刻々と更新されるのに対し、オフセット量301は1枚の撮影中は固定された値をとる。
オフセット量301を加味した目標値(第2の移動目標量300b)が算出されると、これに基づいて手振れ補正レンズ103を駆動する(ステップS611)。そして、手振れ補正レンズ103が駆動されている状態で、撮影シーケンスを実行する。ここでの撮影シーケンスは、図8を用いて説明したステップS605の撮影シーケンスと、AF/AEを行うステップS701が相違するので、この点を説明する。
ステップS605の撮影シーケンスでは、1枚の画像を適正露出で撮影するために、AEセンサ207から得られた信号に基づいて絞り調整及び露光時間を設定していた。しかし、ステップS611における撮影シーケンスにおいては、取得枚数nに応じて絞り調整および露光時間を変更する。すなわち、取得されるn枚の画像データは、最終的に1枚の画像データに合成することを予定しているため、それぞれの画像データは適正露出よりもアンダーの露出でよい。アンダー露出で撮影すると、適正露出に対し高速のシャッター速度でよいので、手振れや被写体振れおよびランダムノイズの発生に対して有利である。例えば取得枚数nを4とすると、それぞれのシャッター速度は、ISO感度、絞り値が同じであれば、適正露出のそれに対し1/4でよい。従って、ステップS611における撮影シーケンスにおいては、ステップS701で、取得枚数nに応じて絞り値及び露光時間を設定するものとする。
ステップS612では、図8の一連の処理の後、更に、現在の撮影枚数iを1つカウントアップ(i=i+1)する。
そして、ステップS613に進み、現在の撮影枚数iが取得枚数nに達したか否かの判断を行う。iがnと等しくない場合、すなわち、まだ取得する予定の枚数分撮影を行っていない場合には、ステップS610に戻る。
ステップS610では、オフセット量301として、カウントアップされたiに対応する第iのオフセット量に更新して、i枚目の撮影を行う(ステップS610〜ステップS612)。このようにして、同一の被写体を繰り返し撮影する。
ステップS613において、現在の撮影枚数iが取得枚数nに達したと判断されると、ステップS614に進む。ステップS614では異物補正処理および画像合成処理を行う。この異物補正処理および画像合成処理(図7では、「異物補正処理&画像合成処理」と表記)について、図9を用いて説明する。
図9は、取得画像データから異物検出を行って画像合成を行うまでの処理を行うためのブロック図である。オフセット量301を更新して撮影された複数枚の画像1903a、1903b、…1903nがメモリ107から画像処理回路202内の画像合成部1904に入力される。また、複数枚の画像に対応するオフセット量301が画像処理回路202内の画像合成部1904及び異物検出部1906にそれぞれ入力される。このとき、オフセット量301は、複数枚の画像にそれぞれ対応した、第1のオフセット量1501aから第nのオフセット量1501nである。画像合成部1904では、オフセット量301に基づいて複数枚の画像の位置合わせと画像の露出調整などを行ってこれら複数枚の画像から1枚の画像を合成する。この合成処理の際に、以下の異物検出を並行して行い、補正処理を実行する。
異物検出部1906では、オフセット量301を参照しつつ、複数枚の画像から公知の方法によって異物の位置、大きさなどの異物領域情報を検出する。特に本実施形態においては、同一被写体を連続して撮影した複数枚の画像と共にオフセット量301が存在するので、より正確に異物の検出が可能となる。
撮像素子近傍の光学素子、例えば、撮像素子のカバーガラスや光学ローパスフィルタや赤外カットフィルタの表面に異物が付着した場合に、継続してその影が撮影した画像に写り込む。このとき、異物の付着位置は、撮像素子106の画素に対し、相対的に固定している。つまり、異物によって生じる影は、常に一定の画素に生じることになる。一方、手振れ補正レンズ103を所定のオフセット量を与えて駆動することにより、被写体像は撮影ごとに撮像素子106の画素に対してシフトする。従って、撮影ごとにオフセット量を変化させて複数枚の同一被写体像を取得すると、取得される画像信号については、撮影画像ごとに被写体と異物の影の相対位置が変化することになる。
従って、1枚目の撮影画像から検出された異物の位置、大きさなどの異物領域情報は、撮像素子106の有効画素領域を基準とすると、2枚目、3枚目…も同じ位置、同じ大きさの情報となる。このとき、被写体像は1枚目、2枚目…で相対的にシフトした関係になる。
逆に、被写体像を基準として考えると、つまり、上述のようにオフセット量を参照して被写体像が相互に一致するように合成する場合を考えると、異物の影が撮影画像ごとに相対的に変位することになる。すると、1枚目の異物の影に隠れた部分に本来存在すべき被写体像は、2枚目、3枚目には異物の影に隠れることなく、写っていることになる。
画像補正部1905では、画像合成部1904でn枚の撮影画像を合成する際に、異物検出部1906で検出された異物領域情報に基づいて補正を行う。具体的には、それぞれの撮影画像において異物検出部1906で検出された異物の影が存在する領域は、合成に用いないことにより実現する。このとき、ある異物に注目すると、オフセット量が異物の大きさに対して十分であれば、n枚の撮影画像を重ねても異物の影の領域に掛からない領域と、n枚のうち1枚が異物の影の領域に掛かる領域が生じることになる。そして、合成する際には、n枚のうち1枚が異物の影に掛かる領域は、異物の影になっているその1枚は合成に用いないので、他のn−1枚を合成する際に、異物の影に掛からない領域に対して、n/(n−1)倍の増幅処理を行いながら合成を行う。
なお、付着している異物が複数存在する場合には、オフセット量301に基づいて複数枚の画像の位置合わせを行ったときに、異なる異物が同じ被写体部分に重なることがある。すると、n枚を合成する際に複数枚が合成に用いることができないことになる。この複数枚をk枚とすると、異物の影に掛からない領域に対して、n/(n−k)倍の増幅処理を行いながら合成を行えばよい。
また、同一被写体を、所定のオフセット量を与えてn枚の画像を得て合成すると、周辺部の領域はn枚分重ね合わせることができない。従って、このような領域は合成処理を行う際にトリミングすることとし、n枚を重ね合わせることのできる領域を矩形で切り出すものとする。
なお、複数枚の撮影画像を合成する際に位置合わせを行うが、このときオフセット量301に基づいて行うのは上述の通りである。ただし、手振れ補正も同時に行う場合には、撮影ごとに手振れ補正レンズ103の光軸への中心復帰動作を行わないと、この補正量によるずれ分が残る。従って、位置合わせを行う場合には、オフセット量のみに基づくのではなく、公知のパターンマッチング技術を併用するなどして、精度を高めるのが望ましい。このように、異物検出、画像合成、画像補正を行って生成された画像ファイルは、異物の写りこみのない合成画像1907として、メモリ107に格納される。
図7に戻り、ステップS614で異物補正処理および合成処理を終えると、一連の撮影処理を終了し、撮影準備の状態となるステップS606に進む。
図9で説明した処理を、具体的に模式図を用いて説明する。図10は画像合成前の2枚の撮影画像とこれらを重ね合わせた様子を表す。図10(a)、図10(b)は、手振れ補正機構のオフセット量301を互いに異ならせて2つの撮影画像を得た場合の模式図である。ここでの説明は簡単のため、合成する枚数(取得枚数)をn=2とする。具体的には、1枚目の撮影時に、被写体像が左にずれるようにオフセット量1501aを与え、2枚目の撮影時に、被写体像が右にずれるようにオフセット量1501bを与える。従って、図10(a)、図10(b)に示すように、被写体像が撮像素子106上で互いに異なる位置に結像する。図10(a)、図10(b)中に示す801、802は、異物によって像が失われた領域、すなわち異物の影となった領域を示す。異物は撮像素子106近傍に付着しているため、その異物によって生じる影は常に一定の画素に現れる。従って、図10(a)、図10(b)の外枠は撮像素子106の有効画素領域を示すが、801、802の位置は、この外枠に対して同一の位置となる。つまり、有効画素領域を基準とすると、図10(a)と図10(b)で、影となる領域が一致し、被写体像が相対的にずれる関係となる。これに対し図10(c)は、被写体像を基準として重ね合わせた様子を示す。具体的には、与えたオフセット量1501aと1501bを加算した量を撮像素子上での量に換算したものは、両画像における被写体像の相対的なずれとほぼ等しくなる。従って、例えば、図10(a)の画像に図10(b)の画像をこの換算された加算量分シフトさせると、被写体像をほぼ一致させることができる。すると、それぞれの画像において影となった領域が、相対的にずれることになる(図10(c)上の801および802)。このとき、被写体像を基準として、1枚目の撮影画像の図10(a)の影の領域801に対応する図10(b)の801aの領域は、異物の影になることなく、被写体像の情報を得ている。同様に、2枚目の撮影画像の図10(b)の影の領域802に対応する図10(a)の802aの領域は、異物の影になることなく、被写体像を得ている。従って、図10(a)と図10(b)の画像を合成処理する場合には、図10(c)において、801と802の領域以外ではそれぞれの画素ごとに加算を行う。そして、801の領域では図10(b)の801aの領域の画素に対して2倍の増幅処理を行い、図10(a)の801の領域の画素情報は利用しないこととする。同様に、802の領域では図10(a)の802aの領域の画素に対して2倍の増幅処理を行い、図10(b)の802の領域の画素情報は利用しないこととする。更に、図10(c)において、両端部分はシフトによって重なりが生じない領域であるが、この領域は切り捨てることとする。このようにして、異物の影が存在しない被写体画像を得ることができる。
更に、本実施形態では、撮影中の短い時間で複数の像を得るため、2つの像はほぼ同一である。そのため、従来技術のように、クリーニングモードでクリーニングを行ってから撮影を行うまでの間に異物が付着すると補正できないという問題も生じない。また、ユーザーが均一な紙などを用意して参照画像を取得する必要が無く、ユーザーの利便性も向上する。
なお、本実施形態では、複数の画像を撮像装置内で合成する場合について説明したが、撮像装置側では複数の撮影画像の取得のみを行い、異物の検出及び撮影画像の合成処理を撮像装置外部の画像処理装置で行ってもよい。具体的には、PCなどの画像処理装置において、撮像装置とPCをLANなどで接続することにより、もしくは、着脱可能な記録媒体を介して、PCに複数の撮影画像とオフセット量301の情報を取り込むことができる。これにより、異物の検出及び画像の合成処理を撮像装置外部の画像処理装置で実現することが可能となる。
図11は、このような撮像システム2000を示す図である。撮像システム2000は、本発明の好適な実施の形態に係る撮像装置2001と、画像処理装置2002とを備える。また、画像処理装置2002は、画像合成部2004と、画像補正部2005と、異物検出部2006とを備える。
画像合成部2004には、撮影された複数枚の画像2003a、2003b、…、2003n及びオフセット量301が入力される。画像合成部2004は図9の画像合成部1904に相当し、オフセット量301に基づいて複数枚の画像の位置合わせと画像の露出調整などを行い、複数枚の画像から1枚の画像を合成する。異物検出部2006は図9の異物検出部1906に相当し、オフセット量301を参照しつつ、複数枚の画像から異物の位置、大きさなどの異物領域情報を検出する。画像補正部2005は図9の画像補正部1905に相当し、画像合成部2004で撮影画像を合成する際に、異物検出部2006で検出された異物領域情報に基づいて補正を行う。このようにして、異物領域情報を補正した合成画像2007を生成する。生成した合成画像2007は外部のメモリやHDDに格納される。
このように、撮像装置から切り離された画像処理装置において処理を行うと、撮像装置では、処理に時間を要する画像合成処理や異物検出処理にカメラシステム制御回路205の処理能力を奪われることがない。従って、シャッタチャンスを逃すことが少なくなるなどのメリットを享受できる。
(第2の実施形態)
図12〜図15に本発明の好適な第2の実施の形態に係る撮像装置を示す。図12は本実施形態に適した撮像装置を示す図であって、第1の実施形態で示したものと同様の構成要素には同一の参照符号を付している。第1の実施形態と異なる点は、撮像素子106そのものを動かす(シフトさせる)ことによって手振れ補正を行う点である。そのため、手振れ補正のための駆動部109bを撮像素子106近傍に備えている。駆動部109bは撮像素子106をシフト駆動する。これに伴い、手振れ補正をするモードの有効/無効、および異物補正を有効とするか否かの設定を行うスイッチ211は、撮像装置101側に設けられている。その他の構成は、第1の実施形態と同様である。
図13は本実施形態に係る撮像装置の電気的構成を示すブロック図である。第1の実施形態で示したものと同様の構成要素には同一の参照符号を付している。第1の実施形態と異なる点は、手振れ補正をするための駆動手段がレンズシステム制御回路209には含まれるのではなく、撮像素子106をシフト駆動する駆動部109bとして備えている点である。撮像のプロセスなどに関しては、第1の実施形態に示したものと同様である。
図14及び図15に撮像素子106をシフト駆動する機構の例を示す。図14において、106は撮像素子、1101、1102は駆動コイル、1103、1104は可動部の位置検出を行うホール素子、1105、1106、1107、1108はマグネットを示す。また、1109は第1の保持部、1110は第1の保持部1109上に設けられた第1の案内部、1111は第2の保持部、1112は第2の保持部1111上に設けられた第2の案内部、1113は鏡筒に固定される第3の保持部を示す。また、1114は第1の保持部1109と図示しない固定部との間に設けられた第1の弾性体、1115は第2の保持部1111と図示しない固定部との間に設けられた第2の弾性体を示す。第1の案内部1110と第2の案内部1112が案内する方向は互いに直交している。また、撮像素子106を備えた第1の保持部1109は第1の弾性体1114及び第2の弾性体1115によって弾性支持されている。
図15は駆動部の構成を示す図である。磁気回路は2つ存在するが90度角度が異なるだけで同様の構成となっているので、駆動コイル1101及びマグネット1105、1106によって構成される駆動部を用いて説明を行う。図15において、1203は磁束を模擬的に示した矢印、1201、1202は図14には図示しないヨークである。マグネット1105、1106は2つの領域に分割して着磁されている。そのため図15に図示したように磁束の多くは背面のヨーク1201、1202を使って循環する閉磁路1203を構成する。駆動コイル1101に電流が流れることによって、フレミング左手の法則に従って駆動コイル1101に対して力が発生する。発生した力と第1の弾性体1114及び第2の弾性体1115とのつりあいによって第1の保持部1109及び撮像素子106は変位する。第1の保持部1109が変位することによって、第1の保持部1109上に設けられたホール素子1103、1104も変位する。結果として、固定部に設けられた磁気回路と相対的に変位するので、ホール素子1103、1104の信号から第1の保持部1109の位置が検出可能であり、フィードバック制御を行うことができる。更に、露光中においては、レンズ情報と手振れ検出センサ108の信号に基づいて、適切に駆動コイル1101及び1102の電流を制御することによって、振れの少ない高品位な画像を得ることができる。
手振れ補正系の制御ブロックは、駆動対象が手振れ補正レンズ103ではなく撮像素子106である点を除いて、第1の実施形態と同様に図3に示すように構成されている。図3において、オフセット量301は、後述するようにカメラシステム制御回路205により適切に設定される。
撮像に関するフローは第1の実施形態と同様であり図7及び図8に示したとおりである。ここでは、オフセット量301の設定方法について図16及び表1を用いて説明する。
図16において、1301は異物が付着する光学素子であり、例えば、撮像素子のカバーガラスや光学ローパスフィルタや赤外カットフィルタである。1302a、1302bは図12の撮像光学系102の射出瞳であり、1303a、1303bは光学素子1301の表面に付着した異物である。1304a、1304bは撮像素子106上で異物1303a、1303bによって影響を受ける領域、つまり異物によって生じる影の領域を表している。図16(a)は撮像光学系102の絞りを開放した状態、図16(b)は撮像光学系102の絞りを一定量絞った状態をそれぞれ表している。図16から明らかなように、撮像素子106上で異物1303a、1303bによって影響を受ける領域1304a、1304bは、異物1303a、1303bの外径、撮像光学系102の絞り値(F値)、撮像素子106と光学素子1301の距離によって決まる。異物1303a、1303bの外径をr、撮像光学系102の絞り値をFno、撮像素子106と光学素子1301の距離をlとする。領域1304a、1304bは、外径rに絞り値に反比例する量を加算した値で表される。一般には、領域1304a、1304bの直径は、以下の数式1で表すことができる。
r+l/Fno … 数式1
ここで光学素子1301に付着する異物1303a、1303bを考える。異物1303a、1303bと光学素子1301の間には、クーロン力、液架橋力、ファンデルワールス力などが作用していると考えられる。しかし、大きな異物は、上記の力よりも重力による力が勝るため、付着できずに落下すると考えられる。これは、異物1303a、1303bの形状、光学素子1301の表面形状、光学素子1301と異物1303a、1303bの帯電状態などによって大きく影響を受ける。しかし、異物の付着を抑制するように構成された光学素子1301では、およそ0.1mmを超える大きさの異物1303a、1303bは付着せず、重力によって光学素子1301から剥がれて落ちる。従って、r=0.1mmに設定すると、異物1303a、1303bの最大直径は、0.1+l/Fnoと規定することができる。ここで、撮像素子106と光学素子1301の距離をlとしているので、この値は撮像装置固有の値である。また、Fnoは、ユーザーが任意に設定する値もしくは撮像装置が自動的に設定する値であって、一連の複数枚の撮影画像を取得する際には一定に保たれる値であるので、1枚目の撮影が開始される時に決定される値である。
上記の関係から、複数枚の撮影画像を得る際に、互いの被写体像のシフト量が0.1+l/Fno以上となるようにオフセット量301を設定すれば、その複数枚の撮影画像において異物の影の領域が互いに重なり合うことがほぼなくなる。そこで、例えば4枚の撮影画像を取得する際に、左下、左上、右下、右上の順に撮像素子106をシフト駆動することを考えると、各オフセット量1501a、1501b、1501c、1501dは、表1のように与えると良い。
Figure 2007323030

表1に従って4枚の画像を取得したときの画像の例を図17に示す。図17(a)〜(d)において、1401〜1404はそれぞれの画像において異物の影となった領域を示している。図17(e)は4つの画像を位置合わせして重ねた画像を示す図である。図17(e)からわかるように、それぞれの撮影画像で生じた異物の影の領域は互いに重ならない。従って、例えば、図17(a)の1401に隠れた被写体像の領域は、他の3枚の同一領域を4/3倍の増幅処理を行いつつ重ね合わせればよい。このとき図17(a)の1401の領域は重ね合わせに用いない。同様に1402〜1404についても、他の3枚を重ね合わせる。また、図17(e)において、4枚が重ならない周辺領域は、トリミングにより切り落とす。このように補正処理を行うことで、異物の影が写り込んでいない被写体画像を得ることができる。
このように適切なオフセット量301を設定すると、被写体像を必要以上にずらさないで済むため、制御対象の駆動による消費電力を抑えることができる。本実施形態では4つのオフセット量301bを与えて4枚の撮影画像を取得したが、2枚以上の撮影画像を取得するのであればその取得枚数は限定されない。
また、本実施形態においては、1枚目からオフセット量を与えて被写体像をシフトしたが、例えば1枚目もしくは何枚目かのオフセット量を0としても良い。このとき、互いの撮影画像を重ね合わせたときに、異物の影が重ならないよう、他の撮影画像取得時には上記のように、被写体像間隔が0.1+l/Fno以上となるようにオフセット量301を設定すれば良い。
第1の実施形態においても、オフセット量の設定については、第2の実施形態で説明した方法と同様の考え方が適用できる。第2の実施の形態では、撮像素子106をシフト駆動するため、図16を用いて説明したように、結像する被写体像換算でオフセット量を算出した。第1の実施の形態では、手振れ補正レンズ103を駆動するため、撮像素子106上で0.1+l/Fno以上となるような、手振れ補正レンズ103のオフセット量を算出して用いれば良い。
また、第1の実施の形態も、第2の実施の形態も、図7のフローに示すように、手振れ補正を行いつつオフセット量を設定して複数の撮影画像を取得していたが、これに限らない。すなわち、複数の撮影画像を取得する際に、シャッター速度がある程度速ければ(例えば1/(撮影光学系102の焦点距離)秒より高速)、その露光時間において手振れが生じる恐れが小さいので、手振れ補正を行わなくても良い。このとき、図3において、駆動部109aは算出部212によって算出される第1の移動目標量300aを考慮することなく、オフセット量301にのみ基づいて駆動することになる。
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
第1の実施形態に係る撮像装置の断面図である。 第1の実施形態に係る撮像装置の電気的構成を示すブロック図である。 第1の実施形態に係る手振れ補正レンズ103の駆動に関するブロック図である。 手振れ補正レンズ103の動作を説明するための図である。 第1の実施形態に係る手振れ補正機構の例を示す図である。 第1の実施形態に係る手振れ補正機構の駆動力発生部を示す図である。 撮像装置の動作を示すフロー図である。 撮像装置のシーケンスを示すフロー図である。 画像処理方法のデータの流れを示すブロック図である。 画像合成前の2枚の撮影画像とこれらを重ね合わせた様子を示す図である。 撮像システムの構成を示すブロック図である。 第2の実施形態に係る撮像装置の断面図である。 第2の実施形態に係る撮像装置の電気的構成を示すブロック図である。 第2の実施形態に係る手振れ補正機構の例を示す図である。 第2の実施形態に係る手振れ補正機構の駆動力発生部を示す図である。 第2の実施形態において、異物によって影響を受ける領域を示す模式図である。 画像合成前の4枚の撮影画像とこれらを重ね合わせた様子を示す図である。
符号の説明
102 撮像光学系
103 手振れ補正レンズ
106 撮像素子
108 手振れ検出センサ
109a 駆動部
212 算出部

Claims (15)

  1. 撮像光学系により結像された被写体像を光電変換する撮像手段と、
    前記被写体像を前記撮像手段に対して相対的に移動させるための移動手段と、
    手振れを検出する手振れ検出手段と、
    前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出する算出手段と、
    前記算出手段により算出された移動量に予め定められるオフセット量を加算して前記移動手段を駆動する駆動手段と、
    前記予め定められるオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御手段とを備えることを特徴とする撮像装置。
  2. 前記オフセット量は、前記撮像光学系の絞り値に応じて定められることを特徴とする請求項1に記載の撮像装置。
  3. 撮像光学系により結像された被写体像を光電変換する撮像手段と、
    前記被写体像を前記撮像手段に対して相対的に移動させるための移動手段と、
    前記撮像光学系の絞り値に基づいて予め定められるオフセット量に従って前記移動手段を駆動する駆動手段と、
    前記予め定められるオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御手段とを備えることを特徴とする撮像装置。
  4. 前記移動手段は、前記撮像光学系の一部、前記撮像手段又は前記撮像光学系内に配置された頂角プリズムのいずれか1つを駆動することによって、前記被写体像を移動させることを特徴とする請求項1乃至請求項3のいずれか1項に記載の撮像装置。
  5. 前記オフセット量は、0を含むことを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置。
  6. 前記複数枚の撮影画像を比較することにより、少なくとも前記撮像手段の近傍に付着した異物に関する位置情報を含む、異物領域情報を検出する異物検出手段を備えることを特徴とする請求項1乃至請求項5のいずれか1項に記載の撮像装置。
  7. 前記異物検出手段は、前記オフセット量を参照して異物を検出することを特徴とする請求項6に記載の撮像装置。
  8. 前記オフセット量に基づいて、前記複数枚の撮影画像を位置合わせして合成する画像合成手段と、
    前記画像合成手段により合成する際に、前記オフセット量と前記異物領域情報とに基づいて、前記複数枚の撮影画像のうちの1つである第1の撮影画像における前記異物が写りこんだ一部の領域を、前記複数枚の撮影画像のうちの前記第1の撮影画像とは異なる他の撮影画像における前記異物が写りこんでいない一部の領域で補正する画像補正手段とを備えることを特徴とする請求項6又は請求項7に記載の撮像装置。
  9. 撮像装置において取得された複数枚の撮影画像と、前記撮像装置において前記複数枚の撮影画像を得る際に被写体像を撮像手段に対して相対的に移動させるための移動手段に与えたオフセット量とを取得する取得手段と、
    前記複数枚の撮影画像を比較することにより、少なくとも前記撮像手段の近傍に付着した異物に関する位置情報を含む、異物領域情報を検出する異物検出手段と、
    前記オフセット量に基づいて、前記複数枚の撮影画像を位置合わせして合成する画像合成手段と、
    前記画像合成手段により合成する際に、前記オフセット量と前記異物領域情報とに基づいて、前記複数枚の撮影画像のうちの1つである第1の撮影画像における前記異物が写りこんだ一部の領域を、前記複数枚の撮影画像のうちの前記第1の画像とは異なる他の撮影画像における前記異物が写りこんでいない一部の領域で補正する画像補正手段とを備えることを特徴とする画像処理装置。
  10. 請求項1乃至請求項5のいずれか1項に記載の撮像装置と、
    請求項9に記載の画像処理装置とを備えることを特徴とする撮像システム。
  11. 撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を撮像手段に対して相対的に移動させるための移動手段と、手振れを検出する手振れ検出手段とを備える撮像装置を制御する方法であって、
    前記手振れ検出手段の出力に基づいて、前記手振れを打ち消すための前記移動手段の移動量を算出する算出工程と、
    前記算出工程において算出された移動量に予め定められるオフセット量を加算して前記移動手段を駆動する駆動工程と、
    前記予め定められたオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御工程と含むことを特徴とする撮像装置の制御方法。
  12. 撮像光学系により結像された被写体像を光電変換する撮像手段と、前記被写体像を撮像手段に対して相対的に移動させるための移動手段とを備える撮像装置を制御する方法であって、
    前記撮像光学系の絞り値に基づいて予め定められるオフセット量に従って前記移動手段を駆動する駆動工程と、
    前記予め定められたオフセット量を撮影ごとに変更して複数枚の撮影画像を取得する制御工程と含むことを特徴とする撮像装置の制御方法。
  13. 撮像装置において取得された複数枚の撮影画像と、前記撮像装置において前記複数枚の撮影画像を得る際に被写体像を撮像手段に対して相対的に移動させるための移動手段に与えたオフセット量とを取得する取得工程と、
    前記複数枚の撮影画像を比較することにより、少なくとも前記撮像手段の近傍に付着した異物に関する位置情報を含む異物領域情報を検出する異物検出工程と、
    前記オフセット量に基づいて、前記複数枚の撮影画像を位置合わせして合成する画像合成工程と、
    前記画像合成工程により合成する際に、前記オフセット量と前記異物領域情報とに基づいて、前記複数枚の撮影画像の内の1つである第1の撮影画像における前記異物が写りこんだ一部の領域を、前記複数枚の撮影画像のうちの前記第1の画像とは異なる他の撮影画像における前記異物が写りこんでいない一部の領域で補正する画像補正工程とを含むことを特徴とする画像処理方法。
  14. 請求項11又は請求項12に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
  15. 請求項13に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
JP2006156646A 2006-06-05 2006-06-05 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム Active JP4968885B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006156646A JP4968885B2 (ja) 2006-06-05 2006-06-05 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム
US11/757,556 US7769282B2 (en) 2006-06-05 2007-06-04 Image capturing apparatus, control method thereof, image processing apparatus, image processing method, image capturing system, and program
US12/822,808 US8023811B2 (en) 2006-06-05 2010-06-24 Image capturing apparatus, control method thereof, image processing apparatus, image processing method, image capturing system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006156646A JP4968885B2 (ja) 2006-06-05 2006-06-05 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム

Publications (3)

Publication Number Publication Date
JP2007323030A true JP2007323030A (ja) 2007-12-13
JP2007323030A5 JP2007323030A5 (ja) 2009-07-09
JP4968885B2 JP4968885B2 (ja) 2012-07-04

Family

ID=38821501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006156646A Active JP4968885B2 (ja) 2006-06-05 2006-06-05 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム

Country Status (2)

Country Link
US (2) US7769282B2 (ja)
JP (1) JP4968885B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216725A (ja) * 2008-03-06 2009-09-24 Chinontec Kk ブレ補正装置および光学機器
JP2010016650A (ja) * 2008-07-03 2010-01-21 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010081114A (ja) * 2008-09-24 2010-04-08 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2012085347A (ja) * 2008-05-16 2012-04-26 Casio Comput Co Ltd 撮影装置およびプログラム
US8711230B2 (en) 2008-05-16 2014-04-29 Casio Computer Co., Ltd. Image capture apparatus and program
CN113574856A (zh) * 2019-03-28 2021-10-29 索尼集团公司 图像处理设备、图像处理方法和程序

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5078446B2 (ja) * 2007-06-05 2012-11-21 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP2009139627A (ja) * 2007-12-06 2009-06-25 Olympus Corp ブレ検出装置
JP5047080B2 (ja) * 2008-07-03 2012-10-10 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
JP5843523B2 (ja) * 2011-08-29 2016-01-13 キヤノン株式会社 レンズ鏡筒、及び撮像装置
JP2016537665A (ja) 2014-01-22 2016-12-01 エルジー エレクトロニクス インコーポレイティド カメラモジュール及びそのオートフォーカス方法
US20150304562A1 (en) * 2014-04-22 2015-10-22 Samsung Electro-Mechanics Co., Ltd. Imaging apparatus and control method thereof
JP6621253B2 (ja) * 2015-06-23 2019-12-18 キヤノン株式会社 撮像装置、制御方法およびプログラム
US9883098B2 (en) 2016-03-09 2018-01-30 Lg Electronics Inc. Apparatus and method for controlling auto focus of camera module
KR20170126760A (ko) 2016-05-10 2017-11-20 엘지전자 주식회사 카메라 모듈 및 그의 오토 포커스 방법
JP7156225B2 (ja) * 2019-09-20 2022-10-19 株式会社デンソーテン 付着物検出装置および付着物検出方法
CN112561915A (zh) * 2020-11-30 2021-03-26 成都市喜爱科技有限公司 图像处理方法、装置、图像采集装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969726A (ja) * 1982-10-15 1984-04-20 Olympus Optical Co Ltd 固体撮像素子を内蔵した内視鏡装置
JPH11272855A (ja) * 1998-03-23 1999-10-08 Leben:Kk 撮像の障害物除去方法
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2001086411A (ja) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2005072629A (ja) * 2002-08-30 2005-03-17 Nikon Corp 電子カメラ及びその制御プログラム
WO2006022229A1 (ja) * 2004-08-25 2006-03-02 Matsushita Electric Industrial Co., Ltd. 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4282226B2 (ja) 2000-12-28 2009-06-17 オリンパス株式会社 カメラ
US7120315B2 (en) * 2002-03-18 2006-10-10 Creo Il., Ltd Method and apparatus for capturing images using blemished sensors
JP3826878B2 (ja) 2002-11-19 2006-09-27 コニカミノルタフォトイメージング株式会社 撮像装置
JP4466015B2 (ja) 2002-12-27 2010-05-26 株式会社ニコン 画像処理装置および画像処理プログラム
US7424212B2 (en) * 2004-11-12 2008-09-09 Fujifilm Corporation Camera shaking correcting method, camera shaking correcting device, and image pickup device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5969726A (ja) * 1982-10-15 1984-04-20 Olympus Optical Co Ltd 固体撮像素子を内蔵した内視鏡装置
JPH11272855A (ja) * 1998-03-23 1999-10-08 Leben:Kk 撮像の障害物除去方法
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2001086411A (ja) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd 固体撮像装置
JP2005072629A (ja) * 2002-08-30 2005-03-17 Nikon Corp 電子カメラ及びその制御プログラム
WO2006022229A1 (ja) * 2004-08-25 2006-03-02 Matsushita Electric Industrial Co., Ltd. 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009216725A (ja) * 2008-03-06 2009-09-24 Chinontec Kk ブレ補正装置および光学機器
JP2012085347A (ja) * 2008-05-16 2012-04-26 Casio Comput Co Ltd 撮影装置およびプログラム
US8711230B2 (en) 2008-05-16 2014-04-29 Casio Computer Co., Ltd. Image capture apparatus and program
JP2010016650A (ja) * 2008-07-03 2010-01-21 Canon Inc 撮像装置及びその制御方法及びプログラム
JP2010081114A (ja) * 2008-09-24 2010-04-08 Canon Inc 撮像装置及びその制御方法及びプログラム
CN113574856A (zh) * 2019-03-28 2021-10-29 索尼集团公司 图像处理设备、图像处理方法和程序

Also Published As

Publication number Publication date
JP4968885B2 (ja) 2012-07-04
US8023811B2 (en) 2011-09-20
US20070285522A1 (en) 2007-12-13
US20100253794A1 (en) 2010-10-07
US7769282B2 (en) 2010-08-03

Similar Documents

Publication Publication Date Title
JP4968885B2 (ja) 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム
JP5800611B2 (ja) 撮影装置
JP4522207B2 (ja) カメラシステム、カメラ本体及び交換レンズ
US9769384B2 (en) Imaging apparatus capable of detecting position of movable image pickup device at first resolving power and at second resolving power higher than first resolving power and, at which second resolving power, deviation amount is less than or equal to pixel shift amount
JP4875971B2 (ja) 撮影装置及びその調整方法
JP2008157979A (ja) デジタルカメラ
JP2006208691A (ja) 撮像装置並びにそのカメラ本体及び交換レンズ
WO2013146506A1 (ja) 撮像装置及び撮像方法
JP2008035308A (ja) 電子カメラ及びレンズユニット
CN109691085B (zh) 摄像装置及摄像控制方法
JP2001042207A (ja) 電子カメラ
JP5832353B2 (ja) 撮像装置
JP5290557B2 (ja) 撮像装置及び撮像方法
JP2006295237A (ja) 撮像装置
US10917556B2 (en) Imaging apparatus
JP2006050149A (ja) 流し撮り方法および撮影装置
JP6395401B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
JP5215818B2 (ja) 撮像装置及びその制御方法及びプログラム
JP5188293B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2008141675A (ja) 撮像装置及びその制御方法
JP6286951B2 (ja) 撮影装置及びその調整制御方法
JP2009204628A (ja) 撮像装置
JP2005173507A (ja) ぶれ検出信号の増幅率初期設定方法、撮像装置
JP5644488B2 (ja) 撮像装置
JP2009229983A (ja) 拡大表示機能付きカメラおよびカメラの制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4968885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3