JP2004128584A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2004128584A
JP2004128584A JP2002286046A JP2002286046A JP2004128584A JP 2004128584 A JP2004128584 A JP 2004128584A JP 2002286046 A JP2002286046 A JP 2002286046A JP 2002286046 A JP2002286046 A JP 2002286046A JP 2004128584 A JP2004128584 A JP 2004128584A
Authority
JP
Japan
Prior art keywords
image
image data
blur
unit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002286046A
Other languages
English (en)
Inventor
Tsutomu Honda
本田 努
Toshihisa Maeda
前田 利久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP2002286046A priority Critical patent/JP2004128584A/ja
Priority to US10/326,301 priority patent/US20040061796A1/en
Publication of JP2004128584A publication Critical patent/JP2004128584A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2158Intermediate information storage for one or a few pictures using a detachable storage unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Abstract

【課題】装置の大型化を招くことなく、短時間の露光においても撮影時に発生するぶれに対応可能な撮像装置を提供する。
【解決手段】CCD2は、受光部2aに蓄積される電荷信号を、受光部2aの画素配列を第1〜第3フィールドに分けて順次に読み出し可能なCCD2である。そして、撮影動作時に、第1フィールドについて、露光時間を2つに分割した期間のうちのそれぞれの期間に蓄積される電荷信号を第1および第2分割画像データとしてそれぞれ読み出す。そして、読み出された2つの画像データを画像比較部47において比較することによって、被写体と撮像装置1Aとの相対的なぶれ量を検出する。
【選択図】    図3

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置であって、特に、手ぶれなどによって発生する画像のぶれに対して適切な動作を行う技術に関する。
【0002】
【従来の技術】
撮像装置による撮影では、被写体の動きや手ぶれなどによって、撮影画像にぶれが発生することが広く知られている。この撮影画像における「ぶれ」は、画像がぼけた状態であるため「ぼけ」とも表現されるが、本明細書では、「ぶれ」と称することとする。撮影画像のぶれは、流し撮りなどの撮影方法において積極的に応用される場合があるが、一般的には、画質の劣化と見なされる。
【0003】
このような撮影画像の「ぶれ」を防止するための一般的な方法としては、三脚などによって撮像装置が動かないように固定する方法や、ジャイロなどを搭載して手ぶれなどを検知して撮影画像を補正する方法などがある。しかし、実際の撮影現場では、三脚を設置する時間が無かったりする場合が多い。さらに、三脚やジャイロなどを付加することによって撮像装置の大型化も招く。
【0004】
このような問題点に対して、長時間の露光を行う場合に、複数回の連続した露光に分けて複数の画像を取得し、複数の画像における被写体の相対的な動きを補償した後に、複数の画像を加算することによって、撮影画像のぶれを補正する方法が提案されている(例えば、特許文献1)。この方法では、三脚やジャイロなどの特別な装置を必要とせず、撮像装置の大型化を招くことなく撮像画像のぶれを補正することができる。
【0005】
このような技術に関する先行技術文献としては、以下のようなものがある。
【0006】
【特許文献1】
特開2001−86398号公報
【0007】
【発明が解決しようとする課題】
しかしながら、特許文献1において提案される方法では、長時間の露光を、複数回の連続した露光に分割しているため、シャッタースピードを短く設定したい場合には、適用することができない。例えば、被写体の位置や状況が激しく変化する場合では、シャッタースピードを短く設定すべきである。
【0008】
そこで、本発明は上記課題を鑑みてなされたものであり、装置の大型化を招くことなく、短時間の露光においても撮影時に発生するぶれに対応可能な撮像装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の課題を解決するために、請求項1の発明は、撮像装置であって、(a)撮影の際に受光部に蓄積される電荷信号を画像データとして、前記受光部の画素配列を複数のフィールドに分けて順次に読み出し可能な撮像手段と、(b)前記撮像手段の露光時間を設定する設定手段と、(c)前記露光時間を複数の期間に分割する分割手段と、(d)撮影の際に前記複数フィールドのうちの第1のフィールドから、前記複数の期間のうちの2つの期間のそれぞれにおいて前記受光部に蓄積される電荷信号を第1および第2の画像データとして、それぞれ読み出す読み出し手段と、(e)前記第1および第2の画像データを比較する比較手段と、(f)前記比較手段による比較結果に基づいて被写体と前記撮像装置との相対的なぶれ量を検出する検出手段とを備えることを特徴とする。
【0010】
また、請求項2の発明は、請求項1に記載の撮像装置であって、(g)前記検出手段により所定量以上の前記ぶれ量が検出された場合に、警告を行う警告手段、をさらに備えることを特徴とする。
【0011】
また、請求項3の発明は、請求項1または請求項2に記載の撮像装置であって、(h)前記撮像手段より読み出された画像データに対して画像処理を行う画像処理手段と、(i)前記検出手段により検出される前記ぶれ量に基づいて、前記画像処理手段による画像処理の内容を変更する変更手段とをさらに備えることを特徴とする。
【0012】
また、請求項4の発明は、請求項1から請求項3のいずれかに記載の撮像装置であって、前記分割手段が、前記設定手段により設定された前記露光時間が所定時間よりも長い場合に、前記露光時間を複数の期間に分割することを特徴とする。
【0013】
また、請求項5の発明は、請求項1から請求項4のいずれかに記載の撮像装置において、(j)被写体を照明する発光部をさらに備え、前記分割手段が、前記発光部を発光させて撮影する際は、前記露光時間を複数の期間に分割しないことを特徴とする。
【0014】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0015】
<(1)撮像装置の概要>
図1は、本発明の第1実施形態に係る撮像装置1Aを示す斜視図である。また、図2は、撮像装置1Aの背面図である。なお、図1および図2には方位関係を明確にするためにお互いに直交するX,Y,Zの三軸を示している。
【0016】
撮像装置1Aの前面側には、撮影レンズ11、ファインダ窓13、および被写体を照明するための発光部位である内蔵フラッシュ7が設けられている。また、撮像装置1Aの内部にはCCD(Charge Coupled Device)2が設けられている。CCD2は、撮影レンズ11を介して入射する被写体像を光電変換して画像信号を生成する。
【0017】
撮影レンズ11には光軸方向に沿って駆動可能なレンズ系が含まれており、当該レンズ系を光軸方向に駆動することにより、CCD2に結像される被写体像の合焦状態を実現することができるように構成されている。
【0018】
撮像装置1Aの上面側には、レリーズボタン14と、モード切替ボタン15とが配置されている。レリーズボタン14は、被写体の撮影を行うときにユーザーが押下操作を行って撮像装置1Aに撮影指示を与えるボタンである。ここでは、レリーズボタン14を半押し状態(S1状態)とすることによって後述するオートフォーカス動作(AF動作)を行う。そして、レリーズボタン14を全押し状態(S2状態)とすることによって後述する本撮影が実施される。
【0019】
モード切替ボタン15は、被写体を撮影するための「撮影モード」や、撮影画像などをLCD18に再生表示する「再生モード」などのモード切替えを行うためのボタンである。なお、撮像装置1Aが電源ONの状態において撮影モードに切り替えられると、撮像装置1Aは撮影可能な状態である撮影待機状態となる。
【0020】
撮像装置1Aの側面部には、メモリカード9を着装する着装部16と、カード取り出しボタン17が配置される。そして、着装部16に着装されるメモリカード9には本撮影で取得される画像データが記憶される。また、カード取り出しボタン17を押下することによって、着装部16からメモリカード9を取り出すことができる。
【0021】
撮像装置1Aの背面には、液晶ディスプレイ(LCD)18と、操作ボタン19と、ファインダ窓13とが設けられている。液晶ディスプレイ(LCD)18は、本撮影前に被写体を動画的態様で表示するライブビュー表示や、撮影した撮影画像などの表示を行う。操作ボタン19は、内蔵フラッシュ7の使用の有無やシャッタースピードなど撮像装置1Aの各種設定状態を変更するためのボタンである。また、ユーザーが操作ボタン19を種々操作することによって、後述する”撮影画像のぶれ”を補正するための「ぶれ補正モード」を設定することができる。さらに、「ぶれ補正モード」に設定された際には、操作ボタン19は、後述する画像処理部43内に備えられたメモリ43aに格納される画像データを消去するためのボタンとしても機能する。なお、本発明の特徴部分であるぶれ補正モードにおける撮影に関しては、後程詳述する。
【0022】
<(2)内部構成>
図3は、撮像装置1Aの機能ブロックを示す図である。図4は、撮像装置1Aにおける画像信号などの流れを説明するための図である。
【0023】
撮像装置1Aは、CCD2にデータ伝送可能に接続するAFE(アナログフロントエンド)3と、AFE3とデータ伝送可能に接続する画像処理ブロック4と、これら各部を統括制御するカメラマイコン5とを備えている。
【0024】
CCD2は、撮影レンズ11に対向する面に受光部2aが設けられており、この受光部2aには複数の画素が配列されている。受光部2aを構成する画素配列は、3つのフィールドに分けられており、CCD2は、本撮影の際に、各画素に蓄積される電荷信号(画像信号)を、各フィールドから順次に読出し可能な構成となっている。また、CCD2は、高速で信号を読み出すモード(以下、「高速読み出しモード」と称する)を有している。高速読み出しモードは、本撮影前の撮影待機状態において、プレビュー用となるライブビュー画像を生成するための撮影(以下、「ライブビュー撮影」と称する)を行う。
【0025】
ここで、CCD2における電荷信号の読み出し方法を説明する。
【0026】
図5は、本撮影におけるCCD2の電荷信号の読み出し方法を説明するための図であり、図6は、CCD2の高速読み出しモードを説明するための図である。なお、CCD2の受光部2aにおいては、実際には数百万以上の画素が配列されているが、図5および図6では、図示の便宜上、受光部2aの一部のみが示されている。
【0027】
図5および図6に示すように、受光部2aには、画素配列に対応するカラーフィルタ配列が設けられている。即ち、受光部2aがカラーフィルタ配列を有している。このカラーフィルタ配列は、周期的に分布する赤(R)、緑(Gr、Gb)および青(B)のカラーフィルタ、すなわち互いに色の異なる3種類のカラーフィルターで構成されている。
【0028】
CCD2の各セルに蓄積された電荷信号を読出す場合には、図5(a)に示すように、受光部2aにおける1、4、7、・・の各ライン、すなわち3n+1ライン目(nは整数)を第1フィールドF1とし、第1フィールドF1から電荷信号が読出されて、第1フィールド画像データFP1が構成される。次に、図5(b)に示すように、受光部2aにおける2、5、8、・・の各ライン、すなわち3n+2ライン目を第2フィールドF2とし、第2フィールドF2から電荷信号が読出されて、第2フィールド画像データFP2が構成される。最後に、図5(c)に示すように、受光部2aにおける3、6、9、・・の各ライン、すなわち3nライン目を第3フィールドF3として、第3フィールドF3から電荷信号が読出されて、第3フィールド画像データFP3が構成される。このような電荷読出し方法により、第1〜第3フィールドF1〜F3のそれぞれには、カラーフィルタ配列の全色成分、すなわちRGB全色の画素が含まれることとなる。
【0029】
また、「ぶれ補正モード」が設定されている際には、第1フィールドF1からの電荷信号の読み出しを2回に分けて行い、第1フィールドF1から2つの画像データを得る。なお、以下では、この2つの画像データのうち先に得られる画像データを第1分割画像データDP1と称し、後に得られる画像データを第2分割画像データDP2と称することとする。したがって、ここでは、露光時間TE秒を略半分に分割し、露光時間TE秒のうちの前半の期間FHに受光部2aに蓄積される電荷信号が第1フィールドF1から読み出されて、第1分割画像データDP1を構成する。さらに、露光時間TE秒のうちの後半の期間RHに受光部2aに蓄積される電荷信号が第1フィールドF1から読み出されて、第2分割画像データDP2を構成する。なお、露光時間TE秒の設定および露光時間TE秒の分割はAE・WB演算器42およびカメラマイコン5において行われる。
【0030】
そして、第2および第3フィールドF2,F3については、第1フィールドF1から第1および第2分割画像データDP1,DP2が読み出された後に、各フィールドごとに、順次、第2および第3フィールド画像データFP2,FP3が読み出される。
【0031】
即ち、CCD2は、撮影の際に、第1〜第3フィールドF1〜F3のうちの最初に画像データが読み出される第1フィールドF1のみから、露光時間TE秒における前半の期間FHと後半の期間RHのそれぞれにおいて、受光部2aに蓄積される電荷信号を第1分割画像データDP1および第2分割画像データDP2として、それぞれ読み出すのである。
【0032】
一方、高速読み出しモードにおいては、例えば、図6に示すように、受光部2aにおける2、7、10、・・の各ラインの電荷信号が読み出され、画像データ(以下、「高速読み出し画像データ」と称する)を取得する。即ち、水平ラインが1/4に間引きされた状態で読み出される。そして、図6に示すように、高速読み出し画像データには、RGB全色の画素についてのデータが含まれる。
【0033】
図3および図4に戻って説明を続ける。
【0034】
AFE3は、信号処理部31と、信号処理部31にタイミング信号を送るTG(タイミング発生器)32とを備えるLSI(大規模集積回路)として構成されている。このTG32は、CCD2にCCD駆動信号を送り、この駆動信号に同期してCCD2から電荷信号が出力されることとなる。
【0035】
信号処理部31は、CDS(相関2重サンプリング器)311、アンプ部として働くPGA(Programmable−Gain−Amplifier)312、およびADC(A/D変換器)313を有している。CCD2から出力された各フィールドの出力信号は、TG32からのサンプリング信号に基づきCDS311でサンプリングされ、PGA312で所望の増幅が行われる。このPGA312は、カメラマイコン5からのシリアル交信を介して数値データにて増幅率の変更が可能であるとともに、セレクタ46から送られる値(AE制御値、WB制御値)に基づき画像信号の補正が可能な構成となっている。そして、PGA312で増幅されたアナログ信号は、ADC313でデジタル信号に変換された後、画像処理ブロック4に送られる。
【0036】
画像処理ブロック4は、画像メモリ41、AE・WB演算器42、画像処理部43、圧縮/伸張部45、セレクタ46、および画像比較部47を有している。そして、AE・WB演算器42、画像処理部43、および画像比較部47は画像メモリ41に対してデータ伝送可能に接続する。
【0037】
画像メモリ41は、例えば半導体メモリで構成され、ADC313でデジタル変換された各フィールド画像データFP1〜FP3と、第1および第2分割画像データDP1,DP2を一時的に格納する部位である。そして、全てのフィールドの画像データが、画像メモリ41に格納された後、1フレーム分の全画素画像を生成するために、画像処理部43に送られる。
【0038】
また、「ぶれ補正モード」が設定されている場合は、第1および第2分割画像データDP1,DP2が画像メモリ41に格納されると、両画像データDP1,DP2は画像比較部47および画像処理部43に送られる。その後、後述する画像処理部43において、第1および第2分割画像データDP1,DP2が合成されて、第1フィールド画像データFP1が生成され、画像メモリ41に格納される。
【0039】
また、画像メモリ41は、ADC313でデジタル変換された高速読み出し画像データも一時的に格納し、ライブビュー画像を生成するために、画像処理部43に送る。さらに、画像メモリ41に格納された高速読み出し画像データは、AE・WB演算器42にも送られる。
【0040】
AE・WB演算器42は、画像メモリ41から送られてくる高速読み出し画像データに基づいて、自動露出補正(AE)およびホワイトバランス補正(WB補正)を行うための値(AE制御値およびWB制御値)を算出する。
【0041】
例えば、まず、高速読み出し画像データを、複数のブロックに分割し、各ブロックごとに測光データを算出する多分割測光を行い、被写体輝度を検出する。なお、被写体輝度検出の具体的処理としては、R,G,Bで与えられる画像データによって規定される各画素ごとの各色成分値(各色成分ごとの輝度値)を画像全体に対して平均して、0から1023までの整数値に対応させて被写体輝度値として算出する。そして、AE・WB演算器42は、算出した被写体輝度値に基づいて、適正露光となるように撮影レンズ11の絞り値と露光時間TE秒(シャッタースピード)とを設定する。また、被写体輝度が低く、適切な露光量が設定できない場合は、PGA312において画像信号のレベル調整を行うためのゲイン値を設定する。よって、PGA312による画像信号のレベル調整によって、露光不足による不適正露出が補正される。即ち、AE・WB演算器42は、絞り値やシャッタースピードやゲイン値などといったAE制御値を算出する。さらに、AE・WB演算器42は、算出された各色成分ごとの輝度値に基づいて、取得される画像のホワイトバランス(WB)が適正となるようにWB制御値を算出する。
【0042】
また、AE・WB演算器42では、例えば、算出された被写体輝度が所定の閾値以下である場合は、内蔵フラッシュ7を発光させるように判断を行い、その旨をカメラマイコン5に送信する。
【0043】
なお、内蔵フラッシュ7を発光させて撮影を行うフラッシュ撮影においては、一般的な撮像装置と同様に、本撮影の前に内蔵フラッシュ7を予備発光させて、AE制御値を算出する。例えば、予備発光前に得られる画像データ、および内蔵フラッシュ7を予備発光させる際に得られる画像データの被写体輝度と、予備発光量と、露出制御値(感度、絞り、シャッタースピード)とから本撮影時の内蔵フラッシュ7の適正な発光量をAE制御値として算出する。算出された内蔵フラッシュ7の適正な発光量は、カメラマイコン5を介してフラッシュ制御回路66に送られ、フラッシュ制御回路66の制御に基づいて、内蔵フラッシュ7の発光量が制御される。また、WB制御値については、カメラマイコン5の制御の下で、フラッシュ撮影用の所定のWB制御値が適用される。
【0044】
AE・WB演算器42において算出された値(AE制御値、WB制御値)は、セレクタ46に送られる。セレクタ46は、高速読み出し画像データ、またはCCD2のフィールドの読出し状況に応じて、値(AE制御値、WB制御値)を信号処理部31または画像処理部43に送る。
【0045】
画像比較部47は、画像メモリ41から送信される第1および第2分割画像データDP1,DP2の比較することによって、被写体と撮像装置1Aとの相対的なぶれ量を検出するためのものである。
【0046】
ここで、画像比較部47の機能について具体的に説明する。
【0047】
まず、画像比較部47は、画像メモリ41から第1および第2分割画像データDP1,DP2それぞれに基づく画像DG1,DG2からそれぞれ特異点を抽出する。例えば、肌色や黒色や高輝度などの領域を抽出して特異点とすることができる。
【0048】
次に、画像比較部47は、画像DG1,DG2から抽出した特異点の位置関係を比較するすることによって、被写体と撮像装置1Aとの相対的なぶれ量を検出する。なお、図5(a)に示したように、第1フィールドF1は受光部2aにおける3n+1ライン目(nは整数)である。よって、画像DG1,DG2は垂直方向に1/3に間引かれた画像となっている。
【0049】
図7から図9は、特異点の位置関係を例示する図である。なお、画像DG1,DG2においては、実際には百万以上の画素が存在するが、図7から図9では、図示の便宜上、画像DG1,DG2の一部の画素のみが示されている。また、図7から図9では、画像DG1における特異点P1、および画像DG2における特異点P2を示している。さらに、図7から図9には画素の位置関係を明確にするために互いに直交するH,Vの2軸を示している。
【0050】
例えば、図7(a)に示す画像DG1における特異点P1と、図7(b)に示す画像DB2における特異点P2との位置関係を比較すると、特異点がH方向に1画素だけ移動している。このとき、画像比較部47は、露光開始約TE/2秒経過後からTE秒経過後において、被写体と撮像装置1Aとの間にH方向に1画素分の”ぶれ”が発生したことを検出する。すなわち、このとき、画像比較部47は、被写体と撮像装置1Aとの相対的な”ぶれ量”を、H方向に1画素分であると検出する。
【0051】
また、同様にして、図8に示すような特異点の位置関係については、画像比較部47が、被写体と撮像装置1Aとの相対的な”ぶれ量”を、H方向に2画素分であると検出し、図9に示すような特異点の位置関係については、画像比較部47が、被写体と撮像装置1Aとの相対的な”ぶれ量”を、H方向に3画素分およびV方向に1画素分(CCD2上では3画素分に相当する)であると検出する。すなわち、画像比較部47は、被写体と撮像装置1Aとの相対的な”ぶれ量”と、被写体と撮像装置1Aとの間に生じる相対的な”ぶれの方向”とを検出する。
【0052】
画像比較部47は、上述したように、被写体と撮像装置1Aとの相対的な”ぶれ量”と”ぶれの方向”とを検出し、その”ぶれ量”と”ぶれの方向”を画像処理部43に送信する。
【0053】
画像処理部43は、画像メモリ41から送られてくる各種画像データに対して種々の画像処理を行うためのものであり、メモリ部43aを有している。メモリ部43aは、画像処理部43における画像処理の途中および画像処理後の画像データを一時的に記憶するための記憶媒体である。
【0054】
ここで、画像処理部43の種々の機能について説明する。
【0055】
例えば、画像処理部43は、画像メモリ41から送られてくる第1および第2分割画像データDP1,DP2を合成して第1フィールド画像データFP1を生成する。具体的には、両分割画像データDP1,DP2の各画素値を加算することによって、両分割画像データDP1,DP2を合成する。
【0056】
また、画像処理部43は、画像メモリ41から送られてくる第1〜第3フィールド画像データFP1〜FP3を合成することにより1フレーム分の画像データを生成する。具体的には、第1〜第3フィールド画像データFP1〜FP3のそれぞれには、他の2フィールドの画像データ(画素値)が存在していない。そこで、第1〜第3フィールド画像データFP1〜FP3を合成することによって、第1〜第3フィールドF1〜F3には存在しない画素についての画素値が相互に補間されて、1フレーム分の画像データが生成される。その結果、高品質の撮影画像を得ることができる。
【0057】
また、画像処理部43は、第1〜第3フィールド画像データFP1〜FP3を合成することによって生成される1フレーム分の画像データ、および画像メモリ41から送られる高速読み出し画像データを、CCD2のカラーフィルター特性に基づいた補間処理を行ってカラー化する。
【0058】
また、画像処理部43は、カラー化された画像データに対して、自然な階調を得るためのγ補正、輪郭強調や彩度調整を行うためのフィルター処理など各種の画像処理を行う。さらに、画像処理部43は、セレクタ46から送られる値(AE制御値、WB制御値)に基づき、画像の明るさや色バランスを調整するためのAEおよびWB補正を行う。
【0059】
そして、AEおよびWB補正の行われた画像データ(以下、「記録表示用画像データ」と称する)を、メモリ部43aに一時的に記憶するとともに、表示部44に画像データを転送する。
【0060】
ところで、「ぶれ補正モード」が設定されている場合は、画像処理部43で行われる画像処理の1つである輪郭強調処理が、画像比較部47によって検出される”ぶれ量”や”ぶれの方向”に応じて行われる。
【0061】
ここで、被写体と撮像装置1Aとの相対的な”ぶれ”によって発生する撮影画像の”ぶれ”と、その補正について説明する。なお、ここで、”ぶれ”の発生する「撮影画像」とは、記録表示用画像データに基づく画像である。
【0062】
例えば、被写体と撮像装置1Aとの相対的な”ぶれ”が水平方向に生じると、特に撮影画像における縦方向に伸びるエッジが、水平方向にぶれた画像となる。また、被写体と撮像装置1Aとの相対的な”ぶれ”が垂直方向に生じると、特に撮影画像における横方向に伸びるエッジが、垂直方向にぶれた画像となる。さらに、被写体と撮像装置1Aとの相対的な”ぶれ”が任意の方向に生じると、撮影画像における縦方向および横方向に伸びるエッジが、その任意の方向にぶれた画像となる。つまり、被写体と撮像装置1Aとの相対的な”ぶれ”が生じると、撮影画像における被写体の輪郭が不明瞭となるのである。
【0063】
そこで、画像処理部43では、画像比較部47において検出した”ぶれ量”や”ぶれの方向”に応じて輪郭強調処理を行い、被写体の輪郭を明瞭とすることによって、撮影画像に発生する”ぶれ”を補正することができる。
【0064】
例えば、図7に示すように、画像比較部47によってH軸方向(水平方向)に1画素分の”ぶれ量”が検出された場合は、H軸方向に対して直交する方向に伸びるエッジが強調されるように比較的弱めの輪郭強調処理を記録表示用画像データに対して行う。また、図8に示すように、画像比較部47によってH軸方向に2画素分の”ぶれ量”が検出された場合は、H軸方向に対して直交する方向に伸びるエッジが強調されるように比較的強めの輪郭強調処理を記録表示用画像データに対して行う。
【0065】
すなわち、所定の方向に対して、所定の”ぶれ量”が検出された際には、所定の方向に対して直交する方向に伸びるエッジが強調されるように、”ぶれ量”に応じた所定の強さの輪郭強調処理を撮影画像に対して行う。具体的には、所定の方向に対して、所定の”ぶれ量”よりも大きな”ぶれ量”が検出された際には、所定の方向に対して直交する方向に伸びるエッジが強調されるように、”ぶれ量”に応じた上記所定の強さよりも強い輪郭強調処理を撮影画像に対して行う。換言すれば、所定の方向に対して検出される”ぶれ量”が大きくなればなる程、所定の方向に対して直交する方向に伸びるエッジが強調されるように、”ぶれ量”に応じたより強い輪郭強調処理を撮影画像に対して行う。なお、ここで言う輪郭強調処理は一般的な画像処理ソフトと同様な手法によって実施することができる。
【0066】
このように、画像処理部43では、画像比較部47によって検出される”ぶれ量”および”ぶれの方向”とに基づいて、記録表示用画像データに対して輪郭強調処理などの画像処理を行う。すなわち、画像処理部43は、画像比較部47により検出される”ぶれ量”や”ぶれの方向”に基づいて、輪郭強調処理の内容を変更する。したがって、検出された”ぶれ量”に基づいて画像処理の内容を変更するため、”ぶれ量”や”ぶれの方向”に応じた適正な撮影画像を生成することができる。その結果、良品質の撮影画像を取得することができる。
【0067】
また、図9に示すように、画像比較部47によってH軸方向に3画素分以上の”ぶれ量”が検出されたり、V軸方向に1画素分以上の”ぶれ量”が検出された場合は、画像処理部43は、撮影画像をメモリカード9に記録する場合のみ、”ぶれ量”や”ぶれの方向”に応じて、記録表示用画像データに対して輪郭強調処理を施す。
【0068】
ところで、例えば、画像比較部47により検出される”ぶれ量”が所定の閾値(H軸方向に3画素分、V軸方向に1画素分)以上である場合には、撮影画像中の被写体について、複数のエッジが交錯したり近接したりするような状況となる。よって、このような状況で、撮影画像の”ぶれ”を補正するための輪郭強調処理を行えば、交錯・近接するエッジが相互に影響し合って、実際の被写体に整合した適正な被写体像を撮影画像中に再現できなくなる。
【0069】
そこで、画像処理部43は、画像比較部47により検出される”ぶれ量”が所定の閾値以上(H軸方向に3画素分以上、V軸方向に1画素分以上)である場合には、カメラマイコン5にその旨を送信する。このときカメラマイコン5は、撮影画像の”ぶれ”を適正に補正することができない状態である旨を示す警告表示(以下、「ぶれ発生警告表示」と称する)をLCD18に表示させる。なお、H軸方向よりもV軸方向の方が所定の閾値が小さくなるのは、画像DG1,DG2が第1フィールドF1に対応した画像であるため、V方向に1/3だけ間引かれた画像となっているからである。また、V軸方向に1画素分ずれていない場合のように特異点が検出できない時のために、特異点を数画素からなる領域とし、V軸方向のぶれ量を検出するようにしても良い。
【0070】
表示部44は、LCD18を有しており、CCD2で取得された画像データに基づく画像表示が可能である。また、表示部44は、カメラマイコン5の制御の下で、上述したぶれ発生警告表示をLCD18上に表示する。すなわち、LCD18は、画像比較部47により所定量以上の”ぶれ量”が検出された場合に、ぶれ発生警告表示を表示することによって警告を行う。図10は、LCD18上にぶれ発生警告表示1Wが表示された一例を示している。そして、ユーザーは、LCD18上に表示されたぶれ発生警告表示1Wを見て、撮影画像にぶれが発生することを迅速に知ることができる。
【0071】
圧縮/伸張部45は、本撮影時に画像処理部43で画像処理された画像データ(記録表示用画像データ)を、例えばJPEG方式で圧縮し、記憶媒体であるメモリカード9に保存する。また、圧縮/伸張部45は、表示部44に再生表示させるために、メモリカード9に保存される画像データの伸張を行う。
【0072】
また、撮像装置1Aは、レンズ駆動部61、シャッター制御部62、測光部63、操作部64、電源部65、フラッシュ制御回路66および内蔵フラッシュ7を備えている。レンズ駆動部61、シャッター制御部62、測光部63、およびフラッシュ制御回路66は、カメラマイコン5とデータ伝送可能に接続され、カメラマイコン5によってその動作が制御される。
【0073】
レンズ駆動部61は、撮影レンズ11に備えられた各レンズ位置を変更させるためのものであり、このレンズ駆動部61によってオートフォーカス動作やズーム動作を実行することができる。なお、オートフォーカス動作はカメラマイコン5によって制御され、例えば、撮影待機状態において、最も手前にある被写体(主被写体)などに合焦するように撮影レンズ11に備えられた各レンズ位置を変更させたり、主被写体までの距離を算出することができる。
【0074】
シャッター制御部62は、メカニカルシャッター12を開閉させるための部位である。
【0075】
測光部63は、測光センサを有しており、被写体の輝度を測定する。なお、被写体輝度はCCD2の出力より求めても良い。
【0076】
フラッシュ制御回路66は、内蔵フラッシュ7の発光を制御するための部位である。
【0077】
操作部64は、レリーズボタン14、モード切替ボタン15、および操作ボタン19などの各種の操作部材で構成されており、ユーザーによる各種の操作部材の操作に基づいて、電気信号をカメラマイコン5に送信する。
【0078】
上述したように、「ぶれ補正モード」が設定されている場合には、画像比較部47において検出される”ぶれ量”が所定の閾値以上である場合には、LCD18にぶれ発生警告表示1Wが表示される。よって、ユーザーは、ぶれ発生警告表示1Wを見て、操作ボタン19を種々操作することによって、撮影画像(記録表示用画像データ)をメモリカード9に記憶するか否かを選択することができる。なお、もしも、ユーザーが撮影画像をメモリカード9に記憶しないことを選択した場合は、画像処理部43のメモリ部43aに一時的に記憶された記録表示用画像データを削除し、圧縮/伸張部45における圧縮およびメモリカード9への記憶処理を行わない。つまり、操作ボタン19は、LCD18によりぶれ発光警告表示1Wが表示された後に、ユーザーの操作に基づいて、第1および第2分割画像データDP1,DP2に基づいて生成される画像データ(記録表示用画像データ)を記憶するか否かを選択する手段として機能する。
【0079】
したがって、被写体と撮像装置1Aとの相対的な”ぶれ量”がある程度大きな場合には警告する。よって、撮影画像に”ぶれ”が発生するような撮影状況であった旨をユーザーに対して確実に伝えることができ、ユーザーのその後の判断などに寄与することができる。さらに、ユーザーが、撮影画像にある程度の”ぶれ”が発生することを把握して、撮影画像を記録するか否かを選択することができる。その結果、撮影画像の記録処理などの処理を省略することによって処理の迅速化を図ったり、電力消費量を低減したりするとともに、メモリカード9などの記録媒体の容量を有効に利用することもできる。
【0080】
電源部65は、バッテリーを有しており、撮像装置1Aの各部に給電する。
【0081】
カメラマイコン5は、CPU、メモリ、およびROMを有しており、撮像装置1Aの各部を統括制御する部位である。なお、カメラマイコン5の果たす機能はROMに格納されるプログラムを実行することによって実現される。
【0082】
また、カメラマイコン5は、その機能として、焦点距離検出機能5a、分割判断機能5b、および露光時間分割機能5cとを有している。
【0083】
焦点距離検出機能5aは、撮影レンズ11の焦点距離fを35mmフィルムの場合の焦点距離f’に換算して検出する機能である。図示しないズームボタンが操作されて、レンズの焦点距離が変更されると、焦点距離検出機能5aは、ズーム動作後の撮影レンズ11の焦点距離fをレンズ位置から算出する。そして、焦点距離検出機能5aは、焦点距離fを35mmフィルムの場合の焦点距離f’に換算して検出する。
【0084】
分割判断機能5bは、AE・WB演算器42において算出された露光時間TE秒と、焦点距離検出機能5aにおいて算出された焦点距離f’とに基づいて、露光時間分割機能5cにおいて露光時間TE秒を分割するか否かを判断するものである。例えば、露光時間TE秒≧1/f’の関係が成り立つ場合に、分割判断機能5bは、露光時間分割機能5cにおいて露光時間TE秒を分割するものと判断する。なお、露光時間TE秒≧1/f’の関係が成り立つ場合は、一般的に、”手ぶれ”などが起こる可能性が比較的高いとされている。そこで、ここでは、露光時間TE秒が、撮影レンズ11の焦点距離f’に基づく所定時間1/f’よりも長い場合に、露光時間TEを分割したり、ぶれ量を検出する。その結果、ぶれが発生する可能性がある場合と可能性が極めて低い場合などを容易かつ適切に判断することができる。
【0085】
露光時間分割機能5cは、分割判断機能5bの判断結果に基づいて、AE・WB演算器42において算出された露光時間TE秒を略半分の期間に2分割する。つまり、露光時間分割機能5cは、AE・WB演算器42において算出された露光時間TE秒が、撮影レンズ11の焦点距離に基づく所定時間(1/f’)よりも長い場合に、露光時間TE秒を2つの期間に分割する。そして、露光時間分割機能5cは、略半分に分割された露光時間TE/2秒に基づいて、TG32の駆動を制御する。
【0086】
一方、露光時間TE秒≧1/f’の関係が成り立たない場合には、露光時間分割機能5cは、露光時間TE秒を2つの期間(複数の期間)に分割しないように制御される。その結果、”ぶれ”が発生する可能性が極めて低い場合には無駄な処理を省略することによって、撮影処理の迅速化を図るとともに、電力消費量を低減することができる。
【0087】
また、撮像装置1Aでは、内蔵フラッシュ7を発光させて撮影するフラッシュ撮影の際は、フラッシュ発光による露光時間が所定時間(1/f’)よりも長くなることがない。よって、フラッシュ撮影の場合は、焦点距離検出機能5aにおける焦点距離f’の検出、および分割判断機能5bにおける判断を行われないように制御される。その結果、露光時間分割機能5cは、フラッシュ撮影時の露光時間を複数の期間に分割しないように制御される。
【0088】
したがって、フラッシュ撮影を行う場合には、被写体と撮像装置との相対的な”ぶれ量”を検出しない。つまり、”ぶれ”が発生する可能性が極めて低い場合には無駄な処理を省略することによって、撮影処理の迅速化を図るとともに、電力消費量を低減することができる。また、フラッシュ撮影時に露光時間を複数の期間に分割してしまうと、露光時間TE秒を分割した複数の期間のうちの一部の期間でしかフラッシュが発光しない。よって、比較する第1および第2分割画像データDP1,DP2に著しい輝度差が発生するため、画像データDP1,DP2の比較が正しく行われずに誤動作を招くこととなるが、ここでは、その誤動作をも防止することもできる。
【0089】
そして、露光時間TE秒≧1/f’の関係が成り立たない場合やフラッシュ撮影の場合には、露光終了後に、CCD2の第1〜第3フィールドF1,F2,F3の各フィールドごとに電荷信号を読み出すタイプの撮影(以下、「通常撮影」と称する)が行われる。
【0090】
また、カメラマイコン5は、各種設定状態をメモリやROM内に記憶して管理する。
【0091】
<(3)撮影動作>
図11から図13は、撮像装置1Aの基本的な撮影動作を説明するためのフローチャートである。本動作は、カメラマイコン5の制御によって実行される。また、図14は、「ぶれ補正モード」が設定された撮像装置1Aの撮影動作を説明するための図で、垂直同期信号VD、シャッター12、CCD2における第1〜第3フィールドF1〜F3の電荷蓄積状態、およびCCD2の出力を示すタイミングチャートとなっている。以下では、図14を参照しつつ図11から図13のフローチャートを説明する。
【0092】
まず、撮影待機状態において、ユーザーがレリーズボタン14を半押ししてS1状態となると、撮影動作が開始されてステップS1に進む。
【0093】
ステップS1では、カメラマイコン5が各種設定状態を確認し、ステップS2に進む。ステップS1では、「ぶれ補正モード」や「内蔵フラッシュ7の使用の有無」などの各種設定状態を確認する。
【0094】
ステップS2では、撮影が内蔵フラッシュ7を発光させて撮影するフラッシュ撮影となるか否かを判断する。ステップS2では、ステップS1で確認した「内蔵フラッシュ7の使用の有無」や被写体輝度に基づいてフラッシュ撮影となるか否かを判断する。ここで、撮影がフラッシュ撮影とならないと判断した場合にはステップS3に進み、撮影がフラッシュ撮影となると判断した場合にはステップS7に進む。
【0095】
ステップS3では、「ぶれ補正モード」が設定されているか否かを判断する。ここで、「ぶれ補正モード」が設定されている場合にはステップS4に進み、「ぶれ補正モード」が設定されていない場合にはステップS7に進む。
【0096】
ステップS4では、オートフォーカス動作、および撮影レンズ11の焦点距離fを35mmフィルムの場合の焦点距離f’に換算して検出し、ステップS5に進む。
【0097】
ステップS5では、自動露光動作を行い、露光時間(シャッタースピード)TE秒を設定し、ステップS6に進む。
【0098】
ステップS6では、ステップS4において検出した焦点距離f’とステップS5で設定した露光時間TE秒との間に、TE≧1/f’の関係が成り立つか否かを判断する。ここで、TE≧1/f’の関係が成り立つ場合には図12のステップS21に進み、成り立たない場合にはステップS9に進む。
【0099】
ここで、ステップS2からステップS7に進んだ場合について説明する。
【0100】
ステップS7では、オートフォーカス動作を行い、ステップS8に進む。
【0101】
ステップS8では、自動露光動作を行いステップS9に進む。
【0102】
ステップS9では、ステップS6およびステップS8のいずれから進んできた場合にも、レリーズボタン14が全押しされたか否かを判断する。ここで、レリーズボタン14が全押しされた場合にはステップS10に進み、レリーズボタン14が全押しされていない場合にはステップS9の判断を繰り返す。
【0103】
ステップS10では、露光終了後に、CCD2の第1〜第3フィールドF1,F2,F3の各フィールドごとに電荷信号を読み出すタイプの通常撮影が行われ、ステップS11に進む。ここでは、第1〜第3フィールド画像データFP1〜FP3が合成され、各種画像処理が施された記録表示用画像データがメモリ部43aに一時的に記憶される。
【0104】
ステップS11では、ステップS10においてメモリ部43aに記憶された記録表示用画像データを、圧縮/伸張部45において圧縮し、メモリカード9に保存する。そして、撮影動作が終了し、撮影待機状態に戻る。
【0105】
ステップS21では、レリーズボタン14が全押しされたか否かを判断する。ここで、レリーズボタン14が全押しされた場合にはステップS22に進み、レリーズボタン14が全押しされていない場合にはステップS21の判断を繰り返す。
【0106】
ステップS22では、本撮影の露光が開始され、ステップS23に進む。
【0107】
ステップS23では、露光開始からTE/2秒後に、第1フィールドF1について、受光部2aに蓄積された電荷信号が垂直転送ラインに移される動作(フィールドシフト)が行われ、第1分割画像データDP1の読み出しが行われる。そして、ステップS24に進む。
【0108】
ステップS24では、露光開始からTE秒後に、メカニカルシャッター12が閉状態となって、露光が終了し、ステップS25に進む。
【0109】
ステップS25では、第1フィールドF1について、露光時間TE秒の後半の期間RHにおいて受光部2aに蓄積された電荷信号が垂直転送ラインに移される動作(フィールドシフト)が行われ、第2分割画像データDP2の読み出しが行われる。そして、ステップS26およびステップS28に進む。
【0110】
ここでは、ステップS26の処理、およびステップS28とステップS29の処理は並行して行われる。
【0111】
まず、ステップS26の処理について説明する。
【0112】
ステップS26では、画像比較部47において、ステップS23において読み出された第1分割画像データDP1と、ステップS25において読み出された第2分割画像データDP2とを比較し、被写体と撮像装置1Aとの相対的な”ぶれの方向”および”ぶれ量”を検出する。
【0113】
ステップS27では、ステップS26において検出した”ぶれ量”に基づいて、画像比較部47において、”ぶれ量”があるか否かを判断する。ここで、”ぶれ量”がある場合にはステップS30に進み、”ぶれ量”がない場合には図11のステップS11に進む。
【0114】
次に、ステップS28とステップS29の処理について説明する。
【0115】
ステップS28では、第2および第3フィールドF2,F3について、順次に、受光部2aに蓄積された電荷信号が垂直転送ラインに移される動作(フィールドシフト)が行われ、第2および第3フィールド画像データFP2,FP3の読み出しが行われる。そして、ステップS29に進む。
【0116】
ステップS29では、画像処理部43において、ステップS23およびステップS25において読み出された第1および第2分割画像データDP1,DP2とを合成して第1フィールド画像データFP1を生成した後に、第1〜第3フィールド画像データFP1〜FP3を合成し、各種画像処理を施すことによって記録表示用画像データを生成してメモリ部43aに一時的に記憶する。そして、ステップS27に進む。
【0117】
ステップS30では、ステップS26において検出された”ぶれ量”に基づいて、その”ぶれ”の適正な補正が可能であるか否かを判断する。ここで、”ぶれ量”が所定の閾値(H軸方向に3画素分、V軸方向に1画素分)より小さい場合には、ぶれの適正な補正が可能であると判断してステップS31に進み、”ぶれ量”が所定の閾値(H軸方向に3画素分、V軸方向に1画素分)以上の場合には、ぶれの適正な補正が不可能であると判断して、図13のステップS41に進む。
【0118】
ステップS31では、画像処理部43において、ステップS26において検出された”ぶれの方向”および”ぶれ量”に応じた輪郭強調処理を記録表示用画像データに対して行うことにより、ぶれを補正して、図11のステップS11に進む。
【0119】
次に、ステップS30から図13のステップS41に進んだ場合について説明する。
【0120】
ステップS41では、記録表示用画像データについて”ぶれ”を適正に補正することができない状態である旨を示すぶれ発生警告表示1WをLCD18上に表示し、ステップS42に進む。
【0121】
ステップS42では、メモリ部43aに一時的に記憶された記録表示用画像データを消去するか否かを判断する。ここでは、ユーザーが操作ボタン19を種々操作することによって画像データの消去を選択した場合には、記録表示用画像データを消去すると判断してステップS43に進み、ユーザーが操作ボタン19を種々操作することによって画像データの消去を選択しなかった場合には、記録表示用画像データを消去しないものと判断して図12のステップS31に進む。
【0122】
ステップS43では、メモリ部43aに一時的に記憶された記録表示用画像データを消去して、撮影動作を終了し、撮影待機状態に戻る。
【0123】
上述したように、本実施形態に係る撮像装置1Aにおいては、受光部2aに蓄積される電荷信号を、受光部2aの画素配列を第1〜第3フィールドF1〜F3(複数のフィールド)に分けて順次に読み出し可能なCCD2を用いている。そして、撮影動作時に、第1フィールドF1について、露光時間TE秒を2つに分割した期間のうちのそれぞれの期間に蓄積される電荷信号を第1および第2分割画像データDP1,DP2としてそれぞれ読み出す。そして、読み出された2つの画像データDP1,DP2を比較することによって、被写体と撮像装置1Aとの相対的なぶれ量を検出する。その結果、装置の大型化を招くことなく、短時間の露光においても撮影時に発生するぶれに対応可能な撮像装置を提供することができる。
【0124】
また、撮影時に、第1フィールドF1についてのみ、露光時間TE秒を複数に分割した期間のうちの2以上の期間(2つの期間FH,RH)に蓄積される電荷信号を画像データとしてそれぞれ読み出す。その結果、無駄な処理の省略や短時間における”ぶれ量”の検出などによって、処理の迅速化を図ることができる。
【0125】
<(4)変形例>
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【0126】
◎例えば、上述した実施形態では、”ぶれ”の適正な補正が可能であるか否かを判断する際の、”ぶれ量”についての所定の閾値を”H軸方向について3画素分、V軸方向について1画素分”としたが、これに限られるものではなく、例えば、所定の閾値を”H軸方向について6画素分、V軸方向について2画素分”などと、種々変更しても良い。
【0127】
◎また、上述した実施形態では、”ぶれ量”が所定の閾値(H軸方向に3画素分、V軸方向に1画素分)以上の場合にも、ユーザーが操作ボタン19を種々操作することによって画像データの消去を選択しなかった場合には、記録表示用画像データに対して、”ぶれ量”や”ぶれの方向”に応じた輪郭強調を行ったが、”ぶれ量”が所定の閾値(H軸方向に3画素分、V軸方向に1画素分)以上の場合には、”ぶれ量”や”ぶれの方向”に応じた輪郭強調を行わないようにしても良い。このような構成とすることによって、動体の速度や進行方向に合わせて、カメラを移動させながら写す、いわゆる”追写し”または”流し撮り”といった撮影手法を用いた場合は、動いている被写体を画像中央に固定し、バックが流れているような撮影画像などを得ることができる。つまり、撮影画像において被写体の流動感や動く速度感を強調する効果を出すことができる。
【0128】
◎また、上述した実施形態では、露光時間TE秒を略半分に分割して、第1フィールドF1に蓄積される電荷信号を2回に分けて読み出したが、これに限られるものではなく、例えば、露光時間を約1/3ずつに分割して、第1フィールドF1に蓄積される電荷信号を3回に分けて読み出して、3つの分割画像データのうちの少なくとも2つの画像データを比較することによって、被写体と撮像装置との相対的な”ぶれ量”や”ぶれの方向”を検出するようにしても良い。
【0129】
◎また、上述した実施形態では、カラーの撮影画像を得ることを前提として、受光部2aの各フィールドF1〜F3ごとに、カラーフィルタ配列の全色成分に対応する画素を含むようにしているが、受光部2aを2つのフィールドに分けても、各フィールドごとに、カラーフィルタ配列の全色成分に対応する画素を含むものであれば、そのようなものを用いても良い。例えば、図15に示すように、受光部における1、2、5、6、・・の各ライン、すなわち4n+1および4n+2ライン目(nは整数)を第1フィールドとし、受光部における3、4、7、8、・・の各ライン、すなわち4n+3および4n+4ライン目(nは整数)を第2フィールドとしても良い。
【0130】
◎また、上述した実施形態では、カラーの撮影画像を得ることを前提として、CCD2がカラーフィルタ配列を有していたが、これに限られるものではなく、カラーフィルタ配列を有しない、いわゆる”モノクロ用のCCD”を用いても良い。なお、このようなモノクロ用のCCDを用いた場合には、画像比較部47において高輝度部分などを特異点として抽出するようにすれば良い。さらに、このようなモノクロ用のCCDを用いた場合には、受光部を2つ以上のフィールドに分けて、順次に蓄積される電荷信号を読み出すようにしても良い。
【0131】
◎また、上述した実施形態では、露光時間TE秒が、撮影レンズ11の焦点距離に基づく所定時間(1/f’)よりも長い場合に、露光時間TE秒を2つの期間に分割したが、これに限られるものではなく、被写体と撮像装置との相対的な”ぶれ”が発生する可能性が高くなる露光時間について余裕を見て、露光時間TE秒が、撮影レンズ11の焦点距離に基づく所定時間1/(2f’)よりも長い場合に、露光時間TE秒を2つの期間に分割するようにしても良い。
【0132】
◎また、上述した実施形態では、画像比較部47において検出される”ぶれ量”が所定量以上のときには、ユーザーが操作ボタン19を種々操作することによって、記録表示用画像データのメモリカード9への記録を行わなかったが、これに限られるものではなく、”ぶれ量”が所定量以上のときには自動的にメモリカード9への撮影画像データの記録を行わないようにしても良い。即ち、メモリカード9は、画像比較部47により所定量以上の”ぶれ量”が検出された場合に、前記第1および第2分割画像データDP1,DP2に基づいて生成される記録表示用画像データを記録しない。したがって、撮影画像にある程度のぶれが発生する場合には記録しない。その結果、無駄な処理を省略することによって処理の迅速化を図ったり、電力消費量を低減したりするとともに、メモリカード9などの容量を有効に利用することもできる。
【0133】
◎また、上述した実施形態では、画像処理部43において、撮影画像の”ぶれ”を補正するために輪郭強調処理を行ったが、これに限られるものではなく、画像比較部47において所定量以上のぶれ量を検出した際には、LCD18にぶれ発生警告表示を表示して、撮影画像をメモリカード9へ記録するか否かをユーザーや撮像装置の選択に委ねるのみでも良い。
【0134】
◎また、上述した実施形態では、H軸方向(水平方向)への”ずれ量”に応じて撮影画像を補正するための輪郭強調処理のみを行っているが、V軸方向(垂直方向)への”ずれ量”に応じて撮影画像を補正するための輪郭強調処理を行うようにしても良い。
【0135】
◎また、上述した実施形態では、画像比較部47において、2つの画像DG1,DG2から特異点を抽出して、その移動量を被写体と撮像装置1Aとの相対的な”ずれ量”として検出したが、これに限られるものではなく、例えば、2つの画像DG1,DG2から中央付近の領域を抽出して、それぞれの画像データの相関を見るなど、他の手法によって”ずれ量”を検出するようにしても良い。
【0136】
◎また、上述した実施形態では、AE・WB演算器42によって露光時間TEが設定されたが、これに限られるものではなく、ユーザーが操作ボタン19を種々操作することによって、CCD2の露光時間TEを設定するようなものでも良い。
【0137】
なお、上述した具体的実施形態には以下の構成を有する発明が含まれている。
【0138】
(1)請求項1に記載の撮像装置であって、前記検出手段により所定量以上の前記ぶれ量が検出された場合に、前記第1および第2の画像データに基づいて生成される画像データを記録しないことを特徴とする撮像装置。
【0139】
(1)の発明によれば、撮影画像にある程度のぶれが発生する場合には記録しないため、無駄な処理を省略することによって処理の迅速化を図ったり、電力消費量を低減したりするとともに、記録媒体などの容量を有効に利用することもできる。
【0140】
(2)請求項2に記載の撮像装置であって、前記警告手段により警告が行われた後に、ユーザーの操作に基づいて、前記第1および第2の画像データに基づいて生成される画像データを記録するか否かを選択する選択手段、をさらに備えることを特徴とする撮像装置。
【0141】
(2)の発明によれば、ユーザーが、撮影画像にある程度のぶれが発生することを把握して、撮影画像を記録するか否かを選択することができるため、撮影画像の記録処理などの処理を省略することによって処理の迅速化を図ったり、電力消費量を低減したりするとともに、記録媒体などの容量を有効に利用することもできる。
【0142】
(3)請求項3に記載の撮像装置であって、前記画像処理は、輪郭強調処理であることを特徴とする撮像装置。
【0143】
(3)の発明によれば、ぶれ量に応じて輪郭強調処理を行うことによって、撮影画像に発生するぶれを補正するため、良品質の撮影画像を取得することができる。
【0144】
(4)請求項3または(3)に記載の撮像装置であって、前記検出手段が、前記比較手段による比較結果に基づいて被写体と前記撮像装置との間に生じるぶれの方向を検出し、前記変更手段が、前記検出手段により検出される前記ぶれの方向に基づいて、前記画像処理手段による画像処理の内容を変更することを特徴とする撮像装置。
【0145】
(4)の発明によれば、ぶれの方向およびぶれ量に応じて輪郭強調処理などの画像処理を行うため、ぶれの方向およびぶれ量に応じた適正な撮影画像を生成することができる。
【0146】
(5)請求項4に記載の撮像装置であって、前記所定時間は、撮影レンズの焦点距離に基づく値であることを特徴とする撮像装置。
【0147】
(5)の発明によれば、露光時間が、撮影レンズの焦点距離に基づく所定時間よりも長い場合に、ぶれ量を検出するため、ぶれが発生する可能性がある場合と可能性が極めて低い場合などを容易かつ適切に判断することができる。
【0148】
(6)請求項1から請求項5および(1)から(5)のいずれかに記載の撮像装置であって、前記複数フィールドから読み出される複数の画像データを合成することにより1フレーム分の画像データを生成する画像生成手段、をさらに備えることを特徴とする撮像装置。
【0149】
(6)の発明によれば、受光部の複数フィールドから読み出された複数の画像データを合成することにより1フレーム分の画像データを生成するため、高品質の撮影画像を得ることができる。
【0150】
(7)請求項1から請求項5および(1)から(6)のいずれかに記載の撮像装置であって、前記読み出し手段が、前記第1のフィールドのみから、前記複数の期間それぞれにおいて前記受光部に蓄積される電荷信号を画像データとして、それぞれ読み出すことを特徴とする撮像装置。
【0151】
(7)の発明によれば、撮影時に、第1のフィールドについてのみ、露光時間を複数に分割した期間のうちの2以上の期間に蓄積される電荷信号を画像データとしてそれぞれ読み出すため、無駄な処理の省略や短時間におけるぶれ量の検出などによって、処理の迅速化を図ることができる。
【0152】
【発明の効果】
以上説明したように、請求項1ないし請求項5のいずれかの発明によれば、受光部に蓄積される電荷信号を、受光部の画素配列を複数のフィールドに分けて順次に読み出し可能な撮像素子を用い、撮影時に、第1のフィールドについて、露光時間を複数に分割した期間のうちの2以上の期間に蓄積される電荷信号を画像データとしてそれぞれ読み出して比較することにより、被写体と撮像装置との相対的なぶれ量を検出するため、装置の大型化を招くことなく、短時間の露光においても撮影時に発生するぶれに対応可能な撮像装置を提供することができる。
【0153】
特に、請求項2の発明によれば、被写体と撮像装置との相対的なぶれ量がある程度大きな場合には警告するため、撮影画像にぶれが発生するような撮影状況であった旨をユーザーに対して確実に伝えることができ、ユーザーのその後の判断などに寄与することができる。
【0154】
また、請求項3の発明によれば、検出されたぶれ量に基づいて画像処理の内容を変更するため、ぶれ量に応じた適正な撮影画像を生成することができる。
【0155】
また、請求項4の発明によれば、被写体と撮像装置との相対的なぶれが発生する可能性が高い場合にぶれ量を検出するため、ぶれが発生する可能性が極めて低い場合には無駄な処理を省略することによって、撮影処理の迅速化を図るとともに、電力消費量を低減することができる。
【0156】
また、請求項5の発明によれば、フラッシュ撮影を行う場合には、被写体と撮像装置との相対的なぶれ量を検出しないため、ぶれが発生する可能性が極めて低い場合には無駄な処理を省略することによって、撮影処理の迅速化を図るとともに、電力消費量を低減することができる。また、フラッシュ撮影時に露光時間を複数の期間に分割してしまうと、露光時間を分割した複数の期間のうちの一部の期間でしかフラッシュが発光せず、比較する画像データに著しい差が発生し、画像データの比較が正しく行われずに誤動作を招くこととなるが、その誤動作を防止することもできる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る撮像装置の外観を模式的に示す斜視図である。
【図2】本発明の実施形態に係る撮像装置の外観を模式的に示す背面図である。
【図3】撮像装置の機能構成を示すブロック図である。
【図4】撮像装置における画像信号などの流れを説明するための図である。
【図5】CCDの電荷読み出し方法を説明するための図である。
【図6】CCDの高速読み出しモードを説明するための図である。
【図7】特異点の位置関係を例示する図である。
【図8】特異点の位置関係を例示する図である。
【図9】特異点の位置関係を例示する図である。
【図10】ぶれ発生警告表示を例示する図である。
【図11】撮像装置の撮影動作を説明するためのフローチャートである。
【図12】撮像装置の撮影動作を説明するためのフローチャートである。
【図13】撮像装置の撮影動作を説明するためのフローチャートである。
【図14】撮像装置の撮影動作を説明するための図である。
【図15】変形例に係る電荷読み出し方法を説明するための図である。
【符号の説明】
1A 撮像装置
2 CCD(撮像手段、読み出し手段)
5 カメラマイコン
5c 露光時間分割機能(分割手段)
9 メモリカード
18 LCD(警告手段)
19 操作ボタン(選択手段)
42 AE・WB演算器(設定手段)
43 画像処理部(画像処理手段、変更手段、画像生成手段)
47 画像比較部(比較手段、検出手段)
F1 第1フィールド
F2 第2フィールド
F3 第3フィールド
DP1 第1分割画像データ
DP2 第2分割画像データ
f,f’ 焦点距離

Claims (5)

  1. 撮像装置であって、
    (a)撮影の際に受光部に蓄積される電荷信号を画像データとして、前記受光部の画素配列を複数のフィールドに分けて順次に読み出し可能な撮像手段と、
    (b)前記撮像手段の露光時間を設定する設定手段と、
    (c)前記露光時間を複数の期間に分割する分割手段と、
    (d)撮影の際に前記複数フィールドのうちの第1のフィールドから、前記複数の期間のうちの2つの期間のそれぞれにおいて前記受光部に蓄積される電荷信号を第1および第2の画像データとして、それぞれ読み出す読み出し手段と、
    (e)前記第1および第2の画像データを比較する比較手段と、
    (f)前記比較手段による比較結果に基づいて被写体と前記撮像装置との相対的なぶれ量を検出する検出手段と、
    を備えることを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置であって、
    (g)前記検出手段により所定量以上の前記ぶれ量が検出された場合に、警告を行う警告手段、
    をさらに備えることを特徴とする撮像装置。
  3. 請求項1または請求項2に記載の撮像装置であって、
    (h)前記撮像手段より読み出された画像データに対して画像処理を行う画像処理手段と、
    (i)前記検出手段により検出される前記ぶれ量に基づいて、前記画像処理手段による画像処理の内容を変更する変更手段と、
    をさらに備えることを特徴とする撮像装置。
  4. 請求項1から請求項3のいずれかに記載の撮像装置であって、
    前記分割手段が、
    前記設定手段により設定された前記露光時間が所定時間よりも長い場合に、前記露光時間を複数の期間に分割することを特徴とする撮像装置。
  5. 請求項1から請求項4のいずれかに記載の撮像装置において、
    (j)被写体を照明する発光部、
    をさらに備え、
    前記分割手段が、
    前記発光部を発光させて撮影する際は、前記露光時間を複数の期間に分割しないことを特徴とする撮像装置。
JP2002286046A 2002-09-30 2002-09-30 撮像装置 Pending JP2004128584A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002286046A JP2004128584A (ja) 2002-09-30 2002-09-30 撮像装置
US10/326,301 US20040061796A1 (en) 2002-09-30 2002-12-19 Image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002286046A JP2004128584A (ja) 2002-09-30 2002-09-30 撮像装置

Publications (1)

Publication Number Publication Date
JP2004128584A true JP2004128584A (ja) 2004-04-22

Family

ID=32025354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002286046A Pending JP2004128584A (ja) 2002-09-30 2002-09-30 撮像装置

Country Status (2)

Country Link
US (1) US20040061796A1 (ja)
JP (1) JP2004128584A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122721A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2006279184A (ja) * 2005-03-28 2006-10-12 Mitsubishi Electric Corp 撮像装置
JP2015152888A (ja) * 2014-02-19 2015-08-24 キヤノン株式会社 撮像装置およびその制御方法
US11930280B2 (en) 2019-11-29 2024-03-12 Fujifilm Corporation Imaging support device, imaging system, imaging support method, and program

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301678B2 (en) * 2003-02-26 2007-11-27 Kabushiki Kaisha Toshiba Image reading device and gain setting method in image reading device
US7456869B2 (en) * 2003-05-27 2008-11-25 Olympus Corporation Imaging device and imaging device adjusting method
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US8698924B2 (en) * 2007-03-05 2014-04-15 DigitalOptics Corporation Europe Limited Tone mapping for low-light video frame enhancement
EP1628465A1 (en) * 2004-08-16 2006-02-22 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US7688352B2 (en) * 2005-11-25 2010-03-30 Seiko Epson Corporation Shake correction device, filming device, moving image display device, shake correction method and recording medium
JP2007243774A (ja) * 2006-03-10 2007-09-20 Olympus Imaging Corp 電子的ぶれ補正装置
JP4837406B2 (ja) * 2006-03-10 2011-12-14 オリンパスイメージング株式会社 電子的ぶれ補正装置および電子的ぶれ補正方法
JP4172507B2 (ja) * 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US9307212B2 (en) 2007-03-05 2016-04-05 Fotonation Limited Tone mapping for low-light video frame enhancement
EP2713307B1 (en) * 2012-09-28 2018-05-16 Accenture Global Services Limited Liveness detection
CN107529009B (zh) 2014-09-02 2020-06-30 苹果公司 远程相机用户界面
CN110769149B (zh) 2015-04-23 2021-05-11 苹果公司 用于处理来自多相机的内容的方法、电子设备和存储介质
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US9979905B2 (en) * 2015-11-17 2018-05-22 Microsoft Technology Licensing, Llc. Multimode photosensor
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US10726246B1 (en) 2019-06-24 2020-07-28 Accenture Global Solutions Limited Automated vending machine with customer and identification authentication
USD963407S1 (en) 2019-06-24 2022-09-13 Accenture Global Solutions Limited Beverage dispensing machine
EP3869395A1 (en) 2020-02-21 2021-08-25 Accenture Global Solutions Limited Identity and liveness verification
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01106582A (ja) * 1987-10-19 1989-04-24 Nec Home Electron Ltd 撮像装置
JP3560622B2 (ja) * 1992-04-30 2004-09-02 オリンパス株式会社 撮像装置
JPH0682870A (ja) * 1992-09-04 1994-03-25 Nikon Corp 手ブレ警告装置
US5815742A (en) * 1996-06-11 1998-09-29 Minolta Co., Ltd. Apparatus having a driven member and a drive controller therefor
JPH11249212A (ja) * 1998-03-02 1999-09-17 Olympus Optical Co Ltd ブレ警告機能付カメラ
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
JP2002139761A (ja) * 2000-11-02 2002-05-17 Olympus Optical Co Ltd ぶれ告知機能を有するカメラ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122721A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP4515208B2 (ja) * 2003-09-25 2010-07-28 富士フイルム株式会社 画像処理方法および装置並びにプログラム
JP2006279184A (ja) * 2005-03-28 2006-10-12 Mitsubishi Electric Corp 撮像装置
JP4569342B2 (ja) * 2005-03-28 2010-10-27 三菱電機株式会社 撮像装置
JP2015152888A (ja) * 2014-02-19 2015-08-24 キヤノン株式会社 撮像装置およびその制御方法
US11930280B2 (en) 2019-11-29 2024-03-12 Fujifilm Corporation Imaging support device, imaging system, imaging support method, and program

Also Published As

Publication number Publication date
US20040061796A1 (en) 2004-04-01

Similar Documents

Publication Publication Date Title
JP2004128584A (ja) 撮像装置
JP4135100B2 (ja) 撮影装置
JP3395770B2 (ja) デジタルスチルカメラ
JP4730553B2 (ja) 撮影装置及び露出制御方法
JP2008141518A (ja) 撮影装置
JP2008219428A (ja) 撮像装置
JP2001103366A (ja) カメラ
KR20100084140A (ko) 촬상 장치, 화상 처리 방법 및 프로그램
JP2010093679A (ja) 撮像装置及び撮像制御方法
JP2013090095A (ja) 撮像装置、撮像方法、およびプログラム
JP2002290828A (ja) カメラボディ、デジタルカメラおよび露出制御方法
JP4189820B2 (ja) 撮像装置及び画像記録方法
JP4033456B2 (ja) デジタルカメラ
JP4865648B2 (ja) 撮影装置
JP2018006828A (ja) 撮像装置、その制御方法とプログラム
JP2002209125A (ja) デジタルカメラ
JP4013026B2 (ja) 電子カメラ及び自動焦点調節時の画像表示方法
JP2004328606A (ja) 撮像装置
JP2001292367A (ja) 撮像装置及び撮像方法
JP5310331B2 (ja) 撮像装置および撮像方法
JP4716182B2 (ja) 撮像装置及び撮像制御プログラム
JP2000023016A (ja) デジタルカメラ
JP3918985B2 (ja) デジタルカメラ
US20130194456A1 (en) Imaging device
JP2001272710A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050308

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050427

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050427

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050823