JP2006019874A - 手ぶれ・ピンボケレベル報知方法および撮像装置 - Google Patents

手ぶれ・ピンボケレベル報知方法および撮像装置 Download PDF

Info

Publication number
JP2006019874A
JP2006019874A JP2004193573A JP2004193573A JP2006019874A JP 2006019874 A JP2006019874 A JP 2006019874A JP 2004193573 A JP2004193573 A JP 2004193573A JP 2004193573 A JP2004193573 A JP 2004193573A JP 2006019874 A JP2006019874 A JP 2006019874A
Authority
JP
Japan
Prior art keywords
blur
image
shake
level
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004193573A
Other languages
English (en)
Inventor
Tomoaki Umeda
知昭 梅田
Wataru Ito
渡 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004193573A priority Critical patent/JP2006019874A/ja
Publication of JP2006019874A publication Critical patent/JP2006019874A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】手ぶれやピンボケが生じている画像に対する対応を、ユーザが容易に決定できるようにする。
【解決手段】被写体を撮像して取得したデジタル画像データに基づいて、ぶれ検出部64が、そのデータによる画像中の被写体のぶれの有無、ぶれの方向、大きさを検出し、ぶれありと判定された場合には、ぶれレベル判定部65が、検出されたぶれの方向と大きさとに基づいて、手ぶれおよび/またはピンボケの程度を表すぶれレベルを判定し、判定されたぶれレベルを液晶モニタ18に表示する。ユーザは、ぶれレベルに応じて、補正による修正の可否、撮り直しの要否を判断する。
【選択図】 図3

Description

本発明は、撮像された画像の手ぶれ・ピンボケのレベルを報知する方法およびその方法を使用する撮像装置に関するものである。
デジタルスチルカメラやカメラ付携帯電話等の撮像装置で画像を撮影した際、ユーザは、撮影装置に付属した液晶モニタ等により撮影された画像を確認することが可能である。
一方、撮像装置の小型化・軽量化の結果、このような撮像装置で撮影を行うと、シャッターボタンの押下の際に撮像装置本体が動いてしまうことにより、手ぶれやピンボケが生じやすくなっている。また、記録画素数の向上、望遠機能の標準装備化も進んでおり、撮影された画像において、手ぶれやピンボケが目立ちやすくなってきている。
さらに、撮影装置の小型化は、撮像装置に付属する液晶モニタのサイズに対して制約を課すことになり、撮影された画像をこの液晶モニタで確認しても、画面が小さすぎてぶれやピンボケが生じているかどうかを判断することは困難である。
このような手ぶれやピンボケを防止するため、従来から様々なアプローチによる技術開発が行われている。
例えば、角速度センサによって検出した画像毎のぶれの有無に関する情報を記録媒体に記録するようにした撮影装置が知られている。これにより、撮影された画像をテレビのモニタに再生したり、画像を印画紙にプリントしたりする際に、再生やプリントの対象となる画像にぶれがあるかどうかを記録媒体に記録された内容から判断し、ぶれがある場合にはそれを示すマークを重ねて視覚的に表現できるようになる(例えば、特許文献1)。
また、入力画像のぶれやボケを検知し、検知結果をモニタに表示するようにした画像印刷装置も知られている(例えば、特許文献2)。
さらに、加速度計等により手ぶれの発生が検出された場合に、撮影時にユーザに警告を行うようにしたカメラや(例えば、特許文献3)、撮影された画像に取得時に、その画像に対する画像処理によって手ぶれを検出し、その検出結果をユーザに報知するようにした撮像装置(例えば、特許文献4)が知られている。
この他、連写等により撮影された一連の複数の画像のボケの程度を表すボケ情報を取得し、これらの複数の画像の中央付近等を拡大した画像をボケの程度の順に表示することによって、撮影された画像のボケの程度すなわちピントが合っているか否かの確認を容易に行えるようにした撮像装置が知られている(例えば、特許文献5)。
特開平6−138531号公報 特開2002−287329号公報 特開2002−328408号公報 特開2003−219217号公報 特開2003−283888号公報
しかしながら、特許文献1記載の撮影装置や特許文献2記載の印刷装置では、ユーザ(撮影者)は、撮影された画像に手ぶれが生じていたことを事後的に知ることになるため、その手ぶれが生じている画像を撮り直しすることができない。
また、特許文献3記載のカメラでは、ユーザ(撮影者)が撮影時に手ぶれの発生を知ることはできるが、手ぶれに気をつけて撮影したとしても、最終的に撮影された画像中に手ぶれが生じているかどうかを知ることはできないため、画像中に手ぶれが生じていたとしても撮り直しができない。
この点では、特許文献4記載の撮像装置のように、撮影された画像の取得時にその画像中に手ぶれが生じていることをユーザ(撮影者)に報知すれば、ユーザはその場でその画像の撮り直しをすることが可能になる。しかしながら、手ぶれ発生の有無だけでは、その画像中の手ぶれが撮り直しをしなくても許容できる範囲のものなのかどうかをユーザが判断することはできない。また、後述する手ぶれ補正のための画像処理により補正可能な程度の手ぶれであるかどうかについても判断できない。
さらに、特許文献5記載の撮像装置では、拡大された画像に基づいてボケの程度を確認することができるが、撮像装置に付属する液晶モニタ等に表示される画像だけで、例えば、その画像のプリント時やテレビ画面等での再生時に許容できる範囲のボケの程度なのかを判断したり、手ぶれ補正の耐えの画像処理により補正可能な程度の手ぶれなのかを判断したりするのは困難である。
本発明はこのような事情に鑑みてなされたものであり、手ぶれやピンボケが生じている画像に対する対応を、ユーザが容易に決定できるようにする手ぶれ・ピンボケレベル報知方法および撮像装置を提供することを目的とするものである。
本発明による手ぶれ・ピンボケレベル報知方法は、被写体を撮像して、その被写体を表す画像のデジタル画像データを取得し、取得されたデジタル画像データに基づいて、その画像中の被写体のぶれの方向と大きさとを検出し、検出されたぶれの方向と大きさとに基づいて、手ぶれおよび/またはピンボケの程度を表すぶれレベルを判定し、判定されたぶれレベルを報知することを特徴とする。
本発明による撮像装置は、この手ぶれ・ピンボケレベル報知方法を使用するものである。すなわち、被写体を撮像して、その被写体を表す画像のデジタル画像データを取得する撮像手段と、取得されたデジタル画像データに基づいて、その画像中の被写体のぶれの方向と大きさとを検出するぶれ検出手段と、検出されたぶれの方向と大きさとに基づいて、手ぶれおよび/またはピンボケの程度を表すぶれレベルを判定するぶれレベル判定手段と、ぶれレベル判定手段によって求められたぶれレベルを撮像手段の操作を行った操作者に報知するぶれレベル報知手段とを設けたことを特徴とする。
本発明の他の撮像装置は、このぶれの方向と大きさを直接報知するようにしたものである。すなわち、被写体を撮像して、その被写体を表す画像のデジタル画像データを取得する撮像手段と、取得されたデジタル画像データに基づいて、その画像中の被写体のぶれの方向と大きさとを検出するぶれ検出手段と、検出されたぶれの方向および/または大きさを撮像手段の操作を行った操作者に報知するぶれ報知手段とを設けたことを特徴とする。
次に、本発明による手ぶれ・ピンボケレベル報知方法および撮像装置の詳細について説明する。
「被写体のぶれの方向と大きさとを検出する」方法の具体例としては、デジタル画像データから、複数の異なる方向毎にエッジを検出し、各方向におけるエッジの特徴量を取得し、取得されたエッジ特徴量に基づいて、デジタル画像データによる画像における被写体のぶれの方向と大きさとを求める方法が考えられる。
なお、「ぶれの大きさ」には、手ぶれの場合のぶれの大きさとピンボケの場合のボケの大きさの両方を含む。
「ぶれレベル」とは、手ぶれおよび/またはピンボケの程度を表すものであり、ぶれの種類、すなわち手ぶれのみ、ピンボケのみ、手ぶれとピンボケの両方の3つのパターンと、ぶれまたはボケの程度とを表すことが考えられる。具体的には、検出されたぶれの方向と大きさとに基づいて、1方向にぶれている場合は手ぶれ、多方向に均等にぶれている場合はピンボケ、多方向にぶれがあり、そのうち1方向が突出してぶれている場合には手ぶれおよびピンボケと判定し、さらに、ぶれの大きさを所定の基準で分類して、ぶれまたはボケの程度を5段階評価で表したもの等が考えられる。
また、このぶれレベルには、所定の画像処理によってぶれを補正可能であるか否かを表す情報を含んでいることが好ましい。ここで、「所定の画像処理」とは、ぶれを補正するための画像処理であり、具体例としては、手ぶれ補正では1次元の非鮮鋭マスク(Un-Sharp Mask;USM)処理、ピンボケ補正では2次元の非鮮鋭マスク処理が考えられる。「補正可能であるか否か」とは、これらの画像処理による補正によって、手ぶれやピンボケが生じている画像が鑑賞にたえうる程度の品質に修復することが可能か否かを意味する。
ぶれレベルや検出されたぶれの方向や大きさを報知する方法の具体例としては、これらを視認可能な態様で撮像装置の液晶モニタ等に表示したり、これらを音声ガイダンスによって出力したりすることが考えられる。ここで、「視認可能な態様」の具体例としては、ぶれレベルについてはテキスト表示したり、棒グラフの長さ等で表したり、色を変えて表示したりすることが考えられる。ぶれの方向については、矢印表示したり、カメラを表すアイコンを手ぶれの方向に移動させるアニメーション表示を行ったりすることが考えられる。ぶれの大きさについては、ぶれレベルと同様の表示の他、ぶれ方向を表す矢印の長さや太さを変えて表示することも考えられる。
なお、ぶれレベルとぶれの方向および/または大きさの両方を報知するようにしてもよい。
報知対象のデジタル画像データによる画像を表示する画像表示手段をさらに設けてもよい。
報知対象のデジタル画像データによる画像中の所定の範囲の領域を抽出し、抽出された該所定の範囲の領域を拡大する手段をさらに設け、画像表示手段が、その拡大された所定の範囲の領域を表示するようにしてもよい。ここで、「所定の範囲」の具体例としては、画像中の人物の顔や、画像の中央部分が考えられる。なお、画像中の人物の顔を抽出する処理は、例えば、特開平9-101579号公報等に開示されている。
また、画像表示手段が、ぶれが生じている画像とぶれが生じていない画像とを並べて表示するようにしてもよい。この場合、両画像を比較対照することによりぶれの程度を視覚的に判断することが目的であるため、両画像中の被写体が同じであることが好ましいが、被写体は異なっていても、ぶれが生じていない場合の目安になるので比較対照は可能である。
検出された被写体のぶれを補正するために必要なぶれ補正情報を、デジタル画像データと関連づけられた付帯情報として記録するぶれ補正情報記録手段をさらに設けてもよい。ここで、「ぶれ補正情報」の具体例としては、ぶれの種類、すなわちぶれが手ぶれなのかピンボケなのかを表す情報や、ぶれの大きさを表す情報が考えられる。ぶれの種類を表す情報は、有向性補正を行うのか等方性補正を行うのかを決定するためのものであり、ぶれの大きさを表す情報は、補正の強度を決定するためのものである。さらに、撮影された画像の撮影シーンに関する情報を含めてもよい。
なお、本発明の撮像装置の具体例としては、デジタルスチルカメラやカメラ付携帯電話が考えられる。
本発明の手ぶれ・ピンボケレベル報知方法およびこの方法を使用する撮像装置は、被写体を撮像して取得したデジタル画像データに基づいて、そのデータによる画像中の被写体のぶれの方向と大きさとを検出し、検出されたぶれの方向と大きさとに基づいて、手ぶれおよび/またはピンボケの程度を表すぶれレベルを判定し、判定されたぶれレベルを操作者(ユーザ)に報知する。または、検出されたぶれの方向と大きさを操作者に報知する。したがって、ユーザは、報知された内容に応じて、手ぶれやピンボケが生じている画像に対する対応を容易に決定できる。すなわち、ユーザは、大切な撮影シーンの画像が鑑賞にたえないレベルにぶれている場合には撮り直しを行うという判断がその場でできるため、その撮影シーンを撮り損ねることがなくなるとともに、撮り直すほどではないと判断した場合には、無駄な撮り直しの手間を省くことができる。このように、本発明は、手ぶれやピンボケの発生時におけるユーザの対応の判断を支援する上で極めて有用なものである。
また、ぶれレベルとして、そのぶれが補正可能であるか否かを表す情報を含めた場合には、手ぶれやピンボケが生じている画像を後で修正するかどうかという観点も加わり、ユーザはよりきめ細かな対応の判断が可能になる。
また、ぶれの方向および/または大きさを報知するようにした場合には、その画像の撮り直しを行う際に、ユーザがその方向にぶれないように注意をすることが可能になり、再度の撮り損ねを防止することが可能になる。このとき、ぶれの方向および/または大きさを視認可能な態様で表示すれば、ユーザはより直感的にぶれの方向および/または大きさを理解することが可能になり、さらに効果的である。
また、デジタル画像データによる画像を表示するようにすれば、報知時にその報知対象の画像を確認することができるので、ユーザは、その画像に対する撮り直しの要否の対応の判断をより容易かつ的確に行えるようになる。ここで、画像中から抽出された所定の範囲の領域を拡大して表示するようにすれば、ぶれの程度をさらに容易かつ的確に視覚的に判断できるようになるのでより効果的である。
なお、ぶれ補正情報をデジタル画像データの付帯情報として記録するようにすれば、後で行う補正処理の際にぶれの解析を行う必要がなくなるため、処理効率が向上する。
以下、図面を参照しつつ、本発明の実施の形態について説明する。
発明の第1の実施形態となるデジタルスチルカメラ1は、撮影された画像中の手ぶれ・ピンボケの有無を検出し、その種類とぶれのレベルを表示するものである。図1は、本発明の実施形態となるデジタルスチルカメラ1の背面を中心とする斜視図である。図に示すように、このデジタルスチルカメラ1の背面には、撮影者による操作のためのインターフェースとして、動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下矢印レバー13、左右矢印ボタン14、Back(戻る)ボタン15、表示切替ボタン16を有している他、ファインダ17、液晶モニタ18を有している。また、上面には、シャッターボタン19を有している。図2は、このデジタルスチルカメラ1の前面を中心とする斜視図である。図に示すように、前面には、レンズ20、レンズカバー21、電源スイッチ22、ファインダ窓23、ストロボ24、セルフタイマーランプ25、スピーカー26を有している。
動作モードスイッチ11は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。
メニュー/OKボタン12は、押下することによって、撮影モード、ストロボ発行モード、記録画素数や感度等の設定を行うための各種メニューを液晶モニタ18に表示させたり、液晶モニタ18に表示されたメニューに基づく選択・設定を確定させたりするためのボタンである。
ズーム/上下矢印レバー13は、上下方向にレバーを倒すことによって、撮影時は望遠/広角の調整を行い、各種設定時は液晶モニタ18に表示されるメニュー画面中のカーソルを上下に移動させるためのレバーである。
左右矢印ボタン14は、各種設定時に液晶モニタ18に表示されるメニュー画面中のカーソルを左右に移動させるためのボタンである。
Back(戻る)ボタン15は、押下することによって、各種設定操作を中止し、1つ前の画面に戻るためのボタンである。
表示切替ボタン16は、押下することによって、液晶モニタ18の表示のON/OFF、各種ガイド表示、文字表示のON/OFF等を切り替えるためのボタンである。
各ボタン、レバーの操作によって設定された内容は、液晶モニタ18中の表示や、ファインダ内のランプ、スライドレバーの位置等によって確認することができるようになっている。
液晶モニタ18は、撮影の際に被写体確認用のスルー画を表示することにより、電子ビューファインダとして機能するほか、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。
図3は、デジタルスチルカメラ1の構成を示すブロック図である。デジタルカメラ1は、撮影した画像の画像データを、Exif形式の画像ファイルに変換して、本体に着脱可能な外部記録メディア69へ記録する。画像ファイルには、画像データの他に、付帯情報が格納される。
このデジタルスチルカメラの操作系としては、前述の動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下矢印レバー13、左右矢印ボタン14、Back(戻る)ボタン15、表示切替ボタン16、シャッターボタン19、電源スイッチ22と、これらのスイッチ類の操作内容をCPU75に伝えるためのインターフェース部分である操作系制御部74を有している。
光学系としては、フォーカスレンズ20aとズームレンズ20bを有している。各々のレンズは、各々、モータとモータドライバからなるフォーカスレンズ駆動部51、ズームレンズ駆動部52によって光軸方向に移動可能である。フォーカスレンズ駆動部51、ズームレンズ駆動部52は、各々、AF処理部61で出力されるフォーカス駆動量データ、ズーム/上下矢印レバー13の操作量データで出力される被写体速度データに基づいて、各レンズの移動を制御する。
また、絞り53は、モータとモータドライバとからなる絞り駆動部54によって駆動される。この絞り駆動部54は、AE/AWB処理部62で出力される絞り値データに基づいて絞り径の調整を行う。
シャッター55は、メカニカルシャッタであり、モータとモータドライバとからなるシャッター駆動部56によって駆動される。シャッター駆動部56は、シャッターボタン19の押下により発生する信号と、AE/AWB処理部62で出力されるシャッター速度データとに応じて、シャッター55の開閉の制御を行う。
光学系の後方には、撮影素子であるCCD57を有している。CCD57は、多数の受光素子を2次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、R,G,B各色のフイルタが規則的に配列されたカラーフイルタアレイとが配置されている。CCD57は、CCD制御部58から供給される垂直転送クロック及び水平転送クロックに同期して、画素毎に蓄積された電荷を1ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露出時間は、CCD制御部58から与えられる電子シャッター駆動信号によって決定される。
CCD57から取り込まれたアナログ撮影信号は、アナログ信号処理部59に入力される。アナログ信号処理部59は、アナログ信号のノイズを除去する相関2重サンプリング回路(CDS)と、アナログ信号のゲインを調節するオートゲインコントローラ(AGC)と、アナログ信号をデジタル信号に変換するA/Dコンバータ(ADC)とからなる。このデジタル信号に変換された画像データは、画素毎にR,G,Bの濃度値を持つCCD−RAWデータである。
タイミングジェネレータ72は、タイミング信号を発生させるものであり、このタイミング信号をシャッター駆動部56、CCD制御部58、アナログ信号処理部59に供給することにより、シャッターボタン19の操作と、シャッター55の開閉、CCD57の電荷の取込み、アナログ信号処理部59の処理の同期を取っている。
画像入力コントローラ60は、アナログ信号処理部59から入力されたCCD−RAWデータをフレームメモリ67に書き込む。
フレームメモリ67は、画像データに対して後述の各種デジタル画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)が使用される。
表示制御部70は、フレームメモリ67に格納された画像データをスルー画として液晶モニタ18に表示させるためのものであり、輝度(Y)信号と色(C)信号を一緒にして1つの信号したコンポジット信号に変換して、液晶モニタ18に出力する。スルー画は、撮影モードが選択されている間、所定間隔で撮影される。また、表示制御部70は、撮影された画像の表示や、各種メニューメッセージの表示の制御も行う。
AF処理部61及びAE/AWB処理部62は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、シャッターボタン19が半押しされることによって発生する半押し信号を検出したCPU75がCCD57にプレ撮影を実行させた結果、フレームメモリ67に格納された画像データによる画像である。
AF処理部61は、プレ画像に基づいて、焦点位置を検出し、フォーカス駆動量データを出力する。焦点位置の検出方式としては、例えば、ピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
AE/AWB処理部62は、プレ画像に基づいて、被写体輝度を測定し、絞り値やシャッター速度等を決定し、絞り値データやシャッター速度データを出力するとともに(AE)、撮影時のホワイトバランスを自動調整する(AWB)。
画像処理部63は、本画像の画像データに対して、ガンマ補正,シャープネス補正,コントラスト補正などの画質補正処理、CCD−RAWデータを輝度信号であるYデータと、青色色差信号であるCbデータ及び赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。この本画像とは、シャッターボタン19が全押しされることによって実行される本撮影においてCCD57から取り込まれ、アナログ信号処理部59、画像入力コントローラ60経由でフレームメモリに格納された画像データによる画像である。本画像の画素数の上限は、CCD57の画素数によって決定されるが、例えば、ファイン、ノーマルなどの設定により、記録画素数を変更することができる。一方、スルー画やプレ画像の画像数は、本画像よりも少なく、例えば、本画像の1/16程度の画素数で取り込まれる。
圧縮/伸長処理部66は、画像処理部63によって補正・変換処理が行われた本画像のデータに対して、例えば、JPEGなどの圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Exifフォーマット等に基づいて、付帯情報が格納されたタグが付加される。また、再生モードの場合には、外部記録メディア69から圧縮された画像ファイルが読み出し、伸張処理を行う。伸長後の画像データは液晶モニタ18に出力される。
メディア制御部68は、外部記録メディア69にアクセスして画像ファイルの書き込みと読み込みの制御を行う。
ぶれ検出部64は、このデジタルスチルカメラ1で撮影された画像の画像データに基づいて、通常画像、手ぶれ画像、ピンボケ画像の判定を行い、ぶれがある場合にはぶれの方向と大きさとを検出する。
ぶれレベル判定部65は、ぶれ検出部64で検出されたぶれの方向と大きさとに基づいて、ぶれレベルを判定する。
音声出力制御部71は、音声ガイダンスや動画撮影時に録音された音声のスピーカー26への出力の制御を行う。
CPU75は、動作モードスイッチ11等の操作系やAF処理部61等の各種処理部からの信号に応じてデジタルカメラ1の本体各部を制御する。
データバス76は、画像入力コントローラ60、各種処理部62〜66、フレームメモリ67、各種制御部68、70、71、およびCPU75に接続されており、デジタル画像データ等のやり取りが行われる。
以上の構成のデジタルスチルカメラ1を用いて、撮影された画像のぶれレベルを液晶モニタ18に表示させる処理の流れについて説明する。この処理は、CPU75でぶれ検出・レベル表示用のプログラムが実行されることによって実現される。図4は、このプログラムによりCPU75で実行される処理の概略フローを示したものである。以下、このフローチャートに基づいて説明する。
まず、撮影者が被写体の撮影を行う(#11)。具体的には、撮影者は、ファインダ17または電子ビューファインダとして機能する液晶モニタ18をのぞきながら、被写体を撮影したい位置にデジタルスチルカメラ1のレンズ20を向け、適切なタイミングでシャッターボタン19を半押しする。デジタルスチルカメラ1側では、この半押しによる信号に応じて、プレ画像の撮影が行われ、AF処理部61による焦点位置の検出後、フォーカシングが行われるとともに、AE/AWB処理部62が、被写体輝度を測定して絞り値やシャッター速度等を決定し、さらに、撮影時のホワイトバランスの自動調整を行う。さらに、シャッターボタン19を全押しし、本撮影を行う。デジタルスチルカメラ1側で、シャッターボタン19の全押しを検出すると、この全押しによる信号に応じて、本画像の撮影が行われ、CCD57、アナログ信号処理部59、画像入力コントローラ60での各処理を経て、本撮影による画像データがフレームメモリ67に格納される。
次に、ぶれ検出部64がぶれの検出、すなわちフレームメモリ67に格納された画像データによる画像中のぶれの有無、ぶれの方向および大きさの検出を行う(#12)。図5は、ぶれ検出部64の詳細を示すブロック図である。図に示すように、ぶれ検出部64は、フレームメモリ67から読み出された画像Dに対して縮小処理を行って画像Dの縮小画像D0を得る縮小手段64aと、画像Dおよび縮小画像D0を用いて、図6に示す8つの異なる方向毎にエッジを検出するエッジ検出手段64bと、エッジ検出手段64bにより検出されたエッジのうちの、無効なエッジを除去するエッジ絞込手段64cと、エッジ絞込手段64cにより得られたエッジの特徴量Sを取得するエッジ特徴量取得手段64dと、エッジ特徴量Sに基づいて画像Dが通常画像、手ぶれ画像、ピンボケ画像のいずれであるかを判定し、手ぶれ画像の場合にはぶれ方向と大きさ、ピンボケ画像の場合にはぶれ(ボケ)の大きさを求めるぶれ画像検出手段64eとからなる。
エッジ検出手段64bは、まず、縮小画像D0を用いて、図6に示すような8方向毎に、所定の強度以上のエッジを検出し、これらのエッジの座標位置を得る。次にエッジ検出手段64bは、検出された方向毎の各々のエッジの座標位置に基づいて、画像Dを用いてこれらのエッジに対して、図7に示すようなエッジプロファイルを作成してエッジ絞込手段64cに出力する。
エッジ絞込手段64cは、エッジ検出手段64bから出力されてきたエッジのプロファイルに基づいて、複雑なプロファイル形状を有するエッジや、光源を含むエッジ(例えば一定の明度以上のエッジ)などの無効なエッジを除去し、残りのエッジのプロファイルをエッジ特徴量取得手段64dに出力する。
エッジ特徴量取得手段64dは、エッジ絞込手段64cから出力されてきたエッジのプロファイルに基づいて、図7に示すようなエッジ幅を各エッジに対して求め、図8に示すようなエッジ幅のヒストグラムを図6に示された8つの方向毎に作成してエッジ幅と共にエッジ特徴量Sとしてぶれ画像検出手段64eに出力する。
図9は、ぶれ画像検出手段64eが行う判定処理を模式的に表したものである。
図に示すように、ぶれ画像検出手段64eは、まず図6の各方向のエッジ幅の平均値(平均エッジ幅)を算出する。そして、各方向の平均エッジ幅の最大値と所定の閾値T1とを比較する。ここで、所定の閾値T1について説明する。図10(c)は、手ぶれあり、ピンボケあり、ボケ(ピンボケおよび手ぶれ)なしの撮影条件で同じ被写体を撮影して得た各々の画像に対して求められた、このぶれの方向におけるエッジ幅のヒストグラムを示している。図10(c)からわかるように、ボケのない通常画像は、手ぶれやピンボケのある画像に比べて平均エッジ幅が小さくなる。そこで、このようなヒストグラムから通常画像と手ぶれまたはピンボケ画像とを判別しうる平均エッジ幅を予め求めておき閾値T1としている。したがって、ここでは各方向の平均エッジ幅の最大値が所定の閾値T1以下の場合には、画像Dは通常画像と判定される。
次に、図7に示す8つの方向のエッジ幅のヒストグラム(以下略してヒストグラムという)に対して、互いに直交する2つの方向を1方向組として各方向組(1−5、2−6、3−7、4−8)のヒストグラムの相関値を求める。なお、相関値は求め方によって様々な種類があり、相関値が大きければ相関が小さい種類と、相関値の大小と相関の大小とが一致する、すなわち相関値が小さければ相関が小さい種類との2種類に大きく分けることができる。本実施形態において、例として、相関値の大小と相関の大小とが一致する種類の相関値を用いる。図10に示すように、画像中にぶれがある場合には、ぶれ方向のヒストグラムと、ぶれ方向と直交する方向のヒストグラムとの相関が小さい(図10(a)参照)のに対して、ぶれと関係ない直交する方向組または画像中にぶれがない(ボケがないまたはピンボケ)場合の直交する方向組では、そのヒストグラムの相関が大きい(図10(b)参照)。ぶれ画像検出手段64eは、このような傾向に着目し、4つの方向組に対して、各組のヒストグラムの相関値を求め、相関が最も小さい方向組の2つの方向を見つけ出し、その相関値が所定の閾値T2より小さいものを手ぶれ画像、所定の閾値T2以上のものをピンボケ画像と判定する。ここで、この閾値T2は、手ぶれ画像とピンボケ画像とわかっている複数の画像について、前記と同様にして相関が最も小さい方向組を求め、両画像を判別しうる相関値として予め求められたものである。なお、先の段階における平均エッジ幅の最大値と閾値T1との比較により通常画像は既に判定済みのため、この相関が最も小さい方向組の相関値が閾値T2以上となる画像に通常画像が含まれることはない。
また、最初の判定で、各方向の平均エッジ幅と閾値T1とを比較するようにし、例えば、8方向中6方向以上で平均エッジ幅が閾値T1よりも大きい場合には、ピンボケが生じていると判定し、すべての方向で平均エッジ幅が閾値T1以下の場合には通常画像と判定し、それ以外の場合には手ぶれが生じている疑いありと判定しておき、次の判定で、手ぶれが生じているかどうかを判定するようにしてもよい。このようにすれば、通常画像と手ぶれ画像、ピンボケ画像のほか、手ぶれかつピンボケ画像も判定することが可能になる。
前記の判定処理により、手ぶれ画像と判定された場合には、この相関が最も小さい方向組を構成する2つの方向のうち、平均エッジ幅の大きい方をぶれ方向と判定する。これは前記の図10(c)に基づく説明と同じ考え方による。さらに、このぶれ方向における平均エッジ幅をぶれの大きさLとする。また、ピンボケ画像と判定された場合には、等方的にぶれが発生していることになるので、各方向の平均エッジ幅の平均値をぶれの大きさLとする。
以上のようにして、ぶれ検出部64は、フレームメモリ67に格納された画像データによる画像が通常画像か、手ぶれ画像か、ピンボケ画像かを判定し、さらに、手ぶれ画像の場合には手ぶれ方向およびぶれの大きさ、ピンボケ画像の場合にはぶれ(ボケ)の大きさを求める。
ここで、手ぶれ画像またはピンボケ画像と判定された場合には、以下のぶれレベルの判定、ぶれレベルの出力の各処理を行う。通常画像と判定された場合には、以下の処理をスキップする(#13)。
手ぶれ画像またはピンボケ画像と判定された場合には、ぶれレベル判定部65が、ぶれ検出部64で検出されたぶれの方向と大きさLとに基づいて、ぶれレベルを判定する(#14)。具体的には、ぶれの大きさLの値を基準に複数の段階に分類する。例えば、
ぶれの大きさL= 1〜 5(画素):レベル1
ぶれの大きさL= 6〜10(画素):レベル2
ぶれの大きさL=11〜15(画素):レベル3
ぶれの大きさL=16〜20(画素):レベル4
ぶれの大きさL=21〜 (画素):レベル5
というように5段階に評価する。
ここで、このぶれレベルを、ユーザのパーソナルコンピュータ(PC)や、ラボ等のプリント装置で行う補正処理と連動させ、その補正処理によって修正できる程度の観点からぶれの大きさLの値を分類してもよい。例えば、ぶれの大きさLの値に応じて、「レベル1:補正処理によりほとんど修正可能」から「レベル5:補正処理による修正は不可能」までの5段階に分類することが考えられる。また、撮り直しの必要性の観点からぶれの大きさLの値を分類してもよいし、これらの複数の観点を組み合わせた基準に基づいて、ぶれの大きさLの値を分類してもよい。
そして、最後に、その画像データによる画像とぶれの種類、ぶれレベルを表示制御部70経由で液晶モニタ18に表示する。図11は、液晶モニタ18に表示される画面の一例である。図に示すように、撮影された画像の下にぶれの種類(手ぶれ)とぶれレベル(レベル4)とが表示されている。レベルの表示とともに、もしくはレベルの表示の代わりに、その内容、すなわち「補正可能」「撮り直しおすすめ」といったテキストメッセージを表示するようにしてもよい。また、ぶれの種類、ぶれレベルを画面に表示するとともに、もしくは画面に表示する代わりに、スピーカー26に出力するようにしてもよい。この場合には、音声データを音声出力制御部71経由でスピーカー26に再生させる。
以上のように、本発明の第1の実施形態となるデジタルスチルカメラ1では、被写体を撮像して取得したデジタル画像データに基づいて、ぶれ検出部64が、そのデータによる画像中の被写体のぶれの有無、ぶれの方向、大きさを検出し、ぶれありと判定された場合には、ぶれレベル判定部65が、検出されたぶれの方向と大きさとに基づいて、手ぶれおよび/またはピンボケの程度を表すぶれレベルを判定し、判定されたぶれレベルを液晶モニタ18に表示したり、スピーカー26から出力したりする。したがって、ユーザは、出力されたぶれレベルの内容に応じて、手ぶれやピンボケが生じている画像に対する対応を容易に決定できる。すなわち、ユーザは、大切な撮影シーンの画像が鑑賞にたえないレベルにぶれている場合には撮り直しを行うという判断がその場でできるため、その撮影シーンを撮り損ねることがなくなるとともに、撮り直すほどではないと判断した場合には、無駄な撮り直しの手間を省くことができる。また、補正による修正可能性を考慮して撮り直しの必要性を判断することも可能になる。このように、本発明は、手ぶれやピンボケの発生時におけるユーザが行うべき対応の判断を支援する上で極めて有用なものである。
次に、本実施形態の変形例について説明する。
本実施形態のようにぶれの種類、ぶれレベルを画面表示する際に、検出されたぶれの方向や大きさを視覚化して同時に液晶モニタ18に表示するようにしてもよい。視覚化の具体的方法としては、ぶれの方向と大きさを矢印で表示することが考えられる。図12(a)は、このような表示の一例である。また、ぶれの大きさについては、図12(b)(c)に示すように、ぶれの大きさによって矢印の長さや太さを変えて表示するようにすることが考えられる。ぶれの向きについては、図12(d)に示すように、液晶モニタ18の画面中にカメラアイコンを表示し、このアイコンをぶれの向きに移動させるアニメーション表示をすることも考えられる。
このように、ぶれの方向や大きさを液晶モニタ18に表示するようにした場合には、ユーザはより直感的にぶれの方向および/または大きさを理解することが可能になるとともに、その画像の撮り直しを行う際に、ユーザがその方向にぶれないように注意をすることが可能になり、再度の撮り損ねを防止することが可能になる。
なお、ぶれレベルとぶれの方向、大きさをすべて表示せず、ぶれの方向、大きさのみを表示するようにしてもよい。この場合、図3のブロック図において、ぶれレベル判定部65を設ける必要はなく、図13に示すように、処理の流れを示したフローチャートも、図4のぶれレベルの判定ステップ(#14)を除いたものとなる。
発明の第2の実施形態となるデジタルスチルカメラ2は、第1の実施形態におけるぶれレベルおよび/またはぶれの方向、大きさの表示の際に、撮影された画像の所定の領域を拡大表示するものである。背面、正面から見た構成は、デジタルスチルカメラ1と同じである。図14は、デジタルスチルカメラ2の構成を示すブロック図である。図に示すように、デジタルスチルカメラ2は、図3のデジタルスチルカメラ1の構成に、この拡大表示を行うための拡大画像生成部77を付加したものとなっている。以下では、デジタルスチルカメラ1との相違点を中心に説明する。
図15は、拡大画像生成部77の詳細を示したブロック図である。図に示すように、拡大画像生成部77は、画像Dから人物の顔の領域を抽出する顔領域抽出手段77aと、抽出された顔領域を拡大した拡大画像D’を生成する拡大手段77bとからなる。
顔抽出手段77aによる顔領域の抽出方法は公知の方法(例えば、特開平9-101579号公報等参照)を使用することが可能であり、例えば、画像Dを多数の測定点に分割すると共に各測定点をR、G、Bの3色に分解して測光し、測光データに基づいて各測定点の色が色座標上で肌色の範囲内か否か判断し、肌色の範囲内と判断した測定点のクラスタ(群)を顔の領域として抽出する。
拡大手段77bは、抽出された顔領域を液晶モニタ18の画面における画像表示部分全体に表示されるように拡大した画像D’を生成する(図16参照)。
そして、画像D’とぶれの種類、ぶれレベル、ぶれの方向および大きさを、表示制御部70経由で液晶モニタ18に表示する。図16は画面に表示される内容の一例である。
なお、顔領域が抽出されなかったときには、画像の中央部分に撮影したい被写体が存在すると仮定し、画像の中央部分の所定の領域を拡大表示するようにすることが考えられる。この場合、顔抽出手段77aがこの画像の中央部分を顔領域として拡大手段77bに供給してもよいし、顔領域が抽出されなかった旨を示す情報を拡大手段77bに供給し、拡大手段77bが、その情報に基づいて、画像の中央部分を拡大するようにしてもよい。
以上のように、本発明の第2の実施形態となるデジタルスチルカメラ2を用いれば、ぶれ検出部64が検出したぶれの方向、大きさや、ぶれレベル判定部65が判定したぶれレベルを液晶モニタ18に表示する際に、拡大画像生成部77が、撮影された画像中の顔領域または、画像の中央部分を拡大した拡大画像を生成し、生成された拡大画像を液晶モニタに表示することができる。したがって、ユーザは、ぶれの程度をさらに視覚的に判断できるようになるのでより効果的である。
なお、液晶モニタ18に表示する際に、最初は、ぶれレベル等と撮影された画像全体とを表示するようにし、ユーザが操作系の操作により画面中に表示された詳細確認ボタンを押下した場合に、それによって発生する制御信号を受けて、拡大画像生成部77が拡大画像D’を生成し、液晶モニタ18に表示するようにしてもよい。
発明の第3の実施形態となるデジタルスチルカメラ3は、撮影された画像を外部記録メディアに記録する際に、ぶれを補正するための情報を画像ファイルのヘッダ部分に記録するようにしたものである。背面、正面から見た構成は、デジタルスチルカメラ1と同じである。図17は、デジタルスチルカメラ3の構成を示すブロック図である。図に示すように、デジタルスチルカメラ3は、図3のデジタルスチルカメラ1の構成に、このぶれ補正情報の記録を行うぶれ補正情報記録部78を付加したものとなっている。以下では、デジタルスチルカメラ3との相違点を中心に説明する。
図18は、ぶれ補正情報記録部78の詳細を示したブロック図である。図に示すように、ぶれ補正情報記録部78は、ぶれ検出部64のぶれ画像検出手段64eで算出した各方向組の相関値や各方向の平均エッジ幅に基づいて、後述のぶれ補正処理のためのぶれ補正パラメータE0を求めるぶれ補正パラメータ取得手段78aと、求められたぶれ補正パラメータをExifフォーマットに基づいて画像ファイルの付帯情報として記録するパラメータ記録手段78bとからなる。
補正パラメータ取得手段78aは、まず、手ぶれが生じている画像のぶれの程度の大小を示すぶれ度Kを、相関が最も小さい方向組(以下相関最小組)の相関値、相関最小組の2つの方向のうち平均エッジ幅が大きい方向の平均エッジ幅、相関最小組の2つの方向における夫々の平均エッジ幅の差の3つの要素に基づいて求める。
まず、相関最小組の相関値が小さいほどぶれの程度が大きい点に着目して、図19(a)に示す曲線に基づいて第1のぶれ度K1を求める。具体的には、補正パラメータ取得手段78aは、相関最小組の相関値に対応する第1のぶれ度K1を、図19(a)に示す曲線に応じて作成されたLUT(ルックアップテーブル)から読み出すようにして第1のぶれ度K1を求める。
次に、相関最小組の2つの方向のうち、平均エッジ幅が大きい方向の平均エッジ幅が大きいほどぶれの程度が大きい点に着目して、図19(b)に示す曲線に基づいて第2のぶれ度K2を求める。具体的には、補正パラメータ取得手段78aは、相関最小組の平均エッジ幅が大きい方向の平均エッジ幅に対応する第2のぶれ度K2を、図19(b)に示す曲線に応じて作成されたLUT(ルックアップテーブル)から読み出すようにして第2のぶれ度K2を求める。
さらに、相関最小組の2つの方向における夫々の平均エッジ幅の差が大きいほどぶれの程度が大きい点に着目して、図19(c)に示す曲線に基づいて第3のぶれ度K3を求める。具体的には、補正パラメータ取得手段78aは、相関最小組の2つの方向における夫々の平均エッジ幅の差に対応する第3のぶれ度K3を、図19(c)に示す曲線に応じて作成されたLUT(ルックアップテーブル)から読み出すようにして第3のぶれ度K3を求める。なお、図19(a)〜(c)示した曲線に応じて生成されたLUTは、デジタルスチルカメラのメモリ(図示なし)に記憶されている。
そして、補正パラメータ取得手段78aは、このようにして求められた第1のぶれ度K1、第2のぶれ度K2、第3のぶれ度K3を、下記の式(1)に代入して、ブレが生じている画像のぶれ度Kを求める。
K=K1×K2×K3 (1)
一方、補正パラメータ取得手段78aは、ぶれの方向とぶれの大きさLとに応じて、ぶれの大きさLが大きいほど補正マスクのサイズが大きくなるように、ぶれ方向に作用する有向性補正用の1次元補正マスクM1を設定すると共に、ぶれの大きさLに応じて、ぶれの大きさLが大きいほど補正マスクのサイズが大きくなるように等方性補正用の2次元補正マスクM2を設定する。なお、各ぶれの大きさに対応する2次元補正マスク、および各ぶれの大きさとぶれの方向に対応する1次元補正マスクはデータベース(マスクデータベースという)としてデジタルスチルカメラ3のメモリ(図示なし)に記憶されており、補正パラメータ取得手段78aは、このメモリに記憶されたマスクデータベースから、ぶれの大きさLとぶれ方向に基づいて1次元補正マスクM1を、ぶれの大きさLに基づいて2次元補正マスクM2を取得する。
次に、補正パラメータ取得手段78aは、下記の式(2)に従って、有向性補正用の1次元補正パラメータW1および等方性補正用の2次元補正パラメータW2を求める。
W1=N×K×M1
W2=N×(1−K)×M2 (2)
ここで、W1は1次元補正パラメータ、W2は2次元補正パラメータ、Nはぶれ画像検出手段64eで求められた各方向の平均エッジ幅の最大値、Kはぶれ度、M1は1次元補正マスク、M2は、2次元補正マスクを示す。この式(2)に示すように、平均エッジ幅の最大値が大きいほど等方性補正の強度と有向性補正の強度が強く、ぶれ度Kが大きいほど有向性補正の重みが大きくなるように補正パラメータW1とW2(合わせてパラメータE0とする)を設定している。
パラメータ記録手段78bは、求められたぶれ補正パラメータW1,W2を、Exifフォーマットに基づいて、そのぶれが生じている画像の画像ファイルのヘッダに記録する。
ここで、このぶれ補正パラメータW1,W2が記録された画像ファイルを入力とする補正処理について説明する。
図20は、この補正処理を行う装置の構成を示すブロック図である。図に示すように、画像Dを入力する画像入力手段101と、画像Dの付帯情報を解析してぶれ補正のためのパラメータE0を取得し、そのパラメータE0に基づいて複数のパターンE1、E2、・・・に展開するパラメータ展開手段102と、展開された複数のパラメータE1、E2、・・・に基づいて画像の補正を行い、補正後の画像D1、D2、・・・を生成する画像生成手段103と、生成された複数の画像D1、D2、・・・の中の適切に処理された画像Dnの選択を受け付ける画像選択手段104とから構成される。この補正処理装置は、コンピュータに実装されるものであり、コンピュータを上記各手段として機能させるプログラムによって制御される。また、ここでいうコンピュータとは、具体的には、ユーザのPCや、ラボや写真店のプリント装置が考えられる。
パラメータ展開手段102は、画像入力手段101によって入力された画像Dの画像ファイルのヘッダ情報をExifフォーマットに基づいて解析し、ヘッダに記録されているぶれ補正用パラメータE0を取得する。なお、このパラメータE0とは、デジタルスチルカメラ3のぶれ補正パラメータ取得手段78aで算出されたパラメータW1、W2から構成されるものである。次に、このぶれ補正用パラメータE0に対して、ぶれ度Kおよび補正マスクM1、M2等を所定の範囲で展開し、展開されたぶれ度K、補正マスクM1、M2を用いて式(2)に従ってぶれ補正用パラメータE0と異なる複数のぶれ補正用パラメータE1、E2、・・・を求め、画像補正手段103に出力する。
画像補正手段103は、パラメータE0、E1、E2、・・・を画像Dに夫々適用して補正を施し、各補正パラメータに夫々対応する補正済み画像D'0、D'1、D'2、・・・を得る。なお、この補正処理には、手ぶれ(有向性のぶれ)を補正する1次元補正と、ピンボケ(等方性のぶれ)を補正する2次元補正の2種類があり、1次元補正では1次元の非鮮鋭マスク(Un-Sharp Mask;USM)処理、2次元補正では2次元の非鮮鋭マスク処理が行われる。
次に、画像選択手段104は、画像補正手段103により得られた各々の補正済み画像を表示装置(図示なし)に表示させ、表示された各々の補正済み画像からユーザ所望の補正済み画像Dnの選択を受け付ける。なお、この選択はキーボードやマウス等の入力装置(図示なし)によって行われる。
以上のように、本発明の第3の実施形態となるデジタルスチルカメラ3では、ぶれ検出部64によって画像中のぶれが検出された場合には、撮影された画像を外部記録メディアに記録する際に、ぶれ補正情報記録部78が、コンピュータによるぶれ補正処理によってぶれを補正するためのパラメータを画像ファイルのヘッダ部分に記録する。したがって、後で行う補正処理の際に、ぶれの解析を行う必要がなくなるため、処理効率が向上する。
なお、ぶれ補正情報記録部78のぶれ補正上パラメータ取得手段78aが、撮影シーンの解析を行い、撮影シーン別の係数αを取得し、上記の式(2)を
W1=α×N×K×M1
W2=α×N×(1−K)×M2 (2)’
として、各補正パラメータを算出するようにしてもよい。ここで、係数αは、撮影シーンが人物である場合よりも撮影シーンが人物以外である場合に等方性補正の強度と有向性補正の強度が強くなるように設定される。なお、撮影シーン毎の係数αは、デジタルスチルカメラ3のメモリに格納されており、シーン解析結果に応じてメモリから取得される。シーン解析では、前述の顔抽出処理を行って、顔が抽出された場合には撮影シーンを人物、抽出されなかった場合には撮影シーンは人物以外とすることができる。このように、補正用パラメータの設定において、撮影シーンを考慮することにより、より精度の高いぶれ画像の補正が可能になる。
本発明の実施形態となるデジタルスチルカメラの背面を中心とする斜視図 本発明の実施形態となるデジタルスチルカメラの前面を中心とする斜視図 本発明の第1の実施形態となるデジタルスチルカメラの構成を示すブロック図 本発明の第1の実施形態となるデジタルスチルカメラによる処理の流れを示すフローチャート ぶれ検出部の詳細を示すブロック図 エッジを検出する際に用いられる方向を示す図 エッジプロファイルを示す図 エッジ幅のヒストグラムを示す図 ぶれ画像検出手段による画像の判定フローを示す図 ぶれ画像検出手段の処理を説明するための図 ぶれレベルが表示された画面の一例を示す図 ぶれレベルとぶれの方向、大きさとが表示された画面の一例を示す図 本発明の第1の実施形態の変形例となるデジタルスチルカメラによる処理の流れを示すフローチャート 本発明の第2の実施形態となるデジタルスチルカメラの構成を示すブロック図 拡大画像生成部の詳細を示すブロック図 ぶれレベルとぶれの方向、大きさとともに拡大画像が表示された画面の一例を示す図 本発明の第3の実施形態となるデジタルスチルカメラの構成を示すブロック図 ぶれ補正情報記録部の詳細を示すブロック図 ぶれ度の算出を説明するための図 ぶれ補正装置の構成を示すブロック図
符号の説明
1 本発明の第1の実施形態となるデジタルスチルカメラ
1’ 本発明の第1の実施形態の変形例となるデジタルスチルカメラ
2 本発明の第2の実施形態となるデジタルスチルカメラ
3 本発明の第3の実施形態となるデジタルスチルカメラ
17 ファインダ
18 液晶モニタ
19 シャッターボタン
20 レンズ
26 スピーカー
51 フォーカスレンズ駆動部
52 ズームレンズ駆動部
53 絞り
54 絞り駆動部
55 シャッター
56 シャッター駆動部
57 CCD
58 CCD制御部
59 アナログ信号処理部
60 画像入力コントローラ
61 AF処理部
62 AE/AWB処理部
64 ぶれ検出部
64a 縮小手段
64b エッジ検出手段
64c エッジ絞込手段
64d エッジ特徴量取得手段
64e ぶれ画像検出手段
65 ぶれレベル判定部
67 フレームメモリ
68 メディア制御部
69 外部記録メディア
70 表示制御部
71 音声出力制御部
72 タイミングジェネレータ
74 操作系制御部
75 CPU
76 データバス
77 拡大画像生成部
77a 顔領域抽出手段
77b 拡大手段
78 ぶれ補正情報記録部
78a ぶれ補正パラメータ取得手段
78b パラメータ記録手段

Claims (11)

  1. 被写体を撮像して、該被写体を表す画像のデジタル画像データを取得し、
    該デジタル画像データに基づいて、前記画像中の被写体のぶれの方向と大きさとを検出し、
    該ぶれの方向と大きさとに基づいて、手ぶれおよび/またはピンボケの程度を表すぶれレベルを判定し、
    該ぶれレベルを報知することを特徴とする手ぶれ・ピンボケレベル報知方法。
  2. 被写体を撮像して、該被写体を表す画像のデジタル画像データを取得する撮像手段と、
    該デジタル画像データに基づいて、前記画像中の被写体のぶれの方向と大きさとを検出するぶれ検出手段と、
    該ぶれの方向と大きさとに基づいて、手ぶれおよび/またはピンボケの程度を表すぶれレベルを判定するぶれレベル判定手段と、
    該ぶれレベルを前記撮像手段の操作を行った操作者に報知するぶれレベル報知手段とを備えたことを特徴とする撮像装置。
  3. 前記ぶれレベルが、所定の画像処理によって前記ぶれを補正可能であるか否かを表す情報を含むものであることを特徴とする請求項2記載の撮像装置。
  4. 前記ぶれレベルが、前記ぶれの方向および/または大きさを含むものであることを特徴とする請求項2または3記載の撮像装置。
  5. 前記ぶれ報知手段が、前記ぶれレベルを視認可能な態様で表示するものであることを特徴とする第2項から第4項のいずれか1項記載の撮像装置。
  6. 被写体を撮像して、該被写体を表す画像のデジタル画像データを取得する撮像手段と、
    該デジタル画像データに基づいて、前記画像中の被写体のぶれの方向と大きさとを検出するぶれ検出手段と、
    検出された前記ぶれの方向および/または大きさを前記撮像手段の操作を行った操作者に報知するぶれ報知手段とを備えたことを特徴とする撮像装置。
  7. 前記ぶれ報知手段が、前記ぶれの方向および/または大きさを視認可能な態様で表示するものであることを特徴とする請求項6記載の撮像装置。
  8. 前記ぶれ検出手段が、前記デジタル画像データから、複数の異なる方向毎にエッジを検出し、各前記方向における前記エッジの特徴量を取得し、該エッジ特徴量に基づいて、前記デジタル画像データによる画像における前記被写体のぶれの方向と大きさとを求めるものであることを特徴とする第2項から第7項のいずれか1項記載の撮像装置。
  9. 前記デジタル画像データによる画像を表示する画像表示手段をさらに備えたことを特徴とする第2項から第8項のいずれか1項記載の撮像装置。
  10. 前記デジタル画像データによる画像中の所定の範囲の領域を抽出し、抽出された該所定の範囲の領域を拡大する手段をさらに備え、
    前記画像表示手段が、前記拡大された所定の範囲の領域を表示するものであることを特徴とする請求項9記載の撮像装置。
  11. 前記被写体のぶれを補正するために必要なぶれ補正情報を、前記デジタル画像データと関連づけられた付帯情報として記録するぶれ補正情報記録手段をさらに備えたことを特徴とする第2項から第10項のいずれか1項記載の撮像装置。
JP2004193573A 2004-06-30 2004-06-30 手ぶれ・ピンボケレベル報知方法および撮像装置 Withdrawn JP2006019874A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004193573A JP2006019874A (ja) 2004-06-30 2004-06-30 手ぶれ・ピンボケレベル報知方法および撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004193573A JP2006019874A (ja) 2004-06-30 2004-06-30 手ぶれ・ピンボケレベル報知方法および撮像装置

Publications (1)

Publication Number Publication Date
JP2006019874A true JP2006019874A (ja) 2006-01-19

Family

ID=35793739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004193573A Withdrawn JP2006019874A (ja) 2004-06-30 2004-06-30 手ぶれ・ピンボケレベル報知方法および撮像装置

Country Status (1)

Country Link
JP (1) JP2006019874A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007141886A1 (ja) * 2006-06-08 2007-12-13 Nippon Computer System Co., Ltd 手ブレ状況推測プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに手ブレ状況推測装置
JP2008123396A (ja) * 2006-11-15 2008-05-29 Sanyo Electric Co Ltd 画像復元装置及び方法並びに撮像装置
JP2008178031A (ja) * 2007-01-22 2008-07-31 Fujifilm Corp 撮像装置
JP2009213044A (ja) * 2008-03-06 2009-09-17 Sanyo Electric Co Ltd 撮像装置
JP2009211023A (ja) * 2007-04-19 2009-09-17 Panasonic Corp 撮像装置の手ぶれ補正機能の評価方法および手ぶれモデル波形の生成方法
WO2010131561A1 (en) * 2009-05-12 2010-11-18 Canon Kabushiki Kaisha Image pickup apparatus
JP2010279060A (ja) * 2010-07-20 2010-12-09 Canon Inc 撮像装置、及びその制御方法
US7924468B2 (en) 2006-12-20 2011-04-12 Seiko Epson Corporation Camera shake determination device, printing apparatus and camera shake determination method
US8086063B2 (en) 2007-07-17 2011-12-27 Seiko Epson Corporation Image display apparatus and method, and program
US8897593B2 (en) 2008-12-04 2014-11-25 Kabushiki Kaisha Toshiba Determining image quality based on distribution of representative autocorrelation coefficients
KR101467869B1 (ko) * 2008-03-26 2014-12-02 삼성전자주식회사 영상의 흔들림 정도를 표시하는 디지털 영상 처리장치 및그 제어방법
JPWO2013076965A1 (ja) * 2011-11-22 2015-04-27 パナソニックIpマネジメント株式会社 測定方法、測定装置、コンピュータ・プログラムおよび記録媒体
CN105827958A (zh) * 2016-03-17 2016-08-03 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
JP2017010095A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10686991B2 (en) 2018-09-11 2020-06-16 Sony Corporation Techniques for improving photograph quality for fouled lens or sensor situations
JPWO2020234912A1 (ja) * 2019-05-17 2021-10-28 三菱電機株式会社 携帯装置、位置表示方法、及び位置表示プログラム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007141886A1 (ja) * 2006-06-08 2007-12-13 Nippon Computer System Co., Ltd 手ブレ状況推測プログラム及びこれが記録されたコンピュータ読み取り可能な記録媒体、ならびに手ブレ状況推測装置
JP2008123396A (ja) * 2006-11-15 2008-05-29 Sanyo Electric Co Ltd 画像復元装置及び方法並びに撮像装置
US7924468B2 (en) 2006-12-20 2011-04-12 Seiko Epson Corporation Camera shake determination device, printing apparatus and camera shake determination method
JP2008178031A (ja) * 2007-01-22 2008-07-31 Fujifilm Corp 撮像装置
JP2009211023A (ja) * 2007-04-19 2009-09-17 Panasonic Corp 撮像装置の手ぶれ補正機能の評価方法および手ぶれモデル波形の生成方法
US8086063B2 (en) 2007-07-17 2011-12-27 Seiko Epson Corporation Image display apparatus and method, and program
JP2009213044A (ja) * 2008-03-06 2009-09-17 Sanyo Electric Co Ltd 撮像装置
KR101467869B1 (ko) * 2008-03-26 2014-12-02 삼성전자주식회사 영상의 흔들림 정도를 표시하는 디지털 영상 처리장치 및그 제어방법
US8897593B2 (en) 2008-12-04 2014-11-25 Kabushiki Kaisha Toshiba Determining image quality based on distribution of representative autocorrelation coefficients
JP2010268052A (ja) * 2009-05-12 2010-11-25 Canon Inc 撮像装置
WO2010131561A1 (en) * 2009-05-12 2010-11-18 Canon Kabushiki Kaisha Image pickup apparatus
US9201288B2 (en) 2009-05-12 2015-12-01 Canon Kabushiki Kaisha Image processing apparatus with blur correcting function
US9591246B2 (en) 2009-05-12 2017-03-07 Canon Kabushiki Kaisha Image pickup apparatus with blur correcting function
JP2010279060A (ja) * 2010-07-20 2010-12-09 Canon Inc 撮像装置、及びその制御方法
JPWO2013076965A1 (ja) * 2011-11-22 2015-04-27 パナソニックIpマネジメント株式会社 測定方法、測定装置、コンピュータ・プログラムおよび記録媒体
JP2017010095A (ja) * 2015-06-17 2017-01-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
CN105827958A (zh) * 2016-03-17 2016-08-03 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10686991B2 (en) 2018-09-11 2020-06-16 Sony Corporation Techniques for improving photograph quality for fouled lens or sensor situations
JPWO2020234912A1 (ja) * 2019-05-17 2021-10-28 三菱電機株式会社 携帯装置、位置表示方法、及び位置表示プログラム

Similar Documents

Publication Publication Date Title
JP4444927B2 (ja) 測距装置及び方法
JP4760742B2 (ja) デジタルカメラ、及び情報表示方法、情報表示制御プログラム
JP4019200B2 (ja) 画像表示器付きカメラ
JP2007264196A (ja) ストロボ制御装置及び方法
US9065998B2 (en) Photographing apparatus provided with an object detection function
JP2006019874A (ja) 手ぶれ・ピンボケレベル報知方法および撮像装置
JP2007264049A (ja) 撮像方法および装置
JP2009094946A (ja) 撮像装置及び撮像装置における肖像権保護方法
JP2008079193A (ja) デジタルカメラ
JP5092673B2 (ja) 撮像装置及びそのプログラム
JP2009070374A (ja) 電子機器
JP2009081530A (ja) 撮像装置、及び撮影方法
JP2008072270A (ja) 撮像装置
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
JP4334179B2 (ja) 電子カメラ
JP2009223056A (ja) 撮影装置及び撮影方法
JP2008054031A (ja) デジタルカメラ及び表示制御方法
JP4964992B2 (ja) 撮影装置及びその画像記録方法
JP2009246468A (ja) 撮影装置及び撮影装置の制御方法
JP5564961B2 (ja) 撮像装置
JP2008113466A (ja) 電子カメラ
JP5157528B2 (ja) 撮影装置
JP2008028956A (ja) 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP2008219367A (ja) 撮像装置及び撮像方法
JP4241447B2 (ja) デジタルカメラ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070904