JP2005210392A - 撮像装置 - Google Patents

Abstract

【課題】搭載する表示装置を利用して、撮像時の手ぶれの発生およびその程度を認識可能な撮像装置を提供する。
【解決手段】手ぶれによる撮像装置の動きをジャイロセンサ６または撮像した画像データから抽出した特徴点をを時系列方向に比較することによって判断し、手ぶれが発生したと判断したときは、撮像部１から入力される画像データに対して、手ぶれの発生した方向および移動量をより極端にすることで手ぶれを強調した表示用画像データを生成し、当該表示用画像データをＬＣＤユニット５上に表示することで、小型のＬＣＤユニット５上に置いても手ぶれの発生および手ぶれの程度を容易に認識することができる。
【選択図】図１

Description

本発明は、表示装置を備える撮像装置に関する。

デジタルスチルカメラ等の撮像装置には、液晶ディスプレイや液晶ビューファインダー等の表示装置を備えるものが多い。これらの撮像装置においては、撮像時に撮像の対象物や領域を特定するために、または撮像後に撮像結果を確認するために、表示装置を利用する。

しかし、撮像装置に搭載される表示装置は、通常大きいものでも数インチ程度の大きさしかないため、表示装置に表示された画像から手ぶれや被写体ぶれの発生を認識することは困難であった。

撮像時の手ぶれ等の発生は、撮像した画像を、撮像装置に搭載する表示装置に比して大型の表示装置に表示したり、または適当な大きさに印刷することによって認識することが可能である。しかし、これには撮像装置とは別に大型の表示装置や印刷装置等の装備を必要とする上に時間と手間がかかる。そのため、撮像と同時または撮像直後に、このような作業を行うことは希であり、撮像後暫くしてから手ぶれ等の発生を認識することが多い。そのため、手ぶれ等を認識したとしても、同様の撮像を再度行うことができず、意図した画像が得られない場合があるという問題があった。

これを解決するため、手ぶれ等の発生時に、音や光によって警告を発する機能を備える撮像装置も存在するが、このときも手ぶれ等の程度を把握することはできなかった。

そこで、この発明の課題は、搭載する表示装置を利用して、撮像時の手ぶれ等の発生やその程度を認識可能な撮像装置を提供することにある。

上記課題を解決すべく、請求項１の発明は、撮像中または撮像後の画像データを表示する表示装置を備える撮像装置であって、対象物を撮像して撮像画像データを出力する撮像手段と、前記撮像装置に対する手ぶれの発生を検出する手ぶれ検出手段と、前記手ぶれ検出手段で手ぶれを検出したときに、前記撮像画像データに対して手ぶれを強調した表示画像データを前記表示装置上に表示する手ぶれ強調表示手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１の発明に係る撮像装置であって、さらに、前記撮像装置の動きを検出して信号を出力する動き検出手段、を備え、前記手ぶれ検出手段は、前記信号から前記撮像装置が移動した方向および移動量を算出し、当該算出結果から、前記撮像装置における手ぶれの発生を検出することを特徴とする。

また、請求項３の発明は、請求項１の発明に係る撮像装置であって、前記手ぶれ検出手段は、前記撮像画像データを時系列方向に監視し、その前後フレーム内において抽出した特徴点の位置を比較して、前記特徴点が前フレームから後フレームにかけて移動した方向および移動量を算出し、当該算出結果から、前記撮像装置における手ぶれの発生を検出することを特徴とする。

また、請求項４の発明は、請求項３の発明に係る撮像装置であって、前記手ぶれ検出手段は、前記撮像画像データを複数のマクロブロックに分割して、各マクロブロック毎に前記特徴点の抽出と、前記方向および前記移動量の算出とを行うことを特徴とする。

また、請求項５の発明は、請求項３の発明に係る撮像装置であって、前記手ぶれ検出手段は、前記撮像画像データを複数のマクロブロックに分割して、各マクロブロック毎に前記特徴点の抽出と、前記方向および前記移動量の算出とを行い、各マクロブロック毎に前記撮像装置における手ぶれの発生を検出することを特徴とする。

また、請求項６の発明は、請求項５の発明に係る撮像装置であって、前記手ぶれ強調表示手段は、前記手ぶれ検出手段で手ぶれを検出したときに、前記各マクロブロック毎に、前記撮像画像データに対して手ぶれを強調した前記表示画像データを前記表示装置上に表示することを特徴とする。

また、請求項７の発明は、請求項６の発明に係る撮像装置であって、前記各マクロブロックにおいて、算出した前記移動量が所定の値以下のときは、当該マクロブロックに対して輪郭強調処理を行うことを特徴とする。

また、請求項８の発明は、請求項１ないし請求項７のいずれかの発明に係る撮像装置であって、前記手ぶれ強調表示手段は、前記特徴点の、前記前フレームから前記後フレームに至る移動範囲を強調表示することによって、前記表示画像データを生成することを特徴とする。

また、請求項９の発明は、請求項８の発明に係る撮像装置であって、前記特徴点の移動範囲の強調表示は、前記移動範囲を、塗りつぶし、または色反転表示し、または輝度を変更することによって行うことを特徴とする。

また、請求項１０の発明は、請求項１ないし請求項７のいずれかの発明に係る撮像装置であって、前記手ぶれ強調表示手段は、前記前フレームにおける前記特徴点と、前記後フレームにおける前記特徴点の位置を前記方向に前記移動量よりも大きく移動した特徴点とを合成して表示することによって、前記表示画像データを生成することを特徴とする。

また、請求項１１の発明は、請求項１０の発明に係る撮像装置であって、前記手ぶれ強調表示手段は、さらに、前記前フレームにおける前記特徴点と、前記後フレームにおける前記特徴点の位置を前記方向に前記移動量よりも大きく移動した特徴点と、の間に、一以上の特徴点を合成して表示することを特徴とする。

また、請求項１２の発明は、請求項１ないし請求項１１のいずれかの発明に係る撮像装置であって、前記手ぶれ強調表示手段は、前記方向および前記移動量から所定の演算によって算出した値に係る情報を含む前記表示画像データを生成することを特徴とする。

また、請求項１３の発明は、請求項１２の発明に係る撮像装置であって、前記情報は、数値、またはグラフィックス表示であることを特徴とする。

また、請求項１４の発明は、請求項８ないし請求項１３のいずれかの発明に係る撮像装置であって、前記表示画像データの解像度は、前記撮像画像データの解像度以下であり、前記手ぶれ強調表示手段は、前記撮像画像データの解像度を前記表示画像データの解像度に変換した後に、手ぶれ強調表示に係る処理を行うことを特徴とする。

また、請求項１５の発明は、請求項１ないし請求項１４のいずれかの発明に係る撮像装置であって、さらに、前記手ぶれ検出手段および前記手ぶれ強調表示手段を動作させるか否かを制御する切り換え手段、を備えることを特徴とする。

請求項１、請求項８ないし請求項１３のいずれかに記載の発明によれば、手ぶれを強調表示することで、表示装置上においても、手ぶれの発生およびその程度を認識することができる。

請求項２に記載の発明によれば、ジャイロセンサ等の動き検出手段を備えることで、手ぶれの発生およびその程度を容易に認識することができる。

請求項３ないし請求項５のいずれかに記載の発明によれば、ジャイロセンサ等のない構成であっても、手ぶれの発生およびその程度を容易に認識することができる。

請求項６に記載の発明によれば、手ぶれだけではなく、被写体ぶれを検出することもできる。

請求項７に記載の発明によれば、ぶれのない部分については輪郭強調によりシャープネスを上げることで、フォーカシングの動作内容を認識することもできる。

請求項１４に記載の発明によれば、表示装置上に表示する解像度に変換した後に、手ぶれ強調表示に係る処理を施すことで、処理に係る負荷を軽減することができる。

請求項１５に記載の発明によれば、切り換え手段の操作によって、手ぶれ検出および手ぶれ強調表示に係る処理を行うか否かを容易に切り換えることができる。

｛撮像装置の構成｝
図１は、この発明に係る撮像装置の概略を示す構成図である。図１の如く、当該撮像装置は、撮像部１、主処理部２、主メモリ３、メモリカード４およびＬＣＤユニット５等を備える従来の撮像装置の構成に加えて、手ぶれを撮像装置の振動として検知するジャイロセンサ６、検知した信号を受け取るためのセンサインターフェイス７（以降、図中と同様センサＩ／Ｆと記す）、および受け取った信号に基づいた処理を行う手ぶれ検出ユニット８、を備える。

撮像部１は、所望の対象物を被写体としてとらえるためのレンズなどからなる光学系、ＣＣＤやＣＭＯＳ等の撮像素子からなるセンサ、センサが出力するアナログ信号にノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を施す信号処理回路等を備えている。そして、光としてとらえた被写体に係る情報を、電気信号に変換し、画像信号として主処理部２に出力する機能を有する。

ＬＣＤユニット５は、主処理部２から出力される信号を液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）上に画像として表示する機能を有し、撮像中に撮像部１がとらえた撮像対象である被写体を確認したり、記録した静止画像や動画像を読み出して閲覧したりするために利用する。

主処理部２は、撮像部１から入力される画像信号をＪＰＥＧ等の所定の形式の静止画像、またはＭＰＥＧ等の所定の形式の動画像に変換する機能を有し、撮像部１から入力された画像信号にホワイトバランス調整などの信号処理を行うセンサプロセッシングユニット１１（以降、図中と同様ＳＰＵ（Sensor Processing Unit）と記す）と、補間処理、色空間の変換、偽色抑制などの信号処理を行うリアルタイムプロセッシングユニット１２（以降、図中と同様ＲＰＵ（Real-time Processing Unit）と記す）とを備える。また、撮像部１で撮像した画像信号をＬＣＤユニット５に出力表示するために、ＳＰＵ１１およびＲＰＵ１２で処理した画像信号を内部信号に変換する画像表示ユニット１３と、画像表示ユニット１３から出力する内部信号をＬＣＤユニット５に入力可能なアナログ信号に変換するＤ／Ａ変換ユニット１４とを備える。さらに、主処理部２内部には、データ転送に利用するバス１５と、このバス１５を利用したデータのＤＭＡ転送を制御するＤＭＡ制御ユニット１６と、上述した各部の動作を含む撮像装置全体の制御を行うＣＰＵ１７を備えている。尚、図示しないが、主処理部２には、ほかに静止画像や動画像の圧縮変換に係る処理を行う処理部を備えていても構わない。また、図示しないが、主処理部２には、手ぶれに関する処理を行う機能を制御する制御ボタンが備えられ、当該制御ボタンを操作することにより、後述する手ぶれ検出や手ぶれ強調表示処理に関する処理を動作させるか否かを容易に切り換え制御することができる。

主処理部２には、データ処理を行うときに利用するＳＤＲＡＭ等の主メモリ３と、撮像した静止画像および動画像を記録するための記憶装置であるメモリカード４とが、それぞれメモリインターフェイス９（以降、図中と同様メモリＩ／Ｆと記す）およびカードコントローラ１０を介して接続されている。メモリカード４は、撮像した静止画像や動画像を記録保存するために利用する不揮発性の記憶装置であって、撮像装置に内蔵されてもよいし、着脱自在な態様であっても構わない。

ジャイロセンサ６は、手ぶれに起因する撮像装置の動きを角速度として検出し電気信号として出力する機能を有する。出力された電機信号はセンサＩ／Ｆ７を介して手ぶれ検出ユニット８に入力される。そして、手ぶれ検出ユニット８は、ジャイロセンサ６から出力される信号を元に、手ぶれによる撮像装置の動きに関する情報を取得し、これを利用して手ぶれ検出や手ぶれ強調表示等の処理を行う機能を有する。ジャイロセンサ６および手ぶれ検出ユニット８という専用のハードウェアを備えることにより、ＣＰＵ１７の負荷を軽減すると共に、手ぶれの検出や演算に係る処理を高速に行うことが可能である。手ぶれ検出と手ぶれの強調表示処理の詳細については後述する。

撮像装置は、図２に示すように、手ぶれ検出や手ぶれ強調表示処理のための専用のハードウェアを設けない態様であっても構わない。図２に示す撮像装置では、ジャイロセンサ６、センサＩ／Ｆ７および手ぶれ検出ユニット８を持たないこと以外は、図１を用いて上述した撮像装置と同様の構成である。この場合、手ぶれ検出は、後述するように、撮像部１から入力される画像データを時系列方向に監視するフレーム間比較により行う。そして、手ぶれ検出と手ぶれ強調表示に関する処理はＣＰＵ１７によって行う。そのため、図１に示す撮像装置に比べてＣＰＵ１７への負荷が高く処理速度が低下するが、回路規模が小さく撮像装置を小型化できるという効果がある。

また、その他、図１を用いて上述した撮像装置に対して、ジャイロセンサ６およびセンサＩ／Ｆ７のみを持たない構成の撮像装置であってもよいし、手ぶれ検出ユニット８のみを持たない構成の撮像装置であっても構わない。手ぶれ検出ユニット８を持たない場合は、当該ユニットの実現していた手ぶれ検出や手ぶれ強調表示処理に係る機能はＣＰＵ１７によって実現すればよいし、ジャイロセンサ６およびセンサＩ／Ｆ７によって実現していた手ぶれの検出に係る機能は、撮像した画像データを時系列方向に比較演算するフレーム間比較によって実現すればよい。

ここで、撮像部１が撮像手段を構成し、ジャイロセンサ６を備える撮像装置では、ジャイロセンサ６が動き検出手段を構成する。ジャイロセンサ６を持たない撮像措置では、後述する画像データのフレーム間比較を行う手ぶれ検出ユニット８またはＣＰＵ１７が動き検出手段を構成する。また、後述するように、手ぶれ強調表示処理を行う手ぶれ検出ユニットまたはＣＰＵ１７が手ぶれ強調表示手段をも構成する。これらの構成要素から成る撮像装置は、専用のソフトウェアおよびハードウェアによって実現する。

これらの撮像装置で、ＣＰＵ１７または手ぶれ検出ユニット８が行う手ぶれ検出から手ぶれ強調表示処理に至る処理全体の流れを図３のフローチャートに示す。

まず、ジャイロセンサ６または画像データのフレーム間比較によって、手ぶれによる撮像装置の動きを検出する（ステップＳ１１）。次に、検出した撮像装置の動きに係る情報から、手ぶれによって撮像対象物が撮像面内において移動する方向と移動量を、位相およびレベルとして算出する（ステップＳ１２，Ｓ１３）。次に、算出した位相およびレベルから、検出した撮像装置の動きが手ぶれであるか否かを判断する（ステップＳ１４）。その結果、手ぶれが発生したと判断した場合には（ステップＳ１４のYes）、数インチ程度のＬＣＤユニット５においても手ぶれの発生とその程度が把握可能となるように、手ぶれ強調表示処理（ステップＳ１５）を施した画像データをＬＣＤユニット５に出力表示する。このとき、手ぶれではないと判断した場合には（ステップＳ１４のNo）何ら処理を行わず、撮像部１から入力されＳＰＵ１１およびＲＰＵ１２で処理された画像データを、そのままの画像をＬＣＤ表示装置５上に表示する（ステップＳ１６）。

以下、手ぶれ検出と手ぶれ強調表示処理の詳細について説明する。

｛手ぶれ検出方法｝
（ジャイロセンサによる検出）
手ぶれ検出の動作ついては、撮像装置がジャイロセンサ６を備える場合と、備えない場合とで異なる。

まず、図１に示すようにジャイロセンサ６を備える撮像装置の場合、ジャイロセンサ６によって手ぶれによる撮像装置の動きを検知する。当該センサから出力される角速度信号から、撮像面内における撮像対象物の動きを、その方向である位相と移動量であるレベルとを算出することによって特定し、手ぶれであるか否かを判断する。ジャイロセンサ６を利用する場合、出力信号は、手ぶれの発生を直接示すものであるから、出力信号が所定の条件に合致すれば、手ぶれが発生したものと判断することができる。則ちジャイロセンサ６からの出力信号を監視することによって、動き検出から位相およびレベルの算出、手ぶれ検出に至る全ての処理を行うことが可能である。

（フレーム間比較による検出）
これに対して、ジャイロセンサ６を持たない撮像装置では、撮像部１から入力されＳＰＵ１１およびＲＰＵ１２で処理された画像データを時系列方向に監視することによって、動き検出を行う。

動き検出の具体的な動作の内容を図４を用いて説明する。動き検出を行うに際し、画像データを複数の矩形領域であるマクロブロック１８に分割し、各マクロブロック毎に、ある時刻に撮像されたフレームＦｎ（図４（ａ））と、その次に撮像されたフレームＦｎ＋１（図４（ｂ））の画像データとを比較する。比較は、図４（ｃ）に示すように、特徴量抽出技術を利用して輪郭や特徴点の抽出し、フレームＦｎで撮像された対象物の位置（図４中の特徴点Ｐ１）と、同一の対象物が移動して次フレームＦｎ＋１で撮像された位置（図４中の特徴点Ｐ２）とを特定することによって行う。その結果、図４（ｃ）に示すように、同一対象物の位置がＰ１からＰ２へ移動している場合には、撮像装置が動いたと判断することによって、動き検出を行う。

尚、動き検出は、動画像の圧縮時に求める動きベクトルを利用して行っても構わない。例えば、ブロックマッチング等の手法により求める動きベクトルは、上述した特徴点による方法と同様に、画像データ内の動きを検出するものであって、当該動きベクトルを利用して後述するのと同様の処理を行うことができる。

動きを検出した後の手ぶれ検出までの具体的な動作の内容を図５を用いて説明する。撮像した画像データをフレーム間で比較することによって動きを検出すると、対象物の動きを、図４（ｃ）に示すようにとらえ、撮像面内における特徴点Ｐ１からＰ２までの水平および垂直方向の距離をそれぞれｘおよびｙとして算出する（ステップＳ２１）。この値ｘおよびｙを用いて、特徴点Ｐ１からＰ２への移動方向を位相として算出し（ステップＳ２２）、移動距離をレベルとして算出する（ステップＳ２３）。

ここで、図４では、概念的に理解しやすいようＰ１およびＰ２の一の特徴点のみを例示したが、実際には各マクロブロック１８内には、多数の特徴点が検出される。例えば、各マクロブロック１８が縦６４ピクセル×横６４ピクセルであったとして、その５％のピクセルで動きを検出したとしてもその数は２００を超える。よって、これらの多数のデータから、手ぶれの発生を判断するために、算出した位相についてはヒストグラムを生成し（ステップＳ２４）、レベルについては積分演算を行う（ステップＳ２５）。そして、これらの結果から手ぶれが発生したか否かを判断する手ぶれ検出の処理を行う（ステップＳ２６）。

具体的には、検出したレベルを積分することによって、マクロブロック内全体における動きを検出した特徴点の移動距離の総計を求め、これが所定の値以上である場合には、手ぶれであると判断する。積分値が所定の値以下である場合には、ノイズ等を含む手ぶれ以外の影響によるものであるか、または手ぶれであっても無視できる大きさであるとして、手ぶれはなかったものと判断する。尚、レベルについては積分値ではなく、積分値から求めたマクロブロック１８毎または特徴点毎の平均値を求めて判断する態様であっても構わない。

また、位相をヒストグラム化することによって、マクロブロック内全体における動きの方向に所定の傾向が見られるか否かを判断する。例えば、ヒストグラム上、特定の位相を示すデータが他の位相に比べて突出していれば、その位相とは逆方向に手ぶれが発生したために、対象物が移動したように見えたものと判断する。これに対し、ヒストグラム上、突出した部分がなく全体に平均的である場合には、移動方向がばらばらであるため、ノイズ等を含む手ぶれ以外の影響によるものであると判断する。ヒストグラムの判断については、ある位相を示すデータが所定の数を超えるときという判断方法のほか、画像データ上のノイズや位相算出の際の演算誤差等による位相のばらつき等を考慮し、ある位相とその近傍の位相を示すデータの数が所定の数を超えるときといった判断方法をとってもよい。則ちヒストグラムの形状による判断を行っても構わない。

最終的には、位相のヒストグラムおよびレベル平均値の双方から手ぶれが発生したと判断した場合に、撮像装置に手ぶれが発生したものと判断する。則ちヒストグラムによって特徴点の動く方向である位相に所定の傾向が見られれば手ぶれが発生したと判断し、これに加えてさらに、そのときに動いた大きさであるレベル平均値が所定の大きさ以上であれば、無視できない大きさで手ぶれが発生したものと判断し、以下に述べる手ぶれ強調表示処理を行うのである。

尚、動き検出と位相およびレベルの算出については、画像データを複数の矩形ブロックに分割したマクロブロック毎に行うが、手ぶれの判断については、上述したようにマクロブロック毎に行うほか、画像データ全体について行う態様であっても構わない。例えば、上述した方法では、位相について、図６に示すように、各マクロブロック毎に算出した位相をヒストグラム化して、各マクロブロック毎に手ぶれ検出を行う。これに対し、図７に示すように、各マクロブロック毎に算出した位相を全てのマクロブロックについて集計し、画像データ全体について位相のヒストグラムを生成し、これを利用して手ぶれ検出を行う態様であっても構わない。この場合、各マクロブロック毎の判断ではなく、画像データ全体について、動きの方向に所定の傾向が見られるか否かを判断することによって手ぶれ検出を行うことになる。レベルについても同様に画像データ全体に渡って積分値を求めてから手ぶれを判断しても構わない。マクロブロック毎に手ぶれを判断する場合、撮像面内の特定の対象物の移動によって動きが検出されるため、例えば葉が風で揺れるといった手ぶれとは無関係な撮像対象物の動き、いわゆる被写体ぶれ、をも手ぶれとして検出してしまう。しかし、画像データ全体で動きの位相とレベルを算出することによって判断すれば、このような被写体ぶれの影響を避け、より正確に手ぶれのみを検出することができる。

｛手ぶれ強調表示処理｝
手ぶれを検出すると、撮像装置の備える小型のＬＣＤユニット５上においても、手ぶれの発生とその程度が認識できるよう手ぶれ強調表示処理を行う。

手ぶれ強調表示処理は、撮像時に撮像部１から入力される入力解像度のままの画像データに対してではなく、ＬＣＤユニット５上に表示する表示解像度に変換した後の画像データに対して行う。通常は、図８に示すように、画像データの入力解像度１９は、当該画像データをＬＣＤユニット５に表示するときの表示解像度２０よりも高解像度である。画像データに手ぶれ強調表示処理を施すには、入力解像度１９のままの画像データに処理を施した後にこれを表示解像度２０に変換してからＬＣＤユニット５に表示する方法と、画像データを入力解像度１９から表示解像度２０に変換した後の画像データに手ぶれ強調表示処理を施す方法と、が考えられるが、後者の方が処理対象となる解像度が低解像度であるため、処理にかかる負荷および消費電力量を低減することができる。また、前者の場合、手ぶれ強調表示処理を施した後に解像度の変換が行われるため、強調表示処理直後の画像データとＬＣＤユニット５上に表示される画像データとでは視覚的効果が異なる。則ち高解像度の画像データを元に手ぶれを強調して表示する処理を行っても、解像度を変換し低解像度のＬＣＤユニット５上に表示した段階では期待した視覚的効果が得られない可能性がある。そのため解像度変換後の視覚的効果を考慮して、手ぶれ強調表示処理を施す範囲を広げたり、処理の程度を大きくしておく必要がある。これに対し、入力解像度１９から表示解像度２０に変換した後に、手ぶれ強調表示処理を施す方法であれば、処理後の画像データが直接ＬＣＤユニット５上に表示されるため、このような視覚的効果の変化を考慮する必要がない。よって、本実施例では、画像データを入力解像度１９から表示解像度２０に変換した後の画像データに対して手ぶれ強調表示処理を施す。

手ぶれの検出は、上述したように、ジャイロセンサまたはフレーム間での画像データの比較によって行うが、いずれの場合であっても、手ぶれの方向および量に相当する位相およびレベルの２つの値を算出する。また、フレーム間比較により手ぶれ検出を行う場合には、これに加えて特徴量抽出処理によって、各マクロブロックにおける撮像対象物の輪郭や特徴点を抽出する。手ぶれ強調表示処理は、これら位相、レベルおよび撮像対象物の輪郭や特徴点を利用して行う。よって、ジャイロセンサによって手ぶれ検出をする場合でも、手ぶれ強調表示処理の前に特徴量抽出処理によって輪郭や特徴点などを抽出しておく。

これらの情報を利用した手ぶれ強調表示処理としては、輪郭を強調する方法、ぶれ量を拡大する方法、ぶれ量をレベル表示する方法、の３つの方法がある。以下に、各方法について処理の詳細を説明する。

（輪郭強調による手ぶれ強調）
手ぶれ検出の際の位相およびレベルの算出結果と特徴量抽出処理の結果から、例えば図９（ａ）に示すように、マクロブロック１８内で抽出した輪郭２１が、手ぶれによって輪郭２２となったものと判断した場合、輪郭２１から輪郭２２に至る範囲を図９（ｂ）のように強調して表示することにより手ぶれの発生を認識しやすいようにする。強調の方法は、輪郭２１から輪郭２２に至る範囲、則ち輪郭が手ぶれによってぶれた範囲を、所定の色で塗りつぶしてもよいし、色を反転表示させてもよいし、輝度を変更してもよい。例えば、図１０（ａ）に示すように輪郭２１が手ぶれによって輪郭２２に移動している場合、図１０（ｂ）に示すように輝度情報２３のうち輪郭２１から輪郭２２に至るぶれた範囲の輝度のみを破線２４のように上げることで、図１０（ｃ）のように手ぶれによりぶれた輪郭部分が強調して表示される。

尚、上述した手ぶれ強調表示処理はマクロブロック毎に個別に行う態様であっても構わないし、画像データ全体に対して一様に行う態様であっても構わない。具体的には、各マクロブロック毎に算出した位相及びレベルに基づいて、各マクロブロック毎に手ぶれ強調表示処理を行っても構わないし、全てのマクロブロックについて算出した位相およびレベルから平均値を求め、この値を利用して、画像データ全体に渡って一様に手ぶれ強調表示処理を行う態様であっても構わない。

このような処理を行うことで、例えば、図１１（ａ）に示すような手ぶれ画像が、図１１（ｂ）のように表示され、手ぶれの発生を認識することが容易となる。また、強調表示された輪郭部分の太さによって手ぶれの程度を認識することも可能である。

（ぶれ量拡大による手ぶれ強調）
手ぶれ検出の際の位相およびレベルの算出結果と、特徴量抽出処理の結果から、例えば図１２（ａ）に示すように、対象物２１が、手ぶれによって対象物２２となったものと判断した場合、ＬＣＤユニット５上に画像データ２３ａのように表示するのではなく、図１２（ｂ）に示すように、算出したレベルを元に所定の割合でぶれ量を拡大して求めた対象物２４を利用して、画像データ２３ｂのように表示することにより手ぶれの発生を認識しやすいようにする。則ち手ぶれによる実際の対象物２２に対して、算出した位相の方向に算出したレベルよりも大きくずらしてぶれ量を拡大した対象物２４を合成して表示することで、ぶれを強調表示する。

このとき、元の対象物２１と、ぶれ量拡大後の対象物２４のみを表示するのではなく、図１３（ａ）に示すようにぶれ量を拡大する前の実際の手ぶれ量による対象物２２を合わせて表示しても構わない。ぶれ量の拡大率は、利用するＬＣＤユニット５の大きさを考慮して決定すればよいが、ぶれ量と拡大率によって図１３（ｂ）に示すように、元の対象物２１や手ぶれによる実際の対象物２２に対してぶれ量拡大後の対象物２４が大きく離れて表示されるため、ＬＣＤユニット５上に表示したときに、視覚的にぶれとして認識し難い場合が起こり得る。このような場合、元の対象物２１に対する、手ぶれによる実際の対象物２２および手ぶれ量拡大後の対象物２４の移動量や位相情報を元に、その中間に位置する対象物２５ａ〜２５ｃを演算により求め、合成して表示することで、図１３（ｃ）に示すように、ＬＣＤユニット５上に表示したときにも手ぶれの発生を認識しやすいようにする。

尚、ぶれ量の拡大方法については、上述した位相およびレベルをベクトルとして利用して行う態様のほか、ＦＦＴによる周波数変換を利用する態様であっても構わない。具体的には、画像データを空間周波数に変換したときに、低周波成分にローパスフィルタをかけることでよりぼかすように処理をし、その結果を逆変換すれば、ぶれ量を拡大した画像データを得ることができる。

また、上述した手ぶれ強調表示処理はマクロブロック毎に個別に行う態様であっても構わないし、画像データ全体に対して一様に行う態様であっても構わない。具体的には、各マクロブロック毎に算出した位相及びレベルに基づいて、各マクロブロック毎に手ぶれ強調表示処理を行っても構わないし、全てのマクロブロックについて算出した位相およびレベルから平均値を求め、この値を利用して、画像データ全体に渡って一様に手ぶれ強調表示処理を行う態様であっても構わない。

このような処理を行うことで、例えば図１４（ａ）に示すような手ぶれ画像が、図１４（ｂ）のように、よりぶれの大きな画像として表示され手ぶれの発生を認識することが容易となる。また、ぶれ量は元の手ぶれ量に依存して決定されるので、手ぶれの程度を認識することも可能である。

（レベル表示による手ぶれ強調）
手ぶれ検出の際の位相およびレベルの算出結果を元にその手ぶれ検出の有無や手ぶれ量を、ＬＣＤユニット５に表示する画像データ上にオンスクリーン表示することで、利用者が手ぶれの発生およびその程度を認識できるようにする。

表示の方法は、利用者がＬＣＤユニット５上の表示を見て容易に認識可能な態様であれば、例えば、手ぶれ検出の有無を示す文字やマーク等から成る警告表示であってもよいし、手ぶれの程度を示す数値やバーグラフのようなグラフィックス表示であっても構わない。例えば、図１５（ａ）に示すような手ぶれ画像が、図１５（ｂ）のように右下に手ぶれの程度を示す所定の数値と同時に表示されることで、手ぶれの発生とその程度を容易に認識することができる。尚、図１５（ｂ）では、上述した輪郭強調による処理と、レベル表示による処理との両方を施した場合を例示しているが、レベル表示のみを単独で行う態様であっても構わないし、上述したぶれ量拡大による表示と同時に行う態様であっても構わない。

手ぶれ検出および上述した３つの方法を含む手ぶれ強調表示に係る処理によって、利用者は、撮像中に撮像対象物を表示装置上で確認するときだけでなく、撮像後に撮像した画像データを表示装置上で確認するときににも手ぶれの発生や手ぶれの程度を認識することができる。撮像中は、リアルタイムに、検出した手ぶれに係る位相やレベル等の情報を利用して手ぶれ強調表示処理を行う。そして、撮像後には、撮像時の手ぶれに係る位相やレベル等の情報を主メモリ３等に予め記憶しておき、これを利用して撮像後の画像データに対し手ぶれ強調表示処理を行えばよい。

また、手ぶれ強調表示処理は、手ぶれ検出に係る処理とともに、主処理部２に備えられた制御ボタンを操作することによって動作する。則ち、当該制御ボタンがオフのときは従来の撮像装置と同様の機能しか持たないが、制御ボタンをオンにすれば、上述したように手ぶれを検出し、その結果に基づいて手ぶれ強調表示処理を行う撮像装置として動作する。撮像した画像データを撮像後に確認する場合であれば、例えば制御ボタンを長押しするといった所定の操作を行うことで、記録保存した実際の画像データと、これに手ぶれ強調表示処理を施した画像データとを切り換えて表示できるようにすれば、実際に撮像した画像データと、この画像データにおける手ぶれの影響と、の両方を容易に認識することが可能である。

このように、制御ボタンを操作するだけで、撮像装置に備えられる小型の表示装置を利用して、撮像中や撮像後の画像データに対する手ぶれの発生や程度を容易に認識することができる。その結果、利用者が、撮像した画像データに対する手ぶれによる影響が無視できないと判断すれば、撮像後すぐに撮像をやり直すことが可能である。

｛手ぶれ検出機能の利用｝
上述したフレーム間比較による手ぶれ検出機能は、他の機能として利用することも可能である。

例えば、撮像装置の焦点調節、いわゆるフォーカシングの結果を判断するために利用できる。上述した手ぶれ強調表示処理において、各マクロブロック毎にぶれを強調する処理を行うが、このときレベルが所定の値以下の場合にはぶれを強調するのとは逆にシャープネスを上げる輪郭強調処理を施す。その結果、ＬＣＤユニット５上には、ぶれが発生したと判断された輪郭部分は、そのぶれがより強調されたぼけた画像が表示され、逆にぶれが所定の値以下の部分はシャープネスの高いよりはっきりとした画像が表示される。則ちフォーカシングにより合焦した部分ははっきりと表示され、それ以外の部分は大きくぼけて表示されるため、合焦位置が強調して表示されることになり、利用者はこれを見て意図した位置に適切にフォーカシングがなされているか否かを判断することができる。撮像装置の中には、撮像面内において、複数のフォーカシングポイントを有するものも存在するが、その場合でも撮像した画像データ内のどの位置でフォーカシングがなされているかを容易に判断することが可能となる。

また、被写体ぶれによる影響を判断することもできる。上述したように、各マクロブロック毎に手ぶれを判断し、手ぶれ強調表示処理を施す場合には、マクロブロック内で移動した輪郭を特定することが可能である。その結果、手ぶれは発生せず撮像対象物が動く、いわゆる被写体ぶれによって発生する撮像対象物の発生を認識することができる。

以上のような、手ぶれや被写体ぶれの発生、フォーカシングの結果確認等から、利用者が満足できない撮像結果が得られたときには、すぐに撮像をやり直すことが可能となる。

この発明の一の実施の形態に係る撮像装置を示す図である。 この発明の一の実施の形態に係る撮像装置を示す図である。 この発明の動き検出から手ぶれ強調表示処理に至る処理を示すフローチャートである。 この発明の位相およびレベルの算出方法を説明する図である。 この発明の動き検出から手ぶれ検出に至る処理を示すフローチャートである。 この発明の一の手ぶれ検出方法を説明する図である。 この発明の一の手ぶれ検出方法を説明する図である。 この発明の手ぶれ強調表示処理の対象となる解像度を示す図である。 この発明の輪郭強調表示処理を説明する図である。 この発明の輪郭強調表示処理に関する輝度調整を説明する図である。 この発明の輪郭強調表示処理の処理結果を示す図である。 この発明のぶれ量拡大表示処理を説明する図である。 この発明のぶれ量拡大表示処理に関する処理内容を説明する図である。 この発明のぶれ量拡大表示処理の処理結果を示す図である。 この発明のレベル表示処理の処理結果を示す図である。

符号の説明

５ ＬＣＤユニット
６ ジャイロセンサ
８ 手ぶれ検出ユニット
１７ ＣＰＵ
１８ マクロブロック

Claims (15)

1. 画像データを表示する表示装置を備える撮像装置であって、
   対象物を撮像して撮像画像データを出力する撮像手段と、
   前記撮像装置に対する手ぶれの発生を検出する手ぶれ検出手段と、
   前記手ぶれ検出手段で手ぶれを検出したときに、前記撮像画像データに対して手ぶれを強調した表示画像データを前記表示装置上に表示する手ぶれ強調表示手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、さらに、
   前記撮像装置の動きを検出して信号を出力する動き検出手段、
   を備え、
   前記手ぶれ検出手段は、前記信号から前記撮像装置が移動した方向および移動量を算出し、当該算出結果から、前記撮像装置における手ぶれの発生を検出することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記手ぶれ検出手段は、前記撮像画像データを時系列方向に監視し、その前後フレーム内において抽出した特徴点の位置を比較して、前記特徴点が前フレームから後フレームにかけて移動した方向および移動量を算出し、当該算出結果から、前記撮像装置における手ぶれの発生を検出することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記手ぶれ検出手段は、前記撮像画像データを複数のマクロブロックに分割して、各マクロブロック毎に前記特徴点の抽出と、前記方向および前記移動量の算出と、を行うことを特徴とする撮像装置。
5. 請求項３に記載の撮像装置であって、
   前記手ぶれ検出手段は、前記撮像画像データを複数のマクロブロックに分割して、各マクロブロック毎に前記特徴点の抽出と、前記方向および前記移動量の算出と、を行い、各マクロブロック毎に前記撮像装置における手ぶれの発生を検出することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記手ぶれ強調表示手段は、前記手ぶれ検出手段で手ぶれを検出したときに、前記各マクロブロック毎に、前記撮像画像データに対して手ぶれを強調した前記表示画像データを前記表示装置上に表示することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置であって、
   前記各マクロブロックにおいて、算出した前記移動量が所定の値以下のときは、当該マクロブロックに対して輪郭強調処理を行うことを特徴とする撮像装置。
8. 請求項１ないし請求項７のいずれかに記載の撮像装置であって、
   前記手ぶれ強調表示手段は、前記特徴点の、前記前フレームから前記後フレームに至る移動範囲を強調表示することによって、前記表示画像データを生成することを特徴とする撮像装置。
9. 請求項８に記載の撮像装置であって、
   前記特徴点の移動範囲の強調表示は、前記移動範囲を、塗りつぶし、または色反転表示し、または輝度を変更することによって行うことを特徴とする撮像装置。
10. 請求項１ないし請求項７のいずれかに記載の撮像装置であって、
    前記手ぶれ強調表示手段は、前記前フレームにおける前記特徴点と、前記後フレームにおける前記特徴点の位置を前記方向に前記移動量よりも大きく移動した特徴点と、を合成して表示することによって、前記表示画像データを生成することを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置であって、
    前記手ぶれ強調表示手段は、さらに、前記前フレームにおける前記特徴点と、前記後フレームにおける前記特徴点の位置を前記方向に前記移動量よりも大きく移動した特徴点と、の間に、一以上の特徴点を合成して表示することを特徴とする撮像装置。
12. 請求項１ないし請求項１１のいずれかに記載の撮像装置であって、
    前記手ぶれ強調表示手段は、前記方向および前記移動量から所定の演算によって算出した値に係る情報を含む前記表示画像データを生成することを特徴とする撮像装置。
13. 請求項１２に記載の撮像装置であって、
    前記情報は、数値、またはグラフィックス表示であることを特徴とする撮像装置。
14. 請求項８ないし請求項１３のいずれかに記載の撮像装置であって、
    前記表示画像データの解像度は、前記撮像画像データの解像度以下であり、前記手ぶれ強調表示手段は、前記撮像画像データの解像度を前記表示画像データの解像度に変換した後に、手ぶれ強調表示に係る処理を行うことを特徴とする撮像装置。
15. 請求項１ないし請求項１４のいずれかに記載の撮像装置であって、さらに、
    前記手ぶれ検出手段および前記手ぶれ強調表示手段を動作させるか否かを制御する切り換え手段、
    を備えることを特徴とする撮像装置。
    

Images