JP2008072696A - 合焦情報の視覚化装置、その方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】写真画像の合焦状況の確認について、装置の自動判定とユーザの視覚確認により効率的に確認が行える合焦情報視覚化装置を提供する。
【解決手段】画像を処理して、第１の閾値Ｔｈ１以上のエッジ強さ及び第２の閾値Ｔｈ２以下のエッジ幅を有するエッジを抽出し、該エッジの位置に所定の色で着色し、これを、写真画像データに重畳してＬＣＤ５４に表示する。また、このエッジが示す合焦領域をＮ区画に区分して表示し、このうち１の区画をユーザが指定操作した時、当該区画の写真画像を所望の倍率で拡大表示する。
【選択図】図２

Description

本発明は、写真画像の合焦情報を画面上に表示して視覚化する技術に関する。

近年、液晶ディスプレイを搭載したデジタルスチルカメラやカメラ付き携帯電話が普及している。こうした撮像装置では、通常、撮像した画像のブレ・ボケの状況を液晶ディスプレイで確認することができる。こうした確認作業を確実に行うために、例えば、下記の特許文献に記載の装置が知られている。

特開２００５−３０９５５９号公報 特開２００６−７２６６０号公報

特許文献１は、画像の所定の領域のエッジの数を集計し、最もエッジの多い領域の画像を確認用画像として抽出・表示する画像処理装置を開示している。また、特許文献２は、画像データをフーリエ変換して、高周波成分が所定の割合よりも少ない画像であれば、劣化強調処理を施して表示する画像処理装置を開示している。

しかしながら、こうした画像処理装置は、合焦判定の一助とはなり得るものの、合焦の位置を正確に判定しているとは言えない。そこで、合焦の位置まで含めて、より確実に合焦の状況を確認できる装置が求められていた。

上記課題を解決する本発明は、合焦情報視覚化装置、合焦情報視覚化方法および合焦情報視覚化プログラムとして、以下に適用例として示した構成により実現される。

［適用例１］
写真画像の合焦情報を画面上に視覚化する合焦情報視覚化装置であって、
前記写真画像の各画素の輝度情報に基づいて、該画像に存在するエッジのうち、合焦の条件に合致するエッジを抽出するエッジ抽出手段と、
該抽出されたエッジを用いて、合焦の情報を、前記画面上に視認可能に出力する合焦情報出力手段と
を備えた合焦情報視覚化装置。

かかる合焦情報視覚化装置は、所定の合焦の条件を用いて、合焦していると判断できるエッジを抽出し、その結果に基づき、合焦の情報を画面上に視認可能に出力することができる。したがって、ユーザは、画面上で写真画像の合焦の状況を容易に確認することができ、写真画像の合焦判定を行う場合の有用な情報として利用できる。

［適用例２］
係る合焦情報視覚化装置において、
前記エッジ抽出手段は、
前記写真画像の各画素の輝度情報に基づいて該写真画像の各位置におけるエッジを検出するエッジ検出手段と、
前記検出されたエッジから第１の閾値以上の強さを有するエッジを抽出する第１のエッジ抽出手段と、
前記抽出されたエッジのエッジ幅を演算するエッジ幅演算手段と、
前記演算されたエッジ幅が第２の閾値以下であるエッジを抽出する第２のエッジ抽出手段と
を備えた合焦情報視覚化装置。

かかるエッジ抽出手段を有する合焦情報視覚化装置は、所定のエッジ強さ及びエッジ幅を有するエッジを抽出でき、合焦状況の判定を正確に行うことができる。

また、こうした合焦情報視覚化装置において、エッジの幅の抽出を次のように行なっても良い。つまり、エッジ検出手段により、写真画像を構成する各画素について、所定方向に並んだ画素間の輝度の差分の累積値が漸増または漸減している範囲をエッジとして検出し、第１のエッジ抽出手段により、この累積値が漸増または漸減した結果、累積値の絶対値が所定の閾値を超えたとき、エッジの抽出を行なう。その上で、エッジ幅演算手段により、抽出されたエッジの幅を、前記漸増または漸減の全期間として演算するのである。こうすることにより、より正確にエッジの幅を検出することができる。

もとより、エッジ検出手段が、写真画像を構成する各画素について、所定方向に並んだ画素間の輝度の差分に基づいて、写真画像の各位置におけるエッジを検出するものとしても良い。係る構成は、画素間の輝度の差分を見るので、処理を簡略化し、高速に全範囲のエッジの検出を行なうことができる。

［適用例３］
上記合焦情報視覚化装置であって、
前記合焦情報出力手段は、前記合焦の情報を抽出した前記画面上の位置の元画像を処理することにより表示の態様を変更して、前記合焦の情報の出力を行なう
合焦情報視覚化装置。

係る合焦情報視覚化装置では、元画像の表示の態様を変更して合焦の情報の出力を行なうから、使用者は表示している画像の状態を見ながら、かつ合焦の情報を視認することができる。

合焦情報出力手段による元画像の表示の態様の変更は、元画像に画像処理を施すことにより実現することができる。これにより、写真画像のうち、合焦していると判定されたエッジを有する画素、または当該エッジを有しない画素、あるいはその両方に対して、所定の画像処理を施して画面表示できるので、ユーザは、どのような色彩の写真画像であっても分かりやすく合焦判定位置を確認することができる。なお、画像処理とは、ユーザが合焦判定位置を視覚的に確認しやすいように写真画像に施す処理であり、白黒表示、非表示、補色表示、明度変更表示、ネガポジ反転表示、点滅表示など種々の処理が可能である。

合焦情報視覚化装置での合焦情報出力手段による表示の態様の変更は、合焦の情報を抽出した位置の原画像を、次のいずれか一つの態様により表示することにより行なうことができる。すなわち、
明度が所定以上のグレー画像に変更すること、
該グレー画像と元画像とを交互に表示する態様に変更すること、
元画像をネガポジ反転した画像に変更すること、
前記エッジが前記合焦の条件に合致する度合いに応じて異なる２以上の表示の態様に変更すること
のうちのいずれか一つの態様である。

こうした合焦の情報は、合焦の条件に合致するエッジの位置に所定の表示を行うことで視認可能に表示されしてもよい。例えば、エッジの位置に予め設定した符号などを表示するといったことを考えることができる。当該エッジの位置は、合焦していると装置に判定される被写体の輪郭を表すことが多く、ユーザは写真画像の合焦状況を判定する場合の有用な情報としてこれを利用することができる。

更に、こうした合焦の情報は、合焦の条件に合致するエッジの位置に該エッジの幅に応じて異なる態様で表示することで、視認可能な出力とすることができる。これにより、ユーザは、装置の合焦判定位置だけでなく合焦の程度についても把握することができ、合焦状況を判定するより詳細な情報として利用できる。

あるいは、こうした合焦情報視覚化装置において、合焦情報出力手段は、合焦の情報を写真画像と重ね合わせて出力する手段とすることができる。これにより、ユーザは、写真画像を照合しながら、分かりやすく合焦判定位置を確認することができる。

さらに、合焦情報出力手段は、合焦の条件に合致するエッジを含む少なくとも１の領域を、枠画像を用いて区分された区画として前記画面上に表示する手段と、この区画のうち１の区画がユーザ操作により指定された時、指定された区画に属する写真画像を所望の倍率に拡大して画面上に出力する手段とを備えたものとすることができる。これにより、ユーザは、写真画像の合焦の状況について、合焦情報視覚化装置の合焦判定結果を参考にしつつ、自らの視覚に基づいても効率的に確認することができる。

また、こうした合焦情報視覚化装置には、更に、写真画像を印刷する印刷媒体の大きさを指定する印刷媒体指定手段を備えるものとし、エッジ抽出手段では、指定された印刷媒体の大きさと、写真画像大きさとに基づいて、合焦の条件に合致するとして検出するエッジの条件を定め、この条件に基づいて、エッジの抽出を行なうものとしても良い。合焦しているかどうかは、結局印刷したときの見た目の問題であり、印刷される印刷媒体（多くは印刷用紙）の大きさによっては、同じ合焦の状況であっても、見た目の印象は相違する。したがって、印刷媒体の大きさと写真画像の大きさとに基づいて、エッジを検出する条件を変え、結果的に合焦の情報の視覚化の態様を変えることは有用である。

なお、本発明は、種々の形態で実施することが可能であり、例えば、デジタルスチルカメラ、カメラ付携帯電話、プリンタ、フォトビューア、コンピュータなどに搭載する合焦情報視覚化装置を始め、合焦情報視覚化方法、合焦情報視覚化プログラム、またはプログラムを記録したコンピュータで読み取り可能な記録媒体等の形態で実現することができる。

本発明の実施例について説明する。
（１）実施例：
図１は、本発明の実施例としてのデジタルスチルカメラ１００の基本構成を示す説明図である。図１に示すように、デジタルスチルカメラ１００は、光学系１０、ＣＣＤ１２、画像データ作成部１４、フレームメモリ２１ないし２３、制御部３０、入力手段４０、ＬＣＤドライバ５２、ＬＣＤ５４、画像データ出力部６０、記録媒体制御部７０、記録媒体７２、拡張記録媒体７３、ＵＳＢインターフェース８０を備えている。

光学系１０は、レンズ、絞り機構等からなり、ＣＣＤ１２上に撮像対象の像を形成する。ＣＣＤ１２は、光学系１０によって形成された光学像を電気信号に変換する。画像データ作成部１４は、ＣＣＤ１２からの信号を処理して多値（Ｒ，Ｇ，Ｂ）のラスタデータ（画像データ）としてフレームメモリ２１に出力する。

フレームメモリ２１は、通常、ＬＣＤ５４の画像表示用メモリとして用いられ、画像データがビットマップイメージで展開される。また、フレームメモリ２２は、必要に応じて、メニュー表示用メモリとして用いられる。フレームメモリ２３は後述する合焦情報の表示用メモリとして用いられる。そして、ＬＣＤ５４への表示時には、必要に応じてフレームメモリ２１，２２，２３の内容が重畳して表示される。

制御部３０は、ＣＰＵ３２、ＲＡＭ３４及びＲＯＭ３５から構成され、画像データ作成部１４、フレームメモリ２１ないし２３、画像データ出力部６０、記録媒体制御部７０の動作制御や後述する合焦の条件に合致するエッジの抽出などを行う。

入力手段４０は、ボタン、スイッチ等から構成され、これら操作によるユーザからの指示を入力し、デジタル信号に変換して制御部３０に与える。

ＬＣＤドライバ５２は、液晶を駆動・制御するドライバであり、フレームメモリ２１ないし２３のデータをＬＣＤ５４に表示させる。ＬＣＤ５４は、３２０×２４０ドットの液晶ディスプレイである。

画像データ出力部６０は、入力手段４０を構成する所定のボタンが押されてユーザにより画像記録が指示された場合に、フレームメモリ２１上のＲ，Ｇ，Ｂラスタデータを輝度成分と色差成分とからなるＹＣｂＣｒデータに変換すると共にＪＰＥＧ圧縮し、さらに、サムネイル画像を作成するための縮小処理を行う。

記録媒体制御部７０は、記録媒体７２及び拡張記録媒体７３に画像データを格納する回路である。記録媒体制御部７０は、画像データ出力部６０の出力を受け取ってＪＰＥＧ圧縮された画像データ（以下、ＪＰＥＧ画像データという）及び縮小画像データを記録媒体７２または拡張記録媒体７３の所定の位置に書き込んだり、記録された各ＪＰＥＧ画像データを読み出すなどの記録制御を行う。

ＵＳＢインターフェース８０は、図示しない外部装置とのインターフェースであり、例えば、記録媒体７２，拡張記録媒体７３に格納された画像データを、パソコン等のコンピュータ装置へ送信したり、モデムを介して通信したり、印刷画像データを作成して直接プリンタに送信して記憶させ、印刷させる場合などに使用する。

次に、合焦の条件に合致するエッジを抽出し、合焦情報を表示する手順について説明する。図２は、デジタルスチルカメラ１００で撮像し記録媒体７２に格納された写真画像について、制御部３０で合焦の条件に合致するエッジを抽出し、合焦情報をＬＣＤ５４に出力する方法の一例を示すフローチャートである。図示するように、写真画像の合焦情報を画面に視認可能に出力する方法は、例えば、次の手順で実施することができる。

まず、対象写真画像データを読み込み、当該写真画像の各画素ｐ（ｘ，ｙ）における輝度値に基づいてエッジを検出する（ステップＳ１０）。具体的には、記録媒体７２または拡張記録媒体７３に格納された写真画像の中から、ＬＣＤ５４に表示されたサムネイルを入力手段４０で選択することにより、合焦情報の視覚化の対象とする写真画像のＹＣｂＣｒデータをＲＡＭ３４に取得する。そして、輝度値ＹをＳｏｂｅｌフィルタで処理し、エッジを検出する。なお、本実施例では、ＹＣｂＣｒデータを用いてエッジ検出を行ったが、本発明が利用される媒体に応じて、ＬａｂデータやＹＩＱデータを用いて輝度値Ｙからエッジを検出してもよい。

ここで、Ｓｏｂｅｌフィルタについて説明する。Ｓｏｂｅｌフィルタでは、ある注目画素位置（ｘ，ｙ）を中心として上下左右の９つの輝度値に対して、図３に図示する水平方向及び垂直方向の係数行列の該当箇所の係数をそれぞれ乗算し、この乗算結果を合計する。この水平方向及び垂直方向の乗算結果が、注目画素位置（ｘ，ｙ）における水平方向及び垂直方向のエッジ勾配ｄｘ，ｄｙとなる。このとき、画素位置（ｘ，ｙ）におけるエッジは、図４に図示するようにtanθ=ｄｙ/ｄｘを満たす方向θを有し、次式（１）の強さａ（ｘ，ｙ）を有するエッジとして求められる。
ａ（ｘ，ｙ）＝√（ｄｘ² ＋ｄｙ² ） ・・（１）

上述した本実施例では、エッジの検出演算にＳｏｂｅｌフィルタを採用したが、Ｐｒｅｗｉｔｔフィルタ、Ｒｏｂｅｒｔｓフィルタなど種々のエッジ検出用フィルタが利用できる。

次に、ステップＳ１０で検出された強さａ（ｘ，ｙ）のエッジのうち、エッジの強さが第１の閾値Ｔｈ１以上であるエッジを抽出する（ステップＳ２０）。閾値Ｔｈ１は、あらかじめ設定された閾値であるが、検出するエッジの数を制御するために、例えば、数段階から選択できるようにしてもよい。また、閾値Ｔｈ１は、例えば、肖像写真画像、風景写真画像といった画像の種類に応じて設定することもできる。

次に、ステップＳ２０で抽出したエッジ強さａ（ｘ，ｙ）≧Ｔｈ１のエッジについて、エッジの幅を演算する（ステップＳ３０）。具体的には、角度θのエッジについて、０°≦θ＜４５°の場合は水平方向（ｄｘ方向）のエッジであるとし、４５°≦θ≦９０°の場合は垂直方向（ｄｙ方向）のエッジであると見なして、水平方向と垂直方向の２方向についてエッジ幅を演算する。

ここで、エッジ幅について、図５により説明する。図５（ａ）は、写真画像の水平方向（ｄｘ方向）の画素位置ごとの輝度値の一例を表すグラフである。これを前述のステップＳ１０のエッジ検出処理を行うことにより、図５（ｂ）に示す輝度差演算値（エッジ強さａ（ｘ，ｙ））が得られる。この輝度差演算値のうち、閾値Ｔｈ１以上となる画素Ｘ３ないしＸ５及びＸ１１，Ｘ１２が前述のステップＳ２０で抽出される。この抽出された画素Ｘ３ないしＸ５及びＸ１１，Ｘ１２が水平方向に連続する数を水平方向のエッジ幅として演算する。この例では、図５（ｃ）に示すように、画素Ｘ３ないしＸ５からなるエッジの水平方向の幅は３であり、画素Ｘ１１，Ｘ１２からなるエッジの水平方向の幅は２である。垂直方向（ｄｙ方向）については図示を省略するが、同様の方法でエッジ幅を演算することができる。

なお、本実施例では、最終的には、ユーザによる画像の合焦の判定を行うことから、合焦情報は、情報の精度よりも演算速度を優先して、任意の方向を水平方向と垂直方向に量子化してエッジ幅を求めた。これに対して、水平ｘ，垂直ｙ方向のエッジ幅ｄｘ，ｄｙを求め、
ｔａｎθ＝ｄｙ／ｄｘ
としてエッジの角度θを求め、エッジの幅ΔＬを、
ΔＬ＝√（ｄｘ² ＋ｄｙ² ）
として求め、角度θ方向の幅ΔＬのエッジとして扱い、判断を行なうものとすることもできる。本来、エッジ幅とは、任意の角度θを有するエッジ（ｄｘ，ｄｙ）が所定の角度θ１の方向に連続する幅である。したがって、例えば、異なる角度θ２，θ３（０°≦θ２＜θ３＜４５°）をもつ隣り合った画素のエッジであっても、本実施例では、連続する水平方向のエッジとして検出してしまう。そこで、さらに高い精度での合焦情報の表示が求められる場合には、エッジの方向θを演算し、あるいはより多くの方向に分類して、その方向ごとにエッジ幅を検出すればよい。また、閾値Ｔｈ１の設定は、方向θの範囲に応じて異なる値を設定してもよい。

次に、ステップＳ２０で抽出されたエッジ強さが第１の閾値Ｔｈ１以上のエッジの中から、ステップＳ３０で演算されたエッジ幅が第２の閾値Ｔｈ２以下であるエッジを抽出する（ステップＳ４０）。本実施例では、前述の通り、ステップＳ３０において水平方向と垂直方向の２方向についてエッジ幅を演算しているので、ステップＳ４０においても水平方向と垂直方向の２方向について閾値Ｔｈ２との比較を行い、Ｔｈ２以下のエッジ幅を有するエッジを抽出する。例えば、図５（ｃ）に例示するように、水平方向の画素ｘ３ないしｘ５で構成されるエッジのエッジ幅は３であり、画素ｘ１１，ｘ１２で構成されるエッジのエッジ幅は２であり、いずれもエッジ幅が第２の閾値Ｔｈ２以下であることを満たすため、ステップＳ４０において、画素ｘ３ないしｘ５のエッジ及び画素ｘ１１，ｘ１２のエッジが抽出される。なお、閾値Ｔｈ２の設定は、エッジ幅を検出する方向に応じて異なる値を設定してもよい。

なお、第２の閾値Ｔｈ２は、固定値としてもよいが、記録された画像サイズやデジタルスチルカメラ１００が備えるトリミング機能によりトリミングされた画像サイズに応じて設定することとしてもよい。具体的には、Ｌ版印刷を初期設定として選択する場合には、第２の閾値Ｔｈ２は、例えば、Ｌ版サイズ上で０．５ｍｍに相当する画素数として設定することが経験上適切である。また、第２の閾値Ｔｈ２は、同一の画像サイズの画像に対して、印刷用紙サイズに応じて設定することとしてもよい。具体的には、所定の画像サイズの画像をＡ４サイズで印刷する場合には、例えば、入力手段４０の操作により印刷用紙サイズメニューの中からＡ４を選択することで、自動的に第２の閾値Ｔｈ２を初期設定であるＬ版サイズ上で０．５ｍｍに相当する画素数から、Ａ４サイズ上で０．３ｍｍに相当する画素数に変更できるものとしてもよい。さらに、第２の閾値Ｔｈ２は、画像サイズと印刷用紙サイズの組み合わせに応じて設定することとしてもよい。

次に、ステップＳ４０で抽出されたエッジの位置に所定の表示を行うことで、視認可能な合焦領域を示す情報として画面上に出力する（ステップＳ５０）。ステップＳ４０で抽出されたエッジは、その幅が所定の値以下の、ある程度シャープなエッジであり、このエッジを有する画素から形成される被写体は、合焦しているものとして考えることができる。したがって、ステップＳ５０では、このエッジの位置を合焦領域として画面上に出力する。本実施例では、エッジの位置の出力表示方法は、フレームメモリ２３（図１）に出力されるエッジの位置のみを所定の色で着色した画像データをＬＣＤ５４（図１）に表示する第１の表示方法と、フレームメモリ２１（図１）に出力される写真画像データとフレームメモリ２３に出力されるエッジの位置画像データを重畳してＬＣＤ５４に表示する第２の表示方法を、入力手段４０の操作により選択することができるものとした。なお、エッジ位置の着色は、どのような色彩の写真画像データと重畳してもエッジ位置が明確に視認可能となるように数種類の色から選択できるものとした。

次に、合焦の条件に合致するエッジを含む領域、すなわち、ステップＳ４０において抽出されたエッジにより輪郭が形成される被写体が存在する合焦領域を、枠画像を用いて区分された区画としてＬＣＤ５４に表示する（ステップＳ６０）。具体的には、図６を用いて説明する。図６（ａ）は、ステップＳ５０において、上述の第２の表示方法により写真画像データとエッジの位置画像データが重畳してＬＣＤ５４に表示された例である。ハッチングを施した部分は被写体ＯＢを示し、ドット表示した部分はエッジ位置表示ＦＰを示している。ステップＳ６０では、例えば、図６（ａ）においてエッジ位置表示ＦＰが表示された合焦領域に、図６（ｂ）のように、Ｆ１ないしＦ７の区画の枠ＦＲが、図６（ａ）で表示された画像と重畳して表示される。本実施例では、合焦領域の区画表示は、写真画像全体の縦横をそれぞれ４分割した１６区画を最大として、このうち合焦領域を含む区画のみ枠画像を表示するものとしたが、ＬＣＤ５４や写真画像の画素数に応じて他の区画数を設定してもよい。また、区画数及び区画位置は、合焦部分の大きさやＬＣＤ５４の画素数などに応じて自動的に設定されるものとしてもよい。もとより、ＬＣＤ５４の画素数に応じて予め決められた区画数で、写真画像全体を区画表示するものとしてもよい。

次に、ステップＳ６０において表示された区画のうち、１の区画をユーザが指定した時、当該１の区画に該当する写真画像を所望の倍率に拡大表示する（ステップＳ７０）。本実施例では、ステップＳ６０において表示された区画は、Ｆ１ないしＦ７の７区画である。このうち、ユーザが、例えば、入力手段４０によるカーソル移動で区画Ｆ３を指定した時、区画Ｆ３に該当する写真画像は図６（ｃ）に示すようにＬＣＤ５４の画面全体に拡大表示される。さらに、拡大倍率は、あらかじめ設定された所定倍率、例えば、ピクセル等倍を１００％として、１００％、７５％、５０％、２５％の選択肢の中から、ユーザが入力手段４０を用いてカーソル移動により所望の倍率を選択すれば、変更することができる。この場合、指定された拡大倍率で区画Ｆ３に該当する写真画像がＬＣＤ５４に表示され、当該拡大写真画像がＬＣＤ５４よりも大きい場合には、ユーザは、カーソル移動によりＬＣＤ５４の表示箇所を移動させることができる。

かかる構成のデジタルスチルカメラ１００は、まず、写真画像のどの部分が合焦領域であるかを装置の判定結果により視覚的に容易に概略確認でき、さらに、当該合焦領域をＬＣＤ５４に所望の倍率に拡大表示させてユーザ自ら視覚的に確認することで、確実に写真画像の合焦状況を確認することができる。

（２）第２実施例：
次に、本発明の第２実施例について説明する。第２実施例では、第１実施例と同一のハードウェア構成を採用しており、以下に声明するエッジの検出処理のみが異なっている。具体的には、図６に示した第１実施例のステップＳ１０ないしＳ４０の処理に代えて、図７のフローチャートに示す処理（Ｓ１１０ないしＳ１４０）を実行する。合焦情報の視覚化処理が開始されると、第２実施例では、まず所定方向に並んだ画素の輝度値の差分を検出する処理を行なう（ステップＳ１１０）。第２実施例では、水平方向と垂直方向の両方向について、輝度値の差分を演算している。図８では、説明を簡略化して水平方向について例示している。図８（Ａ）は、各画素の輝度値Ｚを例示し、図８（Ｂ）は、この場合の輝度値の差分ΔＺを例示している。なお、第１実施例では、輝度の変化量は絶対値で求めたが、第２実施例では、輝度値の差分ΔＺは、符号付きの値として演算している。また、差分ΔＺは、画素間について逐次演算されるので、必要に応じて、今回着目している差分をΔＺ（ｎ）として表記し、着目画素の一つ前の画素についての差分をΔＺ（ｎ−１）として表記するものとする。

次に、着目している画素について演算した輝度値の差分ΔＺ（ｎ）の符号が一つの前の画素について演算した求めた輝度値の差分ΔＺ（ｎ−１）の符号と同一か否かの処理を行なう（ステップＳ１１２）。両者が一致していれば（ステップＳ１１２：「ＹＥＳ」）、エッジは継続していると判断し、輝度値の差分ΔＺ（ｎ）を累積した累積値ＳＺを求める処理を行なう（ステップＳ１１４）。具体的には、エッジが開始されたと判断したときに０にリセットされる累積しＳＺに、今回の差分ΔＺ（ｎ）を加算するのである（ＳＺ←ＳＺ＋ΔＺ（ｎ））。累積値ＳＺを求めた後、ステップＳ１１６で、着目画素の位置を所定の方向に１だけ進め（ｎ←ｎ＋１）、上記処理を継続する（ステップＳ１１０ないしＳ１１６）。

上記の処理を繰り返すうちに、着目している画素について演算した輝度値の差分ΔＺ（ｎ）の符号が一つの前の画素について演算した求めた輝度値の差分ΔＺ（ｎ−１）の符号と同一でないと判断されると（ステップＳ１１２：「ＮＯ」）、そこまで求めて来た累積値ＳＺの絶対値｜ＳＺ｜が、予め定めた閾値Ｔｈ１より大きいか否かの判断を行なう（ステップＳ１２０）。この判断の様子を図８（Ｂ）に示した。累積値ＳＺの絶対値が閾値Ｔｈ１より大きいと判断されれば（ステップＳ１２０：「ＹＥＳ」）、合焦について判定すべきエッジがある可能性があると考えられるので、次にエッジの幅Ｗｅを求める処理を行なう（ステップＳ１３０）。エッジの幅は、ステップＳ１１０で求めた輝度値の差分ΔＺが同一符号の間の画素数として設定される。

エッジの幅Ｗｅを求めた後、この幅Ｗｅが、予め定めた閾値Ｔｈ２以下か否かの判断を行ない（ステップＳ１３５）、エッジの幅Ｗｅが閾値Ｔｈ２以下であれば、これらの画素は合焦の状態にあるとして、そのエッジを登録する処理を行なう（ステップＳ１４０）。その後、累積値ＳＺを値０にリセットする処理（ステップＳ１４３）を行なう。他方、ステップＳ１２０またはＳ１３５での判断が「ＮＯ」であれば、合焦の状態にあると判断できるエッジではないとして、何の処理も行なわず、ステップＳ１４３で累積値ＳＺをリセットする処理に移行する。これらの処理により、図８に示したように、隣接画素の輝度値の差分ΔＺの符号が隣接画素間で同一でなくなったときに、エッジの有無を、この差分ΔＺの累積値ＳＺの大きさで判定し、判定の如何に関わらず、累積値ＳＺを次の判定に備えて、値０にリセットすることになる。

そこで、上記の一連の処理により一つのエッジについての判定が完了すると、総ての画素についての判断が終わったかを判定し（ステップＳ１４５）、終わっていなければ、ステップＳ１１０に戻って、上記の処理（ステップＳ１１０ないしＳ１４３）の処理を繰り返す。総ての画素について上記の判断が終わっていれば（ステップＳ１４５：「ＹＥＳ」）、第１実施例の図２に示したフローチャートのステップＳ５０以下の処理に移行する。以後の処理については、第１実施例と同様なので、説明は省略するが、ステップＳ１４０で抽出し登録しておいたエッジを順次読み出して、エッジが存在する領域が合焦の領域であるとして、これを死人可能に画像と共に表示するのである。

以上説明した第２実施例によれば、エッジの抽出を、隣接画素の輝度値の差分ΔＺの符号が隣接画素間で同一でなくなったときに、この差分ΔＺの累積値ＳＺの大きさを判定することにより行なっている。したがって、画素の並びがエッジを構成しているとき、途中に差分ΔＺが小さい画素間が存在したとき、その前後を別々のエッジと判定することがない。他方、全体の傾向としては、画素の輝度値が漸増または漸減していても、途中で差分ΔＺが値０になるか、その符号が変更されれば、そこでエッジが分かれていると判断するので、エッジの存在領域を見誤る可能性が低減される。この結果、ノイズなどが存在しても、合焦の情報として扱うべきエッジの存在を的確に判定することができる。

（３）第３実施例：
次に本発明の第３実施例について説明する。第３実施例も、第１，第２実施例と同様のハードウェア構成により実現される。第３実施例では、第１実施例における表示方法のみ異なっている。第１実施例では、図２のステップＳ５０に示したように、合焦と判断できるエッジを抽出したら、このエッジの位置を視認可能に、ＬＣＤ５４上に表示している。この表示の際、第１実施例では、図６（ａ）に示したように、エッジ位置表示ＦＰを、エッジが抽出された位置において、元画像に重ねている。これに対して、第３実施例では、図９にステップＳ１５０として示したように、画面全体から、合焦画像と判断できるエッジを抽出した後、このエッジの位置に対応する画像を処理して表示している。

この様子を、図６（ａ）に対応させて、図１０に示した。図示するように、第３実施例では、抽出したエッジの位置の画像を白塗りに処理して、ＬＣＤ５４上に表示している。図１０の例では花の位置に合焦しており、ここが白塗りの領域ＷＰとして表示される。この場合、元の画像は確認できない状態になるが、逆に合焦の位置を明確に理解することができるという利点が得られる。なお、合焦の程度を複数の段階に分け、完全に合焦していると判断された領域を白塗りの領域ＷＰとし、それよりは少しぼけた、しかし焦点の合っていると判断された領域をグレーに塗りつぶした領域ＧＰとして、表示してもよい。図１０では、手前の葉の表示領域が、２番目に合焦した領域として、グレーに塗りつぶした領域ＧＰとして表示されている。もとより、塗りつぶしの色は、どのような色に設定することも差し支えない。また、各領域ＷＰ，ＧＰ内に、文字で「合焦領域」や「第２合焦領域」などの表示を添えることも差し支えない。

この実施例では、合焦の位置を白塗りとしたが、その他の画像処理を施すことも可能である。その他の画像処理としては、
（Ａ）抽出されたエッジの位置の画素（以下、合焦部分という）、すなわち合焦していると判定された画素をカラー表示し、抽出されたエッジの位置以外の画素（以下、非合焦部分という）、すなわち合焦しているかどうか分からない画素を白黒表示（または非表示）とする方法、
（Ｂ）合焦部分と非合焦部分の写真画像を所定の色で補色表示する方法、
（Ｃ）合焦部分の写真画像のみを明度変更する方法、
（Ｄ）合焦部分の写真画像のみをネガポジ反転または輝度反転表示する方法、
（Ｅ）合焦部分の写真画像のみを点滅表示する方法、
（Ｆ）これらを組み合わせた方法、
（Ｇ）上述の合焦部分と非合焦部分の処理を逆転した方法、
（Ｈ）上記（Ａ）ないし（Ｆ）の画像処理を施した画像と元画像とを所定時間毎に交互に表示する方法、
など種々の方法が可能である。これらの表示方法は、入力手段４０により選択することができるものとしてもよい。なお、本変形例の場合、ステップＳ７０において、ユーザの区画指定により拡大表示する写真画像は、上記の画像処理後の写真画像ではなく、画像処理前の元の写真画像としたが、処理後の写真画像としても良く、入力手段４０による指示によりいずれかを選択して表示するものとしても良い。

この結果、合焦部分あるいは非合焦部分を強調して表示することができ、ユーザは、どのような色彩の写真画像であっても分かりやすく合焦判定位置を確認することができる。

（４）変形例１：
実施例では、ステップＳ４０で抽出された第２の閾値Ｔｈ２以下のエッジについて、ステップＳ５０において当該エッジの位置に所定の表示を行うことで視認可能な合焦情報として画面上に出力したが、変形例１では、エッジの位置にエッジ幅に応じた表示を行うことで視認可能な合焦情報として出力することができる。

例えば、ステップＳ５０でエッジ位置を所定の色で着色表示する場合において、ステップＳ４０で抽出された閾値Ｔｈ２以下のエッジ幅ｗを有する任意のエッジについて、１＜Ｔｈ２（１）＜Ｔｈ２（２）＜Ｔｈ２を満たす中間閾値Ｔｈ２（１），Ｔｈ２（２）を用いて、エッジ幅ｗが１≦ｗ＜Ｔｈ２（１）の範囲にある場合は当該エッジ位置を赤色で着色し、Ｔｈ２（１）≦ｗ＜Ｔｈ２（２）の範囲にある場合は黄色で着色し、Ｔｈ２（２）≦ｗ≦Ｔｈ２の範囲にある場合には青色で着色するといったように、エッジ幅に応じて色分け表示することができる。また、色分けの代わりに、同一系色で明度を変えて表示してもよい。さらに、エッジ幅の値の変化に合わせてグラデーション表示を行ってもよい。

なお、エッジ幅と合焦状況の関係については、エッジ幅が小さいほど、シャープなエッジであり、当該箇所の合焦の程度が高いと考えることができる。

この結果、写真画像の合焦状況について、合焦の位置のみならず合焦の程度まで画面表示されることから、ユーザは、より詳細に合焦状況を概略確認した上で、所望の領域をＬＣＤ５４に拡大表示させて確認することで、効率的に写真画像の合焦状況を確認することができる。

（５）変形例２：
実施例では、ステップＳ２０において、エッジ強さａ（ｘ，ｙ）に対して第１の閾値を設けてエッジを抽出し、ステップＳ３０において、エッジの方向θにより当該エッジを水平方向、あるいは垂直方向と見なして、それぞれの方向についてエッジ幅を演算したが、変形例３として、以下の方法によりステップＳ２０のエッジ抽出及びステップＳ３０のエッジ幅の演算を行うこともできる。

まず、ステップＳ２０において、水平方向（ｄｘ方向）のエッジ強さａｘ（ｘ，ｙ）が、水平方向の第１の閾値Ｔｈ１ｘ以上となる、すなわちａｘ（ｘ，ｙ）=｜ｄｘ｜≧Ｔｈ１ｘとなるエッジと、垂直方向（ｄｙ方向）のエッジ強さａｙ（ｘ，ｙ）が、垂直方向の第１の閾値Ｔｈ１ｙ以上となる、すなわち、ａｙ（ｘ，ｙ）=｜ｄｙ｜≧Ｔｈ１ｙとなるエッジを抽出する。そして、ステップＳ３０において、ステップＳ２０で抽出したエッジについて水平方向、垂直方向ごとにエッジ幅を演算する。

この場合、演算を簡略化することができ、短時間で水平方向及び鉛直方向のエッジ幅を演算することができる。なお、本変形例では、実施例に合わせて、水平方向と垂直方向についてエッジ幅を演算したが、勿論、これ以外の方向についてエッジ幅を検出してもよい。

（６）変形例３：
上述した第１実施例では、エッジ抽出の際の閾値Ｔｈ２を、印刷用紙サイズの設定に応じて変更した。こうした印刷用紙サイズの設定・変更は、印刷用紙サイズメニューの中から、「Ａ４」といったサイズを選択するものとして説明したが、図１１に示すように、アイコンを用いて設定するものとしても良い。図１１の例では、第２の閾値Ｔｈ２を設定するプリセットの画面を、入力手段４０の操作により呼び出したとき、選択可能な用紙サイズをアイコン２０１ないし２０４として画面上に表示している。アイコン２０１ないし２０４には、印刷用紙サイズを示す「Ａ３」「Ａ４」「２Ｌ」「Ｌ」といった表示が付与されている。なお、「Ｌ」とは、写真印刷におけるＬ版のサイズを意味している。

この例では、ＬＣＤ５４に表示されたアイコンは、入力手段４０に設けられたカーソルカーを操作することにより順次選択状態となり、「決定」ボタンを押すことで、設定が完了する。もとより、ＬＣＤ５４の表面にタッチパネルを設け、ＬＣＤ５４上に表示されたいずれかのアイコンを、指やスタイラスペンで直接タップして選択するものとしても良い。この場合、指などアイコンをタップすると、その印刷用紙サイズのアイコンの表示が反転され、いずれの印刷用紙サイズが選択されたかを明示すると共に選択を完了する。図１１では、アイコン２０４が選択されている様子を示した。

印刷用紙サイズに対応したアイコンを選択することにより、印刷用紙サイズが変更されると、抽出すべきエッジの幅が変更されるので、いずれかのアイコンを選択するたびに、その印刷用紙サイズに基づいて演算された閾値Ｔｈ２を用いて、エッジ抽出の判断をやり直し、ＬＣＤ５４上の印刷画像の表示を変更することも好適である。第１実施例では、合焦の情報を示すエッジの位置表示ＦＰに着色して、合焦の領域が分かるようにした。アイコンを選択する度に、アイコンの表示は残したまま、印刷画像の着色表示が修正されると、使用者は、印刷する用紙の大きさから見て、どの程度の範囲がくっきり印刷され、あるいはどの程度の範囲がぼやけて印刷されるかを判断することができる。ＬＣＤ５４上に表示されたアイコンを選択するだけなので、こうした合焦の情報の確認を簡単に行なうことができ、好適である。なお、この例では、アイコンの大きさは印刷用紙サイズに合わせた大小としたが、均等な大きさのアイコンとしても良い。こうしたアイコンの表示は、入力手段４０を操作することにより終了し、印刷用紙サイズのプリセットモードは終了する。

以上本発明の幾つかの実施例、変形例について説明したが、本発明はこうした実施例に限られるものではなく、本発明の要旨を脱しない範囲において、種々なる態様で実施できることは勿論である。例えば、本発明の合焦情報視覚化装置は、デジタルスチルカメラに限らず、液晶ディスプレイを搭載したプリンタ、カメラ付携帯電話、写真画像を拡大確認するためのフォトビューアなどに搭載することができる。もとより、コンピュータに搭載して、コンピュータのモニタで写真画像を取捨選択する場合にも採用可能である。また、合焦情報視覚化方法、合焦情報視覚化プログラム、またはプログラムを記録したコンピュータで読み取り可能な記録媒体等の形態でも実現することができる。

本発明の実施例としてのデジタルスチルカメラの概略構成を示す説明図である。 合焦情報をデジタルスチルカメラのＬＣＤに表示する方法の一例を示すフローチャートである。 Ｓｏｂｅｌフィルタを示す説明図である。 エッジ勾配ｄｘ，ｄｙとエッジ方向θとの関係を示す説明図である。 エッジ幅の説明図である。 合焦領域の区画表示及び拡大表示に関する説明図である。 第２実施例の処理の要部を示すフローチャートである。 画素間の輝度値の差分からエッジ抽出を行なう様子を示す説明図である。 第３実施例の処理の要部を示すフローチャートである。 合焦の領域を画像処理して表示する様子を示す説明図である。 変形例３におけるＬＣＤ上の表示の一例を示す説明図である。

符号の説明

１０…光学系
１４…画像データ作成部
２１，２２，２３…フレームメモリ
３０…制御部
３２…ＣＰＵ
４０…入力手段
６０…画像データ出力部
７０…記録媒体制御部
７２…記録媒体
７３…拡張記録媒体
１００…デジタルスチルカメラ
ｄｘ，ｄｙ…エッジ勾配
θ…角度
Ｔｈ１，Ｔｈ２…閾値
ｘ３〜ｘ５，ｘ１１，ｘ１２…画素
ＯＢ…被写体
ＦＰ…エッジ位置表示
ＦＲ…枠
Ｆ１〜Ｆ７…区画

Claims (14)

1. 写真画像の合焦情報を画面上に視覚化する合焦情報視覚化装置であって、
   前記写真画像の各画素の輝度情報に基づいて、該画像に存在するエッジのうち、合焦の条件に合致するエッジを抽出するエッジ抽出手段と、
   該抽出されたエッジを用いて、合焦の情報を、前記画面上に視認可能に出力する合焦情報出力手段と
   を備えた合焦情報視覚化装置。
2. 請求項１記載の合焦情報視覚化装置であって、
   前記エッジ抽出手段は、
   前記写真画像の各画素の輝度情報に基づいて該写真画像の各位置におけるエッジを検出するエッジ検出手段と、
   前記検出されたエッジから第１の閾値以上の強さを有するエッジを抽出する第１のエッジ抽出手段と、
   前記抽出されたエッジのエッジ幅を演算するエッジ幅演算手段と、
   前記演算されたエッジ幅が第２の閾値以下であるエッジを抽出する第２のエッジ抽出手段と
   を備えた合焦情報視覚化装置。
3. 請求項２記載の合焦情報視覚化装置であって、
   前記エッジ検出手段は、前記写真画像を構成する各画素について、所定方向に並んだ画素間の輝度の差分の累積値が漸増または漸減している範囲をエッジとして検出する手段であり、
   前記第１のエッジ抽出手段は、前記累積値が漸増または漸減した結果、該累積値の絶対値が所定の閾値を超えたとき、前記エッジの抽出を行なう手段であり、
   前記エッジ幅演算手段は、前記抽出されたエッジの幅を、前記漸増または漸減の全期間として演算する手段である
   合焦情報視覚化装置。
4. 前記エッジ検出手段は、前記写真画像を構成する各画素について、所定方向に並んだ画素間の輝度の差分に基づいて、該写真画像の各位置におけるエッジを検出する手段である請求項２記載の合焦情報視覚化装置。
5. 請求項１記載の合焦情報視覚化装置であって、
   前記合焦情報出力手段は、前記合焦の情報を抽出した前記画面上の位置の元画像を処理することにより表示の態様を変更して、前記合焦の情報の出力を行なう
   合焦情報視覚化装置。
6. 請求項５記載の合焦情報視覚化装置であって、
   前記合焦情報出力手段は、前記表示の態様の変更を、合焦の情報を抽出した位置の原画像を、
   明度が所定以上のグレー画像に変更すること、
   該グレー画像と元画像とを交互に表示する態様に変更すること、
   元画像をネガポジ反転した画像に変更すること、
   前記エッジが前記合焦の条件に合致する度合いに応じて異なる２以上の表示の態様に変更すること
   のうちのいずれか一つの態様により行なう合焦情報視覚化装置。
7. 前記合焦の情報は、前記合焦の条件に合致するエッジの位置に所定の表示を行うことで視認可能に表示される請求項５記載の合焦情報視覚化装置。
8. 前記合焦情報出力手段は、前記合焦の情報は、前記合焦の条件に合致するエッジの位置に該エッジの幅に応じて異なる態様で表示することで、前記エッジの前記視認可能な出力を行なう請求項５記載の合焦情報視覚化装置。
9. 前記合焦情報出力手段は、前記合焦の情報を前記写真画像と重ね合わせて出力する手段である請求項１ないし請求項８のいずれか記載の合焦情報視覚化装置。
10. 請求項１ないし請求項９のいずれか記載の合焦情報視覚化装置であって、
    前記合焦情報出力手段は、
    前記合焦の条件に合致するエッジを含む少なくとも１の領域を、枠画像を用いて区分された区画として前記画面上に表示する手段と、
    前記区画のうち１の区画がユーザ操作により指定された時、該指定された区画に属する前記写真画像を所望の倍率に拡大して前記画面上に出力する手段と
    を備えた合焦情報視覚化装置。
11. 請求項１ないし請求項１０のいずれか記載の合焦情報視覚化装置であって、
    前記写真画像を印刷する印刷媒体の大きさを指定する印刷媒体指定手段を備え、
    前記エッジ抽出手段は、前記指定された印刷媒体の大きさと、前記写真画像大きさとに基づいて、前記合焦の条件に合致するとして検出するエッジの条件を定め、該条件に基づいて、前記エッジの抽出を行なう
    合焦情報視覚化装置。
12. 写真画像の合焦情報を画面上に視覚化する合焦情報視覚化方法であって、
    前記写真画像の各画素の輝度情報に基づいて、該画像に存在するエッジのうち、合焦の条件に合致するエッジを抽出するエッジ抽出工程と、
    該抽出されたエッジを用いて、合焦の情報を、前記画面上に視認可能に出力する合焦情報出力工程と
    を備えた合焦情報視覚化方法。
13. 写真画像の合焦情報を画面上に視覚化する合焦情報視覚化プログラムであって、
    前記写真画像の各画素の輝度情報に基づいて、該画像に存在するエッジのうち、合焦の条件に合致するエッジを抽出するエッジ抽出機能と、
    該抽出されたエッジを用いて、合焦の情報を、前記画面上に視認可能に出力する合焦情報出力機能と
    をコンピュータに実現させるためのプログラム。
14. 請求項１３記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images