JP2016081466A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮像シーンによらずに、自然で違和感がなく、明るい星と暗い星との明暗差を強調した撮像画像を得る画像処理装置、方法及びプログラムを提供する。
【解決手段】撮像装置で星空を撮像した星空画像を複数の画像領域に分割しＳ４０３、画像領域ごとに星の数である輝点の数を検出しＳ４０５、その最大値ｍを検出しＳ４０６、それに基づいて星空画像に対して施す画像処理を判定するＳ４０７。最大値ｍが所定値ｈ以上である場合にはＳ４０７；ＹＥＳ、星空画像に対してぼかし処理を施しＳ４０８、最大値ｍが所定値ｈよりも小さい所定値ｉ以下である場合にはＳ４０９；ＹＥＳエッジ強調処理を施しＳ４１０、最大値ｍが所定値ｈよりも小さくＳ４０７；ＮＯ、かつ、所定値ｉよりも大きい場合には画像処理を施さないＳ４０９；ＮＯ。
【選択図】図４

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に、星空の撮像に適用される技術に関する。

近年、デジタルカメラのノイズ削減技術が向上しており、これにより、高感度撮影でも高画質の画像を得ることができるようになってきている。その結果、デジタルカメラには、従来は固定撮影でも困難であった天体撮影を手軽に行うことができる機能が搭載されるようになってきている。

星空を撮像する場合には、周囲に明かりの少ない郊外や山間部等では、空が暗いために、明るい星から微光星等の暗い星までを撮像することができる。しかし、都市部や住宅街では光害等の影響によって空が明るいため、多くの星が写り込むように撮像することは難しい。そこで、光害の影響がある夜空でも多くの星を撮像したいという要求に応じて、周辺よりも高輝度な点のエッジを強調する画像処理を施すことにより、暗い星を際立たせる方法が提案されている。このような星強調処理として、画像領域から点光源領域を特定するために二値化するための閾値の重み量を自動的に決定し、これにより画面内に含まれる輝点を高精度に検出する方法が提案されている（特許文献１参照）。

特開２０１３−２５６５０号公報

上記の星強調処理では、光害の影響等のある明るい場所での夜空の撮像では、周辺よりも高輝度な画素をエッジ強調することで暗い星を際立たせることができる。しかしながら、暗い場所での夜空の撮像では、全ての星が強調されてしまうために不自然な撮像画像となってしまい、また、撮像画像中の多くの星の中から明るい星を強調して見せることができない。

本発明は、撮像シーンによらずに、自然で違和感がなく、明るい星と暗い星との明暗差を強調した撮像画像を得ることを可能とする技術を提供することを目的とする。

本発明に係る画像処理装置は、撮像手段により撮像された画像から輝点の数を検出する輝点検出手段と、前記撮像手段により撮像された画像に対してぼかし処理を施すぼかし処理手段と、前記撮像手段により撮像された画像に対してエッジ強調処理を施すエッジ強調処理手段と、前記ぼかし処理手段及び前記エッジ強調処理手段の施す画像処理を制御する制御手段と、を備え、前記制御手段は、前記輝点検出手段によって検出された輝点の数に応じて、前記撮像手段により撮像された画像に対して前記ぼかし処理を施すか、前記エッジ強調処理を施すか、前記ぼかし処理及び前記エッジ強調処理のいずれも施さないかの少なくともいずれかに制御することを特徴とする。

本発明によれば、撮像シーンによらず、自然で違和感がなく、明るい星と暗い星との明暗差を強調した撮像画像を得ることができる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。 図１に示す撮像装置の第１の撮像制御方法のフローチャートである。 図２のステップＳ２０３の二値化処理を説明する図である。 図１の撮像装置において、画像処理部が撮像された星空画像に基づいて適切な強調処理を行う処理のフローチャートである。 図１に示す撮像装置の画像分割処理回路による処理を模式的に示す図である。 図１に示す撮像装置の第２の撮像制御方法のフローチャートである。 図６のステップＳ６０４〜Ｓ６０８，Ｓ６０９〜Ｓ６１２の処理を模式的に説明する図である。 図１に示す撮像装置の第３の撮像制御方法のフローチャートである。 被写体である夜空の明るさと星の明るさの関係を示す図である。 夜空が暗く、星の数が多い星空画像の例である。 夜空が明るく、星の数が少ない星空画像の例である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここでは、本発明に係る画像処理装置の一例として、撮像装置を取り上げることとする。

図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、レンズユニット１１０、コネクタ１９７、撮像素子１１４、ゲインアンプ１１５、Ａ／Ｄ変換器１１６、タイミング発生回路１１８、画像処理部１２０及びメモリ制御部１２２を備える。また、撮像装置１００は、画像表示メモリ１２４、Ｄ／Ａ変換器１２６、画像表示部１２８、メモリ１３０、圧縮伸長部１３２、露出制御回路１４０及び焦点制御回路１４２及びズーム制御回路１４４を備える。

レンズユニット１１０は、ズームレンズ１１１、フォーカスレンズ１１２、絞り／シャッタユニット１１３及びコネクタ１９６を有する。レンズユニット１１０と撮像装置１００の本体とは着脱可能に構成されている。レンズユニット１１０が撮像装置１００の本体に装着された状態で、コネクタ１９６は撮像装置１００の本体に設けられたコネクタ１９７と電気的に接続される。システム制御部１５０からの制御信号は、コネクタ１９６，１９７を通して、ズームレンズ１１１、フォーカスレンズ１１２及び絞り／シャッタユニット１１３のそれぞれの駆動ユニット（不図示）に伝達される。こうして、撮影者（ユーザ）が所望するズーミングやフォーカシング、被写界深度の調整等が行われる。なお、レンズユニット１１０は、撮像装置１００の本体に対して着脱不能な構造となっていてもよい。

撮像素子１１４は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサであり、レンズユニット１１０を透過してきた被写体からの光は撮像素子１１４に結像し、撮像素子は、結像した光学像をアナログ電気信号に変換する。

撮像素子１１４から出力されたアナログ電気信号は、ゲインアンプ１１５へ送られる。ゲインアンプは、入力信号であるアナログ電気信号に所定のゲインを掛けて信号レベルの増幅処理を行い、増幅後のアナログ信号をＡ／Ｄ変換器１１６へ送る。Ａ／Ｄ変換器１１６は、入力されたアナログ電気信号をデジタル信号である画像データに変換し、生成された画像データは、メモリ制御部１２２と画像処理部１２０へ送られる。タイミング発生回路１１８は、メモリ制御部１２２及びシステム制御部１５０によって制御され、撮像素子１１４、Ａ／Ｄ変換器１１６及びＤ／Ａ変換器１２６に対してクロック信号や制御信号を供給する。

画像処理部１２０は、Ａ／Ｄ変換器１１６から送られてきた画像データ或いはメモリ制御部１２２からから送られてきた画像データに対して、所定の画素補間処理や色変換処理を行う。また、画像処理部１２０は、撮像された画像データを用いて所定の演算処理を行い、演算結果をシステム制御部１５０へ供給する。システム制御部１５０は、画像処理部１２０から取得した演算結果に基づいて、露出制御回路１４０と焦点制御回路１４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理とＡＥ（自動露出）処理を行うための制御信号を送る。更に、画像処理部１２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。なお、画像処理部１２０は、星空撮像時の画像処理を行う特徴的構成を備えており、その詳細については後述する。

メモリ制御部１２２は、Ａ／Ｄ変換器１１６、タイミング発生回路１１８、画像処理部１２０、画像表示メモリ１２４、Ｄ／Ａ変換器１２６、メモリ１３０及び圧縮伸長部１３２を制御する。Ａ／Ｄ変換器１１６から出力される画像データは、画像処理部１２０及びメモリ制御部１２２を介して、或いは、メモリ制御回路２２を介して、画像表示メモリ１２４又はメモリ１３０に書き込まれる。

画像表示メモリ１２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１２６を介して液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ等の画像表示部１２８に表示される。撮像した画像データを画像表示部１２８に逐次表示することにより、所謂、電子ファインダ機能を実現することができる。

メモリ１３０は、撮像した静止画像や動画像の画像データを格納する記憶手段であり、高速かつ大量の画像書き込みを行うことができるように、所定枚数の静止画像や所定時間の動画像の画像データを格納するのに十分な記憶量を備えている。また、メモリ１３０は、システム制御部１５０の作業領域として使用することも可能となっている。メモリ１３０は、被写体像を変倍する変倍手段としてのズーム制御回路１４４の動作に対する焦点制御回路１４２の相対情報を記憶する記憶手段としても機能する。更に、メモリ１３０は、画像処理部１２０が実行する後述の各種の処理（二値化処理や輝点検出処理、画像の複数分割処理、エッジ強調処理、ぼかし処理、比較明合成処理）の作業領域及び記憶領域として機能する。圧縮伸長部１３２は、メモリ１３０に格納された画像データを読み込んで、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ１３０に書き込む。

システム制御部１５０は、撮像装置１００全体の統括的制御を行う。露出制御回路１４０は、システム制御部１５０の制御下で、絞り機能とシャッタ機能を備える絞りシャッタユニット１１３や撮像感度を設定するゲインアンプ１１５を制御する。焦点制御回路１４２は、システム制御部１５０の制御下で、フォーカスレンズ１１２のフォーカシングを制御する。ズーム制御回路１４４は、システム制御部１５０の制御下で、ズームレンズ１１１のズーミングを制御する。

撮像装置１００は、シャッタスイッチ１６１、操作部１６２、表示部１６３、システムメモリ１６５、不揮発性メモリ１６６、電源制御部１８０、コネクタ１８２，１８４及び電源１８６を備える。また、撮像装置１００は、インタフェース（Ｉ／Ｆ）１９０，１９３、コネクタ１９２，１９４、無線通信部１９８及び記憶媒体２００を備え、記憶媒体２００は、記憶部２０２、インタフェース（Ｉ／Ｆ）２０４及びコネクタ２０６を有する。

システムメモリ１６５は、システム制御部１５０の動作用の定数や変数、プログラム等を記憶する。表示部１６３は、システム制御部１５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置とスピーカとを有する。なお、表示部１６３は、撮像装置１００の操作部１６２近辺の、撮影者が視認容易な１カ所又は複数カ所に配置される。表示部１６３の液晶表示装置の表示内容には、例えば、シングルショット／連写撮像、セルフタイマ、圧縮率、記憶画素数、記憶枚数、残撮像可能枚数、シャッタスピード、絞り値、露出補正、赤目緩和、マクロ撮像、ブザー設定、電池残量等がある。不揮発性メモリ１６６は、電気的に消去・記憶が可能な、例えばフラッシュＲＯＭ等であり、撮像装置１００の各種の設定情報等を記憶する。

操作部１６２は、システム制御部１５０に対して各種の動作指示を入力するためのボタンやスイッチで構成される。シャッタスイッチ１６１は、シャッタボタン（不図示）の押下操作の途中でオンになり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の撮像準備動作開始をシステム制御部１５０に指示する。シャッタスイッチＳＷ２は、シャッタボタンが最後まで押し込まれるとオンになり、撮像素子１１４による撮像動作から撮像画像の画像データの記憶までの一連の動作をシステム制御部１５０に指示する。

なお、操作部１６２は、この他に、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ設定ボタン、単写／連写／セルフタイマ切り換えボタン、画像表示部１２８に設けられたタッチパネルを有する。また、操作部１６２は、撮像モード（オートモード、プログラムモード、天体（星空）撮像モード、夜景モード、子供撮像モード、花火撮像モード等）を設定するダイヤルや、メニューに表示されている項目や画像の移動ボタン（上下左右移動のための十字ボタン）等を有する。

電源制御部１８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り換えるスイッチ回路等によって構成されている。電源制御部１８０は、電池の装着等の電源との接続の有無、電池の種類、電池残量、電源電圧の検出を行い、その検出結果とシステム制御部１５０からの指令に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記憶媒体２００を含む各部へ供給する。電源１８６は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等が挙げられる。電源制御部１８０と電源１８６とは、コネクタ１８２，１８４を介して接続される。

インタフェース１９０及びコネクタ１９２は、記憶媒体２００とシステム制御部１５０との間の通信を可能にするもので、接続される記憶媒体２００の規格に準拠したものを用いる。インタフェース１９３及びコネクタ１９４は、他の機器と接続して通信を行うために装備されている。コネクタ１９４には、直接に又は通信ケーブルを介して他の機器が接続され、接続された他の機器とシステム制御部１５０との間で通信が行われる。無線通信部１９８は、撮像装置１００の内部においてインタフェース１９３に接続されており、他の機器との無線による通信を可能にする。記憶媒体２００は、半導体メモリや磁気ディスク等である記憶部２０２と、撮像装置１００との通信を可能にするためのインタフェース２０４、撮像装置１００との接続を行うコネクタ２０６を有する。

次に、画像処理部１２０の特徴的構成について詳細に説明する。画像処理部１２０は、二値化処理回路３００、輝点検出回路３０１及び画像分割処理回路３０２を含む強調処理判定回路３０６と、エッジ強調処理回路３０３と、ぼかし処理回路３０４と、比較明合成回路３０５とを有する。

二値化処理回路３００は、撮像した画像全体又は画像の一部の領域を、指定された閾値レベルで二値化処理する。輝点検出回路３０１は、撮像した画像全体又は画像の一部の領域から点光源等の輝点の数を検出する。画像分割処理回路３０２は、撮像した画像全体又は画像の一部の領域を、所定の大きさ又は異なる大きさの複数の画像領域に分割し、分割された画像領域（以下、「分割領域」という）ごとに画像を切り出す。エッジ強調処理回路３０３は、撮像した画像全体又は画像分割処理回路３０２によって切り出された画像の一部の領域に対して、エッジ強調処理を行う。ぼかし処理回路３０４は、撮像した画像全体又は画像分割処理回路３０２によって切り出された画像の一部の領域に対して、ソフトフォーカス効果を得るためのぼかし処理を行う。比較明合成回路３０５は、撮像した複数の画像間において対応する位置にある画素レベルを比較し、最もレベルが大きい画素だけを選択して１枚の画像に合成する。

以下、撮像装置１００により星空を撮像した撮像画像（以下「星空画像」という）の画像処理について説明するが、先ず、夜空の明るさと星の明るさとの関係について説明することとする。

図９は、夜空の明るさと星の明るさの関係を示す図である。星の明るさは一般的に等級で表され、例えば、５等級の等級差があると、明るさの違いは１００倍となる。つまり、１等級で、１００の５乗根変化することになる。一方、撮像露出を段数であらわした場合、例えば、５段の段数差があると明るさの違いは３２倍となるため、１段で２の１乗変化する。

図９は、夜空の明るさと星の明るさの関係を両対数スケールで表しており、夜空の明るさと星の明るさの関係は、正の比例関係にある直線で表現することができる。このことは、適正な露出で撮像した場合において、夜空の明るさが暗くなるにしたがって撮像可能な星の等級数が上昇することを説明している。つまり、夜空が明るいと、暗い星は空の明るさに埋もれてしまって目立たなくなることを示している。具体的には、明るい夜空を撮像すると写る星の数が少なく、一方、暗い夜空を撮像すると、露出を増やすことによって暗い星を含めた多くの星を写すことができる。そこで、撮像した星空に写る星の数に応じた星の強調処理を行うことにより、明るい星と暗い星との明暗差を強調した、自然で、インパクトのある画像を簡単に撮像することができるようにする。その具体例について、図１０及び図１１を参照して説明する。

図１０は、夜空が暗く、星の数が多い星空画像の例である。ここでは、明暗を反転させて示す。つまり、紙面の地の色の部分が暗い部分であり、黒点部分が明るい部分である。

図１０（ａ）の「処理無し」は、本実施形態に対する参考例であり、特別な画像処理を行っていない通常撮像による星空画像、つまり、暗い星を含めた多くの星が写るように、夜空を強調処理せずに撮像した星空画像を示している。図１０（ａ）の星空画像では、明るい星が周囲の微光星等の暗い星に埋もれてしまい、目立たなくなってしまっている。

図１０（ｃ）の「エッジ強調処理」は、本実施形態に対する参考例であり、図１０（ａ）の星空画像に対してエッジ強調処理回路３０３によってエッジ強調処理を行った星空画像を示している。エッジ強調処理によって、微光星のような暗い星までが強調され、殆どの星が明るく写ってしまっているため、不自然で、本来の明るい星と暗い星との区別がつき難くなっている。

図１０（ｂ）の「ぼかし処理」は、本実施形態に係る画像処理例であり、図１０（ａ）の星空画像に対して、ぼかし処理回路３０４によってぼかし処理を行った星空画像を示している。ぼかし処理によって、明るい星が大きく広がって目立ちやすくなると共に、暗い星がぼけて目立ち難くなっていることがわかる。こうして、ぼかし処理によって、明るい星と暗い星との明暗差を強調した、自然で、インパクトのある星空画像が得られている。

図１１は、夜空が明るく、星の数が少ない星空画像の例である。ここでも、図１０と同様に、明暗を反転させて示す。

図１１（ａ）の「処理無し」は、本実施形態に対する参考例であり、特別な画像処理を行っていない通常撮像による星空画像、つまり、明るい星がわずかに写るような明るい夜空を強調処理無しで撮像した星空画像を示している。図１１（ａ）の星空画像では、暗い星は殆ど写っておらず、小数の明るい星がほぼ同じ明るさで散在する味気ない星空画像になってしまっている。

図１１（ｃ）の「ぼかし処理」は、本実施形態に対する参考例であり、図１１（ａ）の星空画像に対して、ぼかし処理回路３０４によってぼかし処理を行った星空画像を示している。ぼかし処理を行うことによって、図１１（ａ）では、小さく写っていた暗い星がぼけて目立ち難くなり、結果的に、全体として写っている星の数が減った味気ない星空画像になってしまっている。

図１１（ｂ）の「エッジ強調処理」は、本実施形態に係る画像処理例であり、図１１（ａ）の星空画像に対してエッジ強調処理回路３０３によってエッジ強調処理を行った星空画像を示している。エッジ強調処理によって、夜空に埋もれて暗く写っていた星（図１１（ａ）の星空画像では視認が難しい星）が強調されて、明瞭に写し出され、都市部等の光害が多い場所での撮像であっても、多くの星が違和感なく写し出されている。

本実施形態では、図１０及び図１１を参照して説明したように、夜空の明暗と星の数に応じて、星空画像に対して施す強調処理を自動判断することにより、図１０（ｂ）や図１１（ｂ）のような、明るい星と暗い星の数や明暗差を自然に強調表現した違和感のない星空画像を得る。

撮像装置１００の第１の撮像制御方法について、以下に説明する。撮像装置１００の第１の撮像制御方法は、操作部１６２において天体（星空）撮像モードが設定された場合に実行され、第１の強調処理判定回路３０６は、撮像された星空画像から検出された輝点の数に応じて、星空画像に対して星強調処理を実施するか否かを判定する。

図２は、撮像装置１００の第１の撮像制御方法のフローチャートであり、強調処理判定回路３０６が星強調処理の要否を判定する処理の概要を示している。図２のステップＳ２０１，Ｓ２０２の処理は、システム制御部１５０が、システムメモリ１６５に格納されたプログラムをメモリ１３０に展開することにより、実現される。ステップＳ２０３〜Ｓ２０６の各処理は、システム制御部１５０による制御下で、強調処理判定回路３０６が、強調処理判定回路３０６の固有のメモリ（不図示）に格納されたプログラムを、メモリ１３０を作業領域として展開することにより、実現される。なお、ステップＳ２０３〜Ｓ２０６の各処理が、本発明の実施形態に係る画像処理方法である。

ステップＳ２０１において、システム制御部１５０は、操作部１６２を通じた撮像開始指示を受け付け、測光を開始する。その後、ステップＳ２０２において、システム制御部１５０は、ステップＳ２０１の測光結果から、適正露出を決定して、撮像を行う。続いて、ステップＳ２０３において、強調処理判定回路３０６は、星の輝点を検出するために、二値化処理回路３００により、所定の輝度レベルとして予め設定された閾値Ａで、ステップＳ２０２で撮像された星空画像に対する二値化処理を行う。

図３は、ステップＳ２０３の二値化処理を説明する図であり、夜空が適正な露出になるように撮像した画像において、夜空が明るい場合と夜空が暗い場合の輝点検出の仕組みを説明する図である。図３（ａ）は暗い夜空での二値化処理を示しており、適正露出で撮像すると、星の露光量が多くなり、暗い星であっても輝度レベルが十分に高い輝点として撮像することができることを示している。一方、図３（ｂ）は、明るい夜空での二値化処理を示しており、適正露出で撮像すると星の露光量が不足してしまい、明るい星であっても輝度レベルが低い輝点として撮像されることを示している。

これらのことから、閾値Ａ以上の輝度となる輝点の数をカウントしたときに、暗い夜空の星空画像から検出される輝点の数は、明るい夜空の星空画像から検出される輝点の数よりも多くなる。よって、撮像された画像に対して、ステップＳ２０３において二値化処理回路３００を用いて所定の輝度の閾値Ａで画像を二値化し、続くステップＳ２０４において、輝点検出回路３０１によって画面中の輝点を検出することによって、輝点の数によってどのような星の強調処理を行えばよいかを判定することができる。

図２の説明に戻る。ステップＳ２０４において、強調処理判定回路３０６は、輝点検出回路３０１により、ステップＳ２０３の二値化処理後の画像データから、輝点の数をカウントする。そして、ステップＳ２０５において、強調処理判定回路３０６は、ステップＳ２０４で検出された輝点の数が、星の強調処理に適した所定値ｉ以下であるか否かを判定する。強調処理判定回路３０６は、輝点の数が所定値ｉ以下である場合（Ｓ２０５でＹＥＳ）、処理をステップＳ２０６へ進める。一方、強調処理判定回路３０６は、輝点の数が所定値ｉより大きい場合（Ｓ２０５でＮＯ）、星強調処理を行わずに本処理を終了させる。ステップＳ２０６において、強調処理判定回路３０６は、ステップＳ２０２で得られた星空画像に対して、星強調処理の実施を決定して、その後、本処理を終了させる。

図２のフローチャートで説明した処理を、図３を参照した説明を踏まえて、より詳細に説明する。図４は、画像処理部１２０が撮像された星空画像に基づいて適切な強調処理を行う処理のフローチャートである。ステップＳ４０１，Ｓ４０２の処理は、図２のステップＳ２０１，Ｓ２０２の処理と同じであるので、ここでの説明を省略する。ステップＳ４０３において、強調処理判定回路３０６は、画像分割処理回路３０２により、ステップＳ４０２で撮像された星空画像を複数の領域に分割する画面分割を行う。

図５は、画像分割処理回路３０２が、星空画像を複数の領域に分割し、各分割領域に含まれる輝点の数が最大となる分割領域を検出する処理を模式的に示す図である。星空画像を複数の領域に分割して、分割領域ごとに輝点の数を検出することにより、星空画像の中の星空領域を把握すると共に、検出された輝点の数からその分割領域での星の密度を推し量ることができる。

ステップＳ４０３の後のステップＳ４０４において、強調処理判定回路３０６は、各分割領域から星の輝点を検出するために、二値化処理回路３００により、所定の輝度レベルとして予め設定された閾値Ａで星空画像に対する二値化処理を行う。続くステップＳ４０５において、強調処理判定回路３０６は、輝点検出回路３０１により、ステップＳ４０３で二値化した分割領域ごとに輝点の数を検出する。

ステップＳ４０６において、強調処理判定回路３０６は、ステップＳ４０５で検出した複数の分割領域にそれぞれ含まれる輝点の数から、輝点の数が最大となる分割領域に対応する最大値ｍを検出する。続くステップＳ４０７において、強調処理判定回路３０６は、輝点の数の最大値ｍが、ぼかし処理に適した所定値ｈ（第１の所定値）以上か否かを判定する。強調処理判定回路３０６は、ｍ≧ｈの場合（Ｓ４０７でＹＥＳ）、処理をステップＳ４０８へ進め、ｍ＜ｈの場合（Ｓ４０７でＮＯ）、処理をステップＳ４０９へ進める。

ステップＳ４０８において、強調処理判定回路３０６は、ぼかし処理回路３０４により、ステップＳ４０２で得られた星空画像に対してぼかし処理を行い、その後、本処理を終了させる。ステップＳ４０９において、強調処理判定回路３０６は、輝点の数の最大値ｍが、エッジ強調処理に適した所定値ｉ以下であるか否かを判定する。強調処理判定回路３０６は、ｍ≦ｉの場合（Ｓ４０９でＹＥＳ）、処理をステップＳ４１０へ進め、ｍ＞ｉの場合（Ｓ４０９でＮＯ）、星強調処理を行わずに、本処理を終了させる。なお、ｉ＜ｈの関係がある。ステップＳ４１０において、強調処理判定回路３０６は、エッジ強調処理回路３０３により、ステップＳ４０２で得られた星空画像に対してエッジ強調処理を行い、その後、本処理を終了させる。

ここで、本実施形態では、判定にかける輝点の数として、明るい夜空の星等の見つけ難い分割領域での輝点の数の影響を抑制するために、輝く点の数の最大値ｍを用いた。但し、これに限らず複数の分割領域の平均値を用いてもよいし、中間値等のその他の代表値を用いてもよい。また、輝点の数を求める候補として、ユーザ指定、或いは、画面上半分や閾値以下の平均輝度の分割領域等、自動で検出された分割領域で絞り込み、平均値を取る等してもよい。また、本実施形態では、輝点の密度に応じてぼかし処理を施すか、エッジ強調処理を施すか、ぼかし処理及びエッジ強調処理のいずれも施さないかを選択的に制御しているが、これに限らず、輝点の密度に応じて星強調（輝点強調）のためのぼかし処理を行わずエッジ強調処理の有無だけを制御したり、逆にエッジ強調処理を行わずぼかし処理の有無だけを制御したりしてもよい。

次に、撮像装置１００の第２の撮像制御方法について、以下に説明する。撮像装置１００の第２の撮像制御方法は、操作部１６２において天体（星空）撮像モードが設定された場合に実行される。撮像装置１００の第２の撮像制御方法では、異なる星の強調処理が撮像状況に応じて適切に実施されるように、撮像画像を強調処理に適した閾値で二値化処理し、各閾値によって二値化された画像から検出される輝点の数に基づいて強調処理を実行する。

図６は、撮像装置１００の第２の撮像制御方法のフローチャートである。ステップＳ６０１〜Ｓ６０３の処理は、図４のステップＳ４０１〜Ｓ４０３の処理と同じであるので、ここでの説明を省略する。ステップＳ６０４において、強調処理判定回路３０６は、二値化処理回路３００により、ステップＳ６０３で生成した各分割領域に対して、ぼかし処理に適した二値化のための輝度レベルである閾値Ｂによる二値化処理を行う。ステップＳ６０５において、強調処理判定回路３０６は、輝点検出回路３０１により、分割領域ごとに輝点の数を検出する。ステップＳ６０６において、強調処理判定回路３０６は、ステップＳ６０５で検出した各分割領域の輝点の数から最大値Ｍを検出する。

ステップＳ６０７において、強調処理判定回路３０６は、ステップｓ６０６で検出した最大値Ｍが、ぼかし処理に適した所定値ｊ以上であるか否かを判定する。強調処理判定回路３０６は、Ｍ≧ｊの場合（Ｓ６０７でＹＥＳ）、処理をステップＳ６０８へ進め、Ｍ＜ｊの場合（Ｓ６０７でＮＯ）、処理をステップＳ６０９へ進める。ステップＳ６０８において、強調処理判定回路３０６は、ぼかし処理回路３０４により、ステップＳ６０２で得られた星空画像に対して、ぼかし処理を施し、その後、本処理を終了させる。

図７（ａ），（ｂ）は、ステップＳ６０４〜Ｓ６０８の処理を模式的に説明する図である。ぼかし処理を行うことが適切な場合とは、図１０を参照して説明したような、暗い夜空で、暗い星から明るい星までの多くの星が写る場合であるため、閾値Ｂは、ステップＳ６０５で検出される輝点の数に暗い星が含まれなくなるような値に設定される。こうして検出された輝点の数がぼかし処理に適した所定値ｊ以上であれば、図７（ｂ）の斜線部で示すように、星空領域の全ての輝点に対して、輝度を小さく抑えると同時に画素領域を広げるぼかし処理を、明るい輝点であるほどその輪郭が周辺に広がるように行う。これにより、明るい輝点であればあるほど、大きく広がって見えるようになり、星空画像中に輝点である星の数が多い場合であっても明るい星を目立たせることが可能となる。

図６の説明に戻る。ステップＳ６０９において、強調処理判定回路３０６は、ステップＳ６０３で生成した各分割領域に対して、エッジ強調処理に適した二値化のための輝度レベルである閾値Ｃによる二値化処理を行う。ステップＳ６１０において、強調処理判定回路３０６は、輝点検出回路３０１により、分割領域ごとに輝点の数を検出する。ステップＳ６１１において、強調処理判定回路３０６は、ステップＳ６１０で検出した各分割領域の輝点の数から最大値Ｎを検出する。

ステップＳ６１２において、強調処理判定回路３０６は、ステップＳ６１１で検出した最大値Ｎが、エッジ強調処理に適した所定値ｋ以下であるか否かを判定する。強調処理判定回路３０６は、Ｎ≦ｋの場合（Ｓ６１２でＹＥＳ）、処理をステップＳ６１３へ進め、Ｎ＞ｋの場合（Ｓ６１２でＮＯ）、本処理を終了させる。つまり、閾値Ｂで検出した輝点の数がぼかし処理に適した所定値ｊより小さく、且つ、閾値Ｃで検出した輝点の数がエッジ強調処理に適した所定値ｋより大きい場合には、ステップＳ６０２で得られた星空画像に対して強調処理を行わない。ステップＳ６１３において、強調処理判定回路３０６は、エッジ強調処理回路３０３により、ステップＳ６０２で得られた星空画像に対して、エッジ強調処理を施し、その後、本処理を終了させる。

図７（ｃ），（ｄ）は、ステップＳ６０９〜Ｓ６１３の処理を模式的に説明する図である。エッジ強調処理を行うことが適切な場合とは、図１１を参照して説明したような、明るい夜空で、明るい星は写るが暗い星は殆ど写らない場合である。この場合、ステップＳ６０４で検出される輝点の数は少なくなるため、ステップＳ６０７の判定が「ＮＯ」となって、ステップＳ６０９に進むことになる。図７（ｃ）に示すように、閾値Ｃは、ステップＳ６１０で検出される輝点の数に暗い星も含まれることとなるような値に設定される。つまり、ステップＳ６０４で用いる閾値ＢとステップＳ６０９で用いる閾値Ｃとは、“閾値Ｂ＞閾値Ｃ”という関係で設定される。検出された輝点の数がエッジ強調処理に適した所定値以上であれば、星空領域の全ての輝点に対して、図７（ｄ）の斜線部で示すように、輝度を大きくすると同時に画素領域を狭める処理を行う。これにより、暗いために埋もれていた輝点を強調することができる。

以上、図４乃至図７を参照して説明した通り、撮像装置１００は、星空を撮像する際に、撮像された星空画像に対して施す強調処理の種別を自動で判定する。これにより、夜空の明るさや撮像画像の構図を問わずに、明るい星と暗い星との明暗差を強調した、自然で、インパクトのある星空画像を簡単に撮像することができる。

撮像装置１００の第２の撮像制御方法で説明した星強調処理の判定方法は、星空画像における空（夜空）の明るさが均一な領域で極めて有効な技術である。これに対して、星空画像に月や街灯、街並み等の風景が含まれている場合には、夜空の明るさが均一でないことが想定される。しかし、夜空の明るさが均一でない場合でも、分割領域ごとに平均輝度を計算し、分割領域ごとに強調処理に適した輝度の閾値で二値化することで、星強調処理の判定方法の高精度化を図ることができる。

また、夜空の明るさと所定の明るさ以上の輝度値を有する星の数とに応じた判定処理の条件を、更に詳細に分けることにより、強調処理の強調度合いを自動的に判定する構成としてもよい。更に、輝点の数を検出する方法として、星空画像を所定の閾値を用いて二値化する処理を用いたが、これに限られず、星空画像中から輝点を検出する周知の手法を用いて輝点を検出してもよい。

更に、撮像装置１００の第２の撮像制御方法では、星強調処理ごとに所定の閾値を用いて二値化処理を行うとしたが、複数の閾値を用いて星空画像を多値化した後に、星強調処理の方法を判定する構成としてもよい。また、撮像装置１００の第２の撮像制御方法では、適正露出となるようにＡＥ露出を行ってから撮像を行うようにしたが、露出補正等で撮像装置１００が判断する適正露出と異なる露出で撮像するシーンが想定される。この場合には、画像を二値化する閾値を、補正後の露出に合わせて変えるように構成すればよい。

なお、撮像装置１００の第２の撮像制御方法では、撮像された星空画像に対して星強調処理を自動的に判定して処理を実施するように説明した。しかし、これに限定されず、判定された星強調処理を実際に実施するか否かを、撮像された星空画像を記憶媒体２００に記憶する際に、撮像者が判断することができるようにしてもよい。また、判定された星強調処理を実施した画像ファイルと星強調処理を実施しない画像ファイルの双方を記憶媒体２００に記憶するようにしてもよい。

次に、撮像装置１００の第３の撮像制御方法について、以下に説明する。撮像装置１００の第３の撮像制御方法は、操作部１６２において天体（星空）撮像モードが設定された場合に実行される。撮像装置１００の第３の撮像制御方法では、複数枚の星空画像を撮像して合成し、１枚の静止画にすることによって、星の軌跡を撮像する。

図８は、撮像装置１００での第３の撮像制御方法のフローチャートである。ステップＳ８０１の処理は、図２のステップＳ２０１の処理と同じであるので、ここでの説明を省略する。ステップＳ８０２において、システム制御部１５０は、ステップＳ８０１での測光結果に基づいて、星空を撮像する適正露出を決定し、１枚目の画像の撮像を行う。続いて、ステップＳ８０３において、強調処理判定回路３０６は、上述した撮像装置１００の第２の撮像制御方法に準じて、ステップＳ８０２で取得した星空画像に対して実行する星強調処理方法を判定する。ステップＳ８０４において、画像処理部１２０は、ステップＳ８０３で決定された星強調処理方法に従って星強調処理を行う。

一方、ステップＳ８０２の後に、ステップＳ８０２ａにおいて、システム制御部１５０は、２枚目の撮像を行う。なお、後述するステップＳ８０２ｂ〜Ｓ８０２ｎを含む２枚目以降の全ての撮像での露出条件は、１枚目の画像の撮像に対して設定された露出条件と同じとする。ステップＳ８０２ａで撮像された２枚目の星空画像に対しては、１枚目の星空画像に対して行われたステップＳ８０４の星強調処理が行われる。更に、ステップＳ８０５ａにおいて、比較明合成回路３０５は、１枚目と２枚目の画像の星強調処理後の画像を比較明合成する。

ステップＳ８０２ａ，Ｓ８０４，Ｓ８０５ａの一連の処理を所定のｎ枚の星空画像に対して行う。即ち、ステップＳ８０２ａの後に、ステップＳ８０２ｂにおいて、システム制御部１５０は、３枚目の撮像を行う。そして、ステップＳ８０２ｂで撮像された３枚目の星空画像に対して、１枚目の星空画像に対して行われたステップＳ８０４の星強調処理が行われる。続いて、ステップＳ８０５ｂにおいて、比較明合成回路３０５が、ステップＳ８０５ａで生成した画像と３枚目の画像の星強調処理後の画像とを比較明合成する。

ｎ−１枚目の星空画像に対して同様の処理を行い、ステップＳ８０２ｎにおいて、システム制御部１５０は、最後の星空画像となるｎ枚目の撮像を行う。そして、ステップＳ８０２ｎで撮像されたｎ枚目の星空画像に対して、１枚目の星空画像に対して行われたステップＳ８０４の星強調処理が行われる。更に、ステップＳ８０５ｎにおいて、比較明合成回路３０５が、ｎ−１枚目までの星強調処理後の画像から生成された比較明合成画像とｎ枚目の星強調処理後の画像とを比較明合成し、その後、本処理を終了させる。

撮像装置１００の第３の撮像制御方法では、移動する輝点の軌跡が１枚の画像に合成されたときに、均一な太さや明るさで良好に強調処理を施すことができる。なお、ここでは、撮像枚数ｎが実質的に４枚以上である場合について説明したが、ｎは２以上の整数であればよい。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

例えば、上記実施形態で説明した撮像装置１００は、典型的には、デジタルスチルカメラであるが、本発明に係る撮像装置は、これに限られず、カメラ機能、つまり、撮像素子を用いて映像を取得する撮像機能、を備える各種の電子機器であってもよい。例えば、撮像装置１００は、カメラ機能付き携帯通信端末（携帯電話、スマートフォン等）、カメラ機能付き携帯型コンピュータ（タブレット端末）、カメラ機能付き携帯ゲーム機等であってもよい。また、撮像を行う撮像手段と、撮像手段により撮像された画像の画像処理を行う画像処理手段とが別体であり、これらが有線や無線でデータ通信可能に接続されたものであってもよい。

更に、本発明に係る画像処理方法は、カメラ機能を有さないコンピュータ等でも実行することができる。また、本発明に係る画像処理方法は、撮像時にリアルタイムに実行されなければならないものではなく、所定の記憶媒体に記憶された撮像画像のＲＡＷデータ等を用いて、後から実行することもできる。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１００ 撮像装置
１１０ レンズユニット
１１４ 撮像素子
１２０ 画像処理部
１５０ システム制御部
３００ 二値化処理回路
３０１ 輝点検出回路
３０２ 画像分割処理回路
３０３ エッジ強調処理回路
３０４ ぼかし処理回路
３０５ 比較明合成回路
３０６ 強調処理判定回路

Claims (14)

1. 撮像手段により撮像された画像から輝点の数を検出する輝点検出手段と、
   前記撮像手段により撮像された画像に対してぼかし処理を施すぼかし処理手段と、
   前記撮像手段により撮像された画像に対してエッジ強調処理を施すエッジ強調処理手段と、
   前記ぼかし処理手段及び前記エッジ強調処理手段の施す画像処理を制御する制御手段と、を備え、
   前記制御手段は、前記輝点検出手段によって検出された輝点の数に応じて、前記撮像手段により撮像された画像に対して前記ぼかし処理を施すか、前記エッジ強調処理を施すか、前記ぼかし処理及び前記エッジ強調処理のいずれも施さないかの少なくともいずれかに制御することを特徴とする画像処理装置。
2. 前記制御手段は、前記撮像手段により撮像された画像に対して、前記輝点の数が第１の所定値以上である場合には前記ぼかし処理を施すよう制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記撮像手段により撮像された画像に対して、前記輝点の数が第２の所定値以下である場合には前記エッジ強調処理を施すよう制御することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制御手段は、前記撮像手段により撮像された画像に対して、前記輝点の数が第１の所定値以上である場合には前記ぼかし処理を施し、前記輝点の数が第２の所定値以下である場合には前記エッジ強調処理を施し、前記輝点の数が前記第１の所定値よりも小さく、且つ、前記第２の所定値よりも大きい場合には前記ぼかし処理及び前記エッジ強調処理のいずれも施さないように制御することを特徴とする請求項１に記載の画像処理装置。
5. 前記輝点検出手段は、前記撮像手段により撮像された画像を分割した複数の画像領域それぞれに対して前記輝点の数を検出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記撮像手段により撮像された画像を所定の閾値で二値化する二値化手段を備え、
   前記輝点検出手段は、前記二値化手段により二値化された画像から前記輝点の数を検出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記撮像手段により撮像された画像を複数の画像領域に分割する分割手段を備え、
   前記二値化手段は、前記分割手段によって分割された前記複数の画像領域ごとに前記所定の閾値による二値化処理を行い、
   前記輝点検出手段は、前記二値化処理が行われた前記複数の画像領域ごとに検出した輝点の数の最大値を特定し、
   前記制御手段は、前記輝点の数の最大値に基づいて前記画像処理を制御することを特徴とする請求項６に記載の画像処理装置。
8. 撮像手段により撮像された画像に対して第１の閾値による二値化処理と、前記第１の閾値よりも小さい第２の閾値による二値化処理とをそれぞれ行う二値化手段と、
   前記第１の閾値による二値化処理が行われた画像の輝点の数を第１の輝点の数として、前記第２の閾値による二値化処理が行われた画像の輝点の数を第２の輝点の数としてそれぞれ検出する輝点検出手段と、
   前記撮像手段により撮像された画像に対してぼかし処理を施すぼかし処理手段と、
   前記撮像手段により撮像された画像に対してエッジ強調処理を施すエッジ強調処理手段と、
   前記ぼかし処理手段及び前記エッジ強調処理手段の施す画像処理を制御する制御手段と、を備え、
   前記制御手段は、前記第１の輝点の数及び前記第２の輝点の数に応じて前記ぼかし処理を施すか、前記エッジ強調処理を施すか、前記ぼかし処理及び前記エッジ強調処理のいずれも施さないかを制御することを特徴とする画像処理装置。
9. 前記撮像手段により撮像された画像を複数の画像領域に分割する分割手段を備え、
   前記二値化手段は、前記分割手段によって分割された前記複数の画像領域ごとに前記第１の閾値と前記第２の閾値による二値化処理を行い、
   前記輝点検出手段は、前記第１の閾値により前記二値化処理が行われた前記複数の画像領域ごとに輝点の数の最大値を第１の最大値として検出し、前記第２の閾値により前記二値化処理が行われた前記複数の画像領域ごとに輝点の数の最大値を第２の最大値として検出し、
   前記判定手段は、前記撮像手段により撮像された画像に対して前記ぼかし処理と前記エッジ強調処理のいずれを施すかまたは画像処理を施さないかの判定を、前記第１の最大値と前記第２の最大値に基づいて行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記第１の閾値には前記ぼかし処理に適した輝度値が用いられ、前記第２の閾値には前記エッジ強調処理に適した輝度値が用いられ、前記第２の閾値は前記第１の閾値よりも小さい値であることを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記撮像手段により撮像された複数の画像の対応する位置の画素レベルを比較し、最もレベルが大きい画素を選択して１枚の画像に合成する合成手段を備え、
    前記判定手段は、前記撮像手段により撮像された１枚目の画像に対して施された画像処理と同じ画像処理を、前記撮像手段により撮像された２枚目以降の複数の画像に施す判定を行い、
    前記合成手段は、前記撮像手段により撮像された１枚目の画像に対して施された画像処理と同じ画像処理が施された前記２枚目以降の複数の画像を合成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. コンピュータが実行する画像処理方法であって、
    画像から輝点の数を検出する輝点検出ステップと、
    前記画像に対してぼかし処理を施すぼかし処理ステップと、
    前記画像に対してエッジ強調処理を施すエッジ強調処理ステップと、
    前記輝点検出ステップで検出された輝点の数に応じて前記画像に対して施す画像処理を制御する制御ステップと、を有し、
    前記制御ステップでは、前記輝点検出手段によって検出された輝点の数に応じて、前記画像に対して前記ぼかし処理を施すか、前記エッジ強調処理を施すか、前記ぼかし処理及び前記エッジ強調処理のいずれも施さないかの少なくともいずれかに制御することを特徴とする画像処理方法。
13. コンピュータが実行する画像処理方法であって、
    画像に対して、第１の閾値による二値化処理と、前記第１の閾値よりも小さい第２の閾値による二値化処理とをそれぞれ行う二値化ステップと、
    前記第１の閾値による二値化処理が行われた画像の輝点の数を第１の輝点の数として、前記第２の閾値による二値化処理が行われた画像の輝点の数を第２の輝点の数としてそれぞれ検出する輝点検出ステップと、
    前記第１の輝点の数と前記第２の輝点の数に応じて前記画像に対して施す画像処理を制御する制御ステップと、を有し、
    前記制御ステップでは、前記第１の輝点の数及び前記第２の輝点の数に応じて前記ぼかし処理を施すか、前記エッジ強調処理を施すか、前記ぼかし処理及び前記エッジ強調処理のいずれも施さないかを制御することを特徴とする画像処理方法。
14. 請求項１２又は１３に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images