JP2014147047A - 画像処理装置、方法、及びプログラム、並びに撮像装置 - Google Patents

Abstract

【課題】簡易な処理で、画質を向上させたクロスフィルタ処理を行う
【解決手段】高輝度領域抽出部３１が、原画像から高輝度領域を抽出した高輝度領域抽出画像を出力する。マスク生成部３２が、高輝度領域出力画像に対して、ぼかし処理及び２値化処理を行って、面積大の高輝度領域に対応したマスク領域を有するマスクを生成する。マスク適用部３３が、高輝度領域抽出画像にマスクを適用して、マスク領域に対応する面積大の高輝度領域を削除したマスク適用画像を出力する。輝線生成部３４が、面積大の高輝度領域が削除されたマスク適用画像にぼかし、回転、拡大・縮小の処理を行って輝線を生成し、合成部３５が、原画像に輝線を合成する。
【選択図】図５

Description

開示の技術は、画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置に関する。

カメラレンズに装着する光学フィルタの一種に、イルミネーションなどの光源へ十字型などの輝線を作る「クロスフィルタ」が存在する。

近年、光学フィルタを装着できない小型デジタルカメラを中心に、特殊効果としてクロスフィルタ効果を付加できるデジタルカメラ製品が存在する。このクロスフィルタ効果は画像処理により実現されるのが一般的である。

クロスフィルタ効果の画像処理による実現方法としては、画像の高輝度領域に輝線を合成する手法が一般的であり、以下の２種類に分類できる。１つは、画像をスキャンして高輝度領域を探索し、予め用意した輝線パターンを１つずつ探索した高輝度領域に合成していく方法である。もう１つは、原画像から高輝度領域を抽出した画像に対して、ある１方向にぼかし処理を適用して細く伸びた輝線を作成する方法である。この方法では、ぼかし処理を異なる複数の方向（例えば、十字型のクロスフィルタ効果の場合は２方向）に適用して作成された複数の輝線を原画像へ合成する。

ここで、原画像から抽出された高輝度領域の全てについて輝線を作成して原画像に合成した場合、面積の大きい高輝度領域に輝線が付加されて、汚く滲んだ印象の見苦しい画像になってしまう。また、複数の高輝度領域が密集して存在する場合には、輝線が付加され過ぎて汚い印象の見苦しい画像になってしまう。

そこで、例えば、対象画像データから選択された高輝度画素群のうち、高輝度画素群のサイズが所定の輝点許容画素サイズ以下となる高輝度画素群を選択する手法が提案されている。

また、画像から抽出された高輝度画素が複数隣接して群を形成している場合に、その群の中から代表画素を選択して処理対象光源とし、処理対象光源を中心として光条パターンを合成する手法が提案されている。

また、画像データを分割した各分割領域内で輝度値が第１閾値以上の第１基準画素の存在密度が最大である位置の画素を第２基準画素と判定し、第２基準画素が略中心となるように、画像データに光芒画像データを付加する手法が提案されている。

また、入力画像から特定された高輝度領域に対し、所定条件に基づいて優先度を決定し、特定した高輝度領域が所定数以上あるとき、優先度の高い高輝度領域から順に所定数選択して、高輝度領域を強調表示した強調画像を入力画像に合成する手法が提案されている。

特開２００５−９２７２４号公報 特開２００５−９４６１７号公報 特開２００３−２５６８３２号公報 特開２００３−５８８８０号公報 特開２０１１−１５１４５４号公報

従来手法では、抽出された高輝度領域の全てに輝線を付加するのではなく、選択的に輝線を付加している。しかし、従来手法では、輝線を付加する高輝度領域を選択するために、画素群のサイズの計数や、どの高輝度領域を選択するかという判定に煩雑な処理を要する。

開示の技術は、一つの側面として、簡易な処理で、画質を向上させたクロスフィルタ処理を行うことが目的である。

開示の技術は、原画像から輝度が第１閾値以上の第１高輝度領域を抽出する抽出部を備えている。また、開示の技術は、前記第１高輝度領域に対して、ぼかし処理及び２値化処理を行って、前記第１高輝度領域を含むマスクを生成するマスク生成部を備えている。また、開示の技術は、前記マスクに基づいて、前記前記第１高輝度領域の削除処理、及び間引き処理の少なくとも一方を行うマスク適用部を備えている。また、開示の技術は、前記マスク適用部の出力に含まれる第２高輝度領域に基づいて輝線を生成する輝線生成部を備えている。また開示の技術は、前記原画像に前記輝線を合成する合成部を備えている。

開示の技術は、一つの側面として、簡易な処理で、画質を向上させたクロスフィルタ処理を行うことができる、という効果を有する。

第１実施形態に係る撮像装置の構成の一例を示すブロック図である。 線形フィルタを説明するための概略図である。 線形平滑化フィルタの一例を示す概略図である。 線形平滑化フィルタの他の例を示す概略図である。 第１実施形態に係る画像処理部の機能的構成の一例を示すブロック図である。 マスク生成部の処理を説明するための概略図である。 マスク生成部の処理を説明するための概略図である。 マスク生成部の処理を説明するための概略図である。 マスク生成部の処理を説明するための概略図である。 マスク生成部の処理を説明するための概略図である。 第１実施形態における画像処理を示すフローチャートである。 第１実施形態における画像処理を説明するためのイメージ図である。 第１実施形態におけるマスク生成を説明するための概略図である。 面積大の高輝度領域削除処理を示すフローチャートである。 輝線生成処理を示すフローチャートである。 輝線の生成を説明するためのイメージ図である。 輝線の合成を説明するためのイメージ図である。 第２実施形態における画像処理を示すフローチャートである。 密集高輝度領域間引き処理を示すフローチャートである。 第２実施形態における画像処理を説明するためのイメージ図である。 第２実施形態における画像処理を説明するためのイメージ図である。 第２実施形態における画像処理を説明するためのイメージ図である。 第３実施形態に係る画像処理部の機能的構成の一例を示すブロック図である。 第３実施形態における第１マスク生成を説明するための概略図である。 第３実施形態における第２マスク生成を説明するための概略図である。 色付き輝線生成部の処理を説明するための概略図である。 色付き輝線生成部の処理を説明するための概略図である。 第３実施形態における画像処理を示すフローチャートである。 第３実施形態における画像処理を説明するためのイメージ図である。 色付き輝線生成処理を示すフローチャートである。 第４実施形態に係る撮像装置の画像処理部として機能するコンピュータの一例を示す概略ブロック図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

〔第１実施形態〕
図１に、第１実施形態に係る撮像装置１０を示す。撮像装置１０は、撮像部１２、表示部１４、及び画像処理部１６を備えている。

撮像部１２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、例えば複数の光学レンズを含むレンズ群、絞り調整機構、ズーム機構、及び自動焦点調節機構等を含むレンズ部とを備えている。なお、ズーム機構を省略し、撮像倍率の変更を電子ズームによって実現してもよい。撮像部１２は、画像の撮像が指示されると、設定された撮像条件に従って撮像素子により撮像された電気信号（アナログ信号）をデジタル信号に変換する。さらに、変換されたデジタル信号を、色補完処理、ガンマ処理等の処理を施したＹＣｂＣｒ画像データに変換して出力する。

表示部１４は、例えば、液晶ディスプレイ等である。表示部１４は、撮像部１２で撮像され、画像処理部１６で画像処理された画像が表示される。また、各種設定を行うためのメニュー画面を表示するようにしてもよい。

画像処理部１６は、図１に示すように、ＣＰＵ（Central Processing Unit）２１及びＲＡＭ（Random Access Memory）２２を備えている。また、画像処理部１６は、ぼかし回路２３、拡大・縮小回路２４、回転回路２５、マスク回路２６、２値化回路２７、重み付け加算回路２８、画素抽出回路２９、及びαブレンド回路３０を備えている。画像処理部１６は、例えば、画像処理プロセッサである。画像処理部１６は、撮像部１２から出力されたＹＣｂＣｒ画像データを入力として受け付け、後述する画像処理を行う。なお、画像処理部１６は、開示の技術の画像処理装置の一例である。

ＣＰＵ２１は、撮像部１２に所定の撮像条件に従った撮像を指示し、撮像部１２から出力されたＹＣｂＣｒ画像を取得して、ＲＡＭ２２に記憶する。また、ＣＰＵ２１は、ＲＡＭ２２と、ぼかし回路２３、拡大・縮小回路２４、回転回路２５、マスク回路２６、２値化回路２７、重み付け加算回路２８、画素抽出回路２９、及びαブレンド回路３０との間のデータの入出力を制御する。

ぼかし回路２３は、下記（１）式のｈ（ｋ，ｌ）で表される線形フィルタを使用して、入力画像に対してぼかし処理を行う。

ここで、ｆ（ｉ，ｊ）は入力画像の画素（ｉ，ｊ）の画素値であり、ｇ（ｉ，ｊ）は出力画像の画素（ｉ，ｊ）の画素値である。ｗは線形フィルタが注目画素の上下左右の何画素分に対応するフィルタ係数を有するかを示す値、すなわち線形フィルタの大きさを示す値である。例えば、ｗ＝１の場合には、線形フィルタの大きさは３×３であり、ｗ＝２の場合には、５×５である。

例えば、図２に示すように、入力画像内の注目画素（図２中太線）に、各フィルタ係数がＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉである３×３サイズの線形フィルタを適用する場合について説明する。注目画素を含む周辺３×３画素の画素値はａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉであるとする。この場合、出力画像における注目画素の画素値（図２中★印）は、（１）式に示すような積和演算により、ａＡ＋ｂＢ＋ｃＣ＋ｄＤ＋ｅＥ＋ｆＦ＋ｇＧ＋ｈＨ＋ｉＩとなる。フィルタ係数の与え方により、ぼかし回路２３は、ぼかし処理、エッジ抽出など様々な機能を実現することができる。

また、フィルタ係数の和が１である線形フィルタはぼかし効果を持つ。計算上は線形フィルタが適用される領域内に含まれる画素の画素値の平均処理に相当する。このようなフィルタを以下では「線形平滑化フィルタ」と呼ぶ。なお、図３に示すように、フィルタ係数が全て等しい場合は単純平均、図４に示すように、フィルタ係数が等しくない場合は加重平均に相当する処理によりぼかし処理が行われる。本実施形態では、いずれの線形平滑化フィルタを用いてもよい。

拡大・縮小回路２４は、入力画像を設定された拡大率で拡大して、または設定された縮小率で縮小して出力する。なお、拡大率及び縮小率は、入力画像の水平方向及び垂直方向の各々に対して個別に設定可能である。

回転回路２５は、入力画像を設定された角度回転して出力する。

マスク回路２６は、入力画像にマスクを適用して、マスクが有するマスク領域とマスク領域以外の領域とで異なる処理を加えた画像を出力する。

２値化回路２７は、入力画像の各画素の画素値を設定された閾値と比較し、閾値以上の画素値の画素を第１画素値、閾値未満の画素値の画素を第２画素値のように２値化して出力する。

重み付け加算回路２８は、複数の入力画像間の対応する画素同士の画素値を重み付け加算した画像を出力する。

画素抽出回路２９は、入力画像から、設定された条件を満たす画素値を有する画素を抽出して出力する。

αブレンド回路３０は、複数の入力画像の各々を、設定されたブレンド比に基づいて合成した画像を出力する。

ここで、画像処理部１６の機能的構成の一例を図５に示す。画像処理部１６は、高輝度領域抽出部３１、マスク生成部３２、マスク適用部３３、輝線生成部３４、及び合成部３５を備えている。各機能部は、図１に示す各回路のうちの１つまたは複数の組み合わせにより実現される。例えば、高輝度領域抽出部３１は、画素抽出回路２９により実現される。また、例えば、マスク生成部３２は、ぼかし回路２３及び２値化回路２７により実現される。また、例えば、マスク適用部３３は、マスク回路２６及びαブレンド回路３０により実現される。また、例えば、輝線生成部３４は、ぼかし回路２３、拡大・縮小回路２４、回転回路２５、及び画素抽出回路２９により実現される。また、例えば、合成部３５は、重み付け加算回路２８により実現される。

高輝度領域抽出部３１は、撮像部１２から入力されたＹＣｂＣｒ画像のＹ成分で表されたＹ画像をスキャンしながら、輝度値が予め設定された所定の閾値以上の画素または画素群を高輝度領域として抽出した高輝度領域抽出画像を出力する。

マスク生成部３２は、高輝度領域抽出画像に対して、ぼかし処理と２値化処理とを組み合わせた処理を行って、所定サイズ以上の高輝度領域（以下、「面積大の高輝度領域」という）に対応したマスク領域を有するマスクを生成する。以下に、マスクの具体的な生成方法について説明する。ここでは、説明を簡単にするため、高輝度領域に含まれる画素の輝度値が全て同一で、直径がＲ画素の高輝度領域に対するマスクの生成について説明する。また、高輝度領域を抽出する際の閾値を輝度値の上限値Ｙｍａｘとした場合を考える。

図６に、上記の高輝度領域の直径方向の各画素位置に対する輝度値を示す。この高輝度領域に対してＮ×Ｎ線形平滑化フィルタを１回適用した場合、図６中のＡに示すように、高輝度領域の直径方向の画素数は約（Ｎ−１）画素分広がり、Ｒ＋（Ｎ−１）画素となる。一方、Ｎ×Ｎ線形平滑化フィルタ適用後は、フィルタ適用領域の周辺部で輝度値が減少するため、フィルタ適用前の高輝度領域内の最大輝度値（ここではＹｍａｘ）を保持できる画素は、図６中のＢに示すように、約Ｒ−（Ｎ−１）画素になる。従って、Ｒが約（Ｎ−１）以下の場合には、図７に示すように、フィルタ適用前の最大輝度値を保持できる画素は存在しなくなり、全画素で輝度値が最大輝度値より小さい値に減少する。

上述のように、高輝度領域の直径がＲ＞Ｎ−１の場合には、Ｎ×Ｎ線形平滑化フィルタを１回適用しても、フィルタ適用前の最大輝度値（ここではＹｍａｘ）を保持する画素が残る。このため、図８に示すように、Ｙｍａｘを閾値として、輝度値がＹｍａｘ以上の画素の輝度値がＹｍａｘ、輝度値がＹｍａｘ未満の画素の輝度値が０となるように２値化処理することにより、輝度値がＹｍａｘの画素のみを残すことができる。一方、高輝度領域の直径がＲ≦Ｎ−１の場合には、Ｎ×Ｎ線形平滑化フィルタを１回適用すると、フィルタ適用前の最大輝度値を保持する画素は残らない。このため、図９に示すように、Ｙｍａｘを閾値として２値化処理することにより、輝度値を有する領域が消滅する。なお、高輝度領域を抽出する際の閾値をＹｍａｘより若干小さい高輝度値（＝ＹＨ）とした場合、上記の２値化の閾値もＹＨとすることにより、概ね同じ結果が得られる。

次に、残った高輝度領域にＮ×Ｎ線形平滑化フィルタを１回適用する。これにより、図１０中のＣに示すように、高輝度領域はＲまで広がる。そして、閾値を低輝度値（＝ＹＬ、例えば輝度値０以外の画素を抽出する場合にはＹＬ＝１）として、輝度値がＹＬ以上の画素の輝度値がＹｍａｘ、輝度値が０の画素の輝度値が０となるように２値化処理する。これにより、直径Ｒのマスク領域を有するマスクが生成される。

このように、マスク生成部３２は、線形平滑化フィルタの大きさＮを適切に設定したぼかし処理と、高輝度領域抽出の際の閾値を用いた２値化処理とを組み合わせた処理を行う。これにより、所定サイズ（上記の例ではＮ−１）以上の高輝度領域に対応したマスク領域を有するマスクを生成することができる。

また、上記のように、線形平滑化フィルタの大きさＮのみで所定サイズを制御する場合に限らない。例えば、ｎ×ｎ（ｎ＜Ｎ）線形平滑化フィルタを用いたぼかし処理を行う場合、ぼかし処理の対象となる画像を一旦（ｎ−１）／（Ｎ−１）に縮小し、ｎ×ｎ線形平滑化フィルタを１回適用する。そして、画像を元のサイズに拡大することにより、Ｎ×Ｎ線形平滑化フィルタを１回適用した場合と同様の結果が得られる。

また、ぼかし処理の対象となる画像を縮小せず、ｎ×ｎ線形平滑化フィルタを複数回（ｋ回）適用してもよい。この場合、フィルタ適用回数ｋはｋ＝（Ｎ−１）／（ｎ−１）とすればよい。ｎ×ｎ線形平滑化フィルタをｋ回適用すると、図６中のＡに示す高輝度領域の直径方向の画素数は約Ｒ＋ｋ（ｎ−１）画素となり、図６中のＢに示す高輝度領域の直径方向の画素数は約Ｒ−ｋ（ｎ−１）画素となる。

ただし、フィルタ適用回数ｋが大きくなると（例えば、ｋ≧１０）、図６中のＢに示す高輝度領域の直径方向の画素数は約Ｒ−ｋ（ｎ−１）より大きくなり、所望のマスク領域が得られない場合がある。そこで、ｎ×ｎ線形平滑化フィルタを１回適用する毎に、高輝度の閾値ＹＨにより２値化してフィルタの適用を繰り返すようにするとよい。

また、マスク領域がマスク生成前の元の高輝度領域と略同じ大きさの場合には、マスク適用後に面積大の高輝度領域の周辺部が残ってしまう可能性があるため、マスク領域を元の高輝度領域より若干大きく生成するようにするとよい。そのためには、ｎ×ｎ線形平滑化フィルタの適用回数ｋ＝（Ｎ−１）／（ｎ−１）を１程度増やす。

また、クロスフィルタ効果を適用する際は、入力画像サイズによらず同等の結果が得られるようにしたい。すなわち、同じ画像について、画素数（解像度）を変えて処理した場合でも、輝線が付加される箇所と付加されない箇所とにばらつきが生じないことが望ましい。そのためには、ぼかし処理を行う際に、高輝度領域抽出画像のサイズが大きくなるほど広くぼかすことが必要になる。高輝度領域抽出画像のサイズに応じて線形平滑化フィルタの適用回数を増加させることも考えられるが、処理時間上好ましくない上、画像サイズに応じたパラメータ調整も必要となる。

そこで、マスク生成部３２は、ぼかし処理を行う際に、高輝度領域抽出画像を特定のサイズ（例えばＶＧＡ）に変換してからぼかし処理を行い、マスク領域を抽出た後に元のサイズに戻す。これにより、入力画像サイズによらず同等の結果を得ることができる。なお、画像を縮小して拡大すると一般に画像の画質は劣化するが、マスク生成部３２では、マスクを生成することが目的であるため、画質の劣化は問題にならない。

マスク適用部３３は、高輝度領域抽出画像にマスク生成部３２で生成されたマスクを適用し、高輝度領域抽出画像において、マスク領域に対応する高輝度領域を削除する。マスク適用部３３は、マスク適用後の画像をマスク適用画像として出力する。

輝線生成部３４は、マスク適用画像に対して、ぼかし処理、拡大・縮小処理、回転処理等を行って、輝線画像を生成する。

合成部３５は、原画像（ＹＣｂＣｒ画像）に輝線生成部３４で生成された輝線画像を合成し、クロスフィルタ処理画像を生成する。

次に、第１実施形態に係る撮像装置１０の作用について説明する。ＣＰＵ２１により撮像指示がなされると撮像部１２により画像が撮像され、原画像を示すＹＣｂＣｒ画像データが所定の記憶領域に記憶される。そして、クロスフィルタ処理モードが設定されている状態で、原画像を表示部１４に表示する際に、原画像を示すＹＣｂＣｒ画像データがＲＡＭ２２に記憶され、画像処理部１６により、図１１に示す画像処理が実行される。

図１１に示す画像処理のステップ１００で、ＣＰＵ２１が、ＲＡＭ２２に記憶された、例えば図１２の４０に示すような原画像であるＹＣｂＣｒ画像のＹ成分で表されたＹ画像を画素抽出回路２９に入力する。画素抽出回路２９は、Ｙ画像をスキャンしながら、輝度値が予め設定された所定の閾値ＹＨ以上の画素または画素群を高輝度領域として抽出し、図１２の４１に示すような高輝度領域抽出画像を出力する。図１２の高輝度領域抽出画像４１中の白い領域が高輝度領域４１Ｌ、４１Ｓである。なお、ここでは、説明のため、高輝度領域４１Ｌを削除すべき面積大の高輝度領域、高輝度領域４１Ｓを削除しない高輝度領域として想定している。また、図１３の４１Ａは、図１２の高輝度領域抽出画像４１のＡ−Ａ線上の画素位置に対応した輝度値を表す。なお、本ステップの処理は、図５に示す機能ブロック図の高輝度領域抽出部３１における処理である。

次に、ステップ２００で、面積大の高輝度領域削除処理を実行する。ここで、図１４を参照して、面積大の高輝度領域削除処理について説明する。

図１４に示す面積大の高輝度領域削除処理のステップ２０２で、ＣＰＵ２１が、画素抽出回路２９から出力された高輝度領域抽出画像４１を拡大・縮小回路２４に入力する。拡大・縮小回路２４は、高輝度領域抽出画像４１を拡大または縮小することにより、特定のサイズに変換する。

次に、ステップ２０４で、ＣＰＵ２１が、拡大・縮小回路２４から出力されたサイズ変換された高輝度領域抽出画像４１をぼかし回路２３に入力する。ぼかし回路２３は、入力された高輝度領域抽出画像４１に対して、例えばＮ×Ｎ線形平滑化フィルタを１回適用することによりぼかし処理を行い、図１２の４２に示すような処理中画像を出力する。また、図１３の４２Ｂは、図１２の処理中画像４２のＢ−Ｂ線上の画素位置に対応した輝度値を表す。高輝度領域４１Ｌに対応する処理中画像４２の領域にはＹＨ以上の輝度値を保持した画素が残っているが、高輝度領域４１Ｓに対応する処理中画像４２の領域にはＹＨ以上の輝度値を保持した画素が残っていない。

次に、ステップ２０６で、ＣＰＵ２１が、処理中画像４２を２値化回路２７に入力する。２値化回路２７は、入力された処理中画像４２を高輝度の閾値ＹＨで２値化処理し、図１２の４３に示すような処理中画像４３を出力する。また、図１３の４３Ｃは、図１２の処理中画像４３のＣ−Ｃ線上の画素位置に対応した輝度値を表す。高輝度領域４１Ｌに対応する処理中画像４３の領域に高輝度領域４１Ｌを細らせた領域が残り、高輝度領域４１Ｓに対応する処理中画像４３の領域からは輝度値を有する領域が消滅する。

次に、ステップ２０８で、ＣＰＵ２１が、処理中画像４３をぼかし回路２３に入力する。ぼかし回路２３は、入力された処理中画像４３に対して、上記ステップ２０４と同様に、例えばＮ×Ｎ線形平滑化フィルタを１回適用することによりぼかし処理を行い、図１２の４４に示すような処理中画像を出力する。また、図１３の４４Ｄは、図１２の処理中画像４４のＤ−Ｄ線上の画素位置に対応した輝度値を表す。

次に、ステップ２１０で、ＣＰＵ２１が、処理中画像４４を拡大・縮小回路２４に入力する。拡大・縮小回路２４は、処理中画像４４を拡大または縮小することにより、元の高輝度領域抽出画像４１のサイズに変換する。元のサイズに変換された処理中画像４４では、輝度値を有する領域が、元の高輝度領域抽出画像４１の高輝度領域４１Ｌと略同じサイズまで広がる。

次に、ステップ２１２で、ＣＰＵ２１が、サイズ変換された処理中画像４４を２値化回路２７に入力する。２値化回路２７は、入力された処理中画像４４を低輝度の閾値ＹＬで２値化処理し、図１２の４５に示すようなマスク４５を生成する。また、図１３の４５Ｅは、図１２のマスク４５のＥ−Ｅ線上の画素位置に対応した輝度値を表す。これにより、高輝度領域４１Ｌに対応するマスク領域を有するマスク４５が生成される。

次に、ステップ２１４で、ＣＰＵ２１が、マスク４５と高輝度領域抽出画像４１とをマスク回路２６に入力する。マスク回路２６は、高輝度領域抽出画像４１にマスク４５を適用し、マスク４５のマスク領域に対応する高輝度領域抽出画像４１内の面積大の高輝度領域を削除したマスク適用画像４６を出力して、図１１に示す画像処理にリターンする。

なお、上記ステップ２０２〜２１２の処理は、図５に示す機能ブロック図のマスク生成部３２における処理であり、上記ステップ２１４の処理は、図５に示す機能ブロック図のマスク適用部３３における処理である。

次に、図１１に示す画像処理のステップ３００で、輝線生成処理を実行する。ここで、図１５を参照して、輝線生成処理について説明する。ここでは、１つの高輝度領域に対して、十字型のクロスフィルタ効果を実現するために、２つの輝線を生成する場合について説明する。

図１５に示す輝線生成処理のステップ３０２で、ＣＰＵ２１が、マスク回路２６から出力されたマスク適用画像４６を回転回路２５に入力する。回転回路２５は、マスク適用画像４６を所定角度回転させて、図１６の４７Ｈ、４７Ｖに示すような処理中画像を出力する。例えば、処理中画像４７Ｈはマスク適用画像４６を左に角度α回転させて生成し、処理中画像４７Ｖはマスク適用画像４６を右に角度β回転させて生成する。角度α及びβは、生成する輝線の角度に応じて設定しておく。さらに、α+βを、２つの輝線のなす角となるように、例えばα＋β＝９０°のように設定しておく。

次に、ステップ３０４で、ＣＰＵ２１が、処理中画像４７Ｈ、４７Ｖを拡大・縮小回路２４に入力する。拡大・縮小回路２４は、処理中画像４７Ｈ、４７Ｖの各々の水平方向のサイズを縮小して、図１６の４８Ｈ、４８Ｖに示すような処理中画像を出力する。縮小率は、生成する輝線の長さに応じて、輝線の長さが長いほど大な値で設定しておく。

次に、ステップ３０６で、ＣＰＵ２１が、処理中画像４８Ｈ、４８Ｖをぼかし回路２３に入力する。ぼかし回路２３は、処理中画像４８Ｈ、４８Ｖの各々に対して、水平方向にぼかし処理を行い、図１６の４９Ｈ、４９Ｖに示すような処理中画像を出力する。

次に、ステップ３０８で、ＣＰＵ２１が、処理中画像４９Ｈ、４９Ｖを拡大・縮小回路２４に入力する。拡大・縮小回路２４は、処理中画像４９Ｈ、４９Ｖの各々の水平方向のサイズを元のマスク適用画像４６のサイズまで拡大し、図１６の５０Ｈ、５０Ｖに示すような処理中画像を出力する。

次に、ステップ３１０で、ＣＰＵ２１が、処理中画像５０Ｈ、５０Ｖを回転回路２５に入力する。回転回路２５は、処理中画像５０Ｈ、５０Ｖの各々を上記ステップ３０２で行った回転に対して逆回転させ、図１６の５１Ｈ、５１Ｖに示すような輝線画像を出力して、図１１に示す画像処理にリターンする。

なお、輝線生成処理は、図５に示す機能ブロック図の輝線生成部３４における処理である。

次に、図１１に示す画像処理のステップ４００で、ＣＰＵ２１が、生成された輝線画像５１Ｈ、５１Ｖと、原画像４０とを重み付け加算回路２８に入力する。重み付け加算回路２８は、図１７に示すように、原画像４０に輝線画像５１Ｈ、５１Ｖを合成したクロスフィルタ処理画像５２を生成して出力する。

次に、ステップ４０２で、ＣＰＵ２１が、重み付け加算回路２８から出力されたクロスフィルタ処理画像５２をＲＡＭ２２に記憶し、クロスフィルタ処理画像５２が表示部１４に表示されるように制御して、画像処理を終了する。

なお、上記ステップ４００及び４０２の処理は、図５に示す機能ブロック図の合成部３５における処理である。

以上説明したように、第１実施形態に係る撮像装置によれば、ぼかし処理と２値化処理とを組み合わせた簡易な処理により面積大の高輝度領域に対応したマスク領域を有するマスクを生成する。そして、このマスクを高輝度領域抽出画像に適用して面積大の高輝度領域を削除してから輝線を生成するため、見苦しい輝線の生成を抑制することができる。従って、輝線を付加する高輝度領域を判定するような煩雑な処理を要することなく、簡易な処理で、画質を向上させたクロスフィルタ処理を行うことができる。

〔第２実施形態〕
次に、第２実施形態について説明する。なお、第２実施形態に係る撮像装置１０のハードウェア構成は、図１に示す第１実施形態に係る撮像装置１０のハードウェア構成と同様であるため説明を省略する。また、第２実施形態における画像処理部１６の機能的構成は、第１実施形態の画像処理部１６の機能的構成と、マスク生成部２３２及びマスク適用部２３３が異なるだけであるため、異なる点について説明する。

マスク生成部２３２は、高輝度領域抽出画像において、複数の高輝度領域が所定間隔以下で密集した領域（以下、「密集高輝度領域」という）に対応したマスク領域を有するマスクを生成する。マスク生成部２３２は、第１実施形態におけるマスク生成部３２と同様、高輝度領域抽出画像に対して、ぼかし処理と２値化処理とを組み合わせた処理を行うことにより、マスクを生成する。

マスク適用部２３３は、高輝度領域抽出画像から高輝度領域の間引き処理を行った全体間引き画像を生成する。また、マスク適用部２３３は、マスク生成部２３２で生成されたマスクのマスク領域では全体間引き画像を使用し、マスク領域以外の領域では高輝度領域抽出画像を使用して、高輝度領域抽出画像と全体間引き画像とを合成する。これにより、密集高輝度領域のみ間引き処理がされたマスク適用画像が生成される。マスク適用部２３３は、生成したマスク適用画像を出力する。

次に、第２実施形態に係る撮像装置１０の作用について説明する。第２実施形態では、画像処理部１６により、図１８に示す画像処理が実行される。図１８に示す画像処理では、図１１に示す第１実施形態における画像処理のステップ２００で実行される面積大の高輝度領域削除処理に替えて、ステップ５００で密集高輝度領域間引き処理が実行される。ここで、図１９を参照して、密集高輝度領域間引き処理について説明する。

図１９に示す密集高輝度領域間引き処理のステップ５０２で、ＣＰＵ２１が、画素抽出回路２９から出力された、例えば図２０の５３に示すような高輝度領域抽出画像を拡大・縮小回路２４に入力する。なお、説明のため、図２０の高輝度領域抽出画像５３中の破線で囲んだ領域は密集高輝度領域を想定している。拡大・縮小回路２４は、高輝度領域抽出画像５３を拡大または縮小することにより、特定のサイズに変換する。

次に、ステップ５０４で、ＣＰＵ２１が、拡大・縮小回路２４から出力されたサイズ変換された高輝度領域抽出画像５３をぼかし回路２３に入力する。ぼかし回路２３は、入力された高輝度領域抽出画像５３に対して、例えばＮ×Ｎ線形平滑化フィルタを１回適用することによりぼかし処理を行い、図２０の５４に示すような処理中画像を出力する。ここでのぼかし処理は、所定間隔以下で密集した複数の高輝度領域が輝度値を有する一つの領域となるようにする。

次に、ステップ５０６で、ＣＰＵ２１が、処理中画像５４を２値化回路２７に入力する。２値化回路２７は、入力された処理中画像５４を低輝度の閾値ＹＬで２値化処理し、図２０の５５に示すような処理中画像を出力する。

次に、ステップ５０８で、ＣＰＵ２１が、処理中画像５５をぼかし回路２３に入力する。ぼかし回路２３は、入力された処理中画像５５に対して、例えばＮ×Ｎ線形平滑化フィルタを１回適用することによりぼかし処理を行い、図２０の５６に示すような処理中画像を出力する。

次に、ステップ５１０で、ＣＰＵ２１が、処理中画像５６を２値化回路２７に入力する。２値化回路２７は、入力された処理中画像５６を高輝度の閾値ＹＨで２値化処理し、図２０の５７に示すような処理中画像を出力する。

次に、ステップ５１２で、ＣＰＵ２１が、処理中画像５７をぼかし回路２３に入力する。ぼかし回路２３は、入力された処理中画像５７に対して、例えばＮ×Ｎ線形平滑化フィルタを１回適用することによりぼかし処理を行い、図２０の５８に示すような処理中画像を出力する。

次に、ステップ５１４で、ＣＰＵ２１が、処理中画像５８を拡大・縮小回路２４に入力する。拡大・縮小回路２４は、処理中画像５８を拡大または縮小することにより、元の高輝度領域抽出画像５３のサイズに変換する。元のサイズに変換された処理中画像５８では、輝度値を有する領域が、元の高輝度領域抽出画像５３の密集高輝度領域に対応したサイズまで広がる。

次に、ステップ５１６で、ＣＰＵ２１が、サイズ変換された処理中画像５８を２値化回路２７に入力する。２値化回路２７は、入力された処理中画像５８を低輝度の閾値ＹＬで２値化処理し、図２０の５９に示すようなマスクを生成する。これにより、密集高輝度領域に対応するマスク領域を有するマスク５９が生成される。

次に、ステップ５１８で、ＣＰＵ２１が、高輝度領域抽出画像５３を拡大・縮小回路２４に入力する。拡大・縮小回路２４は、高輝度領域抽出画像５３を間引き率に応じて一旦縮小し、再び元のサイズに拡大し、図２１の６０に示すような処理中画像を出力する。

次に、ステップ５２０で、ＣＰＵ２１が、高輝度領域抽出画像５３と処理中画像６０とをマスク回路２６に入力する。マスク回路２６は、処理中画像６０と高輝度領域抽出画像５３との共通領域を抽出することにより、図２１の６１に示すような全体間引き画像を出力する。

次に、ステップ５２２で、ＣＰＵ２１が、マスク５９、高輝度領域抽出画像５３、及び全体間引き画像６１をαブレンド回路３０に入力する。αブレンド回路３０は、図２２に示すように、マスク５９のマスク領域では全体間引き画像６１を使用し、マスク領域以外の領域では高輝度領域抽出画像５３を使用して、高輝度領域抽出画像５３と全体間引き画像６１とを合成する。αブレンド回路３０は、マスク５９を適用して合成した画像をマスク適用画像６２として出力し、図１８に示す画像処理にリターンする。

なお、上記ステップ５０２〜５１６の処理は、図５に示す機能ブロック図のマスク生成部２３２における処理であり、上記ステップ５１８〜５２２の処理は、図５に示す機能ブロック図のマスク適用部２３３における処理である。

以上説明したように、第２実施形態に係る撮像装置によれば、ぼかし処理と２値化処理とを組み合わせた簡易な処理により密集高輝度領域に対応したマスク領域を有するマスクを生成する。そして、このマスクを高輝度領域抽出画像と高輝度領域抽出画像を全体的に間引いた画像とに適用して、密集した高輝度領域を間引いてから輝線を生成するため、輝線が付加され過ぎるような見苦しい輝線の生成を抑制することができる。従って、輝線を付加する高輝度領域を判定するような煩雑な処理を要することなく、簡易な処理で、画質を向上させたクロスフィルタ処理を行うことができる。

なお、第２実施形態では、密集高輝度領域に対応した領域を有するマスクを生成したが、このマスクのマスク領域は、第１実施形態で説明した面積大の高輝度領域に対応した領域も含むものとなる。従って、第２実施形態で生成したマスクを用いて、第１実施形態のように面積大の高輝度領域を削除することもできる。

また、第２実施形態では、マスクを生成するためのぼかし処理の際に、Ｎ×Ｎ線形平滑化フィルタを１回適用する場合について説明したが、これに限定されない。第１実施形態で説明したように、ぼかし処理の対象画像を（ｎ−１）／（Ｎ−１）に縮小した上で、ｎ×ｎ（ｎ＜Ｎ）線形平滑化フィルタを１回適用してもよい。また、ｎ×ｎ線形平滑化フィルタをｋ（ｋ＝（Ｎ−１）／（ｎ−１））回適用してもよい。

また、第２実施形態で生成されたマスクを利用して、マスク領域に含まれる高輝度領域に対しては、マスク領域以外の領域の高輝度領域に対する輝線に比べて、長さの短い輝線を生成するようにしてもよい。

〔第３実施形態〕
次に、第３実施形態について説明する。なお、第３実施形態に係る撮像装置１０のハードウェア構成は、図１に示す第１実施形態に係る撮像装置１０のハードウェア構成と同様であるため説明を省略する。

図２３に、第３実施形態の画像処理部１６の機能的構成の一例を示す。なお、第１実施形態の画像処理部１６と同一の機能部については、同一符号を付して詳細な説明を省略する。

画像処理部１６は、高輝度領域抽出部３１、マスク生成部３３２、マスク適用部３３３、輝線生成部３４、色付き輝線生成部３６、及び合成部３３５を備えている。各機能部は、図１に示す各回路のうちの１つまたは複数の組み合わせにより実現される。例えば、色付き輝線生成部３６は、ぼかし回路２３、拡大・縮小回路２４、回転回路２５、及び画素抽出回路２９により実現される。

マスク生成部３３２は、高輝度領域抽出画像に対して、ぼかし処理と２値化処理とを組み合わせた処理を行って、面積大の高輝度領域に対応したマスク領域を有する第１マスクを生成する。また、マスク生成部３３２は、高輝度領域抽出画像に対して、ぼかし処理と２値化処理とを組み合わせた処理を行って、密集高輝度領域に対応したマスク領域を有する第２マスクを生成する。

以下に、第１マスクの具体的な生成方法について説明する。第１実施形態のマスク生成部３２では、図１２に示すように、ぼかし処理と２値化処理との組み合わせ処理（図１２中の破線で囲まれた箇所に相当）を２回行うことにより、マスクを生成する場合について説明した。第３実施形態のマスク生成部３３２では、ぼかし処理と２値化処理との組み合わせ処理を１回行うことにより、第１マスクを生成する場合について説明する。また、ここでは、説明を簡単にするため、高輝度領域に含まれる画素の輝度値が全て同一で、直径がＲ画素の高輝度領域に対するマスクの生成について説明する。また、高輝度領域を抽出する際の閾値を高輝度の閾値ＹＨとした場合を考える。

図２４に、上記の高輝度領域の直径方向の各画素位置に対する輝度値を表す。図２４中の４１Ｌは、削除すべき面積大の高輝度領域、４１Ｓは削除しない高輝度領域を示す。高輝度領域に対して線形フィルタを適用してぼかし処理を行うと、図２４中のＡに示すように、フィルタ適用前の高輝度領域４１Ｌの外周部分の画素の輝度値は、０とＹＨとの間の中程度の輝度値ＹＭ１となる。

そこで、面積大の高輝度領域の所定サイズに応じて設定したフィルタサイズ及びフィルタ適用回数のぼかし処理を所定サイズの高輝度領域に行った際の、フィルタ適用前の高輝度領域４１Ｌの外周部分の画素のフィルタ適用後の輝度値を閾値ＹＭ１として定めておく。また、所定サイズより小さい高輝度領域に上記のぼかし処理を行った後の最大輝度値より閾値ＹＭ１が大きくなるようにフィルタサイズ及びフィルタ適用回数を定めておく。これにより、ＹＭ１を閾値として２値化すれば、フィルタ適用前の高輝度領域４１Ｌと略同じ領域をマスク領域として抽出することができる。高輝度領域４１Ｓについては、フィルタ適用後の輝度値がＹＭ１より小さくなるため、ＹＭ１を閾値として２値化することにより消滅する。

次に、第２マスクの具体的な生成方法について説明する。第２実施形態のマスク生成部２３２では、図２０に示すように、ぼかし処理と２値化処理との組み合わせ処理（図２０中の破線で囲まれた箇所に相当）を３回行うことにより、マスクを生成する場合について説明した。第３実施形態のマスク生成部３３２では、ぼかし処理と２値化処理との組み合わせ処理を１回行うことにより、第２マスクを生成する場合について説明する。

図２５に、高輝度領域の直径方向の各画素位置に対する輝度値を表す。図２５中の４１Ｄは密集高輝度領域、４１Ｃは密集していない高輝度領域を示す。密集高輝度領域４１Ｄは、複数の高輝度領域が所定間隔以下で密集した領域であり、密集していない高輝度領域４１Ｃは、所定間隔離れた位置に他の高輝度領域が存在しない高輝度領域である。高輝度領域に対して線形フィルタを適用してぼかし処理を行うと、密集高輝度領域４１Ｄでは、密集していない高輝度領域４１Ｃに比べて、輝度値の減少が少ない。図２５中のＡに示すように、フィルタ適用前の密集高輝度領域４１Ｄの外周部分の画素の輝度値は、０とＹＨとの間の中程度の輝度値ＹＭ２となる。

そこで、予め設定したフィルタサイズ及びフィルタ適用回数のぼかし処理を密集高輝度領域に行った際の、フィルタ適用前の密集高輝度領域４１Ｄの外周部分の画素のフィルタ適用後の輝度値を閾値ＹＭ２として定めておく。また、密集していない高輝度領域４１Ｃに上記のぼかし処理を行った後の最大輝度値より閾値ＹＭ２が大きくなるようにフィルタサイズ及びフィルタ適用回数を定めておく。これにより、ＹＭ２を閾値として２値化すれば、フィルタ適用前の密集高輝度領域と略同じ領域をマスク領域として抽出することができる。密集していない高輝度領域４１Ｃについては、フィルタ適用後の輝度値がＹＭ２より小さくなるため、ＹＭ２を閾値として２値化することにより消滅する。

また、第１マスク及び第２マスクの生成でのぼかし処理は、第１実施形態のマスク生成部３２と同様で、例えば、Ｎ×Ｎ線形平滑化フィルタを１回適用することにより行うことができる。また、ぼかし処理の対象画像を（ｎ−１）／（Ｎ−１）に縮小した上で、ｎ×ｎ（ｎ＜Ｎ）線形平滑化フィルタを１回適用してもよい。また、ｎ×ｎ線形平滑化フィルタをｋ（ｋ＝（Ｎ−１）／（ｎ−１））回適用してもよい。

マスク適用部３３３は、マスク生成部３３２で生成された第１マスクを第１実施形態と同様に適用して、面積大の高輝度領域を削除すると共に、第２マスクを第２実施形態と同様に適用して、密集高輝度領域を間引いたマスク適用画像を生成する。

色付き輝線生成部３６は、原画像であるＹＣｂＣｒ画像の色差成分（ＣｂＣｒ成分）で表されたＣｂＣｒ画像のうち、高輝度領域に対応する領域（色付きの高輝度領域）から、輝線生成部３４と同様の処理により、光源と同じ色の色付き輝線を生成する。ただし、図２６に示すように、色付きの高輝度領域であっても、高輝度部分の中央部分にはほとんど色差成分が存在しないため、ＣｂＣｒ画像から輝線を生成しても色付き輝線とならない場合がある。そこで、色付き輝線生成部３６は、図２７に示すように、予めＣｂＣｒ画像にぼかし処理を適用し、高輝度領域の周辺部分の色差成分を中央部分へ移してから、輝線を生成する。これにより、輝線に十分な色を付けることができる。

また、原画像に色付き輝線を合成する際に、輝度値が飽和した輝度飽和画素に色差成分（ＣｂＣｒ成分）を与えると、画像表示のためＹＣｂＣｒ画像である合成画像をｓＲＧＢ画像へ変換した際に、不自然な色になる場合がある。これはＹＣｂＣｒ空間がｓＲＧＢ空間より広く、輝度が飽和しており、かつ色差成分を有する場合はｓＲＧＢ空間からはみ出すためである。

この問題を回避するため、合成部３３５は、原画像に色付き輝線を合成した後に、Ｙ画像から輝度が飽和した輝度飽和画素を抽出し、輝度飽和画素を無彩色（色差成分を０）にする。

次に、第３実施形態に係る撮像装置１０の作用について説明する。第３実施形態では、画像処理部１６により、図２８に示す画像処理が実行される。なお、第１及び第２実施形態における画像処理と同一の処理については、同一符号を付して詳細な説明を省略する。

図２８に示す画像処理のステップ１００で、ＣＰＵ２１が、ＲＡＭ２２に記憶された、図２９の６３に示すような原画像であるＹＣｂＣｒ画像のＹ成分で表されたＹ画像を画素抽出回路２９に入力する。画素抽出回路２９は、Ｙ画像から高輝度領域を抽出し、図２９の６４に示すような高輝度領域抽出画像を出力する。なお、図２９の原画像６３において、６３Ａは色差成分を有しているが高輝度ではない領域、６３Ｂは色付き高輝度領域である。

次に、ステップ６００で、面積大の高輝度領域削除処理を実行する。ここで実行される面積大の高輝度領域削除処理について、第１実施形態における面積大の高輝度領域削除処理（図１４）と異なる点について説明する。

第３実施形態における面積大の高輝度領域削除処理では、図１４のステップ２０２〜２１４の処理のうち、ステップ２０４及び２０６を省略する。また、ステップ２１２の２値化処理で用いる閾値を中程度の閾値ＹＭ１とする。

なお、上記ステップ２０２及び２０８〜２１２の処理は、図２３に示す機能ブロック図のマスク生成部３３２における処理であり、上記ステップ２１４の処理は、図２３に示す機能ブロック図のマスク適用部３３３における処理である。

次に、図２８に示す画像処理のステップ７００で、密集高輝度領域間引き処理を実行する。ここで実行される密集高輝度領域間引き処理について、第２実施形態における密集高輝度領域間引き処理（図１９）と異なる点について説明する。

第３実施形態における密集高輝度領域間引き処理では、図１９のステップ５０２〜５２２のうち、ステップ５０４〜５１０を省略する。また、ステップ５１６の２値化処理で用いる閾値を中程度の閾値ＹＭ２とする。

なお、上記ステップ５０２及び５１２〜５１６の処理は、図２３に示す機能ブロック図のマスク生成部３３２における処理であり、上記ステップ５１８〜５２２の処理は、図２３に示す機能ブロック図のマスク適用部３３３における処理である。

次に、図２８に示す画像処理のステップ３００で、図１５に示す輝線生成処理を実行し、図２９の６５に示すような輝線画像を生成する。なお、図２９の６５では２方向に生成した輝線画像を合わせた状態を示している。

次に、ステップ８００で、色付き輝線生成処理を実行する。ここで、図３０を参照して、色付き輝線生成処理について説明する。

図３０に示す色付き輝線生成処理のステップ８０２で、ＣＰＵ２１が、図２９の６６に示すような、原画像であるＹＣｂＣｒ画像の色差成分（ＣｂＣｒ成分）で表された、ＣｂＣｒ画像をぼかし回路２３に入力する。ぼかし回路２３は、ＣｂＣｒ画像６６にぼかし処理を行う。これにより、高輝度領域の周辺部分の色差成分を中央部分へ移す。

次に、ステップ８０４で、ＣＰＵ２１が、ぼかし処理が行われたＣｂＣｒ画像６６を画素抽出回路２９へ入力する。画素抽出回路２９は、高輝度領域抽出画像６４に基づいて、ＣｂＣｒ画像６６から高輝度領域に対応する領域である色付き高輝度領域を抽出する。画素抽出回路２９は、色付き高輝度領域を抽出した図２９の６７に示すような処理中画像を出力する。

次に、ステップ８０６で、処理中画像６７に対して、図１５に示す輝線生成処理を実行することにより、色付き輝線画像６８Ｈ、６８Ｖを生成して、図２８に示す画像処理へリターンする。

なお、色付き輝線生成処理は、図２３に示す機能ブロック図の色付き輝線生成部３６における処理である。

次に、図２８に示す画像処理のステップ９００で、ＣＰＵ２１が、輝線画像６５、色付き輝線画像６８Ｈ、６８Ｖ、及び原画像６３を重み付け加算回路２８に入力する。重み付け加算回路２８は、原画像６３に輝線画像６５、色付き輝線画像６８Ｈ、６８Ｖを合成し、図２９の６９に示すような処理中画像６９を出力する。

次に、ステップ９０２で、ＣＰＵ２１が、処理中画像６９を画素抽出回路２９に入力する。画素抽出回路２９は、ＹＣｂＣｒ画像である処理中画像６９のＹ成分で表されるＹ画像から輝度値が飽和している輝度飽和画素を抽出し、図２９の７０に示すような輝度飽和画像を出力する。

次に、ステップ９０４で、ＣＰＵ２１が、処理中画像６９と輝度飽和画像７０とをマスク回路２６に入力する。マスク回路２６は、輝度飽和画像７０に基づいて、処理中画像６９内の輝度飽和画素を無彩色（色差成分を０）にしたクロスフィルタ処理画像７１を生成して出力する。

次に、ステップ４０２で、ＣＰＵ２１が、マスク回路２６から出力されたクロスフィルタ処理画像７１をＲＡＭ２２に記憶し、クロスフィルタ処理画像７１が表示部１４に表示されるように制御して、画像処理を終了する。

なお、上記ステップ９００〜９０４及び４０２の処理は、図２３に示す機能ブロック図の合成部３３５における処理である。

以上説明したように、第３実施形態に係る撮像装置によれば、面積大の高輝度領域の削除、及び密集高輝度領域の間引きを共に行うため、より見苦しさを抑制することができる。また、ぼかし処理と２値化処理とを組み合わせた処理を１回行うという簡易な処理により、面積大の高輝度領域の削除を行うための第１マスク、及び密集高輝度領域の間引きを行うための第２マスクの各々を生成することができる。これにより、より簡易な処理で、画質を向上させたクロスフィルタ処理を行うことができる。さらに、色付きの輝線も加え、輝度飽和画素を無彩色にすることで、より画質を向上させたクロスフィルタ処理を行うことができる。

また、第１〜第３実施形態では、画像処理部１６を、ぼかし回路や２値化回路等を備えた汎用の画像処理プロセッサで実現することができ、ハードウェアの拡張により回路規模が膨大になることもなく、ハードウェアによる高速処理が実現可能である。

〔第４実施形態〕
次に、第４実施形態について説明する。第１〜第３実施形態では、画像処理部１６を画像処理プロセッサとする場合について説明した。第４実施形態に係る撮像装置１０における画像処理部１６は、例えば図３１に示すコンピュータ８０で実現することができる。コンピュータ８０はＣＰＵ８２、メモリ８４、及び不揮発性の記憶部８６を備えている。ＣＰＵ８２、メモリ８４、及び記憶部８６は、バス８８を介して互いに接続されている。また、コンピュータ８０には、撮像部１２及び表示部１４が接続されている。

記憶部８６はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記録媒体としての記憶部８６には、コンピュータ８０を画像処理部１６として機能させるための画像処理プログラム９０が記憶されている。ＣＰＵ８２は、画像処理プログラム９０を記憶部８６から読み出してメモリ８４に展開し、画像処理プログラム９０が有するプロセスを順次実行する。

画像処理プログラム９０は、高輝度領域抽出プロセス９１、マスク生成プロセス９２、マスク適用プロセス９３、輝線生成プロセス９４、及び合成プロセス９５を備えている。

ＣＰＵ８２は、高輝度領域抽出プロセス９１を実行することで、図５に示す高輝度領域抽出部３１として動作する。また、ＣＰＵ８２は、マスク生成プロセス９２を実行することで、図５に示すマスク生成部３２として動作する。また、ＣＰＵ８２は、マスク適用プロセス９３を実行することで、図５に示すマスク適用部３３として動作する。また、ＣＰＵ８２は、輝線生成プロセス９４を実行することで、図５に示す輝線生成部３４として動作する。また、ＣＰＵ８２は、合成プロセス９５を実行することで、図５に示す合成部３５として動作する。これにより、画像処理プログラム９０を実行したコンピュータ８０が、第１実施形態と同様の画像処理部１６として機能することになる。

また、記憶部８６に、コンピュータ８０を画像処理部１６として機能させるための画像処理プログラム２９０を記憶しておいてもよい。この場合、ＣＰＵ８２は、画像処理プログラム２９０を記憶部８６から読み出してメモリ８４に展開し、画像処理プログラム２９０が有するプロセスを順次実行する。

画像処理プログラム２９０は、高輝度領域抽出プロセス９１、マスク生成プロセス２９２、マスク適用プロセス２９３、輝線生成プロセス９４、及び合成プロセス９５を備えている。

ＣＰＵ８２は、マスク生成プロセス２９２を実行することで、図５に示すマスク生成部２３２として動作する。また、ＣＰＵ８２は、マスク適用プロセス２９３を実行することで、図５に示すマスク適用部２３３として動作する。その他のプロセスは上記画像処理プログラム９０の場合と同様である。これにより、画像処理プログラム２９０を実行したコンピュータ８０が、第２実施形態と同様の画像処理部１６として機能することになる。

また、記憶部８６に、コンピュータ８０を画像処理部１６として機能させるための画像処理プログラム３９０を記憶しておいてもよい。この場合、ＣＰＵ８２は、画像処理プログラム３９０を記憶部８６から読み出してメモリ８４に展開し、画像処理プログラム３９０が有するプロセスを順次実行する。

画像処理プログラム３９０は、高輝度領域抽出プロセス９１、マスク生成プロセス３９２、マスク適用プロセス３９３、輝線生成プロセス９４、色付き輝線生成プロセス９６、及び合成プロセス３９５を備えている。

ＣＰＵ８２は、マスク生成プロセス３９２を実行することで、図２３に示すマスク生成部３３２として動作する。また、ＣＰＵ８２は、マスク適用プロセス３９３を実行することで、図２３に示すマスク適用部３３３として動作する。また、ＣＰＵ８２は、色付き輝線生成プロセス９６を実行することで、図２３に示す色付き輝線生成部３６として動作する。また、ＣＰＵ８２は、合成プロセス３９５を実行することで、図２３に示す合成部３３５として動作する。その他のプロセスは上記画像処理プログラム９０の場合と同様である。これにより、画像処理プログラム３９０を実行したコンピュータ８０が、第３実施形態と同様の画像処理部１６として機能することになる。

以上説明したように、第４実施形態に係る撮像装置によれば、第１〜第３実施形態に係る撮像装置と同様の効果を、ソフトウェアにより実現することができる。

なお、上記では開示の技術における画像処理プログラムの一例である画像処理プログラム９０、２９０、３９０が記憶部８６に予め記憶（インストール）されている態様を説明した。しかし、開示の技術における画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
原画像から輝度が第１閾値以上の第１高輝度領域を抽出する抽出部と、前記第１高輝度領域に対して、ぼかし処理及び２値化処理を行って、前記第１高輝度領域を含むマスクを生成するマスク生成部と、前記マスクに基づいて、前記前記第１高輝度領域の削除処理、及び間引き処理の少なくとも一方を行うマスク適用部と、前記マスク適用部の出力に含まれる第２高輝度領域に基づいて輝線を生成する輝線生成部と、前記原画像に前記輝線を合成する合成部と、を含む画像処理装置。

（付記２）
前記マスク生成部は、前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して前記第１閾値よりも小さい第２閾値に基づいて前記２値化処理を行うことにより、前記マスクを生成する付記１記載の画像処理装置。

（付記３）
前記マスク生成部は、前記第１高輝度領域が所定サイズより大きい場合に、前記第１高輝度領域内の最大輝度値を保持し、前記第１高輝度領域が前記所定サイズより小さい場合に前記第１高輝度領域内の最大輝度値を保持しない線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して前記第１閾値に基づいて第１の２値化処理を行い、前記第１の２値化処理後の高輝度領域に前記第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して２値化処理を行うことにより、前記マスクを生成する付記１記載の画像処理装置。

（付記４）
前記マスク生成部は、前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して、前記第１高輝度領域を複数含む領域の外周部の輝度値を第２閾値として２値化処理することにより、前記マスクを生成する付記１記載の画像処理装置。

（付記５）
前記マスク生成部は、前記第１高輝度領域に対して、所定間隔以下で離間して存在する複数の前記第１高輝度領域が一つの領域となる線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して第１の２値化処理を行い、前記第１の２値化処理により抽出された高輝度領域に第２ぼかし処理を行い、前記第２ぼかし処理後の画像に対して前記第１閾値に基づいて第２の２値化処理を行い、前記第２の２値化処理により抽出された高輝度領域に第３ぼかし処理を行い、前記第３ぼかし処理後の画像に対して第３の２値化処理を行うことにより、前記マスクを生成する付記１記載の画像処理装置。

（付記６）
前記第１高輝度領域に対応する前記原画像の領域が有する色差成分に基づいて、色差成分を有する色付き輝線を生成する色付き輝線生成部を含み、前記合成部は、前記原画像に前記色付き輝線を合成する付記１〜付記５のいずれか１つに記載の画像処理装置。

（付記７）
前記マスク生成部は、前記ぼかし処理を行うぼかし回路、前記２値化処理を行う２値化回路を含む付記１〜付記６のいずれか１つに記載の画像処理装置。

（付記８）
前記撮像部と、付記１〜付記７のいずれか１つに記載の画像処理装置と、前記合成部で合成された画像を表示する表示部と、を含む撮像装置。

（付記９）
原画像から輝度が第１閾値以上の第１高輝度領域を抽出し、前記第１高輝度領域に対して、ぼかし処理及び２値化処理を行って、前記第１高輝度領域を含むマスクを生成し、前記マスクに基づいて、前記前記第１高輝度領域の削除処理、及び間引き処理の少なくとも一方を行った出力に含まれる第２高輝度領域に基づいて輝線を生成し、前記原画像に前記輝線を合成することを含む画像処理方法。

（付記１０）
前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して前記第１閾値よりも小さい第２閾値に基づいて前記２値化処理を行うことにより、前記マスクを生成する付記９記載の画像処理方法。

（付記１１）
前記第１高輝度領域が所定サイズより大きい場合に、前記第１高輝度領域内の最大輝度値を保持し、前記第１高輝度領域が前記所定サイズより小さい場合に前記第１高輝度領域内の最大輝度値を保持しない線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して前記第１閾値に基づいて第１の２値化処理を行い、前記第１の２値化処理後の高輝度領域に前記第１ぼかし処理を行い、前記第1ぼかし処理後の画像に対して２値化処理を行うことにより、前記マスクを生成する付記９記載の画像処理方法。

（付記１２）
前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して、前記第１高輝度領域を複数含む領域の外周部の輝度値を第２閾値として２値化処理することにより、前記マスクを生成する付記９記載の画像処理方法。

（付記１３）
前記第１高輝度領域に対して、所定間隔以下で離間して存在する複数の前記第１高輝度領域が一つの領域となる線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して第１の２値化処理を行い、前記第１の２値化処理により抽出された高輝度領域に第２ぼかし処理を行い、前記第２ぼかし処理後の画像に対して前記第１閾値に基づいて第２の２値化処理を行い、前記第２の２値化処理により抽出された高輝度領域に第３ぼかし処理を行い、前記第３ぼかし処理後の画像に対して第３の２値化処理を行うことにより、前記マスクを生成する付記９記載の画像処理方法。

（付記１４）
前記第１高輝度領域に対応する前記原画像の領域が有する色差成分に基づいて、色差成分を有する色付き輝線を生成することを含み、前記原画像に前記色付き輝線を合成する付記９〜付記１３のいずれか１つに記載の画像処理方法。

（付記１５）
前記ぼかし処理をぼかし回路で行い、前記２値化処理を２値化回路で行うことを含む付記９〜付記１４のいずれか１つに記載の画像処理方法（図１）。

（付記１６）
コンピュータに、原画像から輝度が第１閾値以上の第１高輝度領域を抽出し、前記第１高輝度領域に対して、ぼかし処理及び２値化処理を行って、前記第１高輝度領域を含むマスクを生成し、前記マスクに基づいて、前記前記第１高輝度領域の削除処理、及び間引き処理の少なくとも一方を行った出力に含まれる第２高輝度領域に基づいて輝線を生成し、前記原画像に前記輝線を合成することを含む処理を実行させるための画像処理プログラム。

（付記１７）
前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して前記第１閾値よりも小さい第２閾値に基づいて前記２値化処理を行うことにより、前記マスクを生成する付記１６記載の画像処理プログラム。

（付記１８）
前記第１高輝度領域が所定サイズより大きい場合に、前記第１高輝度領域内の最大輝度値を保持し、前記第１高輝度領域が前記所定サイズより小さい場合に前記第１高輝度領域内の最大輝度値を保持しない線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して前記第１閾値に基づいて第１の２値化処理を行い、前記第１の２値化処理後の高輝度領域に前記第１ぼかし処理を行い、前記第1ぼかし処理後の画像に対して２値化処理を行うことにより、前記マスクを生成する付記１６記載の画像処理プログラム。

（付記１９）
前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して、前記第１高輝度領域を複数含む領域の外周部の輝度値を第２閾値として２値化処理することにより、前記マスクを生成する付記１６記載の画像処理プログラム。

（付記２０）
前記第１高輝度領域に対して、所定間隔以下で離間して存在する複数の前記第１高輝度領域が一つの領域となる線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して第１の２値化処理を行い、前記第１の２値化処理により抽出された高輝度領域に第２ぼかし処理を行い、前記第２ぼかし処理後の画像に対して前記第１閾値に基づいて第２の２値化処理を行い、前記第２の２値化処理により抽出された高輝度領域に第３ぼかし処理を行い、前記第３ぼかし処理後の画像に対して第３の２値化処理を行うことにより、前記マスクを生成する付記１６記載の画像処理プログラム。

（付記２１）
コンピュータに、前記第１高輝度領域に対応する前記原画像の領域が有する色差成分に基づいて、色差成分を有する色付き輝線を生成することを含み、前記原画像に前記色付き輝線を合成する処理を実行させるための付記１６〜付記２０のいずれか１つに記載の画像処理プログラム。

１０ 撮像装置
１２ 撮像部
１４ 表示部
１６ 画像処理部
２３ ぼかし回路
２４ 拡大・縮小回路
２５ 回転回路
２６ マスク回路
２７ ２値化回路
２８ 重み付け加算回路
２９ 画素抽出回路
３０ αブレンド回路
３１ 高輝度領域抽出部
３２、２３２、３３２ マスク生成部
３３、２３３、３３３ マスク適用部
３４ 輝線生成部
３５、３３５ 合成部
３６ 色付き輝線生成部
８０ コンピュータ

Claims (10)

1. 原画像から輝度が第１閾値以上の第１高輝度領域を抽出する抽出部と、
   前記第１高輝度領域に対して、ぼかし処理及び２値化処理を行って、前記第１高輝度領域を含むマスクを生成するマスク生成部と、
   前記マスクに基づいて、前記前記第１高輝度領域の削除処理、及び間引き処理の少なくとも一方を行うマスク適用部と、
   前記マスク適用部の出力に含まれる第２高輝度領域に基づいて輝線を生成する輝線生成部と、
   前記原画像に前記輝線を合成する合成部と、
   を含む画像処理装置。
2. 前記マスク生成部は、前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して前記第１閾値よりも小さい第２閾値に基づいて前記２値化処理を行うことにより、前記マスクを生成する請求項１記載の画像処理装置。
3. 前記マスク生成部は、前記第１高輝度領域が所定サイズより大きい場合に、前記第１高輝度領域内の最大輝度値を保持し、前記第１高輝度領域が前記所定サイズより小さい場合に前記第１高輝度領域内の最大輝度値を保持しない線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して前記第１閾値に基づいて第１の２値化処理を行い、前記第１の２値化処理後の高輝度領域に前記第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して２値化処理を行うことにより、前記マスクを生成する請求項１記載の画像処理装置。
4. 前記マスク生成部は、前記第１高輝度領域に対して、線形フィルタ処理を含む前記ぼかし処理を行い、前記ぼかし処理後の画像に対して、前記第１高輝度領域を複数含む領域の外周部の輝度値を第２閾値として２値化処理することにより、前記マスクを生成する請求項１記載の画像処理装置。
5. 前記マスク生成部は、前記第１高輝度領域に対して、所定間隔以下で離間して存在する複数の前記第１高輝度領域が一つの領域となる線形フィルタ処理を含む第１ぼかし処理を行い、前記第１ぼかし処理後の画像に対して第１の２値化処理を行い、前記第１の２値化処理により抽出された高輝度領域に第２ぼかし処理を行い、前記第２ぼかし処理後の画像に対して前記第１閾値に基づいて第２の２値化処理を行い、前記第２の２値化処理により抽出された高輝度領域に第３ぼかし処理を行い、前記第３ぼかし処理後の画像に対して第３の２値化処理を行うことにより、前記マスクを生成する請求項１記載の画像処理装置。
6. 前記第１高輝度領域に対応する前記原画像の領域が有する色差成分に基づいて、色差成分を有する色付き輝線を生成する色付き輝線生成部を含み、
   前記合成部は、前記原画像に前記色付き輝線を合成する
   請求項１〜請求項５のいずれか１項記載の画像処理装置。
7. 前記マスク生成部は、前記ぼかし処理を行うぼかし回路、前記２値化処理を行う２値化回路を含む請求項１〜請求項６のいずれか１項記載の画像処理装置。
8. 前記撮像部と、
   請求項１〜請求項７のいずれか１項記載の画像処理装置と、
   前記合成部で合成された画像を表示する表示部と、
   を含む撮像装置。
9. 原画像から輝度が第１閾値以上の第１高輝度領域を抽出し、
   前記第１高輝度領域に対して、ぼかし処理及び２値化処理を行って、前記第１高輝度領域を含むマスクを生成し、
   前記マスクに基づいて、前記前記第１高輝度領域の削除処理、及び間引き処理の少なくとも一方を行った出力に含まれる第２高輝度領域に基づいて輝線を生成し、
   前記原画像に前記輝線を合成する
   ことを含む画像処理方法。
10. コンピュータに、
    原画像から輝度が第１閾値以上の第１高輝度領域を抽出し、
    前記第１高輝度領域に対して、ぼかし処理及び２値化処理を行って、前記第１高輝度領域を含むマスクを生成し、
    前記マスクに基づいて、前記前記第１高輝度領域の削除処理、及び間引き処理の少なくとも一方を行った出力に含まれる第２高輝度領域に基づいて輝線を生成し、
    前記原画像に前記輝線を合成する
    ことを含む処理を実行させるための画像処理プログラム。