JP2017097612A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】鮮鋭感と、ノイズとのバランスが取れた画像を取得すること。
【解決手段】本発明は、ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理装置であって、前記入力画像に含まれるノイズ量を調整する調整手段と、前記調整手段によりノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成する作成手段と、前記作成手段により作成された複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与する付与手段とを有することを特徴とする画像処理装置である。
【選択図】図４

Description

本発明は、画像の鮮鋭感を向上させるための画像処理技術に関する。

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。

デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮像感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像データを得るためには混入したノイズを低減する必要がある。

一方、ノイズを含む画像の方がノイズを含まない画像よりも鮮鋭感が高く知覚されることが知られている。このため、ノイズは全て取り除けばよいというものではなく、最適な量のノイズを残し、いかに鮮鋭感とノイズとのバランスをとるかが重要である。例えば、特許文献１では、主要被写体の位置する領域に対してノイズを付与することで、人間が視覚的に知覚する鮮鋭感を高める手法が提案されている。

特開２００８−１８７２６０号公報

J.Laird et. al.. "Spatio-Velocity CSF as a Function of Retinal Velocity Using Unstabilized Stimuli", SPIE, 6057 (2006)

しかしながら、特許文献１には、ノイズを付与することで鮮鋭感が向上するか否かを考慮していないという課題がある。例えば、主要被写体が高振幅かつ低周波な画像信号に基づき表現されている場合、このような画像信号にノイズを付与してもあまり鮮鋭感が向上しないことが知られている。このため、このような画像信号に対して従来手法を適用すると、鮮鋭感は向上せずノイズのみが増加し、かえって画質が劣化する場合があった。

本発明は、ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理装置であって、前記入力画像に含まれるノイズ量を調整する調整手段と、前記調整手段によりノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成する作成手段と、前記作成手段により作成された複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与する付与手段とを有することを特徴とする画像処理装置である。

本発明により、画像の鮮鋭感を向上させるために付与するノイズの量を抑えることができるので、鮮鋭感とノイズとのバランスが取れた画像を取得することができる。

入力される原信号の一例 実施例１における鮮鋭感向上の原理を説明するための模式図 実施例１における画像処理装置を有するデジタルカメラの構成を示すブロック図 実施例１におけるノイズ処理部３０４の構成を示すブロック図 実施例１におけるノイズ処理部３０４の動作を示すフローチャート コントラスト感度の空間周波数特性 実施例２における閾値処理部４０３の動作を示すフローチャート 周波数分割の帯域を示す模式図 帯域分割フィルタの特性 実施例２における閾値処理（Ｓ７０３）の詳細なフローチャート 実施例２における周波数帯域ごとの画像に対応する閾値を示す模式図 実施例３におけるノイズ処理部３０４の動作を示すフローチャート 実施例４におけるノイズ処理部３０４の構成を示すブロック図 実施例４における閾値処理部１３０３の動作を示すフローチャート 輝度ごとの、コントラスト感度の空間周波数特性 実施例５におけるノイズ処理部３０４の構成を示すブロック図 実施例５における閾値処理部１６０３の動作を示すフローチャート 実施例５における動き量導出部１６０７の構成を示すブロック図 実施例５における動き量を導出する手法を説明するための図

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

［実施例１］
＜鮮鋭感向上の原理＞
本実施例では、原信号に基づく入力画像と、入力画像にノイズを付与した後に閾値処理を施した画像との間の類似度（例えば相関係数）を算出することで、入力画像に付与するノイズの量を適切に決定する。以下、本実施例により、どのように鮮鋭感が向上するかを図１及び図２を用いて説明する。

図１は、入力される原信号の一例を示す図である。図１に示すように、原信号は、横軸に水平方向（横方向）の画素位置、縦軸に信号強度（輝度）をとったグラフ上における正弦波信号である。図２は、図１に示す原信号にノイズを付与した場合に、どのように鮮鋭感が向上もしくは劣化するかを説明するための模式図である。図２（ａ）は、原信号にノイズを付与しなかった場合、図２（ｂ）は、原信号に適切な量のノイズを付与した場合、図２（ｃ）は、ノイズの付与量が多すぎる場合を示す。ここで、図２中の各グラフ内の破線は、視覚のコントラスト感度に基づいた、人間が弁別可能な輝度差の閾値を示している。この閾値を超えた信号に基づく画像を見た人間は輝度差を知覚できるが、閾値以内の信号に基づく画像を見た人間は輝度差を知覚できない。

まず、図２（ａ）について説明する。図２（ａ）上段に示す信号は、図１に示した原信号と同一の信号である。図２（ａ）下段は、図２（ａ）上段に示す信号に上述の閾値を用いた処理を施した結果の信号、即ち、図２（ａ）上段に示す信号に基づく画像を人間が見たときにどのように知覚されるかを示す。つまり、図２（ａ）は、原信号に全くノイズを付与しないため、信号強度が弁別可能な輝度差の閾値を超えない結果、人間の視覚上、明暗差がない平坦な画像として知覚されることを示している。従って、原信号（波形信号）に基づく画像（明暗差がある画像）と、原信号に閾値処理を施した信号（強度が一定の信号）に基づく画像（明暗差がない平坦な画像）との間の類似度は低くなり、この場合の付与ノイズ量（ゼロ）が適切でないと判定される。

次に、図２（ｂ）について説明する。図２（ｂ）上段は、図１に示した原信号にノイズを付与した信号を示す。図２（ｂ）下段は、図２（ｂ）上段に示す信号に上述の閾値を用いた処理を施した結果の信号、即ち、図２（ｂ）上段に示す信号に基づく画像を人間が見たときにどのように知覚されるかを示す。図２（ｂ）上段に示すように、ノイズを付与したことで原信号と比べて振幅が増大している。これにより、横画素位置によっては、信号強度が弁別可能な輝度差の閾値を超えており、人間が知覚する画像に対応する信号（図２（ｂ）下段）においても、原信号の波形がある程度再現されている。このように、図２（ｂ）下段に示す信号は、原信号の波形の山および谷を一部再現しており、原信号と、原信号にノイズを付与した信号に閾値処理を施した信号との間には、ある程度の相関が確認される。このため、原信号に基づく画像と、図２（ｂ）下段に示す信号に基づく画像との間の類似度は高くなり、付与したノイズ量は適切であることが、定量的に判定できる。

以下、図２（ｂ）を分かりやすく説明するために、100cd/m²の輝度の被写体をユーザーが観察した場合を例に挙げて説明する。このとき、空間周波数3cycle/degreeに対するコントラスト感度は600である。これは、被写体の輝度100cd/m²に対して1/600の0.17 cd/m²の輝度差を識別できることを表している。一方、空間周波数50cycle/degreeに対するコントラスト感度は1である。これは、ユーザーが被写体の輝度差を識別できないことを表しており、実際は振幅成分を持つ被写体であっても、同一輝度の画像として、ユーザーは知覚する。従って、100cd/m²の輝度の被写体をユーザーが観察した場合、空間周波数3cycle/degreeの被写体に関して、100cd/m²の1/700に相当する0.14cd/m²の輝度差を識別できない。しかし、上述したようにノイズを付与することで、輝度差は0.17 cd/m²以上となるため、ユーザーは被写体の輝度差を識別できるようになる。

次に、図２（ｃ）について説明する。図２（ｃ）上段は、図１に示した原信号に、図２（ｂ）の場合よりも多い量のノイズを付与した信号を示す。図２（ｃ）下段は、図２（ｃ）上段に示す信号に上述の閾値処理を施した結果の信号、即ち、図２（ｃ）上段に示す信号に基づく画像を人間が見たときにどのように知覚されるかを示す。図２（ｃ）上段に示すように、付与するノイズ量が多すぎると、原信号の波形がノイズに埋もれてしまい、人間が知覚する画像に対応する信号（図２（ｃ）下段）から原信号の波形を推測できない。このように、原信号と、図２（ｃ）下段に示す信号との間の関係は、ほぼ無相関となる。このため、原信号に基づく画像と、図２（ｃ）下段に示す信号に基づく画像との間の類似度は低くなり、付与したノイズ量は適切ではないということが、定量的に判定できる。

本実施例では上述の原理を利用し、原信号に基づく画像と、原信号にノイズを付与した信号に閾値処理を施した信号に基づく画像との間の類似度を算出することで、付与すべき適切なノイズ量を決定する。

＜画像処理装置の構成＞
図３は、本実施例における画像処理装置を含むデジタルカメラの構成を示すブロック図である。撮像部３０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成され、被写体の光量を検知する。アナログ／デジタル変換部（Ａ／Ｄ変換部）３０２は、被写体の光量（アナログ値）をデジタル値に変換し、デジタル画像を生成する。画像処理部３０３は、Ａ／Ｄ変換部３０２から出力されたデジタル画像に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理などのカメラ信号処理の全て又は一部の処理を実行する。ノイズ処理部３０４は、画像処理部３０３から出力されたデジタル画像に対するノイズに関する処理、本実施例ではノイズ付与処理を実行する。

エンコーダ３０５は、ノイズが付与されたデジタル画像をＪＰＥＧ等の圧縮フォーマットに変換する。メディアインタフェース（メディアＩ／Ｆ）３０６は、記憶メディア３０７（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）を接続するためのインタフェースである。ＣＰＵ３０８は、システムバス３１５を介してデジタルカメラにおける各構成要素を統括的に制御する。例えば、ＣＰＵ３０８は、ＲＯＭ３０９に格納されたプログラムをＲＡＭ３１０に展開し、該展開したプログラムを実行することで、以下で説明する本実施例における処理を実行する。ＲＯＭ３０９は、プログラム、データを格納する。ＲＡＭ３１０は、プログラム、データを一時的に格納し、また、ＣＰＵ３０８にワークエリアを提供する。

撮像系制御部３１１は、ＣＰＵ３０８からの指示に従い、フォーカスを合わせる、シャッターを開く、絞りを調節するなど、撮像部３０１を制御する。操作部３１２は、ユーザーによる入力を受け付けるための手段であり、具体的には、ボタン（シャッターボタンなど）やモードダイヤルなどを含む。ユーザーは、これらを用いてＩＳＯ感度、シャッター速度、Ｆ値等から成る撮影条件を設定する。ユーザーによって設定された撮影条件はＲＡＭ３１０に格納され、ユーザーがシャッターボタンを押下すると、該撮影条件に従った撮影が実行される。

デジタル／アナログ（Ｄ／Ａ）変換部３１３は、ノイズに関する処理（本実施例では、ノイズ付与処理）が実行されたデジタル画像に対するアナログ変換処理を行う。表示部３１４は、ユーザーに情報を提示するための手段であり、一般的には液晶ディスプレイが広く用いられている。表示部３１４は、Ｄ／Ａ変換部３１３から出力されたアナログ画像に基づいて、撮影画像を表示する。

＜ノイズ処理部３０４の構成＞
図４は、本実施例におけるノイズ処理部３０４の構成を示すブロック図である。本実施例におけるノイズ処理部３０４は、入力されたデジタル画像に対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで、画像の鮮鋭感を向上させる。

端子４０１からデジタル画像が入力され、ノイズ量調整部４０２および合成部４０５に渡される。ノイズ量調整部４０２は、入力されたデジタル画像のノイズ量を、ノイズ付与などにより調整する。閾値処理部４０３は、ノイズ量調整部４０２によるノイズ量調整後の画像に対して閾値処理を施す。類似度算出部４０４は、端子４０１から入力されるデジタル画像と、閾値処理部４０３による閾値処理後の画像との間の類似度を算出する。合成部４０５は、当該算出された類似度に基づき、領域ごとに最適な量のノイズを入力画像に付与することで合成画像を生成する。生成された合成画像は、端子４０６から出力され、エンコーダ３０５やＤ／Ａ変換部３１３に送信される。

＜ノイズ処理部３０４の動作＞
以下、ノイズ処理部３０４の動作について、図５を用いて説明する。以降、「Ｓ」はステップを意味し、処理の動作の工程を示す。Ｓ５０１において、ノイズ処理部３０４は、未処理の着目領域を１つ選択する。本実施例では、入力デジタル画像の領域ごとに、合成するノイズ画像を導出するが、着目領域とはノイズ画像を導出・合成することでノイズを付与する単位領域である。なお、着目領域として、任意のサイズの領域を設定してよい。

Ｓ５０２において、ノイズ量調整部４０２は、着目領域と同じサイズのノイズ画像を、画素値の平均がゼロ、標準偏差がσとなるように生成し、このノイズ画像を入力デジタル画像の着目領域において合成する。なお、標準偏差の初期値（σ₀とする）は１に設定する。Ｓ５０２で生成するノイズ画像は、例えばガウスノイズなどの白色ノイズ画像であり、Iw(x,y)とする。ただし、白色ノイズ画像のかわりにカラードノイズ画像を生成する場合にも、本実施例を適用可能である。着目領域における入力デジタル画像をIin(x,y)とすると、ノイズ量調整部４０２の出力（Inc(x,y)とする）は、以下の式（１）で表される。

Ｓ５０３において、閾値処理部４０３は、Ｓ５０２で得られたInc(x,y)に対して閾値処理を施すことで、画像Inc(x,y)が人間の視覚上どのように見えるのかを再現する。この閾値処理を「知覚画像の作成」と呼ぶ。ここで用いる閾値は、視覚のコントラスト感度に基づく輝度弁別の閾値（thとする）である。なお本実施例では、視覚のコントラスト感度は、画像の空間周波数によらず一定であると仮定して、処理を行う。空間周波数ごとに異なるコントラスト感度を用いた実施形態に関しては、実施例２で述べる。Ｓ５０３で閾値処理部４０３が出力する画像（Ith(x,y)とする）は、以下の式（２）で表わされる。

式（２）において、

はInc(x,y)の平均画素値である。式（２）では、画像Incの各画素の画素値に対して

との差分を算出し、当該算出した差分と、閾値thとの大小関係を判定している。そして、差分が閾値より大きければ知覚できる信号として画素値をそのまま保持し、差分が閾値以下であれば知覚できない信号として画素値を平均画素値

に置き換える。

Ｓ５０４において、類似度算出部４０４は、入力画像Iinと、閾値処理部４０３が出力する画像Ithとの間の類似度を算出する。本実施例では下記のように、類似度として相関係数を算出するが、類似度の算出手法として他の方法を用いることもできる。例えば、類似度を算出するために最小二乗誤差を求めてもよいし、PSNR（Peak Signal-to-Noise Ratio）、SSIM（Structural Similarity）などの画質評価の手法を用いて類似度を算出してもよい。

本実施例で算出する類似度（ｓとする）は、着目領域の画像幅をw、画像高さをhとすると、以下の式（３）で表される。

Ｓ５０５において、ノイズ処理部３０４は、標準偏差σの全ての候補に対して類似度を算出したかを判定する。判定結果が真であればＳ５０７に移行し、判定結果が偽であればＳ５０６に移行する。なお、上述の説明では、標準偏差σの全ての候補に対して類似度ｓを算出しているが、本実施例はこれに他の方法を用いてもよい。例えば、標準偏差σの候補を更新して算出した類似度が、更新前のσの候補に対する類似度より小さくなるような場合に、最大となる類似度の探索を終了してもよい。

Ｓ５０６において、ノイズ処理部３０４は、標準偏差σを更新する。本処理は、入力画像の着目領域に含まれるノイズ量を段階的に調整する目的で行われる。Ｓ５０６の後、Ｓ５０２に戻る。Ｓ５０７において、ノイズ処理部３０４は、全ての着目領域に対してＳ５０１〜Ｓ５０６の処理が実行されたかを判定する。判定結果が真であればＳ５０８に移行し、判定結果が偽であれば、Ｓ５０１に移行する。

Ｓ５０８において、合成部４０５は、入力画像の全ての着目領域においてノイズを付与し、合成画像を生成する。ここで、入力画像の全ての着目領域において合成するノイズ画像として、類似度sが最大となる標準偏差（着目領域ごとに与えられる値であり、σ_smaxとする。）を有するノイズ画像を用いる。Ｓ５０８で合成部４０５が出力する画像（Iout(x,y)とする）は、以下の式（４）で表される。

式（４）において、Iin_iは、着目領域iにおける部分画像、Iw_iは、着目領域iにおける、類似度sが最大となる標準偏差σ_{smax_i}を有するノイズ画像を表す。

以上本実施例によれば、入力画像と、入力画像にノイズを付与した後に視覚のコントラスト感度に基づく閾値処理を施した画像との間の類似度を着目領域ごとに算出することで、付与するノイズの量を適切に決定する。これにより、画像の領域ごとに鮮鋭感を最大化するための最適な量のノイズを付与できるため、鮮鋭な画像を取得できる。

［実施例２］
実施例１では、全ての空間周波数に対する視覚のコントラスト感度が同一であるとの仮定の下、ノイズ付与処理を実行した。しかし実際には、図６に示すように、視覚のコントラスト感度は画像の空間周波数に応じて変化する。具体的には、4〜6cycles/degreeあたりにピークをもつバンドパスの形状をしており、高周波になるほどコントラスト感度は低下することが知られている。本実施例では、周波数ごとに異なるコントラスト感度を考慮して、より適切な量のノイズを付与することで、より鮮鋭な画像を取得する。なお、以下の説明では、上述の実施例との差分について述べ、共通する内容については簡略化あるいは省略する。

＜閾値処理部４０３の動作 （Ｓ５０３の詳細）＞
本実施例では、実施例１と異なり、閾値処理部４０３は、周波数ごとに異なる視覚のコントラスト感度を考慮して閾値処理を施す。以下、閾値処理部４０３の動作（図５のＳ５０３）について、図７を用いて説明する。Ｓ７０１において、閾値処理部４０３は、周波数に応じた視覚のコントラスト感度の特性VTF(u,v)を導出する。例えば、VTF(u,v)は 横方向の空間視覚特性VTFsx(u)と、縦方向の空間視覚特性VTFsy(v)とを乗算することで算出できる（VTF(u,v)= VTFsx(u) ×VTFsy(v)）。VTFsx(u)は以下の式（５）で定義され、VTFsy(u)は以下の式（６）で定義される。

式（５）及び式（６）において、pは画素ピッチ(mm)、Rは視距離(mm)、Nxは画像の横画素数、Nyは画像の縦画素数である。また、uは水平方向の空間周波数を、vは垂直方向の空間周波数を表す。これらの値は、一般的なユーザー観察環境に基づいて定める。なお、VTFsx(u) 並びにVTFsy(v)は、以下の式（７）で表される空間視覚特性

を視距離と、画素ピッチと、画素数とに応じて周波数空間でサンプリングしたものであり、基本形は同じである。式（７）において、fは空間周波数を表す。

なお、コントラスト感度の空間周波数特性を取得する手法は、上述の手法の他の手法を用いてもよい。例えば、実験、調査により、空間周波数とコントラスト感度との関係を予め取得し、ＲＯＭ３０９に格納しておき、演算時に参照してもよい。

Ｓ７０２において、閾値処理部４０３は、着目領域の画像Inc(x,y)を複数の周波数帯域に分割する。本実施例では、画像Inc(x,y)をフーリエ変換すること、帯域分割フィルタを乗算すること、及び逆フーリエ変換することにより、周波数帯域分割処理を実行する。なお、帯域分割の手法はこれに限定されず、例えばウェーブレット変換を用いるなど、他の手法により帯域分割してもよい。本実施例では、Ｓ７０２の結果、図８に示すような６つの周波数帯域ごとの画像I₁〜I₆を取得する。図８は、帯域分割フィルタによる帯域分割を、横軸、縦軸ともに正規化周波数の空間上に示した模式図である。Ｓ７０２の詳細については後述する。Ｓ７０３において、閾値処理部４０３は、Ｓ７０２で得られた周波数帯域ごとの画像に閾値処理を施すことで、画像Ith(x,y)を取得する。Ｓ７０３の詳細については後述する。

＜周波数帯域分割（Ｓ７０２）の詳細＞
以下、Ｓ７０２における周波数帯域分割処理について、詳述する。上述の通り本実施例では、画像Inc(x,y)をフーリエ変換し、帯域分割フィルタを乗算し、逆フーリエ変換することで、周波数帯域分割処理を実行する。まず、着目領域の画像Inc(x,y)をフーリエ変換し、Inc_fft(u,v)を得る。次に、Inc_fft(u,v)に対して、帯域分割フィルタcortex_k(u,v)を用いて帯域分割を施す。ここで、kは半径方向の帯域のインデックスである。帯域分割後の空間周波数情報I₁_fft〜I₆_fftは、それぞれ以下の式（８）で表現される。

ここで、帯域分割フィルタcortex_k(u,v)は、次のように定義する。

cortex_pol_k(ρ,θ) はcortex_k(u,v)を極座標で表現したものである。dom_k (ρ)、 base (ρ)

の定義は次の通りである。

ここで

であり、

である。参考までにdom_k(ρ)の模式図を図９に示す。図９において、横軸は正規化周波数、縦軸は応答である。帯域分割により得られた空間周波数情報I_k_fft(u,v)を逆フーリエ変換することで、６つの周波数帯域画像I₁〜I₆を取得する。なお、上述の説明ではフーリエ変換を用いて、周波数領域上で周波数帯域分割を行ったが、本実施例はこれ以外の方法を用いてもよい。例えば、上述の特性を持ったデジタルフィルタを用いて、直接フィルタ処理を行うことで周波数帯域分割を実現してもよい。

＜閾値処理（Ｓ７０３）の詳細＞
以下、Ｓ７０３における閾値処理について、図１０を用いて詳述する。Ｓ１００１において、閾値処理部４０３は、６つの周波数帯域ごとの画像I₁〜I₆それぞれに対して、視覚のコントラスト感度に基づく輝度弁別の閾値を決定する。具体的には、Ｓ７０１で取得したコントラスト感度の特性VTFに基づき、使用する閾値を決定する。図１１は、画像I₁に対する閾値th₁及び画像I₆に対する閾値th₆の概念図である。視覚のコントラスト感度に基づく輝度弁別の閾値th_k(k=1…6)は、以下の式（１５）により求められる。

Ｓ１００２において、閾値処理部４０３は、閾値th_k(k=1…6)を用いて、周波数帯域ごとの画像I₁〜I₆に閾値処理を施すことで、I_thk(k=1…6)を算出する。具体的には、以下の式（１６）により算出される。

式（１６）において、

はI_nck (x,y)の平均画素値である。

Ｓ１００３において、閾値処理部４０３は、Ｓ１００２で取得したI_thk(k=1…6)を統合し、Ｓ５０３で閾値処理部４０３が最終的に出力するための画像Ith(x,y)を導出する。具体的には、以下の式（１７）により算出される。

［実施例３］
上述の実施例では、ノイズを付与することで、鮮鋭感の高い画像を取得した。本実施例では、ノイズリダクションの強度を領域ごとに変更することで、鮮鋭感の高い画像を取得する。なお、以下の説明では、上述の実施例との差分について述べ、共通する内容については簡略化あるいは省略する。

＜ノイズ処理部３０４の動作＞
以下、ノイズ処理部３０４の動作について、図１２を用いて説明する。Ｓ１２０１において、ノイズ処理部３０４は、未処理の着目領域を１つ選択する。本実施例では、入力デジタル画像の領域ごとに、ノイズリダクションを施すが、着目領域とはノイズリダクションを施す単位領域である。なお、着目領域として、任意のサイズの領域を設定してよい。Ｓ１２０２において、ノイズ量調整部４０２は、入力デジタル画像の着目領域に対する、ノイズリダクション処理を実行し、画像Inr(x,y)を得る。このノイズリダクション処理で用いるパラメータを、ノイズリダクションパラメータδとする。本ステップにおけるノイズ量調整部４０２の動作の詳細については後述する。

Ｓ１２０３において、閾値処理部４０３は、Ｓ１２０２で得られたInr(x,y)に対して閾値処理を施すことで、画像Inr(x,y)が人間の視覚上どのように見えるのかを再現する。本ステップにおける閾値処理は、実施例１または実施例２と同様である。Ｓ１２０３により得られる画像をIth(x,y)とする。Ｓ１２０４において、類似度算出部４０４は、入力画像Iinと、Ｓ１２０３で得られた画像Ithとの間の類似度を算出する。本ステップは、実施例１と同様である。Ｓ１２０５において、ノイズ処理部３０４は、ノイズリダクションパラメータδの全ての候補に対して類似度を算出したかを判定する。判定結果が真であればＳ１２０７に移行し、判定結果が偽であれば、Ｓ１２０６に移行する。

Ｓ１２０６において、ノイズ処理部３０４は、ノイズリダクションパラメータδを更新する。その後、Ｓ１２０２に戻る。Ｓ１２０７において、ノイズ処理部３０４は、全ての着目領域に対してＳ１２０１〜Ｓ１２０６の処理が実行されたかを判定する。判定結果が真であればＳ１２０８に移行し、判定結果が偽であれば、Ｓ１２０１に移行する。

Ｓ１２０８において、合成部４０５は、入力画像の全ての着目領域においてノイズリダクション処理を実行し、ノイズリダクション後の画像を統合して、合成画像を生成する。ここで、入力画像の全ての着目領域において実行するノイズリダクション処理とは、類似度sが最大となるノイズリダクションパラメータ（着目領域ごとに与えられる値であり、δ_smaxとする。）を用いるノイズリダクション処理である。Ｓ１２０８で合成部４０５が出力する画像Iout(x,y)は、以下の式（１８）で表される。

式（１８）において、I_{in_i}は、着目領域iにおける部分画像、δ_{smax_i}は、着目領域iにおける、類似度ｓが最大となるノイズリダクションパラメータ、関数nrはノイズ量調整部４０２における処理を表す。

＜ノイズ量調整部４０２の動作＞
以下、Ｓ１２０２におけるノイズ量調整部４０２の動作について説明する。本実施例では、フィルタ係数を変更することで、ノイズリダクション強度を変更する。フィルタ係数の変更の一例として、ガウシアンフィルタのパラメータを変更する場合について述べる。なお、ノイズリダクションの手法は、ガウシアンフィルタを用いるものに限らず他の手法を用いてもよい。例えば、平均値フィルタ、メディアンフィルタ、バイラテラルフィルタを用いるものであってもよいし、Non Local Means法などであってもよい。

ノイズ量調整部４０２では、設定されたノイズリダクションパラメータδに従い、ノイズリダクション処理を実行する。具体的には、以下の式（１９）に示す関数にて決定されるフィルタ係数fを用いるノイズリダクション処理を実行する。

［実施例４］
近年、HDR (High Dynamic Range)撮影が広く普及しており、カメラなどで撮影した画像を高輝度ディスプレイで表示する機会が増加している。他方、人間の視覚特性は、ディスプレイの表示輝度に応じて大きく変化することが広く知られている。例えば、人間の視覚感度は、暗部の画像を見るときよりも明部の画像を見るときの方が高い。

上述の実施例２では、視環境を考慮せずにノイズの付与量を決定していたが、HDR対応の高輝度ディスプレイでは、最大輝度が2〜3,000 cd/m²になるものもあり、視環境の違いによる影響を無視できない場合がある。そこで、本実施例では、このようなHDRディスプレイに対応したノイズ付与を行う。なお、以下の説明では、実施例２との差分について述べ、共通する内容については簡略化あるいは省略する。

＜ノイズ処理部３０４の構成＞
図１３は、本実施例におけるノイズ処理部３０４の構成を示すブロック図である。ノイズ処理部３０４は、入力されたデジタル画像に対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで、画像の鮮鋭感を向上させる。端子１３０１からデジタル画像が入力され、ノイズ量調整部１３０２および合成部１３０５に渡される。ノイズ量調整部１３０２は、入力されたデジタル画像のノイズ量を、ノイズ付与などにより調整する。

輝度取得部１３０７は、使用するディスプレイにおいて設定されている輝度を取得し、閾値処理部１３０３に渡す。閾値処理部１３０３は、輝度に基づいてコントラスト感度の周波数特性を導出し、当該導出したコントラスト感度の周波数特性に基づいて閾値を決定する。そして、当該決定した閾値を用いて、ノイズ量調整部１３０２によるノイズ量調整後の画像に対する閾値処理を施す。

類似度算出部１３０４は、端子１３０１から入力されるデジタル画像と、閾値処理部１３０３による閾値処理後の画像との間の類似度を算出する。合成部１３０５は、当該算出した類似度に基づき、領域ごとに最適な量のノイズを入力画像に付与することで合成画像を生成する。生成された合成画像は、端子１３０６から出力される。

＜閾値処理部１３０３の動作 （Ｓ５０３の詳細）＞
本実施例では、実施例２と異なり、閾値処理部１３０３は、使用するディスプレイの輝度に応じたコントラスト感度特性を導出し、当該導出したコントラスト感度特性に基づいて決定した閾値を用いて閾値処理を施す。以下、閾値処理部１３０３の動作について、図１４を用いて説明する。

Ｓ１４０１において、閾値処理部１３０３は、ディスプレイの輝度 [cd/m²]を取得する。Ｓ１４０２において、閾値処理部１３０３は、Ｓ１４０１で取得した輝度に基づいて、コントラスト感度の周波数特性VTF(u,v)を導出する。以下では、Bartenモデルにより導出された空間における視覚伝達関数を用いてコントラスト感度の周波数特性を算出する場合を説明するが、本実施例で使用するコントラスト感度の周波数特性は他の方法を用いて算出しても良い。例えば、輝度を変化させて被写体を撮影することで、輝度ごとのコントラスト感度の周波数特性を予め測定、ＲＯＭ３０９に格納しておき、演算時に参照してもよい。

Bartenの空間VTFを用いた場合、周波数u,vに対するコントラスト感度の周波数特性VTF(u,v)は、以下の式（２０）で与えられる。

式（２０）において、X_oは視野角[degree]であり、pは画素ピッチ(mm)、Rは視距離(mm)、Nxは画像の横画素数、Nyは画像の縦画素数である。これらの値は、一般的なユーザー観察環境に基づいて定める。また、LはＳ１４０１で取得した輝度である。図１５に、輝度ごとの、コントラスト感度の周波数特性を示す。図１５を参照すると、輝度が高いほど、コントラスト感度のピークは大きくなり、また、このピークに対応する周波数（ピーク周波数）が高周波側にシフトすることが分かる。本実施例では、視環境（具体的にはディスプレイの表示輝度）に応じてコントラスト感度の周波数特性VTF(u,v)を変えて閾値を決定するので、様々な視環境に対する最適なノイズ付与量を決定できる。

Ｓ１４０３において、閾値処理部１３０３は、着目領域の画像Inc(x,y)を複数の周波数帯域に分割する。本ステップは、実施例２のＳ７０２と同様である。Ｓ１４０４において、閾値処理部１３０３は、Ｓ１４０３で得られた周波数帯域ごとの画像に閾値処理を施すことで、画像Ith(x,y)を取得する。本ステップは、実施例２のＳ７０３と同様である。

なお、上述の説明では、周波数帯域分割処理を実行する場合（実施例２）について説明しているが、本実施例は、周波数帯域分割処理を実行しない場合（実施例１）に適用することもできる。以上本実施例によれば、閾値を決定するために用いるコントラスト感度の周波数特性を、ディスプレイの表示輝度に基づき導出することで、撮影画像をディスプレイに表示するにあたって鮮鋭感を向上させるために付与すべき最適なノイズ量を決定できる。よって、HDRディスプレイなどの高輝度ディスプレイに鮮鋭な画像を表示できる。
［実施例５］
上述の実施例では、ノイズ処理（ノイズ付与、ノイズリダクションなど）の対象は写真などの静止画であった。本実施例では、撮影した映像（動画）をディスプレイに表示する際、映像の動き量に基づいてノイズ付与量を算出する実施形態について説明する。なお、以下の説明では、上述の実施例２との差分について述べ、共通する内容については簡略化あるいは省略する。

＜ノイズ処理部３０４の構成＞
図１６は、本実施例におけるノイズ処理部３０４の構成を示すブロック図である。ノイズ処理部３０４は、入力された映像の各フレームに対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで映像の鮮鋭感を向上させる。端子１６０１から映像が入力され、映像内の処理対象フレームがノイズ量調整部１６０２、類似度算出部１６０４、および合成部１６０５に渡され、映像が動き量導出部１６０７に渡される。ノイズ量調整部１６０２は、処理対象フレームのノイズ量を、ノイズ付与などにより調整する。

動き量導出部１６０７は、動き量を導出し、閾値処理部１６０３に渡す。閾値処理部１６０３の動作の詳細については後述する。閾値処理部１６０３は、動き量に基づいてコントラスト感度の周波数特性を導出し、当該導出したコントラスト感度の周波数特性に基づいて閾値を決定する。そして、当該決定した閾値を用いて、ノイズ量調整部１６０２によるノイズ量調整後の画像に対する閾値処理を施す。類似度算出部１６０４は、端子１６０１から入力される画像（即ち、処理対象フレーム）と、閾値処理部１６０３による閾値処理後の画像との間の類似度を算出する。合成部１６０５は、当該算出した類似度に基づき、領域ごとに最適な量のノイズを付与することで合成画像を生成する。

＜閾値処理部１６０３の動作 (Ｓ５０３) の詳細＞
本実施例では、閾値処理部１６０３は、動き量導出部１６０７によって導出された動き量に基づきコントラスト感度の周波数特性を導出し、当該導出したコントラスト感度の周波数特性に基づいて閾値を決定する。そして、当該決定した閾値を用いて、ノイズ量調整部１６０２によるノイズ調整後の画像に対する閾値処理を施す。以下、閾値処理部１６０３の動作について、図１７を用いて説明する。Ｓ１７０１において、閾値処理部１６０３は、動き量を取得する。

Ｓ１７０２において、閾値処理部１６０３は、Ｓ１７０１で取得した動き量に基づいて、コントラスト感度の周波数特性を導出する。本実施例では、以下の式（２１）により算出される周波数特性を用いる（非特許文献１）。

式（２１）におけるk,ρ_maxは、以下の式（２２）及び式（２３）で定義される。

ここでv_Rは、フレーム内のブロックごとの移動速度である。本実施例では、動き量導出部１６０７によって導出される動き量として、移動速度v_Rを用いる。移動速度v_Rは、領域分割されたブロックごとの動きベクトルにより決定される。例えば、動きベクトルの大きさの平均値をそのままv_Rとしてもよいし、或いは、算出した動きベクトルのうち最も頻度の高いものの大きさをv_Rとしてもよい。また、s₁=6.1、s₂= 7.3、p₁=45.9、c₀ = 0.6329、c₁ = 0.8404、c₂ = 0.7986である。また、X_oは視野角[degree]であり、pは画素ピッチ(mm)、Rは視距離(mm)、Nxはフレームの横画素数、Nyはフレームの縦画素数である。これらの値は、一般的なユーザー観察環境に基づいて定める。なお、本実施例で使用する周波数特性は式（２１）に示すものではなく他のものを用いてもよい。例えば、移動量を変化させて被写体を撮影することで、移動量ごとのコントラスト感度の周波数特性を予め測定、ＲＯＭ３０９に記録しておき、演算時に参照してもよい。

Ｓ１７０３において、閾値処理部１６０３は、着目領域の画像Inc(x,y)を複数の周波数帯域に分割する。本ステップは、実施例２のＳ７０２と同様である。Ｓ１７０４において、閾値処理部１６０３は、Ｓ１７０３で得られた周波数帯域ごとの画像に閾値処理を施すことで、画像Ith(x,y)を取得する。本ステップは、実施例２のＳ７０３と同様である。

＜動き量導出部１６０７の動作＞
図１８は、本実施例における動き量導出部１６０７の構成を示すブロック図である端子１８０１から映像が入力され、処理対象フレームは動きベクトル算出部１８０３に渡され、複数フレームから成る映像はフレームメモリ１８０２に渡される。処理対象フレームを受け取る動きベクトル算出部１８０３は、フレームメモリ１８０２から処理対象フレームの１つ前のフレームも取得し、これらのフレームに対してブロック毎に分割する領域分割処理を実行する。分割するブロックのサイズは128×128pixelや256×256pixelなど任意のサイズの領域であってよい。そして、領域分割された、処理対象フレームおよび処理対象フレームの１つ前のフレームに基づき、ブロック毎に動きベクトルを求めることで、動き成分d[pixel]を算出し（図１９（ａ）を参照）、移動速度算出部１８０４に送信する。

移動速度算出部１８０４は、ＲＡＭ３１０に記憶されているフレームレート設定情報（FR[fps]とする）を取得し（図１９（ｂ）を参照）、dおよびFRに基づき、移動速度v_R[deg/sec]を算出する。ユーザーが標準的な観察距離である、ディスプレイ（ＦＨＤディスプレイとする）の高さの３倍の距離から観察したとき、移動速度v_R[deg/sec]は以下の式（２４）で算出される（図１９を参照）。

移動速度算出部１８０４によって算出された、ブロックごとの移動速度v_R[deg/sec]は、端子１８０５から出力され、閾値処理部１６０３に送信される。なお、上述の説明では、周波数帯域分割処理を実行する場合（実施例２）について説明しているが、本実施例は、周波数帯域分割処理を実行しない場合（実施例１）や、輝度を取得する場合（実施例４）にも適用できる。

以上本実施例によれば、閾値を決定するために用いるコントラスト感度の周波数特性を、動画の動き量に基づいて導出することで、この動画をディスプレイに表示するにあたって鮮鋭感を向上させるために付与すべき最適なノイズ量を決定できる。よって、フレームの領域ごとに鮮鋭感を最大化する最適な量のノイズを付与でき、ディスプレイに鮮鋭な映像を表示できる。

［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４０２ ノイズ量調整部
４０３ 閾値処理部
４０４ 類似度算出部
４０５ 合成部

Claims (12)

1. ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理装置であって、
   前記入力画像に含まれるノイズ量を調整する調整手段と、
   前記調整手段によりノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成する作成手段と、
   前記作成手段により作成された複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、
   前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与する付与手段と
   を有することを特徴とする画像処理装置。
2. 前記調整手段は、着目領域ごとに複数の前記ノイズ画像を生成し、
   前記着目領域ごとに生成される複数のノイズ画像について、各ノイズ画像における画素値の平均はゼロであり、また、それぞれが異なる標準偏差を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記作成手段は、前記輝度差の閾値を用いる閾値処理により画像を作成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記作成手段は、前記入力画像に対する周波数帯域分割処理を実行し、前記周波数帯域分割処理で分割する各周波数帯域に応じて、前記閾値を決定することを特徴とする請求項３に記載の画像処理装置。
5. ディスプレイの輝度を取得する輝度取得手段を更に有し、
   前記作成手段は、前記ディスプレイの輝度に基づき、前記閾値を決定することを特徴とする請求項３または４に記載の画像処理装置。
6. 映像の動き量を導出する動き量導出手段を更に有し、
   前記入力画像とは、前記映像内の処理対象フレームであり、
   前記作成手段は、前記動き量に基づきコントラスト感度の周波数特性を導出することを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
7. 前記動き量導出手段は、処理対象フレームと、前記処理対象フレームの１つ前のフレームとを複数のブロックに分割し、各ブロックの動きベクトルを求めることで、前記動き量を導出することを特徴とする請求項６に記載の画像処理装置。
8. ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理方法であって、
   前記入力画像に含まれるノイズ量を調整する調整するステップと、
   前記調整するステップでノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成するステップと、
   前記作成するステップで作成された複数の画像の各々について、前記入力画像との間における類似度を算出するステップと、
   前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与するステップと
   を有することを特徴とする画像処理方法。
9. コンピュータに、請求項８の方法を実行させるための、プログラム。
10. ノイズリダクションの強度を領域ごとに変更することで、画像の鮮鋭感を向上させる画像処理装置であって、
    入力画像の各着目領域に対し、ノイズリダクションパラメータに従ってノイズリダクション処理を実行することで得られる画像に基づき、画像を作成する作成手段と、
    前記各着目領域に対し、前記作成手段が前記ノイズリダクションパラメータを更新することで作成した複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、
    前記各着目領域に対し、前記算出した類似度の中で最も類似度が高い画像に対応するノイズリダクションパラメータに従ってノイズリダクション処理を実行する手段と
    を有することを特徴とする画像処理装置。
11. ノイズリダクションの強度を領域ごとに変更することで、画像の鮮鋭感を向上させる画像処理方法であって、
    入力画像の各着目領域に対し、ノイズリダクションパラメータに従ってノイズリダクション処理を実行することで得られる画像に基づき、画像を作成するステップと、
    前記各着目領域に対し、前記作成するステップにおいて前記ノイズリダクションパラメータを更新することで作成した複数の画像の各々について、前記入力画像との間における類似度を算出するステップと、
    前記各着目領域に対し、前記算出した類似度の中で最も類似度が高い画像に対応するノイズリダクションパラメータに従ってノイズリダクション処理を実行するステップと
    を有することを特徴とする画像処理装置。
12. コンピュータに、請求項１１の方法を実行させるための、プログラム。