JP2017097612A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2017097612A JP2017097612A JP2015228943A JP2015228943A JP2017097612A JP 2017097612 A JP2017097612 A JP 2017097612A JP 2015228943 A JP2015228943 A JP 2015228943A JP 2015228943 A JP2015228943 A JP 2015228943A JP 2017097612 A JP2017097612 A JP 2017097612A
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise
- input image
- amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 160
- 238000003672 processing method Methods 0.000 title claims 4
- 230000035945 sensitivity Effects 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 38
- 230000009467 reduction Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 241000282412 Homo Species 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】鮮鋭感と、ノイズとのバランスが取れた画像を取得すること。
【解決手段】本発明は、ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理装置であって、前記入力画像に含まれるノイズ量を調整する調整手段と、前記調整手段によりノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成する作成手段と、前記作成手段により作成された複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与する付与手段とを有することを特徴とする画像処理装置である。
【選択図】図4
【解決手段】本発明は、ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理装置であって、前記入力画像に含まれるノイズ量を調整する調整手段と、前記調整手段によりノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成する作成手段と、前記作成手段により作成された複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与する付与手段とを有することを特徴とする画像処理装置である。
【選択図】図4
Description
本発明は、画像の鮮鋭感を向上させるための画像処理技術に関する。
デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、CCDやCMOSセンサなどの光電荷変換素子(撮像素子)で受光した光をデジタル信号に変換することでデジタル画像データを生成する。
デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮像感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。従って、高画質な画像データを得るためには混入したノイズを低減する必要がある。
一方、ノイズを含む画像の方がノイズを含まない画像よりも鮮鋭感が高く知覚されることが知られている。このため、ノイズは全て取り除けばよいというものではなく、最適な量のノイズを残し、いかに鮮鋭感とノイズとのバランスをとるかが重要である。例えば、特許文献1では、主要被写体の位置する領域に対してノイズを付与することで、人間が視覚的に知覚する鮮鋭感を高める手法が提案されている。
J.Laird et. al.. "Spatio-Velocity CSF as a Function of Retinal Velocity Using Unstabilized Stimuli", SPIE, 6057 (2006)
しかしながら、特許文献1には、ノイズを付与することで鮮鋭感が向上するか否かを考慮していないという課題がある。例えば、主要被写体が高振幅かつ低周波な画像信号に基づき表現されている場合、このような画像信号にノイズを付与してもあまり鮮鋭感が向上しないことが知られている。このため、このような画像信号に対して従来手法を適用すると、鮮鋭感は向上せずノイズのみが増加し、かえって画質が劣化する場合があった。
本発明は、ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理装置であって、前記入力画像に含まれるノイズ量を調整する調整手段と、前記調整手段によりノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成する作成手段と、前記作成手段により作成された複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与する付与手段とを有することを特徴とする画像処理装置である。
本発明により、画像の鮮鋭感を向上させるために付与するノイズの量を抑えることができるので、鮮鋭感とノイズとのバランスが取れた画像を取得することができる。
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
[実施例1]
<鮮鋭感向上の原理>
本実施例では、原信号に基づく入力画像と、入力画像にノイズを付与した後に閾値処理を施した画像との間の類似度(例えば相関係数)を算出することで、入力画像に付与するノイズの量を適切に決定する。以下、本実施例により、どのように鮮鋭感が向上するかを図1及び図2を用いて説明する。
<鮮鋭感向上の原理>
本実施例では、原信号に基づく入力画像と、入力画像にノイズを付与した後に閾値処理を施した画像との間の類似度(例えば相関係数)を算出することで、入力画像に付与するノイズの量を適切に決定する。以下、本実施例により、どのように鮮鋭感が向上するかを図1及び図2を用いて説明する。
図1は、入力される原信号の一例を示す図である。図1に示すように、原信号は、横軸に水平方向(横方向)の画素位置、縦軸に信号強度(輝度)をとったグラフ上における正弦波信号である。図2は、図1に示す原信号にノイズを付与した場合に、どのように鮮鋭感が向上もしくは劣化するかを説明するための模式図である。図2(a)は、原信号にノイズを付与しなかった場合、図2(b)は、原信号に適切な量のノイズを付与した場合、図2(c)は、ノイズの付与量が多すぎる場合を示す。ここで、図2中の各グラフ内の破線は、視覚のコントラスト感度に基づいた、人間が弁別可能な輝度差の閾値を示している。この閾値を超えた信号に基づく画像を見た人間は輝度差を知覚できるが、閾値以内の信号に基づく画像を見た人間は輝度差を知覚できない。
まず、図2(a)について説明する。図2(a)上段に示す信号は、図1に示した原信号と同一の信号である。図2(a)下段は、図2(a)上段に示す信号に上述の閾値を用いた処理を施した結果の信号、即ち、図2(a)上段に示す信号に基づく画像を人間が見たときにどのように知覚されるかを示す。つまり、図2(a)は、原信号に全くノイズを付与しないため、信号強度が弁別可能な輝度差の閾値を超えない結果、人間の視覚上、明暗差がない平坦な画像として知覚されることを示している。従って、原信号(波形信号)に基づく画像(明暗差がある画像)と、原信号に閾値処理を施した信号(強度が一定の信号)に基づく画像(明暗差がない平坦な画像)との間の類似度は低くなり、この場合の付与ノイズ量(ゼロ)が適切でないと判定される。
次に、図2(b)について説明する。図2(b)上段は、図1に示した原信号にノイズを付与した信号を示す。図2(b)下段は、図2(b)上段に示す信号に上述の閾値を用いた処理を施した結果の信号、即ち、図2(b)上段に示す信号に基づく画像を人間が見たときにどのように知覚されるかを示す。図2(b)上段に示すように、ノイズを付与したことで原信号と比べて振幅が増大している。これにより、横画素位置によっては、信号強度が弁別可能な輝度差の閾値を超えており、人間が知覚する画像に対応する信号(図2(b)下段)においても、原信号の波形がある程度再現されている。このように、図2(b)下段に示す信号は、原信号の波形の山および谷を一部再現しており、原信号と、原信号にノイズを付与した信号に閾値処理を施した信号との間には、ある程度の相関が確認される。このため、原信号に基づく画像と、図2(b)下段に示す信号に基づく画像との間の類似度は高くなり、付与したノイズ量は適切であることが、定量的に判定できる。
以下、図2(b)を分かりやすく説明するために、100cd/m2の輝度の被写体をユーザーが観察した場合を例に挙げて説明する。このとき、空間周波数3cycle/degreeに対するコントラスト感度は600である。これは、被写体の輝度100cd/m2に対して1/600の0.17 cd/m2の輝度差を識別できることを表している。一方、空間周波数50cycle/degreeに対するコントラスト感度は1である。これは、ユーザーが被写体の輝度差を識別できないことを表しており、実際は振幅成分を持つ被写体であっても、同一輝度の画像として、ユーザーは知覚する。従って、100cd/m2の輝度の被写体をユーザーが観察した場合、空間周波数3cycle/degreeの被写体に関して、100cd/m2の1/700に相当する0.14cd/m2の輝度差を識別できない。しかし、上述したようにノイズを付与することで、輝度差は0.17 cd/m2以上となるため、ユーザーは被写体の輝度差を識別できるようになる。
次に、図2(c)について説明する。図2(c)上段は、図1に示した原信号に、図2(b)の場合よりも多い量のノイズを付与した信号を示す。図2(c)下段は、図2(c)上段に示す信号に上述の閾値処理を施した結果の信号、即ち、図2(c)上段に示す信号に基づく画像を人間が見たときにどのように知覚されるかを示す。図2(c)上段に示すように、付与するノイズ量が多すぎると、原信号の波形がノイズに埋もれてしまい、人間が知覚する画像に対応する信号(図2(c)下段)から原信号の波形を推測できない。このように、原信号と、図2(c)下段に示す信号との間の関係は、ほぼ無相関となる。このため、原信号に基づく画像と、図2(c)下段に示す信号に基づく画像との間の類似度は低くなり、付与したノイズ量は適切ではないということが、定量的に判定できる。
本実施例では上述の原理を利用し、原信号に基づく画像と、原信号にノイズを付与した信号に閾値処理を施した信号に基づく画像との間の類似度を算出することで、付与すべき適切なノイズ量を決定する。
<画像処理装置の構成>
図3は、本実施例における画像処理装置を含むデジタルカメラの構成を示すブロック図である。撮像部301は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。アナログ/デジタル変換部(A/D変換部)302は、被写体の光量(アナログ値)をデジタル値に変換し、デジタル画像を生成する。画像処理部303は、A/D変換部302から出力されたデジタル画像に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理などのカメラ信号処理の全て又は一部の処理を実行する。ノイズ処理部304は、画像処理部303から出力されたデジタル画像に対するノイズに関する処理、本実施例ではノイズ付与処理を実行する。
図3は、本実施例における画像処理装置を含むデジタルカメラの構成を示すブロック図である。撮像部301は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、iRカットフィルタ、カラーフィルタ、及び、CMOSやCCDなどのセンサなどから構成され、被写体の光量を検知する。アナログ/デジタル変換部(A/D変換部)302は、被写体の光量(アナログ値)をデジタル値に変換し、デジタル画像を生成する。画像処理部303は、A/D変換部302から出力されたデジタル画像に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理などのカメラ信号処理の全て又は一部の処理を実行する。ノイズ処理部304は、画像処理部303から出力されたデジタル画像に対するノイズに関する処理、本実施例ではノイズ付与処理を実行する。
エンコーダ305は、ノイズが付与されたデジタル画像をJPEG等の圧縮フォーマットに変換する。メディアインタフェース(メディアI/F)306は、記憶メディア307(例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ)を接続するためのインタフェースである。CPU308は、システムバス315を介してデジタルカメラにおける各構成要素を統括的に制御する。例えば、CPU308は、ROM309に格納されたプログラムをRAM310に展開し、該展開したプログラムを実行することで、以下で説明する本実施例における処理を実行する。ROM309は、プログラム、データを格納する。RAM310は、プログラム、データを一時的に格納し、また、CPU308にワークエリアを提供する。
撮像系制御部311は、CPU308からの指示に従い、フォーカスを合わせる、シャッターを開く、絞りを調節するなど、撮像部301を制御する。操作部312は、ユーザーによる入力を受け付けるための手段であり、具体的には、ボタン(シャッターボタンなど)やモードダイヤルなどを含む。ユーザーは、これらを用いてISO感度、シャッター速度、F値等から成る撮影条件を設定する。ユーザーによって設定された撮影条件はRAM310に格納され、ユーザーがシャッターボタンを押下すると、該撮影条件に従った撮影が実行される。
デジタル/アナログ(D/A)変換部313は、ノイズに関する処理(本実施例では、ノイズ付与処理)が実行されたデジタル画像に対するアナログ変換処理を行う。表示部314は、ユーザーに情報を提示するための手段であり、一般的には液晶ディスプレイが広く用いられている。表示部314は、D/A変換部313から出力されたアナログ画像に基づいて、撮影画像を表示する。
<ノイズ処理部304の構成>
図4は、本実施例におけるノイズ処理部304の構成を示すブロック図である。本実施例におけるノイズ処理部304は、入力されたデジタル画像に対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで、画像の鮮鋭感を向上させる。
図4は、本実施例におけるノイズ処理部304の構成を示すブロック図である。本実施例におけるノイズ処理部304は、入力されたデジタル画像に対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで、画像の鮮鋭感を向上させる。
端子401からデジタル画像が入力され、ノイズ量調整部402および合成部405に渡される。ノイズ量調整部402は、入力されたデジタル画像のノイズ量を、ノイズ付与などにより調整する。閾値処理部403は、ノイズ量調整部402によるノイズ量調整後の画像に対して閾値処理を施す。類似度算出部404は、端子401から入力されるデジタル画像と、閾値処理部403による閾値処理後の画像との間の類似度を算出する。合成部405は、当該算出された類似度に基づき、領域ごとに最適な量のノイズを入力画像に付与することで合成画像を生成する。生成された合成画像は、端子406から出力され、エンコーダ305やD/A変換部313に送信される。
<ノイズ処理部304の動作>
以下、ノイズ処理部304の動作について、図5を用いて説明する。以降、「S」はステップを意味し、処理の動作の工程を示す。S501において、ノイズ処理部304は、未処理の着目領域を1つ選択する。本実施例では、入力デジタル画像の領域ごとに、合成するノイズ画像を導出するが、着目領域とはノイズ画像を導出・合成することでノイズを付与する単位領域である。なお、着目領域として、任意のサイズの領域を設定してよい。
以下、ノイズ処理部304の動作について、図5を用いて説明する。以降、「S」はステップを意味し、処理の動作の工程を示す。S501において、ノイズ処理部304は、未処理の着目領域を1つ選択する。本実施例では、入力デジタル画像の領域ごとに、合成するノイズ画像を導出するが、着目領域とはノイズ画像を導出・合成することでノイズを付与する単位領域である。なお、着目領域として、任意のサイズの領域を設定してよい。
S502において、ノイズ量調整部402は、着目領域と同じサイズのノイズ画像を、画素値の平均がゼロ、標準偏差がσとなるように生成し、このノイズ画像を入力デジタル画像の着目領域において合成する。なお、標準偏差の初期値(σ0とする)は1に設定する。S502で生成するノイズ画像は、例えばガウスノイズなどの白色ノイズ画像であり、Iw(x,y)とする。ただし、白色ノイズ画像のかわりにカラードノイズ画像を生成する場合にも、本実施例を適用可能である。着目領域における入力デジタル画像をIin(x,y)とすると、ノイズ量調整部402の出力(Inc(x,y)とする)は、以下の式(1)で表される。
S503において、閾値処理部403は、S502で得られたInc(x,y)に対して閾値処理を施すことで、画像Inc(x,y)が人間の視覚上どのように見えるのかを再現する。この閾値処理を「知覚画像の作成」と呼ぶ。ここで用いる閾値は、視覚のコントラスト感度に基づく輝度弁別の閾値(thとする)である。なお本実施例では、視覚のコントラスト感度は、画像の空間周波数によらず一定であると仮定して、処理を行う。空間周波数ごとに異なるコントラスト感度を用いた実施形態に関しては、実施例2で述べる。S503で閾値処理部403が出力する画像(Ith(x,y)とする)は、以下の式(2)で表わされる。
式(2)において、
はInc(x,y)の平均画素値である。式(2)では、画像Incの各画素の画素値に対して
との差分を算出し、当該算出した差分と、閾値thとの大小関係を判定している。そして、差分が閾値より大きければ知覚できる信号として画素値をそのまま保持し、差分が閾値以下であれば知覚できない信号として画素値を平均画素値
に置き換える。
S504において、類似度算出部404は、入力画像Iinと、閾値処理部403が出力する画像Ithとの間の類似度を算出する。本実施例では下記のように、類似度として相関係数を算出するが、類似度の算出手法として他の方法を用いることもできる。例えば、類似度を算出するために最小二乗誤差を求めてもよいし、PSNR(Peak Signal-to-Noise Ratio)、SSIM(Structural Similarity)などの画質評価の手法を用いて類似度を算出してもよい。
本実施例で算出する類似度(sとする)は、着目領域の画像幅をw、画像高さをhとすると、以下の式(3)で表される。
S505において、ノイズ処理部304は、標準偏差σの全ての候補に対して類似度を算出したかを判定する。判定結果が真であればS507に移行し、判定結果が偽であればS506に移行する。なお、上述の説明では、標準偏差σの全ての候補に対して類似度sを算出しているが、本実施例はこれに他の方法を用いてもよい。例えば、標準偏差σの候補を更新して算出した類似度が、更新前のσの候補に対する類似度より小さくなるような場合に、最大となる類似度の探索を終了してもよい。
S506において、ノイズ処理部304は、標準偏差σを更新する。本処理は、入力画像の着目領域に含まれるノイズ量を段階的に調整する目的で行われる。S506の後、S502に戻る。S507において、ノイズ処理部304は、全ての着目領域に対してS501〜S506の処理が実行されたかを判定する。判定結果が真であればS508に移行し、判定結果が偽であれば、S501に移行する。
S508において、合成部405は、入力画像の全ての着目領域においてノイズを付与し、合成画像を生成する。ここで、入力画像の全ての着目領域において合成するノイズ画像として、類似度sが最大となる標準偏差(着目領域ごとに与えられる値であり、σsmaxとする。)を有するノイズ画像を用いる。S508で合成部405が出力する画像(Iout(x,y)とする)は、以下の式(4)で表される。
式(4)において、Iin_iは、着目領域iにおける部分画像、Iw_iは、着目領域iにおける、類似度sが最大となる標準偏差σsmax_iを有するノイズ画像を表す。
以上本実施例によれば、入力画像と、入力画像にノイズを付与した後に視覚のコントラスト感度に基づく閾値処理を施した画像との間の類似度を着目領域ごとに算出することで、付与するノイズの量を適切に決定する。これにより、画像の領域ごとに鮮鋭感を最大化するための最適な量のノイズを付与できるため、鮮鋭な画像を取得できる。
[実施例2]
実施例1では、全ての空間周波数に対する視覚のコントラスト感度が同一であるとの仮定の下、ノイズ付与処理を実行した。しかし実際には、図6に示すように、視覚のコントラスト感度は画像の空間周波数に応じて変化する。具体的には、4〜6cycles/degreeあたりにピークをもつバンドパスの形状をしており、高周波になるほどコントラスト感度は低下することが知られている。本実施例では、周波数ごとに異なるコントラスト感度を考慮して、より適切な量のノイズを付与することで、より鮮鋭な画像を取得する。なお、以下の説明では、上述の実施例との差分について述べ、共通する内容については簡略化あるいは省略する。
実施例1では、全ての空間周波数に対する視覚のコントラスト感度が同一であるとの仮定の下、ノイズ付与処理を実行した。しかし実際には、図6に示すように、視覚のコントラスト感度は画像の空間周波数に応じて変化する。具体的には、4〜6cycles/degreeあたりにピークをもつバンドパスの形状をしており、高周波になるほどコントラスト感度は低下することが知られている。本実施例では、周波数ごとに異なるコントラスト感度を考慮して、より適切な量のノイズを付与することで、より鮮鋭な画像を取得する。なお、以下の説明では、上述の実施例との差分について述べ、共通する内容については簡略化あるいは省略する。
<閾値処理部403の動作 (S503の詳細)>
本実施例では、実施例1と異なり、閾値処理部403は、周波数ごとに異なる視覚のコントラスト感度を考慮して閾値処理を施す。以下、閾値処理部403の動作(図5のS503)について、図7を用いて説明する。S701において、閾値処理部403は、周波数に応じた視覚のコントラスト感度の特性VTF(u,v)を導出する。例えば、VTF(u,v)は 横方向の空間視覚特性VTFsx(u)と、縦方向の空間視覚特性VTFsy(v)とを乗算することで算出できる(VTF(u,v)= VTFsx(u) ×VTFsy(v))。VTFsx(u)は以下の式(5)で定義され、VTFsy(u)は以下の式(6)で定義される。
本実施例では、実施例1と異なり、閾値処理部403は、周波数ごとに異なる視覚のコントラスト感度を考慮して閾値処理を施す。以下、閾値処理部403の動作(図5のS503)について、図7を用いて説明する。S701において、閾値処理部403は、周波数に応じた視覚のコントラスト感度の特性VTF(u,v)を導出する。例えば、VTF(u,v)は 横方向の空間視覚特性VTFsx(u)と、縦方向の空間視覚特性VTFsy(v)とを乗算することで算出できる(VTF(u,v)= VTFsx(u) ×VTFsy(v))。VTFsx(u)は以下の式(5)で定義され、VTFsy(u)は以下の式(6)で定義される。
式(5)及び式(6)において、pは画素ピッチ(mm)、Rは視距離(mm)、Nxは画像の横画素数、Nyは画像の縦画素数である。また、uは水平方向の空間周波数を、vは垂直方向の空間周波数を表す。これらの値は、一般的なユーザー観察環境に基づいて定める。なお、VTFsx(u) 並びにVTFsy(v)は、以下の式(7)で表される空間視覚特性
を視距離と、画素ピッチと、画素数とに応じて周波数空間でサンプリングしたものであり、基本形は同じである。式(7)において、fは空間周波数を表す。
なお、コントラスト感度の空間周波数特性を取得する手法は、上述の手法の他の手法を用いてもよい。例えば、実験、調査により、空間周波数とコントラスト感度との関係を予め取得し、ROM309に格納しておき、演算時に参照してもよい。
S702において、閾値処理部403は、着目領域の画像Inc(x,y)を複数の周波数帯域に分割する。本実施例では、画像Inc(x,y)をフーリエ変換すること、帯域分割フィルタを乗算すること、及び逆フーリエ変換することにより、周波数帯域分割処理を実行する。なお、帯域分割の手法はこれに限定されず、例えばウェーブレット変換を用いるなど、他の手法により帯域分割してもよい。本実施例では、S702の結果、図8に示すような6つの周波数帯域ごとの画像I1〜I6を取得する。図8は、帯域分割フィルタによる帯域分割を、横軸、縦軸ともに正規化周波数の空間上に示した模式図である。S702の詳細については後述する。S703において、閾値処理部403は、S702で得られた周波数帯域ごとの画像に閾値処理を施すことで、画像Ith(x,y)を取得する。S703の詳細については後述する。
<周波数帯域分割(S702)の詳細>
以下、S702における周波数帯域分割処理について、詳述する。上述の通り本実施例では、画像Inc(x,y)をフーリエ変換し、帯域分割フィルタを乗算し、逆フーリエ変換することで、周波数帯域分割処理を実行する。まず、着目領域の画像Inc(x,y)をフーリエ変換し、Inc_fft(u,v)を得る。次に、Inc_fft(u,v)に対して、帯域分割フィルタcortexk(u,v)を用いて帯域分割を施す。ここで、kは半径方向の帯域のインデックスである。帯域分割後の空間周波数情報I1_fft〜I6_fftは、それぞれ以下の式(8)で表現される。
以下、S702における周波数帯域分割処理について、詳述する。上述の通り本実施例では、画像Inc(x,y)をフーリエ変換し、帯域分割フィルタを乗算し、逆フーリエ変換することで、周波数帯域分割処理を実行する。まず、着目領域の画像Inc(x,y)をフーリエ変換し、Inc_fft(u,v)を得る。次に、Inc_fft(u,v)に対して、帯域分割フィルタcortexk(u,v)を用いて帯域分割を施す。ここで、kは半径方向の帯域のインデックスである。帯域分割後の空間周波数情報I1_fft〜I6_fftは、それぞれ以下の式(8)で表現される。
ここで、帯域分割フィルタcortexk(u,v)は、次のように定義する。
の定義は次の通りである。
ここで
であり、
である。参考までにdomk(ρ)の模式図を図9に示す。図9において、横軸は正規化周波数、縦軸は応答である。帯域分割により得られた空間周波数情報Ik_fft(u,v)を逆フーリエ変換することで、6つの周波数帯域画像I1〜I6を取得する。なお、上述の説明ではフーリエ変換を用いて、周波数領域上で周波数帯域分割を行ったが、本実施例はこれ以外の方法を用いてもよい。例えば、上述の特性を持ったデジタルフィルタを用いて、直接フィルタ処理を行うことで周波数帯域分割を実現してもよい。
<閾値処理(S703)の詳細>
以下、S703における閾値処理について、図10を用いて詳述する。S1001において、閾値処理部403は、6つの周波数帯域ごとの画像I1〜I6それぞれに対して、視覚のコントラスト感度に基づく輝度弁別の閾値を決定する。具体的には、S701で取得したコントラスト感度の特性VTFに基づき、使用する閾値を決定する。図11は、画像I1に対する閾値th1及び画像I6に対する閾値th6の概念図である。視覚のコントラスト感度に基づく輝度弁別の閾値thk(k=1…6)は、以下の式(15)により求められる。
以下、S703における閾値処理について、図10を用いて詳述する。S1001において、閾値処理部403は、6つの周波数帯域ごとの画像I1〜I6それぞれに対して、視覚のコントラスト感度に基づく輝度弁別の閾値を決定する。具体的には、S701で取得したコントラスト感度の特性VTFに基づき、使用する閾値を決定する。図11は、画像I1に対する閾値th1及び画像I6に対する閾値th6の概念図である。視覚のコントラスト感度に基づく輝度弁別の閾値thk(k=1…6)は、以下の式(15)により求められる。
S1002において、閾値処理部403は、閾値thk(k=1…6)を用いて、周波数帯域ごとの画像I1〜I6に閾値処理を施すことで、Ithk(k=1…6)を算出する。具体的には、以下の式(16)により算出される。
式(16)において、
はInck (x,y)の平均画素値である。
S1003において、閾値処理部403は、S1002で取得したIthk(k=1…6)を統合し、S503で閾値処理部403が最終的に出力するための画像Ith(x,y)を導出する。具体的には、以下の式(17)により算出される。
[実施例3]
上述の実施例では、ノイズを付与することで、鮮鋭感の高い画像を取得した。本実施例では、ノイズリダクションの強度を領域ごとに変更することで、鮮鋭感の高い画像を取得する。なお、以下の説明では、上述の実施例との差分について述べ、共通する内容については簡略化あるいは省略する。
上述の実施例では、ノイズを付与することで、鮮鋭感の高い画像を取得した。本実施例では、ノイズリダクションの強度を領域ごとに変更することで、鮮鋭感の高い画像を取得する。なお、以下の説明では、上述の実施例との差分について述べ、共通する内容については簡略化あるいは省略する。
<ノイズ処理部304の動作>
以下、ノイズ処理部304の動作について、図12を用いて説明する。S1201において、ノイズ処理部304は、未処理の着目領域を1つ選択する。本実施例では、入力デジタル画像の領域ごとに、ノイズリダクションを施すが、着目領域とはノイズリダクションを施す単位領域である。なお、着目領域として、任意のサイズの領域を設定してよい。S1202において、ノイズ量調整部402は、入力デジタル画像の着目領域に対する、ノイズリダクション処理を実行し、画像Inr(x,y)を得る。このノイズリダクション処理で用いるパラメータを、ノイズリダクションパラメータδとする。本ステップにおけるノイズ量調整部402の動作の詳細については後述する。
以下、ノイズ処理部304の動作について、図12を用いて説明する。S1201において、ノイズ処理部304は、未処理の着目領域を1つ選択する。本実施例では、入力デジタル画像の領域ごとに、ノイズリダクションを施すが、着目領域とはノイズリダクションを施す単位領域である。なお、着目領域として、任意のサイズの領域を設定してよい。S1202において、ノイズ量調整部402は、入力デジタル画像の着目領域に対する、ノイズリダクション処理を実行し、画像Inr(x,y)を得る。このノイズリダクション処理で用いるパラメータを、ノイズリダクションパラメータδとする。本ステップにおけるノイズ量調整部402の動作の詳細については後述する。
S1203において、閾値処理部403は、S1202で得られたInr(x,y)に対して閾値処理を施すことで、画像Inr(x,y)が人間の視覚上どのように見えるのかを再現する。本ステップにおける閾値処理は、実施例1または実施例2と同様である。S1203により得られる画像をIth(x,y)とする。S1204において、類似度算出部404は、入力画像Iinと、S1203で得られた画像Ithとの間の類似度を算出する。本ステップは、実施例1と同様である。S1205において、ノイズ処理部304は、ノイズリダクションパラメータδの全ての候補に対して類似度を算出したかを判定する。判定結果が真であればS1207に移行し、判定結果が偽であれば、S1206に移行する。
S1206において、ノイズ処理部304は、ノイズリダクションパラメータδを更新する。その後、S1202に戻る。S1207において、ノイズ処理部304は、全ての着目領域に対してS1201〜S1206の処理が実行されたかを判定する。判定結果が真であればS1208に移行し、判定結果が偽であれば、S1201に移行する。
S1208において、合成部405は、入力画像の全ての着目領域においてノイズリダクション処理を実行し、ノイズリダクション後の画像を統合して、合成画像を生成する。ここで、入力画像の全ての着目領域において実行するノイズリダクション処理とは、類似度sが最大となるノイズリダクションパラメータ(着目領域ごとに与えられる値であり、δsmaxとする。)を用いるノイズリダクション処理である。S1208で合成部405が出力する画像Iout(x,y)は、以下の式(18)で表される。
式(18)において、Iin_iは、着目領域iにおける部分画像、δsmax_iは、着目領域iにおける、類似度sが最大となるノイズリダクションパラメータ、関数nrはノイズ量調整部402における処理を表す。
<ノイズ量調整部402の動作>
以下、S1202におけるノイズ量調整部402の動作について説明する。本実施例では、フィルタ係数を変更することで、ノイズリダクション強度を変更する。フィルタ係数の変更の一例として、ガウシアンフィルタのパラメータを変更する場合について述べる。なお、ノイズリダクションの手法は、ガウシアンフィルタを用いるものに限らず他の手法を用いてもよい。例えば、平均値フィルタ、メディアンフィルタ、バイラテラルフィルタを用いるものであってもよいし、Non Local Means法などであってもよい。
以下、S1202におけるノイズ量調整部402の動作について説明する。本実施例では、フィルタ係数を変更することで、ノイズリダクション強度を変更する。フィルタ係数の変更の一例として、ガウシアンフィルタのパラメータを変更する場合について述べる。なお、ノイズリダクションの手法は、ガウシアンフィルタを用いるものに限らず他の手法を用いてもよい。例えば、平均値フィルタ、メディアンフィルタ、バイラテラルフィルタを用いるものであってもよいし、Non Local Means法などであってもよい。
ノイズ量調整部402では、設定されたノイズリダクションパラメータδに従い、ノイズリダクション処理を実行する。具体的には、以下の式(19)に示す関数にて決定されるフィルタ係数fを用いるノイズリダクション処理を実行する。
[実施例4]
近年、HDR (High Dynamic Range)撮影が広く普及しており、カメラなどで撮影した画像を高輝度ディスプレイで表示する機会が増加している。他方、人間の視覚特性は、ディスプレイの表示輝度に応じて大きく変化することが広く知られている。例えば、人間の視覚感度は、暗部の画像を見るときよりも明部の画像を見るときの方が高い。
近年、HDR (High Dynamic Range)撮影が広く普及しており、カメラなどで撮影した画像を高輝度ディスプレイで表示する機会が増加している。他方、人間の視覚特性は、ディスプレイの表示輝度に応じて大きく変化することが広く知られている。例えば、人間の視覚感度は、暗部の画像を見るときよりも明部の画像を見るときの方が高い。
上述の実施例2では、視環境を考慮せずにノイズの付与量を決定していたが、HDR対応の高輝度ディスプレイでは、最大輝度が2〜3,000 cd/m2になるものもあり、視環境の違いによる影響を無視できない場合がある。そこで、本実施例では、このようなHDRディスプレイに対応したノイズ付与を行う。なお、以下の説明では、実施例2との差分について述べ、共通する内容については簡略化あるいは省略する。
<ノイズ処理部304の構成>
図13は、本実施例におけるノイズ処理部304の構成を示すブロック図である。ノイズ処理部304は、入力されたデジタル画像に対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで、画像の鮮鋭感を向上させる。端子1301からデジタル画像が入力され、ノイズ量調整部1302および合成部1305に渡される。ノイズ量調整部1302は、入力されたデジタル画像のノイズ量を、ノイズ付与などにより調整する。
図13は、本実施例におけるノイズ処理部304の構成を示すブロック図である。ノイズ処理部304は、入力されたデジタル画像に対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで、画像の鮮鋭感を向上させる。端子1301からデジタル画像が入力され、ノイズ量調整部1302および合成部1305に渡される。ノイズ量調整部1302は、入力されたデジタル画像のノイズ量を、ノイズ付与などにより調整する。
輝度取得部1307は、使用するディスプレイにおいて設定されている輝度を取得し、閾値処理部1303に渡す。閾値処理部1303は、輝度に基づいてコントラスト感度の周波数特性を導出し、当該導出したコントラスト感度の周波数特性に基づいて閾値を決定する。そして、当該決定した閾値を用いて、ノイズ量調整部1302によるノイズ量調整後の画像に対する閾値処理を施す。
類似度算出部1304は、端子1301から入力されるデジタル画像と、閾値処理部1303による閾値処理後の画像との間の類似度を算出する。合成部1305は、当該算出した類似度に基づき、領域ごとに最適な量のノイズを入力画像に付与することで合成画像を生成する。生成された合成画像は、端子1306から出力される。
<閾値処理部1303の動作 (S503の詳細)>
本実施例では、実施例2と異なり、閾値処理部1303は、使用するディスプレイの輝度に応じたコントラスト感度特性を導出し、当該導出したコントラスト感度特性に基づいて決定した閾値を用いて閾値処理を施す。以下、閾値処理部1303の動作について、図14を用いて説明する。
本実施例では、実施例2と異なり、閾値処理部1303は、使用するディスプレイの輝度に応じたコントラスト感度特性を導出し、当該導出したコントラスト感度特性に基づいて決定した閾値を用いて閾値処理を施す。以下、閾値処理部1303の動作について、図14を用いて説明する。
S1401において、閾値処理部1303は、ディスプレイの輝度 [cd/m2]を取得する。S1402において、閾値処理部1303は、S1401で取得した輝度に基づいて、コントラスト感度の周波数特性VTF(u,v)を導出する。以下では、Bartenモデルにより導出された空間における視覚伝達関数を用いてコントラスト感度の周波数特性を算出する場合を説明するが、本実施例で使用するコントラスト感度の周波数特性は他の方法を用いて算出しても良い。例えば、輝度を変化させて被写体を撮影することで、輝度ごとのコントラスト感度の周波数特性を予め測定、ROM309に格納しておき、演算時に参照してもよい。
Bartenの空間VTFを用いた場合、周波数u,vに対するコントラスト感度の周波数特性VTF(u,v)は、以下の式(20)で与えられる。
式(20)において、Xoは視野角[degree]であり、pは画素ピッチ(mm)、Rは視距離(mm)、Nxは画像の横画素数、Nyは画像の縦画素数である。これらの値は、一般的なユーザー観察環境に基づいて定める。また、LはS1401で取得した輝度である。図15に、輝度ごとの、コントラスト感度の周波数特性を示す。図15を参照すると、輝度が高いほど、コントラスト感度のピークは大きくなり、また、このピークに対応する周波数(ピーク周波数)が高周波側にシフトすることが分かる。本実施例では、視環境(具体的にはディスプレイの表示輝度)に応じてコントラスト感度の周波数特性VTF(u,v)を変えて閾値を決定するので、様々な視環境に対する最適なノイズ付与量を決定できる。
S1403において、閾値処理部1303は、着目領域の画像Inc(x,y)を複数の周波数帯域に分割する。本ステップは、実施例2のS702と同様である。S1404において、閾値処理部1303は、S1403で得られた周波数帯域ごとの画像に閾値処理を施すことで、画像Ith(x,y)を取得する。本ステップは、実施例2のS703と同様である。
なお、上述の説明では、周波数帯域分割処理を実行する場合(実施例2)について説明しているが、本実施例は、周波数帯域分割処理を実行しない場合(実施例1)に適用することもできる。以上本実施例によれば、閾値を決定するために用いるコントラスト感度の周波数特性を、ディスプレイの表示輝度に基づき導出することで、撮影画像をディスプレイに表示するにあたって鮮鋭感を向上させるために付与すべき最適なノイズ量を決定できる。よって、HDRディスプレイなどの高輝度ディスプレイに鮮鋭な画像を表示できる。
[実施例5]
上述の実施例では、ノイズ処理(ノイズ付与、ノイズリダクションなど)の対象は写真などの静止画であった。本実施例では、撮影した映像(動画)をディスプレイに表示する際、映像の動き量に基づいてノイズ付与量を算出する実施形態について説明する。なお、以下の説明では、上述の実施例2との差分について述べ、共通する内容については簡略化あるいは省略する。
[実施例5]
上述の実施例では、ノイズ処理(ノイズ付与、ノイズリダクションなど)の対象は写真などの静止画であった。本実施例では、撮影した映像(動画)をディスプレイに表示する際、映像の動き量に基づいてノイズ付与量を算出する実施形態について説明する。なお、以下の説明では、上述の実施例2との差分について述べ、共通する内容については簡略化あるいは省略する。
<ノイズ処理部304の構成>
図16は、本実施例におけるノイズ処理部304の構成を示すブロック図である。ノイズ処理部304は、入力された映像の各フレームに対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで映像の鮮鋭感を向上させる。端子1601から映像が入力され、映像内の処理対象フレームがノイズ量調整部1602、類似度算出部1604、および合成部1605に渡され、映像が動き量導出部1607に渡される。ノイズ量調整部1602は、処理対象フレームのノイズ量を、ノイズ付与などにより調整する。
図16は、本実施例におけるノイズ処理部304の構成を示すブロック図である。ノイズ処理部304は、入力された映像の各フレームに対して、領域ごとに付与すべきノイズ量を算出し、当該算出したノイズ量に従ってノイズを付与することで映像の鮮鋭感を向上させる。端子1601から映像が入力され、映像内の処理対象フレームがノイズ量調整部1602、類似度算出部1604、および合成部1605に渡され、映像が動き量導出部1607に渡される。ノイズ量調整部1602は、処理対象フレームのノイズ量を、ノイズ付与などにより調整する。
動き量導出部1607は、動き量を導出し、閾値処理部1603に渡す。閾値処理部1603の動作の詳細については後述する。閾値処理部1603は、動き量に基づいてコントラスト感度の周波数特性を導出し、当該導出したコントラスト感度の周波数特性に基づいて閾値を決定する。そして、当該決定した閾値を用いて、ノイズ量調整部1602によるノイズ量調整後の画像に対する閾値処理を施す。類似度算出部1604は、端子1601から入力される画像(即ち、処理対象フレーム)と、閾値処理部1603による閾値処理後の画像との間の類似度を算出する。合成部1605は、当該算出した類似度に基づき、領域ごとに最適な量のノイズを付与することで合成画像を生成する。
<閾値処理部1603の動作 (S503) の詳細>
本実施例では、閾値処理部1603は、動き量導出部1607によって導出された動き量に基づきコントラスト感度の周波数特性を導出し、当該導出したコントラスト感度の周波数特性に基づいて閾値を決定する。そして、当該決定した閾値を用いて、ノイズ量調整部1602によるノイズ調整後の画像に対する閾値処理を施す。以下、閾値処理部1603の動作について、図17を用いて説明する。S1701において、閾値処理部1603は、動き量を取得する。
本実施例では、閾値処理部1603は、動き量導出部1607によって導出された動き量に基づきコントラスト感度の周波数特性を導出し、当該導出したコントラスト感度の周波数特性に基づいて閾値を決定する。そして、当該決定した閾値を用いて、ノイズ量調整部1602によるノイズ調整後の画像に対する閾値処理を施す。以下、閾値処理部1603の動作について、図17を用いて説明する。S1701において、閾値処理部1603は、動き量を取得する。
S1702において、閾値処理部1603は、S1701で取得した動き量に基づいて、コントラスト感度の周波数特性を導出する。本実施例では、以下の式(21)により算出される周波数特性を用いる(非特許文献1)。
式(21)におけるk,ρmaxは、以下の式(22)及び式(23)で定義される。
ここでvRは、フレーム内のブロックごとの移動速度である。本実施例では、動き量導出部1607によって導出される動き量として、移動速度vRを用いる。移動速度vRは、領域分割されたブロックごとの動きベクトルにより決定される。例えば、動きベクトルの大きさの平均値をそのままvRとしてもよいし、或いは、算出した動きベクトルのうち最も頻度の高いものの大きさをvRとしてもよい。また、s1=6.1、s2= 7.3、p1=45.9、c0 = 0.6329、c1 = 0.8404、c2 = 0.7986である。また、Xoは視野角[degree]であり、pは画素ピッチ(mm)、Rは視距離(mm)、Nxはフレームの横画素数、Nyはフレームの縦画素数である。これらの値は、一般的なユーザー観察環境に基づいて定める。なお、本実施例で使用する周波数特性は式(21)に示すものではなく他のものを用いてもよい。例えば、移動量を変化させて被写体を撮影することで、移動量ごとのコントラスト感度の周波数特性を予め測定、ROM309に記録しておき、演算時に参照してもよい。
S1703において、閾値処理部1603は、着目領域の画像Inc(x,y)を複数の周波数帯域に分割する。本ステップは、実施例2のS702と同様である。S1704において、閾値処理部1603は、S1703で得られた周波数帯域ごとの画像に閾値処理を施すことで、画像Ith(x,y)を取得する。本ステップは、実施例2のS703と同様である。
<動き量導出部1607の動作>
図18は、本実施例における動き量導出部1607の構成を示すブロック図である端子1801から映像が入力され、処理対象フレームは動きベクトル算出部1803に渡され、複数フレームから成る映像はフレームメモリ1802に渡される。処理対象フレームを受け取る動きベクトル算出部1803は、フレームメモリ1802から処理対象フレームの1つ前のフレームも取得し、これらのフレームに対してブロック毎に分割する領域分割処理を実行する。分割するブロックのサイズは128×128pixelや256×256pixelなど任意のサイズの領域であってよい。そして、領域分割された、処理対象フレームおよび処理対象フレームの1つ前のフレームに基づき、ブロック毎に動きベクトルを求めることで、動き成分d[pixel]を算出し(図19(a)を参照)、移動速度算出部1804に送信する。
図18は、本実施例における動き量導出部1607の構成を示すブロック図である端子1801から映像が入力され、処理対象フレームは動きベクトル算出部1803に渡され、複数フレームから成る映像はフレームメモリ1802に渡される。処理対象フレームを受け取る動きベクトル算出部1803は、フレームメモリ1802から処理対象フレームの1つ前のフレームも取得し、これらのフレームに対してブロック毎に分割する領域分割処理を実行する。分割するブロックのサイズは128×128pixelや256×256pixelなど任意のサイズの領域であってよい。そして、領域分割された、処理対象フレームおよび処理対象フレームの1つ前のフレームに基づき、ブロック毎に動きベクトルを求めることで、動き成分d[pixel]を算出し(図19(a)を参照)、移動速度算出部1804に送信する。
移動速度算出部1804は、RAM310に記憶されているフレームレート設定情報(FR[fps]とする)を取得し(図19(b)を参照)、dおよびFRに基づき、移動速度vR[deg/sec]を算出する。ユーザーが標準的な観察距離である、ディスプレイ(FHDディスプレイとする)の高さの3倍の距離から観察したとき、移動速度vR[deg/sec]は以下の式(24)で算出される(図19を参照)。
移動速度算出部1804によって算出された、ブロックごとの移動速度vR[deg/sec]は、端子1805から出力され、閾値処理部1603に送信される。なお、上述の説明では、周波数帯域分割処理を実行する場合(実施例2)について説明しているが、本実施例は、周波数帯域分割処理を実行しない場合(実施例1)や、輝度を取得する場合(実施例4)にも適用できる。
以上本実施例によれば、閾値を決定するために用いるコントラスト感度の周波数特性を、動画の動き量に基づいて導出することで、この動画をディスプレイに表示するにあたって鮮鋭感を向上させるために付与すべき最適なノイズ量を決定できる。よって、フレームの領域ごとに鮮鋭感を最大化する最適な量のノイズを付与でき、ディスプレイに鮮鋭な映像を表示できる。
[その他の実施例]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
402 ノイズ量調整部
403 閾値処理部
404 類似度算出部
405 合成部
403 閾値処理部
404 類似度算出部
405 合成部
Claims (12)
- ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理装置であって、
前記入力画像に含まれるノイズ量を調整する調整手段と、
前記調整手段によりノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成する作成手段と、
前記作成手段により作成された複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、
前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与する付与手段と
を有することを特徴とする画像処理装置。 - 前記調整手段は、着目領域ごとに複数の前記ノイズ画像を生成し、
前記着目領域ごとに生成される複数のノイズ画像について、各ノイズ画像における画素値の平均はゼロであり、また、それぞれが異なる標準偏差を有することを特徴とする請求項1に記載の画像処理装置。 - 前記作成手段は、前記輝度差の閾値を用いる閾値処理により画像を作成することを特徴とする請求項1または2に記載の画像処理装置。
- 前記作成手段は、前記入力画像に対する周波数帯域分割処理を実行し、前記周波数帯域分割処理で分割する各周波数帯域に応じて、前記閾値を決定することを特徴とする請求項3に記載の画像処理装置。
- ディスプレイの輝度を取得する輝度取得手段を更に有し、
前記作成手段は、前記ディスプレイの輝度に基づき、前記閾値を決定することを特徴とする請求項3または4に記載の画像処理装置。 - 映像の動き量を導出する動き量導出手段を更に有し、
前記入力画像とは、前記映像内の処理対象フレームであり、
前記作成手段は、前記動き量に基づきコントラスト感度の周波数特性を導出することを特徴とする請求項1乃至5の何れか一項に記載の画像処理装置。 - 前記動き量導出手段は、処理対象フレームと、前記処理対象フレームの1つ前のフレームとを複数のブロックに分割し、各ブロックの動きベクトルを求めることで、前記動き量を導出することを特徴とする請求項6に記載の画像処理装置。
- ノイズ付与により、入力画像の鮮鋭感を向上させる画像処理方法であって、
前記入力画像に含まれるノイズ量を調整する調整するステップと、
前記調整するステップでノイズ量を調整された、前記入力画像に含まれるノイズ量が異なる複数の画像の各々について、コントラスト感度に応じてユーザーが弁別可能な輝度差に基づき、画像を作成するステップと、
前記作成するステップで作成された複数の画像の各々について、前記入力画像との間における類似度を算出するステップと、
前記算出した類似度の中で最も類似度が高い画像に対応するノイズ量に従って、前記入力画像にノイズを付与するステップと
を有することを特徴とする画像処理方法。 - コンピュータに、請求項8の方法を実行させるための、プログラム。
- ノイズリダクションの強度を領域ごとに変更することで、画像の鮮鋭感を向上させる画像処理装置であって、
入力画像の各着目領域に対し、ノイズリダクションパラメータに従ってノイズリダクション処理を実行することで得られる画像に基づき、画像を作成する作成手段と、
前記各着目領域に対し、前記作成手段が前記ノイズリダクションパラメータを更新することで作成した複数の画像の各々について、前記入力画像との間における類似度を算出する算出手段と、
前記各着目領域に対し、前記算出した類似度の中で最も類似度が高い画像に対応するノイズリダクションパラメータに従ってノイズリダクション処理を実行する手段と
を有することを特徴とする画像処理装置。 - ノイズリダクションの強度を領域ごとに変更することで、画像の鮮鋭感を向上させる画像処理方法であって、
入力画像の各着目領域に対し、ノイズリダクションパラメータに従ってノイズリダクション処理を実行することで得られる画像に基づき、画像を作成するステップと、
前記各着目領域に対し、前記作成するステップにおいて前記ノイズリダクションパラメータを更新することで作成した複数の画像の各々について、前記入力画像との間における類似度を算出するステップと、
前記各着目領域に対し、前記算出した類似度の中で最も類似度が高い画像に対応するノイズリダクションパラメータに従ってノイズリダクション処理を実行するステップと
を有することを特徴とする画像処理装置。 - コンピュータに、請求項11の方法を実行させるための、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015228943A JP2017097612A (ja) | 2015-11-24 | 2015-11-24 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015228943A JP2017097612A (ja) | 2015-11-24 | 2015-11-24 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017097612A true JP2017097612A (ja) | 2017-06-01 |
Family
ID=58817856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015228943A Pending JP2017097612A (ja) | 2015-11-24 | 2015-11-24 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017097612A (ja) |
-
2015
- 2015-11-24 JP JP2015228943A patent/JP2017097612A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108111749B (zh) | 图像处理方法和装置 | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
US9992478B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
CN106454079B (zh) | 图像处理方法及装置和相机 | |
KR101424923B1 (ko) | 화상 합성 장치 및 화상 합성용 컴퓨터 프로그램 | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5932485B2 (ja) | ノイズリダクション装置及びノイズリダクション方法 | |
JP2022179514A (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
JP2010220207A (ja) | 画像処理装置及び画像処理プログラム | |
EP2958073A1 (en) | Image processing device, image processing method, and recording medium | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6082304B2 (ja) | 画像処理装置及びその処理方法 | |
JP2015177528A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2023033355A (ja) | 画像処理装置およびその制御方法 | |
JP6087615B2 (ja) | 画像処理装置およびその制御方法、撮像装置、および表示装置 | |
JP6786273B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2019016893A (ja) | 画像処理装置およびその制御方法及びプログラム | |
JP2015080157A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017097612A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022175606A (ja) | 画像処理装置、画像処理装置の制御方法、および、プログラム | |
JP2016111484A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2016170637A (ja) | 画像処理装置および画像処理方法 | |
JP7214407B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20230196517A1 (en) | Information processing apparatus, control method of information processing apparatus, and non-transitory computer readable medium |