JP2019096264A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2019096264A
JP2019096264A JP2017227701A JP2017227701A JP2019096264A JP 2019096264 A JP2019096264 A JP 2019096264A JP 2017227701 A JP2017227701 A JP 2017227701A JP 2017227701 A JP2017227701 A JP 2017227701A JP 2019096264 A JP2019096264 A JP 2019096264A
Authority
JP
Japan
Prior art keywords
pixel
image
pixels
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017227701A
Other languages
English (en)
Other versions
JP7140491B2 (ja
Inventor
鈴木 雅弘
Masahiro Suzuki
雅弘 鈴木
上田 智章
Tomoaki Ueda
智章 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2017227701A priority Critical patent/JP7140491B2/ja
Priority to PCT/JP2018/026383 priority patent/WO2019106877A1/ja
Priority to US16/766,072 priority patent/US20200351456A1/en
Publication of JP2019096264A publication Critical patent/JP2019096264A/ja
Application granted granted Critical
Publication of JP7140491B2 publication Critical patent/JP7140491B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供する。【解決手段】画像処理装置1において、領域設定部113は、画像を構成する画素から選択された注目画素を含む領域を設定する。モデル化部114は、領域を構成する画素の画素値の分布を曲面でモデル化する。画素値変更部115は、注目画素の画素値をモデル化された曲面における注目画素に対応する位置の値に置換する。モデル化部114は、設定された領域を構成する画素の画素値の分布を、N(Nは2以上の整数)次曲面でモデル化してもよい。【選択図】図2

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、デジタル画像のノイズを軽減する技術に関する。
近年、CCD(Charged-Coupled Device)やCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ等の固体撮像素子が急速に発展し、膨大な数のデジタル画像が生成されるようになった。これらのデジタル画像は、圧縮に伴うブロックノイズ、CCDやCMOSイメージセンサ等の撮像素子に起因するノイズ等、多種多様なノイズを含むことがある。デジタル画像は計算機等による処理が容易であるため、デジタル画像に含まれるノイズを軽減するためのノイズ軽減処理が種々提案されている(例えば、特許文献1を参照)。
特開2007−42124号公報
特許文献1に開示されている技術は、デジタル画像の複数の異なる周波数帯域ごとの成分を表す複数の帯域制限画像に対して非線形変換処理を施す処理を含む。このため計算量が多く、例えば動画像のような大量のフレームデータに対して適用するためには処理に時間がかかることも起こり得る。
本発明はこれらの点に鑑みてなされたものであり、計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供することを目的とする。
本発明の第1の態様は、画像処理装置である。この装置は、画像を構成する画素から選択された注目画素を含む領域を設定する領域設定部と、前記領域を構成する画素の画素値の分布を曲面でモデル化するモデル化部と、前記注目画素の画素値を前記モデル化された曲面における前記注目画素に対応する位置の値に置換する画素値変更部と、を備える。
前記画像を構成する画素の画素値は、3次元の色空間の各軸に対応する3つの値を持っていてもよく、前記モデル化部は、前記設定された領域を構成する画素における前記3次元の色空間の各軸に対応する3つの値それぞれについて、当該値の分布を曲面でモデル化してもよく、前記画素値変更部は、前記3つの値それぞれについてモデル化された曲面における前記注目画素に対応する位置の値で、前記3つの値それぞれを置換してもよい。
前記画像処理装置は、前記画像を走査しながら複数の異なる前記注目画素を選択する注目画素選択部をさらに備えてもよく、前記領域設定部は、前記注目画素選択部が選択した複数の注目画素それぞれについて、各注目画素を含む領域を選択してもよい。
前記モデル化部は、前記設定された領域を構成する画素の画素値の分布を、N(Nは2以上の整数)次曲面でモデル化してもよい。
前記領域設定部は、前記画像におけるノイズの大きさが大きいほど、前記領域を構成する画素の数を多くしてもよい。
本発明の第2の態様は、画像処理方法である。この方法において、プロセッサが、画像を構成する画素から注目画素を含む領域を選択するステップと、前記領域を構成する画素の画素値の分布を曲面でモデル化するステップと、前記注目画素の画素値を前記モデル化された曲面における前記注目画素に対応する位置の値に置換するステップと、を実行する。
本発明の第3の態様は、プログラムである。このプログラムは、コンピュータに、画像を構成する画素から注目画素を含む領域を選択する機能と、前記領域を構成する画素の画素値の分布を曲面でモデル化する機能と、前記注目画素の画素値を前記モデル化された曲面における前記注目画素に対応する位置の値に置換する機能と、を実現させる。
本発明によれば、計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供することができる。
実施の形態の概要を説明するための図である。 実施の形態に係る画像処理装置の機能構成を模式的に示す図である。 領域設定部が設定する領域の一例を模式的に示す図である。 実施の形態に係る画素値変更部による画素置換処理を説明するための図である。 実施の形態に係る画像処理装置のノイズ軽減処理の効果を説明するための模式図である。 実施の形態に係る画像処理装置が実行するノイズ軽減処理の流れを説明するためのフローチャートである。
<実施の形態の概要>
実施の形態に係る画像処理装置は、処理対象画像のノイズを軽減するための装置である。ここで処理対象画像は、R(赤色)、G(緑色)、及びB(青色)の3色の色成分を持つカラー画像でもよいし、放射線画像のようなグレースケールの画像でもよい。また、画像は写真等の静止画像でもよいし、動画像であってもよい。処理対象画像が動画像である場合、動画像を構成する各フレームの画像がそれぞれ処理対象画像となる。以下、本明細書では、処理対象画像がカラーの静止画像であることを前提として説明する。
図1は、実施の形態の概要を説明するための図である。以下、図1を参照して、実施の形態に係る画像処理装置で行われる処理の過程を(1)から(6)で説明するが、その説明は図1中の(1)から(6)と対応する。
(1)実施の形態に係る画像処理装置は、処理対象画像Iを取得する。
(2)画像処理装置は、処理対象画像Iを3次元の色空間の各軸に対応する3つの画像平面に分解する。図1においては、符号P1、P2、及びP3で示す矩形が、それぞれ第1画像平面P1、第2画像平面P2、及び第3画像平面P3である。なお、図1は、色空間がRGB色空間であり、第1画像平面P1、第2画像平面P2、及び第3画像平面P3がそれぞれR平面、G平面、及びB平面である。しかしながら、画像処理装置は、処理対象画像Iとして他の色空間(例えば、YUV、YCbCr等の色差信号を用いる空間)の画像を用いてもよい。
(3)画像処理装置は、3つの画像平面から一つの画像平面を順番に選択する。図1は、画像処理装置が第3画像平面P3を選択した場合の例を示している。
(4)画像処理装置は、画像平面を構成する画素の中から注目画素Gを選択するとともに、注目画素Gを含む領域Aを設定する。なお、画像処理装置は、画像平面を走査しながら複数の異なる注目画素Gを選択するとともに、各注目画素Gを含む領域Aをそれぞれ設定する。設定された領域Aは、画像処理装置がノイズ軽減処理を実行するための単位領域となる。
(5)画像処理装置は、領域Aを構成する画素の画素値の分布を曲面でモデル化する。具体的には、画像処理装置は、最小二乗法を用いて画素値の分布を近似した2次曲面を、画素値の分布のモデルとする。
(6)画像処理装置は、注目画素Gの画素値Grをモデル化された曲面における注目画素Gに対応する位置の値Gmに置換する。
実施の形態に係る画像処理装置が扱う処理対象画像Iはデジタル画像である。デジタル画像は、圧縮に伴うブロックノイズ、CCDやCMOSイメージセンサ等の撮像素子に起因するノイズ等の種々のノイズを含んでいる。これらのノイズは一般にランダムな値を取る。一方、実施の形態に係る画像処理装置は、画素値の分布を滑らかな曲面で近似する。これにより、ノイズが重畳することによって滑らかさが失われた画素分布を、滑らかな画素分布に戻すことができる。結果として、実施の形態に係る画像処理装置は、処理対象画像Iのノイズを軽減することができる。
<画像処理装置の機能構成>
図2は、実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。実施の形態に係る画像処理装置1は、記憶部10と制御部11とを備える。
記憶部10は、画像処理装置1を実現するコンピュータのBIOS(Basic Input Output System)等を格納するROM(Read Only Memory)や画像処理装置1の作業領域となるRAM(Random Access Memory)、OS(Operating System)やアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される種々の情報を格納するHDD(Hard Disk Drive)やSSD(Solid State Drive)等の大容量記憶装置である。
制御部11は、画像処理装置1のCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサであり、記憶部10に記憶されたプログラムを実行することによって画像取得部110、画像分解部111、注目画素選択部112、領域設定部113、モデル化部114、及び画素値変更部115として機能する。
画像取得部110は、ノイズ軽減の処理対象とする処理対象画像Iを取得する。画像分解部111は、画像取得部110が取得した処理対象画像Iを3次元の色空間の各軸に対応する3つの画像平面に分解する。
注目画素選択部112は、処理対象画像Iを構成する3つの画像平面の中から順に選択した一つの画像平面を走査しながら、複数の異なる注目画素Gを順番に選択する。領域設定部113は、画像平面を構成する画素の中から注目画素選択部112が選択した注目画素Gを含む領域Aを設定する。具体的には、領域設定部113は、注目画素選択部112が選択した複数の注目画素それぞれについて、各注目画素Gを含む領域Aを選択する。
モデル化部114は、領域Aを構成する画素の画素値の分布を曲面でモデル化する。具体的には、モデル化部114は、領域Aを構成する画素の画素値の分布を、最小二乗法を用いてN(Nは2以上の整数)次曲面でモデル化する。なお、モデル化部114による画素値分布の詳細は後述する。
画素値変更部115は、注目画素Gの画素値をモデル化部114がモデル化した曲面における注目画素Gに対応する位置の値に置換する。最小二乗法による画素分布のモデル化は単純な算術演算で足りるため、実施の形態に係る画像処理は、少ない計算コストで処理対象画像Iのノイズを軽減することができる。
画像取得部110が取得する処理対象画像Iが例えばデジタルスチルカメラによって生成されたカラー画像である場合、処理対象画像Iを構成する画素の画素値は、3次元の色空間の各軸に対応する3つの値を持っている。一般的には、処理対象画像Iを構成する画素の画素値は、R、G、及びBそれぞれの色に対応する画素値を持っているが、画像の圧縮手法によっては輝度及び色差信号の成分に対応する画素値を持つ場合もある。
いずれの場合にしても、モデル化部114は、領域設定部113が設定した領域Aを構成する画素における3次元の色空間の各軸に対応する3つの値それぞれについて、当該値の分布を曲面でモデル化する。画素値変更部115は、3つの値それぞれについてモデル化された曲面における注目画素Gに対応する位置の値で、3つの値それぞれを置換する。これにより、画像処理装置1は、処理対象画像Iがカラー画像であってもノイズを軽減することができる。
続いて、画像処理装置1が実行する画素分布のモデル化処理について説明する。
図3(a)−(b)は、領域設定部113が設定する領域Aの一例を示す模式図である。具体的には図3(a)は領域A及び領域Aに設定する座標系を示す模式図であり、図3(b)は領域Aの各画素の座標を示す模式図である。
図3(a)に示す例では領域Aは、注目画素Gを中心とする5×5画素の矩形の領域である。領域Aには合計で25個の画素が含まれる。また、領域Aの中央に位置する注目画素Gを原点とする2次元の直交座標系が設定される。図3(a)では、横軸をX軸、縦軸をY軸とする座標系が設定されている。以下、説明の便宜上、領域Aに含まれる25個の画素について1から25までの通し番号を付し、n番に対応する画素を画素nと記載することがある。
以下では5×5画素の領域Aを用いる場合を説明する。しかしながら、例えば3×3画素、7×7画素、9×9画素、11×11画素、3×5画素、7×3画素など任意の大きさの領域Aを用いてもよいことは、本明細書に触れた当業者には明らかである。あるいはまた、領域Aの大きさは、求める処理結果を得るために最適な数値を選んでもよい。例えば、領域設定部113は、処理対象画像Iにおけるノイズの大きさが大きい領域Aを構成する画素の数を多くしてもよい。
例えば、所定のサイズの部分領域を単位として圧縮された画像には、その部分領域の大きさと同程度の大きさのブロックノイズが発生する。領域設定部113は、領域Aの大きさをブロックノイズの大きさより大きくなるように、領域Aを構成する画素の数を設定する。これにより、モデル化部114が画素分布のモデル化処理を実行する際に、領域Aにおけるノイズの影響が過度にモデルに反映されることを抑制できる。結果として、モデル化部114は、画素分布のモデル化の精度を向上することができる。
領域設定部113は、処理対象画像Iを構成する画素の数が多いほど、領域Aを構成する画素の数を多くしてもよい。処理対象画像Iを構成する画素によらず領域Aのサイズを一定とする場合と比較して、処理対象画像Iを構成する画素の数と領域Aを構成する画素の数との比が平準化されるため、画像処理装置1は、ノイズ軽減の処理結果を安定化させることができる。
モデル化部114は、領域Aを構成する画素の画素値を、2次曲面でモデル化する。すなわち、モデル化部114は、領域Aを構成する画素の画素値Sを、その画素のXY座標の関数S(x,y)として以下の式(1)を用いてモデル化する。
S(x,y)=m+mx+m+my+m (1)
ここで、m(j=1,・・・、5)はモデル化パラメータである。
画素iのX座標をx、Y座標をxとし、S(x,x)をsとして式(1)を書き下すと式(2)を得る。
=m +m+m +m+m
=m +m+m +m+m
・・・ (2)
25=m25 +m25+m25 +m25+m
式(2)を行列を用いて表現すると式(3)を得る。
Figure 2019096264
式(3)の左辺をベクトルs、右辺第1項を行列X、右辺第2項をベクトルmとすると、式(3)は以下の式(4)となる。
s=Xm (4)
画素iの実際の画素値をdとし、dを要素とする縦ベクトルをベクトルdとする。領域Aにおける画素値の分布を2次曲面でモデル化することは、式(5)に示すようにベクトルdを式(3)の右辺で表現することを意味する。
d=Xm (5)
式(5)において、左辺は領域Aの画素値であるため既知である。また、右辺第1項は、各画素の座標に基づくため既知である。右辺第2項はモデル化パラメータであるため未知である。ここで、モデル化誤差を示す誤差ベクトルeを以下の式(6)で定義する。
e=d−Xm (6)
式(5)は、未知数であるモデル化パラメータの数よりもデータの数が多いため優決定問題となる。このとき、誤差ベクトルeの2ノルムであるeeを最小とするベクトルmoptは最小二乗解として既知であり、以下の式(7)で表される。
opt=(XX)−1d (7)
ここで、Tは行列の転置を表し、−1は逆行列を表す。
図3(b)に示すように、領域Aに含まれる画素のxy座標は中央すなわち注目画素Gが原点となるようにとられている。式(7)の右辺に座標を代入して書き下すと式(8)を得る。
Figure 2019096264
式(8)を計算することにより、モデル化部114は、式(6)の2ノルムを最小にするという意味において最適なモデル化パラメータを得ることができる。
領域Aにおいて注目画素Gは原点であるため、X座標とY座標とはともに0である。したがって、式(1)より、モデル化された曲面における注目画素Gに対応する位置の値Gm=S(0,0)は、以下の式(9)となる。
Gm=S(0,0)=m×0+m×0+m×0+m×0+m=m (9)
結局、モデル化された曲面における注目画素Gに対応する位置の値Gmは、モデル化パラメータの一つであるmとなる。
図4(a)−(b)は、実施の形態に係る画素値変更部115による画素置換処理を説明するための図である。具体的には、図4(a)はモデル化部114が生成した2次曲面Mの概観を示す模式図であり、図4(b)は、XS平面(Y座標が0の平面)における2次曲面Mを示す図である。
図4(b)に示すように、XS平面における2次曲面Mは放物線となる。画素値変更部115は、注目画素Gの画素値GrをGm(すなわちモデル化パラメータのmの値)に置き換える。画素値変更部115は、領域設定部113が設定したすべての領域Aについて注目画素Gの画素値Grをmで置き換えた新たな画像を生成することにより、ノイズが軽減された処理対象画像Iを得ることができる。
このように、画素値変更部115は、5つのモデル化パラメータのうち、mの値のみ取得できればよい。したがって、式(8)を展開してmについて切り出すと、以下の式(10)を得る。
Figure 2019096264
ただし、ベクトルv=(-0.074286, 0.011429, 0.040000, 0.011429, 0.074286, 0.011429, 0.097143, 0.125714, 0.097143, 0.011429, 0.040000, 0.125714, 0.154286, 0.125714, 0.040000, 0.011429, 0.097143, 0.125714, 0.097143, 0.011429, 0.074286, 0.011429, 0.040000, 0.011429, -0.074286)である。
ベクトルvは、式(10)に図3(b)に示す画素の座標を代入することで算出できる。式(10)は、注目画素Gの画素値Grを、領域Aを構成する画素の画素値の重み付平均値で置換すると捉えることもできる。この場合、ベクトルvは、平滑化フィルタのカーネルということができる。各画素の重みの絶対値は、注目画素Gに近いほど大きい値となっていることが分かる。
記憶部10は、ベクトルvを保持してもよい。この場合、領域Aを構成する画素の画素値の分布を2次曲面でモデル化する際に、画素値変更部115は記憶部10を参照してベクトルを取得することにより、逆行列の演算等を省略することができる。これにより、実施の形態に係る画像処理装置1は、処理対象画像Iのノイズ軽減処理を高速化することができる。
図5は、実施の形態に係る画像処理装置1のノイズ軽減処理の効果を説明するための模式図である。図示の都合上、図5は、Y座標を固定し、処理対象画像IのX座標に対する画素値Sをプロットしている。図5において、破線で示すグラフは画像処理装置1によるノイズ軽減処理前の処理対象画像Iの画素値を示している。一方、実線で示すグラフは、画像処理装置1によるノイズ軽減処理後の処理対象画像Iの画素値を示している。
一般に、画像データにノイズが重畳すると、画素値の変化が大きくなる。図5に示すように、画像処理装置1によるノイズ軽減処理後の処理対象画像Iの画素値は、画像処理装置1によるノイズ軽減処理前の処理対象画像Iの画素値と比較して値の変化が小さくなっており、ノイズが軽減されていることを示している。
<画像処理装置1によるノイズ軽減処理の処理フロー>
図6は、実施の形態に係る画像処理装置1が実行するノイズ軽減処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
画像取得部110は、ノイズ軽減処理の対象とする処理対象画像Iを取得する(S2)。画像分解部111は、処理対象画像Iがカラー画像である場合、処理対象画像Iを色空間毎の画像平面に分解する(S4)。注目画素選択部112は、画像平面を一つずつ順に選択する(S6)。
注目画素選択部112は、選択した画像平面を走査しながら、画像平面を構成する画素のうち一つの画素を注目画素Gとして選択する(S8)。領域設定部113は、注目画素選択部112が選択した注目画素Gを含む領域Aを設定する(S10)。モデル化部114は、領域Aを構成する画素の画素値を2次曲面でモデル化する(S12)。画素値変更部115は、注目画素Gの画素値Grをモデル化部114がモデル化した2次曲面における注目画素Gに対応する位置の値Gmに置換する(S14)。
注目画素選択部112が画像平面の中から注目画素Gを選択し終わるまでの間(S16のNo)、画像処理装置1はステップS8からステップS14までの処理を繰り返す。注目画素選択部112が一つの画像平面について注目画素Gの選択を終了し(S16のYes)、かつ、すべての画像平面を選択するまでの間(S18のNo)、画像処理装置1はステップS6に戻ってステップS6からステップS16までの処理を繰り返す。
注目画素選択部112がすべての画像平面を選択すると(S18のYes)、本フローチャートにおける処理は終了する。
<実施の形態に係る画像処理装置1が奏する効果>
以上説明したように、実施の形態に係る画像処理装置1によれば、計算量に対するノイズ軽減効果の高いノイズ抑制技術を提供することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。以下そのような変形例を説明する。
<第1の変形例>
上記では、モデル化部114が領域Aを構成する画素の画素値の分布を2次曲面でモデル化する場合について説明したが、モデル化部114がモデル化する曲面の次数は2次に限られず、3次以上であってもよい。モデル化部114がモデル化する曲面の次数が高いほど、処理対象画像Iを構成する画素の画素値の大きな変化をモデル化することができる。したがって、処理対象画像Iの画像が高周波成分を多く含むことが先見情報として得られている場合には、モデル化部114は、3次以上の次数の曲面で領域Aを構成する画素の画素値の分布をモデル化してもよい。
例えば、モデル化部114が領域Aを構成する画素の画素値の分布を4次曲面でモデル化する場合、式(1)に対応する式は、式(11)のようになる。
S(x,y)=m+m+m+mx+m+m+m+my+m (11)
また、式(3)に対応する式は、式(12)のようになる。
Figure 2019096264
式(12)の左辺をベクトルs、右辺第1項を行列X、右辺第2項をベクトルmとすると、式(12)は式(4)と同じ形となる。したがって、式(12)の最小二乗誤差解moptも式(7)と同じ形となる。このように、領域Aを構成する画素の画素値の分布をモデル化する曲面の次数によらず、式(7)は同じ形となる。
なお、モデル化部114が領域Aを構成する画素の画素値の分布を4次曲面でモデル化する場合、式(8)に対応する式は、式(13)のようになる。
Figure 2019096264
なお、式(13)において、式(9)におけるベクトルvに相当するベクトルは、v=(-0.04, -0.04, 0.16, -0.04, -0.04, -0.04, -0.04, 0.16, -0.04, -0.04, 0.16, 0.16, 0.36, 0.16, 0.16, -0.04, -0.04, 0.16, -0.04, -0.04, -0.04, -0.04, 0.16, -0.04, -0.04)Tとなる。
記憶部10は、あらかじめ異なる次数におけるベクトルvの計算結果を保持してもよい。この場合、画素値変更部115は記憶部10を参照して各次数に対応するベクトルvを取得する。結果として、領域Aを構成する画素の画素値の分布を異なる次数でモデル化する場合であっても、モデル化部114による逆行列の演算等を省略することができる。
<第2の変形例>
上記では、処理対象画像Iを2次曲面でモデル化することによってノイズを軽減する場合について説明した。これに加えて、一度ノイズ軽減処理を施すことによって得られた画像を2次曲面でモデル化することによってノイズ軽減処理を重複させてもよい。これにより、より効果的にノイズ軽減を実行することができる。
1・・・画像処理装置
10・・・記憶部
11・・・制御部
110・・・画像取得部
111・・・画像分解部
112・・・注目画素選択部
113・・・領域設定部
114・・・モデル化部
115・・・画素値変更部

Claims (7)

  1. 画像を構成する画素から選択された注目画素を含む領域を設定する領域設定部と、
    前記領域を構成する画素の画素値の分布を曲面でモデル化するモデル化部と、
    前記注目画素の画素値を前記モデル化された曲面における前記注目画素に対応する位置の値に置換する画素値変更部と、
    を備える画像処理装置。
  2. 前記画像を構成する画素の画素値は、3次元の色空間の各軸に対応する3つの値を持っており、
    前記モデル化部は、前記設定された領域を構成する画素における前記3次元の色空間の各軸に対応する3つの値それぞれについて、当該値の分布を曲面でモデル化し、
    前記画素値変更部は、前記3つの値それぞれについてモデル化された曲面における前記注目画素に対応する位置の値で、前記3つの値それぞれを置換する、
    請求項1に記載の画像処理装置。
  3. 前記画像を走査しながら複数の異なる前記注目画素を選択する注目画素選択部をさらに備え、
    前記領域設定部は、前記注目画素選択部が選択した複数の注目画素それぞれについて、各注目画素を含む領域を選択する、
    請求項1又は2に記載の画像処理装置。
  4. 前記モデル化部は、前記設定された領域を構成する画素の画素値の分布を、N(Nは2以上の整数)次曲面でモデル化する、
    請求項1から3のいずれか一項に記載の画像処理装置。
  5. 前記領域設定部は、前記画像におけるノイズの大きさが大きいほど、前記領域を構成する画素の数を多くする、
    請求項1から4のいずれか一項に記載の画像処理装置。
  6. プロセッサが、
    画像を構成する画素から注目画素を含む領域を選択するステップと、
    前記領域を構成する画素の画素値の分布を曲面でモデル化するステップと、
    前記注目画素の画素値を前記モデル化された曲面における前記注目画素に対応する位置の値に置換するステップと、
    を実行する画像処理方法。
  7. コンピュータに、
    画像を構成する画素から注目画素を含む領域を選択する機能と、
    前記領域を構成する画素の画素値の分布を曲面でモデル化する機能と、
    前記注目画素の画素値を前記モデル化された曲面における前記注目画素に対応する位置の値に置換する機能と、
    を実現させるプログラム。

JP2017227701A 2017-11-28 2017-11-28 画像処理装置、画像処理方法、及びプログラム Active JP7140491B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017227701A JP7140491B2 (ja) 2017-11-28 2017-11-28 画像処理装置、画像処理方法、及びプログラム
PCT/JP2018/026383 WO2019106877A1 (ja) 2017-11-28 2018-07-12 画像処理装置、画像処理方法、及びプログラム
US16/766,072 US20200351456A1 (en) 2017-11-28 2018-07-12 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017227701A JP7140491B2 (ja) 2017-11-28 2017-11-28 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019096264A true JP2019096264A (ja) 2019-06-20
JP7140491B2 JP7140491B2 (ja) 2022-09-21

Family

ID=66665515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017227701A Active JP7140491B2 (ja) 2017-11-28 2017-11-28 画像処理装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US20200351456A1 (ja)
JP (1) JP7140491B2 (ja)
WO (1) WO2019106877A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6777507B2 (ja) * 2016-11-15 2020-10-28 Kddi株式会社 画像処理装置および画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998293A (ja) * 1995-09-29 1997-04-08 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2009082565A (ja) * 2007-10-01 2009-04-23 Konica Minolta Medical & Graphic Inc 異常陰影検出装置とプログラム
WO2010024402A1 (ja) * 2008-08-29 2010-03-04 株式会社東芝 画像処理装置および方法、ならびに、画像表示装置
JP2015121888A (ja) * 2013-12-20 2015-07-02 東芝デジタルメディアエンジニアリング株式会社 画像処理装置及び画像処理方法
JP2017111595A (ja) * 2015-12-16 2017-06-22 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998293A (ja) * 1995-09-29 1997-04-08 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2009082565A (ja) * 2007-10-01 2009-04-23 Konica Minolta Medical & Graphic Inc 異常陰影検出装置とプログラム
WO2010024402A1 (ja) * 2008-08-29 2010-03-04 株式会社東芝 画像処理装置および方法、ならびに、画像表示装置
JP2015121888A (ja) * 2013-12-20 2015-07-02 東芝デジタルメディアエンジニアリング株式会社 画像処理装置及び画像処理方法
JP2017111595A (ja) * 2015-12-16 2017-06-22 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宮越 徹、外3名: ""二次曲面による自然画像の曲面近似手法の研究"", 映像情報メディア学会技術報告, vol. 27, no. 8, JPN6018029892, 3 February 2003 (2003-02-03), JP, pages 103 - 108, ISSN: 0004387142 *

Also Published As

Publication number Publication date
WO2019106877A1 (ja) 2019-06-06
US20200351456A1 (en) 2020-11-05
JP7140491B2 (ja) 2022-09-21

Similar Documents

Publication Publication Date Title
US9262807B2 (en) Method and system for correcting a distorted input image
US11948279B2 (en) Method and device for joint denoising and demosaicing using neural network
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20200143516A1 (en) Data processing systems
JP5080678B2 (ja) 二次元画像の透視変換
CN102638639A (zh) 图像处理装置、摄像装置以及图像处理方法
JP7032871B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2019198570A1 (ja) 映像生成装置、映像生成方法、プログラム、およびデータ構造
JP2016197857A (ja) ホモグラフィの修正
JP6581359B2 (ja) 情報処理装置及びその制御方法及びプログラム及び記憶媒体、並びに、ビデオカメラ
US10713757B2 (en) Image processing apparatus, control method thereof, and storage medium
TWI716874B (zh) 影像處理裝置、影像處理方法、及影像處理程式
JP2022002376A5 (ja)
US7907147B2 (en) Texture filtering apparatus, texture mapping apparatus, and method and program therefor
WO2019106877A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US20210152737A1 (en) Apparatus and method for stitching together multiple images
EP2421239B1 (en) Image processing apparatus and method for applying film grain effects
JP5654860B2 (ja) 画像処理装置及びその制御方法、プログラム
JP7265316B2 (ja) 画像処理装置及び画像処理方法
JP2004280157A (ja) 画像処理装置
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
WO2021161513A1 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
JP7022696B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5889383B2 (ja) 画像処理装置および画像処理方法
WO2023163219A1 (ja) 情報処理装置、ロボット制御システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210112

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210315

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210315

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210323

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210330

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210409

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210413

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211124

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220308

C28A Non-patent document cited

Free format text: JAPANESE INTERMEDIATE CODE: C2838

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220802

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220830

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220908

R150 Certificate of patent or registration of utility model

Ref document number: 7140491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150