JP2011076274A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2011076274A JP2011076274A JP2009225732A JP2009225732A JP2011076274A JP 2011076274 A JP2011076274 A JP 2011076274A JP 2009225732 A JP2009225732 A JP 2009225732A JP 2009225732 A JP2009225732 A JP 2009225732A JP 2011076274 A JP2011076274 A JP 2011076274A
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- enlarged
- final
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 132
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000926 separation method Methods 0.000 claims description 63
- 238000003384 imaging method Methods 0.000 abstract description 33
- 230000002194 synthesizing effect Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 69
- 230000006870 function Effects 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 9
- 230000001965 increasing effect Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 102220483407 Septin-4_S91A_mutation Human genes 0.000 description 2
- 102220536518 THAP domain-containing protein 1_S51A_mutation Human genes 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102200143234 rs121912767 Human genes 0.000 description 2
- 102220536512 THAP domain-containing protein 1_S52A_mutation Human genes 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【解決手段】撮像装置100であって、原画像から分離された骨格成分及びテクスチャ成分の各々を中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成部5gと、中間拡大画像から分離された骨格成分を最終拡大倍率となるように拡大して生成された最終拡大骨格成分と、原画像のテクスチャ成分を最終拡大倍率に拡大して生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成部5hとを備えている。
【選択図】図1
Description
原画像を取得する取得手段と、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段と、この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段と、この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、を備えることを特徴としている。
前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴としている。
前記中間画像生成手段は、前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第1中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、前記算出手段により算出された前記第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、前記中間画像生成手段は、更に、前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率の中で何れか一の第2中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率が全て用いられるまで行われることを特徴としている。
画像処理装置を用いた画像処理方法であって、原画像を取得するステップと、取得された原画像の最終拡大倍率を指定するステップと、取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、生成された前記中間拡大画像から骨格成分を分離するステップと、分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、を実行することを特徴としている。
画像処理装置のコンピュータを、原画像を取得する取得手段、この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段、この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段、この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
具体的には、図1に示すように、撮像装置100は、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、表示制御部6と、表示部7と、記録媒体8と、操作入力部9と、中央制御部10とを備えている。
また、撮像制御部2は、撮像条件の調整制御として、AE(自動露出処理)、AF(自動合焦処理)、AWB(自動ホワイトバランス)等を行う。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
具体的には、画像取得部5aは、例えば、記録媒体8に記録されている少なくとも一の画像データの中からユーザによる操作入力部9の所定操作に基づいて指定された何れか一の画像データを取得する。
具体的には、画像分離部5bは、第1分離手段として、画像取得部5aにより取得された処理対象画像としての原画像からTotal Variation法により骨格成分及びテクスチャ成分を分離する。また、画像分離部5bは、第2分離手段として、中間画像生成部5gにより生成された処理対象画像としての中間拡大画像からTotal Variation法により骨格成分を分離する。
なお、画像分離部5bによる処理対象画像からの骨格成分やテクスチャ成分の分離手法として例示したものは、一例であってこれに限られるものではない。
例えば、最終拡大倍率が「8倍」に設定された場合には、中間倍率算出部5cは、「8」の約数である1、2、4の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「4倍」を設定する。また、例えば、最終拡大倍率が「50倍」に設定された場合には、中間倍率算出部5cは、「50」の約数である1、2、5、10、25の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「5倍」、「10倍」及び「25倍」を設定する。ここで、必ずしも最小の約数以外の約数(例えば、「5倍」、「10倍」及び「25倍」)の全てを第2中間拡大倍率として設定する必要はない。また、複数の第2中間拡大倍率の中で処理に用いられる順序は、例えば、小さい順となるが、これに限られるものではなく、大きい順等適宜任意に変更することができる。
ここで、中間倍率算出部5cは、ユーザによる操作入力部9の所定操作に基づいて指定された最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する算出手段を構成している。
また、骨格拡大部5dは、画像分離部5bにより中間拡大画像(例えば、第1中間拡大画像や第2中間拡大画像(後述)等)から分離された骨格成分を原画像比で最終拡大倍率となるように所定の拡大方法により拡大する。
なお、骨格拡大部5dによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
具体的には、フィルタ処理部5eは、先ず、所定の鮮鋭化フィルタ(例えば、ラプラシアンフィルタ等)を用いて、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行う。次に、フィルタ処理部5eは、所定の非等方拡散フィルタ(例えば、Total Variationフィルタ等)を用いて、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う。
ここで、フィルタ処理部5eが、骨格拡大部5dにより最終拡大倍率となるように拡大された骨格成分を処理対象とした場合には、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
即ち、骨格拡大部5d及びフィルタ処理部5eは、画像分離部5bにより分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段を構成している。
また、テクスチャ拡大部5fは、テクスチャ拡大手段として、画像分離部5bにより原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)を最終拡大倍率となるように所定の拡大方法により拡大して最終拡大テクスチャ成分を生成する。
なお、テクスチャ拡大部5fによる拡大方法としては、例えば、より自然な高精細化を図ることができるバイキュービック法による補間処理を用いた方法が挙げられる。
即ち、中間画像生成部5gは、原画像(例えば、原画像Go等)から画像分離部5bにより分離され骨格拡大部5dにより中間拡大倍率となるように拡大された後、フィルタ処理部5eにより所定のフィルタリング処理が施された原画像の骨格成分と、テクスチャ拡大部5fにより中間拡大倍率となるように拡大された原画像のテクスチャ成分とを合成して中間拡大画像を生成する。
ここで、骨格拡大部5d、テクスチャ拡大部5f及び中間画像生成部5gは、画像分離部5bにより分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段を構成している。
そして、再分離部5iによる骨格成分及びテクスチャ成分の分離は、中間倍率算出部5cにより算出された少なくとも一の第2中間拡大倍率が全て用いられるまで行われる。
ここで、再分離部5iは、中間倍率算出部5cにより算出された第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、中間画像生成部5gにより生成された中間拡大画像(例えば、第1中間拡大画像)から骨格成分及びテクスチャ成分を分離する再分離手段を構成している。
ここで、中間画像生成部5gによる第2中間拡大画像の新たな生成は、中間倍率算出部5cにより算出された少なくとも一の第2中間拡大倍率が全て用いられるまで行われる。
即ち、最終画像生成部5hは、骨格拡大部5dにより最終拡大倍率となるように拡大された骨格成分に対してフィルタ処理部5eにより所定のフィルタリング処理が施されることで生成された最終拡大骨格成分と、テクスチャ拡大部5fにより最終拡大倍率となるように拡大された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する。
ここで、最終画像生成部5hは、骨格拡大部5d及びフィルタ処理部5eにより生成された最終拡大骨格成分と、テクスチャ拡大部5fにより生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段を構成している。
具体的には、表示制御部6は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部10の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部7に出力する。
中央制御部10は、入力された設定信号に従って、ユーザ所望の画像の拡大倍率を設定する。
ここで、操作入力部9及び中央制御部10は、処理対象画像(原画像)の最終拡大倍率を指定する指定手段を構成している。
なお、最終拡大倍率は、正の整数(例えば、「8倍」や「25倍」等)に限られるものではなく、正の小数や分数であっても良い。
図2及び図3は、画像拡大処理に係る動作の一例を示すフローチャートである。
図2に示すように、先ず、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、記録媒体8に記録されている少なくとも一の画像データの中から何れか一の画像データが指定されると、画像処理部5の画像取得部5aは、ユーザにより指定された画像データを処理対象画像として取得する(ステップS1)。これにより、表示部7に処理対象画像(例えば、原画像Go等)が表示された状態となる。
次に、画像処理部5の中間倍率算出部5cは、設定された処理対象画像の最終拡大倍率を所定数で除算することで中間拡大倍率を少なくとも一つ算出する(ステップS3)。具体的には、例えば、最終拡大倍率が「8倍」に設定された場合、中間倍率算出部5cは、「8」の約数である1、2、4の中で、第1中間拡大倍率として「2倍」を設定し、第2中間拡大倍率として「4倍」を設定する。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
先ず、画像処理部5の骨格拡大部5dは、原画像(例えば、原画像Go等)から分離された骨格成分(例えば、骨格成分Gs等)を第1中間拡大倍率(例えば、「2倍」)となるように所定の拡大方法により拡大する(ステップS51A)。
次に、画像処理部5のフィルタ処理部5eは、骨格拡大部5dにより拡大された骨格成分の画像エッジ(輪郭)を強調する鮮鋭化処理を行った後(ステップS51B)、鮮鋭化処理後の骨格成分の画像エッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行う(ステップS51C)。
画像処理部5は、原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)を複製してメモリ4に一時記憶した後(ステップS52A)、テクスチャ拡大部5fは、原画像から分離されたテクスチャ成分を第1中間拡大倍率(例えば、「2倍」)となるように所定の拡大方法により拡大する(ステップS52B)。
次に、画像処理部5は、中間倍率算出部5cにより算出された第2中間拡大倍率が少なくとも一つあるか否かを判定する(ステップS7)。
なお、分離された骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
以下に説明する第1中間拡大画像から分離された骨格成分の処理は、拡大倍率が異なる以外は、原画像から分離された骨格成分の処理(ステップS51A〜S51C)と略同様となっている。
即ち、先ず、画像処理部5の骨格拡大部5dは、第1中間拡大画像から分離された骨格成分を原画像比で第2中間拡大倍率(例えば、「4倍」)となるように所定の拡大方法により拡大する(ステップS91A)。具体的には、例えば、画像処理部5の骨格拡大部5dは、第1中間拡大画像から分離された骨格成分を「2倍」に拡大することで、原画像比で「4倍」となる第2中間拡大倍率の骨格成分を生成する。
画像処理部5のテクスチャ拡大部5fは、原画像から分離されたテクスチャ成分の処理(ステップS52B)と略同様に、第1中間拡大画像から分離されたテクスチャ成分を原画像比で第2中間拡大倍率(例えば、「4倍」)となるように所定の拡大方法により拡大する(ステップS92)。具体的には、例えば、画像処理部5のテクスチャ拡大部5fは、第1中間拡大画像から分離されたテクスチャ成分を「2倍」に拡大することで、原画像比で「4倍」となる第2中間拡大倍率のテクスチャ成分を生成する。
次に、画像処理部5は、中間倍率算出部5cにより算出された第2中間拡大倍率が他にあるか否かを判定する(ステップS11)。
ステップS8以降の処理は、ステップS11にて、第2中間拡大倍率が他にないと判定されるまで(ステップS11;NO)、繰り返し行われる。これにより、画像処理部5は、中間倍率算出部5cにより算出された全ての第2中間拡大倍率を処理に用いることで、最終的に、最終拡大倍率の次に小さい第2中間拡大倍率に拡大された第2中間拡大画像を生成する。
なお、骨格成分及びテクスチャ成分の各々は、画像処理部5により並行して、或いは、分離された順に逐次処理されることとなるが、以下の説明では、先ず、骨格成分の処理内容について説明し、その後、テクスチャ成分の処理内容について説明する。
先ず、画像処理部5の画像分離部5bは、第2中間拡大画像からTotal Variation法により骨格成分を分離する(ステップS121A)。
次に、第1中間拡大画像から分離された骨格成分の処理(ステップS91A)と略同様に、画像処理部5の骨格拡大部5dは、第2中間拡大画像から分離された骨格成分を原画像比で最終拡大倍率(例えば、「8倍」)となるように所定の拡大方法により拡大する(ステップS121B)。具体的には、例えば、画像処理部5の骨格拡大部5dは、第2中間拡大画像から分離された骨格成分を「2倍」に拡大することで、原画像比で「8倍」となる最終拡大倍率の骨格成分を生成する。
そして、非等法拡散処理後の骨格成分を最終拡大骨格成分とする。
画像処理部5は、原画像(例えば、原画像Go等)から分離されたテクスチャ成分(例えば、テクスチャ成分Gt等)の複製をメモリ4から取得した後(ステップS122A)、テクスチャ拡大部5fは、原画像から分離されたテクスチャ成分を最終拡大倍率(例えば、「8倍」)となるように所定の拡大方法により拡大して、最終拡大テクスチャ成分を生成する(ステップS122B)。
これにより、画像拡大処理を終了する。
即ち、中間拡大画像の生成段階及び最終拡大画像の生成段階の各々にて、細かな模様(テクスチャ)を含むテクスチャ成分を足し込んで合成することで、各画像にて細かな模様を強調させることができる。また、骨格成分を指定された最終拡大倍率となるように一回で拡大するのではなく段階的に拡大することにより、従来の手法により拡大された画像(例えば、画像Ge等;図5(b)参照)に比べて画質の劣化を抑制して高精細化を図ることができる。この結果、より高精細な最終拡大骨格成分を生成することができ、当該最終拡大骨格成分とノイズを含む最終拡大テクスチャ成分とを合成して生成される最終拡大画像(例えば、最終拡大画像Gf)に生じるノイズを相対的に目立ち難くすることができる。
従って、原画像の拡大倍率を大きくしても、従来の手法により拡大された画像のように画像エッジがぼやけたりノイズの増大により拡大画像の画質を劣化させることなく、最終拡大画像の画像エッジを強調して当該最終拡大画像の高精細化を適正に図ることができる。
例えば、原画像にバイラテラルフィルタを数回施すことで骨格画像を得て、この骨格画像を原画像から差し引くことでテクスチャ画像を得るようにしても良い。又、テクスチャ画像を輝度のみではなく色差を含むものとしても良い。また、中間拡大倍率として、第1中間拡大倍率と第2中間拡大倍率を設定するようにしたが、これに限られるものではなく、中間拡大倍率を少なくとも一つ設定すれば良い。例えば、最終拡大倍率が「4倍」等に設定された場合には、「4」の約数である1、2の中で、「1」以外の「2倍」のみを中間拡大倍率として設定する。
即ち、プログラムを記憶するプログラムメモリ4(図示略)に、取得処理ルーチン、指定処理ルーチン、第1分離処理ルーチン、中間画像生成処理ルーチン、第2分離処理ルーチン、骨格拡大処理ルーチン、テクスチャ拡大処理ルーチン、最終画像生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部10のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、指定処理ルーチンにより中央制御部10のCPUを、取得手段により取得された原画像の最終拡大倍率を指定する指定手段として機能させるようにしても良い。また、第1分離処理ルーチンにより中央制御部10のCPUを、取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段として機能させるようにしても良い。また、中間画像生成処理ルーチンにより中央制御部10のCPUを、第1分離手段により分離された原画像の骨格成分及びテクスチャ成分の各々を最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段として機能させるようにしても良い。また、第2分離処理ルーチンにより中央制御部10のCPUを、中間画像生成手段により生成された中間拡大画像から骨格成分を分離する第2分離手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部10のCPUを、第2分離手段により分離された中間拡大画像の骨格成分を最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段として機能させるようにしても良い。また、テクスチャ拡大処理ルーチンにより中央制御部10のCPUを、第1分離手段により分離された原画像のテクスチャ成分を最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段として機能させるようにしても良い。また、骨格拡大処理ルーチンにより中央制御部10のCPUを、骨格拡大手段により生成された最終拡大骨格成分とテクスチャ拡大手段により生成された最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段として機能させるようにしても良い。
5 画像処理部
5a 画像取得部
5b 画像分離部
5c 中間倍率算出部
5d 骨格拡大部
5f テクスチャ拡大部
5g 中間画像生成部
5h 最終画像生成部
5i 再分離部
9 操作入力部
10 中央制御部
Claims (5)
- 原画像を取得する取得手段と、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段と、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段と、
この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段と、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段と、
この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段と、
前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段と、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段と、
を備えることを特徴とする画像処理装置。 - 前記指定手段により指定された前記最終拡大倍率を所定数で除算することで前記中間拡大倍率を少なくとも一つ算出する算出手段を更に備え、
前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を前記算出手段により算出された前記少なくとも一の中間拡大倍率となるように拡大することを特徴とする請求項1に記載の画像処理装置。 - 前記中間画像生成手段は、
前記原画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された第1中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成し、
前記算出手段により算出された前記第1中間拡大倍率よりも大きい第2中間拡大倍率が少なくとも一つある場合に、前記中間画像生成手段により生成された中間拡大画像から骨格成分及びテクスチャ成分を分離する再分離手段を更に備え、
前記中間画像生成手段は、更に、
前記再分離手段により分離された前記中間拡大画像の骨格成分及びテクスチャ成分の各々を、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率の中で何れか一の第2中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して新たな中間拡大画像を生成し、
前記再分離手段による骨格成分及びテクスチャ成分の分離、並びに前記中間画像生成手段による新たな中間拡大画像の生成は、前記算出手段により算出された前記少なくとも一の第2中間拡大倍率が全て用いられるまで行われることを特徴とする請求項2に記載の画像処理装置。 - 画像処理装置を用いた画像処理方法であって、
原画像を取得するステップと、
取得された原画像の最終拡大倍率を指定するステップと、
取得された原画像から骨格成分及びテクスチャ成分を分離するステップと、
分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成するステップと、
生成された前記中間拡大画像から骨格成分を分離するステップと、
分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成するステップと、
分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するステップと、
生成された前記最終拡大骨格成分と前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成するステップと、
を実行することを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
原画像を取得する取得手段、
この取得手段により取得された原画像の最終拡大倍率を指定する指定手段、
前記取得手段により取得された原画像から骨格成分及びテクスチャ成分を分離する第1分離手段、
この第1分離手段により分離された前記原画像の骨格成分及びテクスチャ成分の各々を前記最終拡大倍率よりも小さい中間拡大倍率となるように拡大し、拡大後の骨格成分及びテクスチャ成分を合成して中間拡大画像を生成する中間画像生成手段、
この中間画像生成手段により生成された前記中間拡大画像から骨格成分を分離する第2分離手段、
この第2分離手段により分離された前記中間拡大画像の骨格成分を前記最終拡大倍率となるように拡大して最終拡大骨格成分を生成する骨格拡大手段、
前記第1分離手段により分離された前記原画像のテクスチャ成分を前記最終拡大倍率に拡大して最終拡大テクスチャ成分を生成するテクスチャ拡大手段、
前記骨格拡大手段により生成された前記最終拡大骨格成分と前記テクスチャ拡大手段により生成された前記最終拡大テクスチャ成分とを合成して最終拡大画像を生成する最終画像生成手段、
として機能させることを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009225732A JP4844664B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
TW099132925A TWI423165B (zh) | 2009-09-30 | 2010-09-29 | 影像處理裝置、影像處理方法及記憶媒體 |
CN2010105400676A CN102034222B (zh) | 2009-09-30 | 2010-09-29 | 图像处理装置及图像处理方法 |
US12/892,979 US8401341B2 (en) | 2009-09-30 | 2010-09-29 | Image processing apparatus, method, and storage medium for generating a magnified image by synthesizing structure and texture |
KR1020100095136A KR101204727B1 (ko) | 2009-09-30 | 2010-09-30 | 화상 처리 장치, 화상 처리 방법, 및 기억 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009225732A JP4844664B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011211454A Division JP2012018688A (ja) | 2011-09-27 | 2011-09-27 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011076274A true JP2011076274A (ja) | 2011-04-14 |
JP4844664B2 JP4844664B2 (ja) | 2011-12-28 |
Family
ID=43780481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009225732A Active JP4844664B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8401341B2 (ja) |
JP (1) | JP4844664B2 (ja) |
KR (1) | KR101204727B1 (ja) |
CN (1) | CN102034222B (ja) |
TW (1) | TWI423165B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013137682A (ja) * | 2011-12-28 | 2013-07-11 | Nk Works Kk | 画像処理プログラム、画像処理装置および画像処理方法 |
JP2013152583A (ja) * | 2012-01-25 | 2013-08-08 | Nagoya Institute Of Technology | 画像処理装置 |
US8805113B2 (en) | 2011-11-11 | 2014-08-12 | Mitsubishi Electric Corporation | Image processing device and method and image display device |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5152559B2 (ja) * | 2007-07-19 | 2013-02-27 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2011134204A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
US20130004061A1 (en) * | 2010-03-12 | 2013-01-03 | National University Corporation Nagoya Institute Of Technology | Image processing device, image processing program, and method for generating image |
EP2724316B1 (en) * | 2011-06-24 | 2019-06-19 | InterDigital Madison Patent Holdings | Method and device for processing of an image |
CN104933679B (zh) * | 2015-07-06 | 2018-07-24 | 福州瑞芯微电子股份有限公司 | 一种放大图像的方法及其对应系统 |
CN105744364A (zh) * | 2016-01-26 | 2016-07-06 | 四川长虹电器股份有限公司 | 4k超高清液晶电视画面清晰度和对比度的提升方法 |
CN106875350A (zh) * | 2017-01-05 | 2017-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 对模糊图片进行清晰化处理的方法、装置和终端 |
JP6953183B2 (ja) * | 2017-05-24 | 2021-10-27 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
KR102402639B1 (ko) | 2017-11-24 | 2022-05-26 | 삼성전자주식회사 | 전자 장치 및 그의 통신 방법 |
CN111223049B (zh) * | 2020-01-07 | 2021-10-22 | 武汉大学 | 一种基于结构-纹理分解的遥感图像变分融合方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003143399A (ja) * | 2001-11-07 | 2003-05-16 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
JP2007317109A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Hoso Kyokai <Nhk> | 画像処理装置及び画像処理プログラム |
WO2011033619A1 (ja) * | 2009-09-16 | 2011-03-24 | パイオニア株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1207498A3 (en) | 2000-11-15 | 2003-10-15 | Sega Corporation | Display object generation method in information processing equipment |
JP2003125197A (ja) | 2001-10-12 | 2003-04-25 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
JP4175024B2 (ja) | 2002-05-22 | 2008-11-05 | ソニー株式会社 | 画像表示装置および画像処理装置、並びに画像処理方法 |
US20050083350A1 (en) * | 2003-10-17 | 2005-04-21 | Battles Amy E. | Digital camera image editor |
US20060227153A1 (en) * | 2005-04-08 | 2006-10-12 | Picsel Research Limited | System and method for dynamically zooming and rearranging display items |
US20070223834A1 (en) * | 2006-03-23 | 2007-09-27 | Samsung Electronics Co., Ltd. | Method for small detail restoration in digital images |
WO2007139067A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム |
JP2008054267A (ja) | 2006-07-28 | 2008-03-06 | Hitachi Ltd | 画像処理装置、画像符号化装置及び画像復号化装置 |
WO2008041178A2 (en) * | 2006-10-04 | 2008-04-10 | Koninklijke Philips Electronics N.V. | Image enhancement |
US8213500B2 (en) * | 2006-12-21 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Methods and systems for processing film grain noise |
TW200830217A (en) * | 2007-01-08 | 2008-07-16 | Corel Tw Corp | Image processing device and method by using differences of different scaled images as layered images |
JP5098054B2 (ja) * | 2007-11-22 | 2012-12-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
US8233734B2 (en) * | 2008-09-22 | 2012-07-31 | Microsoft Corporation | Image upsampling with training images |
CN101408975A (zh) * | 2008-11-28 | 2009-04-15 | 哈尔滨工业大学 | 一种基于边缘置信度的自调整总体变分图像平滑方法 |
-
2009
- 2009-09-30 JP JP2009225732A patent/JP4844664B2/ja active Active
-
2010
- 2010-09-29 CN CN2010105400676A patent/CN102034222B/zh active Active
- 2010-09-29 US US12/892,979 patent/US8401341B2/en active Active
- 2010-09-29 TW TW099132925A patent/TWI423165B/zh active
- 2010-09-30 KR KR1020100095136A patent/KR101204727B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003143399A (ja) * | 2001-11-07 | 2003-05-16 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
JP2007317109A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Hoso Kyokai <Nhk> | 画像処理装置及び画像処理プログラム |
WO2011033619A1 (ja) * | 2009-09-16 | 2011-03-24 | パイオニア株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8805113B2 (en) | 2011-11-11 | 2014-08-12 | Mitsubishi Electric Corporation | Image processing device and method and image display device |
JP2013137682A (ja) * | 2011-12-28 | 2013-07-11 | Nk Works Kk | 画像処理プログラム、画像処理装置および画像処理方法 |
US9129357B2 (en) | 2011-12-28 | 2015-09-08 | Nk Works Co., Ltd. | Image processing apparatus, method of image processing, and recording medium storing image processing program |
JP2013152583A (ja) * | 2012-01-25 | 2013-08-08 | Nagoya Institute Of Technology | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102034222B (zh) | 2013-04-10 |
KR101204727B1 (ko) | 2012-11-26 |
KR20110035981A (ko) | 2011-04-06 |
CN102034222A (zh) | 2011-04-27 |
US20110075947A1 (en) | 2011-03-31 |
TWI423165B (zh) | 2014-01-11 |
JP4844664B2 (ja) | 2011-12-28 |
US8401341B2 (en) | 2013-03-19 |
TW201120810A (en) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4844664B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5633550B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5186021B2 (ja) | 撮像装置、画像処理装置、及び撮像方法 | |
JP2011114823A (ja) | 画像処理装置及び撮像装置 | |
JP2011109496A (ja) | 撮像装置 | |
JP2017175319A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005347811A (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP2010246033A (ja) | カメラ、画像処理装置、および画像処理プログラム | |
JP2013219589A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6929711B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP5943613B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP2010041497A (ja) | 画像処理装置、電子機器及び画像処理方法 | |
JP2005117399A (ja) | 画像処理装置 | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
JP5952573B2 (ja) | 画像処理装置およびその制御方法 | |
JP2011151454A (ja) | 画像処理装置、撮像機器及び画像処理方法 | |
JP2012018688A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009200981A (ja) | ビデオカメラ | |
JP2020149589A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP2020092288A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5191941B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム | |
JP6087720B2 (ja) | 撮像装置及びその制御方法 | |
JP5836109B2 (ja) | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム | |
JP5676972B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110913 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110926 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4844664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |