CN102034222B - 图像处理装置及图像处理方法 - Google Patents
图像处理装置及图像处理方法 Download PDFInfo
- Publication number
- CN102034222B CN102034222B CN2010105400676A CN201010540067A CN102034222B CN 102034222 B CN102034222 B CN 102034222B CN 2010105400676 A CN2010105400676 A CN 2010105400676A CN 201010540067 A CN201010540067 A CN 201010540067A CN 102034222 B CN102034222 B CN 102034222B
- Authority
- CN
- China
- Prior art keywords
- image
- enlargement ratio
- final
- enlarged
- structural constituent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 119
- 238000003672 processing method Methods 0.000 title claims description 8
- 239000000470 constituent Substances 0.000 claims description 111
- 230000003321 amplification Effects 0.000 claims description 66
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 66
- 238000000926 separation method Methods 0.000 claims description 32
- 241001232809 Chorista Species 0.000 claims description 23
- 238000003384 imaging method Methods 0.000 abstract description 7
- 230000002194 synthesizing effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 64
- 238000001914 filtration Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000009792 diffusion process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000009499 grossing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 102220483407 Septin-4_S91A_mutation Human genes 0.000 description 2
- 102220536518 THAP domain-containing protein 1_S51A_mutation Human genes 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005755 formation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102200143234 rs121912767 Human genes 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 102220536512 THAP domain-containing protein 1_S52A_mutation Human genes 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明提供一种图像处理装置及图像处理方法，可适当地实现放大图像的高清晰化。其中，摄像装置(100)具备：中间图像生成部(5g)，将从原图像分离出的组织成分以及纹理成分的每一个放大为中间放大倍率，合成放大后的组织成分以及纹理成分来生成中间放大图像；以及最终图像生成部(5h)，合成将从中间放大图像中分离出的组织成分放大为最终放大倍率而生成的最终放大组织成分、和将原图像的纹理成分放大为最终放大倍率而生成的最终放大纹理成分，来生成最终放大图像。
Description
技术领域
本发明涉及图像处理装置、使用该图像处理装置的图像处理方法。
背景技术
以往公知一种如下的图像处理装置，利用放大图像的处理，代替最近邻域法(nearest neighbor method)或双三次法(bicubic method)等插补方法，而通过使用Total Variation(TV)法使放大图像高清晰化(例如，特开2007-317109号公报)。
上述使用了TV法的放大方法与最近邻域法或双三次法等插补方法相比，能够实现放大图像的高清晰化。但是，上述放大方法，在放大率变大时图像边缘模糊或噪声量增大。其结果，有放大图像的清晰感淡化这样的问题。
发明内容
因此，本发明的课题在于提供一种能够适当地实现放大图像的高清晰化的图像处理装置及图像处理方法。
为解决上述课题，本发明的一个实施方式的图像处理装置，其特征在于，具备：取得单元，取得原图像；指定单元，指定通过该取得单元所取得的原图像的最终放大倍率；第一分离单元，从通过所述取得单元所取得的原图像中分离组织成分及纹理成分；中间图像生成单元，将通过该第一分离单元分离出的所述原图像的组织成分及纹理成分的每一个放大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像；第二分离单元，从通过该中间图像生成单元所生成的所述中间放大图像中分离组织成分；组织放大单元，将通过该第二分离单元分离出的所述中间放大图像的组织成分放大为所述最终放大倍率，来生成最终放大组织成分；纹理放大单元，将通过所述第一分离单元分离出的所述原图像的纹理成分放大为所述最终放大倍率，来生成最终放大纹理成分；以及最终图像生成单元，合成通过所述组织放大单元所生成的所述最终放大组织成分和通过所述纹理放大单元所生成的所述最终放大纹理成分，来生成最终放大图像。
另外作为其他实施方式的图像处理方法，使用了图像处理装置，其特征在于，该图像处理方法执行：取得原图像的步骤；指定已取得的原图像的最终放大倍率的步骤；从已取得的原图像中分离组织成分及纹理成分的步骤；将分离出的所述原图像的组织成分及纹理成分的每一个放大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像的步骤；从已生成的所述中间放大图像中分离组织成分的步骤；将分离出的所述中间放大图像的组织成分放大为所述最终放大倍率，来生成最终放大组织成分的步骤；将分离出的所述原图像的纹理成分放大为所述最终放大倍率，来生成最终放大纹理成分的步骤；以及合成已生成的所述最终放大组织成分和所述最终放大纹理成分，来生成最终放大图像的步骤。
根据本发明，能够强调图像边缘以适当地实现放大图像的高清晰化。
附图说明
图1是表示应用本发明的一个实施方式的摄像装置的概略结构的框图。
图2是表示通过图1的摄像装置执行的图像放大处理的动作的一例的流程图。
图3是表示图2的放大处理后续的流程图。
图4是示意表示用于说明图2的放大处理的图像的一例的图。
图5是示意表示用于说明图2的放大处理的图像的一例的图。
附图说明：
100-摄像装置，5-图像处理部，5a-图像取得部，5b-图像分离部，5c-中间倍率计算部，5d-组织(structure)放大部，5f-纹理(texture)放大部，5g-中间图像生成部，5h-最终图像生成部，5i-再分离部，9-操作输入部，10-中央控制部。
具体实施方式
以下对于本发明使用附图说明具体的实施方式。但是，发明的范围不限于图示例。
图1是表示应用本发明的一个实施方式的摄像装置100的概略结构的框图。
本实施方式的摄像装置100将从原图像(例如原图像Go；参照图4(a))分离出的组织成分(例如组织成分Gs；参照图4(b))以及纹理成分(例如纹理成分Gt；参照图4(c))放大为中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像。然后，摄像装置100将从中间放大图像分离出的组织成分放大到最终放大倍率来生成最终放大组织成分，将原图像的纹理成分放大到最终放大倍率来生成最终放大纹理成分，合成所生成的最终放大组织成分与最终放大纹理成分来生成最终放大图像(例如最终放大图像Gf；参照图5(a))。
具体而言，如图1所示，摄像装置100具备：摄像部1、摄像控制部2、图像数据生成部3、存储器4、图像处理部5、显示控制部6、显示部7、记录介质8、操作输入部9、中央控制部10。
摄像部1拍摄被拍摄体生成图像帧。具体而言，摄像部1虽然省略了图示，但该摄像部1具备：由变焦透镜或聚焦透镜等多个透镜构成的透镜部；调整通过透镜部的光量的光圈；由CCD(Charge Coupled Device)或CMOS(Complementary Metal-oxide Semiconductor)等图像传感器构成、将通过透镜部的各种透镜的光学像变换为二维图像信号的电子摄像部。
摄像控制部2虽然省略了图示，但该摄像控制部2具备：定时发生器、驱动器等。并且，摄像控制部2通过定时发生器、驱动器扫描驱动电子摄像部，在每一规定周期通过电子摄像部将光学像变换为二维图像信号，从该电子摄像部的摄像区域1画面、1画面地读出图像帧后，向图像数据生成部3输出。
另外，摄像控制部2作为摄像条件的调整控制，执行AE(自动曝光处理)、AF(自动对焦处理)、AWB(自动白平衡)等。
图像数据生成部3对于从电子摄像部传送来的图像数据的模拟值的信号按照RGB的各颜色成分的每一个适当调整增益后，用采样保持电路(省略图示)采样保持、用A/D变换器(省略图示)变换为数字数据，在用颜色加工电路(省略图示)进行包含像素插补处理以及γ修正处理的颜色加工处理后，生成数字值的亮度信号Y及色差信号Cb、Cr(YUV颜色空间的图像数据)。
从颜色加工电路输出的亮度信号Y及色差信号Cb、Cr通过未图示的DMA控制器向作为缓冲存储器使用的存储器4进行DMA传送。
存储器4例如用DRAM等构成，临时存储通过图像处理部5或中央控制部10等所处理的数据等。
图像处理部5具备：图像取得部5a、图像分离部5b、中间倍率计算部5c、组织放大部5d、滤波处理部5e、纹理放大部5f、中间图像生成部5g、最终图像生成部5h。
图像取得部5a作为取得单元，而将通过摄像部1拍摄到的原图像(例如原图像Go等)作为处理对象图像取得。
具体而言，图像取得部5a例如从在记录介质8中记录的至少一个图像数据中取得基于用户对于操作输入部9的规定操作所指定的任何一个图像数据。
图像分离部5b从处理对象数据(例如原图像Go等)中分离组织成分(例如组织成分Gs等)以及纹理成分(例如纹理成分Gt等)的至少一方。即、图像分离部5b通过Total Variation法从处理对象数据中分离包含表示该处理对象图像内的目标的形状或大小的边缘部和平坦部的组织成分、以及包含表示该处理对象图像内的目标的根据亮度变化的清晰部的细微的图样(纹理：表现表面的质感的重复的亮度图案)的纹理成分的至少一方。
具体而言，图像分离部5b作为第一分离单元，通过Total Variation法从由图像取得部5a已取得的作为处理对象图像的原图像中分离组织成分及纹理成分。另外图像分离部5b作为第二分离单元，通过Total Variation法从由中间图像生成部5g已生成的作为处理对象图像的中间放大图像中分离组织成分。
此外，作为通过图像分离部5b从处理对象图像中分离组织成分或纹理成分的方法例示的方法仅是一例，不限于该方法。
中间倍率计算部5c计算比原图像(例如原图像Go等)的最终放大倍率小的中间放大倍率。即、中间倍率计算部5c在图像再生模式下通过用规定的数除基于由用户对于操作输入部9的选择确定按钮的规定操作所设定的原图像(处理对象图像)的放大倍率(最终放大倍率)来计算至少一个中间放大倍率。具体而言，中间倍率计算部5c通过约分最终放大倍率，而将至少一个约数作为中间放大倍率计算。此时，在“1”(等倍)以外的约数算出有多个的情况下，中间倍率计算部5c将“1”以外最小的约数作为第一中间放大倍率，将该最小的约数以外的约数作为第二中间放大倍率。
例如，在设定最终放大倍率为“8倍”的情况下，中间倍率计算部5c在作为“8”的约数的1、2、4中设定“2倍”为第一中间放大倍率，设定“4倍”为第二中间放大倍率。另外，例如，在设定最终放大倍率为“50倍”的情况下，中间倍率计算部5c在作为“50”的约数的1、2、5、10、25中设定“2倍”为第一中间放大倍率，设定“5倍”、“10倍”、以及“25倍”为第二中间放大倍率。这里，不必将最小的约数以外的所有约数(例如“5倍”、“10倍”、以及“25倍”)设定为第二中间放大倍率。另外，在多个第二中间放大倍率中在处理中使用的顺序，例如采用升序，但是不限于此，可以任意适当变更为降序等。
此外，中间放大倍率不限于正的整数，只要是用规定数除最终放大倍率算出的数即可，也可以是正的小数或分数。另外，最终放大倍率的除数也不限于整数，也可以是正的小数或分数。
这里，中间倍率计算部5c构成通过用规定数除基于由用户对操作输入部9的规定操作所指定的最终放大倍率来计算至少一个中间放大倍率的计算单元。
组织放大部5d通过规定的放大方法将由图像分离部5b从原图像(例如原图像Go等)中分离出的组织成分(例如组织成分Gs等)放大为中间放大倍率。这里，在设定了原图像的第二中间放大倍率的情况下，组织放大部5d通过规定的放大方法将由中间图像生成部5g的再分离部5i(后述)从第一中间放大图像中分离出的组织成分以原图像比放大为第二中间放大倍率。
另外，组织放大部5d通过规定的放大方法将由图像分离部5b从中间放大图像(例如第一中间放大图像或第二中间放大图像(后述)等)中分离出的组织成分以原图像比放大为最终放大倍率。
此外，作为组织放大部5d使用的放大方法，例如可以举出能够实现更加自然的高清晰化的、使用通过双三次法的插补处理的方法。
滤波处理部5e对于通过组织放大部5d放大的组织成分进行规定的滤波处理。
具体而言，滤波处理部5e首先使用规定的清晰化滤波器(例如拉普拉斯算符滤波器等)，进行强调通过组织放大部5d放大了的组织成分的图像边缘(轮廓)的清晰化处理。接着，滤波处理部5e使用规定的各向异性扩散(anisotropically diffusing)滤波器(例如Total Variation滤波器等)，使在经过清晰化处理后的组织成分的图像边缘的切线方向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散处理。
这里，在滤波处理部5e将通过组织放大部5d放大成为最终放大倍率的组织成分作为处理对象的情况下，将各向异性扩散处理后的组织成分作为最终放大组织成分。
即，组织放大部5d及滤波处理部5e构成将通过图像分离部5b分离出的中间放大图像的组织成分放大为最终放大倍率、生成最终放大组织成分的组织放大单元。
纹理放大部5f使用规定的放大方法将通过图像分离部5b从原图像(例如原图像Go等)中分离出的纹理成分(例如纹理成分Gt等)放大为中间放大倍率。这里，在设定了原图像的第二中间放大倍率的情况下，纹理放大部5f使用规定的放大方法将由中间图像生成部5g的再分离部5i(后述)从第一中间放大图像中分离出的纹理成分以原图像比放大为第二中间放大倍率。
另外，纹理放大部5f作为纹理放大单元，使用规定的放大方法将由图像分离部5b从原图像(例如原图像Go等)中分离出的纹理成分(例如纹理成分Gt等)放大为最终放大倍率，来生成最终放大纹理成分。
此外，作为纹理放大部5f使用的放大方法，例如可以举出能够实现更加自然的高清晰化的、使用通过双三次法的插补处理的方法。
中间图像生成部5g合成通过组织放大部5d放大了的组织成分和通过纹理放大部5f放大了的纹理成分，来生成中间放大图像。
即，中间图像生成部5g合成通过滤波处理部5e施行了规定的滤波处理的原图像的组织成分和通过纹理放大部5f放大为中间放大倍率的原图像的纹理成分，来生成中间放大图像。
这里，组织放大部5d、纹理放大部5f以及中间图像生成部5g构成中间图像生成单元，该中间图像生成单元用于将通过图像分离部5b分离出的原图像的组织成分以及纹理成分的每一个放大为比最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像。
另外，在设定了原图像(例如原图像Go等)的第二中间放大倍率的情况下，中间图像生成部5g合成通过组织放大部5d以及纹理放大部5f放大为第一中间放大倍率的原图像的组织成分以及纹理成分，来生成第一中间放大图像。然后，中间图像生成部5g通过再分离部5i从第一中间放大图像中分离组织成分以及纹理成分。这里，通过再分离部5i进行的组织成分以及纹理成分的分离，例如通过Total Variation法进行，不过与图像分离部5b仅是处理对象不同，实质的处理内容大体相同。此外，作为通过再分离部5i从处理对象图像中分离组织成分以及纹理成分的方法，例示的方法仅是一例，不限于此。
然后，通过再分离部5i进行的组织成分以及纹理成分的分离，直至全部使用了通过中间倍率计算部5c算出的至少一个第二中间放大倍率。
这里，在比通过中间倍率计算部5c算出的第一中间放大倍率大的第二中间放大倍率有至少一个的情况下，再分离部5i构成从通过中间图像生成部5g生成的中间放大图像(例如第一中间放大图像)中分离组织成分以及纹理成分的再分离单元。
另外，对于通过再分离部5i分离出的中间放大图像(例如第一中间放大图像)的组织成分以及纹理成分的每一个，中间图像生成部5g通过合成由组织放大部5d以及纹理放大部5f放大为由中间倍率计算部5c算出的任何一个第二中间放大倍率(例如比第一中间放大倍率次大的放大倍率)的组织成分以及纹理成分，新生成第二中间放大图像。
这里，通过中间图像生成部5g进行的第二中间放大图像的新的生成，直至全部使用了通过中间倍率计算部5c算出的至少一个第二中间放大倍率。
最终图像生成部5h合成最终放大组织成分和最终放大纹理成分来生成最终放大图像(例如最终放大图像Gf；参照图5(a))。
即，最终图像生成部5h合成通过滤波处理部5e施行规定的滤波处理所生成的最终放大组织成分和通过纹理放大部5f放大为最终放大倍率的最终放大纹理成分，来生成最终放大图像。
这里，最终图像生成部5h构成合成通过组织放大部5d以及滤波处理部5e所生成的最终放大组织成分、和通过纹理放大部5f所生成的最终放大纹理成分来生成最终放大图像的最终图像生成单元。
显示控制部6执行读出在存储器4中临时存储的显示用的图像数据后在显示部7上显示的控制。
具体而言，显示控制部6具备VRAM、VRAM控制器、数字视频编码器等。另外，数字视频编码器在中央控制部10的控制下通过VRAM控制器从VRAM中定期读出从存储器4中读出的、在VRAM(省略图示)中存储的亮度信号Y以及色差信号Cb、Cr，以这些数据为基础发生视频信号，向显示部7输出。
显示部7例如是液晶显示装置，基于来自显示控制部6的视频信号在显示画面上显示通过电子摄像部拍摄到的图像等。具体而言，显示部7在静止图像摄像模式或者运动图像摄像模式中，一边以规定的帧速率逐次更新通过摄像部1拍摄被拍摄体而生成的多个图像帧一边显示实时取景图像。另外，显示部7在记录介质8中记录的多个图像数据中显示根据用户对于操作输入部9的规定操作来显示被指示显示的图像数据。
记录介质8例如由非易失存储器(闪存)等构成，存储通过图像处理部5的编码部(省略图示)以规定的压缩形式编码的记录用的静止图像数据或者由多个图像帧组成的运动图像数据。
操作输入部9用于执行该摄像装置100的规定操作。具体而言，操作输入部9具备有关被拍摄体的摄像指示的快门按钮、有关摄像模式或者功能等的选择指示的选择确定按钮、有关变焦量的调整指示的变焦按钮等(省略所有的图示)，根据这些按钮的操作向中央控制部10输出规定的操作信号。
另外，操作输入部9的选择确定按钮在图像再生模式中输入根据用户的规定操作被显示部7显示的原图像(处理对象图像)的放大倍率(最终放大倍率)的设定指示。然后，操作输入部9根据该选择确定按钮的操作，向中央控制部10输出规定的设定信号。
中央控制部10遵照所输入的设定信号，设定用户希望的图像的放大倍率。
这里，操作输入部9以及中央控制部10构成指定处理对象图像(原图像)的最终放大倍率的指定单元。
此外，最终放大倍率不限于正整数(例如“8倍”或“25倍”等)，也可以是正的小数或分数。
中央控制部10控制摄像装置100的各部。具体而言，中央控制部10具备CPU(省略图示)，遵照摄像装置100用的各种处理程序(省略图示)执行各种控制动作。
下面，参照图2以及图3说明通过摄像装置100进行的图像放大处理。
图2以及图3是表示有关图像放大处理的动作的一例的流程图。
图像放大处理是基于用户对于操作输入部9的选择确定按钮进行的规定操作从在菜单画面上显示的多个摄像模式中选择指示了图像再生模式时所执行的处理。
如图2所示，首先，当基于用户对于操作输入部9的选择确定按钮进行的规定操作，从在记录介质8中记录的至少一个图像数据中指定任一个图像数据时，图像处理部5的图像取得部5a取得用户指定的图像数据作为处理对象图像(步骤S1)。由此，成为在显示部7上显示处理对象图像(例如原图像Go等)的状态。
其后，当基于用户对于操作输入部9的规定操作，指定被显示部7显示的处理对象图像(例如原图像Go等)的最终放大倍率(例如8倍等)时，操作输入部9向中央控制部10输出规定的设定信号，中央控制部10遵照所输入的设定信号，设定用户希望的图像的最终放大倍率(步骤S2)。
接着，图像处理部5的中间倍率计算部5c通过用规定数除所设定的处理对象图像的最终放大倍率，计算至少一个中间放大倍率(步骤S3)。具体而言，例如，在最终放大倍率设定为“8倍”的情况下，中间倍率计算部5c在作为“8”的约数的1、2、4中，设定“2倍”作为第一中间放大倍率，设定“4倍”作为第二中间放大倍率。
接着，图像处理部5的图像分离部5b通过Total Variation法从作为处理对象图像的原图像(例如原图像Go等)中分离组织成分(例如组织成分Gs等)以及纹理成分(例如纹理成分Gt等)(步骤S4)。
此外，分离后的组织成分以及纹理成分的每一个，通过图像处理部5并行地、或者以分离的顺序逐次处理，但在以下的说明中首先说明组织成分的处理内容，其后说明纹理成分的处理内容。
<组织成分的处理>
首先，图像处理部5的组织放大部5d使用规定的放大方法将从原图像(例如原图像Go等)中分离出的组织成分(例如组织成分Gs等)放大为第一中间放大倍率(例如“2倍”)(步骤S51A)。
接着，图像处理部5的滤波处理部5e在进行强调通过组织放大部5d放大了的组织成分的图像边缘(轮廓)的清晰化处理后(步骤S51B)，在经过清晰化处理后的组织成分的图像边缘的切线方向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散处理(步骤S51C)。
<纹理成分的处理>
在图像处理部5复制从原图像(例如原图像Go等)中分离出的纹理成分(例如纹理成分Gt等)并在存储器4中临时存储后(步骤S52A)，纹理放大部5f使用规定的放大方法将从原图像中分离出的纹理成分放大为第一中间放大倍率(例如“2倍”)(步骤S52B)。
然后，在组织成分的处理以及纹理成分的处理结束后，图像处理部5的中间图像生成部5g合成通过滤波处理部5e执行各向异性处理后的组织成分、和通过纹理放大部5f放大的纹理成分，来生成放大为第一中间放大倍率的第一中间放大图像(步骤S6)。
接着，图像处理部5判定是否有至少一个通过中间倍率计算部5c算出的第二中间放大倍率(步骤S7)。
例如，在最终放大倍率设定为“8倍”、通过中间倍率计算部5c将第二中间放大倍率设定为“4倍”的情况下，因为第二中间放大倍率有一个，所以在步骤S7判定为第二中间放大倍率至少有一个(步骤S7；是)，中间图像生成部5g的再分离部5i通过Total Variation法从第一中间放大图像中分离组织成分及纹理成分(步骤S8)。
此外，分离后的组织成分以及纹理成分的每一个，通过图像处理部5并行地、或者以分离的顺序逐次处理，但在以下的说明中首先说明组织成分的处理内容，其后说明纹理成分的处理内容。
<组织成分的处理>
以下说明的从第一中间放大图像中分离出的组织成分的处理除放大倍率不同外，与从原图像中分离出的组织成分的处理(步骤S51A～S51C)大体相同。
即，首先，图像处理部5的组织放大部5d使用规定的放大方法将从第一中间放大图像中分离出的组织成分以原图像比放大为第二中间放大倍率(例如“4倍”)(步骤S91A)。具体而言，例如，图像处理部5的组织放大部5d通过将从第一中间放大图像中分离出的组织成分放大为“2倍”，以原图像比生成成为“4倍”的第二中间放大倍率的组织成分。
接着，图像处理部5的滤波处理部5e在进行强调通过组织放大部5d放大的组织成分的图像边缘(轮廓)的清晰化处理后(步骤S91B)，在经过清晰化处理后的组织成分的图像边缘的切线方向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散处理(步骤S91C)。
<纹理成分的处理>
图像处理部5的纹理放大部5f与从原图像中分离出的纹理成分的处理(步骤S52B)大体相同地使用规定的放大方法将从第一中间放大图像中分离出的纹理成分以原图像比放大为第二中间放大倍率(例如“4倍”)(步骤S92)。具体而言，例如，图像处理部5的纹理放大部5f通过将从第一中间放大图像中分离出的纹理成分放大为“2倍”，以原图像比生成成为“4倍”的第二中间放大倍率的纹理成分。
然后，在组织成分的处理以及纹理成分的处理结束后，图像处理部5的中间图像生成部5g合成通过滤波处理部5e进行的各向异性扩散处理后的组织成分、和通过纹理放大部5f放大的纹理成分，来生成放大为第二中间放大倍率的第二中间放大图像(步骤S10)。
接着，图像处理部5判定是否有其他的通过中间倍率计算部5c算出的第二中间放大倍率(步骤S11)。
在步骤S11，当判定为有其他的第二中间放大倍率时(步骤S7；是)，图像处理部5将处理转移到步骤S8，执行该步骤以后的处理。
重复执行步骤8以后的处理，直至在步骤S11判定为没有其他的第二中间放大倍率(步骤S11；否)。由此，图像处理部5通过在处理中使用由中间倍率计算部5c算出的全部第二中间放大倍率，最终生成被放大为比最终放大倍率次小的第二中间放大倍率的第二中间放大图像。
然后，在步骤S11，当判定为没有其他的第二中间放大倍率时(步骤S11；否)，图像处理部5对于组织成分以及纹理成分的每一个分别进行处理。另外，当在步骤S7判定为第二中间放大倍率一个也没有时(步骤S7；否)，图像处理部5对于组织成分以及纹理成分的每一个分别进行处理。
此外，组织成分以及纹理成分的每一个，通过图像处理部5并行地、或者以分离的顺序逐次处理，但在以下的说明中首先说明组织成分的处理内容，其后说明纹理成分的处理内容。
<组织成分的处理>
首先，图像处理部5的图像分离部5b通过Total Variation法从第二中间放大图像中分离组织成分(步骤S121A)。
接着，与从第一中间放大图像中分离出的组织成分的处理(步骤S91A)大体相同地，图像处理部5的组织放大部5d使用规定的放大方法将从第二中间放大图像中分离出的组织成分以原图像比放大为最终放大倍率(例如“8倍”)(步骤S121B)。具体而言，例如，图像处理部5的组织放大部5d通过将从第二中间放大图像中分离出的组织成分放大为“2倍”，以原图像比生成成为“8倍”的最终放大倍率的组织成分。
接着，与从第一中间放大图像中分离出的组织成分的处理(步骤S91B～S91C)大体相同地，图像处理部5的滤波处理部5e在进行强调通过组织放大部5d放大了的组织成分的图像边缘(轮廓)的清晰化处理后(步骤121C)，进行在经过清晰化处理后的组织成分的图像边缘的切线方向和边缘的垂直方向上使用不同的权重进行平滑化的各向异性扩散处理(步骤121D)。
然后，将各向异性扩散处理后的组织成分作为最终放大组织成分。
<纹理成分的处理>
在图像处理部5从存储器4中取得了从原图像(例如原图像Go等)中分离出的纹理成分(例如纹理成分Gt等)的复制品后(步骤S122A)，纹理放大部5f使用规定的放大方法将从原图像中分离出的纹理成分放大为最终放大倍率(例如“8倍”)，来生成最终放大纹理成分(步骤S122B)。
然后，在组织成分的处理以及纹理成分的处理结束后，图像处理部5的最终图像生成部5h合成最终放大组织成分和最终放大纹理成分，来生成放大为最终放大倍率(例如“8倍”)的最终放大图像(例如最终放大图像Gf；参照图5(a))(步骤S13)。
由此结束图像放大处理。
如上所述，本实施方式的摄像装置100使用Total Variation法从原图像(例如原图像Go等)中分离组织成分(例如组织成分Gs等)以及纹理成分(例如纹理成分Gf等)。将各成分放大为中间放大倍率，合成放大了的组织成分以及纹理成分来生成中间放大图像。合成将使用TotalVariation法从中间放大图像分离出的组织成分放大为最终放大倍率而生成的最终放大组织成分、和将原图像的纹理成分放大为最终放大倍率而生成的最终放大纹理成分，来生成最终放大图像(例如最终放大图像Gf；参照图5(a))。这样，通过实质上叠加纹理成分，既能强调细微图样(纹理)又能生成噪声不明显的最终放大图像。
亦即，在中间放大图像的各生成阶段以及最终放大图像的生成阶段的每一个，通过加入包含细微图样(纹理)的纹理成分进行合成，能够在各图像中强调细微图样。另外，通过不是一次而是分阶段将组织成分放大为指定的最终放大倍率，与通过现有的方法放大的图像(例如图像Ge；参照图5(b))相比，能够抑制图像质量恶化而实现高清晰化。结果能够生成更加高清晰的最终放大组织成分，能够使在合成该最终放大组织成分和包含噪声的最终放大纹理成分而生成的最终放大图像(例如最终放大图像Gf)中产生的噪声相对不明显。
因此，即使增大原图像的放大倍率，也不会像通过现有的方法放大的图像那样由于边缘模糊或噪声增大而使放大图像的图像质量恶化，能够强调最终放大图像的图像边缘、适当地实现该最终放大图像的高清晰化。
另外，在存在至少一个比第一中间放大倍率大的第二中间放大倍率的情况下，本实施方式的摄像装置100使用Total Variation法从中间放大图像中再分离组织成分及纹理成分，将该中间放大图像的组织成分及纹理成分的每一个放大为任一个第二中间放大倍率。因为合成放大后的组织成分及纹理成分而生成新的中间放大图像，所以即使指定的最终放大倍率变大，也能够多次设定中间放大倍率、多次生成中间放大图像。由此，与一次放大为最终放大倍率的情况相比，能够抑制放大图像的图像质量的恶化而实现高清晰化，能够生成更加高清晰的最终放大组织成分。其结果，能够使在最终放大图像(例如最终放大图像Gf)中产生的噪声相对不明显。
此外，本发明不限于上述实施方式，在不脱离本发明的主旨的范围内也可以进行各种改进及设计变更。
例如，也可以通过多次对原图像施行双向滤波得到组织图像，通过从原图像中减去该组织图像得到纹理图像。另外，也可以使纹理图像不仅包含亮度，而且也包含色差。另外，作为中间放大倍率，设定第一中间放大倍率和第二中间放大倍率，但是不限于此，只要设定至少一个中间放大倍率即可。例如，在将最终放大倍率设定为“4倍”等的情况下，在作为“4”的约数的1、2中仅将“1”以外的“2倍”设定为中间放大倍率。
另外，在上述实施方式中例示的摄像装置100的结构是一个例子，不限于该例。例如，也可以是处理对象图像的摄像用与摄像装置100不同的摄像装置进行，取得从该摄像装置传送来的处理对象图像的图像数据，进行图像放大处理的图像处理装置。
此外，在上述实施方式中采用通过中央控制部10、操作输入部9、图像处理部5的图像取得部5a、图像分离部5b、组织放大部5d、纹理放大部5f、中间图像生成部5g、最终图像生成部5h的驱动来实现作为取得单元、指定单元、第一分离单元、中间图像生成单元、第二分离单元、组织放大单元、纹理放大单元、最终图像生成单元的功能的结构，但是不限于此，也可以采用通过由中央控制部10的CPU执行规定的程序等来实现的结构。
亦即，在存储程序的程序存储器4(省略图示)中预先存储包含取得处理例行程序、指定处理例行程序、第一分离处理例行程序、中间图像生成处理例行程序、第二分离处理例行程序、组织放大处理例行程序、纹理放大处理例行程序、最终图像生成处理例行程序的程序。并且，也可以通过取得处理例行程序使中央控制部10的CPU作为取得图像的取得单元作用。另外，也可以通过指定处理例行程序使中央控制部10的CPU作为指定通过取得单元取得的原图像的最终放大倍率的指定单元作用。另外，也可以通过第一分离处理例行程序使中央控制部10的CPU作为从通过取得单元取得的原图像中分离组织成分及纹理成分的第一分离单元作用。另外，也可以通过中间图像生成处理例行程序使中央控制部10的CPU作为中间图像生成单元作用，其用于将通过第一分离单元分离出的原图像的组织成分及纹理成分的每一个放大为比最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像。另外，也可以通过第二分离处理例行程序使中央控制部10的CPU作为从通过中间图像生成单元生成的中间放大图像中分离组织成分的第二分离单元作用。另外，也可以通过组织放大处理例行程序使中央控制部10的CPU作为将通过第二分离单元分离出的中间放大图像的组织成分放大为最终放大倍率、生成最终放大组织成分的组织放大单元作用。另外，也可以通过纹理放大处理例行程序使中央控制部10的CPU作为将通过第一分离单元分离出的原图像的纹理成分放大为最终放大倍率、生成最终放大纹理成分的纹理放大单元作用。另外，也可以通过最终图像生成处理例行程序使中央控制部10的CPU作为合成通过组织放大单元生成的最终放大组织成分和通过纹理放大单元生成的最终放大纹理成分、生成最终放大图像的最终图像生成单元作用。
Claims (4)
1.一种图像处理装置，其特征在于，具备：
取得单元，取得原图像；
指定单元，指定通过该取得单元所取得的原图像的最终放大倍率；
第一分离单元，从通过所述取得单元所取得的原图像中分离组织成分及纹理成分；
中间图像生成单元，将通过该第一分离单元分离出的所述原图像的组织成分及纹理成分的每一个放大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像；
第二分离单元，从通过该中间图像生成单元所生成的所述中间放大图像中分离组织成分；
组织放大单元，将通过该第二分离单元分离出的所述中间放大图像的组织成分放大为所述最终放大倍率，来生成最终放大组织成分；
纹理放大单元，将通过所述第一分离单元分离出的所述原图像的纹理成分放大为所述最终放大倍率，来生成最终放大纹理成分；以及
最终图像生成单元，合成通过所述组织放大单元所生成的所述最终放大组织成分和通过所述纹理放大单元所生成的所述最终放大纹理成分，来生成最终放大图像。
2.根据权利要求1所述的图像处理装置，其特征在于，
还具备计算单元，用于通过用规定数除通过所述指定单元所指定的所述最终放大倍率来计算至少一个所述中间放大倍率；
所述中间图像生成单元将所述原图像的组织成分以及纹理成分的每一个放大为通过所述计算单元算出的所述至少一个中间放大倍率。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述中间图像生成单元将所述原图像的组织成分以及纹理成分的每一个放大为通过所述计算单元算出的第一中间放大倍率，合成放大后的组织成分以及纹理成分来生成中间放大图像；
所述中间图像生成单元还具备再分离单元，用于在存在至少一个比通过所述计算单元算出的所述第一中间放大倍率大的第二中间放大倍率的情况下从通过所述中间图像生成单元所生成的中间放大图像中分离组织成分以及纹理成分；
所述中间图像生成单元进而将通过所述再分离单元分离出的所述中间放大图像的组织成分以及纹理成分的每一个放大为通过所述计算单元算出的所述至少一个第二中间放大倍率中的任何一个第二中间放大倍率，合成放大后的组织成分以及纹理成分来生成新的中间放大图像；
执行通过所述再分离单元进行的组织成分以及纹理成分的分离、以及通过所述中间图像生成单元进行的新的中间放大图像的生成，直至全部使用了通过所述计算单元算出的所述至少一个第二中间放大倍率为止。
4.一种图像处理方法，使用了图像处理装置，其特征在于，该图像处理方法执行：
取得原图像的步骤；
指定已取得的原图像的最终放大倍率的步骤；
从已取得的原图像中分离组织成分及纹理成分的步骤；
将分离出的所述原图像的组织成分及纹理成分的每一个放大为比所述最终放大倍率小的中间放大倍率，合成放大后的组织成分及纹理成分来生成中间放大图像的步骤；
从已生成的所述中间放大图像中分离组织成分的步骤；
将分离出的所述中间放大图像的组织成分放大为所述最终放大倍率，来生成最终放大组织成分的步骤；
将分离出的所述原图像的纹理成分放大为所述最终放大倍率，来生成最终放大纹理成分的步骤；以及
合成已生成的所述最终放大组织成分和所述最终放大纹理成分，来生成最终放大图像的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009225732A JP4844664B2 (ja) | 2009-09-30 | 2009-09-30 | 画像処理装置、画像処理方法及びプログラム |
| JP2009-225732 | 2009-09-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102034222A CN102034222A (zh) | 2011-04-27 |
| CN102034222B true CN102034222B (zh) | 2013-04-10 |
Family
ID=43780481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105400676A Active CN102034222B (zh) | 2009-09-30 | 2010-09-29 | 图像处理装置及图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8401341B2 (zh) |
| JP (1) | JP4844664B2 (zh) |
| KR (1) | KR101204727B1 (zh) |
| CN (1) | CN102034222B (zh) |
| TW (1) | TWI423165B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5152559B2 (ja) * | 2007-07-19 | 2013-02-27 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2011134204A (ja) * | 2009-12-25 | 2011-07-07 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
| US20130004061A1 (en) * | 2010-03-12 | 2013-01-03 | National University Corporation Nagoya Institute Of Technology | Image processing device, image processing program, and method for generating image |
| EP2724316B1 (en) * | 2011-06-24 | 2019-06-19 | InterDigital Madison Patent Holdings | Method and device for processing of an image |
| JP2013165476A (ja) | 2011-11-11 | 2013-08-22 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法、画像表示装置、プログラム及び記録媒体 |
| JP5884482B2 (ja) * | 2011-12-28 | 2016-03-15 | Ｎｋワークス株式会社 | 画像処理プログラム、画像処理装置および画像処理方法 |
| JP2013152583A (ja) * | 2012-01-25 | 2013-08-08 | Nagoya Institute Of Technology | 画像処理装置 |
| CN104933679B (zh) * | 2015-07-06 | 2018-07-24 | 福州瑞芯微电子股份有限公司 | 一种放大图像的方法及其对应系统 |
| CN105744364A (zh) * | 2016-01-26 | 2016-07-06 | 四川长虹电器股份有限公司 | 4k超高清液晶电视画面清晰度和对比度的提升方法 |
| CN106875350A (zh) * | 2017-01-05 | 2017-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 对模糊图片进行清晰化处理的方法、装置和终端 |
| JP6953183B2 (ja) * | 2017-05-24 | 2021-10-27 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| KR102402639B1 (ko) | 2017-11-24 | 2022-05-26 | 삼성전자주식회사 | 전자 장치 및 그의 통신 방법 |
| CN111223049B (zh) * | 2020-01-07 | 2021-10-22 | 武汉大学 | 一种基于结构-纹理分解的遥感图像变分融合方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043579A (zh) * | 2006-03-23 | 2007-09-26 | 三星电子株式会社 | 数字图像中细微细节恢复方法 |
| JP2007317109A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Hoso Kyokai <Nhk> | 画像処理装置及び画像処理プログラム |
| CN101408975A (zh) * | 2008-11-28 | 2009-04-15 | 哈尔滨工业大学 | 一种基于边缘置信度的自调整总体变分图像平滑方法 |
| CN101523434A (zh) * | 2006-10-04 | 2009-09-02 | 皇家飞利浦电子股份有限公司 | 图像增强 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1207498A3 (en) | 2000-11-15 | 2003-10-15 | Sega Corporation | Display object generation method in information processing equipment |
| JP2003125197A (ja) | 2001-10-12 | 2003-04-25 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
| JP3882585B2 (ja) * | 2001-11-07 | 2007-02-21 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
| JP4175024B2 (ja) | 2002-05-22 | 2008-11-05 | ソニー株式会社 | 画像表示装置および画像処理装置、並びに画像処理方法 |
| US20050083350A1 (en) * | 2003-10-17 | 2005-04-21 | Battles Amy E. | Digital camera image editor |
| US20060227153A1 (en) * | 2005-04-08 | 2006-10-12 | Picsel Research Limited | System and method for dynamically zooming and rearranging display items |
| WO2007139067A1 (ja) * | 2006-05-29 | 2007-12-06 | Panasonic Corporation | 画像高解像度化装置、画像高解像度化方法、画像高解像度化プログラムおよび画像高解像度化システム |
| JP2008054267A (ja) | 2006-07-28 | 2008-03-06 | Hitachi Ltd | 画像処理装置、画像符号化装置及び画像復号化装置 |
| US8213500B2 (en) * | 2006-12-21 | 2012-07-03 | Sharp Laboratories Of America, Inc. | Methods and systems for processing film grain noise |
| TW200830217A (en) * | 2007-01-08 | 2008-07-16 | Corel Tw Corp | Image processing device and method by using differences of different scaled images as layered images |
| JP5098054B2 (ja) * | 2007-11-22 | 2012-12-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
| US8233734B2 (en) * | 2008-09-22 | 2012-07-31 | Microsoft Corporation | Image upsampling with training images |
| US20120189208A1 (en) * | 2009-09-16 | 2012-07-26 | Pioneer Corporation | Image processing apparatus, image processing method, image processing program, and storage medium |
-
2009
- 2009-09-30 JP JP2009225732A patent/JP4844664B2/ja active Active
-
2010
- 2010-09-29 CN CN2010105400676A patent/CN102034222B/zh active Active
- 2010-09-29 US US12/892,979 patent/US8401341B2/en active Active
- 2010-09-29 TW TW099132925A patent/TWI423165B/zh active
- 2010-09-30 KR KR1020100095136A patent/KR101204727B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101043579A (zh) * | 2006-03-23 | 2007-09-26 | 三星电子株式会社 | 数字图像中细微细节恢复方法 |
| JP2007317109A (ja) * | 2006-05-29 | 2007-12-06 | Nippon Hoso Kyokai <Nhk> | 画像処理装置及び画像処理プログラム |
| CN101523434A (zh) * | 2006-10-04 | 2009-09-02 | 皇家飞利浦电子股份有限公司 | 图像增强 |
| CN101408975A (zh) * | 2008-11-28 | 2009-04-15 | 哈尔滨工业大学 | 一种基于边缘置信度的自调整总体变分图像平滑方法 |
Non-Patent Citations (1)
| Title |
|---|
| JP特开2007317109A 2007.12.06 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101204727B1 (ko) | 2012-11-26 |
| KR20110035981A (ko) | 2011-04-06 |
| CN102034222A (zh) | 2011-04-27 |
| US20110075947A1 (en) | 2011-03-31 |
| TWI423165B (zh) | 2014-01-11 |
| JP4844664B2 (ja) | 2011-12-28 |
| US8401341B2 (en) | 2013-03-19 |
| TW201120810A (en) | 2011-06-16 |
| JP2011076274A (ja) | 2011-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102034222B (zh) | 图像处理装置及图像处理方法 | |
| JP4902562B2 (ja) | 撮像装置、画像処理装置、制御方法およびプログラム | |
| JP5517746B2 (ja) | 画像処理装置およびその方法 | |
| KR101643613B1 (ko) | 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체 | |
| JP2009054130A (ja) | 画像処理装置、画像処理方法およびデジタルスチルカメラ | |
| KR102400283B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
| CN103685968A (zh) | 图像处理装置及图像处理方法 | |
| JP2010021753A (ja) | 画像処理装置、画像処理方法およびデジタルスチルカメラ | |
| JP2011166300A (ja) | 撮像装置及び画像処理方法 | |
| JP2011114823A (ja) | 画像処理装置及び撮像装置 | |
| JP2011151627A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2006080844A (ja) | 電子カメラ | |
| JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
| JP6056160B2 (ja) | 自動合焦装置、自動合焦方法及びプログラム | |
| US9261771B2 (en) | Digital photographing apparatus for displaying panoramic images and methods of controlling the same | |
| JP2016076771A (ja) | 撮像装置 | |
| JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
| JP2009218895A (ja) | 撮像装置及び撮像方法 | |
| US10015362B2 (en) | Image capturing apparatus for resizing raw image data and control method thereof | |
| JP6063680B2 (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 | |
| JP2020092288A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2003230045A (ja) | 信号処理方法および装置 | |
| JP5191941B2 (ja) | 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム | |
| JP2014131188A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| US20240127398A1 (en) | Image capturing apparatus and image capturing method for generating high-resolution image, and non-transitory computer-readable storage medium storing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |