CN104134435B - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN104134435B CN104134435B CN201410166630.6A CN201410166630A CN104134435B CN 104134435 B CN104134435 B CN 104134435B CN 201410166630 A CN201410166630 A CN 201410166630A CN 104134435 B CN104134435 B CN 104134435B
- Authority
- CN
- China
- Prior art keywords
- image
- central part
- described image
- processing equipment
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 215
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 230000002093 peripheral effect Effects 0.000 claims abstract description 116
- 238000013213 extrapolation Methods 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims description 47
- 238000012360 testing method Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 claims description 27
- 230000001815 facial effect Effects 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000009826 distribution Methods 0.000 claims description 17
- 238000004091 panning Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 description 73
- 238000013507 mapping Methods 0.000 description 63
- 239000000203 mixture Substances 0.000 description 24
- 230000000007 visual effect Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 22
- 238000005259 measurement Methods 0.000 description 21
- 230000006835 compression Effects 0.000 description 15
- 238000007906 compression Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 15
- 238000013139 quantization Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 238000009499 grossing Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000287181 Sturnus vulgaris Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 201000003152 motion sickness Diseases 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000006549 dyspepsia Diseases 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
提供了一种图像处理设备和图像处理方法，该图像处理设备包括中心生成部、周边生成部、以及图像合成部。中心生成部配置成通过基于图像的特性对图像执行缩放处理，生成屏幕上的中心部分的图像。周边生成部配置成通过对中心部分的图像进行外插生成周边部分的图像，周边部分是屏幕上的中心部分周边的部分。图像合成部配置成通过将中心部分的图像与周边部分的图像进行合成生成合成图像，中心部分的图像由中心生成部所生成，周边部分的图像由周边生成部所生成。
Description
相关申请的交叉引用
本申请要求2103年4月30日提交的日本优先权专利申请JP2013-095887的权益，其全部内容通过引用并入本文。
技术领域
本公开涉及一种图像处理设备以及方法，并且更具体地，涉及一种考虑到输入图像的特性而生成宽视图图像的图像处理设备以及方法。
背景技术
近来，平板型显示器的尺寸持续增加。当视觉范围固定时，较大的平板型显示器导致了观看宽视图图像时的更好的真实感(沉浸式体验)。在本说明书中，“真实感”的表述意味着如同实际地在由显示器上的图像所呈现的世界中的观看者的感受。
具有诸如4K和8K的高分辨率的显示器现在将要变得可用于实际使用。显示器的更高的分辨率使图像的呈现看起来接近真实，并且导致了更好的真实的效果。在本说明书中，“真实的效果”的表述意味着仿佛他/她正在观看的图像的物体实际地存在的观看者的感受。
对于将图像显示在高分辨率大尺寸的显示器上，经常以比显示器的分辨率更低的分辨率显示图像，例如，当显示器的分辨率为4K时，经常以2K的分辨率显示图像。
如果情况是这样的，则使用在显示器中所采用的线性缩放技术(例如，超分辨率技术)将显示图像的分辨率上转换(up-convert)至显示器的分辨率。然后，将图像显示为宽视图图像。
在本文中所关注的是：当通过线性缩放技术在屏幕上均一地放大图像时，因为观看者的中心视野(可识别的视野、有用的视野)中的图像看起来与成像时最初想要的图像不同，所以可视性受到损害。稍后将详细描述细节。
因此，提议了使用非线性缩放技术的图像上转换，以在很可能包括任何吸引注意力的对象的屏幕的中心部分与中心部分的周边的屏幕的剩余部分(在下文中，称为周边部分)之间改变缩放因子。在本说明书中，“可视性”的表述意味着图像的容易观看的程度和图像的内容的容易理解的程度。
非线性缩放技术包括使用不同的缩放因子、对屏幕的中心部分及其周边部分执行缩放的技术。采用这种技术，例如，基于视觉范围、针对屏幕的中心部分及其周边部分不同地限定缩放因子。作为示例，参考日本专利申请早期公开第2007-264456号。存在使用不同的缩放因子对屏幕的中心部分及其周边部分执行缩放的另一种技术。采用这种技术，基于整个屏幕中的运动，针对屏幕的中心部分及其周边部分不同地限定缩放因子。作为示例，参照日本专利申请早期公开第2008-242048号。
还存在使用不同的缩放因子对屏幕的中心部分及其周边部分执行缩放的另一技术。采用这种技术，通过观看者的眼球的移动检测到观看者的视线，并且基于此所检测到的视线，针对屏幕的中心部分及其周边部分不同地限定缩放因子。作为示例，参考日本专利申请早期公开第2008-233765号。还存在利用“接缝雕刻(Seam Carving)”的技术。作为示例，参照“Seam Carving for Content-Aware Image Resizing”,Avidan等，SIGGRAPH2007。
然而，这些非线性缩放技术可以使得由于屏幕的中心部分与其周边部分之间的不同的缩放因子而发生图像变形。
为了防止这种图像变形，所提议的是一种非线性缩放技术，采用该非线性缩放技术将输入图像放置在屏幕的中心部分中，并且通过在中心部分的周边的部分进行外插布置另一图像。作为示例，参照“Multi-scale ultrawide foveated video extrapolation”,A.Adies,T.Avraham,以及Y.Schechner.Israel Institute of Technology In ICCP,2011。
为了防止图像变形，存在另一种非线性缩放技术，采用该非线性缩放技术，将输入图像放置在重新确定大小之后和/或其位置改变之后的屏幕的中心部分中。在中心部分的周边的部分中，通过在中心部分附近外插来放置图像。作为示例，参照日本专利申请早期公开第2009-162899号。
发明内容
然而，采用“Multi-scale ultrawide foveated video extrapolation”,A.Adies,T.Avraham,以及Y.Schechner.Israel Institute of Technology In ICCP,2011和日本专利申请早期公开第2009-162899号的技术，未考虑到图像的特性而生成了宽视图图像。
因此，期望考虑图像的特性而生成宽视图图像。
根据本公开的实施例，提供了一种图像处理设备，包括：中心生成部、周边生成部、以及图像合成部。中心生成部配置成通过基于图像的特性对图像执行缩放处理，生成屏幕上的中心部分的图像。周边生成部配置成通过对中心部分的图像进行外插生成周边部分的图像，该周边部分是屏幕上的中心部分周边的部分。图像合成部配置成通过将中心部分的图像与周边部分的图像进行合成生成合成图像，中心部分的图像由中心生成部所生成，周边部分的图像由周边生成部所生成。
根据本公开的实施例的一种图像处理方法对应于根据本公开的实施例的图像处理设备。
根据本公开的实施例，通过基于图像的特性而对图像所执行的缩放处理，生成屏幕上的中心部分的图像。然后，通过对其中的中心部分的图像的外插生成周边部分的图像，周边部分是屏幕上的中心部分周边的部分。将中心部分的图像与周边部分的图像进行合成，以生成合成图像。
注意根据本公开的实施例的图像处理设备是由运行程序的计算机所实现的。
对于实现根据本公开的实施例的图像处理设备，用于由计算机运行的程序可以通过经由传输介质进行的传输或通过将其记录在记录介质上而分发。
根据本公开的实施例，能够考虑图像的特性而生成宽视图图像。
如在附图中所示，根据本公开的最佳模式实施例的下面的详细描述，本公开的这些和其他目的、特征以及优点将变得更加明显。
附图说明
图1是示出了应用了本公开的第一实施例中的图像处理设备的示例性配置的框图；
图2是示出了图1的分析部的示例性配置的框图；
图3A至图3C每个是示出了图像质量信号All的图；
图4是示出了图1的确定部的示例性配置的框图；
图5是示出了示例性图像质量信号D的图；
图6是示出了示例性中心部分比例CentralPartRation(中心部分与整个屏幕的比例)的图；
图7是示出了中心部分的图；
图8是示出了图1的中心生成部的示例性配置的框图；
图9是示出了图1的周边生成部的示例性配置的框图；
图10是示出了保持、镜像、以及平行移动的外插方法的图；
图11是示出了图9的调整部的示例性配置的框图；
图12是示出了示例性对比度增益CnstGain的图；
图13是示出了示例性饱和增益Sgain的图；
图14是示出了平滑滤波器的抽头的数量的示例的图；
图15A和图15B是分别地示出了示例性偏移值DarkOffsetPred和DarkOffsetDist的图；
图16是示出了距离的图；
图17是示出了由图1的图像合成部进行的图像合成的图；
图18是由图1的图像处理设备进行的图像处理的流程图；
图19是示出了应用了本公开的第二实施例中的图像处理设备的示例性配置的框图；
图20是示出了图19的分析部的示例性配置的框图；
图21是示出了如何生成重要性映射的图；
图22是示出了图19的确定部的示例性配置的框图；
图23是示出了示例性二进制映射BinSigMap(x,y)的图；
图24是示出了示例性重要性部分的图；
图25A和图25B是示出了由图像处理设备所产生的效果的图；
图26A和图26B是示出了由图像处理设备所产生的效果的图；
图27A和图27B是示出了由图像处理设备所产生的效果的图；
图28A至图28C是示出了由图像处理设备所产生的效果的图；
图29是由图19的图像处理设备进行的图像处理的流程图；
图30A和图30B是示出了中心部分的示例性位置改变的图；
图31是示出了应用了本公开的第三实施例中的图像处理设备的示例性配置的框图；
图32是示出了图31的分析部的示例性配置的框图；
图33是示出了图31的确定部的示例性配置的框图；
图34A和图34B是示出了由图像处理设备所产生的效果的图；
图35A和图35B是示出了由图像处理设备所产生的效果的图；
图36是由图31的图像处理设备进行的图像处理的流程图；
图37A至图37C是示出了如何基于图像组成(composition)限定缩放因子的图；
图38A和图38B是示出了如何基于图像组成限定缩放因子的图；
图39A和图39B是示出了如何基于图像组成限定缩放因子的图；
图40A和图40B是示出了如何基于真实尺寸限定中心部分的图；
图41A和图41B是示出了如何基于真实尺寸限定中心部分的图；
图42A和图42B是示出了对包括黑边的图像进行的图像处理的图；
图43A和图43B是示出了对包括侧边的图像进行的图像处理的图；
图44A和图44B是示出了对采用平移技术所捕获的图像进行的图像处理的图；
图45A和图45B是示出了对采用放大技术所捕获的图像进行的图像处理的图；
图46是示出了根据本公开的实施例的图像处理及其效果的图；以及
图47是示出了计算机的示例性硬件配置的框图。
具体实施方式
在下文中，将参照附图描述本公开的实施例。
[第一实施例]
(第一实施例中的图像处理设备的示例性配置)
图1是示出了应用了本公开的第一实施例中的图像处理设备的示例性配置的框图。
图1的图像处理设备10包括分析部11、确定部12、中心生成部13、周边生成部14、以及图像合成部15。图像处理设备10通过将基于图像特性(即，图像质量)的尺寸的输入图像放置在屏幕的中心部分而生成宽视图图像。然后，图像处理设备10通过对中心部分的周边部分进行外插来放置另一图像。
具体地，在图像处理设备10中，分析部11基于关于输入图像的信息对输入图像的质量进行分析，并且将指示质量级别的图像质量信号提供给确定部12。在此，输入图像是从外部所提供的图像。
确定部12基于由分析部11所提供的图像质量信号和从外部所提供的指示输入图像的属性的属性信号两者，确定最终图像质量信号。然后，确定部12使用最终图像质量信号作为基准限定屏幕的中心部分，并且将限定屏幕的中心部分的信息提供给中心生成部13和周边生成部14两者。
中心生成部13通过对输入图像执行缩放处理生成中心部分的图像。执行此缩放处理，使得输入图像变为由确定部12所提供的关于其的信息所限定的中心部分的尺寸。中心生成部13将所生成的中心部分的图像提供给图像合成部15和周边生成部14两者。
基于关于由确定部12所提供的中心部分的信息，周边生成部14限定由关于中心部分的信息限定的中心部分的周边的、与中心部分部分重叠的部分。周边生成部分14通过对由中心生成部13所提供的中心部分的图像进行外插，生成周边部分的图像。将所生成的图像提供给图像合成部15。
图像合成部15对由中心生成部13所提供的中心部分的图像与由周边生成部14所提供的周边部分的图像进行合成。然后，图像合成部15将生成的合成图像作为宽视图图像输出。
(分析部的示例性配置)
图2是示出图1的分析部11的示例性配置的框图。
图2的分析部11包括频带分布测量部31、噪声测量部32、压缩应变测量部33、以及估计部34。
分析部11中的频带分布测量部31参考输入图像中的MPEG(运动图像专家组)流的数据头信息或其他信息，以对其中的频带分布是否在高频侧进行评估。作为示例，频带分布测量部31对输入图像中的高频信号是否在相当的程度上进行了上转换进行评估。例如，在日本专利第5056242中描述了关于此评估的细节。
替选地，为了对输入图像中的频带分布是否在高频侧进行评估，频带分布测量部31可以执行诸如傅里叶变换的频率转换，并且可以对系数是否在高频侧进行评估。基于评估结果，频带分布测量部31生成清晰度信号以提供到估计部34。此清晰度信号指示频带分布中的高频的水平。
例如，噪声测量部32基于关于被用于捕获输入图像的摄像装置的信息，测量输入图像中的噪声量。对于测量噪声量，方法可以包括在日本专利申请早期公开第2008-294696号和日本专利申请早期公开第2012-231389号中所描述的方法。噪声测量部32将指示所测量的噪声量的噪声信号提供给估计部34。
压缩应变测量部33对在由编解码器进行高度压缩时在输入图像中所导致的压缩应变的量进行测量。基于关于输入图像中的MPEG流的信息(例如，比特率信息和解码信息)进行此测量。对于测量压缩应变量，方法可以包括例如在“Blind measurement ofblocking artifacts in images”,Wang,Zhou,ICIP2000和在日本专利第5071721号中所描述的方法。压缩应变测量部33将指示所测量的压缩应变量的压缩应变信号提供给估计部34。
估计部34基于信号(即，来自频带分布测量部31的清晰度信号、来自噪声测量部32的噪声信号、以及来自压缩应变测量部33的压缩应变信号)生成图像质量信号All。然后，将图像质量信号All提供给图1的确定部12。
(图像质量信号All的描述)
图3A至图3C是示出由图2的估计部34所生成的图像质量信号All的图。
如图3A所示，估计部34基于清晰度信号的值生成图像质量信号A，即，清晰度信号的值越大，则图像质量信号A的值变为越大(0<图像质量信号A<1)。如图3B所示，估计部34基于噪声信号的值生成图像质量信号B，即，噪声信号的值越大，则图像质量信号B的值变为越小(0<图像质量信号B<1)。如图3C所示，估计部34基于压缩应变信号的值生成图像质量信号C，即压缩应变信号的值越大，图像质量信号C的值变为越小(0<图像质量信号C<1)。
使用这些图像质量信号A至C，估计部34使用以下等式1生成最终图像质量信号All。
[等式1]
图像质量信号All＝w1×图像质量信号A+w2×图像质量信号B+w3×图像质量信号C...1
在等式1中，因子“w1”至“w3”各自指示权重因子，并且“w1”至“w3”的和为1。
如上地确定图像质量信号All，使得当图像为具有较高清晰度、较低噪声量、以及较小压缩应变量的高质量时增加其值。
(确定部的示例性配置)
图4是示出图1的确定部12的示例性配置的框图。
图4的确定部12包括分析部51、图像质量信确定部52、以及部分确定部53。
确定部12中的分析部51基于输入图像的量化步长生成图像质量信号D。量化步长是从外部作为属性信号所提供的，并且例如被包括在输入图像的MPEG流中。分析部51将所生成的图像质量信号D提供给图像质量确定部52。
图像质量确定部52基于信号(即，来自图2的估计部34的图像质量信号All和来自分析部51的图像质量信号D)、使用以下的等式2确定最终图像质量信号Final。然后，将图像质量信号Final提供给部分确定部53。
[等式2]
图像质量信号Fianl＝w_all×图像质量信号All+w_D×图像质量信号D...2
在等式2中，因子“w_all”和“w_D”各自指示权重因子，并且“w_all”和“w_D”的求和为1。
基于由图像质量确定部52所提供的图像质量信号Final，部分确定部53限定屏幕中的中心部分，即与屏幕具有相同纵横比、在屏幕中心附近的部分。部分确定部53将中心部分与屏幕的比例(即，中心部分比例CentralPartRatio)作为中心部分信息、提供给图1的中心生成部13和周边生成部14两者。
(示例性图像质量信号D)
图5是示出了由图4的分析部51所生成的示例性图像质量信号D的图。
如图5所示，分析部51基于量化步长生成图像质量信号D，即，量化步长越大则图像质量信号D的值变为越小(0<图像质量信号D<1)。
基于这些图像质量信号D和图像质量信号All、并且根据以上所述的等式2，确定图像质量信号Final，使得当图像为具有较高清晰度、较低噪声量和压缩应变量、以及较小量化步长的高质量时增加其值。
(示例性中心部分比例)
图6是示出了由图4的部分确定部53所确定的示例性中心部分比例CentralPartRatio的图。
如图6所示，部分确定部53当图像质量信号Final值增加时确定中心部分比例CentralPartRatio更接近1，即，使得中心部分为整个屏幕。因此，当输入图像质量高时，将输入图像充分地放置在屏幕上的宽视图图像上，并且当输入图像质量低时，将输入图像放置在屏幕上的宽视图图像的较小尺寸中。
作为结果，即使输入图像为具有较大噪声量和压缩应变量的低质量，也防止了在生成的宽视图图像中注意到噪声和压缩应变。此外，即使输入图像为具有不在高频侧的频带分布的低质量，在生成的宽视图图像中也不会注意到图像模糊。
(中心部分的描述)
图7是示出了由图4的部分确定部53所限定的中心部分的图。
如图7所示，中心部分72是屏幕71的中心O附近、具有与屏幕71的纵横比相同的纵横比的屏幕71中的部分。
中心部分比例CentralPartRatio是中心部分72的水平长度W_center与屏幕71的水平长度W_disp的比例，以及中心部分72的垂直长度H_center与屏幕71的垂直长度H_disp的比例。
(中心生成部的示例性配置)
图8是示出了图1的中心生成部13的示例性配置的框图。
图8的中心生成部13包括设置部91以及缩放部92。中心生成部13中的设置部91基于作为中心部分信息由图4的部分确定部53所提供的中心部分比例CentralPartRatio、使用以下等式3限定缩放因子Scale。然后，将缩放因子Scale提供给缩放部92。
[等式3]
Scale＝(W_disp*CentralPartRatio)/W_in＝(H_disp*CentralPartRatio)/H_in...3
在等式3中，因子“W_disp”指示横向方向(水平方向)上的屏幕尺寸，并且因子“H_disp”指示纵向方向(垂直方向)上的屏幕尺寸。因子“W_in”指示水平方向上输入图像的尺寸，并且因子“H_in”指示垂直方向上输入图像的尺寸。
基于由设置部91所提供的缩放因子Scale，缩放部92对输入图像执行缩放处理。执行此缩放处理，以便将输入图像的尺寸改变为中心部分的尺寸。当缩放因子Scale大于1时，要执行的缩放处理是放大处理。对于此放大处理，技术可以包括双线性插值、双三次插值、Lanczos插值、所谓的超分辨率以及其他。
缩放部92将作为缩放处理的结果的图像作为中心部分的图像提供给图1的周边生成部14和图像合成部15两者。
(周边生成部的示例性配置)
图9是示出了图1的周边生成部14的示例性配置的框图。
图9的周边生成部14包括设置部111、外插部112、以及调整部113。
周边生成部14中的设置部111基于作为中心部分信息由图4的部分确定部53所提供的中心部分比例CentralPartRatio限定周边部分。然后，设置部111将限定周边部分的周边部分信息提供给外插部112和调整部113两者。
外插部112对通过由设置部111所提供的周边部分信息所限定的周边部分的图像进行外插。使用由图8的缩放部92所提供的中心部分的图像执行此外插。对于外插，技术可以包括例如在“Multi-scale ultrawide foveated video extrapolation”,A.Adies,T.Avraham,以及Y.Schechner.Israel Institute of Technology In ICCP,2011中所描述的技术以及保持、镜像、并行平移的外插方法。还存在如在“Display pixel caching”,Clemens Birklbauer等,SIGGRAPH“11ACM SIGGRAPH2011Talks Article No.45中所描述的、使用关于过去帧或将来帧的时间轴信息以用于外插的技术。
外插部112将通过外插所生成的周边部分的图像提供给调整部113。外插部112还识别外插可靠性的级别，其指示外插的结果有多可靠。作为示例，外插部112以0至1之间的值(包括0和1)来指示在外插期间匹配的精度，并且此值是外插可靠性的级别。然后，外插部112将外插可靠性的级别提供给调整部113。
基于由外插部112所提供的外插可靠性的级别，调整部113调整周边部分的图像。然后，调整部113将生成的周边部分的图像提供给图1的图像合成部15。
(外插方法的描述)
图10是示出了包括保持、镜像、以及平行移动的外插的方法的图。
如图10左侧所示，当外插部112执行保持的外插时，在邻近周边部分中的最内侧像素的中心部分中的像素的值(即，在此示例中像素值C)被应用到周边部分中的最内侧像素和该像素外侧的像素。
另一方面，如图10的中部所示，当外插部112执行镜像的外插时，按照下述方式确定周边部分中的像素的值：在周边部分中的值的排列与在中心部分中的值排列关于周边部分与中间部分之间的边界对称。
在图10所示的此示例中，在中心部分中最近接近与周边部分的边界的像素具有值C。因此，在周边部分中最接近边界的像素被设置为值C。类似地，在中心部分中第二接近边界的像素具有值B。因此，在周边部分中第二接近边界的像素被设置为值B。
如图10的右侧所示，当外插部112执行平行移动的外插时，将从与周边部分的边界起的预定范围中的中心部分中的像素的值的集合应用到从在周边部分中从最外侧到最内侧的像素。
在图10的此示例中，在中心部分中最接近与周边部分的边界的像素具有值C。因此，周边部分中的最外侧像素被设置为值C。类似地，在中心部分中第二接近边界的像素具有值B。因此，在周边部分中紧挨着周边部分中最外侧的像素的像素被设置为值B。
(调整部的示例性配置)
图11是示出了图9的调整部113的示例性配置的框图。
图11的调整部113包括对比度调整部131、饱和度调整部132、分辨率调整部133、以及亮度调整部134。
调整部113中的对比度调整部131通过改变由外插部112所提供的周边部分的图像的动态范围来调整对比度。基于由外插部112所提供的外插可靠性的级别来进行此对比度调整。具体地，对比度调整部131使用以下的等式4针对周边部分的图像中的每个像素对亮度分量EY执行计算，从而针对对比度调整后的周边部分的图像中的每个像素获得亮度分量LCnst_Y。
[等式4]
LCnst_Y＝(EY-AVE_Y)*CnstGain+AVE_Y...4
在等式4中，因子“AVE_Y”指示周边部分的图像中的亮度分量的平均值，并且因子“CnstGain”指示基于外插可靠性的级别所限定的对比度增益。
对比度调整部131将对比度调整后的周边部分的图像提供给饱和度调整部132。该对比度调整后的图像包括对比度调整之后的周边部分的图像中的像素的亮度分量LCnst_Y、和由外插部112所提供的周边部分的图像中的每个像素的色差分量。
饱和度调整部132基于外插可靠性的级别，对由对比度调整部131所提供的周边部分的图像执行饱和度调整。具体地，饱和度调整部132通过将周边部分的图像中的每个像素的饱和度分量CurSatu乘以饱和度增益Sgain，对周边部分的图像执行饱和度调整，饱和度增益Sgain是基于外插可靠性的级别所限定的。然后，饱和度调整部132将饱和度调整后的周边部分的图像提供给分辨率调整部133。
分辨率调整部133基于外插可靠性的级别，对由饱和度调整部132所提供的周边部分的图像执行分辨率调整。具体地，分辨率调整部133使用例如高斯(Gaussian)滤波器的平滑滤波器，对周边部分的图像执行滤波器处理。此平滑滤波器具有基于外插可靠性的级别所确定的数量的抽头。然后，分辨率调整部133将滤波器处理后的周边部分的图像提供给亮度调整部134。
亮度调整部134对由分辨率调整部133所提供的周边部分的图像执行亮度调整。基于外插可靠性的级别和由设置部111所提供的周边部分信息进行此亮度调整。具体地，亮度调整部134使用以下的等式5、针对周边部分的图像中的每个像素对亮度(或照度)分量SmthY执行计算，从而针对亮度调整后的周边部分的图像中的每个像素获得亮度分量PY。
[等式5]
PY＝SmthY-DarkOffsetPred-DarkOffsetDist...5
在等式5中，因子“DarkOffsetPred”指示基于外插可靠性的级别所确定的偏移值，并且因子“DarkOffsetDist”指示基于周边部分信息所确定的偏移值。
亮度调整部134将亮度调整后的周边部分的图像提供给图1的图像合成部15。此亮度调整后的图像包括亮度调整后的周边部分的图像中的像素的亮度分量PY、和由分辨率调整部133所提供的周边部分的图像中的像素的色差分量。
(示例性对比度增益)
图12是示出了示例性对比度增益CnstGain的图。
如图12所示，设置对比度增益CnstGain以随着外插可靠性的级别的增加而变大，并且对比度增益CnstGain取0至1之间的值(包括0和1)。因此，当外插可靠性的级别低时，减小对比度增益CnstGain以使得周边部分的图像的对比度变低。因此，这使得不会注意到周边部分的图像。
(示例性饱和度增益)
图13是示出了示例性饱和度增益Sgain的图。
如图13所示，设置饱和度增益Sgain以随着外插可靠性的级别的增加而变大，并且饱和度增益Sgain取0至1之间的值(包括0和1)。因此，当外插可靠性的级别低时，减小饱和度增益Sgain以使得周边部分的图像饱和度变低。因此，这使得不会注意到周边部分的图像。
(平滑滤波器的抽头数量的示例)
图14是示出了图11的分辨率调整部133的平滑滤波器的抽头数量的示例的图。
如图14所示，设置平滑滤波器的抽头数量以随着外插可靠性的级别降低而变大，并且平滑滤波器的抽头数量取1或更大的值。因此，当外插可靠性的级别低时，增加平滑滤波器的抽头数量，以使得滤波器处理后的周边部分的图像看起来更加模糊。因此，这使得不会注意到周边部分的图像。
(亮度调整时的示例性偏移值)
图15A和图15B是分别地示出了由图11的亮度调整部134进行的亮度调整时的示例性偏移值DarkOffsetPred和DarkOffsetDist的图。
如图15A所示，设置偏移值DarkOffsetPred以随着外插可靠性的级别的增加而变小。另一方面，如图15B所示，设置偏移值DarkOffsetDist以随着距离d的增加而变大，距离d是对应的像素离开周边部分的内边缘的距离。
具体地，如图16所示，存在重叠部分152，其是与中心部分72重叠的屏幕71中的周边部分151的内部部分。设置偏移值DarkOffsetDist以随着距离d的增加而变大，距离d是对应的像素离开周边部分151的内边缘的距离，即，离开重叠部分152的内边缘的距离。
如上所述，当外插可靠性的级别低时，偏移值DarkOffsetPred增加，并且周边部分的图像亮度降低。因此，这使得不会注意到周边部分的图像。此外，随着距离d的增加、偏移值DarkOffsetDist增加，使得随着更接近外边缘、像素亮度降低。因此，这使得降低了由外插所导致的人为因素。
(图像合成的说明)
图17是用于示出由图1的图像合成部15进行的图像合成的图。
关于由中心生成部13所提供的中心部分的图像，图像合成部15将不包括与周边部分重叠的部分的图像部分放置在屏幕中。关于由周边生成部14所提供的周边部分的图像，图像合成部15将不包括与中心部分重叠的部分的图像部分放置在屏幕中。
然后，图像合成部15使用以下等式6基于像素执行图像合成，即，将在中心部分中的重叠部分的图像与在周边部分中的重叠部分的图像进行合成。图像合成部15将生成的图像放置在屏幕的重叠部分中。
[等式6]
Blend＝Wp×Psig+Wc×Csig...6
在等式6中，因子“Blend”指示图像合成之后在重叠部分中的每个像素的值。因子“Psig”指示在周边部分中的重叠部分的图像中每个像素的值，并且因子“Csig”指示在中心部分中的重叠部分的图像中每个像素的值。
另外，在等式6中，因子“Wp”和“Wc”各自指示基于从周边部分的内边缘到其中的每个像素的水平距离或垂直距离的权重因子，并且权重因子Wp和Wc的和为1。具体地，当与像素值Blend相对应的像素在中心部分的左侧或右侧的重叠部分中时，使用中的权重因子Wp和Wc是基于水平距离的因子。另一方面，当与像素值Blend相对应的像素是在中心部分的上方或下方的重叠部分中时，使用中的权重因子Wp和Wc是基于垂直距离的因子。
假定在最内侧边缘的周边部分的水平(或垂直)位置为0，则当对应的像素的水平(或垂直)位置在-dw处(如图17所示，在最外边缘处的重叠部分的水平(或垂直)位置)时，权重因子Wp为1。权重因子Wp随着对应的像素的水平(或垂直)位置接近于0而降低，并且当对应的像素位于0处时达到0。
另一方面，如图17所示，当对应的像素的水平(或垂直)位置在-dw处时，权重因子Wc为0。随着对应的像素的水平(垂直)位置接近于0，权重因子Wc增加，并且当对应的像素位于0处时达到1。
图像合成部15输出宽视图图像，其为包括下述图像的屏幕的图像：不具有周边部分与中心部分之间的重叠部分的部分的图像、和图像合成之后的重叠部分的图像。
(由图形处理设备进行的处理的描述)
图18是由图1的图像处理设备10进行的图像处理的流程图。
在图18的步骤S11中，图像处理设备10对是否从外部输入图像进行评估。在此，图像可以是基于一个帧或多个帧而输入的。
当在步骤S11中做出尚未从外部输入图像的评估时，图像处理设备10等待从外部所输入的图像。
当在步骤S11中做出从外部输入图像的评估时，在步骤S12中图像处理设备10获得该图像作为输入图像。在步骤S13中，确定部12对是否从外部输入属性信号进行评估。当在步骤S13中做出从外部输入属性信号评估时，处理继续到步骤S14。
在步骤S14中，确定部12中的分析部51(图4)基于作为属性信号而从外部所述输入的图像的量化步长，生成图像质量信号D。然后，分析部51将所生成的图像质量信号D提供给图像质量确定部52，并且处理继续到步骤S15。
另一方面，当在步骤S13中做出尚未从外部输入属性信号的评估时，分析部51将为0的图像质量信号D提供给图像质量确定部52，并且处理继续到步骤S15。
在步骤S15中，分析部11关于输入图像中的频带分布做出评估，并且测量噪声和压缩应变量，从执行生成图像质量信号All的图像质量分析处理。分析部11将所生成的图像质量信号All提供给确定部12。
在步骤S16中，确定部12基于信号(即，来自分析部11的图像质量信号All和由分析部51所生成的图像质量信号D)，确定最终图像质量信号Final。然后，确定部12执行用于确定中心部分比例CentralPartRatio的、基于图像质量的部分确定处理。确定部12将所确定的中心部分比例CentralPartRatio作为中心部分信息提供给中心生成部13和周边生成部14两者。
在步骤S17中，中心生成部13基于来自确定部12的中心部分比例CentralPartRatio限定缩放因子Scale，并且基于缩放因子Scale对输入图像执行缩放处理，从而执行生成中心部分的图像的中心部分生成处理。中心生成部13将所生成的中心部分的图像提供给周边生成部14和图像合成部15两者。
在步骤S18中，周边生成部14基于来自确定部12的中心部分比例CentralPartRatio限定周边部分。然后，周边生成部分14通过中心部分的图像的外插生成周边部分的图像，从而执行基于外插可靠性的级别进行调整的周边部分生成处理。周边生成部14将作为调整的结果的周边部分的图像提供给图像合成部15。
在步骤S19中，图像合成部15执行将来自中心生成部13的中心部分的图像与来自周边生成部14的周边部分的图像进行合成的图像合成处理。在步骤S20中，图像合成部15将作为图像合成处理的结果的合成图像作为宽视图图像而输出。
在步骤S21中，图像处理设备10对是否输入新图像进行评估。当在步骤S21中做出输入新图像的评估时，处理返回到步骤S12，并且重复从步骤S12至步骤S21的处理直到停止输入图像为止。
另一方面，当在步骤S21中做出未输入新图像的评估时，其为处理的终止。
如上所述，图像处理设备10通过基于图像质量信号对输入图像执行缩放处理来生成中心部分的图像，并且然后通过输入图像的外插生成周边部分的图像。然后，图像处理部分10对中心部分的图像与周边部分的图像进行合成，以使得生成宽视图图像。
因此，即使图像质量信号的值较小(即，即使图像质量低)，在不使用关于观看者的部分指定的信息、各种传感器的检测结果等的情况下，通过执行减少中心部分的图像的尺寸的缩放处理，生成的宽视图图像中也可以不会注意到低质量。即，生成适合于图像质量的宽视图图像。作为结果，宽视图图像具有更好的真实效果。
例如，即使输入图像的分辨率高于捕获其时的分辨率、因为经由网络所获得所以输入图像的分辨率低、由于亮度低所以输入图像是有噪声的、或由于模拟广播时的低电场所以输入图像是有噪声的，也可以生成具有高级别的图像质量的宽视图图像。
另一方面，如果例如当输入图像模糊、有噪声的或具有大量的压缩应变时将输入图像放大至屏幕的尺寸，因为其是模糊的、有噪声的或压缩的所以生成的图像看起来劣化了。
此外，因为图像处理设备10通过外插生成了周边部分的图像，生成的合成图像具有较宽的视图，从而引起了更好的真实感(沉浸式体验)。
注意，在第一实施例中，分析部11包括三个测量部，即，频带分布测量部31、噪声测量部32、以及压缩应变测量部33。然而，分析部11不必须包括全部三个测量部，而是可以包括测量部中的至少一个。
[第二实施例]
(第二实施例中的图像处理设备的示例性配置)
图19是示出了应用了本公开的第二实施例中的图像处理设备的示例性配置的框图。
在图19的配置中，为与图1中的部件相同的任何组件提供了相同的附图标记，并且如果已经对其进行了描述则可以适当地不再对其进行描述。
不同于图1的图像处理设备10，图19的图像处理设备170包括作为分析部11的替选的分析部171、和作为确定部12的替选的确定部172。图像处理设备170不基于输入图像的图像质量而是基于重要性级别限定缩放因子Scale。
分析部171基于用作输入图像的特性的关于输入图像的信息，从输入图像中提取预定部分。基于该部分，分析部171将重要性映射提供给确定部172。该重要性映射以值来代表输入图像中每个像素的重要性级别。
确定部172基于属性信号和由分析部171所提供的重要性映射确定最终重要性映射。然后，确定部172基于最终重要性映射限定中心部分，并且将关于中心部分的信息提供给中心生成部13和周边生成部14两者。
(分析部的示例性配置)
图20是示出图19的分析部171的示例性配置的框图。
图20的分析部171包括字幕检测部191、面部识别部192、人物检测部193、显著度检测部194、以及估计部195。
分析部171中的字幕检测部191基于关于输入图像的OSD(屏幕显示)信息或其他信息检测字幕部分。字幕部分是包括字幕的输入图像的一部分。对于检测字幕部分，例如，存在在“A comprehensive method for multilingual video text detection”,Lyu,M.R.:Jiqiang Song；Min Cai:localization,and extraction.IEEE Transactions onCircuits and systems for Video Technology15(2),243-255(2005)中所描述的方法。
字幕检测部191生成字幕映射，其指示所检测到的字幕部分的位置、尺寸以及确定级别。字幕映射是指示在字幕部分中的输入图像的每个像素的确定级别的图像，并且确定级别由从0至255的值所表示。在此示例中，字幕映射中较大的像素值意味着对于字幕部分中的像素的较高的确定级别。字幕检测部191将所生成的字幕映射提供给估计部195。
面部检测部192检测输入图像中的面部部分。例如，当输入图像是可视通信期间的图像时，面部检测部192基于关于每个窗口位置的信息检测面部部分。
然后，面部检测部192生成面部映射，其指示所检测到的面部部分的位置、尺寸以及确定级别。面部映射是指示在面部部分中的输入图像的每个像素的确定级别的图像，并且确定级别由从0至255的值所表示。在此示例中，面部映射中较大的像素值意味着对于面部部分中的像素的较高的确定级别。面部检测部192将所生成的面部映射提供给估计部195。
人物检测部193检测输入图像中的人物部分。例如，当输入图像是由监视摄像装置所捕获的图像时，人物检测部193基于由监视摄像装置所提供的关于追踪目标的信息来检测人物部分。
然后，人物检测部193生成人物映射，其指示所检测到的人物部分的位置、尺寸以及确定级别。人物映射是指示在人物部分中的输入图像的每个像素的确定级别的图像，并且确定级别由从0至255的值所表示。在此示例中，人物映射中较大的像素值意味着对于人物部分中的像素的较高的确定级别。人物检测部193将所生成的人物映射提供给估计部195。
显著度(引人注目的程度)检测部194响应于观看者的指定等，在输入图像中检测引人注目的对象的一部分作为主要对象部分。对于检测对象部分，存在例如在日本专利早期公开第2010-262506中所描述的方法。显著度检测部194生成对象映射，其指示所检测到的对象部分的位置、尺寸以及确定级别。
对象映射是指示在对象部分中的输入图像的每个像素的确定级别的图像，并且确定级别由从0至255的值所表示。在此示例中，对象映射中较大的值意味着对于对象部分中的像素的较高的确定级别。显著度检测部194将所生成的对象映射提供给估计部195。
估计部195基于映射(即，来自字幕检测部191的字幕映射、来自面部检测部192的面部映射、来自人物检测部193的人物映射、以及来自显著度检测部194的对象映射)，生成重要性映射。
(生成重要性映射的描述)
图21是示出了如何由图20的估计部195生成重要性映射的图。
如图21所示，根据以下的等式7，估计部195使用各种映射中的像素值(即字幕映射的像素值Map_text(x,y)、面部映射的像素值Map_face(x,y)、人物映射的像素值Map_human(x,y)、以及对象映射的像素值Map_saliency(x,y))，获得针对每个像素的权重均值。所获得的权重均值被用作重要性映射中的像素值。
[等式7]
Map_sig(x,y)＝W_text*Map_text(x,y)+W_face*Map_face(x,y)+W_human*Map_human(x,y)+W_saliency*Map_saliency(x,y)...7
在等式7中，因子“Map_sig(x,y)”指示重要性映射中的像素值，并且因子“W_text”、“W_face”、“W_human”、以及“W_saliency”各自指示权重因子。这些权重因子的和为1。
在第二实施例中，权重均值被用作重要性映射中的像素值。替选地，重要性映射中的像素值可以是像素值Map_text(x,y)、像素值Map_face(x,y)、像素值Map_human(x,y)、以及像素值Map_saliency(x,y)之中的最大值。也是替选地，在重要性映射中的像素值可以是以动态范围覆盖0至255的方式进行归一化之后的权重均值。
(确定部的示例性配置)
图22是示出了图19的确定部172的示例性配置的框图。
图22的确定部172包括分析部211、重要性部分确定部212、以及部分确定部213。
确定部172中的分析部211用作检测部，并且例如基于作为属性信号从外部所提供的EPG(电子节目指南)中的节目类型信息，生成重要性映射。
具体地，新闻节目、各种演出、早间演出等的图像很可能包括字幕，并且可以预先估计用于字幕的部分。因此，当节目类型信息是关于新闻节目、各种演出、或早间演出的时，分析部211检测被估计为包括字幕的任何部分，并且将该部分当做具有高的重要性级别的部分。然后，分析部211生成指示在该部分中的像素是重要的重要性映射。
对于成像、其自身所确定的成像角度等，体育节目具有其自身所确定的方式。作为示例，在网球比赛期间所使用的成像角度，屏幕包括分别在上部和下部的运动员。因此，当节目类型信息是关于网球比赛的时，分析部211检测在屏幕上部和下部的部分作为具有高的重要性级别的部分。然后，分析部211生成指示在该部分中的像素是重要的重要性映射。
由分析部211所生成的重要性映射是指示每个像素的重要性级别的图像，并且重要性级别由从0至255的值所表示。在此示例中，像素值越大则意味着重要性的级别越高。分析部211将所生成的重要性映射提供给重要性部分确定部212。
使用下面的等式8，重要性部分确定部212基于映射(即，来自图20的估计部195的重要性映射Map_sig(x,y)和来自分析部211的重要性映射MetaSigMap(x,y))，确定最终重要性映射BlendSigMap(x,y)。
[等式8]
BlendSigMap(x,y)＝W×Map_sig(x,y)+(1.0-W)×MetaSigMap(x,y)...8
在等式8中，因子“W”指示权重因子，并且其取0至1之间的值(包括0和1)。
重要部分确定部212对最终重要性映射BlendSigMap(x,y)进行二值化，从而生成二值化映射BinSigMap(x,y)。此时，重要部分确定部212可以适当地使用中值滤波器或形态滤波器以用于移除孤立的像素。
重要部分确定部212检测与二值化映射BinSigMap(x,y)中具有值1的任何像素(即，白色像素)外部地邻近的矩形，以用作重要部分。重要部分确定部212将关于重要部分的信息提供给部分确定部213。
基于重要部分信息，部分确定部213以在屏幕上的中心部分中的重要部分在观看者的中心视野之内的方式限定中心部分。然后，重要部分确定部212基于所限定的中心部分计算中心部分比例。然后，中心部分比例作为中心部分信息被提供给中心生成部13和周边生成部14两者。
(示例性二值化映射)
图23是示出了示例性二值化映射BinSigMap(x,y)的图。
重要部分确定部212对在最终重要性映射BlendSigMap(x,y)中的每个像素值，即，当值超过阈值时被设置为1的像素值和当值未超过阈值时被设置为0的像素值，进行二值化。因此，对图21的最终重要性映射BlendSigMap(x,y)进行二值化导致了图23的二值化映射BinSigMap(x,y)。
(示例性重要部分)
图24是示出了从图23的二值化映射BinSigMap(x,y)所检测到的示例性重要部分的图。
如图24所示，当二值化映射BinSigMap(x,y)是图23中所示的映射时，矩形部分231被检测为重要部分，其与像素值为1的白色部分外部地邻近。如图24所示，然后以中心部分中的矩形部分231在观看者的中心视野之内的方式限定中心部分232。
在此，表述“观看者的中心视野”意味着观看者从所推荐的观看位置(即，屏幕的高度的1.5倍)以±30度的角度观看到的屏幕中的部分。基于中心视野的观看位置不限于所推荐的观看位置，而且还可以是例如由观看者所调整的观看位置，或由未示出摄像装置或传感器所测量的观看者的实际观看位置。
(效果的描述)
图25A至图28C每个是示出了由图像处理设备170所产生的效果的图。
如图25A所示，当输入图像包括在其端部的字幕时，图像处理设备170检测包括字幕部分251A和字幕部分251B的矩形部分251作为重要部分。这使得能够生成宽视图图像，在该宽视图图像中，字幕部分251A和251B在观看者的中心视野之内。因此，这改进了宽视图图像的可视性。
另一方面，对于通过简单地将输入图像放大到屏幕的尺寸来生成宽视图图像，字幕可能存在超出了观看者的中心视野，并且这可以使得难以观看到字幕。尽管未示出，但是这也适用于字幕存在于输入图像端部的情况。
如图25B所示，当输入图像包括在其中心的相对大尺寸的字幕(即，字幕部分252A)时，图像处理设备170检测包括字幕部分252A的矩形部分252作为重要部分。这使得能够生成宽视图图像，在宽视图图像中，字幕在观看者的中心视野之内。因此，这改进了宽视图图像的可视性。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸来生成宽视图图像，相对大尺寸的字幕可能存在超出观看者的中心视野，并且这可能使得难以观看到字幕。
当图25A和图25B的图像是新闻节目、各种演出或各种早间演出的图像时，图像处理设备170增加重要性映射MetaSigMap(x,y)中的像素值。因此，这给予了很可能包括字幕的节目的图像中的字幕的可视性优先级。
如图26A所示，当输入图像包括放大的人物面部时，图像处理设备170检测包括人的面部部分253A的矩形部分253作为重要部分。这使得能够生成宽视图图像，在宽视图图像中，面部部分253A在观看者的中心视野之内。因此，这改进了宽视图图像的可视性。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸来生成宽视图图像，人物面部可能存在超出观看者的中心视野，并且因此观看者难以对整个面部具有良好的掌握。
如图26B所示，当输入图像包括三个人物面部时，图像处理设备170检测包括三个人的三个面部部分254A至254C的矩形部分254作为重要部分。这使得能够生成宽视图图像，在宽视图图像中，面部部分254A至254C在观看者的中心视野之内。因此，这改进了宽视图图像的可视性。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸来生成宽视图图像，三个人物面部中的任一个可以存在超出观看者的中心视野，并且这可以使得宽视图图像的可视性受到破坏。
如图27A所示，当输入图像在其水平方向上的两端均包括人时，图像处理设备170检测包括人物部分255A至255C的矩形部分255作为重要部分。这使得能够生成宽视图图像，在宽视图图像中，人物部分255A至255C在观看者的中心视场255D之内。因此，这改进了宽视图图像的可视性。
如图27B所示，当输入图像是广播网球比赛的节目的图像时、并且当在屏幕的上部和下部存在运动员时，图像处理设备170例如检测包括人物部分256A和256B的矩形部分256作为重要部分。这使得能够生成宽视图图像，在宽视图图像中，人物部分256A和256B在观看者的中心视野256D之内。因此，这改进了宽视图图像的可视性。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸生成宽视图图像，人可以存在超出观看者的中心视场，并且这可以导致难以立即察觉到人。
如图28A所示，当输入图像在其右侧包括作为主要对象的房屋时，如图28B所示，图像处理设备170生成对象映射，在对象映射中房屋的部分257A示出了最大的像素值。作为结果，部分257A被检测为重要部分，并且如图28C所示，生成宽视图图像，使得部分257A在观看者的中心视野257B之内。因此，这改进了宽视图图像的可视性。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸来生成宽视图图像，房屋可以存在超出观看者的中心视野，并且这可以使得宽视图图像的可视性受到破坏。
(图像处理设备的处理的描述)
图29是由图19的图像处理设备170进行的图像处理的流程图。
从图29的步骤S41至S43的处理类似于从图18的步骤S11至S13的处理，并且因此不再对其进行描述。
在步骤S43中，当做出了从外部提供属性信号的评估时，在步骤S44中，确定部172中的分析部211(图22)基于作为属性信号从外部所提供的节目类型信息生成重要性映射。然后，处理继续到步骤S45。
另一方面，当在步骤S43中做出未从外部提供属性信号的评估时，处理继续到步骤S45。
在步骤S45中，分析部171执行部分分析处理，该部分分析处理通过检测图像中的部分(即，字幕部分、面部部分、人物部分、以及对象部分)，生成另一重要性映射。分析部171将所生成的重要性映射提供给确定部172。
在步骤S46中，确定部172基于重要性映射(即，由分析部171所提供的映射和由分析部分211所生成的映射)确定最终重要性映射，从而执行用于确定中心部分比例CentralPartRatio的、基于部分的部分确定处理。确定部172将所确定的中心部分比例CentralPartRatio作为中心部分信息提供给中心生成部13和周边生成部14两者。
从步骤S47至S51的处理类似于从图18的步骤S17至S21的处理，并且因此不再进行描述。
如上所述，图像处理设备170通过基于重要性映射对输入图像执行缩放处理生成中心部分的图像，并且然后通过输入图像的外插生成周边部分的图像。然后，图像处理设备170对中心部分的图像与周边部分的图像进行合成，使得生成宽视图图像。
因此，不使用关于观看者的部分指定的信息、各种传感器的检测结果等，针对要被放置在观看者的中心视野之内的中心部分中的高重要性级别部分执行缩放处理，使得生成的宽视图图像具有更好的可视性。即，要生成的宽视角适合于图像的重要性级别。因此，生成的宽视图图像具有更好的可视性。
与将输入图像放大至屏幕尺寸的情况相比，减小在这种情况下用于输入图像的缩放因子。因此，生成的宽视图图像较少模糊。
在第二实施例中，中心部分的中心是屏幕的中心，但是中心部分的中心可以不必须是屏幕的中心。
例如，如图30A所示，当观看者他/她的注意力关注的输入图像中人在屏幕的右侧时，图像处理设备170检测包括他/她的面部部分258A的矩形部分258作为重要部分。然后，图像处理设备170以中心部分258B中的重要部分在观看者的视野中心之内的方式限定中心部分258B的尺寸。此时，替选地，如图30B所示，图像处理设备170可以以中心部分258B中的面部部分258A在观看者的中心视野的中心附近之内的方式、改变中心部分258B的位置。
尽管未示出，但是中心部分可以以接受观看者的关注的人的人物部分在观看者的中心视野的中心附近之内的方式改变位置。
[第三实施例]
(第三实施例中的图像处理设备的示例性配置)
图31是示出了应用了本公开的第三实施例中的图像处理设备的示例性配置的框图。
在图31的配置中，为与图1中的组件类似的任何组件提供相同的附图标记，并且如果已经描述则可以适当地不再对其进行描述。
不同于图1的图像处理设备10，图31的图像处理设备270包括作为分析部11的替选的分析部271和作为确定部12的替选的确定部272。图像处理设备270不是基于输入图像的图像质量、而是基于用作输入图像的特性的场景来限定缩放因子Scale。
分析部271对输入图像的场景进行分类。基于所分类的场景，分析部271识别指示对于输入图像的广角显示场景有多适合的广角适合度的级别。所识别的广角适合度的级别被提供给确定部272。
确定部272基于由分析部271所提供的广角适合度级别和指示输入图像的属性的属性信号，识别最终的广角适合度级别。确定部272基于最终的广角适合度级别限定中心部分，并且将关于中心部分的信息提供给中心生成部13和周边生成部14两者。
(分析部的示例性配置)
图32是示出了图31的分析部271的示例性配置的框图。
图32的分析部271包括场景分类部291和评估部292。
分析部271中的场景分类部291对输入图像执行场景分类处理。对于此场景分类处理，存在例如在“Natural images classification by multiple pixel analysis”，F.NACCAF,ICCE,2005中所描述的技术。
通过场景分类处理要分类的场景的类型包括特写拍摄、人像摄影、放大拍摄、深聚焦成像等。场景分类部291将场景信息提供给评估部292。此场景信息是作为场景分类处理的结果所获得的信息，并且代表输入图像的场景。替选地，场景分类部291可以基于例如EPG中的节目类型信息对输入图像的场景进行分类。
评估部292基于由场景分类部291所提供的场景信息、对输入图像是否适合于广角显示进行评估。评估部292然后将0与1之间(包括0和1)的值提供给广角适合度级别。
作为示例，当场景信息是关于具有浅景深的近距离视图的场景(例如，特写拍摄场景、人像摄影场景以及放大拍摄场景)时，评估部292做出输入图像不适合于广角显示的评估，从而将接近于0的值提供给广角适合度级别。
另一方面，当场景信息是关于诸如深度聚焦成像场景的远距离视图的场景(例如，自然视图场景)时，评估部292做出输入图像适合于广角显示的评估，并且将接近于1的值提供给广角适合度级别。然后，评估部292将广角适合度级别提供给图31的确定部272。
(确定部的示例性配置)
图33是示出了图31的确定部272的示例性配置的框图。
图33的确定部272包括分析部311、适合度确定部312、以及部分确定部313。
确定部272中的分析部311基于作为属性信号从外部所提供的成像信息来识别输入图像的广角适合度级别。成像信息是关于当输入图像被捕获时的输入图像的信息，包括焦距、光圈(F数)、由景深传感器等所提供的距离测量信息、镜头类型等。
具体地，分析部311确定当成像信息指示相对短的焦距、相对大的F值、广角镜头等时(即，当景深深时)，通过广角拍摄获得输入图像。然后，分析部311将接近于1的值提供给广角适合度级别。当成像信息指示相对长距离的距离测量信息时，分析部311确定输入图像适合于广角显示，从而将接近于1的值提供给广角适合度级别。
另一方面，当成像信息不指示上述时，分析部311将接近于0的值提供给广角适合度级别。然后，分析部311将广角适合度级别提供给适合度确定部312。
适合度确定部312基于来自图32的评估部292的广角适合度级别Image_WideFactor和来自分析部311的广角适合度级别Meta_WideFactor、使用以下等式9识别最终的广角适合度级别Final_WideFactor。
[等式9]
Final_WideFactor＝w_image×Image_WideFactor+(1.0-w_image)×Meta_WideFactor...9
在等式9中，因子“w_image”指示权重因子，并且取0至1之间的值(包括0和1)。
适合度确定部312将最终的广角适合度级别Final_WideFactor提供给部分确定部313。
部分确定部313限定中心部分，以随着最终的广角适合度级别Final_WideFactor的增加而变大。部分确定部313将所确定的中心部分的中心部分比例CentralPartRatio作为中心部分信息提供给图31的中心生成部13和周边生成部14两者。
(效果的描述)
图34A至图35B是示出了图像处理设备270的效果的图。
当如图34A所示，通过特写拍摄获得输入图像的场景时，图像处理设备270将接近于0的值提供给最终的广角适合度级别Final_WideFactor。因此，如图34B所示，这导致了相对小的中心部分331。因此，在特写拍摄场景的宽视图图像中，这防止了聚焦的对象部分在观看者的中心视野之外，从而改进了可视性。
替选地，使用成像信息，图像处理设备270可以移动中心部分的中心离开屏幕的中心，以将聚焦的对象部分包括在观看者的中心视野之内。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸生成宽视图图像，在观看者的中心视场中对象的图像未聚焦，从而导致了难以立即察觉对象。
当如图35A所示，通过深聚焦成像获得输入图像的场景时，图像处理设备270将接近于1的值提供给最终的广角适合度级别Final_WideFactor。因此，如图35B所示，这导致了相对大的中心部分334。因此，采用适合于广角显示的深聚焦成像场景的宽视图图像，观看者可以感受到宽广，使得改进真实感。
(图像处理设备进行的处理的描述)
图36是由图31的图像处理设备270进行的图像处理的流程图。
从图36的步骤S71至S73的处理类似于从图18的步骤S11至S13的处理，并且因此不再进行描述。
在步骤S73中，当做出了从外部提供了属性信号的评估时，在步骤S74中，确定部272中的分析部311(图33)基于作为属性信号从外部所提供的成像信息识别广角适合度级别。然后，处理继续到步骤S75。
另一方面，当在步骤S73中做出尚未从外部输入属性信号的评估时，处理继续到步骤S75。
在步骤S75中，分析部271对输入图像执行场景分类处理，从而执行识别另一广角适合度级别的场景分析处理。然后，分析部272将所识别的广角适合度提供给确定部272。
在步骤S76中，确定部272基于来自分析部271的广角适合度级别和由分析部311所识别的广角适合度级别，识别最终的广角适合度级别，从而执行确定中心部分比例CentralPartRatio的基于场景的部分确定处理。确定部272将所确定的中心部分比例CentralPartRatio作为中心部分信息提供给中心生成部分13和周边生成部14两者。
从步骤S77至S81的处理类似于从图18的步骤S17至S21的处理，并且因此不再进行描述。
如上所述，图像处理设备270通过基于广角适合度级别对输入图像执行缩放处理、生成中心部分的图像，并且通过输入图像的外插生成周边部分的图像。然后，图像处理设备270通过将中心部分的图像与周边部分的图像进行合成生成宽视图图像。
因此，在不使用关于观看者的部分指定的信息、各种传感器的检测结果等的情况下，这使得能够通过相对于适合于广角显示的图像生成大的中心部分的图像来生成宽广的宽视图图像。即，这使得能够生成适合于输入图像的场景的宽视图图像，借此宽视图图像具有更好的真实感。
注意，在第一至第三实施例中，用于使用以限定缩放因子Scale的信息是输入图像的质量、重要性的级别、或场景，但是这不是限制性的。
替选地，可以基于输入图像的组成限定缩放因子Scale。如果是这种情况，则当输入图像具有包括如图37A示例性地示出的正在中心的主要对象的组成(在下文中，被成为“居中的组成”)时，缩放因子Scale可以是宽视图图像的尺寸与输入图像的尺寸的比例(在下文中，这被称为全尺寸缩放)。即，当输入图像具有居中的组成时，对象存在于输入图像的中心，使得将输入图像简单地放大至屏幕的尺寸。
另一方面，当输入图像具有如图37B所示的三分法的组成、或具有如图37C所示的对角线法的组成时，要限定的重要性部分是包括例如图37B中的橙子或图37C中的新干线的主要对象的部分，凭借其观看者可以理解组成。然后，限定缩放因子Scale以将重要性部分包括在中心视野351B(352B)之内。
即，当输入图像具有三分法或对角线法的组成时，捕获图像的人的意图在于使观看者的视线移动离开图像的中心。然而，除非观看者掌握了图像的组成，否则他/她可能不知道该意图。这是为何使得能够察觉组成的部分351A(352A)被放置在中心视野351B(352B)之内的原因。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸生成宽视图图像，将输入图像放大至屏幕的尺寸。因此，观看者难以掌握其全部组成，从而导致难以理解捕获图像的人的意图。
当基于输入图像的组成限定缩放因子Scale时，替选地，可以使用输入图像的组成作为基准，以使中心部分和周边部分的中心移动离开屏幕的中心。
作为示例，当输入图像具有如图38A示例性地示出的鸟瞰图组成时，替选地，中心部分371和周边部分372的垂直中心(即，位置C)可以被移动至低于观看者的视线的垂直中心(即，眼睛的水平高度E)。在这种情况下，屏幕的上部部分373左侧是空的，并且将黑色图像放置其中。作为结果，减少上部视野，并且向下移动生成的广角视图图像的中心，使得观看者感觉更想要向下看。
也是替选地，如图39A示例性地示出地，当输入图像具有三角组成(光轴倾斜场景)时，中心部分391和周边部分392的垂直中心(即位置C)可以被移动至高于眼睛的水平高度E。在这种情况下，屏幕的下部部分393的左侧是空的，并且将黑色图像放置其中。作为结果，减少下部视野，并且向上移动生成的广角视图图像的中心，使得观看者感觉更想要向上看。在此，可以预先设置眼睛的水平高度E，或可以由未示出的传感器等检测眼睛的水平高度E。
也是替选地，当如图40A所示输入图像具有用于与对象交互的视频电话等时、或当如图41A所示输入图像具有作为产品项的对象时，可以限定中心部分401(402)、以如图40B或41B所示按真实尺寸显示对象。在这种情况下，宽视图图像中对象的尺寸是真实尺寸，从而改进真实感和真实效果。在此，例如作为输入图像的元信息从外部提供对象的真实尺寸。
另一方面，对于通过简单地将输入图像放大至屏幕的尺寸生成宽视图图像，产品项等被放大至屏幕的尺寸，从而导致难以掌握产品项等的真实尺寸。
此外，如图42A和图42B所示，当输入图像是邮筒图像或是信桶图像时，图像处理设备10(170，270)可以对删除在其上部和下部或左部和右部的黑边之后的图像执行图像处理，从而能够生成不具有黑边的宽视图图像。在此，可以限定中心部分以将删除黑边后的图像全部包括在中心视野之内。
如图43A所示，当输入图像具有包括字符的侧边时，可以生成宽视图图像以将整个输入图像(即，部分411A)包括在中心视野411B之内。
此外，如图43B所示，当输入图像包括人为制造的图像的侧边时，可以生成宽视图图像以将不具有侧边的输入图像的剩余部分(即，部分412A)包括在中心视野412B之内。
此外，当如图44A所示输入图像具有从左侧移动到右侧的对象、并且如图44B所示是采用平移技术所捕获的时，中心部分431可以基于输入图像的运动向量在屏幕上从左侧移动到右侧。在这种情况下，观看者的视线响应于对象的移动而移动，使得可以掌握对象的空间位置。因此，可以改进真实感。
此外，如图45A所示，当采用放大技术捕获输入图像时，如图45B所示，可以减小中心部分的尺寸、而其中(即，在中心部分451A至453A中)的对象的尺寸不随时间改变。即，可以依次减小中心部分451A至453A的尺寸。
在这种情况下，如图45B所示，不与中心部分451A至453A重叠的周边部分(即，周边部分451B至453B)的图像的亮度分量逐渐降低或变得更加模糊。作为结果，因为周边视野(诱发(induced)视野、辅助视野)逐渐地减小，所以观看角度变窄，使得观看者感觉盯着对象。
在此，例如，可以基于在输入图像的MPEG流的解码信息中所包括的输入图像的运动向量来估计如何捕获输入图像(即，根据平移技术还是放大技术)。
替选地，在输入图像的MPEG流的解码信息中所包括的输入图像的运动向量可以被用作限定缩放因子Scale的基准。在这种情况下，例如，随着运动向量的增加中心部分被限定为更小，从而限定缩放因子Scale。因此，即使输入图像被放大，这也防止在生成的宽视图图像中运动向量变为过大，使得保护观看者免受视觉诱发的晕动病。
[结论]
图46是示出了根据本公开的实施例的图像处理及其效果的图。
如图46所示，图像处理设备10基于输入图像的MPEG流的数据头信息分析输入图像的频带分布，并且基于频带分布限定中心部分的尺寸，即，频带分布越偏向低频侧，则中心部分的尺寸越小。在低频侧的频带分布导致缩放因子低于全尺寸缩放的缩放因子。因此，防止生成的宽视图图像模糊，从而改进真实效果。
此外，图像处理设备10基于输入图像的MPEG流的比特率信息和解码信息来测量输入图像中的压缩应变量，并且基于压缩应变量限定中心部分的尺寸，即，压缩应变量越大则中心部分的尺寸越小。较大的压缩应变量导致缩放因子低于用于全尺寸缩放的缩放因子。因此，在生成的宽视图图像中，防止压缩应变被注意到，从而改进了真实效果。
另外，图像处理设备10基于关于被用于捕获输入图像的摄像装置的信息来测量输入图像中的噪声量，并且基于噪声量限定中心部分的尺寸，即，噪声量越大，则中心部分的尺寸越小。较大的噪声量导致缩放因子低于用于全尺寸缩放的缩放因子。因此，在生成的宽视图图像中，防止噪声被注意到，从而改进了真实效果。
此外，图像处理设备10基于在输入图像的MPEG流中的信息来测量输入图像中的量化步长，并且基于量化步长限定中心部分的尺寸，即，量化步长越大，则中心部分的尺寸越小。较大的量化步长导致缩放因子低于用于全尺寸缩放的缩放因子。因此，在生成的宽视图图像中，防止低的图像质量被注意到，从而改进了真实效果。
图像处理设备170基于OSD信息检测输入图像的字幕部分，并且限定中心部分的尺寸，以将字幕部分包括在中心视野之内。这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。在字幕部分在生成的宽视图图像的中心视野之内的情况下，因为即使放大输入图像字幕也不会存在超出中心视野，所以防止可视性受到破坏。因此，宽视图图像具有更好的可视性。
此外，图像处理设备170检测输入图像中的面部部分，并且限定中心部分的尺寸以将面部部分包括在中心视野之内。这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。在面部部分在生成的宽视图图像的中心视野之内的情况下，因为即使放大输入图像面部也不会存在超出中心视野，所以可以防止可视性受到破坏，并且观看者可以感受不到压抑。因此，宽视图图像具有更好的真实效果和可视性。
另外，图像处理设备170检测输入图像中的人物部分，并且限定中心部分的尺寸以将人物部分包括在中心视野中。这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。在人物部分在生成的宽视图图像的中心视野之内的情况下，因为即使放大输入图像人也不会存在超出中心视野，所以可以防止可视性受到破坏。因此，宽视图图像具有更好的可视性。
此时，可以以接受观看者的关注的人的人物部分在中心部分的中心的附近之内的方式移动中心部分。如果是这种情况，则接受观看者的关注的具体的人物放置在中心部分的中心，使得生成的宽视图图像具有更好的可视性。在此，例如，接受观看者的关注的具体的人物是由观看者所指定的。
另外，图像处理设备170基于观看者的指定检测输入图像中的对象部分，并且限定中心部分的尺寸以将对象部分包括在中心视野之内。这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。在对象部分在生成的宽视图图像的中心视野之内的情况下，因为即使放大输入图像主要对象也不会存在超出中心视野，所以防止可视性受到破坏。因此，宽视图图像具有更好的可视性。
另外，图像处理设备170基于在EPG的节目类型信息中所发现的节目类型来估计输入图像中具有高重要性级别的部分，并且限定中心部分的尺寸以将高重要性级别部分包括在中心视野之内。这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。因为针对节目类型的高重要性级别部分在生成的宽视图图像的中心视野之内的情况下，因此改进了可视性。
图像处理设备270对输入图像的场景进行分类，并且基于场景的广角适合度级别限定中心部分的尺寸，即，场景的广角适合度级别越高则中心部分的尺寸越大。这导致针对具有较高的广角适合度级别的场景，缩放因子接近用于全尺寸缩放的缩放因子。在适合于广角显示的场景的宽视图图像中放大输入图像的情况下，宽视图图像满足捕获图像的人的广角意图。因此，宽视图图像具有更好的真实感。
此外，图像处理设备270基于成像信息(例如，焦距、光圈、距离测量信息以及镜头类型)来估计广角适合度级别，并且基于广角适合度级别限定中心部分的尺寸，即，广角适合度级别越高，则中心部分的尺寸越大。这导致了随着较高广角适合度级别，缩放因子接近于用于全尺寸缩放的缩放因子。在具有高广角适合度级别的宽视图图像中放大输入图像的情况下，生成的宽视图图像满足捕获图像的人的广角意图。因此，宽视图图像具有更好的真实感。
此外，应用了本公开的实施例的图像处理设备以允许察觉输入图像的整个组成的部分被包括在中心视野中的方式来限定中心部分的尺寸。因此，当输入图像具有居中的组成时，这导致全尺寸缩放的缩放因子，并且当输入图像不具有居中的组成(即，具有三分法的组成或具有对角线法的组成)时，这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。
因此，当输入图像具有居中的组成时，即，当捕获图像的人的意图在于将用户的视线放置在图像的中心时，将输入图像整体地放大为宽视图图像，使得观看者将其视线放置在输入图像的中心。
当输入图像不具有中心组成时，即，当捕获图像的人的意图在于使观看者的视线移动离开图像的中心时，使允许察觉整个组成的部分放置在宽视图图像的中心视野中。因此，观看者掌握整个组成，并且可以使他/她的视线移动离开宽视图图像的中心。在这种情况下，图像处理设备生成满足捕获图像的人的意图的宽视图图像，使得因此改进了真实感。
此外，应用了本公开的实施例的图像处理设备基于输入图像的指示对象的真实尺寸的元信息限定中心部分，以包括真实尺寸的对象。这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。在生成的宽视图图像包括真实尺寸的对象的情况下，观看者可以感觉到好像对象实际上在他/她面前。即，宽视图图像具有更好的真实感和真实效果。
另外，当输入图像是邮筒图像或是信桶图像时，应用了本公开的实施例的图像处理设备通过删除输入图像的上部和下部或左部和右部的黑边、并且通过使用剩余的删除黑边后的图像作为输入图像，限定中心部分。以这种方式，因为使用中的输入图像是不包括黑边的有效部分的图像，所以未对黑边执行缩放处理，使得有效部分具有更好的可视性。
另外，当输入图像包括侧边时并且当侧边包括字符时，应用了本公开的图像处理设备限定中心部分以将整个图像包括在中心视野之内。当侧边是人为制造的图像时，图像处理设备以没有侧边的图像的剩余部分在中心视野之内的方式限定中心部分。这导致缩放因子基本上低于用于全尺寸缩放的缩放因子。
因此，当侧边包括字符时，包括侧边的输入图像作为有效部分整体地放置在中心视野之内，并且当侧边是人工制造图像时，没有侧边的输入图像的剩余部分作为有效部分放置在中心视野之内。因此有效部分具有更好的可视性。
另外，基于在输入图像中的MPEG流的解码信息中的运动向量，应用了本公开的实施例的图像处理设备估计如何捕获输入图像，即，采用平移技术还是放大技术。当估计采用平移技术捕获输入图像时，图像处理设备依照运动向量移动输入图像的中心部分的位置。另一方面，当估计采用放大技术捕获输入图像时，图像处理设备限定输入图像的中心部分而不改变对象的尺寸。在这种情况下，可以逐渐地降低周边部分的亮度或可以使周边部分更模糊。
因此，当采用平移技术捕获输入图像时，这导致缩放因子基本上低于用于全尺寸缩放的缩放因子，并且当采用放大技术捕获输入图像时，逐渐地降低缩放因子。
当采用平移技术捕获输入图像时，即，当捕获图像的人跟随对象的移动以进行成像时，生成的宽视图图像中的中心部分类似地移动，使得观看者的视线也依照对象的移动而移动。
当采用放大技术捕获输入图像时，即，当捕获图像的人盯着对象以进行成像时，在生成的宽视图图像中，对象的尺寸保持与中心部分相同但是周边部分亮度降低(或更模糊)，使得观看者的观看角度变窄。因此，观看者感觉像盯着对象。作为结果，宽角度图像视图满足捕获图像的人的意图，从而改进了真实感。
另外，基于在输入图像中的MPEG流的解码信息中的运动向量，应用了本公开的实施例的图像处理设备可以限定中心部分，即，运动向量越大，则中心部分越小。在这种情况下，运动向量越大，则与用于全尺寸缩放的缩放因子相比缩放因子变得越小。因此，即使放大输入图像，也防止在生成的宽视图图像中运动向量变得过大，使得防止观看者免受视觉诱发的晕动病。因此，这改进了宽视图图像的可视性。
[第四实施例]
(应用了本公开的实施例的计算机的描述)
以上描述的处理序列可以由硬件或软件执行。对于执行以上描述的处理序列的软件，将软件中的程序安装到计算机上。在此，计算机包括例如为此具体地指定的硬件中的计算机、或可以通过安装各种程序执行各种功能的通用个人计算机。
图47是示出了通过运行程序执行以上所述的处理序列的计算机的示例性硬件配置的框图。
在计算机中，总线604连接CPU(中央处理单元)601、ROM(只读存储器)602、以及RAM(随机存取存储器)630。
总线604还连接输入/输出接口605。输入/输出接口605连接输入部606、输出部607、存储部608、通信单元609以及驱动器610。
输入部606包括键盘、鼠标、麦克风等；并且输出部607包括显示器、扬声器等。存储部608是例如硬盘，或非易失性存储器。通信单元609是例如网络接口。驱动器610驱动由磁盘、光盘、磁光盘、半导体存储器等所例示的可移除介质611。
例如，对于具有以上配置的计算机，通过CPU601将存储部608中的程序经由输入/输出接口605和总线604载入到RAM603，执行以上所描述的处理序列。
要由计算机(CPU601)所运行的程序可以记录在作为封装介质等的可移除介质611上以用于分发。程序可以经由有线的或无线的传输介质(包括局域网、因特网、数字卫星广播等)而提供。
对于计算机，可以通过将可移除介质611安装在驱动器610上而经由输入/输出接口605将程序安装在存储部608上。程序可以通过由通信单元609经由有线的或无线的传输介质进行接收而安装在存储部608上。程序还可以预先安装在ROM602或存储部608上。
注意，对于要由计算机运行的程序，可以按照以上描述的顺序以时间序列方式执行处理，或者可以以并行方式或响应于调用在任何时间执行处理。
本公开的实施例的前述描述在所有方面是示例性的而不是限制性的。应理解可以在不背离本公开的范围的情况下想出多种修改和改变。
例如，本公开适用于云计算，在云计算中，多个设备经由网络而连接以用于通过功能的共享和协作来进行处理。
在以上所述的流程图中的步骤可以由一个设备执行或可以通过共享由多个设备执行。
当一个步骤包括多种类型的处理时，步骤中的各种类型的处理可以由一个设备执行或可以通过共享由多个设备执行。
本公开不仅适用于增加输入图像的分辨率的图像处理设备而且还适用于具有相同分辨率的输入和输出图像的图像处理设备。另外，在这种情况下，要生成的输出图像适合于输入图像的特性。
另一方面，假定简单地输入图像是输出图像，当捕获图像的人期望的观看角度比实际的观看角度更宽时，观看者可以以较窄的观看角度观看广角图像。作为结果，对象看起来过小，在期望宽广的各种图像(诸如，风景)中，真实感受到破坏。
另一方面，当捕获图像的人期望的观看角度比实际的观看角度更窄时，观看者可以以较宽的观看角度观看窄视角望远拍摄图像。因此，因为由于对象过大的尺寸增加对象可能存在超出中心视场、或因为字幕可能存在超出中心视场，所以图像的可视性很可能受到破坏。此外，容易注意到图像的差的图像质量。
本技术还可以是下面的结构。
(1)一种图像处理设备，包括：
中心生成部，配置成通过基于图像的特性对所述图像执行缩放处理，生成屏幕上的中心部分的图像；
周边生成部，配置成通过对所述中心部分的图像进行外插生成周边部分的图像，所述周边部分是所述屏幕上的所述中心部分周边的部分；以及
图像合成部，配置成通过将所述中心部分的图像与所述周边部分的图像进行合成生成合成图像，所述中心部分的图像由所述中心生成部所生成，所述周边部分的图像由所述周边生成部所生成。
(2)根据(1)所述的图像处理设备，还包括：
检测部，配置成检测所述图像中的预定部分，其中
所述中心生成部对所述图像执行缩放处理、以将所述预定部分包括在所述合成图像的中心视野内，所述预定部分是由所述检测部所检测出的。
(3)根据(2)所述的图像处理设备，其中
所述检测部检测所述图像中的字幕部分，并且
所述中心生成部对所述图像执行缩放处理、以将所述字幕部分包括在所述合成图像的中心视野内，所述字幕部分是由所述检测部所检测出的。
(4)根据(2)或(3)所述的图像处理设备，其中，
所述检测部检测所述图像中的面部部分，以及
所述中心生成部对所述图像执行缩放处理、以将所述面部部分包括在所述合成图像的中心视野内，所述面部部分是由所述检测部所检测出的。
(5)根据(4)所述的图像处理设备，其中
所述中心生成部通过对所述图像执行缩放处理、以将所述面部部分包括在所述合成图像的中心视野内，生成所述中心部分的图像，并且确定所述中心部分的图像在所述屏幕上的位置、以将所述中心部分的图像中的所述面部部分包括在所述中心视野的中心处。
(6)根据(2)至(5)中任一项所述的图像处理设备，其中
所述检测部检测所述图像中的对象部分，以及
所述中心生成部对所述图像执行缩放处理、以将所述对象部分包括在所述合成图像的中心视野内，所述对象部分是由所述检测部所检测出的。
(7)根据(2)至(6)中任一项所述的图像处理设备，其中
所述检测部检测所述图像中的人物部分，以及
所述中心生成部对所述图像执行缩放处理、以将所述人物部分包括在所述合成图像的中心视野内，所述人物部分是由所述检测部所检测出的。
(8)根据(2)至(7)中任一项所述的图像处理设备，其中
所述检测部基于所述图像的节目类型信息，检测所述图像中的具有高重要性级别的部分，以及
所述中心生成部对所述图像执行缩放处理、以将高重要性级别部分包括在所述合成图像的中心视野内，所述高重要性级别部分是由所述检测部所检测出的。
(9)根据(1)所述的图像处理设备，还包括：
确定部，配置成基于所述图像的质量确定所述中心部分，其中
所述中心生成部对所述图像执行缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
(10)根据(9)所述的图像处理设备，其中
所述确定部基于所述图像的频带分布确定所述中心部分。
(11)根据(9)或(10)所述的图像处理设备，其中，
所述确定部基于所述图像的压缩应变量确定所述中心部分。
(12)根据(9)至(11)中任一项所述的图像处理设备，其中
所述确定部基于所述图像的噪声量确定所述中心部分。
(13)根据(1)所述的图像处理设备，还包括：
确定部，配置成基于适合于所述图像的场景的广角适合度级别确定所述中心部分，所述广角适合度级别是指示对于所述图像的广角显示场景有多适合的级别，其中
所述中心生成部对所述图像执行缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
(14)根据(1)所述的图像处理设备，其中
当采用平移技术捕获所述图像时，基于所述图像的运动向量，所述中心生成部确定所述中心部分在所述屏幕上的位置。
(15)根据(1)所述的图像处理设备，其中
当采用放大技术捕获所述图像时，所述中心生成部在所述图像中的对象的尺寸不随时间改变的情况下、对所述图像执行缩放处理，以及
所述周边生成部使所述周边部分的图像中的亮度或模糊度级别随时间改变。
(16)根据(1)所述的图像处理设备，还包括：
确定部，配置成基于所述图像的运动向量确定所述中心部分，其中
所述中心生成部对所述图像执行缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
(17)根据(1)所述的图像处理设备，还包括
确定部，配置成基于适合于所述图像的成像信息的广角适合度级别确定所述中心部分，所述广角适合度级别是指示对于广角显示所述图像有多适合的级别，其中
所述中心生成部对所述图像执行所述缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
(18)根据(1)所述的图像处理设备，其中
当所述图像包括黑条时，所述中心生成部基于删除所述黑条之后的所述图像的特性、对所述图像执行缩放处理。
(19)根据(1)所述的图像处理设备，其中
基于所述图像中的对象的真实尺寸，所述中心生成部对所述图像执行缩放处理，以将所述中心部分的图像中的对象的尺寸改变成所述对象的真实尺寸。
(20)一种图像处理方法，包括：
通过图像处理设备：
通过基于图像的特性对所述图像执行缩放处理，生成屏幕上的中心部分的图像；
通过对所述中心部分的图像进行外插生成周边部分的图像，所述周边部分是所述屏幕上的所述中心部分周边的部分；以及
通过对在所述生成中所生成的所述中心部分的图像与在所述生成中所生成的所述周边部分的图像进行合成，生成合成图像。
本领域的技术人员应该理解，在所附权利要求或其等同方案的范围内，根据设计需要和其它因素，可进行各种修改、组合、子组合以及变更。
Claims (20)
1.一种图像处理设备，包括：
中心生成部，配置成通过基于图像的特性对所述图像执行缩放处理，生成屏幕上的中心部分的图像；
周边生成部，配置成通过对所述中心部分的图像进行外插生成周边部分的图像，所述周边部分是所述屏幕上的所述中心部分周边的部分；以及
图像合成部，配置成通过将所述中心部分的图像与所述周边部分的图像进行合成生成合成图像，所述中心部分的图像由所述中心生成部所生成，所述周边部分的图像由所述周边生成部所生成，
其中，所述周边生成部包括外插部和调整部，所述外插部被配置成识别指示所述外插的可靠性的外插可靠性的级别，并且所述调整部被配置成基于所述外插可靠性的级别而调整所述周边部分的图像。
2.根据权利要求1所述的图像处理设备，还包括：
检测部，配置成检测所述图像中的预定部分，其中
所述中心生成部对所述图像执行缩放处理、以将所述预定部分包括在所述合成图像的中心视野内，所述预定部分是由所述检测部所检测出的。
3.根据权利要求2所述的图像处理设备，其中
所述检测部检测所述图像中的字幕部分，并且
所述中心生成部对所述图像执行缩放处理、以将所述字幕部分包括在所述合成图像的中心视野内，所述字幕部分是由所述检测部所检测出的。
4.根据权利要求2所述的图像处理设备，其中，
所述检测部检测所述图像中的面部部分，以及
所述中心生成部对所述图像执行缩放处理、以将所述面部部分包括在所述合成图像的中心视野内，所述面部部分是由所述检测部所检测出的。
5.根据权利要求4所述的图像处理设备，其中
所述中心生成部通过对所述图像执行缩放处理、以将所述面部部分包括在所述合成图像的中心视野内，生成所述中心部分的图像，并且确定所述中心部分的图像在所述屏幕上的位置、以将所述中心部分的图像中的所述面部部分包括在所述中心视野的中心处。
6.根据权利要求2所述的图像处理设备，其中
所述检测部检测所述图像中的对象部分，以及
所述中心生成部对所述图像执行缩放处理、以将所述对象部分包括在所述合成图像的中心视野内，所述对象部分是由所述检测部所检测出的。
7.根据权利要求2所述的图像处理设备，其中
所述检测部检测所述图像中的人物部分，以及
所述中心生成部对所述图像执行缩放处理、以将所述人物部分包括在所述合成图像的中心视野内，所述人物部分是由所述检测部所检测出的。
8.根据权利要求2所述的图像处理设备，其中
所述检测部基于所述图像的节目类型信息，检测所述图像中的具有高重要性级别的部分，以及
所述中心生成部对所述图像执行缩放处理、以将高重要性级别部分包括在所述合成图像的中心视野内，所述高重要性级别部分是由所述检测部所检测出的。
9.根据权利要求1所述的图像处理设备，还包括：
确定部，配置成基于所述图像的质量确定所述中心部分，其中
所述中心生成部对所述图像执行缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
10.根据权利要求9所述的图像处理设备，其中
所述确定部基于所述图像的频带分布确定所述中心部分。
11.根据权利要求9所述的图像处理设备，其中，
所述确定部基于所述图像的压缩应变量确定所述中心部分。
12.根据权利要求9所述的图像处理设备，其中
所述确定部基于所述图像的噪声量确定所述中心部分。
13.根据权利要求1所述的图像处理设备，还包括：
确定部，配置成基于适合于所述图像的场景的广角适合度级别确定所述中心部分，所述广角适合度级别是指示对于所述图像的广角显示场景有多适合的级别，其中
所述中心生成部对所述图像执行缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
14.根据权利要求1所述的图像处理设备，其中
当采用平移技术捕获所述图像时，基于所述图像的运动向量，所述中心生成部确定所述中心部分在所述屏幕上的位置。
15.根据权利要求1所述的图像处理设备，其中
当采用放大技术捕获所述图像时，所述中心生成部在所述图像中的对象的尺寸不随时间改变的情况下、对所述图像执行缩放处理，以及
所述周边生成部使所述周边部分的图像中的亮度或模糊度级别随时间改变。
16.根据权利要求1所述的图像处理设备，还包括：
确定部，配置成基于所述图像的运动向量确定所述中心部分，其中
所述中心生成部对所述图像执行缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
17.根据权利要求1所述的图像处理设备，还包括
确定部，配置成基于适合于所述图像的成像信息的广角适合度级别确定所述中心部分，所述广角适合度级别是指示对于广角显示所述图像有多适合的级别，其中
所述中心生成部对所述图像执行所述缩放处理，以将所述图像的尺寸改变成由所述确定部所确定的所述中心部分的尺寸。
18.根据权利要求1所述的图像处理设备，其中
当所述图像包括黑条时，所述中心生成部基于删除所述黑条之后的所述图像的特性、对所述图像执行缩放处理。
19.根据权利要求1所述的图像处理设备，其中
基于所述图像中的对象的真实尺寸，所述中心生成部对所述图像执行缩放处理，以将所述中心部分的图像中的对象的尺寸改变成所述对象的真实尺寸。
20.一种图像处理方法，包括：
通过图像处理设备：
通过基于图像的特性对所述图像执行缩放处理，生成屏幕上的中心部分的图像；
通过对所述中心部分的图像进行外插生成周边部分的图像，所述周边部分是所述屏幕上的所述中心部分周边的部分；以及
通过对在所述生成中所生成的所述中心部分的图像与在所述生成中所生成的所述周边部分的图像进行合成，生成合成图像，
其中，通过外插生成周边部分的图像包括：识别指示所述外插的可靠性的外插可靠性的级别，并且基于所述外插可靠性的级别而调整所述周边部分的图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013-095887 | 2013-04-30 | ||
| JP2013095887A JP2014215604A (ja) | 2013-04-30 | 2013-04-30 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104134435A CN104134435A (zh) | 2014-11-05 |
| CN104134435B true CN104134435B (zh) | 2018-12-28 |
Family
ID=51788885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410166630.6A Expired - Fee Related CN104134435B (zh) | 2013-04-30 | 2014-04-23 | 图像处理设备和图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10540791B2 (zh) |
| JP (1) | JP2014215604A (zh) |
| CN (1) | CN104134435B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2015107817A1 (ja) * | 2014-01-20 | 2017-03-23 | ソニー株式会社 | 画像表示装置及び画像表示方法、画像出力装置及び画像出力方法、並びに画像表示システム |
| JP2015219327A (ja) * | 2014-05-15 | 2015-12-07 | 株式会社ジャパンディスプレイ | 表示装置 |
| US10055850B2 (en) * | 2014-09-19 | 2018-08-21 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
| US9727949B1 (en) * | 2014-11-19 | 2017-08-08 | Google Inc. | Providing secure digital images |
| JP6672305B2 (ja) * | 2014-12-22 | 2020-03-25 | インターデジタル シーイー パテント ホールディングス | オブジェクト検出に基づき外挿画像を生成する方法及び装置 |
| KR101737089B1 (ko) * | 2015-05-29 | 2017-05-17 | 삼성전자주식회사 | 이미지를 디스플레이하는 방법 및 디바이스 |
| KR102631481B1 (ko) | 2016-09-23 | 2024-02-01 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| KR101975472B1 (ko) * | 2017-07-19 | 2019-05-07 | 중앙대학교 산학협력단 | 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법 |
| US11501522B2 (en) | 2017-12-06 | 2022-11-15 | Nec Corporation | Image recognition model generating device, image recognition model generating method, and image recognition model generating program storing medium |
| US10602177B1 (en) * | 2018-10-01 | 2020-03-24 | Novatek Microelectronics Corp. | Frame rate up-conversion apparatus and operation method thereof |
| CN111380668B (zh) * | 2018-12-27 | 2022-10-11 | 浙江舜宇智能光学技术有限公司 | 一种深度相机的精度检测系统及其精度检测方法 |
| JP7301601B2 (ja) * | 2019-05-24 | 2023-07-03 | キヤノン株式会社 | 画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラム |
| CN110298827A (zh) * | 2019-06-19 | 2019-10-01 | 桂林电子科技大学 | 一种基于图像处理的图像质量识别方法 |
| KR20220052779A (ko) * | 2020-10-21 | 2022-04-28 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6346950B1 (en) * | 1999-05-20 | 2002-02-12 | Compaq Computer Corporation | System and method for display images using anamorphic video |
| CN101137034A (zh) * | 2006-08-29 | 2008-03-05 | 索尼株式会社 | 图像判断设备、方法和程序、图像处理设备、方法和程序 |
| CN102143371A (zh) * | 2010-01-28 | 2011-08-03 | 株式会社东芝 | 图像处理装置、三维显示装置和图像处理方法 |
| WO2012139275A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Object of interest based image processing |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050058322A1 (en) * | 2003-09-16 | 2005-03-17 | Farmer Michael E. | System or method for identifying a region-of-interest in an image |
| GB0116877D0 (en) * | 2001-07-10 | 2001-09-05 | Hewlett Packard Co | Intelligent feature selection and pan zoom control |
| WO2003060424A1 (en) * | 2002-01-18 | 2003-07-24 | Mv Research Limited | A machine vision system |
| JP2004015286A (ja) * | 2002-06-05 | 2004-01-15 | Seiko Epson Corp | ディジタルカメラ |
| US7437019B2 (en) * | 2002-07-18 | 2008-10-14 | Noritsu Koki Co., Ltd. | Apparatus and method for image processing, image processing program and recording medium storing the image processing program |
| JP2004178163A (ja) * | 2002-11-26 | 2004-06-24 | Matsushita Electric Ind Co Ltd | 画像処理方法及びその装置 |
| US7327890B2 (en) * | 2002-12-20 | 2008-02-05 | Eastman Kodak Company | Imaging method and system for determining an area of importance in an archival image |
| KR100624473B1 (ko) * | 2004-12-14 | 2006-09-18 | 삼성전자주식회사 | 이미지 처리장치 및 그 방법 |
| US20090135200A1 (en) * | 2005-06-28 | 2009-05-28 | Mark Alan Schultz | Selective Edge Blending Based on Displayed Content |
| JP4825561B2 (ja) | 2006-03-29 | 2011-11-30 | 株式会社東芝 | 画像表示装置 |
| JP5268271B2 (ja) | 2007-03-23 | 2013-08-21 | 株式会社東芝 | 画像表示装置および画像表示方法 |
| JP4455609B2 (ja) | 2007-03-27 | 2010-04-21 | 株式会社東芝 | 画像表示装置および画像表示方法 |
| US8243797B2 (en) * | 2007-03-30 | 2012-08-14 | Microsoft Corporation | Regions of interest for quality adjustments |
| US8831299B2 (en) * | 2007-05-22 | 2014-09-09 | Intellectual Ventures Fund 83 Llc | Capturing data for individual physiological monitoring |
| JP2009162899A (ja) | 2007-12-28 | 2009-07-23 | Pioneer Electronic Corp | 画像表示方法 |
| US8672375B2 (en) * | 2010-09-14 | 2014-03-18 | The Rigging Box, Inc. | Heavy load sling protective pad |
| US9933935B2 (en) * | 2011-08-26 | 2018-04-03 | Apple Inc. | Device, method, and graphical user interface for editing videos |
| JP5803467B2 (ja) * | 2011-09-14 | 2015-11-04 | 株式会社リコー | 画像処理装置および撮像装置、ならびに画像処理方法 |
| US9811874B2 (en) * | 2012-12-31 | 2017-11-07 | Nvidia Corporation | Frame times by dynamically adjusting frame buffer resolution |
| US9760803B2 (en) * | 2013-05-15 | 2017-09-12 | Google Inc. | Associating classifications with images |
| US9100631B2 (en) * | 2013-08-05 | 2015-08-04 | Cable Television Laboratories, Inc. | Dynamic picture quality control |
-
2013
- 2013-04-30 JP JP2013095887A patent/JP2014215604A/ja active Pending
-
2014
- 2014-03-06 US US14/198,690 patent/US10540791B2/en not_active Expired - Fee Related
- 2014-04-23 CN CN201410166630.6A patent/CN104134435B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6346950B1 (en) * | 1999-05-20 | 2002-02-12 | Compaq Computer Corporation | System and method for display images using anamorphic video |
| CN101137034A (zh) * | 2006-08-29 | 2008-03-05 | 索尼株式会社 | 图像判断设备、方法和程序、图像处理设备、方法和程序 |
| CN102143371A (zh) * | 2010-01-28 | 2011-08-03 | 株式会社东芝 | 图像处理装置、三维显示装置和图像处理方法 |
| WO2012139275A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Object of interest based image processing |
Non-Patent Citations (1)
| Title |
|---|
| Multiscale ultrawide foveated video extrapolation;A.Adies, T.Avraham, Y.Schechner;《Israel Institute of Technology In ICCP》;20110421;第三部分以及附图5 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014215604A (ja) | 2014-11-17 |
| CN104134435A (zh) | 2014-11-05 |
| US10540791B2 (en) | 2020-01-21 |
| US20140320534A1 (en) | 2014-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104134435B (zh) | 图像处理设备和图像处理方法 | |
| EP3403413B1 (en) | Method and device for processing multimedia information | |
| US10152781B2 (en) | Method for image processing using local statistics convolution | |
| JP4840426B2 (ja) | 電子機器、ぼけ画像選別方法及びプログラム | |
| CN105323425B (zh) | 融合图像系统中的场景运动校正 | |
| US9495582B2 (en) | Digital makeup | |
| US8698910B2 (en) | Apparatus, camera, method, and computer-readable storage medium for generating advice for capturing an image | |
| JP5222939B2 (ja) | テレビ電話におけるプライバシーを最大にするための浅い被写界深度のシュミレート | |
| US10410327B2 (en) | Shallow depth of field rendering | |
| RU2443068C2 (ru) | Устройство и способ формирования изображения и программа | |
| CN110189378A (zh) | 一种视频处理方法、装置及电子设备 | |
| KR101800995B1 (ko) | 위상 기반 오토포커스를 위한 신뢰도 측정 | |
| US20100182501A1 (en) | Information processing apparatus, information processing method, and program | |
| US20120121204A1 (en) | Importance filtering for image retargeting | |
| US8526057B2 (en) | Image processing apparatus and image processing method | |
| JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
| Guo et al. | Improving photo composition elegantly: Considering image similarity during composition optimization | |
| JP2013157671A (ja) | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム | |
| KR20180048627A (ko) | 역 톤 매핑을 위한 방법 및 장치 | |
| JP2007088814A (ja) | 撮像装置、画像記録装置および撮像制御プログラム | |
| CN112036209A (zh) | 一种人像照片处理方法及终端 | |
| CN112153240A (zh) | 一种调整图像画质方法、装置及可读存储介质 | |
| JP5202190B2 (ja) | 画像処理方法及び画像処理装置 | |
| CN113805824B (zh) | 电子装置以及在显示设备上显示图像的方法 | |
| CN116757987A (zh) | 图像的处理方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181228 |