CN103096106A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN103096106A
CN103096106A CN2012104231152A CN201210423115A CN103096106A CN 103096106 A CN103096106 A CN 103096106A CN 2012104231152 A CN2012104231152 A CN 2012104231152A CN 201210423115 A CN201210423115 A CN 201210423115A CN 103096106 A CN103096106 A CN 103096106A
Authority
CN
China
Prior art keywords
rendering
input
vision attention
image processing
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104231152A
Other languages
English (en)
Other versions
CN103096106B (zh
Inventor
洪智暎
赵良镐
李皓荣
黄圭荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103096106A publication Critical patent/CN103096106A/zh
Application granted granted Critical
Publication of CN103096106B publication Critical patent/CN103096106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明提供一种图像处理设备和方法。图像处理设备包括感兴趣区域(ROI)配置单元，ROI配置单元根据与输入的三维(3D)图像相关的人类视觉特征，产生视觉注意图。视差调整单元可利用视觉注意图调整包括在输入的3D图像中的视差信息。利用视差信息调整的结果，可产生并显示减小用户可在观看3D图像时体验的视觉疲劳程度的3D图像。

Description

图像处理设备和方法
本申请要求于2011年11月1日提交到韩国知识产权局的第10-2011-0112603号韩国专利申请的优先权，该申请的公开通过引用全部包含于此。
技术领域
这里公开的示例实施例涉及一种用于提供三维（3D）图像的显示装置和内部图像处理方法，更具体地讲，涉及一种当观看3D图像时可减少视觉疲劳的图像处理设备和方法。
背景技术
最近，对三维（3D）图像处理的兴趣已增加。可通过针对多个视点提供与不同的视点相应的图像，配置3D图像。例如，3D图像可以是与多个视点相应的多视点图像，或可提供与两个视点相应的左眼图像和右眼图像的立体图像。
与仅显示现有平面图像的二维（2D）显示器相比，3D显示器可向用户提供相对较高的真实感。然而，3D显示器可针对左视野和右视野显示不同的图像信息，并因此与2D显示器相比，可引起更多的视觉疲劳。因此，存在对减少视觉疲劳的解决方案的需求。
用于减少视觉疲劳的传统方法包括统一减小深度信息的方法、在近侧区域的情况下增加对比度并且在远侧区域的情况下减小对比度的方法等。
发明内容
通过提供一种图像处理设备实现上述和/或其他方面，所述图像处理设备包括：感兴趣区域（ROI）配置单元，根据与输入的三维（3D）图像相应的用户或观察者的视觉注意，产生视觉注意图；视差调整单元，利用视觉注意图调整包括在输入的3D图像中的视差信息。
ROI配置单元可包括：区域划分器，利用输入的3D图像的视差信息，将包括在输入的3D图像中的深度值分布划分为多个区域；至少一个区域计算器，计算与所述多个区域中的每个区域相应的视觉注意级别。
ROI配置单元还可包括：视觉注意图计算器，通过集成由所述至少一个区域计算器计算的所述多个区域的视觉注意级别，产生视觉注意图。
所述至少一个区域计算器可改变输入的3D图像的颜色空间，可将输入的3D图像的每个部分分类为具吸引力的颜色和不具吸引力的颜色，并可将具吸引力的颜色的视觉注意级别计算为高于不具吸引力的颜色的视觉注意级别。
当输入的3D图像与红、绿、蓝（RGB）颜色空间相关时，颜色空间的改变可将颜色空间改变为CIECAM02颜色空间，并可基于颜色值的色相和色度，执行将每个部分分类为具吸引力的颜色和不具吸引力的颜色。
当基于利用输入的3D图像的颜色信息确定的亮度信息，帧之间的亮度差大于或等于的预定阈值时，所述至少一个区域计算器可将视觉注意级别计算为高。
所述至少一个区域计算器可将输入的3D图像划分为预定大小的块。当针对在不同的两个帧内位于相同的位置上的块的像素值的差大于或等于预定阈值时，所述至少一个区域计算器可将所述块确定为运动检测块，并将所述块的视觉注意级别计算为高。
所述至少一个区域计算器可将块分组为多个组。当单个组内存在预定数量的运动检测块时，所述至少一个区域计算器可将单个组内的整个块的视觉注意级别计算为高。
当利用输入的3D图像的颜色信息确定的亮度值小于预定阈值时，所述至少一个计算器可将视觉注意级别计算为低。
图像处理设备还可包括：感知深度增加处理单元，通过应用基于根据视觉注意产生的视觉注意图上预定区域的纹理类型的纹理增强方案，提高感知深度。
通过提供一种图像处理设备实现上述和/或其他方面，所述图像处理设备包括：ROI配置单元，基于输入的3D图像的颜色值、视差值和运动检测结果中的至少一个，产生与输入的3D图像相应的视觉注意图；视差调整单元，利用视觉注意图重新调整输入的3D图像的视差。
通过提供一种图像处理方法实现上述和/或其他方面，所述图像处理方法包括：通过图像处理设备的ROI配置单元根据与输入的3D图像相应的人类视觉注意，产生视觉注意图；通过图像处理设备的视差调整单元利用视觉注意图调整包括在输入的3D图像中的视差信息。
所述示例实施例可包括可维持3D效果并减小与人类视觉系统特征相关的视觉疲劳的图像处理设备和方法。
所述示例实施例还可包括可基于观察者的视觉注意有效选择ROI，而没有使用可被用于减少视觉疲劳的其它传统方法而可能产生的3D效果的减少的图像处理设备和方法。
实施例的另外方面将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本公开的实施可以被理解。
附图说明
从下面的通过结合附图对实施例的描述中，这些和/或其它方面将会变得清楚，并且更易于理解，其中：
图1示出根据实施例的图像处理方法；
图2示出根据实施例的包括感知深度增加处理过程的图像处理方法；
图3示出根据实施例的图像处理设备；
图4示出根据实施例的图3的图像处理设备的感兴趣区域（ROI）配置单元的配置；
图5示出根据实施例的通过ROI配置单元来计算区域图的处理；
图6示出根据实施例的用于描述图3的图像处理设备的视差调整单元的操作的示图；
图7示出根据实施例的用于描述图像处理设备的三维（3D）图像产生器的操作的示图；
图8示出根据实施例的用于描述包括在图像处理设备的3D效果增强单元的操作的示图；
图9A、图9B、图10A和图10B示出根据实施例的用于描述通过图像处理设备的3D图像生成器来调整视差之前和之后的差别的示图；
图11示出根据实施例的用于描述利用图像处理方法产生正感知深度3D图像的处理的示图；
图12示出根据实施例的用于描述利用图像处理方法产生负感知深度3D图像的处理的示图。
具体实施方式
现在将详细描述实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述这些实施例以解释本公开。
图1示出根据实施例的图像处理方法。
图像处理方法可分析将从3D显示器中提供的输入的三维（3D）图像的特征。图像处理方法可通过利用分析的特征调整输入的3D图像的视差信息，来减少由观看输入的3D图像引起的疲劳程度。
根据这里公开的示例实施例的图像处理设备可利用用户的视觉感知特征（例如，视觉注意特征）有效并精确地预测感兴趣区域（ROI）。据此，图像处理设备可根据输入的3D图像的特征来增加视觉感知深度，还可明显减少视觉疲劳。
根据关于与人类视觉感知特征相关的视觉注意的研究，与听觉相比，视觉可提供十倍的信息，因此视觉执行非常重要的功能。例如，相信所有获取的信息中的至少70%可从视觉信息中获取。在3D图像中，视觉信息可用作输入的信息的主要方式，因此视觉可变成有触觉的。
眼睛执行可从周围环境接收各种大量信息（例如，形状、颜色、距离、运动、亮度、纹理、梯度、位置、方向等）的视觉功能。即使输入了大量信息，用户的大脑也可从进入眼睛的大量信息当中选择并专注于有意义的信息。这被称为视觉注意或选择性注意。例如，用户可利用视觉注意或选择性注意，确定看什么或看哪里。
在下文中，将描述根据示例实施例的可通过重新调整输入的3D图像的视差而减少视觉疲劳的图像处理设备的图像处理方法。
参照图1，在操作110，可输入3D图像。输入的3D图像可包括彩色图像和视差信息。3D显示装置可通过对彩色图像和视差信息进行解码来产生立体图像或多视点图像。
在操作120，图像处理设备的ROI配置单元可通过分析输入的3D图像产生视觉注意图。
ROI配置单元可利用3D输入图像的视差信息，将输入的3D图像划分为具有不同深度级别的多个层。在下文中，该层还可被称为区域。
ROI配置单元可根据多个区域中的视觉模型，利用每个区域的颜色信息、每个区域的视差信息和每个区域的运动信息中的至少一个，计算视觉注意级别。计算的视觉注意级别可被表示在相应的屏幕，因此可被理解为视觉注意图的配置。
将参照附图，进一步描述可产生视觉注意图的ROI配置单元的实施例。
当计算出视觉注意图时，在操作130，图像处理设备的视差调整单元可重新调整包括在3D图像中的视差信息。
上述的重新调整可被理解为使从视觉注意图验证的具有最高视觉注意级别的部分能够具有最小化人类视觉疲劳的视差级别的操作。
根据实施例，最小化视觉疲劳的视差级别可以是与距离显示屏幕最近的点对应的视差。例如，当视差变为“零”的点被理解为显示屏幕时，具有最高视觉注意级别的部分的视差可被调整为“零”。
在操作140，图像处理设备的3D图像产生器可利用重新调整的视差产生3D图像。在操作150，可输出产生的3D图像（例如，立体图像）。
通过上述处理，可执行可减少视觉疲劳的、并可维持或进一步增强屏幕内的相对3D效果的图像处理。
图2示出根据示例实施例的包括感知深度增加处理过程的图像处理方法。
尽管图1的图像处理方法和图2的图像处理方法之间的差别在于在操作230之后的操作240执行增加感知深度的处理，但是剩余的操作（例如，接收3D图像的操作210、配置视觉注意图的操作220和重新调整视差的操作230）可与上面参照图1进行的描述相同。
另外，在操作240之后的产生应用最佳深度的3D图像的操作250和输出3D图像的操作260也可与上面参照图1进行的描述相同。
将参照图6至图8，描述用于增加感知深度的图像处理操作240。
图3示出根据示例实施例的图像处理设备。
当输入3D图像时，ROI配置单元310可通过分析输入的3D图像产生视觉注意图。
如上面参照图1描述的，ROT配置单元310可利用输入的3D图像的视差信息，将输入的3D图像划分为具有不同深度级别的多个区域。
ROI配置单元310可根据多个区域中的视觉模型，利用每个区域的颜色信息、每个区域的视差信息和每个区域的运动信息中的至少一个，计算视觉注意级别。计算的视觉注意级别可被表示在相应的屏幕，因此可被理解为视觉注意图的配置。
将参照图4和图5，进一步描述可产生视觉注意图的ROI配置单元310的操作。
利用由ROI配置单元310产生的视觉注意图，视差调整单元320可调整输入的3D图像的视差，以达到视觉疲劳的最大减少。
通过视差调整，从视觉注意图中验证的具有最高视觉注意级别的区域可被移动到可最小化用户视觉疲劳的深度。最小化视觉疲劳的视差级别可以是与距离显示屏幕最近的点相应的视差，因此具有最高视觉注意级别的区域的视差可被调整为“零”。
将参照图9至图12，进一步描述视差调整单元320的操作。
3D图像产生器330可产生利用重新调整的视差提供最少视觉疲劳的3D图像。将参照图7和图8，进一步描述3D图像生成器330的操作。
图4示出根据实施例的图3的图像处理设备的ROI配置单元310的配置。
ROI配置单元310可包括区域划分器410、区域1计算器421、区域2计算器422、……、区域N计算器423和视觉注意图计算器430。
区域划分器410可利用包括在输入的3D图像中的视差信息，将输入的3D图像的深度值分布划分为N个区域。在上述处理期间，最小深度值和最大深度值之间的分布可被均等地划分为N个区域。
然而，这仅是示例，因此根据深度值的分布，与大量像素相应的深度值周围的区域可分配相对大量的层。在与少量像素相应的深度值的情况下，相对宽的范围可被分配为单个层。在此示例中，可在时间上按每一帧适应地执行基于深度值的区域（层）划分。
当深度值分布基于深度值级别被划分为区域1至区域N时，每个区域计算器可计算每个区域的视觉注意级别。例如，区域1计算器421可计算区域1的视觉注意级别、区域2计算器422可计算区域2的视觉注意级别、区域N的计算器可计算区域N的视觉注意级别。可根据用户（例如，人）的视觉识别模型，基于对象的颜色、视差和动作中的至少一个来确定视觉注意级别。
可执行上述计算，从而可针对人以高度的注意力观察的色相、具有将被强调的视差级别的部分和/或物体移动的部分，获取相对高的视觉注意级别。
视觉注意图计算器430可利用由区域1计算器421、区域2计算器422、……、区域N计算器423计算的视觉注意级别，产生针对整个显示屏幕的视觉注意图。
将参照图5，描述可计算相应区域的区域图的每个区域计算器的处理。
图5示出根据示例实施例的通过ROI配置单元计算区域图的处理。
在操作510，可执行颜色空间变化，以针对基于深度值级别划分的每个区域，分析颜色信息。
具有红、绿、蓝（RGB）颜色空间的输入的3D图像的颜色信息可被转换为基于最相似于人类视觉感知的CIECAM02（国际照明委员会色貌模型02）的颜色空间的亮度（L）、色度（C）、色相正交（hue quadrature）（H）。这里，CIECAM02的L、C和H可分别指示亮度值、色度值和色相值。
针对输入的3D图像的颜色空间可以是RGB数字信号并与人类视觉系统无关。因此，可利用被表现为人类视觉系统的最终输出的人类感知特征（例如，亮度、色度、色相）。
每个区域计算器可利用从转换的颜色空间获取的颜色信息，产生与每个区域（例如，每个层）相应的颜色直方图。例如，可基于颜色信息中的色相信息产生直方图。
作为预定区域而描述的将被使用的色相区域可被划分为所述的颜色空间中CIECAM02的色相正交或色相角，或可基于LCH颜色空间的色相值被划分。
可通过对于每个区域产生的颜色直方图，确定能够代表相应层的代表色相。这里，代表色相可以是在颜色直方图中具有最大频率的颜色，并可被称为相应层的代表色相。然而，这仅是示例，因此可利用其他方法确定代表色相。例如，代表色相可以是与从颜色直方图确定的中间值或平均颜色相应的颜色。
在操作520，确定的代表色相是相应于与视觉注意相关的具吸引力的色相区域还是相应于不具吸引力的色相区域可被确定。
在操作530，针对与具吸引力的颜色相应的每个像素，可确定相应像素是否相应于与视觉注意相关的亮度值。
通常，当亮度低时（例如，当黑暗时），即使在与视觉注意相应的色相区域的情况下（即，即使色相区域被确定为吸引用户时），也不可识别色相。因此，视觉注意级别可不被计算为高。通过考虑上面描述的亮度，在计算视觉注意级别的处理期间，可移除噪声。
在操作540，可确定预定像素是否与移动物体相应。
通常，当运动差较大时，相应部分可根据视觉注意引起注意。基于上述的理论假设，可利用亮度计算运动差。
例如，运动可基于几乎不存在图像输入设备（例如，相机）的平移或不期望的摇晃的假设。当每个帧的亮度差较大时，相应部分可被确定为具有物体运动的部分（例如，将被注意的部分）。
在上述处理期间，T0输入帧和（T0+Δt）输入帧可被划分为预定大小的块。当针对在两个帧内位于相同位置上的块的像素值的差大于或等于预定阈值时，则可确定已发生运动。
在上述处理期间，快速移动物体极有可能被检测为两个不同的区域。为了将两个不同的区域集成为单个区域，当至少预定数量的运动检测块出现在块组内时，可采用将整个块组显示为单个区域的方法。即，还可考虑邻近块而不是各个块。
在操作550，可集成针对每个区域计算的区域图。因此，可配置整个视觉注意图。
图6示出根据实施例的用于描述图3的图像处理设备的视差调整单元320的操作的示图。
视差调整单元320可利用从ROI配置单元310提供的输入的3D图像的视差以及视觉注意图来产生重新调整的视差。
图7示出根据实施例的用于描述图像处理设备的3D图像产生器330的操作的示图。
利用视觉注意图，具有最高感兴趣级别的视差（例如，将被注意的视差（即，最优化用户的疲劳程度的视差））可被确定为代表值。
当在上述处理期间，当输入由ROI配置单元310配置的视觉注意图和基于预定阈值划分为N个的区域视差时，可验证在视觉注意图中具有最大视觉注意值的像素的分布。可确定与所述像素相应的区域并可获取与确定的区域的深度值相应的视差的平均值或代表值区域。
可采用设置将被重新调整的代表值的多个方法。可通过示例性地设置平均值来设置代表值。
可如上所述确定视差代表值α，并可在移动深度时利用视差代表值α。例如，确定的视差代表值α可被应用为将与ROI或非感兴趣区域相应的每个像素的视差信息和视差代表值α之间的差改变为相应像素的视差值。通过针对每个像素应用计算的最终视差值，可在显示器上布置ROI，并除ROI以外的其他像素可基于ROI的视差代表值a而移动。这里描述的视差可以是指示感知深度的多个术语中的一个，因此可利用除了视差之外的指示感知深度的其他术语。
图8示出根据示例实施例的描述包括在图像处理设备中的3D效果增强单元的操作的示图。
当重新调整视差时，3D图像产生器可利用重新调整的视差再次渲染具有与输入的图像不同的视差的3D图像。基于深度图像的渲染（DIBR）方法可被用于上述操作。DIBR方法可利用参考图像和包括与参考图像的每个像素相应的距离信息的深度图像，渲染在预定视点上的图像。另外，利用DIBR技术可产生在预定视点上的场景。可通常使用下面的等式1。
[等式1]
uv＝ur+β·d
在等式1中，uv表示期望获取的虚拟视点，ur表示输入，d表示视差，β表示当设置期望的视点时可改变的预定数量。例如，当利用单个参考图像和深度图像的深度信息，在3D空间中再次投射图像时，与原始的颜色图像相比，左图像可将图像内的物体移动到右侧，右图像可将物体移动到左侧。
图9A、图9B、图10A和图10B示出根据示例实施例的用于描述通过图像处理设备的3D图像产生器来调整视差之前和之后的差别的示图。
图9A、图9B、图10A和图10B示出将被显示在3D图像中的物体和显示屏幕的俯视图。
物体运动可被确定为与感知深度成比例。当利用上面的方法移动物体时，如图9A、图9B、图10A和图10B显示，与深度相应的视差平移之前的感知深度可与视差平移之后的感知深度相同。
例如，尽管物体910、920和930的深度值可从图9A改变为图9B，以最小化视觉疲劳，但是可维持物体910、920和930中的相对3D效果。
由于关于人类的视觉特征，3D效果可被增强到大于或等于3D效果被维持的程度。
再次参照图10A和图10B,可减少视差，从而具有高视觉注意的代表物体1010可接近屏幕1001。然而，与其他物体1020和1030的相对3D效果差可被维持或增强。
上述描述可被应用到在图9B中物体910、920和930被移动到更接近屏幕901的情况。
图11示出根据示例实施例的用于描述利用图像处理方法产生正感知深度3D图像的处理的示图。
图11示出输入的3D图像被移动到位于正感知深度上（例如，在显示器的后部上）。
在图11中，当输入的3D图像1110或1120按视差代表值α被移动时，可通过在左图像1121和右图像1111中的每一个中，将输入的3D图像切去α/2，并通过修补切去了α/2的空间，来执行孔洞填充。
图12示出根据示例性实施例的用于描述利用图像处理方法产生负感知深度3D图像的处理的示图。
图12示出作为负感知深度示例，其中，输入的图像1210或1220被移动到看上去从显示器的前方突出。类似于正感知深度的示例，图12示出这样的示例：在左图像1221和右图像1211的每一个中，将输入的3D图像切去正α/2，并通过执行与切去的a/2相应的修复操作（诸如修补）。
参照图7，可理解具体的处理。图7示出利用变形和修补的处理来获取输出的颜色和输出的视差值。
即使所有上述示例假设最终的3D图像被输出为立体图像，本领域的普通技术人员也应该理解上述描述还可被应用到多视点图像。
因此，即使在渲染中可存在微小的差异，也可利用与用于立体图像的方法相同的方法，重新配置各种视点图像。
当执行将被产生为图7和图8中的新输出的感知深度增加的图像处理时，可通过应用用于维持3D图像中的感知深度并产生最优化观看者体验的疲劳级别的图像的纹理相关技术，来产生更逼真的图像。
例如，如图8中所示，例如，全局亮度映射可被应用到输入的图像的输入颜色，以改变对比度。在通过全局亮度映射增加输入的图像的对比度之后，可通过验证ROI的特征，分析纹理类型。通过应用基于分析的纹理类型或分类的预定亮度映射方法，可利用适用于需要视觉注意的区域的特征的纹理处理方法，提供具有更大感知深度的图像。另外，可采用许多增强方法，这里公开纹理增强方法作为一个示例。
与利用空间透视增加感知深度的传统方法相比，前面所述的示例实施例可非常有效地减少视觉疲劳。利用空间透视提高感知深度的方法可相应于利用输入的3D图像的深度信息，与在近侧区域的情况下增加对比度、在远侧区域的情况下减小对比度的方法。因此，可增加感知深度（例如，3D效果），然而与这里公开的示例实施例相比，可能不能充分地减少视觉疲劳。
另外，在没有考虑用户的视觉特征，而仅利用可视距离和深度信息获取ROI，并基于从ROI的距离统一调整近/远的区域的感知深度的传统方法的情况下，视觉疲劳可全局减小到一定程度，然而可能无法获得感知深度，这与3D显示器的预期目的和作用相反。
然而，根据这里公开的示例实施例，人类视觉系统特征可被用于增加感知深度并减少疲劳。在人类视觉感知特征中可有效选择与视觉注意相应的ROI，并且可重放图像，从而ROI可具有最小化视觉疲劳的视差级别。因此可减少视觉疲劳并增加感知深度。
根据上述的示例实施例的图像处理设备和方法可使用一个或多个处理器，所述一个或多个处理器包括微处理器、中央处理单元（CPU）、数字信号处理器（DSP）或专用集成电路（ASIC）,以及这些和其他处理装置的一部分或组合。
这里使用的术语“模块”和“单元”可表示但不限于执行特定任务的软件或硬件组件或装置，诸如现场可编程门阵列（FPGA）或专用集成电路（ASIC）。模块或单元可被配置为驻留在可寻址存储介质上或被配置为在一个或者多个处理器上执行。因此，作为示例，模块或单元可包括组件（诸如软件组件、面向对象的软件组件、类组件和任务组件的组件）、进程、函数、属性、程序、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。可将在组件和模块/单元中提供的功能组合为较少的组件和模块/单元，或可被进一步分成更多的组件和模块。
根据上述实施例的图像处理方法可被记录在包括程序指令的非瞬时性计算机可读介质中，以执行通过计算机来实现的各种操作。所述介质还可单独包括程序指令、数据文件、数据结构等，或者还可包括程序指令、数据文件、数据结构等的组合。非瞬时性计算机可读介质的示例包括磁介质（例如，硬盘、软盘、磁带）、光学介质（例如，CD ROM盘、DVD）、磁光介质（例如，光盘）、被专门构造为存储和执行程序指令的硬件装置（例如，只读存储器（ROM）、随机存取存储器（RAM）、闪存等）。程序指令的示例包括机器代码（例如，由编译器所产生的）和包含可由计算机使用解释器执行的高级代码的文件。为了执行上述实施例的操作，描述的硬件装置可被配置为用作一个或多个软件模块，反之亦然。
每个流程图说明的方框可代表单元、模块、片断或部分代码，其包括一个或多个执行特定逻辑功能的可执行指令。还应注意，在一些备选的实施方式中，可以以不同的顺序执行方框中提到的功能。例如，根据所涉及的功能，实际上可完全同时执行连续示出的两个方框，或可有时按相反的顺序执行方框。
尽管已示出和描述了示例性实施例，但是本领域的技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些示例性实施例进行改变，其中，本公开的范围由权利要求及其等同物来限定。

Claims (24)

1.一种图像处理设备，包括：
感兴趣区域(ROI)配置单元，产生与输入的三维(3D)图像相应的视觉注意图；
视差调整单元，利用视觉注意图调整包括在输入的3D图像中的视差信息。
2.如权利要求1所述的图像处理设备，其中，ROI配置单元包括：
区域划分器，利用输入的3D图像的视差信息，将包括在输入的3D图像中的深度值分布划分为多个区域；
至少一个区域计算器，计算与所述多个区域中的每个区域相应的视觉注意级别。
3.如权利要求2所述的图像处理设备，其中，至少一个区域计算器根据每个区域的颜色信息、每个区域的视差信息和每个区域的运动信息中的至少一个，计算视觉注意级别。
4.如权利要求2所述的图像处理设备，其中，ROI配置单元还包括：
视觉注意图产生器，通过集成由所述至少一个区域计算器计算的所述多个区域的视觉注意级别，产生视觉注意图。
5.如权利要求2所述的图像处理设备，其中，所述至少一个区域计算器改变输入的3D图像的颜色空间，将输入的3D图像的每个部分分类为具吸引力的颜色和不具吸引力的颜色，并将具吸引力的颜色的视觉注意级别计算为高于不具吸引力的颜色的视觉注意级别。
6.如权利要求5所述的图像处理设备，其中，当输入的3D图像与红、绿、蓝(RGB)颜色空间相关时，颜色空间的改变将颜色空间改变为国际照明委员会色貌模型2002(CIECAM02)颜色空间，并基于颜色值的色相和色度，执行将每个部分分类为具吸引力的颜色和不具吸引力的颜色。
7.如权利要求2所述的图像处理设备，其中，当基于利用输入的3D图像的颜色信息确定的亮度信息，帧之间的亮度差大于或等于预定阈值时，所述至少一个区域计算器将视觉注意级别计算为高于当帧之间的亮度差小于预定的阈值时的视觉注意级别。
8.如权利要求2所述的图像处理设备，其中，
所述至少一个区域计算器将输入的3D图像划分为预定大小的块，
当针对在不同的两个帧内位于相同的位置上的块的像素值的差大于或等于预定阈值时，所述至少一个区域计算器将所述块确定为运动检测块，并将视觉注意级别计算为高于当像素值的差小于预定阈值时的视觉注意级别。
9.如权利要求8所述的图像处理设备，其中，
所述至少一个区域计算器将块分组为多个组，
当单个组内存在预定数量的运动检测块时，所述至少一个区域计算器将单个组内的块的视觉注意级别计算为高于当在单个组内的运动检测块的数量少于预定数量时的视觉注意级别。
10.如权利要求2所述的图像处理设备，其中，当利用输入的3D图像颜色信息确定的亮度值小于预定阈值时，所述至少一个区域计算器将视觉注意级别计算为低于当亮度值等于或大于预定阈值时的视觉注意级别。
11.如权利要求1所述的图像处理设备，还包括：
感知深度增加处理单元，通过应用基于根据计算的视觉注意级别产生的视觉注意图的预定区域的纹理类型的纹理增强方案，增加感知深度。
12.一种图像处理设备，包括：
感兴趣区域(ROI)配置单元，基于输入的三维(3D)图像的颜色值、输入的3D图像的视差值和输入的3D图像的运动检测结果中的至少一个，产生与输入的3D图像相应的视觉注意图；
视差调整单元，利用视觉注意图调整输入的3D图像的视差。
13.一种图像处理方法，包括：
通过图像处理设备的感兴趣区域(ROI)配置单元根据输入的三维(3D)图像产生视觉注意图；
通过图像处理设备的视差调整单元利用视觉注意图调整包括在输入的3D图像中的视差信息。
14.如权利要求13所述的方法，其中，产生的步骤包括：
利用输入的3D图像的视差信息，将包括在输入的3D图像中的深度值分布划分为多个区域；
计算与所述多个区域中的每个区域相应的视觉注意级别。
15.如权利要求14所述的方法，其中，产生的步骤还包括：通过集成通过至少一个区域计算器计算的所述多个区域的视觉注意级别而产生视觉注意图。
16.如权利要求14所述的方法，其中，计算的步骤包括：
改变输入的3D图像的颜色空间；
将输入的3D图像的每个部分分类为具吸引力的颜色和不具吸引力的颜色；
将具吸引力的颜色的视觉注意级别计算为高于不具吸引力的颜色的视觉注意级别。
17.如权利要求16所述的方法，其中，改变输入的3D图像的颜色空间的步骤包括：基于色相信息产生与每个区域相应的颜色直方图。
18.如权利要求17所述的方法，其中，对每个部分进行分类的步骤包括：基于产生的颜色直方图确定代表色相，并利用确定的代表色相将输入的3D图像的每个部分分类为具吸引力的颜色和不具吸引力的颜色。
19.如权利要求14所述的方法，其中，计算的步骤包括：当基于利用输入的3D图像的颜色信息确定的亮度信息，帧之间的亮度差大于或等于当预定阈值时，将视觉注意级别计算为高于当亮度差小于预定阈值时的视觉注意级别。
20.如权利要求14所述的方法，其中，计算的步骤包括：将输入的3D图像划分为预定大小的块，当针对不同的两个帧内位于相同的位置上的块的像素值的差大于或等于预定阈值时，将所述块确定为运动检测块，并将所述块的视觉注意级别计算为高于当像素值的差小于预定阈值时的视觉注意级别。
21.一种非瞬时性计算机可读介质，包括用于指示计算机执行图像处理方法的程序，该方法包括：
通过图像处理设备的感兴趣区域(ROI)配置单元根据输入的三维(3D)图像产生视觉注意图；
通过图像处理设备的视差调整单元利用视觉注意图调整包括在输入的3D图像中的视差信息。
22.一种三维(3D)图像处理方法，包括：
通过将输入的3D图像划分为多个区域而产生视觉注意图，并根据视觉模型分析所述多个区域；
利用视觉注意图来调整输入的3D图像的视差信息。
23.如权利要求22所述的图像处理方法，其中，调整视差信息的步骤还包括：
利用视觉注意图计算与所述多个区域中的每个区域相应的代表视差值；
通过将代表视差值应用到每个像素来计算区域中的每个像素的最终视差值。
24.如权利要求23所述的图像处理方法，该方法还包括：
基于计算的代表视差值，重新定位输入的3D图像；
基于重新定位的输入的3D图像执行孔洞填充和图像修补。
CN201210423115.2A 2011-11-01 2012-10-30 图像处理设备和方法 Active CN103096106B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0112603 2011-11-01
KR1020110112603A KR101960844B1 (ko) 2011-11-01 2011-11-01 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103096106A true CN103096106A (zh) 2013-05-08
CN103096106B CN103096106B (zh) 2017-04-26

Family

ID=47296945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210423115.2A Active CN103096106B (zh) 2011-11-01 2012-10-30 图像处理设备和方法

Country Status (4)

Country Link
US (2) US9064319B2 (zh)
EP (1) EP2590416B1 (zh)
KR (1) KR101960844B1 (zh)
CN (1) CN103096106B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754322A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN106502501A (zh) * 2016-10-31 2017-03-15 宁波视睿迪光电有限公司 指标定位方法及装置
CN109542209A (zh) * 2017-08-04 2019-03-29 北京灵境世界科技有限公司 一种适应人眼汇聚的方法
CN110088799A (zh) * 2016-11-09 2019-08-02 三星电子株式会社 图像处理设备和图像处理方法
CN111095350A (zh) * 2017-09-01 2020-05-01 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9118911B2 (en) * 2013-02-07 2015-08-25 Delphi Technologies, Inc. Variable disparity three-dimensional (3D) display system and method of operating the same
KR101856568B1 (ko) 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
KR101537174B1 (ko) * 2013-12-17 2015-07-15 가톨릭대학교 산학협력단 스테레오스코픽 영상에서의 주요 객체 검출 방법
JP2015154101A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 画像処理方法、画像処理装置及び電子機器
TWI566576B (zh) * 2014-06-03 2017-01-11 宏碁股份有限公司 立體影像合成方法及裝置
CN105323573B (zh) * 2014-07-16 2019-02-05 北京三星通信技术研究有限公司 三维图像显示装置和方法
KR102224718B1 (ko) * 2014-08-06 2021-03-08 삼성전자주식회사 홀로그램 생성 방법 및 장치
KR101649185B1 (ko) * 2015-02-27 2016-08-18 서울대학교 산학협력단 시각 주의도의 산출 방법 및 장치
US20170054897A1 (en) * 2015-08-21 2017-02-23 Samsung Electronics Co., Ltd. Method of automatically focusing on region of interest by an electronic device
ES2614982B1 (es) * 2015-12-02 2017-12-14 Industries Fac, S.L. Método para la elaboración de un mapa en tres dimensiones de un alimento de configuración irregular en relieve
KR20180027887A (ko) 2016-09-07 2018-03-15 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 트레이닝 방법
JP6666892B2 (ja) * 2017-11-16 2020-03-18 株式会社Ｓｕｂａｒｕ 運転支援装置及び運転支援方法
WO2019109988A1 (en) * 2017-12-08 2019-06-13 Shanghaitech University Face region detection based light field video compression
KR102612925B1 (ko) * 2018-10-18 2023-12-13 주식회사 에이치엘클레무브 차량 긴급 제어 장치
KR20210071410A (ko) 2019-12-06 2021-06-16 삼성전자주식회사 센서 특화 이미지 인식 장치 및 방법
US11967096B2 (en) * 2021-03-23 2024-04-23 Mediatek Inc. Methods and apparatuses of depth estimation from focus information
JPWO2022219877A1 (zh) * 2021-04-12 2022-10-20

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2175664A1 (en) * 2008-10-09 2010-04-14 Samsung Electronics Co., Ltd. Apparatus, method, and medium of converting 2D image to 3D image based on visual attention
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法
CN102187681A (zh) * 2009-08-31 2011-09-14 索尼公司 立体图像显示系统、视差转换装置、视差转换方法及程序
US20110249886A1 (en) * 2010-04-12 2011-10-13 Samsung Electronics Co., Ltd. Image converting device and three-dimensional image display device including the same
CN102227753A (zh) * 2008-10-03 2011-10-26 3M创新有限公司 用于评估稳健性的系统和方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004004532A (ja) 2002-03-25 2004-01-08 Sharp Corp 映像表示装置
KR100439341B1 (ko) * 2002-08-27 2004-07-07 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
CA2449982A1 (en) 2003-07-16 2005-01-16 Aurora Digital Advertising Inc. Three dimensional display method, system and apparatus
GB0329312D0 (en) 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
KR100728110B1 (ko) 2004-01-29 2007-06-13 삼성에스디아이 주식회사 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
KR101457893B1 (ko) 2007-10-10 2014-11-04 삼성전자주식회사 3차원 영상 시청시 발생하는 피로도 감소 방법 및 장치,그리고 저피로도 3차원 영상 데이터 스트림 생성 방법 및장치
US8442328B2 (en) * 2008-10-03 2013-05-14 3M Innovative Properties Company Systems and methods for evaluating robustness of saliency predictions of regions in a scene
US8774498B2 (en) * 2009-01-28 2014-07-08 Xerox Corporation Modeling images as sets of weighted features
KR101613133B1 (ko) 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
CN101945295B (zh) 2009-07-06 2014-12-24 三星电子株式会社 生成深度图的方法和设备
KR101699920B1 (ko) 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
KR101636537B1 (ko) 2009-11-12 2016-07-06 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
KR101286651B1 (ko) 2009-12-21 2013-07-22 한국전자통신연구원 영상 보정 장치 및 이를 이용한 영상 보정 방법
US8213708B2 (en) 2010-03-22 2012-07-03 Eastman Kodak Company Adjusting perspective for objects in stereoscopic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102227753A (zh) * 2008-10-03 2011-10-26 3M创新有限公司 用于评估稳健性的系统和方法
EP2175664A1 (en) * 2008-10-09 2010-04-14 Samsung Electronics Co., Ltd. Apparatus, method, and medium of converting 2D image to 3D image based on visual attention
CN102187681A (zh) * 2009-08-31 2011-09-14 索尼公司 立体图像显示系统、视差转换装置、视差转换方法及程序
US20110249886A1 (en) * 2010-04-12 2011-10-13 Samsung Electronics Co., Ltd. Image converting device and three-dimensional image display device including the same
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754322A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
WO2015096461A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107155106A (zh) * 2013-12-27 2017-09-12 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN104754322B (zh) * 2013-12-27 2018-01-23 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN107155106B (zh) * 2013-12-27 2019-03-01 华为技术有限公司 一种立体视频舒适度评价方法及装置
CN106502501A (zh) * 2016-10-31 2017-03-15 宁波视睿迪光电有限公司 指标定位方法及装置
CN110088799A (zh) * 2016-11-09 2019-08-02 三星电子株式会社 图像处理设备和图像处理方法
CN110088799B (zh) * 2016-11-09 2023-10-27 三星电子株式会社 图像处理设备和图像处理方法
CN109542209A (zh) * 2017-08-04 2019-03-29 北京灵境世界科技有限公司 一种适应人眼汇聚的方法
CN111095350A (zh) * 2017-09-01 2020-05-01 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质
CN111095350B (zh) * 2017-09-01 2023-12-19 三星电子株式会社 图像处理设备、用于处理图像的方法和计算机可读记录介质

Also Published As

Publication number Publication date
KR101960844B1 (ko) 2019-03-22
EP2590416B1 (en) 2017-08-02
KR20130048299A (ko) 2013-05-10
CN103096106B (zh) 2017-04-26
US20130106844A1 (en) 2013-05-02
US20150288946A1 (en) 2015-10-08
EP2590416A2 (en) 2013-05-08
US9445075B2 (en) 2016-09-13
US9064319B2 (en) 2015-06-23
EP2590416A3 (en) 2013-06-12

Similar Documents

Publication Publication Date Title
CN103096106A (zh) 图像处理设备和方法
US8953874B2 (en) Conversion of monoscopic visual content using image-depth database
US9445072B2 (en) Synthesizing views based on image domain warping
EP2774124B1 (en) Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
KR101690297B1 (ko) 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치
US20140111627A1 (en) Multi-viewpoint image generation device and multi-viewpoint image generation method
US20140198101A1 (en) 3d-animation effect generation method and system
EP2323416A2 (en) Stereoscopic editing for video production, post-production and display adaptation
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
CN104756491A (zh) 基于组合的深度提示从单视场图像生成深度图
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
US10277877B2 (en) 3D system including a neural network
JP2012119783A (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
KR101121979B1 (ko) 입체 영상 변환 방법 및 입체 영상 변환 장치
KR101754976B1 (ko) 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치
Cheng et al. 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System
US20140205023A1 (en) Auxiliary Information Map Upsampling
Tasli et al. Interactive object segmentation for mono and stereo applications: Geodesic prior induced graph cut energy minimization
Ramirez et al. An effective inpainting technique for hole filling in DIBR synthesized images
Jhou et al. Seam carving for color-plus-depth 3D image
Tran et al. On consistent inter-view synthesis for autostereoscopic displays
KR101978176B1 (ko) 영상 처리 장치 및 방법
US20170142395A1 (en) 3d system including pop out adjustment
US10148932B2 (en) 3D system including object separation
Ryu et al. 47‐2: Monocular Depth Perception Enhancement Based on Joint Shading/Contrast Model and Motion Parallax (JSM)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant