CN107767350B - 视频图像还原方法及装置 - Google Patents

视频图像还原方法及装置 Download PDF

Info

Publication number
CN107767350B
CN107767350B CN201710966492.3A CN201710966492A CN107767350B CN 107767350 B CN107767350 B CN 107767350B CN 201710966492 A CN201710966492 A CN 201710966492A CN 107767350 B CN107767350 B CN 107767350B
Authority
CN
China
Prior art keywords
image
video image
value
similarity
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710966492.3A
Other languages
English (en)
Other versions
CN107767350A (zh
Inventor
赵亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Medical Equipment Co Ltd
Original Assignee
Qingdao Hisense Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Medical Equipment Co Ltd filed Critical Qingdao Hisense Medical Equipment Co Ltd
Priority to CN201710966492.3A priority Critical patent/CN107767350B/zh
Publication of CN107767350A publication Critical patent/CN107767350A/zh
Application granted granted Critical
Publication of CN107767350B publication Critical patent/CN107767350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及了一种视频图像还原方法及装置，所述视频图像还原方法包括：对源视频图像、待还原视频图像进行单一颜色通道分量提取，得到第一颜色分量图和第二颜色分量图，所述待还原视频图像是由所述源视频图像还原得到的；根据所述第一颜色分量图和第二颜色分量图进行结构相似度运算，得到颜色分量结构相似度；将所述颜色分量结构相似度与图像结构相似度进行比对，所述图像结构相似度被用于指示所述待还原视频图像对所述源视频图像的还原度；根据比对结果对所述待还原视频图像进行图像校正。采用本公开能够有效地提高对源视频图像的还原度。

Description

视频图像还原方法及装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种视频图像还原方法及装置。
背景技术
目前，在显示屏幕中对源视频图像进行投射预览时，通常会经过采集卡对源视频图像的图像采集、色彩空间的转换，有些应用场景中还需要对源视频图像进行编解码，例如示教直播场景，这些图像处理过程都会造成用户所观看的视频图像与源视频图像存在色彩、亮度、对比度、结构度等的偏差。
现有技术中提出了一种SSIM(Structural Similarity，结构相似性)算法，通过该SSIM算法可以对图像处理后的视频图像和源视频图像进行全面的评价，以此得到图像处理后的视频图像对源视频图像的还原度。
然而，该SSIM算法中的还原度只能说明图像处理后的视频图像与源视频图像之间所存在的偏差大小，并未提供如何使得图像处理后的视频图像与源视频图像达到高度相似。
由上可知，现有技术的视频图像还原方法尚无法有效地提高对源视频图像的还原度。
发明内容
为了解决上述技术问题，本公开的特提供了一种视频图像还原方法及装置。
其中，本公开所采用的技术方案为：
一种视频图像还原方法，包括：对源视频图像、待还原视频图像进行单一颜色通道分量提取，得到第一颜色分量图和第二颜色分量图，所述待还原视频图像是由所述源视频图像还原得到的；根据所述第一颜色分量图和第二颜色分量图进行结构相似度运算，得到颜色分量结构相似度；将所述颜色分量结构相似度与图像结构相似度进行比对，所述图像结构相似度被用于指示所述待还原视频图像对所述源视频图像的还原度；根据比对结果对所述待还原视频图像进行图像校正。
一种视频图像还原装置，包括：颜色分量提取模块，用于对源视频图像、待还原视频图像进行单一颜色通道分量提取，得到第一颜色分量图和第二颜色分量图，所述待还原视频图像是由所述源视频图像还原得到的；第一结构相似度运算模块，用于根据所述第一颜色分量图和第二颜色分量图进行结构相似度运算，得到颜色分量结构相似度；比对模块，用于将所述颜色分量结构相似度与图像结构相似度进行比对，所述图像结构相似度被用于指示所述待还原视频图像对所述源视频图像的还原度；图像矫正模块，用于根据比对结果对所述待还原视频图像进行图像校正。
在本公开所采用的上述技术方案中，通过对源视频图像、待还原视频图像分别进行单一颜色通道分量提取，以根据提取得到的第一颜色分量图和第二颜色分量图进行结构相似度运算，得到颜色分量结构相似度，进而根据颜色分量结构相似度与图像结构相似度的比对结果对待还原视频图像进行图像矫正，由此，将比对结果作为图像矫正的参考，使得经过图像矫正的待还原视频图像与源视频图像达到高度相似，以此有效地提高了待还原视频图像对源视频图像的还原度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并于说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种显示设备的框图。
图2是根据一示例性实施例示出的一种视频图像还原方法的流程图。
图3是根据一示例性实施例示出的另一种视频图像还原方法的流程图。
图4是图2、图3对应实施例中结构相似度运算步骤在一个实施例的流程图。
图5是图4对应实施例中结构相似度运算步骤的实现框图；
图6是图4对应实施例中将亮度估计值、对比度估计值和结构度估计值组合得到输出结构相似度步骤在一个实施例的流程图。
图7是图4对应实施例中根据第一输入图像、第二输入图像中像素点的灰度值进行亮度、对比度、结构度的对比估计，分别得到亮度估计值、对比度估计值和结构度估计值步骤在一个实施例的流程图。
图8是根据一示例性实施例示出的一种视频图像还原装置的框图。
图9是根据一示例性实施例示出的另一种视频图像还原装置的框图。
图10是图8、图9对应实施例中第一、第二结构相似度运算模块在一个实施例的框图。
图11是图10对应实施例中相似度获取单元在一个实施例的框图。
图12是图10对应实施例中对比估计单元在一个实施例的框图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述，这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
如前所述，现有技术中尚存在对源视频图像的还原度不高的局限性，这就导致用户所观看的视频图像与源视频图像存在色彩、亮度、对比度、结构度等的偏差。
举例来说，对于手术视频而言，无论是在手术室内进行视频图像的预览、展示、手术辅助，还是在场外进行示教、指导等，都要求对手术腔镜中传递出的视频图像进行高度的还原，否则将导致观看视频图像的医生对病人状态的错误判断，有可能造成医疗方面的事故。尤其在手术过程中，手术医生对红色和绿色的还原度要求相当高，以便于能够准确地反映出血管状况、胆汁、肝脏等器官颜色，如果存在偏差，容易引起错误的病变判断，进而导致手术过程中不必要的错误操作。
因此，为了提高对源视频图像的还原度，特提出了一种视频图像还原方法，与之相应的，视频图像还原装置被存储在配置有显示屏幕的显示设备中。
图1是根据一示例性实施例示出的一种显示设备的框图。该硬件结构只是一个适用本公开的示例，不能认为是对本公开的使用范围的任何限制，也不能解释为本公开需要依赖于该显示设备100。
该显示设备100可因配置或者性能的不同而产生较大的差异，如图1所示，显示设备100包括：电源110、接口130、至少一存储介质150、以及至少一中央处理器(CPU，CentralProcessing Units)170。
其中，电源110用于为显示设备100上的各硬件设备提供工作电压。
接口130包括至少一有线或无线网络接口131、至少一串并转换接口133、至少一输入输出接口135以及至少一USB接口137等，用于与外部设备通信。
存储介质150作为资源存储的载体，可以是随机存储介质、磁盘或者光盘等，其上所存储的资源包括操作系统151、应用程序153及数据155等，存储方式可以是短暂存储或者永久存储。其中，操作系统151用于管理与控制显示设备100上的各硬件设备以及应用程序153，以实现中央处理器170对海量数据155的计算与处理，其可以是Windows ServerTM、MacOS XTM、UnixTM、LinuxTM、FreeBSDTM等。应用程序153是基于操作系统151之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图1中未示出)，每个模块都可以分别包含有对显示设备100的一系列操作指令。数据155可以是存储于磁盘中的照片、图片等等。
中央处理器170可以包括一个或多个以上的处理器，并设置为通过总线与存储介质150通信，用于运算与处理存储介质150中的海量数据155。
如上面所详细描述的，适用本公开的显示设备100将通过中央处理器170读取存储介质150中存储的一系列操作指令的形式来进行视频图像还原，以此提高对源视频图像的还原度，进而使得待还原视频图像与源视频图像达到高度相似。
此外，通过硬件电路或者硬件电路结合软件指令也能同样实现本公开，因此，实现本公开并不限于任何特定硬件电路、软件以及两者的组合。
请参阅图2，在一示例性实施例中，一种视频图像还原方法适用于图1中示出的显示设备100，该种视频图像还原方法可以由显示设备100执行，可以包括以下步骤：
步骤210，对源视频图像、待还原视频图像进行单一颜色通道分量提取，得到第一颜色分量图和第二颜色分量图。
其中，待还原视频图像是由源视频图像还原得到的。
可以理解，无论是待还原视频图像还是源视频图像，在显示设备配置的显示屏幕中显示时，其显示出的所有颜色都是由红、绿、蓝三种颜色按照不同比例混合而成的。换而言之，任意一种视频图像是通过红、绿、蓝三个颜色通道的变化以及三者相互之间进行叠加所得出的各种颜色进行显示的。
由此，本实施例中，对待还原视频图像的还原将基于单一颜色通道分量进行，即根据该单一颜色通道分量对待还原视频图像进行亮度、对比度等的调整，进而使得待还原视频图像和源视频图像对该单一颜色通道分量的显示差别最小，以此实现待还原视频图像对源视频图像的高度还原。
应当说明的是，单一颜色通道分量即是指红色、绿色或者蓝色，相应地，通过单一颜色通道分量进行显示的视频图像被定义为颜色分量图。
具体而言，第一颜色分量图是针对源视频图像进行单一颜色通道分量提取得到的，而第二颜色分量图则是针对待还原视频图像进行单一颜色通道分量提取得到的。
进一步地，在得到颜色分量图之后，还可以对颜色分量图进行滤波处理，以此提高颜色分量图的抗噪性能，有利于提高对源视频图像的还原质量。例如，滤波处理包括使颜色分量图经过高斯低通滤波器等。
应当说明的是，视频图像还原处理，是以帧为单位进行的，即针对每一帧视频图像进行还原，由此，源视频图像既可以是指包含有多帧图像的动态视频，也可以是指仅包含一帧图像的静态图片，相应地，待还原视频图像可以是一动态视频，或者是一静态图片，在此不进行限定。
步骤230，根据第一颜色分量图和第二颜色分量图进行结构相似度运算，得到颜色分量结构相似度。
结构相似度，被用于指示两个视频图像的相似度，其中，两个视频图像分别为未经图像处理的无失真视频图像、以及经图像处理的待还原视频图像。
本实施例中，第一颜色分量图来源于源视频图像，即作为未经图像处理的无失真视频图像，而第二颜色分量图来源于待还原视频图像，则作为经图像处理的待还原视频图像。
由此，对于给定的两个视频图像，即第一颜色分量图和第二颜色分量图，利用SSIM算法进行结构相似度运算，便得到颜色分量结构相似度，以此来指示第一颜色分量图和第二颜色分量图的相似度。
进一步地，该颜色分量结构相似度包括亮度估计值、对比度估计值和结构度估计值。其中，亮度估计值反映了视频图像中的亮度属性，对比度估计值反映了视频图像中的对比度属性，结构度估计值反映了视频图像中的结构度属性。
该颜色分量结构相似度表示为:
SSIM0(x0,y0)＝{l0(x0,y0),c0(x0,y0),s0(x0,y0)}。
其中，x0表示第一颜色分量图，y0表示第二颜色分量图，SSIM0表示关于第一颜色分量图和第二颜色分量图的颜色分量结构相似度。l0表示关于第一颜色分量图和第二颜色分量图的亮度估计值，c0表示关于第一颜色分量图和第二颜色分量图的对比度估计值，s0表示关于第一颜色分量图和第二颜色分量图的结构度估计值。
步骤250，将颜色分量结构相似度与图像结构相似度进行比对。
其中，图像结构相似度被用于指示待还原视频图像对源视频图像的还原度，亦即指示了待还原视频图像与源视频图像的相似度。
同理于颜色分量结构相似度，图像结构相似度也进一步地包括亮度估计值、对比度估计值和结构度估计值。
由此，比对颜色分量结构相似度与图像结构相似度，实质是将二者包括的亮度估计值、对比度估计值和结构度估计值分别比较，以此得到比对结果。相应地，该比对结果包括亮度比对差值、对比度比对差值和结构度比对差值。
其中，亮度比对差值反映了颜色分量图的亮度对图像结构相似度的影响，亮度比对差值越小，颜色分量图的亮度对图像结构相似度的影响越大。例如，图像结构相似度为1时，待还原视频图像与源视频图像完全一致，即待还原视频图像对源视频图像的还原度最高，如果亮度比对差值远小于1，则表示该颜色分量图的亮度对图像结构相似度的影响越大。
同理，对比度比对差值反映了颜色分量图的对比度对图像结构相似度的影响，结构度比对差值反映了颜色分量图的结构度对图像结构相似度的影响。
步骤270，根据比对结果对待还原视频图像进行图像校正。
图像校正即是按照比对结果的指示调整显示屏幕的显示参数和/或视频播放参数，以使待还原视频图像按照调整后的显示参数和/或视频播放参数展示于显示屏幕中，进而使得待还原视频图像与源视频图像达到高度相似。
举例来说，如果比对结果指示亮度比对差值为0.3，对比度比对差值为0.7，结构度比对差值为0.9，亮度比对差值最小，则表示颜色分量图的亮度对图像结构相似度的影响最大，此时，需要基于颜色分量图的亮度方向进行图像校正，即调整显示屏幕关于颜色分量图的亮度方向的显示参数，以此提升待还原视频图像对源视频图像的还原度。
当然，在其他实施例中，比对结果也可以仅针对颜色分量图的亮度、对比度进行，即比对结果所包含的差值可以是亮度比对差值、对比度比对差值、结构度比对差值的任意组合，在此并不加以限定。
值得一提的是，针对三种颜色通道分量，图像校正可以同时进行，例如，相较于红色分量图、蓝色分量图，绿色分量图的对比度对图像结构相似度的影响最大，则针对绿色分量图的亮度方向对待还原视频图像进行图像校正，图像校正还可以依次进行，例如，先针对红色分量图对待还原视频图像进行图像校正，然后是绿色分量图，最后才是蓝色分量图，直至待还原视频图像对源视频图像的还原度最高，在此不进行限定。
通过上述过程，以比对结果作为还原度分析的理论依据，充分地保障了对源视频图像还原的准确性，即根据比对结果的指示从各颜色通道分量上对待还原视频图像进行图像校正，以此达到待还原视频图像和源视频图像的高度相似，甚至达到显示时的完全一致，以此有效地提高了对源视频图像的还原度。
也就是说，在上述实现过程中，根据比对结果对待还原视频图像进行图像校正，对于源视频图像的还原给予了明确的指导，使得手术过程中传递出的手术视频的还原度有效提高，以此达到对于手术而言的最佳效果，充分保障了手术医生对于病人状态的准确判断，进而保证了手术医生在手术过程中操作的正确性。
请参阅图3，在一示例性实施例中，如上所述的方法还可以包括以下步骤：
步骤310，根据源视频图像和图像校正处理后的待还原视频图像进行结构相似度运算，得到更新的图像结构相似度。
本实施例中，源视频图像即作为未经过图像处理的无失真视频图像，而图像校正处理后的待还原视频图像则作为经过图像处理的待还原视频图像。
由此，对于给定的两个视频图像，即源视频图像和图像校正处理后的待还原视频图像，利用SSIM算法进行结构相似度运算，便得到图像结构相似度，以此来指示源视频图像和图像校正处理后的待还原视频图像的相似度。
进一步地，图像结构相似度包括亮度估计值、对比度估计值和结构度估计值。其中，亮度估计值反映了视频图像中的亮度属性，对比度估计值反映了视频图像中的对比度属性，结构度估计值反映了视频图像中的结构度属性。
该图像结构相似度表示为：
SSIM1(x1,y1)＝{l1(x1,y1),c1(x1,y1),s1(x1,y1)}。
其中，x1表示源视频图像，y1表示待还原视频图像，SSIM1表示关于源视频图像和待还原视频图像的颜色分量结构相似度。l1表示关于源视频图像和待还原视频图像的亮度估计值，c1表示关于源视频图像和待还原视频图像的对比度估计值，s1表示关于源视频图像和待还原视频图像的结构度估计值。
步骤330，当更新的图像结构相似度未超过还原度阈值时，对图像校正处理后的待还原视频图像进行图像重新校正。
还原度阈值，是预先设定的反映了用户实际需求的还原度，可以根据用户实际需求灵活地调整。例如，还原度阈值为0.9。
相应地，图像结构相似度的范围被设定在-1到1，当图像结构相似度为1时，待还原视频图像与源视频图像完全一致，即，图像结构相似度越接近1时，待还原视频图像与源视频图像越相似。
进一步地，图像结构相似度按照下述计算公式(1)进行计算：
Figure BDA0001436523510000081
其中，x1表示源视频图像，y1表示待还原视频图像，SSIM1表示关于源视频图像和待还原视频图像的颜色分量结构相似度。l1表示关于源视频图像和待还原视频图像的亮度估计值，c1表示关于源视频图像和待还原视频图像的对比度估计值，s1表示关于源视频图像和待还原视频图像的结构度估计值。α＝β＝γ＝1，并可根据实际应用场景灵活设定。
基于此，当图像结构相似度大于还原度阈值时，表示待还原视频图像对源视频图像的还原效果很好，则停止对待还原视频图像的图像校正，此时，待还原视频图像对源视频图像的还原度最高。
反之，当图像结构相似度未超过还原度阈值时，表示待还原视频图像对源视频图像的还原度还较低，则返回步骤210，继续对待还原视频图像进行图像校正，直至图像结构相似度满足还原度阈值的要求，以此达到待还原视频图像对源视频图像的高度相似。
在上述实施例的配合下，实现了待还原视频图像的图像校正被重复执行，直至图像结构相似度满足还原度阈值的要求，使得待还原视频图像对源视频图像的还原度高，进一步有效地提高了对源视频图像的还原度。
请参阅图4，在一示例性实施例中，步骤230或者步骤310中的结构相似度运算可以包括以下步骤：
步骤231，获取第一输入图像、第二输入图像中像素点的灰度值。
其中，第一输入图像为第一颜色分量图或者源视频图像，第二输入图像为第二颜色分量图或者待还原视频图像。
应当理解，输入图像是由扫描仪、摄像机等输入设备捕捉实际的画面而产生的，即输入图像是由像素点阵构成的。
由此，本实施例中，将基于像素点的灰度值进行结构相似度运算。
首先，将按照预设采样间隔对第一、第二输入图像进行像素点采样，以便于后续提高灰度值计算过程的计算效率。
可以理解，若采样的像素点过多，则计算量偏大，若采样的像素点过少，可能导致计算结果存在较大的误差。为此，按照预设采样间隔(例如采样间隔为25个像素点)选取一个像素点进行灰度值计算，以此缩短灰度值计算的计算过程。
其次，根据采样得到的像素点进行灰度值计算。
灰度值Gray的计算过程实质是：依据彩色像素点与灰度值的加权转换公式Gray＝R×0.3+G×0.59+B×0.11，对彩色像素点的RGB值进行灰度值的转换过程。其中，每个像素点的颜色均是由红、绿、蓝三种颜色按照不同比例混合而成的。
在分析得到输入图像中各像素点的RGB值，即可利用上述加权转换公式将其转换为对应的灰度值。
需要说明的是，彩色像素点与灰度值的转换方法还可以有其他形式的，这取决于不同的应用领域。而同一种加权转换公式除了上述的浮点形式的计算公式之外、还可以是整数形式的计算公式、移位形式的计算公式、平均值形式的计算公式、仅取绿色形式的计算公式中的任意一种，本实施例中并不以此为限。
步骤233，根据第一输入图像、第二输入图像中像素点的灰度值进行亮度、对比度、结构度的对比估计，分别得到亮度估计值、对比度估计值和结构度估计值。
本实施例中，用第一、第二输入图像中像素点的灰度值的平均值作为亮度的对比估计，用第一、第二输入图像中像素点的灰度值的方差作为对比度的对比估计，用第一、第二输入图像中像素点的灰度值的协方差作为结构度的对比估计。
具体而言，亮度估计值按照如下计算公式(2)、(3)进行计算：
Figure BDA0001436523510000101
Figure BDA0001436523510000102
其中，xi表示第一输入图像中第i个像素点的灰度值，N表示第一输入图像中像素点的数量，ux表示第一输入图像中像素点的灰度值的平均值，同理，uy表示第二输入图像中像素点的灰度值的平均值，l(x,y)表示关于第一、第二输入图像的亮度估计值。
常数C1是为了避免
Figure BDA0001436523510000103
接近0而导致的不稳定，其中C1＝(k1×L)2，L表示像素点灰度值的动态范围，k1＝0.01，并可根据实际应用场景进行灵活地设定。
对比度估计值按照如下计算公式(4)进行计算：
Figure BDA0001436523510000104
其中，σx表示第一输入图像中像素点的灰度值的标准差，
Figure BDA0001436523510000111
表示第一输入图像中像素点的灰度值的方差，同理，σy表示第二输入图像中像素点的灰度值的标准差，
Figure BDA0001436523510000112
表示第二输入图像中像素点的灰度值的方差，c(x,y)表示关于第一、第二输入图像的对比度估计值。
常数C2是为了避免
Figure BDA0001436523510000113
接近0而导致的不稳定，其中C2＝(k2×L)2，L表示像素点灰度值的动态范围，k2＝0.03，并可根据实际应用场景进行灵活地设定。
结构度估计值按照如下计算公式(5)、(6)进行计算：
Figure BDA0001436523510000114
Figure BDA0001436523510000115
其中，ux表示第一输入图像中像素点的灰度值的平均值，σx表示第一输入图像中像素点的灰度值的标准差，即xi-μx，同理，uy表示第二输入图像中像素点的灰度值的平均值，σy表示第二输入图像中像素点的灰度值的标准差，即yi-μy，σxy表示第一、第二输入图像中像素点的灰度值的协方差，s(x,y)表示关于第一、第二输入图像的结构度估计值。
常数C3是为了避免σxσy接近0而导致的不稳定，其中C3＝(k3×L)2，L表示像素点灰度值的动态范围，k3可根据实际应用场景进行灵活地设定。
步骤235，将亮度估计值、对比度估计值和结构度估计值组合得到输出结构相似度。
其中，输出结构相似度为颜色分量结构相似度或者图像结构相似度。
如图5所示，该输出结构相似度由亮度估计值、对比度估计值和结构度估计值组合得到，该输出结构相似度表示为：
SSIM(x,y)＝{l(x,y),c(x,y),s(x,y)}。
其中，x表示源视频图像或者第一颜色分量图，y表示待还原视频图像或者第二颜色分量图，SSIM表示关于x和y的颜色分量结构相似度。l表示关于x和y的亮度估计值，c表示关于x和y的对比度估计值，s表示关于x和y的结构度估计值。
由此，便能够根据输出结构相似度来衡量两个视频图像之间的相似度，并以此判定是否需要对待还原视频图像进行图像校正，来提高对源视频图像的还原度。
在一示例性实施例中，所述结构相似度运算还可以包括以下步骤：
对第一输入图像、第二输入图像中像素点进行加窗处理，通过滑动窗口遍历第一输入图像、第二输入图像中像素点，以针对滑动窗口内第一输入图像、第二输入图像中像素点进行灰度值运算。
可以理解，显示设备对输入图像的处理能力有限，因此，需要对输入图像进行截断处理，即使输入图像有限化，进而便能够针对有限化图像进行后续处理。
本实施例中，通过加窗处理使得输入图像有限化，以便于针对滑动窗口内第一、第二输入图像中的像素点进行灰度值运算。
其中，滑动窗口的大小可以根据实际应用场景灵活地设定，例如，滑动窗口为8×8的矩形窗。
相应地，如图6所示，步骤235可以包括以下步骤：
步骤2351，由亮度估计值、对比度估计值和结构度估计值获得对应于滑动窗口的局部结构相似度。
步骤2353，根据滑动窗口数量对局部结构相似度进行求和平均运算，得到输出结构相似度。
具体而言，输出结构相似度按照下述计算公式(7)进行计算：
Figure BDA0001436523510000121
其中，MSSIM表示输出结构相似度，SSIM表示局部结构相似度，MN表示滑动窗口数量，x表示第一输入图像，y表示第二输入图像，xi表示滑动窗口i内第一输入图像中的像素点，yj表示滑动窗口j内第二输入图像中的像素点。
在上述实施例的作用下，实现了输入图像有限化处理，从而有利于提高输出结构相似度计算过程的计算效率。
进一步地，请参阅图7，在一示例性实施例中，步骤233可以包括以下步骤：
步骤2331，采用加权函数对第一输入图像、第二输入图像中像素点的灰度值进行加权运算，得到第一加权灰度值和第二加权灰度值。
步骤2333，根据第一、第二加权灰度值计算第一、第二加权方差以及第一、第二加权协方差。
其中，计算第一加权灰度值、第二加权灰度值的方差，并采用加权函数进行方差加权处理，得到第一加权方差和第二加权方差。
计算第一加权灰度值、第二加权灰度值的协方差，并采用加权函数进行协方差加权处理，得到第一加权协方差和第二加权协方差。
步骤2335，根据第一、第二加权灰度值、第一、第二加权方差以及第一、第二加权协方差计算亮度估计值、对比度估计值和结构度估计值。
其中，根据第一加权灰度值和第二加权灰度值进行亮度对比估计，得到亮度估计值。
根据第一加权方差和第二加权方差进行对比度对比估计，得到对比度估计值。
根据第一加权协方差和第二加权协方差进行结构度对比估计，得到结构度估计值。
应当理解，输出结构相似度是根据若干个局部结构相似度得到的，而简单的加窗处理将导致输出结构相似度出现不良的“分块”效应，为此，本实施例中，通过加权处理来消除“分块”效应。
具体而言，对灰度值、灰度值的标准差、灰度值的协方差分别按照下述计算公式(8)、(9-1)、(9-2)、(10)进行加权处理：
Figure BDA0001436523510000131
Figure BDA0001436523510000132
Figure BDA0001436523510000141
Figure BDA0001436523510000142
其中，ωi是加权函数W＝{wi|i＝1，2，...，N}中的第i个元素，W可以根据实际应用场景灵活地设定，例如，加权函数W为11×11的对称高斯加权函数，标准差为1.5。
在上述实施例的作用下，每一个局部结构相似度在输出结构相似度中的权重有所区别，以此避免输出结构相似度中出现不良的“分块”效应，充分保证了还原度的准确性。
下述为本公开装置实施例，可以用于执行本公开所涉及的视频图像还原方法。对于本公开装置实施例中未披露的细节，请参照本公开所涉及的视频图像还原方法实施例。
请参阅图8，在一示例性实施例中，一种视频图像还原装置700包括但不限于：颜色分量提取模块710、第一结构相似度运算模块730、比对模块750和图像矫正模块770。
其中，颜色分量提取模块710用于对源视频图像、待还原视频图像进行单一颜色通道分量提取，得到第一颜色分量图和第二颜色分量图，待还原视频图像是由源视频图像还原得到的。
第一结构相似度运算模块730用于根据第一颜色分量图和第二颜色分量图进行结构相似度运算，得到颜色分量结构相似度。
比对模块750用于将颜色分量结构相似度与图像结构相似度进行比对，图像结构相似度被用于指示待还原视频图像对源视频图像的还原度。
图像矫正模块770用于根据比对结果对待还原视频图像进行图像校正。
请参阅图9，在一示例性实施例中，如上所述的装置700还包括但不限于：第二结构相似度运算模块810和图像重矫正模块830。
其中，第二结构相似度运算模块810用于根据源视频图像和图像校正处理后的待还原视频图像进行结构相似度运算，得到更新的图像结构相似度。
图像重矫正模块830用于当更新的图像结构相似度未超过还原度阈值时，对图像校正处理后的待还原视频图像进行图像重新校正。
值得一提的是，第一结构相似度运算模块730、第二结构相似度运算模块810所实现的功能相同，均是用于进行结构相似度运算，二者的区别仅在于输入和输出不同，第一结构相似度运算模块730的输入是第一颜色分量和第二颜色分量，输出为颜色分量结构相似度，而第二结构相似度运算模块810的输入是源视频图像和待还原视频图像，输出为图像结构相似度，因此，本公开并不仅限于通过上述两个模块执行该功能，也可以使用同一模块进行结构相似度运算。
请参阅图10，在一示例性实施例中，第一结构相似度运算模块730、第二结构相似度运算模块810均包括但不限于：灰度值获取单元731、对比估计单元733和相似度获取单元735。
其中，灰度值获取单元731用于获取第一输入图像、第二输入图像中像素点的灰度值，第一输入图像为第一颜色分量图或者源视频图像，第二输入图像为第二颜色分量图或者待还原视频图像。
对比估计单元733用于根据第一输入图像、第二输入图像中像素点的灰度值进行亮度、对比度、结构度的对比估计，分别得到亮度估计值、对比度估计值和结构度估计值。
相似度获取单元735用于将亮度估计值、对比度估计值和结构度估计值组合得到输出结构相似度，输出结构相似度为颜色分量结构相似度或者图像结构相似度。
在一示例性实施例中，第一结构相似度模块730、第二结构相似度运算模块810均还包括但不限于：加窗单元。
其中，加窗单元用于对第一输入图像、第二输入图像中像素点进行加窗处理，通过滑动窗口遍历第一输入图像、第二输入图像中像素点，以针对滑动窗口内第一输入图像、第二输入图像中像素点进行灰度值运算。
相应地，如图11所示，相似度获取单元735包括但不限于：局部相似度获取子单元7351和相似度运算子单元7353。
其中，局部相似度获取子单元7351用于由亮度估计值、对比度估计值和结构度估计值获得对应于滑动窗口的局部结构相似度。
相似度运算子单元7353用于根据滑动窗口数量对局部结构相似度进行求和平均运算，得到输出结构相似度。
请参阅图12，在一示例性实施例中，对比估计单元733包括但不限于：加权子单元7331、灰度值运算单元7333和估计子单元7335。
其中，加权子单元7331用于采用加权函数对第一输入图像、第二输入图像中像素点的灰度值进行加权运算，得到第一加权灰度值和第二加权灰度值。
灰度值运算单元7333用于计算第一加权灰度值、第二加权灰度值的方差，并采用加权函数进行方差加权处理，得到第一加权方差和第二加权方差。及计算第一加权灰度值、第二加权灰度值的协方差，并采用加权函数进行协方差加权处理，得到第一加权协方差和第二加权协方差。
估计子单元7335用于根据第一加权灰度值和第二加权灰度值进行亮度对比估计，得到亮度估计值。并根据第一加权方差和第二加权方差进行对比度对比估计，得到对比度估计值。及根据第一加权协方差和第二加权协方差进行结构度对比估计，得到结构度估计值。
需要说明的是，上述实施例所提供的视频图像还原在视频图像还原时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即视频图像还原装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例所提供的视频图像还原装置与视频图像还原方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
上述内容，仅为本公开的较佳示例性实施例，并非用于限制本公开的实施方案，本领域普通技术人员根据本公开的主要构思和精神，可以十分方便地进行相应的变通或修改，故本公开的保护范围应以权利要求书所要求的保护范围为准。

Claims (10)

1.一种视频图像还原方法，其特征在于，包括：
对源视频图像、待还原视频图像进行单一颜色通道分量提取，得到第一颜色分量图和第二颜色分量图，所述待还原视频图像是由所述源视频图像还原得到的；
根据SSIM算法对所述第一颜色分量图和第二颜色分量图进行结构相似度运算，得到包括亮度估计值、对比度估计值和结构度估计值在内的颜色分量结构相似度；
将所述颜色分量结构相似度与包括亮度估计值、对比度估计值和结构度估计值在内的图像结构相似度进行比对，得到包括亮度比对差值、对比度比对差值和结构度比对差值在内的比对结果，所述亮度比对差值、对比度比对差值和结构度比对差值分别表征颜色分量图的亮度、对比度和结构度对图像结构相似度的影响程度，所述图像结构相似度通过所述SSIM算法对所述源视频图像和待还原视频图像进行结构相似度运算得到，其被用于指示所述待还原视频图像对所述源视频图像的还原度；
根据所述比对结果对所述待还原视频图像进行图像校正。
2.如权利要求1所述的方法，其特征在于，所述根据比对结果对所述待还原视频图像进行图像校正之后，所述方法还包括：
根据所述源视频图像和图像校正处理后的待还原视频图像进行结构相似度运算，得到更新的图像结构相似度；
当更新的图像结构相似度未超过还原度阈值时，对图像校正处理后的待还原视频图像进行图像重新校正。
3.如权利要求1或2所述的方法，其特征在于，所述结构相似度运算包括：
获取第一输入图像、第二输入图像中像素点的灰度值，所述第一输入图像为所述第一颜色分量图或者所述源视频图像，所述第二输入图像为所述第二颜色分量图或者所述待还原视频图像；
根据所述第一输入图像、第二输入图像中像素点的灰度值进行亮度、对比度、结构度的对比估计，分别得到亮度估计值、对比度估计值和结构度估计值；
将所述亮度估计值、对比度估计值和结构度估计值组合得到输出结构相似度，所述输出结构相似度为所述颜色分量结构相似度或者所述图像结构相似度。
4.如权利要求3所述的方法，其特征在于，所述结构相似度运算还包括：
对所述第一输入图像、第二输入图像中像素点进行加窗处理，通过滑动窗口遍历所述第一输入图像、第二输入图像中像素点，以针对滑动窗口内所述第一输入图像、第二输入图像中像素点进行灰度值运算；
相应地，所述将所述亮度估计值、对比度估计值和结构度估计值组合得到输出结构相似度步骤包括：
由所述亮度估计值、对比度估计值和结构度估计值获得对应于滑动窗口的局部结构相似度；
根据滑动窗口数量对所述局部结构相似度进行求和平均运算，得到所述输出结构相似度。
5.如权利要求3所述的方法，其特征在于，所述根据所述第一输入图像、第二输入图像中像素点的灰度值进行亮度、对比度、结构度的对比估计，分别得到亮度估计值、对比度估计值和结构度估计值，包括：
采用加权函数对所述第一输入图像、第二输入图像中像素点的灰度值进行加权运算，得到第一加权灰度值和第二加权灰度值；
计算第一加权灰度值、第二加权灰度值的方差，并采用所述加权函数进行方差加权处理，得到第一加权方差和第二加权方差；及计算第一加权灰度值、第二加权灰度值的协方差，并采用所述加权函数进行协方差加权处理，得到第一加权协方差和第二加权协方差；
根据所述第一加权灰度值和第二加权灰度值进行亮度对比估计，得到所述亮度估计值；并根据所述第一加权方差和第二加权方差进行对比度对比估计，得到所述对比度估计值；及根据所述第一加权协方差和第二加权协方差进行结构度对比估计，得到所述结构度估计值。
6.一种视频图像还原装置，其特征在于，包括：
颜色分量提取模块，用于对源视频图像、待还原视频图像进行单一颜色通道分量提取，得到第一颜色分量图和第二颜色分量图，所述待还原视频图像是由所述源视频图像还原得到的；
第一结构相似度运算模块，用于根据SSIM算法对所述第一颜色分量图和第二颜色分量图进行结构相似度运算，得到包括亮度估计值、对比度估计值和结构度估计值在内的颜色分量结构相似度；
比对模块，用于将所述颜色分量结构相似度与包括亮度估计值、对比度估计值和结构度估计值在内的图像结构相似度进行比对，得到包括亮度比对差值、对比度比对差值和结构度比对差值在内的比对结果，所述亮度比对差值、对比度比对差值和结构度比对差值分别表征颜色分量图的亮度、对比度和结构度对图像结构相似度的影响程度，所述图像结构相似度通过所述SSIM算法对所述源视频图像和待还原视频图像进行结构相似度运算得到，其被用于指示所述待还原视频图像对所述源视频图像的还原度；
图像校正模块，用于根据所述比对结果对所述待还原视频图像进行图像校正。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
第二结构相似度运算模块，用于根据所述源视频图像和图像校正处理后的待还原视频图像进行结构相似度运算，得到更新的图像结构相似度；
图像重校正模块，用于当更新的图像结构相似度未超过还原度阈值时，对图像校正处理后的待还原视频图像进行图像重新校正。
8.如权利要求6或7所述的装置，其特征在于，所述第一、第二结构相似度运算模块均包括：
灰度值获取单元，用于获取第一输入图像、第二输入图像中像素点的灰度值，所述第一输入图像为所述第一颜色分量图或者所述源视频图像，所述第二输入图像为所述第二颜色分量图或者所述待还原视频图像；
对比估计单元，用于根据所述第一输入图像、第二输入图像中像素点的灰度值进行亮度、对比度、结构度的对比估计，分别得到亮度估计值、对比度估计值和结构度估计值；
相似度获取单元，用于将所述亮度估计值、对比度估计值和结构度估计值组合得到输出结构相似度，所述输出结构相似度为所述颜色分量结构相似度或者所述图像结构相似度。
9.如权利要求8所述的装置，其特征在于，所述第一、第二结构相似度运算模块均还包括：
加窗单元，用于对所述第一输入图像、第二输入图像中像素点进行加窗处理，通过滑动窗口遍历所述第一输入图像、第二输入图像中像素点，以针对滑动窗口内所述第一输入图像、第二输入图像中像素点进行灰度值运算；
相应地，所述相似度获取单元包括：
局部相似度获取子单元，用于由所述亮度估计值、对比度估计值和结构度估计值获得对应于滑动窗口的局部结构相似度；
相似度运算子单元，用于根据滑动窗口数量对所述局部结构相似度进行求和平均运算，得到所述输出结构相似度。
10.如权利要求8所述的装置，其特征在于，所述对比估计单元包括：
加权子单元，用于采用加权函数对所述第一输入图像、第二输入图像中像素点的灰度值进行加权运算，得到第一加权灰度值和第二加权灰度值；
灰度值运算单元，用于计算第一加权灰度值、第二加权灰度值的方差，并采用所述加权函数进行方差加权处理，得到第一加权方差和第二加权方差；及计算第一加权灰度值、第二加权灰度值的协方差，并采用所述加权函数进行协方差加权处理，得到第一加权协方差和第二加权协方差；
估计子单元，用于根据所述第一加权灰度值和第二加权灰度值进行亮度对比估计，得到所述亮度估计值；并根据所述第一加权方差和第二加权方差进行对比度对比估计，得到所述对比度估计值；及根据所述第一加权协方差和第二加权协方差进行结构度对比估计，得到所述结构度估计值。
CN201710966492.3A 2017-10-17 2017-10-17 视频图像还原方法及装置 Active CN107767350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710966492.3A CN107767350B (zh) 2017-10-17 2017-10-17 视频图像还原方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710966492.3A CN107767350B (zh) 2017-10-17 2017-10-17 视频图像还原方法及装置

Publications (2)

Publication Number Publication Date
CN107767350A CN107767350A (zh) 2018-03-06
CN107767350B true CN107767350B (zh) 2020-10-23

Family

ID=61268769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710966492.3A Active CN107767350B (zh) 2017-10-17 2017-10-17 视频图像还原方法及装置

Country Status (1)

Country Link
CN (1) CN107767350B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598299A (zh) * 2018-11-29 2019-04-09 微梦创科网络科技（中国）有限公司 一种图像相似度确定方法、装置及电子设备
CN112954448A (zh) * 2019-12-10 2021-06-11 德科仕通信(上海)有限公司 直播内容图像特征码提取方法及直播内容一致性比对方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101430875A (zh) * 2008-08-29 2009-05-13 胡碧德 图像还原的方法
US8620092B2 (en) * 2010-03-04 2013-12-31 Hewlett-Packard Development Company, L.P. Determining similarity of two images
CN104408707B (zh) * 2014-10-28 2017-04-19 哈尔滨工业大学 一种快速数字成像模糊鉴别与复原图像质量评估方法
CN105046708B (zh) * 2015-07-14 2017-11-17 福州大学 一种与主观感知相一致的颜色校正客观评估方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SSIM-Inspired Perceptual Video Coding for HEVC;Rehman and etc;《IEEE International Conference on Multimedia & Expo》;20121231;第497-502页 *
客观评价彩色图像质量的全四元数结构相似度方法;王勇等;《光电子激光》;20141031;第25卷(第10期);第2033-2043页 *

Also Published As

Publication number Publication date
CN107767350A (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
US10692197B2 (en) Systems and techniques for automatic image haze removal across multiple video frames
US9020257B2 (en) Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
EP3694203A1 (en) Method and device for obtaining exposure compensation value of high-dynamic-range image
JP6485078B2 (ja) 画像処理方法および画像処理装置
US20160094770A1 (en) Image Processing Method and Apparatus, and Terminal
WO2018176925A1 (zh) Hdr图像的生成方法及装置
EP2164040B1 (en) System and method for high quality image and video upscaling
JP6579868B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20200137369A1 (en) White balance processing method and apparatus
EP2958075A1 (en) Method and apparatus for dynamic range expansion of LDR video sequence
US11074742B2 (en) Image processing apparatus, image processing method, and storage medium
JP6946566B2 (ja) 静的な映像認識
US20150279003A1 (en) Image processing apparatus, image processing method, and medium
US20120013642A1 (en) Image processing apparatus, image processing method, and recording medium
CN107767350B (zh) 视频图像还原方法及装置
Joze et al. White patch gamut mapping colour constancy
US8204329B2 (en) System and method for image quality enhancement by reducing the effects of air pollution and haze
US20200184606A1 (en) Processing video frames via convolutional neural network using previous frame statistics
CN113315965B (zh) 一种光学防抖测试方法、装置、设备及介质
CN112243118B (zh) 白平衡校正方法、装置、设备及存储介质
US20220130053A1 (en) Image processing method, image processing device, and recording medium
US10140689B2 (en) Efficient path-based method for video denoising
EP3709254A1 (en) Image processing device, image processing method, and image processing program
CN112399096B (zh) 一种视频处理方法、设备及计算机可读存储介质
KR101957850B1 (ko) 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant