CN112055255A - 拍摄画质优化方法、装置、智能电视和可读存储介质 - Google Patents

Abstract

本发明实施例公开了拍摄画质优化方法、装置、智能电视和可读存储介质，该方法根据预设的块尺寸将当前帧图像分为多个当前块；计算各个当前块与上一帧图像对应的参考块之间的相似度；根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；根据所述运动强度对所述当前帧图像进行相应的优化处理。一方面，本发明的技术方案通过软件方法对摄像头拍摄的视频和图像进行画质优化，无需购买价格昂贵的摄像装置，降低智能电视在摄像装置上投入的开销，降低成本。另一方面，根据运动强度对当前帧图像进行相应的优化处理，有利于合理设置优化规则，提升画质优化效果。

Description

拍摄画质优化方法、装置、智能电视和可读存储介质

技术领域

本发明涉及智能电视领域，尤其涉及一种拍摄画质优化方法、装置、智能电视和可读存储介质。

背景技术

目前，搭载内置或者外挂摄像头的智能电视越来越多，摄像头主要功能是拍照、视频聊天和监控等。但是，目前摄像头的呈现效果都是依赖摄像头端，画质好的摄像头的价格很高，对于摄像头来说摄像机镜头和感光片是视频系统的最关键设备，它的质量(指标)优势直接影响摄像机的整机指标，最终影响屏幕的显示效果。对于智能电视来说，智能电视整体厚度较薄，导致摄像头镜头的厚度也相应的压缩，导致摄像头端的整体景物采样的视频画质效果较差。

发明内容

鉴于上述问题，本发明提出一种拍摄画质优化方法、装置、智能电视和可读存储介质。

本发明的一个实施例提出一种拍摄画质优化方法，该方法包括：

根据预设的块尺寸将当前帧图像分为多个当前块；

计算各个当前块与上一帧图像对应的参考块之间的相似度；

根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；

根据所述运动强度对所述当前帧图像进行相应的优化处理。

本发明实施例所述的拍摄画质优化方法，根据以下公式计算各个当前块与上一帧图像对应的参考块之间的相似度：

Sim表示某一当前块与对应的参考块之间的相似度，p_ij表示所述某一当前块中第i行第j列个像素点的灰度值，q_ij表示与所述某一当前块对应的参考块中第i行第j列个像素点的灰度值，所述某一当前块与对应的参考块均包括n*m个像素点。

本发明实施例所述的拍摄画质优化方法，根据以下公式计算所述当前帧图像的运动强度：

L表示所述当前帧图像的运动强度，

表示相似度最小的当前块中第i行第j列个像素点的灰度值，

表示与所述相似度最小的当前块对应的参考块中第i行第j列个像素点的灰度值，所述相似度最小的当前块与对应的参考块均包括n*m个像素点。

本发明实施例所述的拍摄画质优化方法，所述根据所述运动强度调用对应的画质优化方法对所述当前帧图像进行优化处理，包括：

当所述运动强度小于等于预设的强度阈值时，利用所述上一帧图像对所述当前帧图像进行降噪处理；

当所述运动强度大于所述强度阈值时，对所述当前帧图像中的各个当前块的进行降噪处理。

本发明实施例所述的拍摄画质优化方法，所述预设的块尺寸包括12*12个像素点。

本发明另一个实施例提供一种拍摄画质优化装置，其该装置包括：

当前帧划分模块，用于根据预设的块尺寸将当前帧图像分为多个当前块；

相似度计算模块，用于计算各个当前块与上一帧图像对应的参考块之间的相似度；

运动强度计算模块，用于根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；

画质优化处理模块，用于根据所述运动强度对所述当前帧图像进行相应的优化处理。

上述的拍摄画质优化装置，根据以下公式计算各个当前块与上一帧图像对应的参考块之间的相似度：

Sim表示某一当前块与对应的参考块之间的相似度，p_ij表示某一当前块中第i行第j列个像素点的灰度值，q_ij表示与所述某一当前块对应的参考块中第i行第j列个像素点的灰度值，所述某一当前块与对应的参考块均包括n*m个像素点。

上述的拍摄画质优化装置，根据以下公式计算所述当前帧图像的运动强度：

L表示所述当前帧图像的运动强度，

表示相似度最小的当前块中第i行第j列个像素点的灰度值，

表示与相似度最小的当前块对应的参考块中第i行第j列个像素点的灰度值，所述相似度最小的当前块与对应的参考块均包括n*m个像素点。

本发明实施例涉及一种智能电视，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行上述的拍摄画质优化方法。

本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行上述的拍摄画质优化方法。

本发明实施例根据预设的块尺寸将当前帧图像分为多个当前块；计算各个当前块与上一帧图像对应的参考块之间的相似度；根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；根据所述运动强度对所述当前帧图像进行相应的优化处理。一方面，本发明的技术方案通过软件方法对摄像头拍摄的视频和图像进行画质优化，无需购买价格昂贵的摄像装置，降低智能电视在摄像装置上投入的开销，降低成本。另一方面，根据运动强度对当前帧图像进行相应的优化处理，有利于合理设置优化规则，提升画质优化效果。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例提供的一种拍摄画质优化方法的流程示意图；

图2示出了本发明实施例提供的一种现有摄像头拍摄画面显示系统的示意图；

图3示出了本发明实施例提供的一种摄像头拍摄画面优化显示系统的示意图；

图4示出了本发明实施例提供的一种摄像头拍摄画质优化显示的逻辑示意图；

图5示出了本发明实施例提供的一种拍摄画质优化装置的结构示意图。

主要元件符号说明：

1-拍摄画质优化装置；10-当前帧划分模块；20-相似度计算模块；30-运动强度计算模块；40-画质优化处理模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

本发明公开一种智能电视机搭载摄像头，通过智能电视的系统芯片将摄像头获取的视频或图片解码到系统芯片的图形引擎模块，以利用图形引擎模块优化图像画质，再通过低延迟通路呈现到智能电视的显示屏幕上。现有摄像头拍摄图像显示系统，如图2所示，摄像头获取的视频或图片经过预先集成在系统芯片中的APK处理，再经过视频解码之后显示在智能电视的显示屏幕上；摄像头拍摄图像优化显示系统，如图3所示，摄像头获取的视频或图片经过预先集成在系统芯片中的APK处理，再经过视频解码之后，需要经过图形引擎模块进行优化处理后显示在智能电视的显示屏幕上。

实施例1

本实施例，参见图1，示出了一种拍摄画质优化方法包括以下步骤：

S10：根据预设的块尺寸将当前帧图像分为多个当前块。

智能电视系统芯片的图形引擎模块接收到解码后的视频后，对每一视频帧的图像进行优化处理。图形引擎模块可以根据预设的块尺寸将当前帧图像分为多个当前块。可以理解，将当前帧图像分为一定数量互不重叠的多个当前块，以利用当前帧图像的多个当前块与上一帧图像对应的参考块确定当前帧图像的运动强度。

S20：计算各个当前块与上一帧图像对应的参考块之间的相似度。

摄像头获取的视频图像是由多个视频帧组成的，相邻视频帧的差异性较小，可以计算当前帧图像的各个当前块与上一帧图像对应的参考块之间的相似度，以在当前帧图像和上一帧图像中确定最相近的当前块和对应的参考块。

S30：根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度。

当前帧图像的运动强度可以反应当前帧图像的主要物体是静止的还是运动的。根据相似度最小的当前块和对应的参考块可以计算所述当前帧图像的运动强度。

S40：根据所述运动强度对所述当前帧图像进行相应的优化处理。

对于静止的当前帧图像或者运动强度较小的当前帧图像可以采用低通滤波法优化画质。低通滤波法是一种在频域上对图像信号进行处理的方法。在分析图像信号的频率特性时，一幅图像的边缘、跳跃部分和随机噪声属于图像信号的高频率分量部分，而大面积的背景区域属于图像信号的低频率分量部分，低通滤波法通过滤除图像信号的高频部分达到降噪的目的。例如，时域降噪(TNR)。

对于运动强度较大的当前帧图像采用多图像平均法，由于摄像头的感光器件引入的随机噪声在时间上表现为零均值的加性噪声，所以采用多图像平均法能有效去除噪声。例如，空域降噪(SNR)。

本实施例利用智能电视的系统芯片的图形引擎模块对解码视频进行优化，以提升摄像头端采样视频的画质。示范性的，摄像头拍摄画质优化显示的逻辑示意图如图4所示，APK通过调用cameraHal设置智能电视处理器解码视频，再经过图形引擎进一步优化图像画质，最终显示到屏幕上。

进一步的，APK通过调用Framework中的CameraService，再调用cameraHal设置视频解码，使得解码后的视频帧数据通过智能电视的系统芯片的图形引擎模块进行降噪处理进行画质提升。在对视频图像进行采集、处理、存储和传输等过程中，每一步都可能加入噪声，新旧噪声不断累积，会污染图像信号，产生模糊、差错等失真。含有噪声的视频图像不但直接影响图像的质量，而且会影响视频图像的后续处理任务，如存储、编解码、传输、目标识别和跟踪等，所以根据噪声特性，对画面进行降噪处理，可以使图像效果得到增强，图像降噪主要包括时域降噪(TNR)、空域降噪(SNR)。

本实施例根据预设的块尺寸将当前帧图像分为多个当前块；计算各个当前块与上一帧图像对应的参考块之间的相似度；根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；根据所述运动强度对所述当前帧图像进行相应的优化处理。一方面，本实施例的技术方案通过软件方法对摄像头拍摄的视频和图像进行画质优化，无需购买价格昂贵的摄像装置，降低智能电视在摄像装置上投入的开销，降低成本。另一方面，根据运动强度对当前帧图像进行相应的优化处理，有利于合理设置优化规则，提升画质优化效果。

实施例2

进一步的，可以利用当前帧图像的某一当前块中的各个像素点的灰度值和对应的参考块的各个像素点的灰度值计算各个当前块与上一帧图像对应的参考块之间的相似度。

Sim表示某一当前块与对应的参考块之间的相似度，

p_ij表示所述某一当前块中第i行第j列个像素点的灰度值，q_ij表示与所述某一当前块对应的参考块中第i行第j列个像素点的灰度值，所述某一当前块与对应的参考块均包括n*m个像素点。

示范性的，若当前帧图像包括36*36个像素点，预设的块尺寸为12*12个像素点，则当前帧图像可以分为9个包括12*12个像素点的当前块，可以理解，上一帧图像也可以分为9个包括12*12个像素点的参考块，并且与9个当前块一一对应。

利用公式

计算各个包括12*12个像素点的当前块和与之对应的参考块的相似度。可以理解，9个当前块和9个参考块对应9个相似度，Sim越小，当前块和对应的参考块之间的相似度越小。可以从9个当前块和9个参考块对应的9个相似度中确定最小的相似度，根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度。

进一步的，L表示所述当前帧图像的运动强度，

表示相似度最小的当前块中第i行第j列个像素点的灰度值，

表示与所述相似度最小的当前块对应的参考块中第i行第j列个像素点的灰度值，所述相似度最小的当前块与对应的参考块均包括n*m个像素点。

示范性的，9个相似度中确定最小的相似度对应的当前块和参考块，计算当前帧图像的运动强度

可以理解，相似度最小的当前块和对应的参考块是视频帧图像中运动强度较大的块，可以反应当前帧图像的最大运动强度。

可以理解，预设的块尺寸可以是12*12个像素点、可以是16*16个像素点、可以是18*18个像素点、可以是18*24个像素点等，在此不做限制。

进一步的，根据所述运动强度调用对应的画质优化方法对所述当前帧图像进行优化处理，当所述运动强度小于等于预设的强度阈值时，利用所述上一帧图像对所述当前帧图像进行降噪处理；当所述运动强度大于所述强度阈值时，对所述当前帧图像中的各个当前块的进行降噪处理。

示范性的，利用上一帧图像对当前帧图像进行降噪处理包括：根据上一帧图像和当前帧图像确定运动物体的运动轨迹；利用时域滤波器沿着物体的运动轨迹进行加权平均滤波，滤波完成后，输出去噪的视频图像。进一步的，可以利用噪声模型计算当前帧图像的噪声，根据噪声确定噪声等级，根据噪声等级确定滤波等级。时域滤波器虽然占用系统开销较大，但对运动强度小的当前帧图像具有较好的滤波效果，有效避免当前帧图像出现模糊现象。

示范性的，对当前帧图像中的各个当前块进行降噪处理包括利用空域降噪对当前帧图像中的各个当前块进行降噪处理。进一步的，可以对运动强度大于预设强度阈值的各个当前块中的各个像素点做较强的低通滤波。空域降噪不仅可以有效避免运动区域出现“拖尾”现象，而且比时域滤波器所占用的系统开销小。

实施例3

本实施例，参见图5，示出了一种拍摄画质优化装置1包括：当前帧划分模块10、相似度计算模块20、运动强度计算模块30和画质优化处理模块40。

当前帧划分模块10，用于根据预设的块尺寸将当前帧图像分为多个当前块；相似度计算模块20，用于计算各个当前块与上一帧图像对应的参考块之间的相似度；运动强度计算模块30，用于根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；画质优化处理模块40，用于根据所述运动强度对所述当前帧图像进行相应的优化处理。

进一步的，根据以下公式计算各个当前块与上一帧图像对应的参考块之间的相似度：

Sim表示某一当前块与对应的参考块之间的相似度，p_ij表示某一当前块中第i行第j列个像素点的灰度值，q_ij表示与某一当前块对应的参考块中第i行第j列个像素点的灰度值，所述某一当前块与对应的参考块均包括n*m个像素点。

进一步的，根据以下公式计算所述当前帧图像的运动强度：

L表示当前帧图像的运动强度，

表示相似度最小的当前块中第i行第j列个像素点的灰度值，

表示与所述相似度最小的当前块对应的参考块中第i行第j列个像素点的灰度值，所述相似度最小的当前块与对应的参考块均包括n*m个像素点。

本实施例公开的拍摄画质优化装置1通过当前帧划分模块10、相似度计算模块20、运动强度计算模块30和画质优化处理模块40的配合使用，用于执行上述实施例所述的拍摄画质优化方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。

可以理解，本实施例涉及一种智能电视，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的拍摄画质优化方法。

可以理解，本实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的拍摄画质优化方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种拍摄画质优化方法，其特征在于，该方法包括：

根据预设的块尺寸将当前帧图像分为多个当前块；

计算各个当前块与上一帧图像对应的参考块之间的相似度；

根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；

根据所述运动强度对所述当前帧图像进行相应的优化处理。

2.根据权利要求1所述的拍摄画质优化方法，其特征在于，根据以下公式计算各个当前块与上一帧图像对应的参考块之间的相似度：

Sim表示某一当前块与对应的参考块之间的相似度，p_ij表示所述某一当前块中第i行第j列个像素点的灰度值，q_ij表示与所述某一当前块对应的参考块中第i行第j列个像素点的灰度值，所述某一当前块与对应的参考块均包括n*m个像素点。

3.根据权利要求1所述的拍摄画质优化方法，其特征在于，根据以下公式计算所述当前帧图像的运动强度：

L表示所述当前帧图像的运动强度，

表示相似度最小的当前块中第i行第j列个像素点的灰度值，

表示与所述相似度最小的当前块对应的参考块中第i行第j列个像素点的灰度值，所述相似度最小的当前块与对应的参考块均包括n*m个像素点。

4.根据权利要求1所述的拍摄画质优化方法，其特征在于，所述根据所述运动强度调用对应的画质优化方法对所述当前帧图像进行优化处理，包括：

当所述运动强度小于等于预设的强度阈值时，利用所述上一帧图像对所述当前帧图像进行降噪处理；

当所述运动强度大于所述强度阈值时，对所述当前帧图像中的各个当前块的进行降噪处理。

5.根据权利要求1至4中任一项所述的拍摄画质优化方法，其特征在于，所述预设的块尺寸包括12*12个像素点。

6.一种拍摄画质优化装置，其特征在于，该装置包括：

当前帧划分模块，用于根据预设的块尺寸将当前帧图像分为多个当前块；

相似度计算模块，用于计算各个当前块与上一帧图像对应的参考块之间的相似度；

运动强度计算模块，用于根据相似度最小的当前块和对应的参考块计算所述当前帧图像的运动强度；

画质优化处理模块，用于根据所述运动强度对所述当前帧图像进行相应的优化处理。

7.根据权利要求6所述的拍摄画质优化装置，其特征在于，根据以下公式计算各个当前块与上一帧图像对应的参考块之间的相似度：

Sim表示某一当前块与对应的参考块之间的相似度，p_ij表示所述某一当前块中第i行第j列个像素点的灰度值，q_ij表示与所述某一当前块对应的参考块中第i行第j列个像素点的灰度值，所述某一当前块与对应的参考块均包括n*m个像素点。

8.根据权利要求6所述的拍摄画质优化装置，其特征在于，根据以下公式计算所述当前帧图像的运动强度：

L表示所述当前帧图像的运动强度，

表示相似度最小的当前块中第i行第j列个像素点的灰度值，

表示与所述相似度最小的当前块对应的参考块中第i行第j列个像素点的灰度值，所述相似度最小的当前块与对应的参考块均包括n*m个像素点。

9.一种智能电视，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至5任一项所述的拍摄画质优化方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至5任一项所述的拍摄画质优化方法。

Images