CN116156089A - 处理图像的方法、装置、计算设备和计算机可读存储介质 - Google Patents

处理图像的方法、装置、计算设备和计算机可读存储介质 Download PDF

Info

Publication number
CN116156089A
CN116156089A CN202310436358.8A CN202310436358A CN116156089A CN 116156089 A CN116156089 A CN 116156089A CN 202310436358 A CN202310436358 A CN 202310436358A CN 116156089 A CN116156089 A CN 116156089A
Authority
CN
China
Prior art keywords
pixel
color value
image
pixels
mixing ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310436358.8A
Other languages
English (en)
Other versions
CN116156089B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moore Threads Technology Co Ltd
Original Assignee
Moore Threads Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moore Threads Technology Co Ltd filed Critical Moore Threads Technology Co Ltd
Priority to CN202310436358.8A priority Critical patent/CN116156089B/zh
Publication of CN116156089A publication Critical patent/CN116156089A/zh
Application granted granted Critical
Publication of CN116156089B publication Critical patent/CN116156089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例涉及图像处理领域，提供了一种处理图像的方法、装置、计算设备和计算机可读存储介质，包括：获取第一图像，第一像素为第一图像包括的多个像素中的一个；根据第一像素的像素速度，在第二图像中确定第二像素，第二图像为第一图像前一帧的输出图像；根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比，速度散度用于表示第一像素的邻域空间内像素速度的通量的变化量；根据混合比，确定第三颜色值，第三颜色值为第一像素的输出的颜色值。上述方法通过引入新的参数速度散度作为判断历史像素信息是否可用的参考量，能够更本质地反映像素周围的几何形状是否发生了改变，从而尽可能多地保留画面细节，提高图像的输出效果。

Description

处理图像的方法、装置、计算设备和计算机可读存储介质
技术领域
本申请实施例涉及图像处理领域，并且更为具体地，涉及一种处理图像的方法、装置、计算设备和计算机可读存储介质。
背景技术
时间性抗锯齿（temporal antialiasing，TAA）是图像处理中一种消除显示器输出的画面中图物边缘出现凹凸锯齿的技术。通过获取前一帧输出画面中对应的历史像素，将历史像素与渲染得到的当前帧像素进行线性混合后，得到的结果就是最后输出到显示器的像素。该输出像素既包含历史信息又包含当前帧信息，因而能比当前帧本身更加准确地描述画面信息，减少锯齿。
但是，部分情况可能导致历史信息失效（例如光照、反射、阴影发生变化，或物体之间的遮罩关系发生变化等）。在历史信息已经失效时，需要丢弃历史信息，只采信当前帧的信息，否则画面中会出现错误的内容。
目前判定历史信息是否可用的标准比较粗糙，导致很多可用的历史信息也被抛弃，使得抗锯齿的处理效果差。因此，如何在处理当前帧画面时保留尽可能多可用的历史帧信息成为亟需解决的技术问题。
发明内容
本申请实施例提供一种处理图像的方法、装置、计算设备和计算机可读存储介质，可以根据像素的速度散度确定当前帧像素与前一帧像素的混合比，更本质地判别几何信息中导致历史失效的情况，从而尽可能多地保留画面细节，提高图像的输出效果。
第一方面，提供一种处理图像的方法，包括：获取第一图像，其中，第一图像包括多个像素，第一像素为多个像素中的一个，第一颜色值为第一像素的颜色值；根据第一像素的像素速度，在第二图像中确定第二像素，其中，第二图像为第一图像前一帧的输出图像，像素速度用于表示第一像素输出到屏幕上的位置相对于第二像素输出到屏幕上的位置移动的距离和方向，第二颜色值为第二像素的颜色值；根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比，其中，速度散度用于表示第一像素的邻域空间内像素速度的通量的变化量，邻域空间为第一图像中以第一像素为中心的K×K个像素构成的正方形范围，K为大于1的奇数；根据混合比，确定第三颜色值，第三颜色值为第一像素的输出的颜色值。
根据本申请提供的技术方案，通过引入新的参数速度散度作为判断历史像素信息是否可用的参考量，像素的速度散度相对于像素速度能够更本质地反映像素周围的几何形状是否发生了改变，从而能够避免像素运动过程中错误地将可用的前一帧像素的信息舍弃，尽可能多地保留画面细节，提高图像的输出效果。
结合第一方面，在第一方面的某些实现方式中，速度散度与邻域空间中边缘像素的像素速度有关。
根据上述技术方案，速度散度通过比较像素周围邻域空间的边缘的像素速度，能够反映像素周围邻域空间的几何形状是否发生了改变，从而反映该像素周围环境是否稳定。
结合第一方面，在第一方面的某些实现方式中，速度散度是根据邻域空间每条边上的像素数量、第一图像中的像素输出到屏幕上的边长、邻域空间的左边缘和右边缘的边缘像素的像素速度在x方向上的分量、以及邻域空间的上边缘和下边缘的边缘像素的像素速度在y方向上的分量计算确定的。
可选地，速度散度满足：
Figure SMS_1
其中，
Figure SMS_2
为速度散度，K为邻域空间每条边上像素的数量，a为第一图像中的像素输出到屏幕上的边长，/>
Figure SMS_3
为第一像素输出到屏幕上的坐标，/>
Figure SMS_4
为输出到屏幕的坐标/>
Figure SMS_5
处的像素的像素速度在x方向上的分量，/>
Figure SMS_6
为输出到屏幕的坐标/>
Figure SMS_7
处的像素的像素速度在y方向上的分量。
根据上述技术方案，速度散度的确定考虑了目标像素周围一定空间范围内像素速度的变化量，从而对于速度不为零的像素也能够反映该像素周围环境是否稳定。
结合第一方面，在第一方面的某些实现方式中，在根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比前，该方法还包括：获取第二像素的有效样本数和第二像素的时域二阶矩，其中，有效样本数用于表示第二像素中混合的有效像素的数量，时域二阶矩用于表示有效像素的颜色值的波动范围，有效像素是对第二颜色值有贡献的历史帧中的像素。
根据上述技术方案，通过引入有效样本数和时域二阶矩这两个新的参数，能够反映前一帧像素中包含的历史信息在时域上的统计分布规律，从而为判断历史信息是否失效在更多维度上提供可用的参考信息，提高判断标准的准确性。
结合第一方面，在第一方面的某些实现方式中，根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比，包括：根据速度散度，确定第二颜色值的有效范围，有效范围用于表示第二颜色值允许偏离第一颜色值的大小；根据第二颜色值与有效范围的关系，确定混合比。
根据上述技术方案，通过将多维度的参考参数统一为历史像素的有效范围进行衡量，能够根据历史像素的值实际是否出现在该有效范围内调整混合比，从而将不同纬度的参考信息转换为统一的标准。
结合第一方面，在第一方面的某些实现方式中，根据速度散度，确定第二颜色值的有效范围，包括：当速度散度为0时，根据空间标准差、时域标准差和第二像素的有效样本数确定有效范围，其中，空间标准差是邻域空间内像素的颜色值的标准差，时域标准差是有效像素的颜色值的标准差。
根据上述技术方案，当速度散度为零时说明当前像素未运动或处于周围环境没有发生变化的稳定平移状态，符合历史像素在时域上的统计分布规律，从而能够将时域标准差作为确定有限范围的参考参数之一，为判断历史信息是否失效在提供时间维度的参考信息。
结合第一方面，在第一方面的某些实现方式中，时域标准差是根据第二像素的时域二阶矩和第二颜色值计算确定的。
可选地，时域标准差满足：
Figure SMS_8
其中，
Figure SMS_9
为时域标准差，/>
Figure SMS_10
为第二像素的时域二阶矩，hist为第二颜色值。
根据上述技术方案，通过已知的参数计算历史有效像素的等效的标准差，能够以计算的方式确定无法通过统计方法直接获取的统计量的等效值，从而提供时域标准差作为确定有效范围的参考参数。
结合第一方面，在第一方面的某些实现方式中，有效范围是根据空间标准差、时域标准差和边界约束函数计算确定的。
可选地，有效范围满足：
Figure SMS_11
,
Figure SMS_12
其中，
Figure SMS_13
为有效范围，/>
Figure SMS_14
为空间标准差，/>
Figure SMS_15
为空间标准差与时域标准差之间的最大值，N为第二像素的有效样本数，/>
Figure SMS_16
表示边界约束函数。
根据上述技术方案，通过上述有效范围的计算公式，能够在历史有效样本数量较多时适当将有效范围从空间标准差逐渐放宽到时域标准差和空间标准差的较大值，从而避免画面中起伏较大的位置的信号被截断，导致细节丢失，同时也能保证更好的时域稳定性，避免出现画面抖动的情况。
结合第一方面，在第一方面的某些实现方式中，根据速度散度，确定第二颜色值的有效范围，包括：当速度散度不为0时，根据空间标准差确定有效范围，其中，空间标准差是邻域空间内像素的颜色值的标准差。
根据上述技术方案，当速度散度不为零时说明当前像素的周围环境发生了变化，可能不再符合历史像素在时域上的统计分布规律，从而能够将有效范围的参考参数限制在空间标准差，不再参考时间维度的信息。
结合第一方面，在第一方面的某些实现方式中，根据速度散度，确定第二颜色值的有效范围，还包括：根据速度散度，调整有效范围。
根据上述技术方案，通过根据速度散度大小反映的像素周围环境变化的剧烈程度，进一步调整有效范围大小，使得确定有效范围的参数更多样化，从而提高确定有效范围的精确性。
结合第一方面，在第一方面的某些实现方式中，调整后的有效范围是根据空间标准差、速度散度和边界约束函数计算确定的。
可选地，调整后的有效范围满足：
Figure SMS_17
,/>
Figure SMS_18
其中，
Figure SMS_19
为有效范围，/>
Figure SMS_20
为空间标准差，/>
Figure SMS_21
为速度散度，/>
Figure SMS_22
表示边界约束函数。
根据上述技术方案，通过上述有效范围的计算公式，使得速度散度越大，即像素周围环境变化越剧烈时，有效范围逐渐减小，从而越谨慎地采信历史信息。
结合第一方面，在第一方面的某些实现方式中，混合比由第一混合比和第二混合比组成，其中，第一混合比为固定值，第二混合比用于当第二颜色值偏离第一颜色值的大小超出有效范围时对第一混合比进行修正，根据第二颜色值与有效范围的关系，确定混合比，包括：根据第二颜色值与有效范围的关系，确定第二混合比；根据第二混合比，修正第一混合比，以确定混合比。
根据上述技术方案，通过将混合比按照不同的作用进行分离，使得一部分基底混合比采信部分历史信息作为固定的刷新，另一部分矫正混合比反映历史信息被截断所等效的情况，从而分别对两部分混合比进行调控，提高处理的精确程度。
结合第一方面，在第一方面的某些实现方式中，第二混合比是根据第一颜色值、第二颜色值和有效范围计算确定的。
可选地，第二混合比满足：
Figure SMS_23
其中，
Figure SMS_24
为第二混合比，curr为第一颜色值，hist为第二颜色值，/>
Figure SMS_25
为有效范围。
根据上述技术方案，通过上述反映历史信息被截断所等效的情况的第二混合比的计算公式，能够在历史信息超出有效范围时等效地将历史信息截断至有效范围的上限或下限，从而舍弃超出有效范围部分的历史信息。
结合第一方面，在第一方面的某些实现方式中，第一图像是根据第三图像生成的，第三图像的像素数小于或等于第一图像的像素数，其中，第一像素是根据第三图像中的第三像素生成的，第一像素的权重值用于表示第三像素对第一颜色值的贡献程度，根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比，还包括：当第一像素的权重值为0时，根据第一图像中第一像素周围的四个像素的第二混合比，确定第一像素的第二混合比。
根据上述技术方案，通过使用周围像素的第二混合比为权重值为零的像素的第二混合比进行补洞，使得当前像素即使未从当前帧获得信息，也能得知自己的邻域已经发生了历史信息截断，从而从众做出和邻域像素一样的决策，避免采样率较低时抛弃历史信息的邻域出现空洞。
结合第一方面，在第一方面的某些实现方式中，该方法还包括：根据第二像素的有效样本数和混合比，生成第一像素的有效样本数；根据第二像素的时域二阶矩和混合比，生成第一像素的时域二阶矩。
根据上述技术方案，通过使用已经确定的前一帧的时域分布参数和混合比计算当前帧的时域分布参数，能够以计算的方式确定无法通过统计方法直接获取的统计量的等效值，从而为下一帧的对应像素提供有效样本数和时域标准差。
结合第一方面，在第一方面的某些实现方式中，第一像素的有效样本数是根据第二像素的有效样本数和混合比计算确定的，第一像素的时域二阶矩是根据第二像素的时域二阶矩和混合比计算确定的。
可选地，第一像素的有效样本数和第一像素的时域二阶矩分别满足：
Figure SMS_26
其中，
Figure SMS_27
为混合比，/>
Figure SMS_28
为第一像素的有效样本数，/>
Figure SMS_29
为第二像素的有效样本数，/>
Figure SMS_30
为第一像素的时域二阶矩，/>
Figure SMS_31
为第二像素的时域二阶矩，curr为第一颜色值。
根据上述技术方案，通过上述时域分布参数的计算公式，能够以计算的方式确定无法通过统计方法直接获取的统计量的等效值，从而为下一帧的对应像素提供有效样本数和时域标准差。
第二方面，提供一种处理图像的装置，包括：获取模块，用于获取第一图像，其中，第一图像包括多个像素，第一像素为多个像素中的一个，第一颜色值为第一像素的颜色值；采样模块，用于根据第一像素的像素速度，在第二图像中确定第二像素，其中，第二图像为第一图像前一帧的输出图像，像素速度用于表示第一像素输出到屏幕上的位置相对于第二像素输出到屏幕上的位置移动的距离和方向，第二颜色值为第二像素的颜色值；确定模块，用于根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比，其中，速度散度用于表示第一像素的邻域空间内像素速度的通量的变化量，邻域空间为第一图像中以第一像素为中心的K×K个像素构成的正方形范围，K为大于1的奇数；混合模块，用于根据混合比，确定第三颜色值，第三颜色值为第一像素的输出的颜色值。
结合第二方面，在第二方面的某些实现方式中，速度散度与邻域空间中边缘像素的像素速度有关。
结合第二方面，在第二方面的某些实现方式中，速度散度是根据邻域空间每条边上的像素数量、第一图像中的像素输出到屏幕上的边长、邻域空间的左边缘和右边缘的边缘像素的像素速度在x方向上的分量、以及邻域空间的上边缘和下边缘的边缘像素的像素速度在y方向上的分量计算确定的。
可选地，速度散度满足：
Figure SMS_32
其中，
Figure SMS_33
为速度散度，K为邻域空间每条边上像素的数量，a为第一图像中的像素输出到屏幕上的边长，/>
Figure SMS_34
为第一像素输出到屏幕上的坐标，/>
Figure SMS_35
为输出到屏幕的坐标/>
Figure SMS_36
处的像素的像素速度在x方向上的分量，/>
Figure SMS_37
为输出到屏幕的坐标/>
Figure SMS_38
处的像素的像素速度在y方向上的分量。
结合第二方面，在第二方面的某些实现方式中，在根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比前，采样模块，还用于：获取第二像素的有效样本数和第二像素的时域二阶矩，其中，有效样本数用于表示第二像素中混合的有效像素的数量，时域二阶矩用于表示有效像素的颜色值的波动范围，有效像素是对第二颜色值有贡献的历史帧中的像素。
结合第二方面，在第二方面的某些实现方式中，确定模块，用于：根据速度散度，确定第二颜色值的有效范围，有效范围用于表示第二颜色值允许偏离第一颜色值的大小；根据第二颜色值与有效范围的关系，确定混合比。
结合第二方面，在第二方面的某些实现方式中，确定模块，用于：当速度散度为0时，根据空间标准差、时域标准差和第二像素的有效样本数确定有效范围，其中，空间标准差是邻域空间内像素的颜色值的标准差，时域标准差是有效像素的颜色值的标准差。
结合第二方面，在第二方面的某些实现方式中，时域标准差是根据第二像素的时域二阶矩和第二颜色值计算确定的。
可选地，时域标准差满足：
Figure SMS_39
其中，
Figure SMS_40
为时域标准差，/>
Figure SMS_41
为第二像素的时域二阶矩，hist为第二颜色值。
结合第二方面，在第二方面的某些实现方式中，有效范围是根据空间标准差、时域标准差和边界约束函数计算确定的。
可选地，有效范围满足：
Figure SMS_42
,
Figure SMS_43
其中，
Figure SMS_44
为有效范围，/>
Figure SMS_45
为空间标准差，/>
Figure SMS_46
为空间标准差与时域标准差之间的最大值，N为第二像素的有效样本数，/>
Figure SMS_47
表示边界约束函数。
结合第二方面，在第二方面的某些实现方式中，确定模块，用于：当速度散度不为0时，根据空间标准差确定有效范围，其中，空间标准差是邻域空间内像素的颜色值的标准差。
结合第二方面，在第二方面的某些实现方式中，确定模块，还用于：根据速度散度，调整有效范围。
结合第二方面，在第二方面的某些实现方式中，调整后的有效范围是根据空间标准差、速度散度和边界约束函数计算确定的。
可选地，调整后的有效范围满足：
Figure SMS_48
,
Figure SMS_49
其中，
Figure SMS_50
为有效范围，/>
Figure SMS_51
为空间标准差，/>
Figure SMS_52
为速度散度，/>
Figure SMS_53
表示边界约束函数。
结合第二方面，在第二方面的某些实现方式中，混合比由第一混合比和第二混合比组成，其中，第一混合比为固定值，第二混合比用于当第二颜色值偏离第一颜色值的大小超出有效范围时对第一混合比进行修正，确定模块，用于：根据第二颜色值与有效范围的关系，确定第二混合比；根据第二混合比，修正第一混合比，以确定混合比。
结合第二方面，在第二方面的某些实现方式中，第二混合比是根据第一颜色值、第二颜色值和有效范围计算确定的。
可选地，第二混合比满足：
Figure SMS_54
其中，
Figure SMS_55
为第二混合比，curr为第一颜色值，hist为第二颜色值，/>
Figure SMS_56
为有效范围。
结合第二方面，在第二方面的某些实现方式中，第一图像是根据第三图像生成的，第三图像的像素数小于或等于第一图像的像素数，其中，第一像素是根据第三图像中的第三像素生成的，第一像素的权重值用于表示第三像素对第一颜色值的贡献程度，确定模块，还用于：当第一像素的权重值为0时，根据第一图像中第一像素周围的四个像素的第二混合比，确定第一像素的第二混合比。
结合第二方面，在第二方面的某些实现方式中，混合模块，还用于：根据第二像素的有效样本数和混合比，生成第一像素的有效样本数；根据第二像素的时域二阶矩和混合比，生成第一像素的时域二阶矩。
结合第二方面，在第二方面的某些实现方式中，第一像素的有效样本数是根据第二像素的有效样本数和混合比计算确定的，第一像素的时域二阶矩是根据第二像素的时域二阶矩和混合比计算确定的。
可选地，第一像素的有效样本数和第一像素的时域二阶矩分别满足：
Figure SMS_57
其中，
Figure SMS_58
为混合比，/>
Figure SMS_59
为第一像素的有效样本数，/>
Figure SMS_60
为第二像素的有效样本数，/>
Figure SMS_61
为第一像素的时域二阶矩，/>
Figure SMS_62
为第二像素的时域二阶矩，curr为第一颜色值。
第三方面，提供一种计算设备，包括处理器和存储器，其中，存储器用于存储指令，处理器用于从存储器中调用并运行该指令，使得该计算设备执行第一方面或第一方面任意一种可能的实现方式中的方法。
可选地，该处理器可以是通用处理器，可以通过硬件来实现也可以通过软件来实现。当通过硬件来实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外独立存在。
第四方面，提供了一种芯片，该芯片获取指令并执行该指令来实现上述第一方面或第一方面任意一种可能的实现方式中的方法。
可选地，作为一种实现方式，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
可选地，作为一种实现方式，该芯片还可以包括存储器，该存储器中存储有指令，该处理器用于执行该存储器上存储的指令，当该指令被执行时，该处理器用于执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
第五方面，提供了一种包含指令的计算机程序产品，当该指令被计算设备运行时，使得计算设备执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
第六方面，提供了一种计算机可读存储介质，包括计算机程序指令，当该计算机指令由计算设备执行时，使得计算设备执行上述第一方面或第一方面任意一种可能的实现方式中的方法。
作为示例，这些计算机可读存储介质包括但不限于如下的一个或者多个：只读存储器（read-only memory，ROM）、可编程ROM（programmable ROM，PROM）、可擦除的PROM（erasable PROM，EPROM）、Flash存储器、电EPROM（electrically EPROM，EEPROM）以及硬盘驱动器（hard drive）。
可选地，作为一种实现方式，上述存储介质具体可以是非易失性存储介质。
附图说明
图1是本申请实施例提供的一种处理图像的方法的示意性流程框图。
图2是本申请实施例提供的另一处理图像的方法的示意性流程框图。
图3是本申请实施例提供的一种处理图像的装置的示意性结构框图。
图4是本申请实施例提供的一种计算设备的示意性结构框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
本申请将围绕包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。
另外，在本申请实施例中，“示例的”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
本申请实施例中，“相应的（corresponding，relevant）”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。
本申请实施例描述的网络架构以及业务场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着网络架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：包括单独存在A，同时存在A和B，以及单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
为了便于理解，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。
1、抗锯齿（anti-aliasing，AA）：抗锯齿技术是一种消除显示器输出的画面中图物边缘出现凹凸锯齿的技术，也可以称为反锯齿、边缘柔化、消除混叠、抗图像折叠有损等。由于高分辨率下的来源信号或连续的类比信号能够存储较多的数据，但在透过取样（sampling）时将较多的数据以较少的数据点代替，部分的数据被忽略造成取样结果有损，当机器把取样后的数字信号转换为人类可辨别的类比信号时造成彼此交叠且有损，在声音中，便会出现刺耳、不和谐的音调或是噪音。
同样，在3D绘图时，每个图形由像素组成，每段瞬间画面由帧组成，因为屏幕上的像素有限，如果要表现出多边形的位置时，因技术所限，使用绝对坐标定位法是无法做到的，只能使用在近似位置采样来进行相对定位。由于没有足够的采样来表现出3D世界中的所有物品的图形，所以在最后图像显示上，这些现象便会造成在物品与物品中过渡的边缘就会产生波浪状、圆形、锯齿和闪烁等有损现象，严重影响了画面的质量。
2、超级采样抗锯齿（super sampling antialiasing，SSAA）：SSAA是一种早期的后处理抗锯齿技术，通过把图像当前分辨率成倍提高（例如，当前分辨率为1024×768，开启2倍的SSAA后，画面放大到2048×1536），然后再把图像缩放到当前的显示器上。在显示尺寸不变的情况下使得提高分辨率，单个像素变小，从而减轻画面的锯齿感。
SSAA的大致过程为：首先，图像创建到一个分离的缓冲区，缓冲区图像分辨率高于屏幕分辨率。像素数量加倍之后，选取2个或4个邻近像素进行混合，使得生成的最终像素拥有邻近像素的特征，从而使像素与像素之间的过渡色彩变得更为近似，整个图像的色彩过渡趋于平滑。把处理后的像素输出到帧缓冲，作为一幅图像存储起来，并作为当前帧显示在显示器上。
由此可见，SSAA的处理思路比较简单直接，因此虽然效果较好但由于每个像素需要进行多次采样导致需要消耗较多资源，处理速度较慢。
3、时间性抗锯齿（temporal antialiasing，TAA）：TAA的原理和SSAA大致相同，都是每个像素点有多个采样点。但是不同于SSAA在同一帧中多次采样的方式，TAA通过综合历史帧中对应像素的数据来实现抗锯齿，从而将每个像素点的多次采样均摊到多个帧中，减小资源开销。
TAA的大致过程为：渲染前，给整个画面一个小扰动量，以确保每帧都能获得不一样的信息。扰动量小于1像素，且是伪随机的，通常是将这个扰动量加到变换矩阵中作为一个平移量。渲染画面的同时，输出每个像素的速度，记录到一张贴图中。像素速度定义为这一帧该顶点的屏幕位置减去上一帧该顶点的屏幕位置。根据像素速度，在历史帧中回溯该像素在历史中对应的位置，该位置对应的样本也就是该像素的历史信息。将这个历史像素与当前帧的像素进行线性混合后，得到的结果就是最后被输出的像素。该输出像素既包含历史信息又包含当前帧信息，因而能比当前帧本身更加准确地描述画面信息，减少锯齿。将混合后的像素输出至显示设备，并记录作为下一帧的历史信息。
4、时间超采样（temporal super-sampling，TSS）：TSS技术是TAA技术的一种变体，同时结合了SSAA的思路。TSS技术与TAA的区别在于，TSS处理的对象为低分辨率下渲染生成的图像，而历史信息和输出图像均为高分辨率图像。因此，TSS需要先将先将低分辨率图像通过滤波上采样到高分辨率图像作为当前帧，使其与历史帧和目标输出具有相同的分辨率，从而混合当前帧像素与历史帧中的对应像素，获得待输出的像素。
因为TSS中获取高分辨率图像时，采样点不一定覆盖到高分辨率图像的每一个像素。因此当前帧与历史信息的混合是有选择性进行的：当前帧的采样位置由扰动量决定，而每个像素根据离采样位置的距离，对当前帧进行采信。通过高分辨率图像中像素的权重值反映对当前帧的采信程度，像素的权重值也可以叫做像素的信度，用符号conf表示。例如，当前帧的采样位置远离该像素，未能落到该像素所处格子上，则该像素的权重值为0，不予混合当前帧信息，通过历史信息获取输出的像素。
然而，无论是TAA还是TSS技术都面临一个问题，历史信息可能已经过期。例如，对于光照、反射、阴影发生变化，或物体之间的遮罩关系发生变化等情况，导致历史信息已经失效时，需要丢弃历史信息，只采信当前帧的信息，否则画面中会出现错误的内容。例如，物体遮罩关系发生变化时，如果没有及时丢弃历史信息，下一帧中前景遮挡物将在背景被遮挡物上拖出一道残影；又例如，物体的光照条件发生变化时，采信不可用的历史信息会导致物体表面的反射、投影会滞后于实际应有的情况。
为了避免使用已失效的历史信息导致画面出现错误，目前的解决方案一般都采用了较为谨慎的标准筛选能够采信的历史信息，且标准考量的维度较为单一。
例如，以目标像素周围3×3空间范围内的9个像素的颜色值作为参考标准，舍弃超出最大值或最小值范围的历史信息。
再例如，以目标像素周围3×3空间范围内的9个像素的颜色值的期望和方差作为参考标准，只采信只能出现在该期望周围的若干个方差内的历史信息。如果历史信息超出该范围，则截断历史信息到上限/下限。同时，以像素是否运动作为调整范围的依据，对于有运动速度的像素，该范围为0.5个标准差；对于运动速度为0的像素，该范围为2.5个标准差。
上述解决方案可以一定程度上减少失效历史信息的干扰，但可能会导致很多可用的未失效历史信息也被抛弃。例如，对于以空间范围内的期望和标准差作为标准的方案，如果画面中的细小细节因为信号起伏较大、离群值较多则会被不正确地抛弃，从而导致细节模糊、边缘因采样数量不够出现锯齿等不良后果。再例如，以像素速度作为调整范围的依据，对于物体在平移且遮罩关系并未发生改变的场景，会因为像素存在速度导致较多的历史信息被抛弃。但由于目标像素周围的环境是稳定且未发生变化的，实际上历史信息并未失效，上述判别标准导致原本可用的历史信息被舍弃，抗锯齿的处理效果变差。
鉴于此，本申请实施例提供一种处理图像的方法，提供更精细且参考维度更多的历史信息判别标准，从而在时域上提供更多的有效采样，获得质量更高、时间稳定性更好的输出画面。通过提出一种新的参数，像素的速度散度，本申请实施例提供的方法可以根据像素的速度散度确定当前帧像素与前一帧像素的混合比，更本质地判别几何信息中导致历史失效的情况，从而尽可能多地保留画面细节，提高图像的输出效果。
为了更好地理解本申请实施例的方案，下面结合图1对本申请实施例提供的方法进行说明。
图1示出了本申请实施例提供的一种处理图像的方法的示意性流程图。
如图1所示，该方法包括如下步骤。
S110：获取第一图像。
例如，在步骤S110中，计算设备可以获取当前帧图像。具体地，当前帧图像具有与历史信息和待输出的显示设备相同的分辨率，其中，历史信息指的是最终输出至显示设备的历史帧的图像。为了便于举例说明，下文中将获取到的当前帧图像称为第一图像，最终输出至显示设备的前一帧图像称为第二图像，第一图像和第二图像的像素数量相同。可选地，使用颜色值描述像素的颜色，第一像素为第一图像的多个像素中的一个，第一颜色值为第一像素的颜色值。
可选地，第一图像可以通过将低分辨率下渲染得到的画面通过上采样提高分辨率获得。上采样方式包括但不限于兰佐斯（Lanzcos）采样、蒙特卡洛采样等，本申请不做具体限定。以Lanzcos2滤波上采样为例，将低分辨率下渲染得到的画面通过Lanzcos2滤波上采样到高分辨率的第一图像后，第一图像中每个像素根据与采样点的距离具有Lanzcos2权重，将每个像素的Lanzcos2权重最大值记作信度（conf），也可以称为该像素的权重值，用于表示低分辨率图像中的像素对高分辨率图像中的像素的贡献程度。
应理解，上述通过提高低分辨率图像的像素数获取高分辨率图像仅是获取第一图像的一种方式，本申请并不限定第一图像是通过上采样获取的。获取第一图像也可以不经过分辨率变化，例如，第一图像可以是在高分辨率下直接渲染生成的图像；再例如，计算机设备也可以在高分辨率下（和待输出的显示设备分辨率相同）渲染生成图像，再通过不改变分辨率的处理获取第一图像，本申请不做具体限定。上述情况下，第一图像中每个像素都从当前帧获取了信息，因此像素的权重值均为1。
S120：根据第一像素的像素速度，在第二图像中确定第二像素。
例如，在步骤S120中，计算设备可以根据第一图像中每个像素的速度，在第二图像中回溯得到对应的像素。具体地，如上文所述，第二图像为最终输出至显示设备的前一帧图像，像素速度用于表示当前帧中像素所表示的几何形状在屏幕上的位置相对于前一帧中该几何形状所对应的像素在屏幕上的位置移动的距离和方向。可选地，第一像素根据第一像素的像素速度在第二图像中回溯确定的像素称为第二像素，第二像素的颜色值称为第二颜色值。可选地，第一像素的像素速度可以在当前帧图像渲染生成时确定，例如，将当前帧中第一像素所表示的几何形状的顶点在屏幕上的位置减去前一帧中该顶点的屏幕位置以生成第一像素的像素速度，屏幕位置可以由对应帧渲染时的变换矩阵乘以该顶点的坐标位置计算得到。
由于第二图像为最终输出至显示设备的前一帧图像，即第二图像实际上是由前一帧渲染生成的图像与历史帧中包含的信息混合生成的，因此第二像素中实际包括了时域序列上一系列历史帧中对应像素的信息。因此引入两个新的参数，有效样本数
Figure SMS_63
和时域二阶矩
Figure SMS_64
，用于反映前一帧像素中包含的历史信息在时域上的统计分布规律。具体地，有效样本数/>
Figure SMS_65
用于表示第二像素中混合的有效像素的数量，时域二阶矩/>
Figure SMS_66
用于表示有效像素的颜色值的波动范围，有效像素是对第二颜色值有贡献的历史帧中的像素。
可选地，根据像素速度回溯确定第二像素后，计算设备还可以获取第二像素的有效样本数和时域二阶矩。例如，第二图像生成并输出至显示设备后，计算设备可以将第二像素的颜色值以及第二像素对应的有效样本数和时域二阶矩等信息记录在存储器中，从而在处理第一图像时能够从存储器中获取第二颜色值以及第二像素的有效样本数和时域二阶矩。
由于最终输出至显示设备的像素均是当前像素与历史像素按照一定混合比混合生成的，因此有效样本的数量和时域二阶矩无法通过统计方法获取真实值，但是可以根据前一帧的有效样本数和时域二阶矩以及当前帧与前一帧的混合比计算当前帧的有效样本数和时域二阶矩的等效值。
当有前一帧信息可以参考时，当前帧中像素的有效样本数和时域二阶矩可以根据如下递推公式确定：
Figure SMS_67
其中，
Figure SMS_68
为当前帧像素与前一帧输出像素的混合比，/>
Figure SMS_69
为当前帧像素的有效样本数，/>
Figure SMS_70
为前一帧输出像素的有效样本数，/>
Figure SMS_71
为当前帧像素的时域二阶矩，/>
Figure SMS_72
为前一帧输出像素的时域二阶矩，curr为当前帧像素的颜色值。
当没有前一帧信息可以参考时，例如当前帧为初始帧的情况，当前帧中像素的有效样本数和时域二阶矩为初始值，此时有效样本数和时域二阶矩均为0。
S130：根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比。
例如，在步骤S130中，计算设备可以根据当前帧中第一像素的速度散度，确定第一像素与前一帧输出图像中的第二像素的混合比
Figure SMS_73
，其中，第一像素的第一颜色值和第二像素的第二颜色值按照该混合比/>
Figure SMS_74
混合确定的颜色值作为当前帧最终输出至显示设备上的像素的颜色值。
其中，第一像素的速度散度是根据第一像素的邻域空间中边缘像素的像素速度确定的。邻域空间为第一图像中以第一像素为中心的K×K个像素构成的正方形范围，K为大于1的奇数，边缘像素是邻域空间中最外围一圈的像素。以K×K大小的邻域空间为例，邻域空间中位于第1列、第K列、第1行以及第K行的像素称为边缘像素，其中第1列的像素为左侧边缘像素，第K列的像素为右侧边缘像素，第1行的像素为上侧边缘像素，第K行的像素为下侧边缘像素。第一像素的速度散度根据邻域空间中右侧边缘像素与左侧边缘像素在x方向上的像素速度之差，以及上侧边缘像素与下侧边缘像素在y方向上的像素速度之差计算获得的。
具体地，第一像素的速度散度可以根据如下公式定义：
Figure SMS_75
其中，
Figure SMS_76
为第一像素的K×K邻域空间内的速度散度，邻域空间为第一图像中以第一像素为中心的像素构成的正方形范围，K为邻域空间每条边上像素的数量，K为大于1的奇数；a为第一图像中的像素输出到屏幕上的边长；/>
Figure SMS_77
为第一像素输出到屏幕上的坐标；/>
Figure SMS_78
为输出到屏幕的坐标/>
Figure SMS_79
处的像素的像素速度在x方向上的分量；/>
Figure SMS_80
为输出到屏幕的坐标/>
Figure SMS_81
处的像素的像素速度在y方向上的分量。
可选地，邻域空间的大小K可以根据实际判别标准的需求调整，优选地，可以取K等于5的邻域空间。
可选地，计算设备可以根据速度散度调整历史信息的有效范围，从而根据历史信息是否落入该有效范围内实现对混合比的调控。例如，当速度散度为0时，说明该邻域空间内的像素没有速度差，邻域空间内的像素静止或以相同的速度运动，因此该像素在当前帧中的周围环境相对于前一帧没有发生剧烈改变，因此可以给予较大的有效范围，从而使更多的历史信息落入有效范围，可能获得更偏向于历史信息的混合比；又例如，当速度散度不为0时，说明该邻域空间内的像素也存在相对运动，该像素在当前帧中的周围环境相对于前一帧可能已经发生改变，因此通过降低有效范围的方式舍弃更多的历史信息，从而获得可能更偏向于当前帧像素的混合比。
S140：根据混合比，确定第三颜色值。
例如，在步骤S140中，计算设备可以按照S130中确定的当前帧像素与历史信息的混合比
Figure SMS_82
，将第一像素的第一颜色值与第二像素的第二颜色值混合，从而确定当前帧最终输出至显示设备上的像素的颜色值。可选地，计算设备还可以将混合后的像素颜色值信息存储在存储器中，作为下一帧的历史信息。
具体地，当前帧的输出像素的颜色值可以按照以下公式确定：
Figure SMS_83
其中，
Figure SMS_84
为当前帧与历史信息的混合比，curr为第一像素的第一颜色值，hist为第二像素的第二颜色值。
可选地，计算设备还可以根据上述混合比生成当前帧中第一像素的有效样本数
Figure SMS_85
和时域二阶矩/>
Figure SMS_86
并存储在存储器中，为下一帧提供参考信息。第一像素的有效样本数
Figure SMS_87
和时域二阶矩/>
Figure SMS_88
的计算方式符合前文所述的有效样本数和时域二阶矩的递推公式，具体如下：
Figure SMS_89
其中，
Figure SMS_90
为混合比，/>
Figure SMS_91
为第一像素的有效样本数，/>
Figure SMS_92
为第二像素的有效样本数，/>
Figure SMS_93
为第一像素的时域二阶矩，/>
Figure SMS_94
为第二像素的时域二阶矩，curr为第一颜色值。
通过本申请实施例的技术方案，通过引入新的参数速度散度作为判断历史像素信息是否可用的参考量，像素的速度散度相对于像素速度能够更本质地反映像素周围的几何形状是否发生了改变，从而能够避免像素运动过程中错误地将可用的前一帧像素的信息舍弃，尽可能多地保留画面细节，提高图像的输出效果。
对于上述步骤S130，在一些可能的实施方式中，为了进一步细化有效范围的确定标准，在满足一定条件时可以引入反映历史信息在时域上的统计分布规律的参数（例如前文所述的有效样本数
Figure SMS_95
和时域二阶矩/>
Figure SMS_96
），从而为判断历史信息是否失效在更多维度上提供可用的参考信息，提高判断标准的准确性。
在该情况下，图2示出了本申请实施例提供的另一种处理图像的方法的示意性流程图。下面结合图2以及具体实施例，对混合比
Figure SMS_97
的计算方式进行详细说明。
如图2所示，计算设备首先获取第一图像中第一像素的第一颜色值、像素速度，根据像素速度获取第二图像中第二像素的第二颜色值、有效样本数和时域二阶矩，并计算第一像素的速度散度，其中第一图像为待处理的当前帧图像，第二图像为前一帧输出至输出至显示设备的图像。可选地，上述步骤的具体实现方式可以参考前述步骤S110至S310的相关描述。
计算设备可以根据第一像素的速度散度是否为0，选择不同的最终标准差。
例如，当速度散度不为0时，选择空间标准差
Figure SMS_98
作为最终标准差/>
Figure SMS_99
，其中，空间标准差/>
Figure SMS_100
为第一像素的邻域空间内像素的颜色值的标准差（即方差的平方根）。此时当前像素的周围环境发生了变化，可能不再符合历史像素在时域上的统计分布规律，从而能够将有效范围的参考参数限制在空间标准差，不参考时间维度的信息。
例如，当速度散度为0时，根据空间标准差
Figure SMS_101
、时域标准差/>
Figure SMS_102
和第二像素的有效样本数N确定最终标准差/>
Figure SMS_103
，其中，时域标准差/>
Figure SMS_104
是第二像素中混合的有效像素的颜色值的标准差。由于时域二阶矩/>
Figure SMS_105
为第二像素中混合的有效像素的二阶矩的等效值，而有效像素的颜色值按权重混合获得的第二像素的第二颜色值hist相当于有效像素的颜色值的平均值，因此根据统计学公式可以确定：
Figure SMS_106
其中，
Figure SMS_107
为时域标准差，/>
Figure SMS_108
为第二像素的时域二阶矩，hist为第二颜色值。
最终标准差
Figure SMS_109
可以根据有效样本数N确定，有效样本数越大最终标准差/>
Figure SMS_110
越倾向于空间标准差/>
Figure SMS_111
和时域标准差/>
Figure SMS_112
中的较大值/>
Figure SMS_113
，而有效样本数越小最终标准差
Figure SMS_114
越倾向于空间标准差/>
Figure SMS_115
，具体计算公式如下：
Figure SMS_116
其中，
Figure SMS_117
为最终标准差，/>
Figure SMS_118
为空间标准差，/>
Figure SMS_119
为空间标准差/>
Figure SMS_120
与时域标准差/>
Figure SMS_121
之间的最大值，N为第二像素的有效样本数。
Figure SMS_122
表示边界约束函数，具体如下：
Figure SMS_123
Figure SMS_124
表示线性插值函数，具体如下：
Figure SMS_125
此时能够在历史有效样本数量较多时适当将有效范围从空间标准差逐渐放宽到时域标准差和空间标准差的较大值，从而避免画面中起伏较大的位置的信号被截断，导致细节丢失，同时也能保证更好的时域稳定性，避免出现画面抖动的情况。
计算设备根据速度散度的大小可以调整有效范围中最终标准差的个数
Figure SMS_126
。例如，最终标准差的个数/>
Figure SMS_127
可以在0.5至3范围内波动，速度散度越大最终标准差的个数
Figure SMS_128
越小，速度散度越小最终标准差的个数/>
Figure SMS_129
越大，具体计算公式如下：
Figure SMS_130
其中，
Figure SMS_131
为第一像素的速度散度。此时速度散度越大，即像素周围环境变化越剧烈时，有效范围逐渐减小，从而越谨慎地采信历史信息。
第二颜色值的有效范围
Figure SMS_132
根据最终标准差/>
Figure SMS_133
和最终标准差的个数/>
Figure SMS_134
确定：
Figure SMS_135
因此，当速度散度为0时将上述公式带入可知，
Figure SMS_136
为最大值3，有效范围/>
Figure SMS_137
可以根据空间标准差/>
Figure SMS_138
、时域标准差/>
Figure SMS_139
和第二像素的有效样本数N确定：
Figure SMS_140
当速度散度为0时将上述公式带入可知，有效范围
Figure SMS_141
可以根据空间标准差/>
Figure SMS_142
和速度散度/>
Figure SMS_143
确定：
Figure SMS_144
计算设备根据有效范围
Figure SMS_145
和第一颜色值curr能够确定第二颜色值hist能够被采信的上限ub与下限lb：
Figure SMS_146
Figure SMS_147
计算设备根据第二颜色值hist是否超出上限ub或下限lb，能够确定第一颜色值与第二颜色值的混合比
Figure SMS_148
。
可选地，混合比
Figure SMS_149
可以由第一混合比/>
Figure SMS_150
和第二混合比/>
Figure SMS_151
两部分组成。其中，第一混合比/>
Figure SMS_152
又可以称为基底混合比，/>
Figure SMS_153
为固定值用于采信部分历史信息作为固定的刷新。可选地，/>
Figure SMS_154
的值可以为0.0625。第二混合比/>
Figure SMS_155
又可以称为矫正混合比，用于当第二颜色值偏离第一颜色值的大小超出有效范围时对第一混合比进行修正，从而反映历史信息被截断所等效的情况。
第二混合比
Figure SMS_156
与第一颜色值curr、第二颜色值hist和有效范围/>
Figure SMS_157
的具体关系如下：
Figure SMS_158
当第二颜色值hist落入有效范围内时，第二混合比
Figure SMS_159
为0，表示不需要进行修正。当第二颜色值hist超出上限ub或下限lb时，偏离越多/>
Figure SMS_160
越大，从而使混合结果越倾向于第一颜色值curr。
在一些可能的实施方式中，第一图像可能是通过上采样有低分辨率图像生成的，第一像素的权重值（信度）conf可能存在等于0，当前像素未从当前帧获得信息的情况。
对于上述情况，计算设备还可以判断权重值conf是否等于0，确定不同的混合比
Figure SMS_161
。
例如，当权重值conf不为0时，此时第一像素从当前帧中获得了信息，能够对历史信息是否需要截断做出准确判断，因此混合比
Figure SMS_162
根据第一像素自身的第一混合比/>
Figure SMS_163
、第二混合比/>
Figure SMS_164
和权重值确定conf，具体公式如下：
Figure SMS_165
例如，当权重值conf为0时，此时第一像素未从当前帧中获得信息，此时需要借助第一像素周围四个像素的历史信息截断情况，对第一像素的混合比作出修正。此时，第一像素的第二混合比
Figure SMS_166
根据第一像素周围的四个像素的第二混合比加权平均确定，加权平均的权重为上述四个像素的权重值conf。由于，第一像素的权重值conf为0，因此根据前文所述公式，上述根据周围四个像素确定的第二混合比/>
Figure SMS_167
也为第一像素的混合比/>
Figure SMS_168
。
通过本申请实施例的技术方案，通过使用周围像素的第二混合比为权重值为零的像素的第二混合比进行补洞，使得当前像素即使未从当前帧获得信息，也能得知自己的邻域已经发生了历史信息截断，从而从众做出和邻域像素一样的决策，避免采样率较低时抛弃历史信息的邻域出现空洞。
上文结合图1和图2说明了本申请实施例提供的处理图像的方法，下面结合图3至图4对本申请实施例提供的处理图像的装置实施例进行说明。
图3示出了本申请实施例提供的一种处理图像的装置300的示意性结构框图。
如图3所示，该装置300包括：获取模块310，采样模块320，确定模块330，混合模块340。
具体地，该获取模块310用于获取第一图像，其中，第一图像包括多个像素，第一像素为多个像素中的一个，第一颜色值为第一像素的颜色值。
具体地，该采样模块320用于根据第一像素的像素速度，在第二图像中确定第二像素，其中，第二图像为第一图像前一帧的输出图像，像素速度用于表示第一像素输出到屏幕上的位置相对于第二像素输出到屏幕上的位置移动的距离和方向，第二颜色值为第二像素的颜色值。
可选地，采样模块320还用于获取第二像素的有效样本数和第二像素的时域二阶矩，其中，有效样本数用于表示第二像素中混合的有效像素的数量，时域二阶矩用于表示有效像素的颜色值的波动范围，有效像素是对第二颜色值有贡献的历史帧中的像素。
具体地，该确定模块330用于根据第一像素的速度散度，确定第一颜色值与第二颜色值的混合比，其中，速度散度用于表示第一像素的邻域空间内像素速度的通量的变化量，邻域空间为第一图像中以第一像素为中心的K×K个像素构成的正方形范围，K为大于1的奇数。
可选地，确定模块330具体用于根据速度散度，确定第二颜色值的有效范围，有效范围用于表示第二颜色值允许偏离第一颜色值的大小；根据第二颜色值与有效范围的关系，确定混合比。
可选地，当速度散度为0时，确定模块330具体用于根据空间标准差、时域标准差和第二像素的有效样本数确定有效范围，其中，空间标准差是邻域空间内像素的颜色值的标准差，时域标准差是有效像素的颜色值的标准差，时域标准差根据第二像素的时域二阶矩和第二颜色值确定。
可选地，当速度散度不为0时，确定模块330具体用于根据空间标准差确定有效范围，其中，空间标准差是邻域空间内像素的颜色值的标准差。
可选地，确定模块330还用于根据速度散度，调整有效范围。
可选地，混合比由第一混合比和第二混合比组成，其中，第一混合比为固定值，第二混合比用于当第二颜色值偏离第一颜色值的大小超出有效范围时对第一混合比进行修正。确定模块330具体用于根据第二颜色值与有效范围的关系，确定第二混合比；根据第二混合比，修正第一混合比，以确定混合比。
可选地，确定模块330还用于当第一像素的权重值为0时，根据第一图像中第一像素周围的四个像素的第二混合比，确定第一像素的第二混合比，其中，第一像素的权重值用于表示第三图像中用于生成第一像素的第三像素对第一颜色值的贡献程度，第三图像的像素数小于或等于第一图像的像素数。
具体地，该混合模块340用于根据混合比，确定第三颜色值，第三颜色值为第一像素的输出的颜色值。
可选地，混合模块340还用于根据第二像素的有效样本数和混合比，生成第一像素的有效样本数；根据第二像素的时域二阶矩和混合比，生成第一像素的时域二阶矩。
其中，上述装置300中的模块均可以通过软件实现，或者可以通过硬件实现。
需要说明的是，在其他实施例中，获取模块310、采样模块320、确定模块330和混合模块340可以分别用于执行上述处理图像的方法中的任意步骤，获取模块310、采样模块320、确定模块330和混合模块340负责实现的步骤可根据需要指定，通过获取模块310、采样模块320、确定模块330和混合模块340分别实现上述处理图像的方法中不同的步骤来实现处理图像的装置的全部功能。
本申请还提供一种计算设备100。如图4所示，计算设备100包括：总线102、处理器104、存储器106和通信接口108。处理器104、存储器106和通信接口108之间通过总线102通信。计算设备100可以是服务器或终端设备。应理解，本申请不限定计算设备100中的处理器、存储器的个数。
总线102可以是外设部件互连标准（peripheral component interconnect，PCI）总线或扩展工业标准结构（extended industry standard architecture，EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。总线102可包括在计算设备100各个部件（例如，存储器106、处理器104、通信接口108）之间传送信息的通路。
处理器104可以包括中央处理器(central processing unit，CPU)、图形处理器（graphics processing unit，GPU）、微处理器（micro processor，MP）或者数字信号处理器（digital signal processor，DSP）等处理器中的任意一种或多种。
存储器106可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)。处理器104还可以包括非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器，机械硬盘（hard diskdrive，HDD）或固态硬盘（solid state drive，SSD）。
存储器106中存储有可执行的程序代码，处理器104执行该可执行的程序代码以分别实现前述获取模块、采样模块、确定模块和混合模块的功能，从而实现上述处理图像的方法。也即，存储器106上存有用于执行上述处理图像的方法的指令。
通信接口108使用例如但不限于网络接口卡、收发器一类的收发模块，来实现计算设备100与其他设备或通信网络之间的通信。
本申请实施例还提供一种芯片，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，以执行上述处理图像的方法。
本申请实施例还提供了一种包含指令的计算机程序产品。所述计算机程序产品可以是包含指令的，能够运行在计算设备上或被储存在任何可用介质中的软件或程序产品。当所述计算机程序产品在至少一个计算设备上运行时，使得至少一个计算设备执行上述处理图像的方法。
本申请实施例还提供了一种计算机可读存储介质。所述计算机可读存储介质可以是计算设备能够存储的任何可用介质或者是包含一个或多个可用介质的数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘）等。该计算机可读存储介质包括指令，所述指令指示计算设备执行上述处理图像的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的保护范围。

Claims (19)

1.一种处理图像的方法，其特征在于，包括：
获取第一图像，其中，所述第一图像包括多个像素，第一像素为所述多个像素中的一个，第一颜色值为所述第一像素的颜色值；
根据所述第一像素的像素速度，在第二图像中确定第二像素，其中，所述第二图像为所述第一图像前一帧的输出图像，所述像素速度用于表示所述第一像素输出到屏幕上的位置相对于所述第二像素输出到所述屏幕上的位置移动的距离和方向，第二颜色值为所述第二像素的颜色值；
根据所述第一像素的速度散度，确定所述第一颜色值与所述第二颜色值的混合比，其中，所述速度散度用于表示所述第一像素的邻域空间内像素速度的通量的变化量，所述邻域空间为所述第一图像中以所述第一像素为中心的K×K个像素构成的正方形范围，K为大于1的奇数；
根据所述混合比，确定第三颜色值，所述第三颜色值为所述第一像素的输出的颜色值。
2.根据权利要求1所述的方法，其特征在于，所述速度散度与所述邻域空间中边缘像素的像素速度有关。
3.根据权利要求1或2所述的方法，其特征在于，所述速度散度是根据所述邻域空间每条边上的像素数量、所述第一图像中的像素输出到所述屏幕上的边长、所述邻域空间的左边缘和右边缘的边缘像素的像素速度在x方向上的分量、以及所述邻域空间的上边缘和下边缘的边缘像素的像素速度在y方向上的分量计算确定的。
4.根据权利要求1或2所述的方法，其特征在于，在所述根据所述第一像素的速度散度，确定所述第一颜色值与所述第二颜色值的混合比前，所述方法还包括：
获取所述第二像素的有效样本数和所述第二像素的时域二阶矩，其中，所述有效样本数用于表示所述第二像素中混合的有效像素的数量，所述时域二阶矩用于表示所述有效像素的颜色值的波动范围，所述有效像素是对所述第二颜色值有贡献的历史帧中的像素。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一像素的速度散度，确定所述第一颜色值与所述第二颜色值的混合比，包括：
根据所述速度散度，确定所述第二颜色值的有效范围，所述有效范围用于表示所述第二颜色值允许偏离所述第一颜色值的大小；
根据所述第二颜色值与所述有效范围的关系，确定所述混合比。
6.根据权利要求5所述的方法，其特征在于，所述根据所述速度散度，确定所述第二颜色值的有效范围，包括：
当所述速度散度为0时，根据空间标准差、时域标准差和所述第二像素的有效样本数确定所述有效范围，其中，所述空间标准差是所述邻域空间内像素的颜色值的标准差，所述时域标准差是所述有效像素的颜色值的标准差。
7.根据权利要求6所述的方法，其特征在于，所述时域标准差是根据所述第二像素的时域二阶矩和所述第二颜色值计算确定的。
8.根据权利要求6或7所述的方法，其特征在于，所述有效范围是根据所述空间标准差、所述时域标准差和边界约束函数计算确定的。
9.根据权利要求5所述的方法，其特征在于，所述根据所述速度散度，确定所述第二颜色值的有效范围，包括：
当所述速度散度不为0时，根据空间标准差确定所述有效范围，其中，所述空间标准差是所述邻域空间内像素的颜色值的标准差。
10.根据权利要求9所述的方法，其特征在于，所述根据所述速度散度，确定所述第二颜色值的有效范围，还包括：
根据所述速度散度，调整所述有效范围。
11.根据权利要求10所述的方法，其特征在于，调整后的有效范围是根据所述空间标准差、所述速度散度和边界约束函数计算确定的。
12.根据权利要求5至7中任意一项所述的方法，其特征在于，所述混合比由第一混合比和第二混合比组成，其中，所述第一混合比为固定值，所述第二混合比用于当所述第二颜色值偏离所述第一颜色值的大小超出所述有效范围时对所述第一混合比进行修正，
所述根据所述第二颜色值与所述有效范围的关系，确定所述混合比，包括：
根据所述第二颜色值与所述有效范围的关系，确定所述第二混合比；
根据所述第二混合比，修正所述第一混合比，以确定所述混合比。
13.根据权利要求12所述的方法，其特征在于，所述第二混合比是根据所述第一颜色值、所述第二颜色值和所述有效范围计算确定的。
14.根据权利要求12所述的方法，其特征在于，所述第一图像是根据第三图像生成的，所述第三图像的像素数小于或等于所述第一图像的像素数，其中，所述第一像素是根据所述第三图像中的第三像素生成的，所述第一像素的权重值用于表示所述第三像素对所述第一颜色值的贡献程度，
所述根据所述第一像素的速度散度，确定所述第一颜色值与所述第二颜色值的混合比，还包括：
当所述第一像素的权重值为0时，根据所述第一图像中所述第一像素周围的四个像素的第二混合比，确定所述第一像素的第二混合比。
15.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述第二像素的有效样本数和所述混合比，生成所述第一像素的有效样本数；
根据所述第二像素的时域二阶矩和所述混合比，生成所述第一像素的时域二阶矩。
16.根据权利要求15所述的方法，其特征在于，所述第一像素的有效样本数是根据所述第二像素的有效样本数和所述混合比计算确定的，所述第一像素的时域二阶矩是根据所述第二像素的时域二阶矩和所述混合比计算确定的。
17.一种处理图像的装置，其特征在于，包括：
获取模块，用于获取第一图像，其中，所述第一图像包括多个像素，第一像素为所述多个像素中的一个，第一颜色值为所述第一像素的颜色值；
采样模块，用于根据所述第一像素的像素速度，在第二图像中确定第二像素，其中，所述第二图像为所述第一图像前一帧的输出图像，所述像素速度用于表示所述第一像素输出到屏幕上的位置相对于所述第二像素输出到所述屏幕上的位置移动的距离和方向，第二颜色值为所述第二像素的颜色值；
确定模块，用于根据所述第一像素的速度散度，确定所述第一颜色值与所述第二颜色值的混合比，其中，所述速度散度用于表示所述第一像素的邻域空间内像素速度的通量的变化量，所述邻域空间为所述第一图像中以所述第一像素为中心的K×K个像素构成的正方形范围，K为大于1的奇数；
混合模块，用于根据所述混合比，确定第三颜色值，所述第三颜色值为所述第一像素的输出的颜色值。
18.一种计算设备，其特征在于，包括处理器和存储器，所述处理器用于执行所述存储器中存储的指令，以使得所述计算设备执行如权利要求1至16中任一项所述的方法。
19.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机指令由计算设备集群执行时，使得所述计算设备集群执行如权利要求1至16中任一项所述的方法。
CN202310436358.8A 2023-04-21 2023-04-21 处理图像的方法、装置、计算设备和计算机可读存储介质 Active CN116156089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310436358.8A CN116156089B (zh) 2023-04-21 2023-04-21 处理图像的方法、装置、计算设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310436358.8A CN116156089B (zh) 2023-04-21 2023-04-21 处理图像的方法、装置、计算设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116156089A true CN116156089A (zh) 2023-05-23
CN116156089B CN116156089B (zh) 2023-07-07

Family

ID=86339314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310436358.8A Active CN116156089B (zh) 2023-04-21 2023-04-21 处理图像的方法、装置、计算设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116156089B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876274A (zh) * 2024-03-11 2024-04-12 摩尔线程智能科技(北京)有限责任公司 处理图像的方法、装置、计算设备和计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195128B1 (en) * 1995-08-25 2001-02-27 Eidos Technologies Limited Video processing for storage or transmission
CN1672402A (zh) * 2001-04-10 2005-09-21 索尼公司 图像处理设备和方法以及图像捕获设备
CN102099830A (zh) * 2008-07-19 2011-06-15 寰宇娱乐(巴巴多斯)公司 通过平滑整个帧和覆盖保留细节改善压缩视频信号的质量的系统和方法
US20140347385A1 (en) * 2013-05-23 2014-11-27 Tomas G. Akenine-Moller Lossy color merge for multi-sampling anti-aliasing compression
US20150117832A1 (en) * 2012-07-06 2015-04-30 Fujifilm Corporation Imaging device, and image processing method
CN104821147A (zh) * 2015-05-27 2015-08-05 京东方科技集团股份有限公司 一种子像素渲染方法
US20150271461A1 (en) * 2012-12-07 2015-09-24 Fujifilm Corporation Image processing device, image processing method, and recording medium
US20160080713A1 (en) * 2013-05-23 2016-03-17 Fujifilm Corporation Pixel mixing device and method for controlling operation of same
CN108305228A (zh) * 2018-01-26 2018-07-20 网易（杭州）网络有限公司 图像处理方法、装置、存储介质及处理器
US20210398253A1 (en) * 2018-04-12 2021-12-23 Nvidia Corporation Adding greater realism to a computer-generated image by smoothing jagged edges
CN115738255A (zh) * 2022-12-06 2023-03-07 网易（杭州）网络有限公司 抗锯齿渲染方法及装置、电子设备、存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195128B1 (en) * 1995-08-25 2001-02-27 Eidos Technologies Limited Video processing for storage or transmission
CN1672402A (zh) * 2001-04-10 2005-09-21 索尼公司 图像处理设备和方法以及图像捕获设备
CN102099830A (zh) * 2008-07-19 2011-06-15 寰宇娱乐(巴巴多斯)公司 通过平滑整个帧和覆盖保留细节改善压缩视频信号的质量的系统和方法
US20150117832A1 (en) * 2012-07-06 2015-04-30 Fujifilm Corporation Imaging device, and image processing method
US20150271461A1 (en) * 2012-12-07 2015-09-24 Fujifilm Corporation Image processing device, image processing method, and recording medium
US20140347385A1 (en) * 2013-05-23 2014-11-27 Tomas G. Akenine-Moller Lossy color merge for multi-sampling anti-aliasing compression
US20160080713A1 (en) * 2013-05-23 2016-03-17 Fujifilm Corporation Pixel mixing device and method for controlling operation of same
CN104821147A (zh) * 2015-05-27 2015-08-05 京东方科技集团股份有限公司 一种子像素渲染方法
CN108305228A (zh) * 2018-01-26 2018-07-20 网易（杭州）网络有限公司 图像处理方法、装置、存储介质及处理器
US20210398253A1 (en) * 2018-04-12 2021-12-23 Nvidia Corporation Adding greater realism to a computer-generated image by smoothing jagged edges
CN115738255A (zh) * 2022-12-06 2023-03-07 网易（杭州）网络有限公司 抗锯齿渲染方法及装置、电子设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王苁蓉，吴静静，翁陈熠: "基于改进高斯混合模型的运动目标分割算法", 《轻工机械》, pages 34 - 42 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117876274A (zh) * 2024-03-11 2024-04-12 摩尔线程智能科技(北京)有限责任公司 处理图像的方法、装置、计算设备和计算机可读存储介质
CN117876274B (zh) * 2024-03-11 2024-05-10 摩尔线程智能科技(北京)有限责任公司 处理图像的方法、装置、计算设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN116156089B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
US10643339B2 (en) Motion based adaptive rendering
US7403208B1 (en) Generation of jittered sub-pixel samples using programmable sub-pixel offsets
CN110377264B (zh) 图层合成方法、装置、电子设备及存储介质
US6975329B2 (en) Depth-of-field effects using texture lookup
US7348996B2 (en) Method of and system for pixel sampling
US6768491B2 (en) Barycentric centroid sampling method and apparatus
US8233006B2 (en) Texture level tracking, feedback, and clamping system for graphics processors
US20140092012A1 (en) Adaptive tone map to a region of interest to yield a low dynamic range image
CN116156089B (zh) 处理图像的方法、装置、计算设备和计算机可读存储介质
BR112019012641B1 (pt) Método e dispositivo para renderização foveation, e memória legível por computador
US20190035049A1 (en) Dithered variable rate shading
CN105225264B (zh) 基于运动的自适应渲染
CN107194890B (zh) 使用多分辨率改善图像质量的方法及装置
US9230361B2 (en) Antialiasing image generation apparatus for selecting an antialiasing technique to be applied to a pixel using pixel data
CN115237522A (zh) 页面自适应展示方法及装置
CN115994875A (zh) 用于改善数字图像质量的方法和系统
US11922611B2 (en) Methods and systems for accelerated image rendering with motion compensation
US8554008B2 (en) Anti-aliasing system and method
CN111882498A (zh) 图像处理方法、装置、电子设备及存储介质
CN113283543B (zh) 一种基于WebGL的图像投影融合方法、装置、存储介质和设备
CN117876274B (zh) 处理图像的方法、装置、计算设备和计算机可读存储介质
US8212835B1 (en) Systems and methods for smooth transitions to bi-cubic magnification
CN112419147B (zh) 图像渲染方法及装置
US11288788B2 (en) Anti-aliasing for distance field graphics rendering
CN113781620B (zh) 游戏中的渲染方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant