CN111200716A - 特征映射缩放的精度补偿方法、系统及存储介质 - Google Patents

特征映射缩放的精度补偿方法、系统及存储介质 Download PDF

Info

Publication number
CN111200716A
CN111200716A CN202010017787.8A CN202010017787A CN111200716A CN 111200716 A CN111200716 A CN 111200716A CN 202010017787 A CN202010017787 A CN 202010017787A CN 111200716 A CN111200716 A CN 111200716A
Authority
CN
China
Prior art keywords
horizontal
vertical
feature
phase
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010017787.8A
Other languages
English (en)
Other versions
CN111200716B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Eeasy Electronic Tech Co ltd
Original Assignee
Zhuhai Eeasy Electronic Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Eeasy Electronic Tech Co ltd filed Critical Zhuhai Eeasy Electronic Tech Co ltd
Priority to CN202010017787.8A priority Critical patent/CN111200716B/zh
Publication of CN111200716A publication Critical patent/CN111200716A/zh
Application granted granted Critical
Publication of CN111200716B publication Critical patent/CN111200716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种特征映射缩放的精度补偿方法，包括以下步骤：获取原始特征和目标特征的映射数据，其中所述映射数据至少包括位宽、通道数、特征水平像素个数以及特征垂直像素个数；根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，在通道数所指示的各个通道上基于位宽分别计算所述目标特征在水平方向和垂直方向上的插值坐标；根据所述原始特征映射和所述目标特征各自的插值坐标，在通道数所指示的各个通道上基于位宽计算所述原始特征在目标特征的各个插值坐标处的插值权重；根据原始特征在各个位置的像素值和在各个插值坐标处的插值权重，确定目标特征映射。本申请还公开了相应的计算机系统和存储介质。

Description

特征映射缩放的精度补偿方法、系统及存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及用于双线性缩放算法中的特征映射缩放的精度补偿方法、系统及存储介质。
背景技术
在计算机视觉领域中，深度神经网络的研究受到了广泛的关注，尤其是其中卷积神经网络得到了快速的发展。相比已有技术，卷积神经网络在众多如人脸检测识别、语音识别、物体分类等应用的准确率上得到大幅提升。其中部分应用的准确率甚至已超过人类的平均水平。这使基于卷积神经网络技术的电子产品投入现实生活成为了可能。在常规应用中，完成一次卷积神经网络计算往往需要上十亿(giga)次甚至万亿(tera)次的乘加运算，这使得数据交互量也较高。目前主要的卷积神经网络方案有以下几种：使用通用CPU(Central Processing Unit，中央处理器)处理，然而CPU没有大量的专用乘加电路和没有专用的数据存储通路，使得能耗比较低；使用专用GPU(Graphic Processing Unit，图形处理器)处理，虽然新型的GPU内置有专门为卷积神经网络而设的乘加运算阵列，能够高效地处理大部分网络结构，但是其功耗也较大，在移动设备等应用场合中并不适用；使用FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)和ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)处理，前者通过配套的EDA(ElectronicsDesign Automation，电子设计自动化)软件工具，能实现较高效的专用电路设计，后者能更灵活地实现专用电路，两者都能达到较高的能效比，满足不同运算密度的要求。
在目标检测、语义分割的应用中，Mask R-CNN(Mask Region-based ConvolutionNeural Network)就凭借较高的AP(Average Precision，平均精度)成为一个较常用的神经网络模型。相对于较早的Faster R-CNN模型，Mask R-CNN的一个重要改进是使用ROI(Region On Interest，显示区域开窗)Align(对齐)替代ROI Pooling(池化)，其核心思想是先使用双线性缩放再进行Pooling，减少或甚至取消在ROI Pooling过程中ROI边界上和bins中的量化计算量，从而提高了分割精度。
ROI Align中使用到的双线性缩放算法早已在经典图像视频领域有广泛的应用。其重要功能之一是把原始宽高尺寸为[Win,Hin]的图像或视频帧的三原色或亮度通道变换成目标宽高尺寸[Wout,Hout]。不同的是，由于在卷积神经网络中，处理的对象是特征映射(Feature Map)，因此其实际通道数的范围可以从1到几千不等，从而在卷积神经网络专用电路中，通常需要执行多通道并行计算以提高处理速度。
发明内容
为减少专用电路的复杂度，常用的专用电路设计方法需要把浮点乘除法转换成定点运算。因为原始宽高与目标宽高并不一定是整除关系，所以若需保证电路的误差范围越小，定点小数位则需要相应地变大，而成本也随之上升。本申请提出一种特征映射缩放的精度补偿方法、系统及存储介质，能够获得在保证相同精度的同时，实现减少电路复杂度，从而降低电路成本的效果。
为了实现上述目的，本申请采用以下的技术方案。
在第一方面，本申请提出一种特征映射缩放的精度补偿方法，包括以下步骤：获取原始特征和目标特征的映射数据，其中所述映射数据至少包括位宽、通道数、特征水平像素个数以及特征垂直像素个数；根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，在通道数所指示的各个通道上基于位宽分别计算所述目标特征在水平方向和垂直方向上的插值坐标；根据所述原始特征映射和所述目标特征各自的插值坐标，在通道数所指示的各个通道上基于位宽计算所述原始特征在目标特征的各个插值坐标处的插值权重；根据原始特征在各个位置的像素值和在各个插值坐标处的插值权重，确定目标特征映射。
在本申请的上述方法实施例中，计算所述目标特征在水平方向和垂直方向上的插值坐标的步骤还包括以下子步骤：根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，分别计算计算所述目标特征在水平方向上的水平缩放比例因子和在垂直方向上的垂直缩放比例因子；基于所述水平缩放比例因子和所述垂直缩放比例因子，通过双线性插值所述原始特征的坐标确定所述目标特征在水平方向和垂直方向上的插值坐标。
在本申请的上述一个或多个方法实施例中，计算所述原始特征在各个插值坐标处的权重的步骤还包括以下子步骤：分别在水平方向和垂直方向上初始化水平累计相位和垂直累计相位；通过迭代更新水平累计相位和垂直累计相位，分别计算各个目标特征在水平方向和垂直方向上的插值坐标和插值权重。其中，所述水平累计相位基于水平缩放比例因子进行更新，而所述垂直累计相位基于垂直缩放比例因子更新。
在本申请的上述一个或多个方法实施例中，所述水平累计相位还基于水平补偿值更新，而所述垂直累计相位还通过垂直补偿值更新，使得原始特征和目标特征的首行、首列、尾行和尾列的位置分别对齐。
在本申请的上述一个或多个方法实施例中，所述水平补偿值和所述垂直补偿值根据以下步骤确定：根据水平缩放比例因子和垂直缩放比例因子，确定目标特征的尾行和尾列所在的累积垂直相位位置和累积水平相位位置；通过分别比较累积垂直相位位置和累积水平相位位置与原始特征的尾行和尾列的实际位置，确定垂直偏差和水平偏差；将垂直偏差平均地分配到每次垂直累计相位的每次迭代更新中作为垂直补偿值，而将水平偏差平均地分配到每次水平累计相位的每次迭代更新中作为水平补偿值。
在本申请的上述一个或多个方法实施例中，当累计的垂直补偿值大于补偿阈值时，垂直累计相位加一，同时截断垂直补偿值；而当累计的水平补偿值大于补偿阈值时，水平累计相位加一，同时截断水平补偿值。
在本申请的上述一个或多个方法实施例中，各个通道的插值坐标和插值权重是通过共用相同的插值电路并行计算。
在本申请的上述一个或多个方法实施例中，所述水平累计相位和所述垂直累计相位通过相位累加电路计算，并存储在相位寄存器存中；所述水平补偿值和所述垂直补偿值通过相位补偿电路计算，并返回输出至相位累加电路。
在第二方面，本申请提出一种计算机系统。所述计算机系统包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。所述处理器执行所述程序时至少执行以下步骤：获取原始特征和目标特征的映射数据，其中所述映射数据至少包括位宽、通道数、特征水平像素个数以及特征垂直像素个数；根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，在通道数所指示的各个通道上基于位宽分别计算所述目标特征在水平方向和垂直方向上的插值坐标；根据所述原始特征映射和所述目标特征各自的插值坐标，在通道数所指示的各个通道上基于位宽计算所述原始特征在目标特征的各个插值坐标处的插值权重；根据原始特征在各个位置的像素值和在各个插值坐标处的插值权重，确定目标特征映射。
在本申请的上述计算机系统实施例中，计算所述目标特征在水平方向和垂直方向上的插值坐标的步骤还包括以下子步骤：根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，分别计算计算所述目标特征在水平方向上的水平缩放比例因子和在垂直方向上的垂直缩放比例因子；基于所述水平缩放比例因子和所述垂直缩放比例因子，通过双线性插值所述原始特征的坐标确定所述目标特征在水平方向和垂直方向上的插值坐标。
在本申请的上述一个或多个计算机系统实施例中，计算所述原始特征在各个插值坐标处的权重的步骤还包括以下子步骤：分别在水平方向和垂直方向上初始化水平累计相位和垂直累计相位；通过迭代更新水平累计相位和垂直累计相位，分别计算各个目标特征在水平方向和垂直方向上的插值坐标和插值权重。其中，所述水平累计相位基于水平缩放比例因子进行更新，而所述垂直累计相位基于垂直缩放比例因子更新。
在本申请的上述一个或多个计算机系统实施例中，所述水平累计相位还基于水平补偿值更新，而所述垂直累计相位还通过垂直补偿值更新，使得原始特征和目标特征的首行、首列、尾行和尾列的位置分别对齐。
在本申请的上述一个或多个计算机系统实施例中，所述水平补偿值和所述垂直补偿值根据以下步骤确定：根据水平缩放比例因子和垂直缩放比例因子，确定目标特征的尾行和尾列所在的累积垂直相位位置和累积水平相位位置；通过分别比较累积垂直相位位置和累积水平相位位置与原始特征的尾行和尾列的实际位置，确定垂直偏差和水平偏差；将垂直偏差平均地分配到每次垂直累计相位的每次迭代更新中作为垂直补偿值，而将水平偏差平均地分配到每次水平累计相位的每次迭代更新中作为水平补偿值。
在本申请的上述一个或多个计算机系统实施例中，当累计的垂直补偿值大于补偿阈值时，垂直累计相位加一，同时截断垂直补偿值；而当累计的水平补偿值大于补偿阈值时，水平累计相位加一，同时截断水平补偿值。
在本申请的上述一个或多个计算机系统实施例中，各个通道的插值坐标和插值权重是通过共用相同的插值电路并行计算。
在本申请的上述一个或多个计算机系统实施例中，所述水平累计相位和所述垂直累计相位通过相位累加电路计算，并存储在相位寄存器存中；所述水平补偿值和所述垂直补偿值通过相位补偿电路计算，并返回输出至相位累加电路。
在第三方面，本申请提出一种存储介质。其中所述存储介质中存储有计算机程序，所述计算机程序被设置为运行时至少执行以下步骤：获取原始特征和目标特征的映射数据，其中所述映射数据至少包括位宽、通道数、特征水平像素个数以及特征垂直像素个数；根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，在通道数所指示的各个通道上基于位宽分别计算所述目标特征在水平方向和垂直方向上的插值坐标；根据所述原始特征映射和所述目标特征各自的插值坐标，在通道数所指示的各个通道上基于位宽计算所述原始特征在目标特征的各个插值坐标处的插值权重；根据原始特征在各个位置的像素值和在各个插值坐标处的插值权重，确定目标特征映射。
在本申请的上述存储介质实施例中，计算所述目标特征在水平方向和垂直方向上的插值坐标的步骤还包括以下子步骤：根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，分别计算计算所述目标特征在水平方向上的水平缩放比例因子和在垂直方向上的垂直缩放比例因子；基于所述水平缩放比例因子和所述垂直缩放比例因子，通过双线性插值所述原始特征的坐标确定所述目标特征在水平方向和垂直方向上的插值坐标。
在本申请的上述一个或多个存储介质实施例中，计算所述原始特征在各个插值坐标处的权重的步骤还包括以下子步骤：分别在水平方向和垂直方向上初始化水平累计相位和垂直累计相位；通过迭代更新水平累计相位和垂直累计相位，分别计算各个目标特征在水平方向和垂直方向上的插值坐标和插值权重。其中，所述水平累计相位基于水平缩放比例因子进行更新，而所述垂直累计相位基于垂直缩放比例因子更新。
在本申请的上述一个或多个存储介质实施例中，所述水平累计相位还基于水平补偿值更新，而所述垂直累计相位还通过垂直补偿值更新，使得原始特征和目标特征的首行、首列、尾行和尾列的位置分别对齐。
在本申请的上述一个或多个存储介质实施例中，所述水平补偿值和所述垂直补偿值根据以下步骤确定：根据水平缩放比例因子和垂直缩放比例因子，确定目标特征的尾行和尾列所在的累积垂直相位位置和累积水平相位位置；通过分别比较累积垂直相位位置和累积水平相位位置与原始特征的尾行和尾列的实际位置，确定垂直偏差和水平偏差；将垂直偏差平均地分配到每次垂直累计相位的每次迭代更新中作为垂直补偿值，而将水平偏差平均地分配到每次水平累计相位的每次迭代更新中作为水平补偿值。
在本申请的上述一个或多个存储介质实施例中，当累计的垂直补偿值大于补偿阈值时，垂直累计相位加一，同时截断垂直补偿值；而当累计的水平不存在大于补偿阈值时，水平累计相位加一，同时截断水平补偿值。
在本申请的上述一个或多个存储介质实施例中，各个通道的插值坐标和插值权重是通过共用相同的插值电路并行计算。
在本申请的上述一个或多个存储介质实施例中，所述水平累计相位和所述垂直累计相位通过相位累加电路计算，并存储在相位寄存器存中；所述水平补偿值和所述垂直补偿值通过相位补偿电路计算，并返回输出至相位累加电路。
本申请所公开技术方案的有益效果为：同样定点精度下，上述技术方案所输出结果的精度相对于已有技术能达到更高；而在需要达到同样精度的条件下，上述技术方案的电路复杂度相对于已有技术更小。
附图说明
图1所示为根据本申请实施例的特征映射缩放的精度补偿方法流程图；
图2所示为原始特征和映射后目标特征的水平和垂直方向像素点位置示意图；
图3所示为特征映射缩放的插值权重计算示意图；
图4所示为根据本申请实施例分别计算水平方向和垂直方向的插值坐标和插值权重的方法流程图；
图5所示为图4中的方法用于16位定点位宽的插值误差图表；
图6所示为图4中的方法用于28位定点位宽的插值误差图表；
图7所示为根据本申请另一实施例分别计算水平方向和垂直方向的插值坐标和插值权重的方法流程图；
图8所示为图7中的方法用于16位定点位宽的插值误差图表；
图9所示为图7中的方法用于28位定点位宽的插值误差图表；
图10所示为根据本申请实施例的特征映射缩放实施电路图；
图11所示为根据本申请实施例的坐标权重计算实施电路图；
图12所示为根据本申请实施例的特征映射缩放的精度补偿系统架构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。为清晰展示本申请中技术方案的特征，附图中的元件尺寸和元件数目未必按照实际应用场景中绘制。
参照图1所示的特征映射缩放的精度补偿方法流程图，在本申请的一个或多个实施例中，特征映射缩放的精度补偿方法可以包括以下步骤：获取原始特征和目标特征的映射数据，其中所述映射数据至少包括位宽、通道数、特征水平像素个数以及特征垂直像素个数；根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，在通道数所指示的各个通道上基于位宽分别计算所述目标特征在水平方向和垂直方向上的插值坐标；根据所述原始特征映射和所述目标特征各自的插值坐标，在通道数所指示的各个通道上基于位宽计算所述原始特征在目标特征的各个插值坐标处的插值权重；根据原始特征在各个位置的像素值和在各个插值坐标处的插值权重，确定目标特征映射。
具体地，参照图2所示原始特征和映射后目标特征的水平和垂直方向像素点位置示意图。注意，为清晰说明本申请的技术方案，图2中所示出的原始特征映射的水平和垂直方向像素点位置和目标特征映射的像素点位置仅仅是示例性的，旨在说明本申请的技术方案。在实际的ROI Align算法中，特征映射一般为三维矩阵形式的向量。该三维矩阵的三个维度分别是特征通道数N，特征水平像素个数W和特征垂直像素个数H。ROI Align算法中针对特征映射的双线性缩放是对同一通道内的水平和垂直方向的像素点个数的扩展和减少，其原理类似图像缩放，且通道数在缩放前后保持不变。如图2所示，其中符号“○”代表原始特征的水平和垂直方向像素点位置，而符号“×”代表目标特征的水平和垂直方向像素点位置。在所示实施例中，原始特征的像素个数分别为Win＝4且Hin＝4，而目标特征的像素个数分别为Wout＝5，Hout＝3。通过比较目标特征映射和原始特征映射的像素个数，能够得出相应的水平缩放比例因子W_fac和垂直缩放比例因子H_fac。为方便讨论，若假设两个相邻原始像素点之间的距离为1单位，则水平缩放比例因子W_fac和垂直缩放比例因子H_fac分别表示为两个相邻目标像素点位置的水平距离和垂直距离。通常，水平缩放比例因子W_fac和垂直缩放比例因子H_fac的计算公式如下：
水平缩放比例因子W_fac＝(原始水平像素个数–1)÷(目标水平像素个数–1) (公式1)
垂直缩放比例因子H_fac＝(原始垂直像素个数–1)÷(目标垂直像素个数–1) (公式2)因此在图2所示的实施例中，W_fac＝(4-1)÷(5-1)＝0.75，而H_fac＝(4-1)÷(3-1)＝1.5。
在本申请的上述一个或多个实施例中，计算所述目标特征在水平方向和垂直方向上的插值坐标的步骤还包括以下子步骤：根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，分别计算计算所述目标特征在水平方向上的水平缩放比例因子和在垂直方向上的垂直缩放比例因子；基于所述水平缩放比例因子和所述垂直缩放比例因子，通过双线性插值所述原始特征的坐标确定所述目标特征在水平方向和垂直方向上的插值坐标。其中，水平初始相位表示第一个水平目标特征映射像素点相对于第一个水平原始特征映射像素点的位置偏移；相应地，垂直初始相位表示第一个垂直的目标特征映射像素点相对于第一个垂直原始特征映射像素点的位置偏移。为方便讨论，在上述实施例中假定该水平初始相位和垂直初始相位都为0(如图2所示)，则水平第一行、垂直第二列的目标像素点的垂直位置为垂直初始相位加上垂直缩放比例因子，水平位置不变；水平第一行、垂直第三列的目标像素点的垂直位置为水平第一行、垂直第二列的目标像素点的垂直相位加上垂直缩放比例因子，水平位置不变，后续各列依此类推。同样水平方向也能依次类推。一般情况下各使用一个累计相位来记录当前输出目标像素点的水平和垂直位置信息，用以下公式表示：
当前目标输出的水平累计相位＝前一列目标输出的水平累计相位+水平缩放比例因子 (公式3)
当前目标输出的垂直累计相位＝前一行目标输出的垂直累计相位+垂直缩放比例因子 (公式4)
位置信息的整数部分代表其落在原始特征映射的最近邻左上角参考点的坐标，小数部分代表其相对该左上角参考点的距离。
当前目标输出的最近邻左上角参考点的水平坐标＝FLOOR(当前目标输出的水平累计相位) (公式5)
当前目标输出的最近邻左上角参考点的垂直坐标＝FLOOR(当前目标输出的垂直累计相位) (公式6)
当前目标输出的最近邻左上角的水平距离＝当前目标输出的水平累计相位-当前目标输出的最近邻左上角参考点的水平坐标 (公式7)
当前目标输出的最近邻左上角的垂直距离＝当前目标输出的垂直累计相位-当前目标输出的最近邻左上角参考点的垂直坐标 (公式8)
其中，FLOOR表示向下取整函数。
参照图3所示的特征映射缩放的插值权重计算示意图，在本申请的一个或多个实施例中，计算所述原始特征在各个插值坐标处的权重的步骤还包括以下子步骤：分别在水平方向和垂直方向上初始化水平累计相位和垂直累计相位；通过迭代更新水平累计相位和垂直累计相位，分别计算各个目标特征在水平方向和垂直方向上的插值坐标和插值权重；其中，所述水平累计相位基于水平缩放比例因子进行更新，而所述垂直累计相位基于垂直缩放比例因子更新。具体地，如图3所示，通过对水平缩放比例因子和垂直缩放比例因子的累计，假设当前目标输出Q映射至的原始像素点的最近邻4个点的像素为M、N、O、P。其中，M点为其最近邻左上角点，M点的水平坐标和垂直坐标对应于上述公式5和公式6的计算结果。当前目标输出Q的水平位置信息和垂直位置信息的小数部分为a和b，分别对应于上述公式7和公式8的计算结果。在双线性插值中，Q点的像素值Q_v的计算公式如下：
Q_v＝(M_v×(1–a)+N_v×a)×(1–b)+(O_v×(1–a)+P_v×a)×b (公式9)
其中，公式9里面的(1–a)表示M和O的水平插值权重，a表示N和P的水平插值权重；(1–b)表示M和N的垂直插值权重，b表示O和P的垂直插值权重。上述公式表示距离越远的像素值，其对于目标像素值的贡献按比例越小。
在本申请的一个或多个实施例中，为减少专用电路的复杂度，可以把浮点乘除法转换成定点运算。例如，如前文所涉及的浮点型水平缩放比例因子、垂直缩放比例因子(下文统称为浮点缩放比例因子)和插值权重(下文称为浮点插值权重)可按照如下公式定点化：
定点化缩放比例因子fac_q＝FLOOR(浮点缩放比例因子fac×(1<<定点位宽fracbit)) (公式10)
定点化插值权重weight_q＝FLOOR(浮点插值权重weight×(1<<定点位宽fracbit)) (公式11)
其中，<<表示向左移位操作。然而，由于原始特征的特征水平像素个数以及特征垂直像素个数与目标特征的特征水平像素个数以及特征垂直像素个数并不一定是整除关系，因此由公式1和公式2计算的浮点缩放比例因子、公式7和公式8间接计算的浮点插值权重都有可能是小数点较长的值。随着累计相位基于公式1和公式2的递归，定点化的误差随之积累，导致坐标越大的目标像素点，其定点化后计算所得的像素值偏离浮点计算所得的值越大。由公式9的插值计算公式可知，公式中乘法器的位宽即为插值权重的定点位宽和特征映射的位宽。若需保证电路的误差范围越小，需要的定点位宽则越大，乘法器的位宽也越大，导致硬件电路的面积增大。
具体地，参照图1所示的方法流程图，设原始特征的映射数据为DI，数据位宽为BW；目标特征的映射数据为DO，数据位宽为BW。DI(i,j,k)和DO(i,j,k)代表原始特征映射和目标特征映射中坐标为通道i，宽j和高k的像素值，DO(l,m,n)代表原始特征映射和目标特征映射中坐标为通道l，宽m和高n的像素值。根据公式1、2和10，计算定点化的水平缩放比例因子WFAC和垂直缩放比例因子HFAC。然后，通过WFAC/HFAC得到各目标特征映射点的水平/垂直方向的参考点坐标WGRID(m)/HGRID(n)和插值权重WWIGT(m)/HWIGT(n)。最后，根据公式10，通过WGRID/WWIGT/HGRID/HWIGT计算出目标特征映射的像素值，具体计算过程如以下公式组12所示：
LT＝DI(l,WGRID(m),HGRID(n)) (公式12-1)
RT＝DI(l,WGRID(m)+1,HGRID(n)) (公式12-2)
LB＝DI(l,WGRID(m),HGRID(n)+1) (公式12-3)
RB＝DI(l,WGRID(m)+1,HGRID(n)+1) (公式12-4)
LT_W＝((1<<FRACBIT)–WWIGT(m))×((1<<FRACBIT)–HWIGT(n)) (公式12-5)
RT_W＝(WWIGT(m)×((1<<FRACBIT)–HWIGT(n)) (公式12-6)
LB_W＝((1<<FRACBIT)–WWIGT(m))×HWIGT(n) (公式12-7)
RB_W＝WWIGT(m)×HWIGT(n) (公式12-8)
SUM＝LT×LT_W+RT×RT_W+LB×LB_W+RB×RB×RB_W (公式12-9)
SIGN＝sign(SUM) (公式12-10)
ABS＝abs(SUM) (公式12-11)
ROUND＝1<<(FRACBIT×2–1) (公式12-12)
DO(l,m.n)＝SIGN×((ABS+ROUND)>>(FRACBIT×2)) (公式12-13)
其中，DO(l,m.n)表示当前目标特征映射像素值；LT、RT、LB、RB分别为DO(l,m.n)最近邻原始特征映射像素值；LT_W、RT_W、LB_W、RB_W分别为LT、RT、LB、RB对应的插值权重；sign()表示获取数值符号，非负数返回1，负数返回-1；abs()表示返回绝对值。计算插值权重的乘法器的两个输入位宽都为FRACBIT位，计算SUM内部的4个乘法器的两个输入位宽为FRACBIT×2和BW。
参照图4所示的子方法流程图，在本申请的一个或多个实施例中，计算所述原始特征在各个插值坐标处的权重的步骤还可以包括以下子步骤：分别在水平方向和垂直方向上初始化水平累计相位和垂直累计相位；通过迭代更新水平累计相位和垂直累计相位，分别计算各个目标特征在水平方向和垂直方向上的插值坐标和插值权重。其中，所述水平累计相位基于水平缩放比例因子进行更新，而所述垂直累计相位基于垂直缩放比例因子更新。为方便讨论，在以下实施例中，水平累计相位WLOC和垂直累计相位HLOC被初始化为0。然后，通过当前的水平累计相位WLOC和垂直累计相位HLOC，得出当前目标特征映射点的如下水平方向的插值坐标：
WGRID(m)＝WLOC(m)>>FRACBIT (公式13-1)
WWIGT(m)＝(WLOC(m)&FRACBIT_MASK)>>FRACBIT (公式13-2)
垂直方向的插值坐标：
HGRID(n)＝HLOC(n)>>FRACBIT (公式13-3)
HWIGT(n)＝(HLOC(n)&FRACBIT_MASK)>>FRACBIT (公式13-4)
和插值权重：
FRACBIT_MASK＝(1<<FRACBIT)–1 (公式13-5)
其中，WGRID(m)表示第m列目标特征映射点的插值坐标；HGRID(n)表示第n行目标特征映射点的插值坐标；WWIGT(m)表示第m列目标特征映射点的左边插值点的插值权重；HWIGT(n)表示第n行目标特征映射点的上边插值点的插值权重。下一列目标特征映射点的水平累计相位WLOC(m+1)：
WLOC(m+1)＝WLOC(m)+WFAC (公式14-1)
下一行目标特征映射点的垂直累计相位HLOC(n+1)：
HLOC(n+1)＝HLOC(n)+HFAC (公式14-2)
图5是16位定点位宽的插值误差图表。其中纵坐标代表定点电路与浮点电路计算插值像素点的误差值，横坐标代表目标像素的输出垂直坐标。参与运算的原始像素值随机产生，位宽BW＝16，原始特征是DI(1,1,4094)，目标特征是DO(1,1,4095)。定点化时设定定点位宽FRACBIT＝16，得出最大误差-3540，且得出大致趋势为随着坐标值增大，误差呈现总体增大。
图6是28位定点位宽的插值误差图表。图6的横纵坐标与图5的横纵坐标相同。参与运算的原始像素值、位宽BW、原始特征和目标特征尺寸与图5相同。定点化时设定定点位宽FRACBIT＝28，得出最大误差±1，且误差分布较平均，与坐标值大小无关。对比图5和图6的结果可知，虽然随着FRACBIT的增加而误差减少，但是随之用于插值的乘法器位宽增大而提高了成本。
为此，参照图7所示的方法流程图，在本申请的一个或多个实施例中，所述水平累计相位还基于水平补偿值更新，而所述垂直累计相位还通过垂直补偿值更新，使得原始特征和目标特征的首行、首列、尾行和尾列的位置分别对齐。具体地，在计算水平累计相位和垂直累计相位时，补偿步进COMP_STEP和补偿阈值COMP_THR被引入以减少上述误差。其中，水平补偿步进W_COMP_STEP由以下公式计算所得：
W_COMP_STEP＝(W–1)*(1<<FRACBIT)–(WO–1)*WFAC (公式15-1)
类似地，垂直补偿步进H_COMP_STEP由以下公式计算所得：
H_COMP_STEP＝(H–1)*(1<<FRACBIT)–(HO–1)*HFAC (公式15-2)
对于水平补偿步进W_COMP_STEP，其意义在于根据公式1，在理想情况下，尾列坐标为(WO-1)的目标点的累积水平相位位置(WO-1)×WFAC。该累积水平相位位置应该等于尾列坐标为(W-1)的原始点的相位(W-1)*(1<<FRACBIT)。然而，由于计算WFAC时引入了定点位宽，因此两者可能将不再相等。为了补偿这两者之间的差异，有必要将两者偏差较平均地分配到每次累计相位更新中，便能达到补偿的目的。垂直补偿步进H_COMP_STEP的物理意义与此类似。
在理想情况下，每输出一列，都应对累计相位平等地加上(W_COMP_STEP)÷(WO–1)的补偿值。因为此处使用“较平均”是由于补偿值并非一定能整除，所以本申请的一个或多个实施例采用动态累计的方法，即所述水平补偿值和所述垂直补偿值根据以下步骤确定：根据水平缩放比例因子和垂直缩放比例因子，确定目标特征的尾行和尾列所在的累积垂直相位位置和累积水平相位位置；通过分别比较累积垂直相位位置和累积水平相位位置与原始特征的尾行和尾列的实际位置，确定垂直偏差和水平偏差；将垂直偏差平均地分配到每次垂直累计相位的每次迭代更新中作为垂直补偿值，而将水平偏差平均地分配到每次水平累计相位的每次迭代更新中作为水平补偿值。具体地，当水平累计相位WLOC和垂直累计相位HLOC被初始化为0后，下一列目标特征映射点的水平累计补偿WCOMP(m+1)根据以下公式确定：
WCOMP(m+1)＝WCOMP(m)+W_COMP_STEP (公式16-1)
相应地，下一行目标特征映射点的垂直累计补偿HCOMP(n+1)根据以下公式确定
HCOMP(n+1)＝HCOMP(n)+H_COMP_STEP (公式16-2)
进一步地，在本申请的一个或多个实施例中，当累计的垂直补偿值大于补偿阈值时，垂直累计相位加一，同时截断垂直补偿值；而当累计的水平补偿值大于补偿阈值时，水平累计相位加一，同时截断水平补偿值。其中，水平补偿阈值根据以下公式计算：
W_COMP_THR＝WO–1 (公式17-1)
相应地，垂直补偿阈值根据以下公式计算：
H_COMP_THR＝HO–1 (公式17-2)
这样，每输出一列或者一行，累计的补偿值(垂直补偿值或水平补偿值)叠加补偿步进，并判断当累计的垂直补偿值或水平补偿值大于等于补偿阈值，则对累计相位加1，同时累计补偿截断(即减去补偿阈值)。这样，当输出(WO-1)列或(HO-1)行后，水平累计相位共补偿W_COMP_STEP而垂直累计相位共补偿H_COMP_STEP，从而达到相位补偿的目的。例如，当判断水平累计补偿WCOMP(m+1)大于等于W_COMP_THR时，则对下一列目标特征映射点的水平累计相位WLOC(m+1)加1：
WLOC(m+1)＝WLOC(m+1)+1 (公式18-1)
且对水平累计补偿进行截断：
WCOMP(m+1)＝WCOMP(m+1)–W_COMP_THR (公式18-2)
垂直方向的处理类似，即当判断垂直累计补偿HCOMP(n+1)大于等于H_COMP_THR时，则对下一行目标特征映射点的垂直累计相位HLOC(n+1)加1：
HLOC(n+1)＝HLOC(n+1)+1 (公式19-1)
且对垂直累计补偿进行截断：
HCOMP(n+1)＝HCOMP(n+1)–H_COMP_THR (公式19-2)
图8是基于上述图7所示方法的16位定点位宽的插值误差图表。其横纵坐标与图5的横纵坐标相同。参与运算的原始像素值、位宽BW、原始特征和目标特征尺寸与图5相同。定点化时设定定点位宽FRACBIT＝16。此时，该方法的最大误差±1，且误差分布较平均，与坐标值大小无关。对比图5的结果可知，在相同的定点位宽且用于插值的乘法器位宽不变的情况下，图7所示的方法能够使计算结果精度大幅上升。对比图6的结果可知，其在较小的定点位宽的条件下能够达到与未补偿但具有与较大的定点位宽的实施例相当的精度。
图9是基于上述图7所示方法的28位定点位宽的插值误差图表。其横纵坐标与图5的横纵坐标相同。参与运算的原始像素值、位宽BW、原始特征和目标特征尺寸与图5相同。定点化时设定定点位宽FRACBIT＝16。此时，该方法的误差为零。对比图6的结果可知，在相同的定点位宽且用于插值的乘法器位宽不变的情况下，图7所示的方法仍优于未补偿方法。
参照图10所示的特征映射缩放实施电路图，在本申请的一个或多个实施例中，各个通道的插值坐标和插值权重是通过共用相同的插值电路并行计算。具体地，水平方向的插值坐标和插值权重计算电路和垂直方向的插值坐标和插值权重计算电路分别计算水平和垂直方向的目标特征映射的插值坐标与权重，由于特征映射缩放中，通道之间的宽高缩放比例一致，因此由此计算的参考坐标和权重能被多个通道共用。插值电路1～N并行处理通道1～N的特征映射插值，并输出目标特征映射。
参照图11所示的坐标权重计算实施电路图，在本申请的一个或多个实施例中，所述水平累计相位和所述垂直累计相位通过相位累加电路计算，并存储在相位寄存器存中；所述水平补偿值和所述垂直补偿值通过相位补偿电路计算，并返回输出至相位累加电路。具体地，相位累加电路计算累计相位。相位寄存器存储当前累计相位。相位补偿电路根据补偿步进、补偿阈值以及当前累计补偿，对累计相位进行加1或加0运算。上述输出被返回至相位累计电路，用作下一列/行的相位累加计算。参考点坐标计算电路获取当前累计相位的整数部分，用于寻址当前目标像素对应的原始像素坐标值，输出坐标0代表左(或上)参考点，输出坐标1代表右(或下)参考点。权重计算电路获取当前累计相位的小数部分，用于得出用于当前目标像素值计算的插值权重，输出权重0代表左(或上)参考点的插值权重，输出权重0代表右(或下)参考点的插值权重。该电路对水平和垂直方向的插值坐标和插值权重的计算均能适用。
图12是本发明实施例提供的特征映射缩放的精度补偿系统的示意图。如图12所示，该实施例的精度补偿系统包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如特征映射缩放的精度补偿程序。所述处理器执行所述计算机程序时实现上述各个视频流播放方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述精度补偿系统中的执行过程。
所述精度补偿系统可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述精度补偿系可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图12仅仅是精度补偿系统的示例，并不构成对精度补偿系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述精度补偿系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种特征映射缩放的精度补偿方法，包括以下步骤：
获取原始特征和目标特征的映射数据，其中所述映射数据至少包括位宽、通道数、特征水平像素个数以及特征垂直像素个数；
根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，在通道数所指示的各个通道上基于位宽分别计算所述目标特征在水平方向和垂直方向上的插值坐标；
根据所述原始特征映射和所述目标特征各自的插值坐标，在通道数所指示的各个通道上基于位宽计算所述原始特征在目标特征的各个插值坐标处的插值权重；
根据原始特征在各个位置的像素值和在各个插值坐标处的插值权重，确定目标特征映射。
2.根据权利要求1所述的精度补偿方法，其特征在于，计算所述目标特征在水平方向和垂直方向上的插值坐标的步骤还包括以下子步骤：
根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，分别计算计算所述目标特征在水平方向上的水平缩放比例因子和在垂直方向上的垂直缩放比例因子；
基于所述水平缩放比例因子和所述垂直缩放比例因子，通过双线性插值所述原始特征的坐标确定所述目标特征在水平方向和垂直方向上的插值坐标。
3.根据权利要求2所述的精度补偿方法，其特征在于，计算所述原始特征在各个插值坐标处的权重的步骤还包括以下子步骤：
分别在水平方向和垂直方向上初始化水平累计相位和垂直累计相位；
通过迭代更新水平累计相位和垂直累计相位，分别计算各个目标特征在水平方向和垂直方向上的插值坐标和插值权重；
其中，所述水平累计相位基于水平缩放比例因子进行更新，而所述垂直累计相位基于垂直缩放比例因子更新。
4.根据权利要求3所述的精度补偿方法，其特征在于，所述水平累计相位还基于水平补偿值更新，而所述垂直累计相位还通过垂直补偿值更新，使得原始特征和目标特征的首行、首列、尾行和尾列的位置分别对齐。
5.根据权利要求4所述的精度补偿方法，其特征在于，所述水平补偿值和所述垂直补偿值根据以下步骤确定：
根据水平缩放比例因子和垂直缩放比例因子，确定目标特征的尾行和尾列所在的累积垂直相位位置和累积水平相位位置；
通过分别比较累积垂直相位位置和累积水平相位位置与原始特征的尾行和尾列的实际位置，确定垂直偏差和水平偏差；
将垂直偏差平均地分配到每次垂直累计相位的每次迭代更新中作为垂直补偿值，而将水平偏差平均地分配到每次水平累计相位的每次迭代更新中作为水平补偿值。
6.根据权利要求5所述的精度补偿方法，其特征在于，当累计的垂直补偿值大于补偿阈值时，垂直累计相位加一，同时截断垂直补偿值；而当累计的水平补偿值大于补偿阈值时，水平累计相位加一，同时截断水平补偿值。
7.根据权利要求1-6中任一所述的精度补偿方法，其特征在于，各个通道的插值坐标和插值权重是通过共用相同的插值电路并行计算。
8.根据权利要求5或6所述的精度补偿方法，其特征在于，所述水平累计相位和所述垂直累计相位通过相位累加电路计算，并存储在相位寄存器存中；所述水平补偿值和所述垂直补偿值通过相位补偿电路计算，并返回输出至相位累加电路。
9.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：
获取原始特征和目标特征的映射数据，其中所述映射数据至少包括位宽、通道数、特征水平像素个数以及特征垂直像素个数；
根据所述原始特征映射和所述目标特征各自的特征水平像素个数以及特征垂直像素个数，在通道数所指示的各个通道上基于位宽分别计算所述目标特征在水平方向和垂直方向上的插值坐标；
根据所述原始特征映射和所述目标特征各自的插值坐标，在通道数所指示的各个通道上基于位宽计算所述原始特征在目标特征的各个插值坐标处的插值权重；
根据原始特征在各个位置的像素值和在各个插值坐标处的插值权重，确定目标特征映射。
10.一种存储介质，其中所述存储介质中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1-8中任一项所述的方法。
CN202010017787.8A 2020-01-08 2020-01-08 特征映射缩放的精度补偿方法、系统及存储介质 Active CN111200716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010017787.8A CN111200716B (zh) 2020-01-08 2020-01-08 特征映射缩放的精度补偿方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010017787.8A CN111200716B (zh) 2020-01-08 2020-01-08 特征映射缩放的精度补偿方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111200716A true CN111200716A (zh) 2020-05-26
CN111200716B CN111200716B (zh) 2021-10-26

Family

ID=70747564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010017787.8A Active CN111200716B (zh) 2020-01-08 2020-01-08 特征映射缩放的精度补偿方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111200716B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724304A (zh) * 2020-06-12 2020-09-29 深圳市爱协生科技有限公司 一种图像缩放方法、装置、终端设备及存储介质
CN111899175A (zh) * 2020-07-30 2020-11-06 海信视像科技股份有限公司 图像转换方法及显示设备
CN112435168A (zh) * 2020-12-01 2021-03-02 清华大学深圳国际研究生院 一种参考块缩放方法及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076331A1 (en) * 2001-10-23 2003-04-24 Deering Michael F. Relative coordinates for triangle rendering
US20030160895A1 (en) * 2002-02-25 2003-08-28 Yiwei Wang Adaptive median filters for de-interlacing
CN101242506A (zh) * 2007-02-07 2008-08-13 扬智科技股份有限公司 滤波动态补偿的非反馈插值器
KR20090015566A (ko) * 2007-08-09 2009-02-12 연세대학교 산학협력단 컬러 보간 방법 및 장치
CN102770887A (zh) * 2010-01-28 2012-11-07 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于从输入图像产生像素分辨率提高的输出图像的方法和系统
US20140229158A1 (en) * 2013-02-10 2014-08-14 Microsoft Corporation Feature-Augmented Neural Networks and Applications of Same
CN107844795A (zh) * 2017-11-18 2018-03-27 中国人民解放军陆军工程大学 基于主成分分析的卷积神经网络特征提取方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN108986033A (zh) * 2018-07-26 2018-12-11 西安电子科技大学 基于双线性插值算法处理的图像缩放方法
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109447168A (zh) * 2018-11-05 2019-03-08 江苏德劭信息科技有限公司 一种基于深度特征和视频目标检测的安全帽佩戴检测方法
US20190138882A1 (en) * 2017-11-07 2019-05-09 Samusung Electronics Co., Ltd. Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization
CN109785275A (zh) * 2018-12-27 2019-05-21 珠海亿智电子科技有限公司 一种图像的色调映射方法及设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030076331A1 (en) * 2001-10-23 2003-04-24 Deering Michael F. Relative coordinates for triangle rendering
US20030160895A1 (en) * 2002-02-25 2003-08-28 Yiwei Wang Adaptive median filters for de-interlacing
CN101242506A (zh) * 2007-02-07 2008-08-13 扬智科技股份有限公司 滤波动态补偿的非反馈插值器
KR20090015566A (ko) * 2007-08-09 2009-02-12 연세대학교 산학협력단 컬러 보간 방법 및 장치
CN102770887A (zh) * 2010-01-28 2012-11-07 耶路撒冷希伯来大学伊森姆研究发展有限公司 用于从输入图像产生像素分辨率提高的输出图像的方法和系统
US20140229158A1 (en) * 2013-02-10 2014-08-14 Microsoft Corporation Feature-Augmented Neural Networks and Applications of Same
US20190138882A1 (en) * 2017-11-07 2019-05-09 Samusung Electronics Co., Ltd. Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization
CN107844795A (zh) * 2017-11-18 2018-03-27 中国人民解放军陆军工程大学 基于主成分分析的卷积神经网络特征提取方法
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN108986033A (zh) * 2018-07-26 2018-12-11 西安电子科技大学 基于双线性插值算法处理的图像缩放方法
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN109447168A (zh) * 2018-11-05 2019-03-08 江苏德劭信息科技有限公司 一种基于深度特征和视频目标检测的安全帽佩戴检测方法
CN109785275A (zh) * 2018-12-27 2019-05-21 珠海亿智电子科技有限公司 一种图像的色调映射方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈超: "卷积神经网络的发展及其在计算机视觉领域中的应用综述", 《计算机科学COMPUTER SCIENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724304A (zh) * 2020-06-12 2020-09-29 深圳市爱协生科技有限公司 一种图像缩放方法、装置、终端设备及存储介质
CN111724304B (zh) * 2020-06-12 2024-04-19 深圳市爱协生科技股份有限公司 一种图像缩放方法、装置、终端设备及存储介质
CN111899175A (zh) * 2020-07-30 2020-11-06 海信视像科技股份有限公司 图像转换方法及显示设备
CN112435168A (zh) * 2020-12-01 2021-03-02 清华大学深圳国际研究生院 一种参考块缩放方法及计算机可读存储介质
CN112435168B (zh) * 2020-12-01 2024-01-19 清华大学深圳国际研究生院 一种参考块缩放方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN111200716B (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
CN111200716B (zh) 特征映射缩放的精度补偿方法、系统及存储介质
US10860922B2 (en) Sparse convolutional neural network accelerator
CN111932437B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US8862652B2 (en) Method and apparatus for performing lossy integer multiplier synthesis
CN110519603B (zh) 一种实时视频缩放的硬件电路及其缩放方法
US10402196B2 (en) Multi-dimensional sliding window operation for a vector processor, including dividing a filter into a plurality of patterns for selecting data elements from a plurality of input registers and performing calculations in parallel using groups of the data elements and coefficients
CN111476718A (zh) 一种图像放大方法、装置、存储介质及终端设备
CN111814884A (zh) 一种基于可变形卷积的目标检测网络模型的升级方法
CN108280800A (zh) 一种量子图像卷积方法
CN115423688A (zh) 量子线路图及基于双线性插值的量子彩色图像缩放方法
JPH01124077A (ja) 画素生成方法及びシステム
JP2670875B2 (ja) 適応前進差分および整数算術を用いてパラメトリツク関数を表示する装置および整数算術を用いて実現する方法
Lin et al. Real-time FPGA architecture of extended linear convolution for digital image scaling
CN111093045B (zh) 一种缩放视频序列分辨率的方法及装置
CN116016807B (zh) 一种视频处理方法、系统、可存储介质和电子设备
CN114372934B (zh) 一种量子彩色图像锐化滤波方法及系统
Monteiro et al. Exploring the impacts of multiple kernel sizes of Gaussian filters combined to approximate computing in canny edge detection
KR101688435B1 (ko) 블록 구조를 이용한 적분 영상 생성 장치 및 그 방법
Safinaz et al. VLSI realization of Lanczos interpolation for a generic video scaling algorithm
CN111626938B (zh) 图像插值方法、图像插值装置、终端设备及存储介质
JP3627872B2 (ja) 動きベクトル検出方法及び装置
CN110580880B (zh) 一种基于rgb三角亚像素布局式的亚像素渲染方法、系统以及显示装置
Lin et al. A low-cost VLSI design of extended linear interpolation for real time digital image processing
CN110751594B (zh) 基于三关联连分式Thiele混合有理插值的图形图像渐变处理方法
CN113574862A (zh) 图像处理装置、方法、显示装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant