CN104284126B - 影像插补方法以及应用该方法的影像插补装置与影像装置 - Google Patents

影像插补方法以及应用该方法的影像插补装置与影像装置 Download PDF

Info

Publication number
CN104284126B
CN104284126B CN201410298894.7A CN201410298894A CN104284126B CN 104284126 B CN104284126 B CN 104284126B CN 201410298894 A CN201410298894 A CN 201410298894A CN 104284126 B CN104284126 B CN 104284126B
Authority
CN
China
Prior art keywords
image
reference point
value
interpolation
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410298894.7A
Other languages
English (en)
Other versions
CN104284126A (zh
Inventor
陈庆瀚
郭家铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Central University
Original Assignee
National Central University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Central University filed Critical National Central University
Publication of CN104284126A publication Critical patent/CN104284126A/zh
Application granted granted Critical
Publication of CN104284126B publication Critical patent/CN104284126B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Physiology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Abstract

本发明提供一种影像插补方法以及应用该方法的影像插补装置与影像装置，且影像插补方法利用机率神经网络模型对影像进行插补，包括：(1)选取邻近于插补点的多个参考点；(2)利用多个参考点中的每一参考点的边缘方向角度、横向平滑参数、纵向平滑参数以及每一参考点与插补点之间的距离，来获得每一参考点的非等向性高斯函数数值；以及(3)利用一统计方法对该些非等向性高斯函数数值进行整合，以获得插补点的插补数值。本发明可于高分辨率的原始影像被取样成低分辨率的目标影像后，对该目标影像进行边缘适应性插补动作，确保插补后的影像在边缘区域不会有锯齿状方块的效应，且锐利度足够，并保留边缘的细节，故观看者不会有失焦模糊的感受。

Description

影像插补方法以及应用该方法的影像插补装置与影像装置
技术领域
本发明关于一种影像处理技术领域，尤其是关于一种用于影像插补的方法以及应用该方法的影像插补装置与影像装置。
背景技术
影像插补方法是一个长期以来普遍使用在影像处理的技术，最常见的应用是为了让影像产生更好的放大或缩小的视觉效果，以便进行影像的显示和打印。近年来，随着消费性多媒体产品的盛行，相关取像或显像的电子装置成为重要的产业项目，例如，平面显示器、数字相机等，而影像插补方法就是其中核心控制的重要功能之一。
以平面显示器为例，由于尺寸和分辨率不断的提高，加上热门的全屏幕显示需求，导致进行影像插补是必要的处理程序，原因在于，若是输入至平面显示器的影像分辨率过低，而平面显示器的尺寸过大，则在没有影像插补的动作下，全屏幕所显示出来的画面将会是模糊不清的，不利观看。此外，其它影像输入装置的运作，如扫描器的放大分辨率或是数字相机的数字变焦功能，都需藉助影像插补的技术。
请参阅图1A-1D，其为利用多个现有影像插补方法进行影像插补动作后的结果示意图；其中，图1A为原始影像，图1B为利用一邻近内插法(nearest neighbor)对由高分辨率的原始影像取样成低分辨率的目标影像，进行影像插补后的结果，图1C为利用一双线性内插法(bi-linear)对由高分辨率的原始影像取样成低分辨率的目标影像，进行影像插补后的结果，图1D为利用一双立方内插法(bi-cubic)对由高分辨率的原始影像取样成低分辨率的目标影像，进行影像插补后的结果。
观察图1A-1D可知，现有影像插补方法具有下列缺点：(1)插补后的影像细节会明显出现锯齿状；(2)插补后的影像细节，特别是图像边缘与线条特征呈现糊化的效果，令观看者有离焦(de-focus)的视觉感受。
有鉴于此，有一种基于机率神经网络的影像插补技术(PNN)被提出来改善上述的缺陷。请参阅图2，其为现有利用基于机率神经网络的影像插补技术进行影像插补动作后的结果示意图；比较图1A-1D与图2可知，采用基于机率神经网络的影像插补技术进行影像插补的结果明显得到了改善。然而，由于机率神经网络的核心是高斯函数，而因为高斯函数具有等方向以及低通滤波的特性，使得其面对影像中灰阶值剧烈变化的边缘区域，不会有显著的锐化效果，因此，图2所示的结果中，图像边缘与线条特征仍令观看者有些微离焦的视觉感受。
基于此，另有一种基于非等向性机率神经网络的影像插补技术(APNN)被提出。请参阅图3，其为现有利用基于非等向性机率神经网络的影像插补技术进行影像插补动作后的结果示意图；比较图2与图3可知，采用基于非等向性机率神经网络的影像插补技术进行影像插补的结果得到了更进一步的锐化效果。
虽然该技术导入了藉由计算边缘方向角度使高斯函数具有非等向性的特质，进而使所欲插补的插补点的插补数值更能够逼近原始影像的边缘特性的概念；然而，于该技术中，与插补点相邻的多个参考点皆是以同一边缘方向角度(如所欲插补的插补点的边缘方向角度)，来取得各自的非等向性高斯函数数值，再进而相互内插而运算出插补点的插补数值，如此使得插补点的插补数值还是无法有效贴近原始影像的边缘特性，因此图3所示的结果仍有些微模糊。
是以，现有的影像插补技术仍具有改善的空间。
发明内容
本发明要解决的技术问题之一在于，针对现有技术存在的上述不足，提供一种利用机率神经网络模型的影像插补方法。
本发明要解决的技术问题之一在于，针对现有技术存在的上述不足，提供一种利用上述影像插补方法的影像插补装置。
本发明要解决的技术问题之一在于，针对现有技术存在的上述不足，提供一种具有影像插补功能的影像装置。
本发明解决其技术问题所采用的技术方案是提供一种影像插补方法，其利用一机率神经网络模型对一影像的一插补点遂行一适应性插补动作，包括：
(1)选取邻近于该插补点的多个参考点；
(2)利用该多个参考点中的每一该参考点的一边缘方向角度、一横向平滑参数、一纵向平滑参数以及每一该参考点与该插补点之间的一距离，获得每一该参考点的一非等向性高斯函数数值；以及
(3)利用一统计方法对该些非等向性高斯函数数值进行整合运算，以获得该插补点的一插补数值。
较佳地，该步骤(3)中的该统计方法为重心法、最大值法、中值法或四分位法。
较佳地，所述影像插补方法，于该步骤(2)中，包括：
(2-1)利用一梯度运算子获得每一该参考点的一横向梯度值以及一纵向梯度值；以及
(2-2)利用每一该参考点的该横向梯度值以及该纵向梯度值获得每一该参考点的该边缘方向角度。
较佳地，于该步骤(2-1)中的该梯度运算子为索贝尔(sobel operator)运算子、普里威特(Prewitt)运算子、中心差分(CentralDifference)运算子、中间差分(IntermediateDifference)运算子、斯给尔(Scharr)运算子或罗伯兹(Roberts)算子。
较佳地，该步骤(2-2)，包括：将每一该参考点的该横向梯度值以及该纵向梯度值输入至一拉奥(Rao)算法中进行运算，以获得每一该参考点的该边缘方向角度。
较佳地，所述影像插补方法，于该步骤(2)中，包括：
将每一该参考点的多个特征值输入至一单神经元神经网络中，以获得每一该参考点的该横向平滑参数以及该纵向平滑参数；其中，该单神经元神经网络的一转移函数为线性函数、S形函数或双曲正切函数，且该转移函数的一自变量为
∑(每一该特征值)·(每一该特征值所相对应的一权重)+(一偏压值)。
较佳地，所述影像插补方法，于该步骤(2)中，还包括：
利用一最佳化算法求得该转移函数中的至少一参数、每一该特征值所相对应的该权重以及该偏压值。
较佳地，该最佳化算法为粒子群最佳化(PSO)算法或一遗传(GA)算法。
较佳地，所述影像插补方法，于该步骤(2)中，还包括：
采用一峰值信号噪声比(PSNR)或一边缘误差百分比(PEE，Percentage EdgeError)作为该最佳化算法的一适应函数。
较佳地，每一该参考点的该多个特征值包括一横向梯度值以及一纵向梯度值。
较佳地，于该步骤(3)中，该插补点的该插补数值为
较佳地，每一该参考点的该信号值为每一该参考点的一灰度值。
本发明还提供一种影像插补装置，其利用一机率神经网络模型对一影像的一插补点遂行一适应性插补动作，包括：
数据储存及控制单元，用以获得邻近于该插补点的多个参考点的边缘方向角度、横向平滑参数以及纵向平滑参数；
至少一高斯函数运算单元，连接于该数据储存及控制单元，并利用该多个参考点中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的一距离，而获得每一该参考点的一非等向性高斯函数数值；以及
统计运算单元，连接于该高斯函数运算单元，并利用一统计方法对该些非等向性高斯函数数值进行整合运算，以产生输出该插补点的一插补数值。
较佳地，该至少一高斯函数运算单元包括分别对应于该多个参考点的多个高斯函数运算单元，且每一该高斯函数运算单元利用相对应的该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及相对应的该参考点与该插补点之间的该距离，而获得相对应的该参考点的该非等向性高斯函数数值；抑或是该多个参考点被分为多个参考点群组，且该至少一高斯函数运算单元包括分别对应于该些参考点群组的多个高斯函数运算单元，其中每一该高斯函数运算单元利用相对应的该参考点群组中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的该距离，而获得相对应的该参考点群组中的每一该参考点的该非等向性高斯函数数值；抑或是该至少一高斯函数运算单元包括单一高斯函数运算单元，且该单一高斯函数运算单元依序利用该多个参考点中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的该距离，而依序获得每一该参考点的该非等向性高斯函数数值。
较佳地，该至少一高斯函数运算单元中的每一该高斯函数运算单元包括指数运算单元以及指数函数运算单元，且该指数函数运算单元连接于该指数运算单元与该统计运算单元之间；其中，该指数运算单元用以产生输出一指数数值供该指数函数运算单元使用。
较佳地，该指数运算单元包括距离运算单元，且该距离运算单元连接于该数据储存及控制单元，并用以接收该插补点的一位置坐标，而产生输出每一该参考点与该插补点之间的一横向距离值以及一纵向距离值。
较佳地，该指数运算单元包括旋转单元，且该旋转单元用以接收一横向距离值、一纵向距离值以及一边缘方向角度，并依据该边缘方向角度进行一坐标旋转运算，俾使该横向距离值以及该纵向距离值分别转换为一另一横向距离值以及一另一纵向距离值。
较佳地，该旋转单元包括坐标旋转数字计算机(CORDIC)，用以执行该坐标旋转运算；抑或是该旋转单元内设置有坐标旋转表，且该旋转单元依据该坐标旋转表而进行该坐标旋转运算；抑或是该旋转单元依据泰勒展开式而进行该坐标旋转运算；抑或是该旋转单元内设置有坐标旋转表，且该旋转单元依据该坐标旋转表以及泰勒展开式而进行该坐标旋转运算；抑或是该旋转单元包括坐标旋转数字计算机以及坐标旋转表，该旋转单元依据该坐标旋转数字计算机以及该坐标旋转表而进行该坐标旋转运算。
较佳地，该指数函数运算单元包括整数指数函数运算单元、小数指数函数运算单元以及相连于该整数指数函数运算单元以及该小数指数函数运算单元的乘法运算单元，且该指数数值包括一整数指数数值以及一小数指数数值；其中，该整数指数函数运算单元接收该整数指数数值，并产生输出一整数指数函数值，该小数指数函数运算单元接收该小数指数数值，并产生输出一小数指数函数值，而该乘法运算单元接收该整数指数函数值以及该小数指数函数值，并产生输出该整数指数函数值以及该小数指数函数值的一乘积值。
较佳地，该整数指数函数运算单元内设置有整数指数函数表，且该整数指数函数运算单元于接收该整数指数数值后，依据该整数指数函数表而产生输出该整数指数函数值。
较佳地，该小数指数函数运算单元包括坐标旋转数字计算机(CORDIC)，用以于该小数指数函数运算单元接收该小数指数数值后执行一指数运算；抑或是该小数指数函数运算单元内设置有小数指数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该小数指数函数表而产生输出该小数指数函数值；抑或是该小数指数函数运算单元于接收该小数指数数值后，依据泰勒展开式而产生输出该小数指数函数值；抑或是该小数指数函数运算单元设置有小数指数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该小数指数函数表以及泰勒展开式而产生输出该小数指数函数值；抑或是该小数指数函数运算单元包括坐标旋转数字计算机以及小数指数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该坐标旋转数字计算机所执行的指数运算以及该小数指数函数表而产生输出该小数指数函数值。
较佳地，所述影像插补装置是藉由一现场可编程门阵列(FPGA)实现。
较佳地，邻近于该插补点的多个参考点的边缘方向角度、横向平滑参数以及纵向平滑参数是由该数据储存及控制单元所算得，抑或是邻近于该插补点的多个参考点的边缘方向角度、横向平滑参数以及纵向平滑参数是由与该数据储存及控制单元相连的一前置运算单元所算得。
较佳地，该统计方法为重心法、最大值法、中值法或四分位法。
本发明还提供一种具有影像插补功能的影像装置，包括：
影像接收模块，用以接收一目标影像；
影像插补模块，连接于该影像接收模块，并利用一机率神经网络模型对该目标影像的至少一插补点遂行一适应性插补动作而产生一插补影像，该影像插补模块包括：
数据储存及控制单元，用以获得邻近于该至少一插补点的多个参考点的边缘方向度值、横向平滑参数以及纵向平滑参数；
至少一高斯函数运算单元，连接于该数据储存及控制单元，并利用该多个参考点中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的一距离，而获得每一该参考点的一非等向性高斯函数数值；以及
统计运算单元，连接于该高斯函数运算单元，并利用一统计方法对该些非等项性高斯函数数值进行整合运算，以产生输出该插补点的一插补数值；以及
影像输出模块，连接于该影像插补模块，用以输出该插补影像。
较佳地，该具有影像插补功能的影像装置为包括数字机顶盒、多媒体网关在内的多媒体传输装置，抑或是该具有影像插补功能的影像装置内建于一多媒体播放装置或一影像撷取装置。
较佳地，该至少一高斯函数运算单元包括分别对应于该多个参考点的多个高斯函数运算单元，且每一该高斯函数运算单元利用相对应的该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及相对应的该参考点与该插补点之间的该距离，而获得相对应的该参考点的该非等向性高斯函数数值；抑或是该多个参考点被分为多个参考点群组，且该至少一高斯函数运算单元包括分别对应于该些参考点群组的多个高斯函数运算单元，其中每一该高斯函数运算单元利用相对应的该参考点群组中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的该距离，而获得相对应的该参考点群组中的每一该参考点的该非等向性高斯函数数值；抑或是该至少一高斯函数运算单元包括单一高斯函数运算单元，且该单一高斯函数运算单元依序利用该多个参考点中的每一该参考点的该边缘方向角度、该横向平滑参数、该纵向平滑参数以及每一该参考点与该插补点之间的该距离，而依序获得每一该参考点的该非等向性高斯函数数值。
较佳地，该至少一高斯函数运算单元中的每一该高斯函数运算单元包括指数运算单元以及指数函数运算单元，且该指数函数运算单元连接于该指数运算单元与该统计运算单元之间；其中，该指数运算单元用以产生输出一指数数值供该指数函数运算单元使用。
较佳地，该指数运算单元包括距离运算单元，且该距离运算单元连接于该数据储存及控制单元，并用以接收该插补点的一位置坐标，而产生输出每一该参考点与该插补点之间的一横向距离值以及一纵向距离值。
较佳地，该指数运算单元包括旋转单元，且该旋转单元用以接收一横向距离值、一纵向距离值以及一边缘方向角度，并依据该边缘方向角度进行一坐标旋转运算，俾使该横向距离值以及该纵向距离值分别转换为一另一横向距离值以及一另一纵向距离值。
较佳地，该旋转单元包括坐标旋转数字计算机(CORDIC)，用以执行该坐标旋转运算；抑或是该旋转单元内设置有坐标旋转表，且该旋转单元依据该坐标旋转表而进行该坐标旋转运算；抑或是该旋转单元依据泰勒展开式而进行该坐标旋转运算；抑或是该旋转单元内设置有坐标旋转表，且该旋转单元依据该坐标旋转表以及泰勒展开式而进行该坐标旋转运算；抑或是该旋转单元包括坐标旋转数字计算机以及坐标旋转表，该旋转单元依据该坐标旋转数字计算机以及该坐标旋转表而进行该坐标旋转运算。
较佳地，该指数函数运算单元包括整数指数函数运算单元、小数指数函数运算单元以及相连于该整数指数函数运算单元以及该小数指数函数运算单元的乘法运算单元，且该指数数值包括一整数指数数值以及一小数指数数值；其中，该整数指数函数运算单元接收该整数指数数值，并产生输出一整数指数函数值，该小数指数函数运算单元接收该小数指数数值，并产生输出一小数指数函数值，而该乘法运算单元接收该整数指数函数值以及该小数指数函数值，并产生输出该整数指数函数值以及该小数指数函数值的一乘积值。
较佳地，该整数指数函数运算单元内设置有整数指数函数表，且该整数指数函数运算单元于接收该整数指数数值后，依据该整数指数函数表而产生输出该整数指数函数值。
较佳地，该小数指数函数运算单元包括坐标旋转数字计算机(CORDIC)，用以于该小数指数函数运算单元接收该小数指数数值后执行一指数运算；抑或是该小数指数函数运算单元内设置有小数指数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该小数指数函数表而产生输出该小数指数函数值；抑或是该小数指数函数运算单元于接收该小数指数数值后，依据泰勒展开式而产生输出该小数指数函数值；抑或是该小数指数函数运算单元设置有小数指数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该小数指数函数表以及泰勒展开式而产生输出该小数指数函数值；抑或是该小数指数函数运算单元包括坐标旋转数字计算机以及小数指数函数表，且该小数指数函数运算单元于接收该小数指数数值后，依据该坐标旋转数字计算机所执行的指数运算以及该小数指数函数表而产生输出该小数指数函数值。
本发明可于高分辨率的原始影像被取样成低分辨率的目标影像后，对低分辨率的目标影像进行边缘适应性插补动作，进而产生插补后的影像，该插补后的影像在边缘区域不但不会有锯齿状方块的效应，且锐利度足够，并保留了边缘的细节，故观看者不会有失焦模糊的感受。本发明应用于各种多媒体传输装置时，还具有降低通信网路的通信频宽的效果。
附图说明
图1A-1D：为利用多个现有影像插补方法进行影像插补动作后的结果示意图。
图2：为现有利用基于机率神经网络的影像插补技术进行影像插补动作后的结果示意图。
图3：为现有利用基于非等向性机率神经网络的影像插补技术进行影像插补动作后的结果示意图。
图4：为本发明影像插补方法的一较佳流程方块示意图。
图5：为图4所述影像插补方法所利用的机率神经网络模型的架构示意图。
图6：为图4所述目标影像上的插补点以及参考点的位置关系示意图。
图7：为一较佳单神经元神经网络模型的架构示意图。
图8：为一较佳应用图4所示影像插补方法的影像插补装置的概念方块示意图。
图9：为图8所示高斯函数运算单元于一较佳实施态样的概念方块示意图。
图10A-10B：为利用本发明影像插补方法以及影像插补装置进行边缘适应性插补动作后的结果示意图。
图11：为本发明具有影像插补功能的影像装置于一较佳实施例中的概念方块示意图。
具体实施方式
本发明影像插补方法是利用一机率神经网络模型对一影像的一插补点A遂行一适应性插补动作，其中，机率神经网络模型1为一前向式的神经网络架构，因其不需经历迭代的学习过程，故运作上比其它类型的神经网络更为快速。
请参阅图4～图6，图4为本发明影像插补方法的一较佳流程方块示意图，图5为图4所述影像插补方法所利用的机率神经网络模型的架构示意图，图6为图4所述目标影像上的插补点A以及参考点R的位置关系示意图。
于本较佳实施例中，机率神经网络模型1为一五层神经元结构的网络模型，依序包括欧几里德层(Euclidian layer)11、高斯层(Gaussian layer)12、权重层(weightinglayer)13、加法层(summation layer)14以及除法层(division layer)15，且影像插补方法的流程如下：
(P1)选取目标影像2中与所欲插补的插补点A相邻近的多个参考点R；于本较佳实施例中，参考点R的数量为16个，但并不以此为限，本技术领域普通技术人员可视实际应用需求而选取适当的数量；
(P2)利用每一参考点R的边缘方向角度θ1～θ16、横向平滑参数、纵向平滑参数以及每一参考点R与所欲插补的插补点A之间的距离d1～d16，获得每一参考点R的一非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)，本步骤将于稍后进一步详细说明；以及
(P3)利用一统计方法对步骤P2中所获得的该些非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)进行整合运算，以获得插补点A的插补数值p(U)；于本较佳实施例中，所采用的统计方法为一重心法，但并不以此为限，本技术领域普通技术人员可依据实际应用需求而进行任何均等的变更设计，举例来说，可变更设计成，采用的统计方法为一最大值法、一中值法或一四分位法。
详言之，机率神经网络模型1中的欧几里德层11是用来求得步骤P2中所述的每一参考点R与插补点A之间的距离d1～d16，并予以输入至高斯层12；其中，
di＝||U-Xi||，i＝1～16；
U代表插补点A的位置坐标，而X1～X16则分别代表16个参考点R的位置坐标。此外，本发明中的每一距离di进一步被分为一横向距离值xi以及一纵向距离值yi。
再者，机率神经网络模型1中的高斯层12用以藉由非等向性的高斯函数f(d,σ)求得步骤P2中所述的每一参考点R的非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)；其中，
i＝1～16；
分别代表16个参考点R的横向平滑参数，分别代表16个参考点R的纵向平滑参数，θ1～θ16分别代表16个参考点R的边缘方向角度，u1～u16分别代表16个参考点R的经坐标转换后的横向距离值(另一横向距离值)，v1～v16分别代表16个参考点R的经坐标转换后的纵向距离值(另一纵向距离值)。
藉由上述可知，本发明影像插补方法必需要利用到每一参考点R各自的非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)，而于计算每一参考点R的非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)之前，必须先求得每一参考点R的横向距离值x1～x16(已于欧几里德层11获得)、纵向距离值y1～y16(已于欧几里德层11获得)、横向平滑参数、纵向平滑参数以及边缘方向角度θ1～θ16。
首先说明本发明影像插补方法的步骤P2中求得每一参考点R的边缘方向角度θ1～θ16的方式。于本较佳实施例中，每一参考点R的边缘方向角度θ1～θ16是利用一拉奥(Rao)算法而求得，且拉奥算法中的一滑动区块的大小定义为ω*ω，是以，边缘方向角度θ1～θ16可被表示为
其中，分别代表16个参考点R的横向梯度值，分别代表16个参考点R的纵向梯度值。
又，上述说明为如何将拉奥算法应用于本发明的一种教示，而对于拉奥算法本身的原理则为本技术领域普通技术人员所知悉，在此就不再予以赘述；此外，拉奥算法仅为求得边缘方向角度的一种实施例，本技术领域普通技术人员亦可依据实际应用需求而将每一参考点R的横向梯度值以及纵向梯度值代入其它种类的算法来求得每一参考点R的边缘方向角度θ1～θ16，或是采用不需横向梯度值以及不需纵向梯度值的任一算法求得每一参考点R的边缘方向角度θ1～θ16。
再者，于本发明步骤P2中，是利用一梯度运算子来获得每一参考点R的横向梯度值以及纵向梯度值，而于本较佳实施例中，是采用索贝尔(sobel operator)运算子作为用以求得该些横向梯度值以及该些纵向梯度值的梯度运算子，是以，每一参考点R的横向梯度值以及每一参考点R的纵向梯度值可被表示为
i＝1～16；
其中，F(mi,ni)代表像素点(mi,ni)的临域的像素值，且*代表二维空间的回旋积，而Sobelx以及Sobely则分别代表横向索贝尔运算子以及纵向索贝尔运算子。
又，上述说明为如何将索贝尔运算子应用于本发明的一种教示，而对于索贝尔运算子本身的原理则为本技术领域普通技术人员所知悉，在此即不再予以赘述；此外，索贝尔运算子仅为梯度运算子的一种实施例，本技术领域普通技术人员亦可依据实际应用需求而进行任何均等的变更设计；举例来说，可变更设计为，采用普里威特(Prewitt)运算子、中心差分(Central Difference)运算子、中间差分(Intermediate Difference)运算子、斯给尔(Scharr)运算子或罗伯兹(Roberts)算子等其它梯度运算子来求得每一参考点R的横向梯度值以及纵向梯度值。
接下来说明本发明影像插补方法的步骤P2中求得每一参考点R的横向平滑参数与纵向平滑参数的方式。于本较佳实施例中，是透过将每一参考点R的多个特征值输入至一单神经元神经网络中，以获得每一参考点R的横向平滑参数以及纵向平滑参数。
请参阅图7，其为一较佳单神经元神经网络模型的架构示意图。于本较佳实施例中，参考点R的多个特征值为参考点R的横向梯度值Gx以及纵向梯度值Gy，进一步而言，单神经元神经网络3的输入数值为横向梯度值Gx以及纵向梯度值Gy，单神经元神经网络3的输出数值为横向平滑参数σx以及纵向平滑参数σy，而单神经元神经网络3中的转移函数为S形函数的一种，其可被表示为
i＝1～16；
其中，neti代表转移函数f(neti)的自变量，ω1以及ω2分别代表横向梯度值的权值以及纵向梯度值的权值，a以及b代表运算参数，而bias代表一偏压值。
又，上述说明为如何将S形函数作为转移函数而应用于本发明的一种教示，而S形函数本身的原理则为本技术领域普通技术人员所知悉，在此就不再予以赘述；此外，S形函数仅为转移函数的一种实施例，本技术领域普通技术人员亦可依据实际应用需求而采用其它函数类型的转移函数，如线性函数或双曲正切函数等。
再者，为了让单神经元神经网络3获得较适当的横向平滑参数σx以及纵向平滑参数σy，于本发明步骤P2中更包括利用一最佳化算法来训练转移函数中的偏压值bias、权值ω1、权值ω2、参数a以及参数b；于本较佳实施例中，所采用的最佳化算法为一粒子群最佳化(PSO)算法，且该粒子群最佳化算法是利用峰值信号噪声比(PSNR)作为适应函数，以判别粒子群最佳化算法中的每一世代所产生的偏压值bias、权值ω1、权值ω2、参数a以及参数b的品质。
详言之，在粒子群最佳化算法的训练过程中，首先可将一张高分辨率的初始影像取样成低分辨率的样本影像，并利用粒子群最佳化算法中的每一世代所产生的偏压值bias、权值ω1、权值ω2、参数a以及参数b对低分辨率的样本影像进行影像插补，再将插补后的影像与初始影像进行比较，也就是说，利用峰值信号噪声比作为插补后的影像与初始影像的比较依据，而峰值信号噪声比可被表示为
其中，K与L代表初始影像的维度，Ekl代表初始影像的像素点(k,l)的灰度值，Fkl代表插补后的影像的像素点(k,l)的灰度值；又，当峰值信号噪声比越高，则代表所利用的偏压值bias、权值ω1、权值ω2、参数a以及参数b越优异；是以，本发明中的粒子群最佳化算法即在求得于峰值信号噪声比最高时的偏压值bias、权值ω1、权值ω2、参数a以及参数b。
又，上述说明为如何将粒子群最佳化算法及峰值信号噪声比应用于本发明的一种教示，而粒子群最佳化算法本身的原理及峰值信号噪声比本身的原理则为本技术领域普通技术人员所知悉，在此就不再予以赘述；此外，粒子群最佳化算法仅为求得较佳的转移函数f(net)的偏压值bias、权值ω1、权值ω2、参数a以及参数b的一种方法，本技术领域普通技术人员亦可依据实际应用需求而采用其它最佳化算法来获得，如遗传(GA)算法；其次，峰值信号噪声比亦仅为最佳化算法的适应函数的一种实施例，本技术领域普通技术人员亦可依据实际应用需求而采用其它的适应函数，如边缘误差百分比(PEE，Percentage Edge Error)等，作为插补后的影像与初始影像的比较依据。
由于至此已获得每一参考点R的横向距离值x1～x16、纵向距离值y1～y16、边缘方向角度θ1～θ16、横向平滑参数以及纵向平滑参数，故高斯层12中可获得每一参考点R的非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)，并予以输出至权重层13；其中，权重层13、加法层14以及除法层15是用来进行步骤P3中的重心法，以进而由除法层15输出步骤P3中所述的插补点A的插补数值p(U)，而利用重心法所获得的插补点A的插补数值p(U)可被表示为：
其中，g(X1)～g(X16)则分别代表16个参考点R的信号值；于本较佳实施例中，每一参考点R的信号值采用每一参考点R的灰度值，但并不以此为限，本技术领域普通技术人员是皆可依据实际应用需求而进行任何均等的变更设计。
请参阅图8，其为一较佳应用图4所示影像插补方法的影像插补装置的概念方块示意图。影像插补装置4包括数据储存及控制单元41、分别对应于16个参考点R的16个高斯函数运算单元42以及统计运算单元43；于本较佳实施例中，影像插补装置4是藉由一现场可编程门阵列(FPGA)实现，但并不以此为限，本技术领域普通技术人员皆可依据本发明的教示而采用其它类型的可编程逻辑装置或集成电路来实现。
再者，数据储存及控制单元41用以获得每一参考点R的边缘方向角度θ1～θ16、横向平滑参数、纵向平滑参数以及信号值g(X1)～g(X16)，且该些边缘方向角度θ1～θ16、该些横向平滑参数以及该些纵向平滑参数可透过数据储存及控制单元41本身经由图4所述步骤2(对应于前文中图4的步骤2的说明)而算得，抑或是可透过与数据储存及控制单元41相连的一前置运算单元(图中未标示)经由图4所述步骤2(对应于前文中图4的步骤2的说明)而算得。
又，每一高斯函数运算单元42皆是连接于数据储存及控制单元41，并用以于接收相对应的参考点R的边缘方向角度θ1～θ16、横向平滑参数、纵向平滑参数后，计算相对应的参考点R的非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)；其中，该些非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)是可经由图4所述步骤2(对应于前文中图4的步骤2的说明)而算得。
补充说明的是，由于本较佳实施例中高斯函数运算单元42的数量相同于参考点R的数量，故每一高斯函数运算单元42是藉由平行处理的方式同时计算相对应的参考点R的高斯函数数值，惟其仅为一实施例，本技术领域普通技术人员可依据实际应用需求而进行均等的变更设计。
举例来说，可变更设计为，该16个参考点R被分类成4个参考点群组(即每一个参考点群组包括4个参考点R)，且影像插补装置4仅具有对应于该4个参考点群组的4个高斯函数运算单元42，故每一高斯函数运算单元42则用以接收相对应的参考点群组中的每一参考点R的边缘方向角度、横向平滑参数以及纵向平滑参数，并进而藉由串行处理的方式依序计算相对应的参考点群组中的每一参考点R的非等向性高斯函数数值，也就是说，每一高斯函数运算单元42会计算得到并输出4个参考点R的非等向性高斯函数数值，而该4个高斯函数运算单元42则是藉由平行处理的方式同时运作。
再举例来说，可变更设计为影像插补装置4仅具有单一高斯函数运算单元42，故该单一高斯函数运算单元42则用以接收所有参考点R的边缘方向角度、横向平滑参数以及纵向平滑参数，并进而藉由串行处理的方式依序计算每一参考点R的非等向性高斯函数数值，也就是说，该单一高斯函数运算单元42会计算得到并输出16个参考点R的非等向性高斯函数数值。
再者，统计运算单元43连接于该些高斯函数运算单元42以及数据储存及控制单元41，并用以于接收来自该些高斯函数运算单元4的该些参考点R的非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)以及来自数据储存及控制单元41的该些信号值g(X1)～g(X16)后，利用一统计方法对该些非等向性高斯函数数值f(d1,σ1)～f(d16,σ16)进行整合运算，以产生输出所欲插补的插补点A的插补数值p(U)；换言之，插补数值p(U)可经由图4所述重心法(对应于前文中图4的步骤3的说明)而算得。
请参阅图9，其为图8所示高斯函数运算单元于一较佳实施态样的概念方块示意图。任一高斯函数运算单元42包括一指数运算单元421以及一指数函数运算单元422，且指数函数运算单元422连接于指数运算单元421与统计运算单元43之间，而指数运算单元421用以产生输出一指数数值index供指数函数运算单元422使用；其中，指数数值index为高斯函数的指数，亦即
于本较佳实施态样中，指数运算单元421包括距离运算单元4211、旋转单元4212以及指数乘除运算单元4213，且旋转单元4212连接于距离运算单元4211与指数乘除运算单元4213之间；其中，距离运算单元4211连接于数据储存及控制单元41，并用以接收插补点A的位置坐标U，以经由图4所述步骤2(对应于前文中图4的步骤2对欧几里德层11的说明)，而产生输出相对应的参考点R与插补点A之间的横向距离值xi以及轴向距离值yi。
再者，旋转单元4212用以接收来自距离运算单元4211的横向距离值xi与轴向距离值yi以及接收来自数据储存及控制单元41的边缘方向角度θi，并依据边缘方向角度θi而对横向距离值xi以及轴向距离值yi进行坐标旋转运算，即经由图4所述步骤2(对应于前文中图4的步骤2对高斯层12的说明)，而产生输出另一横向距离值ui以及另一轴向距离值vi。
于本较佳实施态样中，旋转单元4212包括坐标旋转数字计算机(CORDIC)42121，用以执行坐标旋转运算，惟坐标旋转数字计算机42121的运作原理应为本技术领域普通技术人员所知悉，在此就不再予以赘述；此外，虽然本较佳实施态样中是利用坐标旋转数字计算机42121来对横向距离值xi以及轴向距离值yi进行坐标旋转运算，然其仅为一种实施态样，本技术领域普通技术人员亦可依据实际应用需求而进行任何均等的变更设计。
举例来说，可变更设计为，于旋转单元4212内设置坐标旋转表，且坐标旋转表为多个横向距离值x、多个轴向距离值y、多个边缘方向角度θ、多个横向距离值u以及多个轴向距离值v之间的对应关系表，是以，当旋转单元4212接收了来自距离运算单元4211的横向距离值xi、轴向距离值yi以及来自数据储存及控制单元41的边缘方向角度θi时，能够直接透过查表的方式寻找出相对应的横向距离值ui以及轴向距离值vi，并予以输出。
再举例来说，可变更设计为，旋转单元4212依据一泰勒展开式而对横向距离值xi以及轴向距离值yi进行坐标旋转运算，其中，泰勒展开式的运作原理为本技术领域普通技术人员所知悉，在此就不再予以赘述；再举例来说，可变更设计为，旋转单元4212是同时利用坐标旋转表以及泰勒展开式对横向距离值xi以及轴向距离值yi进行坐标旋转运算；抑或是可变更设计为，旋转单元4212是同时利用坐标旋转表以及坐标旋转数字计算机42121对横向距离值xi以及轴向距离值yi进行坐标旋转运算。
再者，指数乘除运算单元4213则用以接收来自旋转单元4212的横向距离值ui与轴向距离值vi以及接收来自数据储存及控制单元41的横向平滑参数与纵向平滑参数，进而产生输出相对应的指数数值indexi；其中，指数数值indexi可被分为整数指数数值index_inti以及小数指数数值index_fraci。
又，指数函数运算单元422包括整数指数函数运算单元4221、小数指数函数运算单元4222以及相连于整数指数函数运算单元4221以及小数指数函数运算单元4222的乘法运算单元4223；其中，整数指数函数运算单元4221用以接收整数指数数值index_inti，并产生输出整数指数函数值exp(index_inti)，小数指数函数运算单元4222则用以接收小数指数数值index_fraci，并产生输出小数指数函数值exp(index_fraci)，而乘法运算单元4223用以接收整数指数函数值exp(index_inti)以及小数指数函数值exp(index_fraci)，并计算出整数指数函数值exp(index_inti)以及小数指数函数值exp(index_fraci)的乘积值exp(indexi)，以进而产生输出非等向性高斯函数数值f(di,σi)。特别说明的是，为了简化硬件上的运作，本较佳实施例中的非等向性高斯函数数值f(di,σi)简化如下：
于本较佳实施态样中，整数指数函数运算单元4221内设置有整数指数函数表42211，且整数指数函数表42211为多个整数指数数值index_int以及多个整数指数函数值exp(index_int)之间的对应关系表，是以，当整数指数函数运算单元4221接收了整数指数数值index_inti时，能够直接透过查表的方式寻找出相对应的整数指数函数值exp(index_inti)，并予以输出。
再者，于本较佳实施态样中，小数指数函数运算单元4222包括坐标旋转数字计算机(CORDIC)42221，用以于小数指数函数运算单元4222接收小数指数数值index_fraci后执行指数运算，以求得小数指数函数值exp(index_fraci)，惟坐标旋转数字计算机42221的运作原理应为本技术领域普通技术人员所知悉，在此就不再予以赘述；此外，虽然本较佳实施态样中是利用坐标旋转数字计算机42221来执行指数运算，然其仅为一种实施态样，本技术领域普通技术人员亦可依据实际应用需求而进行任何均等的变更设计。
举例来说，可变更设计为，于小数指数函数运算单元4222内设置小数指数函数表，且小数指数函数表为多个小数指数数值index_frac以及多个整数指数函数值exp(index_frac)之间的对应关系表，是以，当小数指数函数运算单元4222接收了小数指数数值exp(index_fraci)时，能够直接透过查表的方式寻找出相对应的整数指数函数值exp(index_fraci)，并予以输出。
再举例来说，可变更设计为，小数指数函数运算单元4222依据一泰勒展开式来执行指数运算，其中，泰勒展开式的运作原理为本技术领域普通技术人员所知悉，在此就不再予以赘述；再举例来说，可变更设计为，小数指数函数运算单元4222是同时利用小数指数函数表以及泰勒展开式来执行指数运算；抑或是可变更设计为，小数指数函数运算单元4222是同时利用小数指数函数表以及坐标旋转数字计算机42221来执行指数运算。
此外，由于坐标旋转数字计算机42221对部分的整数指数数值进行指数运算时会产生一定程度的误差，而本较佳实施态样为了降低该程度的误差而设计将指数数值indexi分为整数指数数值index_inti以及小数指数数值index_fraci，且整数指数数值index_inti是接透过查表的方式求得相对应的整数指数函数值exp(index_inti)，是以，本较佳实施态样中的计算精确度可达6.08e-5以下。
特别说明的是，由于本发明目标影像2中所欲插补的插补点A的插补数值是由邻近于插补点A的多个参考点R中每一参考点R的非等向性高斯函数数值f(di,σi)依据统计方法内插而得，且每一参考点R的非等向性高斯函数数值f(di,σi)包含了相对应的参考点R的影像特性，即插补点A的插补数值p(U)是依据了每一个参考点R的边缘方向角度θi、横向平滑参数、纵向平滑参数所整合运算而得，是以，本发明所获得的插补点A的插补数值p(U)更能够逼近影像边缘的特性，如边缘强度、边缘角度等。
请参阅图10A-10B，其为利用本发明影像插补方法以及影像插补装置进行边缘适应性插补动作后的结果示意图。图10A-10B示意了，于图10A所示的高分辨率的原始影像被取样成低分辨率的目标影像后，藉由图4所示影像插补方法以及图8所示影像插补装置4对低分辨率的目标影像进行边缘适应性插补动作，进而产生了图10B所示的插补后的影像；其中，插补后的影像在边缘区域不但不会有锯齿状方块的效应，且锐利度足够，并保留了边缘的细节，故观看者不会有失焦模糊的感受。
请参阅图11，其为本发明具有影像插补功能的影像装置于一较佳实施例中的概念方块示意图。影像装置5包括影像接收模块51、影像插补模块52以及影像输出模块53，且影像插补模块52连接于影像接收模块51与影像输出模块53之间；其中，影像接收模块51用以接收目标影像2，并予以传输至影像插补模块52，而影像插补模块52为图8所示的影像插补装置4，且用以对所接收的目标影像2遂行适应性插补动作而产生插补影像，并予以传输至影像输出模块53，最后，影像输出模块53再将所接收的插补影像向外输出。
特别说明的是，本发明影像装置5可为一多媒体网关(gateway)或一数字机顶盒等多媒体传输装置，如此能够带来降低通信网路的通信频宽的效果，原因在于，由于本发明影像装置5具有高度的影像插补功能，故目标影像2的影像供应端(图中未标示)仅需提供低分辨率的目标影像2至通信网路中，如此一来不但能降低通信网路的负载，亦能够增加影像的传输速度，而影像装置5则于接收低分辨率的目标影像2后进行适应性插补动作而产生输出高分辨率的插补影像至与多媒体传输装置(影像装置5)相连接的多媒体播放装置，使用者就能够观赏到高分辨率的影像。
此外，本发明影像装置5亦可为内建于多媒体播放装置(如平面显示器)的视频缩放器，即多媒体播放装置可直接播放由影像装置5进行插补后的影像。
又，本发明影像装置5亦可内建于影像撷取装置(如相机、摄影机)中，因此影像撷取装置所拍摄获得的影像不一定是要具有高分辨率的影像，原因在于内建于其中的影像装置5就可对其进行影像插补后再输出呈现，如此一来，影像撷取装置就不需设置高规格的影像感测元件，如高规格的电荷耦合元件(CCD)或高规格的互补性金属氧化物半导体(CMOS)，进而减少制作成本。
以上所述仅为本发明的较佳实施例，并非用以限定本发明的权利要求范围，因此凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含于本发明的权利要求范围内。

Claims (10)

1.一种影像插补方法，其利用一机率神经网络模型获得一影像的一插补点的一插补数值，包括：
(1)选取邻近于该插补点的多个参考点；
(2)利用该多个参考点中的每一该参考点的一边缘方向角度、一横向平滑参数、一纵向平滑参数以及每一该参考点与该插补点之间的一距离，获得每一该参考点的一非等向性高斯函数数值；以及
(3)利用一统计方法对该些非等向性高斯函数数值进行整合运算，以获得该插补点的该插补数值；
其中，于该步骤(2)中，包括：
将每一该参考点的多个特征值输入至一单神经元神经网络中，以获得每一该参考点的该横向平滑参数以及该纵向平滑参数；其中，该单神经元神经网络的一转移函数为线性函数、S形函数或双曲正切函数，且该转移函数的一自变量为
∑(每一该特征值)·(每一该特征值所相对应的一权重)+(一偏压值)。
2.如权利要求1所述的影像插补方法，其特征在于，该步骤(3)中的该统计方法为重心法、最大值法、中值法或四分位法。
3.如权利要求1所述的影像插补方法，其特征在于，于该步骤(2)中，包括：
(2-1)利用一梯度运算子获得每一该参考点的一横向梯度值以及一纵向梯度值；以及
(2-2)利用每一该参考点的该横向梯度值以及该纵向梯度值获得每一该参考点的该边缘方向角度。
4.如权利要求3所述的影像插补方法，其特征在于，于该步骤(2-1)中的该梯度运算子为索贝尔运算子、普里威特运算子、中心差分运算子、中间差分运算子、斯给尔运算子或罗伯兹算子；及/或
该步骤(2-2)，包括：将每一该参考点的该横向梯度值以及该纵向梯度值输入至一拉奥算法中进行运算，以获得每一该参考点的该边缘方向角度。
5.如权利要求1所述的影像插补方法，其特征在于，于该步骤(2)中，还包括：
利用一最佳化算法求得该转移函数中的至少一参数、每一该特征值所相对应的该权重以及该偏压值。
6.如权利要求5所述的影像插补方法，其特征在于，该最佳化算法为粒子群最佳化算法或一遗传算法。
7.如权利要求6所述的影像插补方法，其特征在于，于该步骤(2)中，还包括：
采用一峰值信号噪声比或一边缘误差百分比作为该最佳化算法的一适应函数。
8.如权利要求1所述的影像插补方法，其特征在于，每一该参考点的该多个特征值包括一横向梯度值以及一纵向梯度值。
9.如权利要求1所述的影像插补方法，其特征在于，于该步骤(3)中，该插补点的该插补数值为
10.如权利要求9所述的影像插补方法，其特征在于，每一该参考点的该信号值为每一该参考点的一灰度值。
CN201410298894.7A 2013-07-12 2014-06-27 影像插补方法以及应用该方法的影像插补装置与影像装置 Expired - Fee Related CN104284126B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102125102A TWI539406B (zh) 2013-07-12 2013-07-12 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置
TW102125102 2013-07-12

Publications (2)

Publication Number Publication Date
CN104284126A CN104284126A (zh) 2015-01-14
CN104284126B true CN104284126B (zh) 2018-10-12

Family

ID=52258556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410298894.7A Expired - Fee Related CN104284126B (zh) 2013-07-12 2014-06-27 影像插补方法以及应用该方法的影像插补装置与影像装置

Country Status (3)

Country Link
US (1) US9378538B2 (zh)
CN (1) CN104284126B (zh)
TW (1) TWI539406B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10076258B2 (en) 2013-11-01 2018-09-18 Boston Scientific Scimed, Inc. Cardiac mapping using latency interpolation
JP2017503590A (ja) * 2014-01-13 2017-02-02 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 心臓組織をマッピングする医療用デバイス
US9532725B2 (en) 2014-03-07 2017-01-03 Boston Scientific Scimed Inc. Medical devices for mapping cardiac tissue
EP3116386A1 (en) 2014-03-11 2017-01-18 Boston Scientific Scimed, Inc. Medical devices for mapping cardiac tissue
TWI546777B (zh) 2015-03-12 2016-08-21 瑞昱半導體股份有限公司 影像處理裝置與方法
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
CN107451966B (zh) * 2017-07-25 2021-05-11 四川大学 一种采用灰度图引导滤波实现的实时视频去雾方法
CN107644398B (zh) * 2017-09-25 2021-01-26 上海兆芯集成电路有限公司 图像插补方法及其相关图像插补装置
CN108124102B (zh) * 2017-12-28 2020-10-13 北京小米移动软件有限公司 图像处理方法、装置及计算机可读存储介质
CN109685750A (zh) * 2018-12-14 2019-04-26 厦门美图之家科技有限公司 图像增强方法及计算设备
CN112305994B (zh) * 2020-11-05 2021-11-16 广东三维家信息科技有限公司 基于平均滤波的直线段平滑方法、装置、设备及存储介质
CN112508790B (zh) * 2020-12-16 2023-11-14 上海联影医疗科技股份有限公司 一种图像插值方法、装置、设备及介质
CN113344828B (zh) * 2021-06-30 2023-05-30 太原理工大学 一种基于混沌麻雀搜索算法的煤岩分界图像增强方法
CN115082323B (zh) * 2022-08-19 2022-11-04 深流微智能科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
CN1512774A (zh) * 2002-12-13 2004-07-14 ���ܿ���ϵͳ���޹�˾ 用于隔行至渐进式变换的高级边缘自适应插值方法和系统
CN1878281A (zh) * 2006-07-13 2006-12-13 北京中星微电子有限公司 一种对数字视频图像中物体边沿的处理方法及装置
CN102497524A (zh) * 2011-12-05 2012-06-13 四川虹微技术有限公司 边缘自适应去隔行的插值方法
CN102609900A (zh) * 2012-01-16 2012-07-25 北京环星基业数码科技发展有限公司 一种基于区域一致性的图像插值算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100553892B1 (ko) * 2003-10-13 2006-02-24 삼성전자주식회사 디지털 영상 보간 방법 및 장치
KR101027323B1 (ko) * 2010-01-20 2011-04-06 고려대학교 산학협력단 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
US9007488B2 (en) * 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
US8891905B2 (en) * 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
CN1512774A (zh) * 2002-12-13 2004-07-14 ���ܿ���ϵͳ���޹�˾ 用于隔行至渐进式变换的高级边缘自适应插值方法和系统
CN1878281A (zh) * 2006-07-13 2006-12-13 北京中星微电子有限公司 一种对数字视频图像中物体边沿的处理方法及装置
CN102497524A (zh) * 2011-12-05 2012-06-13 四川虹微技术有限公司 边缘自适应去隔行的插值方法
CN102609900A (zh) * 2012-01-16 2012-07-25 北京环星基业数码科技发展有限公司 一种基于区域一致性的图像插值算法

Also Published As

Publication number Publication date
CN104284126A (zh) 2015-01-14
TW201503055A (zh) 2015-01-16
US20150016749A1 (en) 2015-01-15
US9378538B2 (en) 2016-06-28
TWI539406B (zh) 2016-06-21

Similar Documents

Publication Publication Date Title
CN104284126B (zh) 影像插补方法以及应用该方法的影像插补装置与影像装置
Anwar et al. Densely residual laplacian super-resolution
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
Gallego et al. Accurate angular velocity estimation with an event camera
WO2020108358A1 (zh) 图像修复方法、装置、计算机设备和存储介质
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN112750076B (zh) 一种基于深度学习的光场多视角图像超分辨率重建方法
CN104008538B (zh) 基于单张图像超分辨率方法
CN104809731B (zh) 一种基于梯度二值化的旋转尺度不变场景匹配方法
DE112018007730T5 (de) 3d objekterkennung unter verwendung von 3d konvolutionalen neuronalen netzen mit tiefenbasierten multiskalierungsfiltern
CN111242846A (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN112419150B (zh) 一种基于双边上采样网络的任意倍数图像超分辨率重建方法
Yue et al. Recaptured screen image demoiréing
Li et al. Learning detail-structure alternative optimization for blind super-resolution
Cai et al. TDPN: Texture and detail-preserving network for single image super-resolution
CN111626927A (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
Gao et al. Single image super-resolution using dual-branch convolutional neural network
Wu et al. A novel light field super-resolution framework based on hybrid imaging system
Yue et al. High iso jpeg image denoising by deep fusion of collaborative and convolutional filtering
Yang et al. SRDN: A unified super-resolution and motion deblurring network for space image restoration
Tamilselvan et al. Survey and analysis of various image fusion techniques for clinical CT and MRI images
Lyu et al. JSENet: A deep convolutional neural network for joint image super-resolution and enhancement
WO2016029515A1 (zh) 一种基于缩减像素采样处理的显示方法及设备
CN110738625A (zh) 图像重采样方法、装置、终端及计算机可读存储介质
CN108665410B (zh) 一种图像超分辨率重构方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181012

Termination date: 20210627

CF01 Termination of patent right due to non-payment of annual fee