CN112868045B - 用于基于ml的放大的帧处置 - Google Patents
用于基于ml的放大的帧处置 Download PDFInfo
- Publication number
- CN112868045B CN112868045B CN201980068299.5A CN201980068299A CN112868045B CN 112868045 B CN112868045 B CN 112868045B CN 201980068299 A CN201980068299 A CN 201980068299A CN 112868045 B CN112868045 B CN 112868045B
- Authority
- CN
- China
- Prior art keywords
- region
- edge
- framed
- sub
- edge region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000013461 design Methods 0.000 claims description 17
- 239000000945 filler Substances 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 208000019300 CLIPPERS Diseases 0.000 claims description 4
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 3
- 238000010801 machine learning Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
在基于ML的放大处理中对输入图像进行帧处置以产生输出图像,包括:从输入图像的有效画面范围的边缘检测并提取加框边缘区域;通过在每个加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域,以产生填充的边缘区域;放大填充的边缘区域以产生放大的填充的边缘区域;将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸;将裁剪后的边缘区域插入到输出图像的边缘中;并且放大输入图像的非边缘区域,并将放大的非边缘区域插入到输出图像中。
Description
相关申请的交叉引用
本申请依据35U.S.C.§119(e)要求于2018年10月18日提交的标题为“Machine-Learning Based Single Image Upscaling Application for Motion Pictures.”的共同待决的美国临时专利申请No.62/747,453的优先权权益。上面引用的申请的公开通过引用并入本文。
技术领域
本公开涉及帧处置,并且更具体而言,涉及用于基于机器学习(基于ML)的放大的帧处置。
背景技术
机器学习(ML)可以被用于执行图像超分辨率放大。但是,当图像包含在后期处理期间插入的加框边缘(例如,信箱、邮筒、窗口框)时,常规的基于ML的放大处理存在一些已观察到的问题。因而,当通过常规的基于ML的放大来处理具有这种加框边缘的图像时,该放大会沿着图像的边缘产生伪影,这会导致最终输出中损失清楚和/或清晰的边缘。
发明内容
本公开提供了在基于ML的训练处理之前处理输入中的帧边缘。
在一个实施方式中,公开了一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的方法。该方法包括:从输入图像的有效画面范围的边缘检测并提取加框边缘区域;通过在每个加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域,以产生填充的边缘区域;放大填充的边缘区域以产生放大的填充的边缘区域;将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸;将裁剪后的边缘区域插入到输出图像的边缘中;并且放大输入图像的非边缘区域,并将放大的非边缘区域插入到输出图像中。
在一个实施方式中,在每个加框边缘区域周围添加额外像素包括:确定如何在每个加框边缘区域周围填充额外像素;并且在每个加框边缘区域周围添加额外像素的子区域。在一个实施方式中,添加子区域包括确定每个子区域的类型。在一个实施方式中,子区域的第一类型包括具有完全在有效画面范围内的像素的子区域。在一个实施方式中,该方法还包括:当确定子区域为第一类型时,在子区域的方向中扩展每个加框边缘区域。在一个实施方式中,子区域的第二类型包括具有不在有效画面范围内但是在填充的边缘区域之一的边缘上的至少一个像素的子区域。在一个实施方式中,该方法还包括:当确定子区域为第二类型时,在边缘上使用蝴蝶图像来扩展加框边缘区域。在一个实施方式中,子区域的第三类型包括具有不在有效画面范围内但是在填充的边缘区域之一的拐角上的至少一个像素的子区域。在一个实施方式中,该方法还包括:当确定子区域为第三类型时,在拐角上使用蝴蝶图像来扩展每个加框边缘区域。
在另一个实施方式中,公开了一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的系统。该系统包括:边缘区域提取器,被配置为从输入图像的有效画面范围的边缘检测并提取加框边缘区域;边缘区域扩展器,被配置为通过在每个加框边缘区域周围添加额外像素来扩展每个加框边缘区域以产生填充的边缘区域,其中边缘区域扩展器将填充的边缘区域馈入放大处理器以进行放大并产生放大的填充的边缘区域;边缘区域裁剪器,被配置为将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸;边缘区域充填器,被配置为将裁剪后的边缘区域插入到输出图像的边缘中;以及非边缘区域充填器,被配置为放大输入图像的非边缘区域,并将放大的非边缘区域插入到输出图像中。
在一个实施方式中,边缘区域扩展器通过在每个加框边缘区域周围添加额外像素的子区域来在每个加框边缘区域周围添加额外像素。在一个实施方式中,添加子区域包括确定每个子区域的类型。在一个实施方式中,子区域的第一类型包括具有完全在有效画面范围内的像素的子区域。在一个实施方式中,边缘区域扩展器被配置为:当确定子区域为第一类型时,在子区域的方向中扩展每个加框边缘区域。在一个实施方式中,子区域的第二类型包括具有不在有效画面范围内但是在填充的边缘区域之一的边缘上的至少一个像素的子区域。在一个实施方式中,边缘区域扩展器被配置为:当确定子区域为第二类型时,在边缘上使用蝴蝶图像来扩展每个加框边缘区域。在一种实施方式中,子区域的第三类型包括具有不在有效画面范围内但是在填充的边缘区域之一的拐角上的至少一个像素的子区域。在一个实施方式中,边缘区域扩展器被配置为:当确定子区域为第三类型时,在拐角上使用蝴蝶图像来扩展每个加框边缘区域。
在又一个实施方式中,公开了一种存储计算机程序以在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的非暂态计算机可读存储介质。该计算机程序包括使计算机执行以下操作的可执行指令:从输入图像的有效画面范围的边缘检测并提取加框边缘区域;通过在每个加框边缘区域周围添加额外像素来扩展提取出的加框边缘区域,以产生填充的边缘区域;放大填充的边缘区域以产生放大的填充的边缘区域;将每个放大的填充的边缘区域裁剪成与放大之前的每个加框边缘区域的尺寸乘以放大因子对应的尺寸;将裁剪后的边缘区域插入到输出图像的边缘中;并且放大输入图像的非边缘区域,并将放大的非边缘区域插入到输出图像中。
在一个实施方式中,使计算机扩展提取出的加框边缘区域的可执行指令包括使计算机执行以下操作的可执行指令:确定如何在每个加框边缘区域周围填充额外像素;并且添加额外像素的子区域。
根据通过示例的方式说明本公开的各方面的本描述,应当清楚其它特征和优点。
附图说明
关于本公开的结构和操作二者的细节,可以通过研究附图来部分地收集,其中相同的附图标记指代相同的部分,并且其中:
图1A示出了信箱边缘;
图1B示出了邮筒边缘;
图1C示出了窗口框边缘;
图2是图示根据本公开的一个实施方式的用于在基于ML的放大处理中进行帧处置的处理的流程图;
图3是图示根据本公开的一个实施方式的图2所示的帧处置处理的填充处理的详细流程图;
图4是图示根据本公开的一个实施方式的用于在基于ML的放大处理中进行帧处置的处理的流程图;
图5是图示根据本公开的一个实施方式的图4所示的帧处置处理的填充处理的详细流程图;
图6是示出根据本公开的一个实施方式的帧处置系统的框图;
图7A是根据本公开的实施方式的计算机系统和用户的表示;以及
图7B是图示根据本公开的实施方式的托管帧处置应用的计算机系统的功能框图。
具体实施方式
如上所述,当图像包含在后期处理期间插入的加框边缘时,常规的基于ML的放大处理存在一些已观察到的问题。例如,当通过常规的基于ML的放大处理具有这种加框边缘的图像时,放大处理会沿着图像的边缘产生伪影,这会导致最终输出中损失清楚和/或清晰的边缘。图1A、图1B和图1C示出了加框边缘的示例。图1A示出了信箱边缘100;图1B示出了邮筒边缘110;而图1C示出了窗口框边缘120。
为了解决常规处理的上面提到的问题,本公开的某些实施方式提供了在基于ML的训练处理之前处理输入中的帧边缘。
在阅读这些描述之后,将清楚如何在各种实施方式和应用中实现本公开。虽然本文将描述本公开的各种实施方式,但是应该理解的是,这些实施方式仅以示例而非限制的方式呈现。同样地,各种实施方式的这种详细描述不应当被解释为限制本公开的范围或广度。
图2是图示根据本公开的一个实施例的用于在基于ML的放大处理中进行帧处置的处理200的流程图。在图2的所示实施方式中,帧处置处理200包括:当通过基于ML的放大处理来处理图像时,处理输入图像的边缘以实质上减少沿着图像边缘的伪影。图2还示出了帧处置处理与常规的基于ML的放大处理的比较。
在左侧所示的常规的基于ML的放大处理中,没有在加框边缘区域210周围添加额外的填充像素。因此,当通过基于ML的放大处理来处理图像时,该放大处理沿着图像的边缘产生伪影212,这可以导致在最终输出中损失清楚和/或清晰的边缘。相反,图2右侧所示的处理包括在基于ML的放大之前执行的帧处置处理。
在图2的所示实施方式中,在基于ML的放大处理之前,从输入图像的有效画面范围206中检测并提取204加框边缘区域202。在帧处置处理的一个实施方式中,然后通过在提取出的加框边缘区域周围添加额外的填充/像素来扩展提取出的加框边缘区域202,以产生填充的边缘区域220。图3中示出了如何添加额外的填充/像素的细节。
在图2的所示实施方式中,将填充的边缘区域220馈入基于ML的放大处理器(例如,神经网络)以产生放大的填充的边缘区域222。在一个实施方式中,放大的填充的边缘区域222被裁剪成与放大处理之前的原始区域的尺寸乘以放大因子对应的尺寸。因此,裁剪产生边缘上没有伪影的清楚边缘区域224。然后将裁剪后的且清楚的边缘区域224插入到输出图像中作为输出的放大的图像。
在一个实施方式中,对输入图像的有效画面范围的所有边缘重复以下步骤:(1)从输入图像的有效画面范围中检测并提取加框边缘区域;(2)对加框边缘区域进行填充;(3)放大填充的加框边缘区域;(4)将放大的加框边缘区域裁剪成原始区域的尺寸;以及(5)将裁剪后的加框边缘区域插入到输出图像中。此外,提取并放大剩余的非边缘区域,并将其插入到输出图像中以完成放大的输出图像。
图3是图示根据本公开的一个实施方式的图2所示的帧处置处理的填充处理222的详细流程图。图3的所示实施方式示出了用附加的填充/像素区域(B和C区域)填充提取出的加框边缘区域302以产生填充的区域320。
在一个实施方式中,要添加到提取出的加框边缘区域302的附加填充/像素区域包括八个子区域(例如,两侧、顶部和底部,以及四个拐角)。在这个实施方式中,八个子区域被分为3种类型的填充设计(pad design)(例如,A、B、C)。
在一个示例中,类型A填充设计被用于有效画面范围300内的子区域。因此,通过向四个方向扩展图像范围来形成类型A填充设计。在图3中,类型A填充设计被用于左侧子区域、底部子区域和底部左拐角子区域。因而,填充的区域320示出了通过向四个方向扩展图像范围而形成的那些子区域(即,左侧子区域、底部子区域和底部左拐角子区域)。
在另一个示例中,类型B填充设计被用于不在有效画面范围300内但是在边缘(例如,左、右、顶部或底部)中的子区域。因此,在边缘上使用蝴蝶图像形成类型B填充设计。在一个实施方式中,蝴蝶图像是指作为在提取出的加框边缘区域302与类型B填充区域之间的线(例如,线322或线324)处的镜像图像的图像。
在图3中,类型B填充设计被用于不在有效画面范围300中并且不在任何拐角中的顶部子区域和右侧子区域。因而,填充的区域320示出在边缘上使用蝴蝶图像形成的那些子区域(即,顶部子区域和右侧子区域)。
在另一个示例中,类型C填充设计被用于不在有效画面范围300内但是在拐角中的子区域(例如,顶部左侧拐角、顶部右侧拐角、底部左侧拐角或底部右侧拐角)。因此,在拐角点上使用蝴蝶图像形成类型C填充设计。在图3中,类型C填充设计被用于不在有效画面范围300中但是在拐角中的顶部左侧拐角子区域、顶部右侧拐角子区域和底部右侧拐角子区域。因而,填充的区域320示出在拐角点上使用蝴蝶图像形成的那些子区域(即,顶部左侧拐角子区域、顶部右侧拐角子区域和底部右侧拐角子区域)。
图4是图示根据本公开的一个实施方式的用于在基于ML的放大处理中进行帧处置的处理400的流程图。在图4的所示实施方式中,帧处置处理400包括在方框410处检测输入图像的有效画面范围内的加框边缘区域的位置。在方框420处,从有效画面范围提取检测到的加框边缘区域。然后,在方框430处,通过在该区域周围添加额外的填充/像素来扩展提取出的加框边缘区域,以产生填充的边缘区域。图5所示的流程图中示出了如何添加额外的填充/像素的细节。
在图4的所示实施方式中,在方框440处,将填充的边缘区域馈入基于ML的放大处理器(例如,神经网络),以产生放大的填充的边缘区域。在方框450处,将放大的填充的边缘区域裁剪成与放大之前的原始区域的尺寸乘以放大因子对应的尺寸。因此,裁剪产生在边缘上没有伪影的清楚边缘区域。然后,在方框460处,将裁剪后的且清楚的边缘区域插入到输出图像的边缘中作为输出的放大的图像。
在一个实施方式中,在方框470处,做出是否已经处理了输入图像的所有边缘区域的确定。如果在方框470处确定不是所有边缘区域都已经被处理,那么针对下一个边缘区域重复步骤410至460。否则,如果在方框470处确定已经处理了所有边缘区域,那么在方框480处通过提取、放大非边缘区域并将其插入到输出图像中,处理400继续进行。
图5是图示根据本公开的一个实施方式的图4所示的帧处置处理的填充处理430的详细流程图。在图5的所示实施方式中,首先在方框500处做出关于如何在目标边缘区域周围填充像素的确定。在一个实施方式中,要在目标边缘区域(即,图3中所示的加框边缘区域302)周围填充的像素被分组为多个子区域。
在图5的所示实施方式中,要填充的像素被分组为三个子区域。在方框510处,检查要在目标边缘区域周围填充的每个子区域,以确定其是否是第一类型(例如,图3中的类型A),其中子区域在有效画面范围(例如,图3中的300)内。如果子区域在有效画面范围内,那么在方框512处,在子区域的方向中扩展图像范围。
否则,如果在方框520处确定子区域在有效画面范围之外,但是在边缘中(例如,图3中的类型B),那么在方框522处在边缘上使用蝴蝶图像来填充图像范围。如上面所指示的,类型B填充设计被用于不在有效画面范围中并且不在任何拐角中的顶部子区域和右侧子区域。
否则,如果在方框530处确定子区域在有效画面范围之外,但是在拐角中(例如,图3中的类型C),那么在方框532处在拐角点上使用蝴蝶图像来填充图像范围。如上面所指示的,类型C填充设计被用于不在有效画面范围中而在拐角中的顶部左侧拐角子区域、顶部右侧拐角子区域和底部右侧拐角子区域。
如果在方框540处确定有更多子区域要处理,那么在方框550处,该处理移至下一个子区域,并返回到方框510。否则,该处理终止。
虽然以特定顺序布置了图5中的处理500的方框510、520、530,但是可以以任何顺序执行这些方框而不影响处理500的结果。
图6是示出根据本公开的一个实施方式的帧处置系统600的框图。在图6的所示实施方式中,帧处置系统600包括加框边缘区域提取器610、边缘区域扩展器620、边缘区域裁剪器640,以及包括边缘区域充填器652和非边缘区域充填器654的区域充填器650。
在图6的所示实施方式中,边缘区域提取器610被配置为检测输入图像的有效画面范围内的加框边缘区域的位置并从有效画面范围中提取该边缘区域。边缘区域扩展器620被配置为通过在每个区域周围添加额外的填充/像素来扩展每个边缘区域,以产生填充的边缘区域。如上所述,在图5所示的流程图中示出如何添加额外的填充/像素的细节。
在图6的所示实施方式中,将填充的边缘区域馈入基于ML的放大处理器(例如,神经网络630)以产生放大的填充的边缘区域。边缘区域裁剪器640被配置为将每个放大的填充的边缘区域裁剪成与放大处理之前的原始区域的尺寸乘以放大因子对应的尺寸。因此,裁剪产生在边缘上没有伪影的清楚边缘区域。边缘区域充填器652被配置为将裁剪后的且清楚的边缘区域插入到输出图像的边缘中。此外,非边缘区域充填器654被配置为放大非边缘区域并将放大的非边缘区域插入到输出图像中以完成放大的输出图像。
在一个实施方式中,帧处置系统600是完全使用硬件配置的系统,其包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其它等效的集成或分立逻辑电路系统。在另一个实施方式中,帧处置系统600是使用硬件和软件的组合来配置的。
图7A是根据本公开的实施方式的计算机系统700和用户702的表示。用户702使用计算机系统700来实现用于放大处理中的帧处置的应用。
计算机系统700存储并执行图7B的帧处置应用790。另外,计算机系统700可以与软件程序704进行通信。软件程序704可以包括用于增强的颜色再现应用的软件代码。软件程序704可以被加载在诸如CD、DVD或存储驱动器之类的外部介质上,如将在下面进一步解释的。
此外,计算机系统700可以连接到网络780。网络780可以以各种不同的体系架构连接,例如,客户端-服务器体系架构、对等网络体系架构或其它类型的体系架构。例如,网络780可以与服务器785进行通信,该服务器785协调在增强的颜色再现应用中使用的引擎和数据。而且,网络可以是不同类型的网络。例如,网络780可以是互联网、局域网或局域网的任何变体、广域网、城域网、内联网或外联网或者无线网络。
图7B是图示根据本公开的实施方式的托管帧处置应用790的计算机系统700的功能框图。控制器710是可编程处理器,并且控制计算机系统700及其组件的操作。控制器710从存储器720或嵌入式控制器存储器(未示出)加载指令(例如,以计算机程序的形式),并执行这些指令以控制系统。在其执行中,控制器710向帧处置应用790提供软件系统,以使得能够在增强的颜色再现应用内创建和配置引擎和数据提取器。可替代地,该服务可以被实现为控制器710或计算机系统700中的单独的硬件组件。
存储器720临时存储数据以供计算机系统700的其它组件使用。在一个实施方式中,存储器720被实现为RAM。在一个实施方式中,存储器720还包括长期或永久存储器,诸如闪存和/或ROM。
存储装置730或者临时或者长时间存储数据,以供计算机系统700的其它组件使用。例如,存储装置730存储由帧处置应用790所使用的数据。在一个实施方式中,存储装置730是硬盘驱动器。
介质设备740接收可移除介质,并向插入的介质读取和/或写入数据。在一个实施方式中,例如,介质设备740是光盘驱动器。
用户接口750包括用于接受来自计算机系统700的用户的用户输入并将信息呈现给用户702的组件。在一个实施方式中,用户接口750包括键盘、鼠标、音频扬声器和显示器。控制器710使用来自用户702的输入来调整计算机系统700的操作。
I/O接口760包括一个或多个I/O端口,以连接到对应的I/O设备,诸如外部存储装置或补充设备(例如,打印机或PDA)。在一个实施方式中,I/O接口760的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口之类的端口。在另一个实施方式中,I/O接口760包括用于与外部设备无线通信的无线接口。
网络接口770包括有线和/或无线网络连接,诸如支持以太网连接的RJ-45或“Wi-Fi”接口(包括但不限于802.11)。
计算机系统700包括计算机系统所特有的附加硬件和软件(例如,电源、冷却、操作系统),但是为简单起见在图7B中未具体示出这些组件。在其它实施方式中,可以使用计算机系统的不同配置(例如,不同的总线或存储配置或多处理器配置)。
提供本文所公开的实施方式的描述以使得本领域的任何技术人员能够制造或使用本公开。对这些实施方式的许多修改对于本领域技术人员而言将是显而易见的,并且在不脱离本公开的精神或范围的情况下,本文中定义的原理可以应用于其它实施方式。因此,本公开并不旨在限于本文中所示的实施方式,而是应被赋予与本文中公开的原理和新颖特征一致的最广范围。
本公开的各种实施方式以电子硬件、计算机软件或这些技术的组合来实现。一些实施方式包括由一个或多个计算设备执行的一个或多个计算机程序。一般而言,计算设备包括一个或多个处理器、一个或多个数据存储组件(例如,易失性或非易失性存储器模块以及永久性的光和磁存储设备,诸如硬盘和软盘驱动器、CD-ROM驱动器和磁带驱动器)、一个或多个输入设备(例如,游戏控制器、鼠标和键盘),以及一个或多个输出设备(例如,显示设备)。
计算机程序包括可执行代码,该可执行代码通常存储在持久性存储介质中,然后在运行时复制到存储器中。至少一个处理器通过以规定的顺序从存储器中检索程序指令来执行代码。当执行程序代码时,计算机从输入和/或存储设备接收数据、对数据执行操作,然后将结果数据递送到输出和/或存储设备。
本领域技术人员将认识到的是,本文描述的各种说明性模块和方法步骤可以被实现为电子硬件、软件、固件或前述的组合。为了清楚地说明硬件和软件的这种互换性,在本文已总体上根据其功能性描述了各种说明性模块和方法步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能性,但是这样的实施方式决定不应当被解释为导致脱离本公开的范围。此外,模块或步骤内的功能的分组是为了便于描述。可以在不脱离本公开的情况下将具体功能从一个模块或步骤移动到另一个模块或步骤。
不是每个上面讨论的示例的所有特征在本公开的特定实施方式中都是必需的。另外,应理解的是,本文呈现的描述和附图代表本公开广泛预期的主题。还应理解的是,本公开的范围完全涵盖对于本领域技术人员而言将变得明显的其它实施方式,并且本公开的范围因此仅由所附权利要求书来限制。
Claims (20)
1.一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的方法,所述方法包括:
从所述输入图像的有效画面范围的边缘检测并提取加框边缘区域;
通过在所述加框边缘区域的每个区域周围添加额外像素以及在每个区域中添加像素形成设计,来扩展提取出的加框边缘区域,
其中添加的额外像素形成每个区域周围的填充的边缘区域,
其中所述有效画面范围中的添加的额外像素是通过将每个区域扩展到所述有效画面范围中而生成的,并且
其中所述有效画面范围外的添加的额外像素是通过在每个区域中变换所述设计的像素而生成的;
放大所述填充的边缘区域以产生放大的填充的边缘区域;
将每个所述放大的填充的边缘区域裁剪成与放大之前的每个所述加框边缘区域的尺寸乘以放大因子对应的尺寸;
将裁剪后的边缘区域插入到所述输出图像的边缘中;以及
放大所述输入图像的非边缘区域,并将放大的非边缘区域插入到所述输出图像中。
2.根据权利要求1所述的方法,其中在每个所述加框边缘区域周围添加额外像素包括:
确定如何在每个所述加框边缘区域周围填充所述额外像素;以及
在每个所述加框边缘区域周围添加所述额外像素的子区域。
3.根据权利要求2所述的方法,其中添加子区域包括确定每个子区域的类型。
4.根据权利要求3所述的方法,其中所述子区域的第一类型包括:
具有完全在所述有效画面范围内的像素的子区域。
5.根据权利要求4所述的方法,还包括:
当确定所述子区域为所述第一类型时,在所述子区域的方向中扩展每个所述加框边缘区域。
6.根据权利要求3所述的方法,其中所述子区域的第二类型包括:
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的边缘上的至少一个像素的子区域。
7.根据权利要求6所述的方法,还包括:
当确定所述子区域为所述第二类型时,在所述边缘上使用蝴蝶图像来扩展所述加框边缘区域。
8.根据权利要求3所述的方法,其中所述子区域的第三类型包括:
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的拐角上的至少一个像素的子区域。
9.根据权利要求8所述的方法,还包括:
当确定所述子区域为所述第三类型时,在所述拐角上使用蝴蝶图像来扩展每个所述加框边缘区域。
10.一种用于在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的系统,所述系统包括:
边缘区域提取器,被配置为从所述输入图像的有效画面范围的边缘检测并提取加框边缘区域;
边缘区域扩展器,被配置为通过在每个所述加框边缘区域周围添加额外像素以及在所述加框边缘区域的每个区域中添加像素形成设计,来扩展所述加框边缘区域的每个区域,
其中添加的额外像素形成每个区域周围的填充的边缘区域,
其中所述有效画面范围中的添加的额外像素是通过将每个区域扩展到所述有效画面范围中而生成的,并且
其中所述有效画面范围外的添加的额外像素是通过在每个区域中变换所述设计的像素而生成的;
其中边缘区域扩展器将所述填充的边缘区域馈入放大处理器以进行放大并产生放大的填充的边缘区域;
边缘区域裁剪器,被配置为将每个所述放大的填充的边缘区域裁剪成与放大之前的每个所述加框边缘区域的尺寸乘以放大因子对应的尺寸;
边缘区域充填器,被配置为将裁剪后的边缘区域插入到所述输出图像的边缘中;以及
非边缘区域充填器,被配置为放大所述输入图像的非边缘区域,并将放大的非边缘区域插入到所述输出图像中。
11.根据权利要求10所述的系统,其中边缘区域扩展器通过在每个所述加框边缘区域周围添加所述额外像素的子区域来在每个所述加框边缘区域周围添加所述额外像素。
12.根据权利要求11所述的系统,其中添加子区域包括确定每个所述子区域的类型。
13.根据权利要求12所述的系统,其中所述子区域的第一类型包括:
具有完全在所述有效画面范围内的像素的子区域。
14.根据权利要求13所述的系统,其中边缘区域扩展器还被配置为:当确定所述子区域为所述第一类型时,在所述子区域的方向中扩展每个所述加框边缘区域。
15.根据权利要求12所述的系统,其中所述子区域的第二类型包括:
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的边缘上的至少一个像素的子区域。
16.根据权利要求15所述的系统,其中边缘区域扩展器还被配置为:当确定所述子区域为所述第二类型时,在所述边缘上使用蝴蝶图像来扩展每个所述加框边缘区域。
17.根据权利要求12所述的系统,其中所述子区域的第三类型包括:
具有不在所述有效画面范围内但是在所述填充的边缘区域之一的拐角上的至少一个像素的子区域。
18.根据权利要求17所述的系统,其中边缘区域扩展器被配置为:当确定所述子区域为所述第三类型时,在所述拐角上使用蝴蝶图像来扩展每个所述加框边缘区域。
19.一种存储计算机程序以在基于ML的放大处理中对输入图像进行帧处置以产生输出图像的非暂态计算机可读存储介质,所述计算机程序包括使计算机执行以下操作的可执行指令:
从所述输入图像的有效画面范围的边缘检测并提取加框边缘区域;
通过在所述加框边缘区域的每个区域周围添加额外像素以及在每个区域中添加像素形成设计,来扩展提取出的加框边缘区域,
其中添加的额外像素形成每个区域周围的填充的边缘区域,
其中所述有效画面范围中的添加的额外像素是通过将每个区域扩展到所述有效画面范围中而生成的,并且
其中所述有效画面范围外的添加的额外像素是通过在每个区域中变换所述设计的像素而生成的;
放大所述填充的边缘区域以产生放大的填充的边缘区域;
将每个所述放大的填充的边缘区域裁剪成与放大之前的每个所述加框边缘区域的尺寸乘以放大因子对应的尺寸;
将裁剪后的边缘区域插入到所述输出图像的边缘中;以及
放大所述输入图像的非边缘区域,并将放大的非边缘区域插入到所述输出图像中。
20.根据权利要求19所述的非暂态计算机可读存储介质,其中使计算机扩展所述提取出的加框边缘区域的可执行指令包括使计算机执行以下操作的可执行指令:
确定如何在每个所述加框边缘区域周围填充所述额外像素;并且
添加所述额外像素的子区域。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862747453P | 2018-10-18 | 2018-10-18 | |
US62/747,453 | 2018-10-18 | ||
US16/440,808 | 2019-06-13 | ||
US16/440,808 US11265446B2 (en) | 2018-10-18 | 2019-06-13 | Frame handling for ML-based upscaling |
PCT/US2019/056499 WO2020081659A1 (en) | 2018-10-18 | 2019-10-16 | Frame handling for ml-based upscaling |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112868045A CN112868045A (zh) | 2021-05-28 |
CN112868045B true CN112868045B (zh) | 2024-07-12 |
Family
ID=70280043
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980068299.5A Active CN112868045B (zh) | 2018-10-18 | 2019-10-16 | 用于基于ml的放大的帧处置 |
CN201980068332.4A Active CN112868046B (zh) | 2018-10-18 | 2019-10-17 | 调整放大输出时的清晰度和细节 |
CN201980068285.3A Active CN112868034B (zh) | 2018-10-18 | 2019-10-17 | 用于放大的增强颜色再现 |
CN201980069159.XA Active CN112930552B (zh) | 2018-10-18 | 2019-10-17 | 大尺寸图像的训练和放大 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980068332.4A Active CN112868046B (zh) | 2018-10-18 | 2019-10-17 | 调整放大输出时的清晰度和细节 |
CN201980068285.3A Active CN112868034B (zh) | 2018-10-18 | 2019-10-17 | 用于放大的增强颜色再现 |
CN201980069159.XA Active CN112930552B (zh) | 2018-10-18 | 2019-10-17 | 大尺寸图像的训练和放大 |
Country Status (6)
Country | Link |
---|---|
US (5) | US11265446B2 (zh) |
EP (4) | EP3844707A4 (zh) |
JP (5) | JP7416774B2 (zh) |
KR (4) | KR102649544B1 (zh) |
CN (4) | CN112868045B (zh) |
WO (4) | WO2020081659A1 (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11265446B2 (en) | 2018-10-18 | 2022-03-01 | Sony Corporation | Frame handling for ML-based upscaling |
CN112396558B (zh) * | 2019-08-15 | 2024-07-23 | 株式会社理光 | 图像处理方法、装置及计算机可读存储介质 |
US11154773B2 (en) | 2019-10-31 | 2021-10-26 | Nvidia Corpration | Game event recognition |
US11673061B2 (en) | 2020-01-17 | 2023-06-13 | Nvidia Corporation | Extensible dictionary for game events |
US11170471B2 (en) * | 2020-01-20 | 2021-11-09 | Nvidia Corporation | Resolution upscaling for event detection |
US11715200B2 (en) | 2020-01-31 | 2023-08-01 | Illumina, Inc. | Machine learning-based root cause analysis of process cycle images |
WO2021260822A1 (ja) * | 2020-06-24 | 2021-12-30 | 三菱電機株式会社 | 学習装置、推論装置、プログラム、学習方法及び推論方法 |
JP2024505317A (ja) * | 2021-01-29 | 2024-02-06 | イルミナ インコーポレイテッド | プロセスサイクル画像の深層学習ベースの根本原因分析 |
US20230156169A1 (en) * | 2021-11-18 | 2023-05-18 | Capital One Services, Llc | Reduced bandwidth image transfer |
WO2023224320A1 (ko) * | 2022-05-17 | 2023-11-23 | 삼성전자 주식회사 | 영상의 화질을 향상시키기 위한 영상 처리 장치 및 방법 |
US20230394647A1 (en) * | 2022-06-06 | 2023-12-07 | Nvidia Corporation | Determining contour edges for an image |
KR20240003817A (ko) | 2022-07-01 | 2024-01-11 | 아주스틸 주식회사 | 빅픽쳐 기술을 이용한 디자인 강판 제조방법 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204447A (zh) * | 2016-06-30 | 2016-12-07 | 北京大学 | 基于总变差分和卷积神经网络的超分辨率重建方法 |
Family Cites Families (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS572353A (en) | 1980-06-06 | 1982-01-07 | Toray Ind Inc | Polyester resin composition |
JP2502175B2 (ja) | 1990-08-18 | 1996-05-29 | 富士通株式会社 | 原画像パタ―ンデ―タ再生方法及び装置 |
JPH08149321A (ja) * | 1994-11-16 | 1996-06-07 | Canon Inc | カラー画像通信装置及び方法 |
JPH11112795A (ja) * | 1997-09-30 | 1999-04-23 | Fuji Photo Film Co Ltd | 画像処理システム |
WO2000056060A1 (fr) | 1999-03-15 | 2000-09-21 | Matsushita Electric Industrial Co., Ltd. | Dispositif et procede de traitement d'image, et support enregistre |
JP2000332999A (ja) * | 1999-03-15 | 2000-11-30 | Matsushita Electric Ind Co Ltd | 画像拡大装置 |
JP2000324337A (ja) * | 1999-05-10 | 2000-11-24 | Victor Co Of Japan Ltd | 画像拡大縮小装置 |
ATE453903T1 (de) | 2001-12-21 | 2010-01-15 | Ibm | Verfahren und schaltungen zur bildskalierung mit hilfe neuronaler netzwerke |
CN100423021C (zh) * | 2002-10-17 | 2008-10-01 | 精工爱普生株式会社 | 用于低景深图像分割的方法和装置 |
GB0229096D0 (en) * | 2002-12-13 | 2003-01-15 | Qinetiq Ltd | Image stabilisation system and method |
US7218796B2 (en) | 2003-04-30 | 2007-05-15 | Microsoft Corporation | Patch-based video super-resolution |
JP2005267457A (ja) * | 2004-03-19 | 2005-09-29 | Casio Comput Co Ltd | 画像処理装置、撮影装置、画像処理方法及びプログラム |
US7809197B2 (en) * | 2004-12-09 | 2010-10-05 | Eastman Kodak Company | Method for automatically determining the acceptability of a digital image |
JP4760288B2 (ja) * | 2005-10-13 | 2011-08-31 | ソニー株式会社 | 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム |
PT2145276T (pt) * | 2007-04-05 | 2020-07-30 | Fund D Anna Sommer Champalimaud E Dr Carlos Montez Champalimaud | Sistemas e métodos de tratamento, diagnóstico e previsão da ocorrência de uma condição médica |
JP5271031B2 (ja) * | 2008-08-09 | 2013-08-21 | 株式会社キーエンス | 画像のデータ圧縮方法、画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
US8385971B2 (en) * | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
CN102612697B (zh) * | 2009-07-21 | 2014-10-22 | 高通股份有限公司 | 用于视频图像的检测和增强的方法及系统 |
US8494308B2 (en) | 2011-03-10 | 2013-07-23 | Sharp Laboratories Of America, Inc. | Image upscaling based upon directional interpolation |
US20130028538A1 (en) | 2011-07-29 | 2013-01-31 | Simske Steven J | Method and system for image upscaling |
WO2013089261A1 (ja) | 2011-12-12 | 2013-06-20 | 日本電気株式会社 | 画像処理システム及び画像処理方法 |
CN102682424B (zh) * | 2012-01-07 | 2014-12-17 | 河南科技大学 | 基于边缘方向差值的图像放大处理方法 |
US8620073B2 (en) | 2012-02-24 | 2013-12-31 | Mitsubishi Electric Research Laboratories, Inc. | Upscaling natural images |
CN104756151A (zh) * | 2012-07-03 | 2015-07-01 | 马赛网络股份有限公司 | 用于增强和处理数字图像的系统及方法 |
US10147202B2 (en) * | 2013-03-15 | 2018-12-04 | Arm Limited | Methods of and apparatus for encoding and decoding data |
CN103646379B (zh) * | 2013-11-28 | 2019-04-26 | 青岛海信电器股份有限公司 | 一种图像放大方法和装置 |
JP6349703B2 (ja) | 2013-12-03 | 2018-07-04 | 株式会社ニコン | 電子カメラ及び画像処理プログラム |
CN116260951A (zh) * | 2014-06-03 | 2023-06-13 | Mtt创新公司 | 用于显示视频数据和图像数据的方法和设备 |
EP3038049A1 (en) | 2014-12-22 | 2016-06-29 | Thomson Licensing | Method for upscaling an image and apparatus for upscaling an image |
US9794540B2 (en) | 2015-04-17 | 2017-10-17 | Google Inc. | Hardware-based convolutional color correction in digital images |
US9336582B1 (en) * | 2015-04-17 | 2016-05-10 | Google Inc. | Convolutional color correction |
EP3166068B1 (en) | 2015-11-06 | 2020-08-12 | Thomson Licensing | Method for upscaling an image and apparatus for upscaling an image |
EP3166070B1 (en) * | 2015-11-09 | 2021-01-06 | InterDigital CE Patent Holdings | Method for upscaling noisy images, and apparatus for upscaling noisy images |
US9836819B1 (en) | 2015-12-30 | 2017-12-05 | Google Llc | Systems and methods for selective retention and editing of images captured by mobile image capture device |
WO2017124036A1 (en) | 2016-01-16 | 2017-07-20 | Flir Systems, Inc. | Systems and methods for image super-resolution using iterative collaborative filtering |
US9996902B2 (en) * | 2016-01-19 | 2018-06-12 | Google Llc | Image upscaling |
US9836820B2 (en) * | 2016-03-03 | 2017-12-05 | Mitsubishi Electric Research Laboratories, Inc. | Image upsampling using global and local constraints |
KR102631381B1 (ko) * | 2016-11-07 | 2024-01-31 | 삼성전자주식회사 | 컨볼루션 신경망 처리 방법 및 장치 |
US10032256B1 (en) | 2016-11-18 | 2018-07-24 | The Florida State University Research Foundation, Inc. | System and method for image processing using automatically estimated tuning parameters |
FR3059804B1 (fr) | 2016-12-07 | 2019-08-02 | Idemia Identity And Security | Systeme de traitement d'images |
CN106709875B (zh) * | 2016-12-30 | 2020-02-18 | 北京工业大学 | 一种基于联合深度网络的压缩低分辨率图像复原方法 |
CN106910161B (zh) | 2017-01-24 | 2020-06-19 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
KR101861342B1 (ko) | 2017-03-30 | 2018-05-28 | 인천대학교 산학협력단 | 기상 정보에 따라 기상 캐스터의 의상 컬러를 실시간으로 변화시키기 위한 장치 및 방법 |
JP7184488B2 (ja) | 2017-04-21 | 2022-12-06 | 株式会社半導体エネルギー研究所 | 画像処理方法および受像装置 |
CN107633229A (zh) | 2017-09-21 | 2018-01-26 | 北京智芯原动科技有限公司 | 基于卷积神经网络的人脸检测方法及装置 |
CN107945125B (zh) * | 2017-11-17 | 2021-06-22 | 福州大学 | 一种融合频谱估计法和卷积神经网络的模糊图像处理方法 |
CN107945146B (zh) * | 2017-11-23 | 2021-08-03 | 南京信息工程大学 | 一种基于深度卷积神经网络的时空卫星图像融合方法 |
CN108319894A (zh) * | 2017-12-28 | 2018-07-24 | 杭州乔戈里科技有限公司 | 基于深度学习的水果识别方法及装置 |
CN108197587B (zh) * | 2018-01-18 | 2021-08-03 | 中科视拓(北京)科技有限公司 | 一种通过人脸深度预测进行多模态人脸识别的方法 |
US10284432B1 (en) * | 2018-07-03 | 2019-05-07 | Kabushiki Kaisha Ubitus | Method for enhancing quality of media transmitted via network |
CN109146814B (zh) * | 2018-08-20 | 2021-02-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
US10547823B2 (en) | 2018-09-25 | 2020-01-28 | Intel Corporation | View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning |
US11265446B2 (en) | 2018-10-18 | 2022-03-01 | Sony Corporation | Frame handling for ML-based upscaling |
-
2019
- 2019-06-13 US US16/440,808 patent/US11265446B2/en active Active
- 2019-06-13 US US16/440,828 patent/US10931853B2/en active Active
- 2019-06-14 US US16/442,131 patent/US11252300B2/en active Active
- 2019-06-14 US US16/442,147 patent/US11252301B2/en active Active
- 2019-10-16 JP JP2021521273A patent/JP7416774B2/ja active Active
- 2019-10-16 CN CN201980068299.5A patent/CN112868045B/zh active Active
- 2019-10-16 WO PCT/US2019/056499 patent/WO2020081659A1/en unknown
- 2019-10-16 KR KR1020217009814A patent/KR102649544B1/ko active IP Right Grant
- 2019-10-16 EP EP19872709.1A patent/EP3844707A4/en active Pending
- 2019-10-17 CN CN201980068332.4A patent/CN112868046B/zh active Active
- 2019-10-17 WO PCT/US2019/056675 patent/WO2020081772A1/en unknown
- 2019-10-17 WO PCT/US2019/056681 patent/WO2020081776A1/en unknown
- 2019-10-17 EP EP19872502.0A patent/EP3844706A4/en active Pending
- 2019-10-17 CN CN201980068285.3A patent/CN112868034B/zh active Active
- 2019-10-17 CN CN201980069159.XA patent/CN112930552B/zh active Active
- 2019-10-17 JP JP2021521242A patent/JP2022505275A/ja active Pending
- 2019-10-17 WO PCT/US2019/056673 patent/WO2020081770A1/en unknown
- 2019-10-17 JP JP2021521153A patent/JP7404359B2/ja active Active
- 2019-10-17 KR KR1020217009782A patent/KR102596182B1/ko active IP Right Grant
- 2019-10-17 KR KR1020217009840A patent/KR102593893B1/ko active IP Right Grant
- 2019-10-17 KR KR1020217009779A patent/KR102550342B1/ko active IP Right Grant
- 2019-10-17 EP EP19873447.7A patent/EP3844708A4/en active Pending
- 2019-10-17 EP EP19873535.9A patent/EP3844682A4/en active Pending
- 2019-10-17 JP JP2021521263A patent/JP7304414B2/ja active Active
-
2021
- 2021-02-05 US US17/168,657 patent/US11533413B2/en active Active
-
2023
- 2023-07-03 JP JP2023109105A patent/JP2023139008A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204447A (zh) * | 2016-06-30 | 2016-12-07 | 北京大学 | 基于总变差分和卷积神经网络的超分辨率重建方法 |
Non-Patent Citations (1)
Title |
---|
A New Approach to Compute CNNs for Extremely Large Images;saiwu等;《PROCEEDINGS OF THE 2017 ACM ON CONFERENCE MANAGEMENT》;第39-48页 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112868045B (zh) | 用于基于ml的放大的帧处置 | |
KR102399508B1 (ko) | 레이아웃 분석 방법, 판독 보조 장치, 회로, 및 매체 | |
EP2645692B1 (en) | Image processing device, image processing method and apparatus | |
CN111612004A (zh) | 一种基于语义内容的图像裁剪方法及装置 | |
JP2008147850A (ja) | デザイン編集方法およびデザイン編集装置およびデザイン編集プログラム | |
CN111133474B (zh) | 图像处理设备、图像处理方法和计算机可读记录介质 | |
US20150128029A1 (en) | Method and apparatus for rendering data of web application and recording medium thereof | |
CN113379768A (zh) | 一种图像处理方法、装置、存储介质和计算机设备 | |
JP5577763B2 (ja) | 画像処理装置、画像処理システム、及び画像処理プログラム | |
JP5719271B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
US9292770B2 (en) | Information processing apparatus, method and medium | |
JP5477915B2 (ja) | 印刷データ生成装置、印刷データ生成方法、及びプログラム | |
JP6639120B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008098946A (ja) | 画像処理装置及びその制御方法 | |
US20190132545A1 (en) | Information processing apparatus and control method therefor | |
CN112419141A (zh) | 图片处理方法、装置、计算机设备 | |
US8120788B2 (en) | Image arranging device and image arranging program storage medium | |
JP2005184490A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP4174454B2 (ja) | 画像処理装置 | |
JP2011128720A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |