CN101651832B - 在嵌入式设备中提供较高分辨率图像的方法和装置 - Google Patents

在嵌入式设备中提供较高分辨率图像的方法和装置 Download PDF

Info

Publication number
CN101651832B
CN101651832B CN200910161859.XA CN200910161859A CN101651832B CN 101651832 B CN101651832 B CN 101651832B CN 200910161859 A CN200910161859 A CN 200910161859A CN 101651832 B CN101651832 B CN 101651832B
Authority
CN
China
Prior art keywords
image
resolution
image sequence
super
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200910161859.XA
Other languages
English (en)
Other versions
CN101651832A (zh
Inventor
艾德里安·科瑞森
尼考劳斯·乔治斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of CN101651832A publication Critical patent/CN101651832A/zh
Application granted granted Critical
Publication of CN101651832B publication Critical patent/CN101651832B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了在嵌入式设备中提供较高分辨率图像的方法和装置。描述了通过对经过压缩的图像序列和一个或多个运动向量执行超分辨率技术来在嵌入式设备中提供较高分辨率图像的方法和装置。在一个示例中，该方法包括使用视频压缩技术来压缩包括多个较低分辨率的图像的图像序列，并且对经过压缩的图像序列应用超分辨率技术来生成较高分辨率的图像。

Description

在嵌入式设备中提供较高分辨率图像的方法和装置
技术领域
本发明总地涉及嵌入式设备，并且更具体而言，涉及用于利用超分辨率技术在嵌入式设备中提供较高分辨率图像的方法和装置。
背景技术
相机设备的用户可以通过以特定的图像分辨率生成对象的数字图像来给对象“照相”。一般，数字图像包括表示该对象的像素数据，而图像分辨率是指该数字图像的细节量。有时，由相机设备生成的数字图像可能畸变。例如，晃动(handshaking)(例如，相机抖动)可能引起数字图像中的畸变(例如，模糊)。
有时，超分辨率技术可以用来减轻晃动的效果。超分辨率技术被配置来从一个或多个较低分辨率的图像产生较高分辨率的图像。超分辨率技术使用运动估计和去模糊技术预测从较低分辨率的图像中丢失的细节(例如，像素数据)。丢失的细节被应用于这一个或多个较低分辨率的图像来产生较高分辨率的图像。
当前，由于处理器和存储器局限性，不在嵌入式设备上执行超分辨率技术。嵌入式设备可以是具有内建相机的设备，例如移动电话、个人数字助理(PDA)、“智能手机”等。由于尺寸限制，嵌入式设备被限于特定数量的存储设备和/或处理器资源。原始的未经压缩的图像尺寸相当大并且消耗大量的存储器。因此，在嵌入式设备被使用的同时，存在太多要由处理器来执行超分辨率技术的图像。
当前，超分辨率技术是在较低分辨率的图像被保存到设备存储器中的同步之前在嵌入式设备上被离线执行的。处理是在将较低分辨率的图像从嵌入式设备转送到另一设备(例如，计算机)之前被离线完成的。然而，用户不能在较低分辨率的屏幕上观看高分辨率的图像。
因此，在本技术领域中存在对在嵌入式设备中提供较高分辨率的图像的需求。
发明内容
本发明的实施例包括一种用于通过使用一个或多个运动向量对经过压缩的图像序列执行超分辨率技术来提供较高分辨率的图像的方法、装置和嵌入式设备。在一个实施例中，一种使用视频压缩技术来在嵌入式设备中使能超分辨率的方法包括：使用视频压缩技术来压缩包括多个较低分辨率的图像的图像序列，并且对经过压缩的图像序列应用超分辨率技术来生成较高分辨率的图像。
附图说明
为了本发明的上述特征可以被详细理解，对以上简要总结的本发明的更具体的描述可以参考实施例，实施例中的一些被示出在附图中。然而，应当注意，附图仅示出本发明的典型实施例并且因此不被认为是对其范围的限制，因为，本发明可以容许其它同等有效的实施例。
图1是根据一个或多个实施例的、用于对经过压缩的图像序列执行超分辨率技术来产生较高分辨率图像的嵌入式设备的框图；
图2是根据一个或多个实施例的、用于使用视频压缩技术来在嵌入式设备中使能超分辨率的方法的流程图；
图3是根据一个或多个实施例的、用于压缩多个较低分辨率的图像来在嵌入式设备中使能超分辨率的方法的流程图；
图4是根据一个或多个实施例的、用于生成差分图像(differenceimage)的方法的流程图；以及
图5是根据一个或多个实施例的、用于在嵌入式设备的传感器处压缩图像序列的方法的流程图；
具体实施方式
图1是根据本发明一个或多个实施例的、用于对经过压缩的图像序列执行超分辨率技术来产生较高分辨率的图像的嵌入式设备100的框图。经过压缩的图像序列可以是使用无损或近无损视频压缩技术被压缩的。
嵌入式设备100可以是移动电话、照相手机、智能手机、个人数字助理(PDA)，例如本技术领域中公知的那些。嵌入式设备100包括微处理器102、各种支持电路104、存储器106、相机单元108和超分辨率单元110。微处理器102方便数据处理和存储。各种支持电路104方便微处理器102的操作并且包括时钟电路、电源、缓存、输入/输出电路等中的至少一种。存储器106包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘驱动器存储装置、光学存储装置、可移除存储装置等中的至少一种。存储器106包括控制模块115、软件编解码器116和较低分辨率的图像118。一般，软件编解码器116包括使用无损视频压缩技术(例如，经过Huffman压缩的YUV、CorePNG等)或近无损视频压缩技术(例如，DV压缩、FastCodec等)来压缩图像序列的软件代码。在一个实施例中，软件编解码器116采用帧间预测技术来处理原始图像的序列。软件编解码器116可以使用运动向量估计技术来估计连续的图像之间的运动向量。在本技术领域已知各种可以由软件编解码器116使用的运动估计技术。在一个实施例中，软件编解码器116将较低分辨率的图像118的较低分辨率的图像划分成多个像素块，并且逐块地执行帧间预测和压缩。在某些实施例中，相机单元108可以包括以硬件执行软件编解码器116的功能的硬件编解码器114。
在一个实施例中，相机单元108包括可在市场上买到的嵌入式图像生成设备(例如，内建相机)。作为示例而非限制，相机单元108被用来捕获多个原始图像作为图像序列(例如，未经压缩的图像序列)。相机单元108包括传感器112(即，图像传感器)。在一个实施例中，传感器112将所捕获的图像序列存储到存储器106中，作为较低分辨率的图像118。在另一实施例中，传感器112将所捕获的图像序列转换成电信号，该电信号可以经由微处理器102被传送到嵌入式设备100的各个部分。例如，传感器112可以与超分辨率单元110进行传送。
一般，超分辨率单元110是嵌入式设备100的组件，包括分辨率增强模块120和本地存储器122。本地存储器122包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘驱动器存储装置、光学存储装置、可移除存储装置等中的至少一种。本地存储器122包括经过压缩的图像序列124、运动向量信息126和较高分辨率的图像128。在本发明的一个或多个实施例中，超分辨率单元110在经过压缩的图像序列124和运动向量信息126通过硬件编解码器114或软件编解码器116的使用被创建时存储它们。如以下进一步所述，分辨率增强模块120对经过压缩的图像序列124和运动向量信息126应用一种或多种超分辨率技术以生成较高分辨率的图像128。本技术领域公知的各种超分辨率技术都可以用于本发明。注意，分辨率增强模块120在没有从经过压缩的图像序列124完全恢复出较低分辨率的图像118的情况下，应用(一种或多种)超分辨率技术。
根据本发明各种实施例，控制模块115包括用于对从较低分辨率的图像的原始的未经压缩的图像序列创建高分辨率的图像128进行管理的软件代码。在操作中，控制模块115对原始数据的压缩和超分辨率技术对于经过压缩的图像序列124的应用进行协调。在一个实施例中，控制模块115执行软件编解码器116来压缩较低分辨率的图像118并且将经过压缩的图像序列124存储到本地存储器122中。相应地，较低分辨率的图像118可以被移除以释放存储器资源。在一个实施例中，经过压缩的图像序列124包括参考图像(例如，图像序列的第一图像)、一个或多个运动向量以及一个或多个差分图像(例如，表示原始图像与以参考图像为基础的该原始图像的预测版之间的差异的像素数据)。可以使用无损压缩技术来压缩该参考图像和/或这一个或多个差分图像。可以采用运动向量估计技术来确定一个或多个向量。为了示例清楚的目的，在此将经过压缩的图像序列124描述为具有单个参考图像。本领域技术人员将明白，经过压缩的图像序列124可以包括多个参考图像。
在某些实施例中，原始图像是未经压缩的图像序列中的任何图像。参考图像是原始图像之一。对于差分图像，所预测的图像是通过关于参考图像来计算运动向量，并且之后使用运动向量来对该参考图像的重构版进行运动补偿而形成的。差分图像是通过从被编码的原始图像中减去所预测的图像而形成的。可以针对序列中参考图像之后的每一个原始图像逐块地执行帧间预测。以这种方式，产生经过压缩的图像序列124和运动向量信息126。尽管在此描述了帧间预测的特定实施例，然而，本领域技术人员将明白，软件编解码器116和/或硬件编解码器114可以执行与在此所述的相似的其它帧间预测处理，例如，在本领域中公知的运动图像专家组(MPEG)标准中使用的帧间预测。
根据一个实施例，嵌入式设备100的晃动可能引起形成未经压缩的图像序列的较低分辨率的图像之间的一个或多个差异。较低分辨率的图像可能是从相同场景生成的但是由于嵌入式设备100的移动(即，摇动)而包括用于表示相同场景的不同像素数据。由于像素数据可能不同，一个较低分辨率的图像可能包括在另一较低分辨率的图像中未被捕获的另外的细节。因此，可以对来自两个或更多较低分辨率的图像的细节进行合成以产生高分辨率的图像。
根据本发明的各种实施例，分辨率增强模块120对经过压缩的图像序列124执行一种或多种超分辨率技术来生成较高分辨率的图像128。根据一个实施例，这(一种或多种)超分辨率技术包括对参考图像和差分图像的时间内插和空间内插。例如，这(一种或多种)超分辨率技术对来自参考图像、运动向量和差分图像的场景的丢失的细节进行内插。随后，分辨率增强模块120使用丢失的细节来提高参考图像的分辨率。
在一个实施例中，经过压缩的图像序列在由分辨率增强模块120进行的超分辨率技术的应用之前不被完全解码来恢复所有较低分辨率的图像118。换而言之，不对经过解码的图像序列(例如，根据本发明一个或多个实施例的较低分辨率的图像118)执行超分辨率技术。可以直接对经过压缩的图像序列124执行超分辨率技术。在一个实施例中，分辨率增强模块120在块级(即，每次以像素块)对经过压缩的图像序列124执行超分辨率技术。即，给定参考图像、运动向量和差分图像，分辨率增强模块120可以开始逐块地对经过压缩的图像序列124进行解码。然后，可以在各个块被解码时应用超分辨率技术来产生较高分辨率的图像128。通过逐块地执行超分辨率，分辨率增强模块120不必等到所有的原始图像都被解码并且不必将所有的原始图像存储在存储器中。
在一个实施例中，运动向量信息126包括与序列中的参考图像和后续图像之间的运动向量(例如，二维运动向量)有关的数据。每个运动向量提供从参考图像的坐标到下一个图像的坐标的偏移。在一个或多个实施例中，运动向量是由软件编解码器116或硬件编解码器114以子像素精度(例如，像素的百分之一)来确定的。根据一个实施例，分辨率增强模块120在块级使用子像素精度的运动向量来从参考图像和差分图像生成较高分辨率的图像128。
根据一个实施例，相机单元108和超分辨率单元110进行协作，以从较低分辨率的图像118生成较高分辨率的图像128。作为示例而非限制，相机单元108的传感器112捕获被存储作为较低分辨率的图像118的多个较低分辨率的图像。软件编解码器116使用无损或近无损视频压缩技术来压缩较低分辨率的图像118。在压缩阶段期间，软件编解码器116还以子像素精度计算图像序列中连续的较低分辨率的图像之间的运动向量。
可选地，传感器112包括硬件编解码器114。在本发明的一个或多个实施例中，硬件编解码器114是实现无损或近无损视频压缩技术的组件。在一个实施例中，硬件编解码器114将较低分辨率的图像118的较低分辨率的图像划分成多个像素块。在操作中，在原始图像被传感器112捕获时，硬件编解码器114利用帧间预测、使用无损或近无损视频压缩技术来压缩图像序列，如以上关于软件编解码器116所述。结果，经过压缩的图像序列124被生成并且被存储在超分辨率单元110中。根据一个实施例，分辨率增强模块120对经过压缩的图像序列124应用超分辨率技术并且生成高分辨率的图像128。在一个实施例中，硬件编解码器114使得能够在图像序列被存储到存储器106中之前对其执行无损或近无损视频压缩技术。结果，由于不必存储较低分辨率的图像118以产生高分辨率的图像128，所以节省了存储空间。
图2是根据一个实施例的用于使用视频压缩技术来在嵌入式设备中使能超分辨率并且生成较高分辨率的图像的方法200的流程图。方法200在步骤202开始，并且进行到步骤204，在步骤204中图像序列(例如，多个较低分辨率的图像)被存储在本地存储器(例如，图1的本地存储器122)中。
在步骤206，利用帧间预测、使用无损视频压缩技术来压缩图像序列。在另一实施例中，使用近无损视频压缩技术来压缩图像序列。在步骤208，对经过压缩的图像序列(例如，图1的经过压缩的图像序列124)应用超分辨率技术。在步骤210，生成较高分辨率的图像(例如，图1的较高分辨率的图像128)。在步骤212，方法200结束。在一个实施例中，分辨率增强模块(例如，图1的分辨率增强模块120)如上所述对参考图像、一个或多个运动向量和一个或多个差分图像应用一种或多种超分辨率技术。
图3是根据一个实施例的、用于压缩多个较低分辨率的图像以在嵌入式设备上使能超分辨率的方法300的流程图。方法300在步骤302开始，并且进行到步骤304，在步骤304中从存储器(例如，图1的存储器106)访问多个较低分辨率的图像。
在步骤306，处理(例如使用无损或近无损算法来压缩)参考图像(即，较低分辨率的图像中的第一图像)。在步骤308，获得下一图像(即，下一较低分辨率的图像)。在步骤310，确定下一图像与参考图像之间的运动向量。在一个实施例中，运动向量估计技术以子像素精度确定运动向量。在步骤312，生成差分图像。差分图像表示下一图像和如上所述从参考图像得到的下一图像的预测之间的一个或多个差异(即，误差)。
在步骤314，关于在图像序列中是否存在要被处理的下一图像进行判定。如果判定图像序列中存在要被处理的下一图像(选项“是”)，则方法300进行到步骤308。在步骤314，如果判定图像序列中不存在要被处理的下一图像(选项“否”)，则方法300进行到步骤316。在步骤316，存储参考图像、运动向量和差分图像。在一个实施例中，参考图像、运动向量和差分图像构成被发送给嵌入式设备的超分辨率单元(例如，图1的超分辨率单元110)的经过压缩的图像序列。在另一实施例中，参考图像和/或差分图像在存储前利用无损压缩技术被压缩。在步骤318，方法300结束。
图4是根据一个实施例的、用于生成差分图像的方法400的流程图。方法400在步骤402开始，并且进行到步骤404，在步骤404中处理参考图像和运动向量。在步骤406，从参考图像和运动向量生成对正被编码的图像的预测。在一个实施例中，编解码器通过将运动向量应用于第一图像(例如，之前被编码并且被重构的图像)来预测正被编码的图像。在步骤408，从正被编码的图像(例如，被观察的或实际的图像)中减去所预测的图像。在步骤410，计算差分图像。在步骤412，压缩差分图像。在步骤414，方法400结束。
图5是根据一个实施例的、用于在嵌入式设备的传感器处压缩图像序列的方法500的流程图。方法500在步骤502开始，并且进行到步骤504，在步骤504中捕获多个较低分辨率的图像。较低分辨率的图像被存储到存储器(例如，图1的存储器106)中作为未经压缩的原始的图像序列。在步骤506，使用硬件编解码器压缩多个较低分辨率的图像。在一个或多个实施例中，硬件编解码器可以如上所述利用帧间预测来实现无损或近无损硬件编解码器。在步骤508，经过压缩的多个较低分辨率的图像被转换成电信号。在步骤510，电信号被发送给超分辨率单元(例如，图1的超分辨率单元110)并且被存储。方法500在步骤512结束。
因此，已经提供了本发明的各种实施例。本发明的各种实施例可以有利地在嵌入式设备中使能超分辨率。此外，可以利用本发明方法和装置来直接对经过压缩的较低分辨率的图像序列进行操作。此外，各种实施例可以减少最优或有效使用嵌入式设备所需要的存储器或处理器资源的量。
尽管以上所述是针对本发明实施例的，但是，可以设想到本发明的其它和另外的实施例，而不偏离本发明的基本范围，并且本发明的范围是由所附权利要求来确定的。

Claims (15)

1.一种用于使用视频压缩技术来在嵌入式设备中使能超分辨率的方法，包括：
使用视频压缩技术来压缩图像序列，其中，所述图像序列包括多个较低分辨率的图像，并且每个低分辨率的图像被划分成多个像素块；以及
逐块地对经过压缩的图像序列进行解码，并且在各个块被解码时对经过压缩的图像序列应用超分辨率技术来生成较高分辨率的图像。
2.根据权利要求1所述的方法，其中，压缩所述图像序列还包括：
在传感器处捕获所述多个较低分辨率的图像；以及
使用所述传感器的硬件组件来压缩所述多个较低分辨率的图像，所述硬件组件实现所述视频压缩技术。
3.根据权利要求1所述的方法，其中，压缩所述图像序列还包括：
存储所述多个较低分辨率的图像；以及
对所存储的所述多个较低分辨率的图像应用所述视频压缩技术。
4.根据权利要求1所述的方法，其中，压缩所述图像序列还包括：确定所述图像序列中的参考图像与至少一个另外的图像之间的运动向量。
5.根据权利要求4所述的方法，其中，压缩所述图像序列还包括：对所述参考图像应用所述运动向量以预测所述至少一个另外的图像。
6.根据权利要求5所述的方法，其中，压缩所述图像序列还包括：分别计算所述至少一个另外的图像与所述至少一个另外的图像的预测之间的差分图像。
7.根据权利要求6所述的方法，其中，压缩所述图像序列还包括：使用无损视频压缩技术来压缩所述差分图像。
8.根据权利要求6所述的方法，其中，压缩所述图像序列还包括：使用近无损视频压缩技术来压缩所述差分图像。
9.根据权利要求1至8中任何一项所述的方法，其中，应用所述超分辨率技术还包括：将形成所述多个较低分辨率的图像中的至少一部分的像素数据映射成形成所述较高分辨率的图像的像素数据。
10.根据权利要求1至8中任何一项所述的方法，其中，应用所述超分辨率技术还包括：
使用所述经过压缩的图像序列和至少一个运动向量对用于所述较高分辨率的图像的像素数据进行内插，其中，所述经过压缩的图像序列包括参考图像和至少一个差分图像；以及
将所述参考图像与所确定的像素数据进行合成来形成所述较高分辨率的图像。
11.一种用于使用压缩技术来在嵌入式设备中使能超分辨率的装置，包括：
控制模块，所述控制模块用于对包括多个较低分辨率的图像的图像序列应用压缩技术，并且每个低分辨率的图像被划分成多个像素块；以及
分辨率增强模块，所述分辨率增强模块用于逐块地对经过压缩的图像序列进行解码并且在各个块被解码时对经过压缩的图像序列执行超分辨率技术来产生较高分辨率的图像。
12.根据权利要求11所述的装置，还包括无损编解码器，所述无损编解码器用于使用无损压缩技术来压缩所述多个较低分辨率的图像。
13.根据权利要求12所述的装置，其中，所述无损编解码器应用运动估计技术来以子像素精度生成至少一个运动向量。
14.根据权利要求11所述的装置，还包括近无损编解码器，所述近无损编解码器用于使用近无损压缩技术来压缩所述多个较低分辨率的图像。
15.根据权利要求11至14中的任何一项所述的装置，还包括：
相机单元，所述相机单元捕获所述多个较低分辨率的图像。
CN200910161859.XA 2008-08-06 2009-08-05 在嵌入式设备中提供较高分辨率图像的方法和装置 Expired - Fee Related CN101651832B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/187,348 2008-08-06
US12/187,348 US8374444B2 (en) 2008-08-06 2008-08-06 Method and apparatus for providing higher resolution images in an embedded device

Publications (2)

Publication Number Publication Date
CN101651832A CN101651832A (zh) 2010-02-17
CN101651832B true CN101651832B (zh) 2014-08-13

Family

ID=41571281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910161859.XA Expired - Fee Related CN101651832B (zh) 2008-08-06 2009-08-05 在嵌入式设备中提供较高分辨率图像的方法和装置

Country Status (5)

Country Link
US (1) US8374444B2 (zh)
EP (1) EP2161686A3 (zh)
JP (1) JP5295045B2 (zh)
CN (1) CN101651832B (zh)
RU (1) RU2512130C2 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374444B2 (en) 2008-08-06 2013-02-12 Sony Corporation Method and apparatus for providing higher resolution images in an embedded device
US20100086048A1 (en) * 2008-10-03 2010-04-08 Faisal Ishtiaq System and Method for Video Image Processing
JP2011180798A (ja) * 2010-03-01 2011-09-15 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5341010B2 (ja) * 2010-04-15 2013-11-13 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
RU2431889C1 (ru) * 2010-08-06 2011-10-20 Дмитрий Валерьевич Шмунк Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления
TWI436649B (zh) * 2010-11-12 2014-05-01 Alpha Imaging Technology Corp 處理原始高解析影像資料之影像處理裝置及其影像處理晶片和方法
CN102006477A (zh) * 2010-11-25 2011-04-06 中兴通讯股份有限公司 图像传输方法及系统
GB2486475A (en) * 2010-12-16 2012-06-20 Norland Technology Ltd Encoding, transmitting and displaying a sequence of images using a difference image
US8750647B2 (en) 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
US20140037189A1 (en) * 2012-08-02 2014-02-06 Qualcomm Incorporated Fast 3-D point cloud generation on mobile devices
JP6102938B2 (ja) * 2012-11-06 2017-03-29 日本電気株式会社 画像処理装置、及び、画像処理方法
CN104008538B (zh) * 2014-05-12 2017-03-01 清华大学 基于单张图像超分辨率方法
RU2655662C1 (ru) * 2014-09-12 2018-05-29 Кэнон Кабусики Кайся Устройство обработки изображений и способ обработки изображений
WO2016048108A1 (en) * 2014-09-26 2016-03-31 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN105159663B (zh) * 2015-08-06 2019-06-14 北京小熊博望科技有限公司 图像的调整方法及装置
CN106815806B (zh) * 2016-12-20 2020-01-10 浙江工业大学 基于压缩感知和svr的单幅图像sr重建方法
CN107181949A (zh) * 2017-06-23 2017-09-19 四川大学 一种结合超分辨率和残差编码技术的图像压缩框架
US10621718B2 (en) * 2018-03-23 2020-04-14 Kla-Tencor Corp. Aided image reconstruction
CN112449140B (zh) * 2019-08-29 2021-09-14 华为技术有限公司 视频超分辨率处理方法及装置
WO2021202470A1 (en) * 2020-04-02 2021-10-07 Sony Group Corporation Super-resolution of block-compressed texture for texture mapping applications
CN113422947A (zh) * 2021-06-09 2021-09-21 和信光场(深圳)科技有限公司 一种用于教学的3d裸眼成像方法、装置及介质
CN116797452A (zh) * 2022-03-17 2023-09-22 北京字节跳动网络技术有限公司 一种视频的超分辨率方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232514A1 (en) * 2004-04-15 2005-10-20 Mei Chen Enhancing image resolution

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AR016812A1 (es) * 1997-08-14 2001-08-01 Samsung Electronics Co Ltd Metodo para transmitir informacion de video comprimida, disposiciones de compresion y de grabacion de video y aparato de reproduccion de video
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
JP2003163931A (ja) 2001-11-28 2003-06-06 Victor Co Of Japan Ltd 画像圧縮装置及び画像復号装置
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
JP2005150808A (ja) * 2003-11-11 2005-06-09 Ntt Data Corp 監視映像記録システム
US7315661B2 (en) * 2004-04-01 2008-01-01 Mediatek Inc. Directional interpolation method using DCT information and related device
US7809155B2 (en) 2004-06-30 2010-10-05 Intel Corporation Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation
JP2007266667A (ja) 2006-03-27 2007-10-11 Nec Electronics Corp カメラ付き携帯機器、その制御方法及びその撮影支援方法
US8150163B2 (en) 2006-04-12 2012-04-03 Scanbuy, Inc. System and method for recovering image detail from multiple image frames in real-time
US8184712B2 (en) 2006-04-30 2012-05-22 Hewlett-Packard Development Company, L.P. Robust and efficient compression/decompression providing for adjustable division of computational complexity between encoding/compression and decoding/decompression
JP4851240B2 (ja) 2006-06-05 2012-01-11 株式会社トプコン 画像処理装置及びその処理方法
JP2008053848A (ja) 2006-08-22 2008-03-06 Oki Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP4964541B2 (ja) * 2006-09-11 2012-07-04 オリンパス株式会社 撮像装置、画像処理装置、撮像システム及び画像処理プログラム
JP4876048B2 (ja) * 2007-09-21 2012-02-15 株式会社日立製作所 映像送受信方法、受信装置、映像蓄積装置
WO2009149601A1 (en) * 2008-06-13 2009-12-17 Shanghai Hewlett-Packard Co., Ltd Processing a super-resolution target image
US8374444B2 (en) 2008-08-06 2013-02-12 Sony Corporation Method and apparatus for providing higher resolution images in an embedded device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050232514A1 (en) * 2004-04-15 2005-10-20 Mei Chen Enhancing image resolution

Also Published As

Publication number Publication date
JP5295045B2 (ja) 2013-09-18
RU2009130114A (ru) 2011-02-10
US8374444B2 (en) 2013-02-12
US20100034477A1 (en) 2010-02-11
EP2161686A2 (en) 2010-03-10
CN101651832A (zh) 2010-02-17
JP2010050976A (ja) 2010-03-04
RU2512130C2 (ru) 2014-04-10
EP2161686A3 (en) 2012-02-01

Similar Documents

Publication Publication Date Title
CN101651832B (zh) 在嵌入式设备中提供较高分辨率图像的方法和装置
JP6120390B2 (ja) 次世代動画用コンテンツに適応的な特性補償済み予測
JP6163674B2 (ja) 高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャ
US20190132591A1 (en) Deep learning based quantization parameter estimation for video encoding
US20190045213A1 (en) Reference frame reprojection for improved video coding
TWI513316B (zh) 轉碼視頻資料之技術
CN113852821A (zh) 使用深度学习的视频编解码器辅助实时视频增强
CN102369730B (zh) 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法
US20160088298A1 (en) Video coding rate control including target bitrate and quality control
CN111510739B (zh) 一种视频传输方法及装置
JP2007036738A (ja) 動画像符号化装置、方法、及びプログラム
EP1689187A1 (en) Method and system for video compression and decompression (CODEC) in a microprocessor
KR20230002318A (ko) 머신들을 위한 패치 기반 비디오 코딩
CN105208394B (zh) 一种实时数字图像压缩预测方法与系统
KR20070024211A (ko) 영상압축장치 및 방법
US20180131936A1 (en) Conversion buffer to decouple normative and implementation data path interleaving of video coefficients
CN112565603B (zh) 图像处理方法、装置及电子设备
US20210377550A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
US20070046792A1 (en) Image compositing
CN115834889A (zh) 视频编解码方法、装置、电子设备及介质
US20180288436A1 (en) Methods and apparatus for providing in-loop padding techniques for rotated sphere projections
KR100902421B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
WO2024078403A1 (zh) 图像处理方法、装置及设备
US20230105436A1 (en) Generative adversarial network for video compression
WO2024140568A1 (zh) 图像处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140813

Termination date: 20190805

CF01 Termination of patent right due to non-payment of annual fee