CN102685388B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN102685388B
CN102685388B CN201210093229.5A CN201210093229A CN102685388B CN 102685388 B CN102685388 B CN 102685388B CN 201210093229 A CN201210093229 A CN 201210093229A CN 102685388 B CN102685388 B CN 102685388B
Authority
CN
China
Prior art keywords
resolution
image
data
super
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210093229.5A
Other languages
English (en)
Other versions
CN102685388A (zh
Inventor
中神央二
田中润一
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102685388A publication Critical patent/CN102685388A/zh
Application granted granted Critical
Publication of CN102685388B publication Critical patent/CN102685388B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

提供成像装置和方法，该成像装置包括成像单元，图像处理单元，压缩单元，存储单元，解压单元，超分辨率处理单元，运动估计单元以及图像产生单元。通过本发明，可以以所选择的定时、与高分辨率图像相结合地使用一系列低分辨率图像数据产生更高质量的高分辨率图像数据。

Description

图像处理装置和图像处理方法
相关申请的交叉引用
本发明是申请日为2008年6月18日、申请号为200810125320.4的发明专利申请的分案申请。
技术领域
本发明涉及成像装置、成像方法、程序以及记录介质。
背景技术
近年来，在涉及数据视频数据(以下称为“视频数据”)的分发的技术方面有了重要进展。关于这些技术，在高质量视频数据的分发和记录方面的技术方面取得了显著的进展。在这些显著的技术中，涉及视频数据的编码和解码的技术引起了高度注意。拥有高等级空间分辨率(spatial resolution)和时间分辨率(temporal resolution)的视频数据具有极大的数据量(data size)。为此，用户希望有效地压缩经编码的视频数据以便于将其进行分发或记录。在这种情况下，需要允许具有更高压缩率的高分辨视频数据的压缩的编码技术的发展，以及允许以更高空间分辨率回放的最先进的解码技术的发展。
关于这些技术，例如，在日本专利申请公开第JP-A-2004-312276号和日本专利申请公开第JP-A-2004-312277提出了一种方法，通过将第一视频数据与第二视频数据相结合以产生拥有高等级空间分辨率和时间分辨率两者的图像数据。该第一视频数据具有低空间分辨率，但时间分辨率高(例如，活动图像数据等)，而该第二视频数据具有高空间分辨率，但时间分辨率低(例如，静止图像数据等)。利用这种方法，该技术涉及使用第一视频数据的帧之间的运动矢量的预测。然后，将这些运动矢量和第二视频数据用于校正第一视频数据的高频分量。利用这种技术，将起始于不包括在第二视频数据中的所选时间点的帧，使用从第一视频数据检测到的运动矢量和起始于第二视频数据中接近于所选时间点的一个时间点的帧来产生。进一步，在上述文献中还描述了利用上述技术来产生拥有高空间分辨率和时间分辨率的视频数据的视频数据存储与回放装置。
作为替换，众所周知，被叫做超分辨率(super resolution)的技术是用以从多个低分辨率图像产生高分辨率图像的方法。被称为超分辨率的技术将多个重叠的低分辨率图像结合起来，并且计算对应于单帧高分辨率图像的每个像素的像素值。使用这种方法，可以以超过图像传感器(诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS))的分辨率的高分辨率来实现高分辨率图像。例如，超分辨率技术用于高分辨率卫星照片的产生。然而，当与那些将包括高频分量的高分辨率图像数据用于校正图像的方法进行比较时，超分辨率技术的高分辨率性能实际上差得很。
发明内容
当使用上述每篇文献中所描述的方法时，存在对运动矢量估计的精度的依赖性，并且可能在高频分量重出现噪声。为此，需要允许高精度运动矢量估计的技术。此外，如果在关于所涉及到的高分辨率静止图像数据的照片(shot)之间的间隔很长，则需要更精确的运动矢量估计精度。为了满足这些必要条件，本发明的实施方式基于上述超分辨率技术，提供使用运动估计和运动补偿技术来校正高分辨率静止图像数据的高频分量的方法，以产生高分辨率图像。
本发明的一种实施方式提供允许以所选择的定时、使用低分辨率图像数据和高分辨率图像数据序列，产生更高质量的高分辨率图像数据的、新的改进型图像处理装置、图像处理方法和程序。
根据本发明的一种实施方式，提供图像处理装置，其包括：图像获取单元，其获取包含多个帧的第一视频数据，并获取具有比所述第一视频数据包含的所述多个帧更高的空间分辨率的第二视频数据；超分辨率处理单元，其通过使用所述图像获取单元获取的第一视频数据中包含的所述多个帧，对所述第一视频数据的所述多个帧进行超分辨率处理，以产生超分辨率图像；运动估计单元，其检测超分辨率处理单元产生的超分辨率图像之间的运动矢量；以及图像产生单元，其基于所述图像获取单元获取的第二视频数据和所述运动估计单元检测出的运动矢量，产生对应于所述第一视频数据包含的所述多个帧的运动补偿图像数据。
所述图像处理装置还可以包括：放大图像产生单元，其使用所述第一视频数据中包含的所述多个帧之一，以与所述超分辨率处理单元生成的超分辨率图像相同的空间分辨率，产生放大图像；以及相位失真检测单元，其检测对应于所述第一视频数据中包含的所述多个帧之一的超分辨率图像和所述放大图像产生单元产生的放大图像之间的相位失真。
所述图像处理装置还可以包括相位失真校正单元，其基于相位失真检测单元所检测到的相位失真，校正超分辨率图像的相位失真。
所述图像处理装置还可以包括运动矢量补偿单元，其基于相位失真检测单元所检测到的相位失真，校正基于运动估计单元的超分辨率图像之间的运动矢量估计的结果。
所述超分辨率处理单元可以进行超分辨率处理，而不用使该第一视频数据中包含的帧进行分辨率转换。
所述放大图像产生单元可以运行来对已经对其进行了超分辨率处理的帧进行分辨率转换并产生放大图像，而该运动估计单元可以运行来检测放大图像之间的运动矢量。
所述图像处理装置还可以包括存储单元，其存储第一视频数据和第二视频数据。所述图像获取单元从该存储单元中获取第一视频数据和第二视频数据。
第一视频数据可以比所述第二视频数据的时间分辨率高，而所述第二视频数据可以比所述第一视频数据的时间分辨率低。
该图像产生单元可以使用所述运动补偿图像数据改善所述第二视频数据的时间分辨率。
并且，可以对所述第一视频数据进行下取样(downsampling)处理。
在进行运动补偿的时候，当超分辨率图像与图像数据之间的差值大于预定值时，该图像产生单元可以运行来根据该差值改变合并作为运动矢量涉及者(referrer)的所选帧与作为运动矢量指向者(referent)的图像数据的比率。
根据本发明的另一实施方式，提供成像方法，包括步骤：获取步骤，其获取包含多个帧的第一视频数据，并获取具有比所述第一视频数据包含的所述多个帧更高的空间分辨率的图像数据；超分辨率处理步骤，其通过使用所述获取步骤获取的所述第一视频数据中包含的所述多个帧，对所述第一视频数据中包含的所述多个帧进行超分辨率处理，以产生超分辨率图像；运动估计步骤，其检测超分辨率处理步骤产生的超分辨率图像之间的运动矢量；以及图像产生步骤，其基于所述获取步骤获取的第二视频数据和所述运动估计步骤检测出的运动矢量，产生对应于所述第一视频数据包含的所述多个帧的运动补偿图像数据。
本发明的一种实施方式提供允许以所选择的定时、使用低分辨率图像数据和高分辨率图像数据序列，产生更高质量的高分辨率图像数据的、新的改进型成像装置、成像、程序、以及记录介质。根据本发明的一种实施方式，提供一种成像装置，包括：成像单元，其对景物进行抓拍并产生成像数据；图像处理单元，其对所述成像单元抓拍的成像数据进行规定的图像处理并产生视频数据；压缩单元，其从所述图像处理单元产生的图像数据中，对包含多个帧的第一视频数据进行压缩处理并产生第一编码数据，同时，对具有比所述帧更高的分辨率的第二视频数据进行压缩处理并产生第二编码数据；存储单元，其存储由所述压缩单元产生的所述第一编码数据和第二编码数据；解压单元，其对所述存储单元存储的第一编码数据和第二编码数据进行解压处理并产生所述第一视频数据和第二视频数据；超分辨率处理单元，其通过使用所述解压单元产生的第一视频数据中包含的多个帧，对该各个帧进行超分辨率处理，以产生超分辨率图像；运动估计单元，其检测所述超分辨率处理单元产生的超分辨率图像之间的运动矢量；以及图像产生单元，其基于所述解压单元产生的第二视频数据和所述运动估计单元检测出的运动矢量，产生对应于所述第一视频数据的帧的运动补偿图像数据。
所述成像装置中的所述图像产生单元还可以被构成为：在用上述运动矢量执行运动补偿时，参照与所述运动矢量的涉及者对应的所述第二视频数据，并参照与上述运动矢量的涉及者对应的所述超分辨率图像来产生所述图像数据。
所述成像装置还可以包括：放大图像产生单元，其使用所述第一视频数据中包含的一个帧，以与所述超分辨率处理单元产生的超分辨率图像相同的分辨率，产生放大图像；以及相位失真检测单元，其检测对应于所述第一视频数据中包含的一个帧的超分辨率图像和所述放大图像产生单元产生的放大图像之间的相位失真。
所述成像装置还可以包括：相位失真校正单元，其基于所述相位失真检测单元所检测到的所述相位失真，校正所述超分辨率图像的相位失真。
所述成像装置还可以包括：运动矢量补偿单元，其基于所述相位失真检测单元所检测到的相位失真，校正基于所述运动估计单元的超分辨率图像之间的运动矢量估计的结果。
所述成像装置中的所述超分辨率处理单元还可以被构成为：进行超分辨率处理，而不对所述第一视频数据中包含的帧的分辨率进行转换。
所述第一视频数据可以比所述第二视频数据的时间分辨率高，所述第二视频数据可以比所述第一视频数据的时间分辨率低。
所述图像产生单元使用所述运动补偿图像数据改善所述第二视频数据的时间分辨率。
并且，可以对所述第一视频数据进行下取样(downsampling)处理。
所述成像装置还可以包括：解码单元，其使用所述图像处理单元产生的图像数据，对所述第一视频数据进行解码。
根据本发明的一种实施方式，提供一种成像方法，包括下列步骤：成像步骤，其对景物进行抓拍并产生成像数据；图像处理步骤，其对所述成像步骤抓拍的成像数据进行规定的图像处理并产生视频数据；压缩步骤，其从所述图像处理步骤产生的图像数据中，对包含多个帧的第一视频数据进行压缩处理并产生第一编码数据，同时，对具有比所述帧更高的分辨率的第二视频数据进行压缩处理并产生第二编码数据；存储步骤，其存储由所述压缩步骤产生的所述第一编码数据和第二编码数据；解压步骤，其对所述存储步骤存储的第一编码数据和第二编码数据进行解压处理并产生所述第一视频数据和第二视频数据；超分辨率处理步骤，其通过使用所述解压步骤产生的第一视频数据中包含的多个帧，对该各个帧进行超分辨率处理，以产生超分辨率图像；运动估计步骤，其检测所述超分辨率处理步骤产生的超分辨率图像之间的运动矢量；以及图像产生步骤，其基于所述解压步骤产生的第二视频数据和所述运动估计步骤检测出的运动矢量，产生对应于所述第一视频数据的帧的运动补偿图像数据。
根据本发明的一种实施方式，提供一种程序，其使计算机实现下列功能：成像功能，其对景物进行抓拍并产生成像数据；图像处理功能，其对所述成像功能抓拍的成像数据进行规定的图像处理并产生视频数据；压缩功能，其从所述图像处理功能产生的图像数据中，对包含多个帧的第一视频数据进行压缩处理并产生第一编码数据，同时，对具有比所述帧更高的分辨率的第二视频数据进行压缩处理并产生第二编码数据；存储功能，其存储由所述压缩功能产生的所述第一编码数据和第二编码数据；解压功能，其对所述存储功能存储的第一编码数据和第二编码数据进行解压处理并产生所述第一视频数据和第二视频数据；超分辨率处理功能，其通过使用所述解压功能产生的第一视频数据中包含的多个帧，对该各个帧进行超分辨率处理，以产生超分辨率图像；运动估计功能，其检测所述超分辨率处理功能产生的超分辨率图像之间的运动矢量；以及图像产生功能，其基于所述解压功能产生的第二视频数据和所述运动估计功能检测出的运动矢量，产生对应于所述第一视频数据的帧的运动补偿图像数据。
根据本发明的一种实施方式，提供一种可通过计算机读取的记录介质，其记录了使计算机实现下列功能的程序：成像功能，其对景物进行抓拍并产生成像数据；图像处理功能，其对所述成像功能抓拍的成像数据进行规定的图像处理并产生视频数据；压缩功能，其从所述图像处理功能产生的图像数据中，对包含多个帧的第一视频数据进行压缩处理并产生第一编码数据，同时，对具有比所述帧更高的分辨率的第二视频数据进行压缩处理并产生第二编码数据；存储功能，其存储由所述压缩功能产生的所述第一编码数据和第二编码数据；解压功能，其对所述存储功能存储的第一编码数据和第二编码数据进行解压处理并产生所述第一视频数据和第二视频数据；超分辨率处理功能，其通过使用所述解压功能产生的第一视频数据中包含的多个帧，对该各个帧进行超分辨率处理，以产生超分辨率图像；运动估计功能，其检测所述超分辨率处理功能产生的超分辨率图像之间的运动矢量；以及图像产生功能，其基于所述解压功能产生的第二视频数据和所述运动估计功能检测出的运动矢量，产生对应于所述第一视频数据的帧的运动补偿图像数据。
根据本发明的另一实施方式，提供计算机程序，其包括命令计算机执行图像处理装置的功能的指令。进一步，提供在其上记录上述程序的记录介质。
本发明的上述实施方式，可以以所选择的定时、与高分辨率图像相结合地使用一系列低分辨率图像数据产生更高质量的高分辨率图像数据。
附图说明
图1是图解该分辨率图像产生方法的解释性图；
图2是示出使用FIR滤波器的分辨率转换和超分辨率处理之间的差得解释性图；
图3是示出根据本发明的实施方式的图像处理装置的结构的解释性图；
图4是图解根据本实施方式的图像产生处理电路的操作的解释性图；
图5是图解根据本实施方式的相位校正电路的操作的解释性图；
图6是示出根据本实施方式的高分辨率图像产生方法的解释性图；
图7是示出根据本实施方式的改进型示例的高分辨率图像产生方法的解释性图；以及
图8是示出可以实现根据本实施方式的图像处理装置的功能的信息处理装置的硬件配置的解释性图。
具体实施方式
以下将参考附图详细描述本发明的优选实施方式。注意，在本说明书和附图中，具有实质上相同功能和结构的结构元素用同一附图标记表示，并省略对这些结构元素的重复解释。
(高分辨率图像产生方法)
首先，在解释根据本发明的实施方式的图像处理装置和图像处理方法之前，将参考图1，对与高空间分辨率数据结合地使用具有低空间分辨率的连续记录的图像数据序列来产生高分辨率图像数据的思想做出基本解释。具有低空间分辨率的该连续记录的图像数据序列(以下有时称为“视频数据”)与对应于包括在视频数据中的适当帧(以下有时称为“低分辨率画面(LRP)”)的、间歇地记录的高空间分辨率数据(以下有时称为“画面数据”或“高分辨率画面(HRP)”)相结合，产生对应于包括在视频数据中的所选帧的高分辨率图像数据(以下称为“所建画面(CP)”)。图1是示出高分辨率图像产生方法的示例的解释性图。
图1描述了高分辨率画面HRP(t)、低分辨率画面LRP(t)、低分辨率画面LRP(t+h)、放大比例图像(以下有时称为“放大画面(MP)”)MP(t)、放大画面MP(t+h)和所建画面CP(t+h)。这里，括号内的字母指示图像被抓拍时的时间。例如，所建画面CP(t+h)指示对应于在时间t+h抓拍的低分辨率画面LRP(t+h)的所建画面。
所建画面CP是从使用低分辨率画面LRP检测到的运动矢量，利用使用高分辨率画面HRP进行的运动补偿产生的图像数据。例如，如图1所示，通过放大低分辨率画面LRP(t)产生的放大画面MP(t)与通过放大低分辨率画面LRP(t+h)产生的放大画面MP(t+h)用于检测时间t与时间t+h之间的运动矢量(MV)(步骤S1)。接下来，基于该运动矢量MV，取出对应于低分辨率画面LRP(t)参考块(BLK)的高分辨率画面HRP(t)参考块。然后，以预定的比率将参考块像素与放大画面MP(t+h)像素合并以产生所建画面CP(t+h)(步骤S2)。
在上述示例中，使用实质上不同的图像进行运动估计和运动补偿。虽然与高分辨率画面HRP相比，通过放大低分辨率画面LRP而产生的放大画面MP被放大到与高分辨率画面HRP相同的空间分辨率，但放大画面MP缺少高频分量。因为这个原因，可能会在使用放大画面MP所检测到的运动矢量和用于高分辨率画面HRP的原始运动矢量之间出现差异(discrepancy)。如果运动估计精度很低，则高分辨率画面HRP中的参考块的位置可能被移位。因此，噪声变成将被加到运动补偿之后产生的所建画面CP的高频分量。
这里，需要抑制作为基于拥有不同空间分辨率的多个图像数据被进行的运动补偿的结果而变成将被加的噪声的技术。当抓拍高分辨率画面HRP(t)时的时间t与要产生所建画面CP(t+h)时的时间t+h之间存在间隔时，运动矢量误差变大。因为这个原因，需要即使在时间间隔h很大的时候，也能获得高分辨率所建画面CP(t+h)的技术。
如下面解释的那样，根据本发明的实施方式图像处理装置不使用利用有限脉冲响应(finite impulse response，FIR)滤波器等产生的放大画面MP来进行运动估计，而是使用通过超分辨率处理产生的超分辨率画面(SRP)来进行运动估计，如图2所示。图2是图解使用FIR滤波器等的分辨率转换，与通过根据本发明的超分辨率处理的分辨率转换之间的差的解释性图。
如图2所示，当使用FIR滤波器等转换图像分辨率时，基于单低分辨率画面LRP进行放大处理，并产生放大画面MP。利用这种方法，使用最接近的像素值来内插像素值。该内插过程产生平滑信号(smooth signal)。然而，当使用超分辨率处理转换图像分辨率时，使用多个低分辨率画面LRP来产生超分辨率画面SRP。超分辨率处理是使用具有一个像素或更少的失真的多个低分辨率画面LRP的方法，并且结合对应于像素的像素值来重构这些像素。与使用FIR滤波器等来产生放大画面MP图像的方法相比，使用这种方法可以显著地改善运动矢量估计。因为这个原因，根据本实施方式的图像处理装置可以产生高分辨率所建画面CP(t+h)。以下将解释可以实现这些技术构思的图像处理装置的详细结构示例。
(本发明的实施方式)
首先，将解释根据本发明的第一实施方式的图像处理装置100。
(图像处理装置100的结构)
首先，将参考图3解释根据本实施方式的图像处理装置100的结构。图3是示出根据本实施方式的图像处理装置100的结构的示例的解释性图。
如图3所示，图像处理装置100主要包括成像透镜(imaging lens)102、图像传感器104、照相机信号处理块110、视频记录/回放块120、画面记录/回放块130、图像产生处理电路302、相位校正电路304、超分辨率处理电路306和显示电路108。该相位校正电路304是相位失真检测单元、相位失真校正单元或运动矢量补偿单元的一个示例。超分辨率处理电路306也是超分辨率处理单元的一个示例。
成像透镜102聚集(condense)光线，是形成景物的图像(以下称为聚集图像(condensed image))的光透镜。图像传感器104是将成像透镜102所聚集的光线转换成电信号的光电元件。图像传感器104使用半导体元件，诸如电荷耦合装置(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。图像传感器104也具有比视频数据的空间分辨率有效像素计数更大的像素计数。
当图像数据被记录或回放或者用户正在检查图像数据时，显示电路108在显示装置(未示出)上显示图像数据。图像产生定时控制器106是允许操作者指令在正在回放视频数据的同时获得画面数据的装置。
(照相机信号处理块110)
如图3所示，照相机信号处理块110包括A/D转换器112和数字信号处理电路114。
A/D转换器112是转换模拟信号到数字信号并且输出该数字信号的模拟-数字转换器。A/D转换器112将从图像传感器104接收到的聚集图像的模拟信号转换成数字信号，并将该数字信号输出到数字信号处理电路114。数字信号处理电路114对从A/D转换器112接收到的聚集图像数字信号(以下称为“图像数据”)进行白平衡调节和伽马校正等。
(视频记录/回放块120)
如图3所示，视频记录/回放块120包括图像密度转换电路126、视频数据压缩/扩展电路124和存储单元122。
当记录视频数据时，图像密度(density)转换电路126对从数字信号处理电路114接收到的图像数据(视频数据)序列进行稀疏处理(thinning outprocessing)(例如，编码帧之间的差等)。图像密度转换电路126将稀疏处理之后的视频数据输出到视频数据压缩/扩展电路124。视频数据压缩/扩展电路124压缩从图像密度转换电路126接收到的变稀疏的数据，并将经压缩视频数据记录到存储单元122。
当回放视频数据时，视频数据压缩/扩展电路124首先读取然后扩展存储在存储单元122中的视频数据。然后，视频数据压缩扩展电路124将经扩展的视频数据输入到图像密度转换电路126。图像密度转换电路126内插从视频数据压缩/扩展电路124接收到的经扩展数据(例如，重构求差分数据(differentiated data)等)。
(画面记录/回放块130)
如图3所示，画面记录/回放块130包括画面数据压缩/扩展电路134和存储单元132。存储单元132也可以使用具有存储单元122的公用存储装置，并且可以实现存储单元132的功能。
当记录画面数据时，画面数据压缩/扩展电路134压缩从数字信号处理电路114接收到的图像数据，并将该数据记录到存储单元132。当回放画面数据时，画面数据压缩/扩展电路134首先读取然后扩展存储在存储单元132中的图像数据。
(图像产生处理电路302)
图像产生处理电路302包括运动估计单元312(在附图中未示出)以及运动补偿单元314(在附图中未示出)。运动估计单元312是运动估计单元的一个示例。此外，运动补偿单元314是图像产生单元的一个示例。
运动估计单元312进行在从视频记录/回放块120传送来的视频数据的帧之间的运动估计，并且检测运动矢量。例如，运动估计单元312选择在最接近在预定时间记录的帧的时间点上记录的画面数据。然后，运动估计单元312进行在对应于所选画面数据的帧与在预定时间记录的帧之间的运动估计，并检测所述帧之间的运动矢量。在那时，运动估计单元312对其参考到的每一帧(LRP)进行超分辨率处理，并使用分辨率经转换的超分辨率画面(SRP)检测运动矢量。
作为另一示例，运动估计单元312可以提取在接近在预定时间记录的帧的时间点上记录的多个画面数据，并选择与最相似于在预定时间记录的帧的画面数据对应的帧。然后，运动估计单元312可以进行在对应于所选画面数据的帧与在预定时间记录的帧之间的运动估计，并且检测所述帧之间的运动矢量。
运动补偿单元314基于从运动估计单元312接收到的运动矢量数据和从画面记录/回放块130接收到的画面数据进行运动补偿。例如，运动补偿单元314基于运动矢量，识别对应于在预定时间记录的帧中的参考块的画面数据参考块。运动补偿单元314以预定比率合并画面数据参考块和在预定时间上记录的帧的参考块，并产生所建画面(CP)。
进一步，当产生所建画面CP，图像产生处理电路302监视对应于所建画面CP的超分辨率画面SRP和指向者图像之间的差值(amount of difference)。当高分辨率画面HRP和超分辨率画面SRP之间的差值很小时，图像产生处理电路302可以按原样输出高分辨率画面HRP，作为所建画面CP。这情况在抓拍完全静止景物时出现。
如上所示，引起运动估计的精度变坏的一个因素是从视频记录/回放块120传送的图像数据的低空间分辨率。与以高分辨率抓拍的画面数据相比，分辨率转换之后的高空间分辨率图像数据不包含高频分量。在这种情况下，即使当以处于分数像素计数(fractional-pixel count)或整像素计数(integer-pixel count)级精度进行详细的运动估计时，其也成为不包括在图像数据中的信号之间的比较问题。因为该原因，运动估计的精度可能依赖于放大比率而明显变坏。
(超分辨率处理电路306，相位校正电路304)
根据本实施方式的图像处理装置100包括超分辨率处理电路306，其通过超分辨率处理，对低分辨率画面LRP进行分辨率转换。现在将更详细地解释涉及超分辨率处理电路306等的超分辨率处理的技术配置。
首先，图像产生处理电路302将从视频记录/回放块120接收到的低分辨率画面LRP，经由相位校正电路304输入到超分辨率处理电路306。超分辨率处理电路306使用与多个视频数据帧对应的低分辨率画面LRP，利用超分辨率处理将每个低分辨率画面LRP转换成高分辨率图像。然后，超分辨率处理电路306将高分辨率转换后的超分辨率画面SRP输入到相位校正电路304。
如图4所示，超分辨率处理电路首先集中关于与视频数据对应的多个LRP帧的数据，并产生单高分辨率画面。在不同的时间点抓拍被使用超分辨率处理的该多个低分辨率画面LRP。因为那种原因，即使景物相同，也时常包括具有不同相位的信号。这里，基于超分辨率处理方法，利用相位重叠，可以重叠包括在多个LRP中的高频分量，并改善输出的图像数据分辨率。输入的LRP的数量可以是两个或以上，一直到图像处理装置的存储容量和算术处理能力的极限。
即使当使用超分辨率处理电路306时，分辨率转换之前的低空间分辨率图像数据也被完全重构。然而，超分辨率处理将高频分量校正到一定程度。因为那种原因，而显著改善运动估计精度。换句话说，由超分辨率处理产生并校正高频分量，并且可以以更大的精度进行图像信号的比较。
接下来，相位校正电路304将从图像密度转换电路126传送的低分辨率画面LRP(或者使用FIR滤波器等放大的放大画面MP)，与从超分辨率处理电路306传送的超分辨率画面SRP比较，并对从超分辨率处理电路306传送的超分辨率画面SRP进行相位校正。然后，超分辨率处理电路306将相位被校正的超分辨率画面SRP输入到图像产生处理电路302。图像产生处理电路302基于从相位校正电路304接收到的超分辨率画面SRP和画面记录/回放块130接收到的高分辨率画面HRP，进行运动补偿，并产生所建画面CP。在那以后，图像产生处理电路302将所建画面CP输出到显示电路108。图像密度转换电路126是放大图像产生单元的一个示例。
按照上述方式，已经由超分辨率处理电路306对其进行了超分辨率处理的有图像数据(SRP)，以及已经经由图像密度转换电路126转换过分辨率的图像数据，被输入到相位校正电路304。如图5所示，前者SRP数据具有通过超分辨率处理增加的高频分量。后者图像数据只是已经经历了使用FIR滤波器等的分辨率转换，因此不增加高频分量。然而，后者图像数据对与到更高分辨率的转换向一致地(in line with)出现的相位失真很少敏感。另一方面，前者SRP图像数据包括涉及多个图像的求和的处理，原则上，其更容易对相位失真敏感。在用在运动估计中的图像与用在运动补偿中的图像之间的相位失真导致质量变坏。
这里，相位校正电路304计算在从超分辨率处理电路306接收到的超分辨率画面SRP与从视频记录/回放块120接收到的放大画面MP之间的相位失真量。例如，可以应用于本实施方式来计算校正量的方法包括通过相位相关法(phase correlation)、块匹配法(block matching)等的运动估计。这里，使用某种运动估计。如果整个图像存在均匀相位失真，则用于上述运动估计的适当方法是相位相关法等。另一方面，如果相位失真量依赖于图像中的区域而不同，则用于上述运动估计的适当方法是块匹配法等。如果所建的是简化的图像，则可以以相对容易的方式完成运动估计。
接下来，相位校正电路304使用利用上述方法计算出来的相位失真量，来对从超分辨率处理电路306接收到的超分辨率画面SRP进行相位校正。如果失真以整像素级精度出现，则可以通过简单移位整个图像来进行校正。如果失真以分数像素级精度(例如，半像素级(half-pixel level)等)出现，则可以结合通过FIR滤波器的校正处理来进行校正。在这种方法中，图像被临时放大，并且分数像素失真被放大来作为整像素失真处理。
相位校正电路304也可以不通过校正在超分辨率画面SRP中出现的相位失真，而使用用以校正诸如在超分辨率画面SRP之间检测到的运动矢量之类的运动数据的方法来进行相位校正。换句话说，图像产生处理电路302使用从超分辨率处理电路306输出的超分辨率画面SRP来进行相位校正。然后，图像产生处理电路302通过添加由相位校正电路304所计算出来的相位失真量来校正所检测到的运动矢量。在那之后，图像产生处理电路302使用从画面记录/回放块130输出的高分辨率画面HRP来进行运动补偿。通过这种校正处理，消除在超分辨率处理电路306中出现的超分辨率画面SRP相位失真。
(图像数据的记录)
接下来，将给出通过根据本实施方式的图像处理装置100的图像数据的记录的简单解释。
首先，操作者指令图像处理装置100开始记录(步骤S10)。图像处理装置100接收该指令并开始形成该视频数据的帧的连续记录(步骤S12)。图像处理装置100经由成像透镜102获得聚集图像(步骤S14)。接下来，图像处理装置100使用图像传感器104对该聚集图像进行光电转换并且产生模拟信号(步骤S16)。然后，图像处理装置100将该模拟信号输入到A/D转换器112，并且将该模拟信号转换为数字信号(步骤S18)。接下来，图像处理装置100将该数字信号输入到数字信号处理电路114并对对应于该数字信号的图像数据进行诸如白平衡调节和伽马校正之类的处理(步骤S20)。图像处理装置100可以积累图像数据并形成视频数据。
接下来，图像处理装置100使用图像密度转换电路126来对该视频数据进行稀疏(步骤S22)。当进行步骤S22时，可以关于诸如全国电视系统委员会制式(NTSC)、逐行倒相制式(PAL)或综合业务数字广播(ISDB)法之类的每种视频信号格式获得有效像素的数量。然后，图像处理装置100使用视频数据压缩/扩展电路124来压缩变稀疏的的视频数据(步骤S24)，并将该视频数据记录在存储单元122(步骤S25)。此外，图像处理装置100使用画面数据压缩/扩展电路134来以预定间隔间歇性地获得并压缩图像数据(画面数据)(步骤S32)，并且将该画面数据存储在存储单元132(步骤S34)。
(图像数据的回放)
接下来，将给出通过根据本实施方式的图像处理装置100的图像数据的回放的简单解释。
操作者使用图像产生定时控制器106指令图像处理装置100开始回放(步骤S50)。图像处理装置100接收指令并开始具有比视频数据更高的空间分辨率的、关于不记录画面数据的时间点而记录的高质量图像数据的产生(步骤S52)。图像处理装置100读取存储在存储单元122中的经压缩视频数据(步骤S54)，并且使用视频数据压缩/扩展电路124来扩展该视频数据(步骤S56)。接下来，图像处理装置100使用图像密度转换电路126来对经扩展的视频数据进行校正处理(步骤S58)。在步骤S58，每一帧视频数据都被转换成具有与画面数据相同的像素数的图像数据。然后，将该视频数据传送到图像产生处理电路302(步骤S60)。
图像处理装置100使用画面数据压缩/扩展电路134来读取存储在存储单元132中的画面数据(步骤S72)，并将该画面数据传送到图像产生处理电路302。
(图像产生处理电路302的操作)
这里，将参考图4来解释图像产生处理电路302的操作。图4是图解图像产生处理电路302的处理操作的解释性图。
在图4，与图像抓取时间相对应地示出了高分辨率画面HRP(t)、多个低分辨率画面LRP(t)与低分辨率画面LRP(t+h)等、以及所建画面CP(t+h)。图4是用以产生与在时间t+h时记录的低分辨率画面LRP(t+h)对应的所建画面CP(t+h)处理操作的图解。
对于高分辨率画面HRP，假设水平像素的数量是N，垂直像素的数量是M，而帧速率是1/ΔT(fps)。此外，对于低分辨率画面LRP，假设水平像素的数量是n，垂直像素的数量是m，而帧速率是1/Δt(fps)。假设每个变量满足关系：N≧n、M≧m和ΔT≧Δt。进一步，假设变量h满足关系0≦h≦ΔT。
将参考图4中所示的示例来解释用于产生关于时间t+h的所建画面CP(t+h)的方法。然而，根据本实施方式的图像处理装置100的处理方法不限于这种示例。例如，图像处理装置100可以额外地参考到关于另一时间t+ΔT(在附图中未示出)的高分辨率画面HRP(t+ΔT)来产生所建画面CP(t+h)。在那时，图像处理装置100也可以进行处理来，依赖于景物的运动程度(extent)和速度等，选择将要参考到的高分辨率画面HRP。
(步骤S1)
首先，图像处理装置100的运动估计单元312使用超分辨率画面SRP(t)和超分辨率画面SRP(t+h)来进行运动估计，并且检测在超分辨率画面SRP(t)与超分辨率画面SRP(t+h)之间的运动矢量(MV)。因为使用超分辨率画面SRP来预测运动矢量MV，因而可以实现高度的运动估计精度。可以应用于本实施方式的运动估计的方法包括块匹配法、相位相关法或光流方法。
(步骤S2)
接下来，图像处理装置100的运动补偿单元314使用运动矢量MV和高分辨率画面HRP(t)来进行运动补偿。运动补偿单元314使用运动矢量MV来识别对应于超分辨率画面SRP(t+h)参考块的高分辨率画面HRP(t)参考块。然后，运动补偿单元314以预定比率合并所识别出的高分辨率画面参考块和超分辨率画面SRP(t+h)参考块，以产生所建画面CP(t+h)。
当产生了所建画面CP时，图像产生处理电路302也可以参考到除上述图像之外的图像。这里的解释通过参考定位于更晚时间期间(later in temporalterm)中的图像描述运动估计和运动补偿(前向预测)，但运动估计和运动补偿可以参考定位于更早时间期间(earlier in temporal term)中的图像来进行。作为替换，可以参考更晚图像和更早图像来进行运动估计和运动补偿。进一步，图像产生处理电路302可以通过参考定位于时间期间更早或更晚的多个图像来产生所建画面CP。
在上述方式中，可以以多种方式改进根据本实施方式的图像产生处理电路302。例如，如果高分辨率画面HRP(t+ΔT)存在于时间t+ΔT(h<ΔT)，则图像产生处理电路302可以根据上述方法，将基于高分辨率画面HRP(t+ΔT)从更早点校正和产生的所建画面CP，与从更晚点相继地校正和产生的所建画面CP进行比较，并且可以选择具有更高质量的图像。考虑到这种选择应用等，例如，图像产生处理电路302可以比较关于时间t和t+ΔT等的超分辨率画面SRP(t)和超分辨率画面SRP(t+ΔT)等，并且监视该差。
当进行运动估计时，图像产生处理电路302可以组合两个方向上的预测。换句话说，图像产生处理电路302基于关于多个预测源的运动矢量进行运动补偿，对运动补偿像素值进行加权，并使它们最终达到平衡。为了给出一个简单的示例，可以根据公式(1)，关于预测尺寸像素A和预测尺寸像素B，计算出满足预测的像素C。
(公式1)
C＝(A+B)/2    (1)
这是用以以等加权系数获得平均值的方法。与在一个方向上作出的预测相比，通过进行在双向上的预测，可以降低能量差(energy difference)。这种方法关于诸如运动画面专家组(MPEG)技术之类的图像压缩技术而著称。因为本发明的实施方式还组合在两个方向上的预测，所以被认为可以进一步改善所建画面CP的质量。进一步，如在关于H.264标准等的双向预测技术中那样，关于两个矢量的预测方向在时间期间可以被设置在同一方向(前向方向或后向方向)上。
当产生所建画面CP时，例如，相对容易的双向预测方法可能是用以使用利用两个高分辨率画面HRP(t)与HRP(t+ΔT)之间的平均值产生的所建画面CP(t+h)的方法。这种方法对衰落的静物的图像有效。
如果景物包括运动对象，则图像产生处理电路302可以关于超分辨率画面SRP(t+h)和超分辨率画面SRP(t)进行双向预测，并且可以基于高分辨率画面HRP(t)和高分辨率画面HRP(t+ΔT)进行运动补偿。图像产生处理电路302也可以在超分辨率画面SRP(t+h)和超分辨率画面SRP(t)使用景物运动，来改善所建画面CP(t+h)的画面质量。
(图像处理方法)
这里，参考图6来解释根据本实施方式的图像处理方法。图6是示出根据本实施方式的图像产生处理的流程的解释性图。
首先，图像产生处理电路302开始关键帧高分辨率处理(步骤S200)。接下来，超分辨率处理电路306对低分辨率画面LRP进行超分辨率处理，以产生与高分辨率画面HRP具有相同空间分辨率的超分辨率画面SRP(步骤S202)。接下来，初始化指示参考块的位置的参数b(步骤S204)。然后确定参数b是否超过参数b的最大值b_max(步骤S206)。这里，b_max是包括在帧中的块的数量。
当b≧b_max时，图像产生处理电路302结束图像产生过程。当b<b_max时，运动估计单元312从当前帧(SRP(t+h))到关键帧(SRP(t))进行运动估计(步骤S208)。接下来，图像产生处理电路302基于估计残留信号的大小，确定是否进行运动补偿(步骤S212)。
如果在步骤S212确定不能进行运动补偿，则运动补偿单元314将在步骤S202放大过的超分辨率画面SRP(t+h)作为所建画面CP(t+h)输出。
如果在步骤S212确定可以进行运动补偿，则运动补偿单元314使用高分辨率画面HRP(t)进行运动补偿(步骤S214)。那时，运动补偿单元314使用在步骤S208中从当前帧到关键帧所获得的运动矢量单元块大小和和参考帧数据等。
然后，图像产生处理电路302递增参数b(步骤S218)，并再次从步骤S206开始处理。以这种方式，当进行运动补偿时，图像产生处理电路302在确定图像差的同时，确定是否可以进行运动补偿。因为那种原因，而可以使得出现在根据低运动估计精度产生的所建画面CP(t+h)中的噪声达到最小。
(变形示例)
此外，如图7所示，可以进行连续顺序(consecutive sequence)运动补偿。使用高分辨率画面HRP(t)产生中间所建画面CP’(t+h”)(t<h”<h)，然后使用该中间所建画面CP’(t+h”)产生所建画面CP(t+h)。图7是示出根据本实施方式的变形示例(deformed example)的图像产生方法的解释性图。如这里所示，本实施方式不限于上述描述，而是可以按照各种方式畸变。此外，像在下面所示的示例中那样，通过使用计算机程序的信息处理装置，可以进行由图像处理装置100的结构成员所进行的功能。
(硬件配置)
例如，通过具有如图8所示的硬件配置的信息处理装置，可以进行图像处理装置100的功能。图8是示出可以进行图像处理装置100的每个结构成员的功能的信息处理装置的硬件配置的示例的解释性图。
如图8所示，该信息处理装置主要包括中央处理单元(CPU)902、只读存储器(ROM)904、随机存取存储器(RAM)906、主总线(host bus)908、桥接器910、外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924以及通信单元926。
例如，CPU902作用为算术处理单元或控制单元，基于记录在ROM904、RAM906、存储单元920或可移动记录介质928控制每个结构成员的全部或部分操作。例如，ROM904存储将要读到CPU902的程序或在计算时用到的数据。RAM906临时或永久地存储将要读到CPU902的程序或当执行这些程序时适当地改变的各种参数等。例如，这些结构成员通过允许高速数据传输的主总线908相互连接。例如，主总线908经由桥接器910连接到具有比较低的数据传输速度的外部总线912。
例如，输入单元916是诸如鼠标、键盘、触摸屏、按钮、开关、控制杆之类的操作装置。输入单元916还可以是能够使用红外线或其他无线电波传送控制信号的遥控装置(所谓“遥控器”)。输入单元916由输入控制电路等形成，设计成使用上述操作装置，将传送输入数据作为输入信号传送到CPU902。
例如，输出单元918为诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示板(PDP)或电致发光显示器(ELD)之类的显示装置，诸如扬声器或麦克风之类的音频输出装置，或能够向用户提供关于由音频或视觉装置等所获得的数据的信息的打印机、蜂窝电话或传真机等。
存储单元920是用以存储各种数据的装置，例如，由诸如硬盘驱动器(HDD)之类的磁存储装置，或半导体存储装置、光存储装置或磁光存储装置等形成。
驱动器922是读取例如存储在可移动记录介质928(即，磁盘、光盘或磁光盘等)中的数据，或写数据到可移动记录介质928中的装置。例如，可移动记录介质928可以是DVD介质、Blu-rayTM介质、HD-DVD介质、CompactFlashTM(CF)存储器、记忆棒或安全数字存储卡(SD)等。当然，作为替换，例如，可移动记录介质928可以是具有非接触式IC芯片的集成电路卡(IC卡)或电子装置等。
连接部分924例如是通用串行总线(USB)、IEEE1394端口、小型计算机系统接口(SCSI)、RS-232端口或光学音频端口等，以便连接到外部连接装置930。例如，外部连接装置930为打印机、便携式音乐播放器、数字照相机、数字视频摄像机或IC记录器等。
通信单元926为用以连接到网络932的通信装置，例如，可以是有线或无线局域网(LAN)、BluetoothTM或无线USB(WUSB)通信卡、用于光通信的路由器、非对称数字订户线路(ADSL)路由器或其他种类的通信调制解调器等。此外，连接到通信单元926的网络由有线或无线连接的网络形成，例如，为Internet、家庭LAN、红外通信网络、广播网或卫星通信网络等。
这完成了根据本实施方式的图像处理装置100的结构的解释，以及图像处理方法的解释。如上所示，本实施方式涉及结合地使用超分辨率技术以及运动补偿技术的技术。因为使用包括高频分量的高分辨率画面HRP进行运动补偿，所以与使用对高频分量仅仅使用低分辨率画面LRP进行运动补偿的超分辨率技术相比，可以获得更高质量的图像数据。此外，由于可以改善运动估计精度，因此可以获得不包括在普通超分辨率处理中的超分辨率有点。
本领域普通技术人员应该理解，依赖于设计要求和其他因素，只要它们在附属权利要求或其等效物的范围内，可以出现各种修改、组合、部分组合和变更。
例如，在本实施方式的上述解释中，解释了在前向(使用更晚帧)上的运动估计和运动补偿，但本实施方式的技术范围不限于这种示例，而是可以在后向(使用更早帧)上或者双向(使用更晚帧和更早帧)上进行运动估计和运动补偿。

Claims (8)

1.一种图像处理装置，包括：
成像单元，其对景物进行抓拍并产生成像数据，该成像数据包括具有低空间分辨率和高时间分辨率的第一成像数据以及比所述第一成像数据具有更高空间分辨率和更低时间分辨率的第二成像数据；
图像处理单元，其对所述成像单元抓拍的成像数据进行规定的图像处理并相应地产生第一视频数据和第二视频数据；
第一压缩单元，其从所述图像处理单元产生的图像数据中，对包含多个帧的第一视频数据进行压缩处理并产生第一编码数据；
第二压缩单元，对所述图像处理单元产生的图像数据中，具有比所述帧更高的分辨率的第二视频数据进行压缩处理并产生第二编码数据；
存储单元，其存储由所述第一压缩单元产生的所述第一编码数据和由所述第二压缩单元产生的第二编码数据；
第一扩展单元，其对所述存储单元存储的第一编码数据进行扩展处理以产生所述第一视频数据；
第二扩展单元，其对所述存储单元存储的第二编码数据进行扩展处理以产生所述第二视频数据；
超分辨率处理单元，其通过使用所述第一扩展单元产生的第一视频数据中包含的多个帧，对该各个帧进行超分辨率处理，以产生超分辨率图像；
运动估计单元，其检测所述超分辨率处理单元产生的超分辨率图像之间的运动矢量；以及
图像产生单元，其基于所述第二扩展单元产生的第二视频数据和所述运动估计单元检测出的运动矢量，产生对应于所述第一视频数据的帧的运动补偿图像数据，
其中，所述超分辨率处理单元进行超分辨率处理，而不对所述第一视频数据中包含的帧的分辨率进行转换。
2.根据权利要求1的图像处理装置，其中
所述图像产生单元，在用上述运动矢量执行运动补偿时，参照与所述运动矢量的涉及者对应的所述第二视频数据，并参照与上述运动矢量的涉及者对应的所述超分辨率图像来产生所述图像数据。
3.根据权利要求1的图像处理装置，进一步包括：
放大图像产生单元，其使用所述第一视频数据中包含的一个帧，以与所述超分辨率处理单元产生的超分辨率图像相同的分辨率，产生放大图像；以及
相位失真检测单元，其检测对应于所述第一视频数据中包含的一个帧的超分辨率图像和所述放大图像产生单元产生的放大图像之间的相位失真。
4.根据权利要求3的图像处理装置，进一步包括：
相位失真校正单元，其基于所述相位失真检测单元所检测到的所述相位失真，校正所述超分辨率图像的相位失真。
5.根据权利要求3的图像处理装置，进一步包括：
运动矢量补偿单元，其基于所述相位失真检测单元所检测到的相位失真，校正基于所述运动估计单元的超分辨率图像之间的运动矢量估计的结果。
6.根据权利要求1的图像处理装置，其中
所述图像产生单元使用所述运动补偿图像数据改善所述第二视频数据的时间分辨率。
7.根据权利要求1的图像处理装置，其中
对所述第一视频数据进行下取样处理。
8.一种图像处理方法，包括下列步骤：
成像步骤，其对景物进行抓拍并产生成像数据，该成像数据包括具有低空间分辨率和高时间分辨率的第一成像数据以及比所述第一成像数据具有更高空间分辨率和更低时间分辨率的第二成像数据；
图像处理步骤，其对所述成像步骤抓拍的成像数据进行规定的图像处理并相应地产生第一视频数据和第二视频数据；
压缩步骤，其从所述图像处理步骤产生的图像数据中，对包含多个帧的第一视频数据进行压缩处理并产生第一编码数据，同时，对具有比所述帧更高的分辨率的第二视频数据进行压缩处理并产生第二编码数据；
存储步骤，其存储由所述压缩步骤产生的所述第一编码数据和第二编码数据；
扩展步骤，其对所述存储步骤存储的第一编码数据和第二编码数据进行扩展处理以产生所述第一视频数据和第二视频数据；
超分辨率处理步骤，其通过使用所述扩展步骤产生的第一视频数据中包含的多个帧，对该各个帧进行超分辨率处理，以产生超分辨率图像；
运动估计步骤，其检测所述超分辨率处理步骤产生的超分辨率图像之间的运动矢量；以及
图像产生步骤，其基于所述扩展步骤产生的第二视频数据和所述运动估计步骤检测出的运动矢量，产生对应于所述第一视频数据的帧的运动补偿图像数据，
其中，所述超分辨率处理步骤进行超分辨率处理，而不对所述第一视频数据中包含的帧的分辨率进行转换。
CN201210093229.5A 2007-06-18 2008-06-18 图像处理装置和图像处理方法 Expired - Fee Related CN102685388B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007160591A JP4356777B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2007-160591 2007-06-18

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008101253204A Division CN101330569B (zh) 2007-06-18 2008-06-18 图像处理装置和图像处理方法

Publications (2)

Publication Number Publication Date
CN102685388A CN102685388A (zh) 2012-09-19
CN102685388B true CN102685388B (zh) 2015-04-08

Family

ID=40206135

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210093229.5A Expired - Fee Related CN102685388B (zh) 2007-06-18 2008-06-18 图像处理装置和图像处理方法
CN2008101253204A Expired - Fee Related CN101330569B (zh) 2007-06-18 2008-06-18 图像处理装置和图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008101253204A Expired - Fee Related CN101330569B (zh) 2007-06-18 2008-06-18 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (2) US8233746B2 (zh)
JP (1) JP4356777B2 (zh)
CN (2) CN102685388B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212687A1 (en) * 2007-03-02 2008-09-04 Sony Corporation And Sony Electronics Inc. High accurate subspace extension of phase correlation for global motion estimation
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
RU2506711C2 (ru) * 2008-07-25 2014-02-10 Сони Корпорейшн Способ и устройство обработки изображения
US8483495B2 (en) * 2008-07-25 2013-07-09 Sony Corporation Image processing device and method
JP5241429B2 (ja) * 2008-10-24 2013-07-17 キヤノン株式会社 画像形成装置およびその制御方法
JP5254739B2 (ja) * 2008-10-24 2013-08-07 キヤノン株式会社 画像形成装置およびその制御方法
KR102057881B1 (ko) * 2009-02-06 2019-12-20 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 구동 방법
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
US8558948B2 (en) * 2009-12-17 2013-10-15 Broadcom Corporation System, method, and apparatus for providing improved high definition video from upsampled standard definition video
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
CN102236889A (zh) * 2010-05-18 2011-11-09 王洪剑 一种基于多帧运动估计和融合的超分辨率重构方法
EP2410746A1 (en) * 2010-07-20 2012-01-25 Siemens Aktiengesellschaft Video coding with reference frames of high resolution
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
US8750647B2 (en) 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
JP5327297B2 (ja) * 2011-09-08 2013-10-30 ソニー株式会社 撮像装置、撮像方法、プログラム、及び記録媒体
JP5327296B2 (ja) * 2011-09-08 2013-10-30 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
US9563977B2 (en) 2011-11-29 2017-02-07 Nokia Technologies Oy Method, apparatus and computer program product for generating animated images
US20130300750A1 (en) * 2012-05-10 2013-11-14 Nokia Corporation Method, apparatus and computer program product for generating animated images
CN104869381B (zh) * 2014-02-25 2017-07-25 炬芯（珠海）科技有限公司 一种图像处理系统、方法及装置
CN106231182A (zh) * 2016-07-29 2016-12-14 维沃移动通信有限公司 一种拍照方法及移动终端
US10701394B1 (en) * 2016-11-10 2020-06-30 Twitter, Inc. Real-time video super-resolution with spatio-temporal networks and motion compensation
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing
US10264191B2 (en) * 2017-08-03 2019-04-16 The Boeing Company Calibration of pixels for producing super resolution images
US10572976B2 (en) 2017-10-18 2020-02-25 International Business Machines Corporation Enhancing observation resolution using continuous learning
CN108665411B (zh) * 2018-03-09 2022-05-24 广州超视计生物科技有限公司 一种图像重建的方法和系统
CN109727276B (zh) * 2018-11-30 2022-11-29 复旦大学 超高清视频图像分析加速方法及系统
CN110263699B (zh) * 2019-06-17 2021-10-22 睿魔智能科技（深圳）有限公司 视频图像处理方法、装置、设备及存储介质
CN110366034A (zh) * 2019-07-18 2019-10-22 浙江宇视科技有限公司 一种超分辨率图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1631055A2 (en) * 2004-08-31 2006-03-01 Nikon Corporation Imaging apparatus
CN1885835A (zh) * 2005-06-22 2006-12-27 株式会社Ntt都科摩 邮件服务器和用于发送电子邮件的方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
US20020063807A1 (en) * 1999-04-19 2002-05-30 Neal Margulis Method for Performing Image Transforms in a Digital Display System
WO2003060823A2 (en) * 2001-12-26 2003-07-24 Yeda Research And Development Co.Ltd. A system and method for increasing space or time resolution in video
JP4193552B2 (ja) 2003-04-04 2008-12-10 ソニー株式会社 画像データ記録再生装置及び方法
JP4288992B2 (ja) 2003-04-04 2009-07-01 ソニー株式会社 撮像装置及び方法
US7813430B2 (en) * 2004-05-18 2010-10-12 Sony Corporation Method and apparatus for decimation mode determination utilizing block motion
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP2007000205A (ja) 2005-06-21 2007-01-11 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法並びに画像処理プログラム
JP4549260B2 (ja) 2005-08-25 2010-09-22 キヤノン株式会社 記録再生装置、記録再生方法、及びコンピュータプログラム
EP1837826A1 (en) * 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
JP4215267B2 (ja) * 2006-10-19 2009-01-28 パナソニック株式会社 画像生成装置および画像生成方法
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
US8379152B2 (en) * 2008-03-31 2013-02-19 Sharp Laboratories Of America, Inc. Systems and methods for increasing the temporal resolution of video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1631055A2 (en) * 2004-08-31 2006-03-01 Nikon Corporation Imaging apparatus
CN1885835A (zh) * 2005-06-22 2006-12-27 株式会社Ntt都科摩 邮件服务器和用于发送电子邮件的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于正则算法的压缩视频超分辨率重建;徐忠强等;《第十三届全国图象图形学学术会议论文集》;20061130;第234-235页 *

Also Published As

Publication number Publication date
CN101330569B (zh) 2012-06-13
US8744218B2 (en) 2014-06-03
CN102685388A (zh) 2012-09-19
US8233746B2 (en) 2012-07-31
JP2008312163A (ja) 2008-12-25
JP4356777B2 (ja) 2009-11-04
CN101330569A (zh) 2008-12-24
US20090010568A1 (en) 2009-01-08
US20120269273A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
CN102685388B (zh) 图像处理装置和图像处理方法
RU2446616C2 (ru) Устройство обработки изображения, способ обработки изображения
RU2504104C2 (ru) Устройство обработки изображения, способ обработки изображения и программа
JP5421647B2 (ja) 撮像装置及びその制御方法
EP2094018A1 (en) Encoding apparatus for high frame rate videos, method and program
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP4780222B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2008294950A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP4942563B2 (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
US8189102B2 (en) Image processing apparatus using interpolation direction
JP2008306608A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP5300606B2 (ja) 撮像装置及びその制御方法
JP5327296B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP5327297B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP5170296B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2010283630A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150408

Termination date: 20200618

CF01 Termination of patent right due to non-payment of annual fee