CN102833457A - 图像处理设备、图像处理方法和程序 - Google Patents

图像处理设备、图像处理方法和程序 Download PDF

Info

Publication number
CN102833457A
CN102833457A CN2012102699740A CN201210269974A CN102833457A CN 102833457 A CN102833457 A CN 102833457A CN 2012102699740 A CN2012102699740 A CN 2012102699740A CN 201210269974 A CN201210269974 A CN 201210269974A CN 102833457 A CN102833457 A CN 102833457A
Authority
CN
China
Prior art keywords
video data
image
frame
motion
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012102699740A
Other languages
English (en)
Other versions
CN102833457B (zh
Inventor
中神央二
田中润一
矢崎阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102833457A publication Critical patent/CN102833457A/zh
Application granted granted Critical
Publication of CN102833457B publication Critical patent/CN102833457B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2166—Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/217—Interfaces allowing access to a single user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H04N2201/3267—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of motion picture signals, e.g. video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Picture Signal Circuits (AREA)

Abstract

提供图像处理装置和方法。该装置包含：成像单元，对图像成像并生成图像信号；处理单元，从图像信号生成包括多个帧的第一视频数据以及具有比包括在第一视频数据更高的分辨率的第二视频数据；编码单元，压缩从处理单元输入的第一和第二视频数据并在存储单元中记录所压缩的数据；图像生成单元，检测第一视频数据中包括的各帧之间的运动矢量，基于第二视频数据和检测到的运动矢量，对位于第一视频数据中包括的预定帧和第二视频数据中包括的帧之间的帧执行运动补偿，并基于经运动补偿的帧和检测到的运动矢量，顺序地生成对应于预定帧的经运动补偿的图像数据，其中，按从对应于接近第二视频数据的时间的帧起依次执行运动补偿。

Description

图像处理设备、图像处理方法和程序
本发明是以下发明专利申请的分案申请：申请号：200880020581.8，申请日：2008年5月21日，发明名称：图像处理设备、图像处理方法和程序。
技术领域
本发明涉及图像处理装置、图像处理方法和程序。
背景技术
近年来，涉及数字视频数据(在下文中称为视频数据)的分发的技术已经有了很大进步。具体地，涉及高图像质量视频数据的分发和记录的技术的发展是显著的。在其之中，已经对涉及视频数据的编码和解码的技术给予了关注。具有高空间分辨率和时间分辨率的视频数据具有非常大的数据规模，由此期望在编码后通过对这些视频数据高效地压缩来对其进行分发和记录。已经期望使得能够以更高的压缩率来对高图像质量视频数据进行压缩的编码技术，以及使得能够以更高的空间分辨率进行再现的解码技术。
例如，专利文献1和2公开了如下的基本技术：通过将具有低空间分辨率和高时间分辨率的第一视频数据(例如，运动图像数据等)与具有高空间分辨率和低时间分辨率的第二视频数据(例如，静止图像数据序列等)进行组合，生成具有高空间分辨率和时间分辨率的视频数据。这种技术预测来自第一视频数据的各帧之间的运动矢量，并且使用运动矢量和第二视频数据来补偿第一视频数据的高频分量。这种技术使用从第一视频数据检测到的运动矢量以及在与任意时间点接近的时间点处的第二视频数据的帧，生成未包含在第二视频数据中的该任意时间点的帧。日本专利申请公开第2004-312276号和第2004-312277号包括这样的描述：其涉及用于使用上述技术生成具有高空间分辨率和时间分辨率的视频数据的图像数据记录和再现设备。
[专利文献1]日本专利申请公开第2004-312276号
[专利文献2]日本专利申请公开第2004-312277号
发明内容
然而，如果记录多个静止图像数据中的每一个的时间间隔很大，那么难以精确地预测运动矢量，由此难以生成高图像质量视频数据。换言之，由于图像数据中的运动主体的变化量变得更大，要生成视频数据的记录时间距离所记录的静止图像数据的记录时间越长，因此使用包含在所记录的高分辨率静止图像中的高频分量的运动补偿变得难以执行。例如，如果静止图像数据的记录时间和期望创建的图片的记录时间之间的时间差h变得大于0.1秒，那么运动补偿对于高频分量的补偿变得难以执行。如果高清晰度静止图像数据的记录数目增大，那么要保存的数据量显然变得很大。
鉴于上述，期望提供如下的新颖和改善的图像处理装置、图像处理方法以及程序：其能够在使用低分辨率图像数据序列执行运动预测以及使用高分辨率图像数据执行运动补偿以便生成高分辨率图像数据时，即使要生成图像数据的时间和高分辨率图像数据的时间相距较远，也能够实现高精度运动补偿。
根据本发明的一个方面，提供一种图像处理装置，包含：成像单元，用于对图像成像并生成图像信号；处理单元，用于从所述图像信号生成包括多个帧的第一视频数据以及具有比包括在所述第一视频数据中的所述帧更高的分辨率的第二视频数据；编码单元，用于压缩从所述处理单元输入的第一和第二视频数据并在存储单元中记录所压缩的数据；图像生成单元，用于检测从所述存储单元接收到的所述第一视频数据中包括的各帧之间的运动矢量；以及基于从所述存储单元接收到的所述第二视频数据和检测到的所述运动矢量，对位于从所述存储单元接收到的所述第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行运动补偿，并且基于所述经运动补偿的帧和检测到的所述运动矢量，顺序地生成对应于所述预定帧的经运动补偿的图像数据，其中，所述图像生成单元按从对应于接近第二视频数据的时间的帧起依次执行运动补偿。
根据本发明的一个方面，提供一种图像处理方法，包含以下步骤：对图像成像并生成图像信号；从所述图像信号生成包括多个帧的第一视频数据，以及具有比包括在所述第一视频数据中的所述帧更高的分辨率的第二视频数据；通过压缩第一和第二视频数据并在存储单元中记录所压缩的数据来编码视频数据；检测从所述存储单元接收到的所述第一视频数据中包括的各帧之间的运动矢量；以及基于从所述存储单元接收到的所述第二视频数据和在所述运动预测步骤检测到的所述运动矢量，对位于从所述存储单元接收到的所述第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行运动补偿，并且基于所述经运动补偿的帧和在所述运动预测步骤中检测到的所述运动矢量，顺序地生成对应于所述预定帧的经运动补偿的图像数据，其中，按从对应于接近第二视频数据的时间的帧起依次执行运动补偿。
为了解决上述问题，根据本发明的另一实施例，提供了这样的图像处理装置，其包括：获取单元，用于获取包括多个连续帧的运动图像数据，以及对应于所述帧的并且具有比所述帧更高的空间分辨率的一个或多个图像数据；运动预测单元，用于使用所述运动图像数据来检测各帧之间的运动矢量；以及图像生成单元，用于基于所述图像数据和所述运动矢量，生成对应于预定帧的经运动补偿的图像数据。
图像生成单元生成位于所述预定帧与对应于所述图像数据的帧之间的、且对应于所述帧的经运动补偿的图像数据，并且基于所述经运动补偿的图像数据和所述运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
图像生成单元可以从与所述图像数据接近的时间所对应的帧起依次执行运动补偿，并且基于所述经运动补偿的图像数据和所述运动矢量顺序生成对应于所述预定帧的经运动补偿的图像数据。
图像处理装置可以进一步包含存储单元，其用于记录所述运动数据图像以及所述一个或多个图像数据。在这种情况下，所述获取单元可以配置为获取记录在所述存储单元中的所述图像数据以及所述一个或多个图像数据。
可以将具有低空间分辨率和高时间分辨率的第一图像数据序列作为所述运动图像数据而记录在所述存储单元中，并且可以将比所述第一图像数据序列具有更高空间分辨率和更低时间分辨率的第二图像数据序列作为所述一个或多个图像数据而记录在所述存储单元中，以便于与包含在所述第一图像数据序列中的帧对应。
运动图像生成单元可以配置为：以包含在所述第一图像数据序列中但不包含在所述第二图像数据序列中的帧作为所述预定帧，生成对应于所述预定帧的图像数据；并且提高所述第二图像数据序列的时间分辨率。
可以将通过对成像的图像信号进行下采样所获得的图像数据序列作为所述运动图像数据而记录在所述存储单元中。
所述图像生成单元可以配置为：如果所述运动补偿的差异量大于预定值，那么根据所述差异量改变组合作为所述运动矢量的参考源的所述预定帧和作为所述运动矢量的参考目的地的所述图像数据的比率。
如果对应于所述图像数据的帧与所述预定帧之间的差异量小于预定值，那么所述图像生成单元可以配置为：在不执行运动补偿的情况下输出所述图像数据，作为对应于所述预定帧的图像数据。
为了解决上述问题，根据本发明的另一实施例，提供了如下的图像处理方法，包括步骤：获取含有多个连续帧的运动图像数据，以及对应于所述帧的并且具有比所述帧更高的空间分辨率的一个或多个图像数据；使用所述运动图像数据来检测各帧之间的运动矢量；以及基于所述图像数据和所述运动矢量，生成对应于预定帧的经运动补偿的图像数据。
在所述图像生成步骤中，生成位于所述预定帧与对应于所述图像数据的帧之间的、且对应于所述帧的经运动补偿的图像数据，并且基于所述经运动补偿的图像数据和所述运动矢量，生成对应于所述预定帧的经运动补偿的图像数据。
为了解决上述问题，根据本发明的另一实施例，提供了使得计算机实现图像处理装置的功能的程序。还可以提供记录有这种程序的记录介质。
图像处理装置从接近已记录的静止图像数据的记录时间的时间起生成高分辨率图像，将过去生成的高分辨率图像保存在帧存储器中，并且再次参考所保存的图像，生成新的高分辨率图像。通过这种顺序执行的处理，即使在与记录时间相距较远的时间处也可以生成高清晰度静止图像。
根据上述的本发明实施例，当使用低分辨率的图像数据序列执行运动预测以及使用高分辨率的图像数据执行运动预测以便生成高分辨率的图像数据时，即使要生成的图像数据的时间和高分辨率图像数据的时间相距较远，也可以高精度地执行运动补偿。
附图说明
图1是描述高分辨率被创建图片的生成方法的说明性视图；
图2是示出根据本发明一个实施例的图像处理装置的装置配置的说明性视图；
图3是描述根据本实施例的图像生成电路的工作的说明性视图；
图4是描述根据本实施例的图像生成电路的工作的说明性视图；
图5是描述根据本实施例的图像生成电路的工作的说明性视图；
图6是示出根据本实施例的高分辨率图像的生成方法的说明性视图；以及
图7是示出能够实现根据本实施例的图像处理装置的功能的信息处理设备的硬件配置示例的说明性视图。
附图标记的描述
100 图像处理装置
102 成像镜头
104 成像元件
106 图像生成定时控制器
108 显示电路
110 相机信号处理块
112 A/D转换器
114 数字信号处理电路
120 运动图像记录和再现块
122、132 存储单元
124 运动图像压缩/解压缩电路
126 图像密度转换电路
130 静止图像记录和再现块
134 静止图像压缩/解压缩电路
202 图像生成电路
204 帧存储器
212 运动预测单元
214 运动补偿单元
HRP 高分辨率图片
LRP 低分辨率图片
MP 被放大图片
CP、CP’被创建图片
具体实施方式
在下文中，将参考附图详细地描述本发明的优选实施例。注意，在本说明书和附图中，以相同的附图标记来表示基本上具有相同功能和结构的结构性构件，并且省略了对于这些结构性构件的重复说明。
(高分辨率图像的生成方法)
首先，在描述根据本发明实施例的图像处理装置和图像处理方法之前，参考图1简要地描述使用这样的图像数据序列(在下文中称为运动图像数据)的构想：在所述图像数据序列中，连续地记录低空间分辨率的图像，并且与包含在运动图像数据中的适当帧(在下文中称为LRP(低分辨率图片))对应地离散地记录高空间分辨率的图像数据(在下文中称为静止图像数据或HRP(高分辨率图片))，以便生成与包括在运动图像数据中的任意帧对应的高空间分辨率的图像数据(在下文中称为CP(被创建图片)或高分辨率被创建图片)。图1是示出高分辨率图像的生成方法的一个示例的说明性视图。
在图1中图示了高分辨率图片HRP(t)、低分辨率图片LRP(t)、LRP(t+h)、被放大图片MP(t)、MP(t+h)以及被创建图片CP(t+h)。括号中的字符表示拍摄时间。例如，被创建图片CP(t+h)表示与在时间t+h处拍摄的低分辨率图片LRP(t+h)对应的被创建图片。
被创建图片CP是通过使用这样的运动矢量执行运动补偿创建的图像数据，所述运动矢量是使用低分辨率图片LRP和高分辨率图片HRP检测到的。如图1中所示，使用通过放大低分辨率图片LRP(t)所创建的被放大图片MP(t)以及放大低分辨率图片LRP(t+h)所创建的被放大图片MP(t+h)来检测时间t和时间t+h之间的运动矢量(MV)(S1)。然后，基于运动矢量MV，提取出与低分辨率图片LRP(t)的参考块(BLK)对应的高分辨率图片HRP(t)的参考块。然后，以预定比率将参考块的像素和被放大图片MP(t+h)的像素进行组合，以便创建被创建图片(CP(t+h))(S2)。
在上述示例中，使用本质上不同的图像执行运动预测和运动补偿。通过放大低分辨率图片LRP(t)而创建的被放大图片MP放大与高分辨率图片HRP(t)相同的空间分辨率，但是相比于高分辨率图片HRP(t)，其缺少高频分量。由此，在使用被放大图片MP所检测到的运动矢量和高分辨率图片HRP必须要具有的运动矢量中可能出现偏差。具体地，如果运动预测的精度较低，那么高分辨率图片HRP中的参考块的位置移动（shift），由此向通过运动补偿所创建的被创建图片CP的高频分量添加了显著的噪声。
由此，期望这样的设计：在基于具有彼此不同的空间分辨率的多个图像数据执行运动补偿时，抑制由于运动补偿而添加噪声。当拍摄高分辨率图片HRP(t)的时间t和被创建图片CP(t+h)要被创建的时间t+h相距较远时，运动矢量的误差变得很大。由此，期望在时间间隔h很大时获得高清晰度的被创建图片CP(t+h)的设计。
如在下文中所述的那样，根据本发明一个实施例的图像处理装置首先对在接近于拍摄高分辨率图片HRP(t)的时间t的时间处拍摄的低分辨率图片LRP(t+h”)执行运动预测和运动补偿，以便生成临时(tentative)的被创建图片CP’(t+h”)，并且进一步基于该临时的被创建图片CP’(t+h)执行运动预测和运动补偿。通过顺序地重复这种处理，可以高精度地生成期望时间t+h处的被创建图片CP(t+h)。这是由于在执行一个运动预测时所参考的各帧之间的时间间隔较短，并且运动预测的精度提高。下面将描述图像处理装置的特定功能配置。
<实施例>
下面详细描述根据本发明一个实施例的图像处理装置100。
[图像处理装置100的装置配置]
首先，参考图2描述根据本实施例的图像处理装置100的装置配置。图2是示出根据本实施例的图像处理装置100的装置配置的一个示例的说明性视图。
如图2中所示，图像处理装置100主要包括成像镜头102、成像元件104、相机信号处理块110、运动图像记录和再现块120、静止图像记录和再现块130、图像生成电路202、帧存储器204、图像生成定时控制器106和显示电路108。
成像镜头102是用于通过采集光来形成景物的图像(在下文中称为已采集图像)的光学镜头。成像元件104是用于将成像镜头102所采集的光转换为电信号的光电元件。诸如CCD图像传感器(电荷耦合器件图像传感器)和CMOS图像传感器(互补金属氧化物半导体图像传感器)之类的半导体元件用于成像元件104。
成像元件104具有比运动图像数据的空间分辨率的有效像素数目更多的像素数目。显示电路108使得显示设备(未示出)在记录或再现图像数据时或者在检查图像数据时显示图像数据。图像生成定时控制器106是操作者在再现运动图像数据的同时作出指令来获取静止图像数据的设备。
(相机信号处理块110)
如图2中所示，相机信号处理块110包括A/D转换器112和数字信号处理电路114。
A/D转换器112是用于将输入的模拟信号转换为数字信号并且将其输出的模数转换器。A/D转换器112将从成像元件104输入的已采集图像的模拟信号转换为数字信号，并且将其输出至数字信号处理电路114。数字信号处理电路114对从A/D转换器112输入的已采集图像的数字信号(在下文中称为图像数据)执行诸如白平衡调节和伽玛校正之类的处理。
(运动图像记录和再现块120)
如图2中所示，运动图像记录和再现块120包括图像密度转换电路126、运动图像压缩/解压缩电路124和存储单元122。
图像密度转换电路126在记录运动数据图像时，对从数字信号处理电路114输入的图像数据序列(运动图像数据)执行抽取(decimation)处理（例如，帧间差分编码等）。图像密度转换电路126将抽取处理之后的运动图像数据输出至运动图像压缩/解压缩电路124。运动图像压缩/解压缩电路124对从图像密度转换电路126输入的抽取后的运动图像数据执行压缩处理，并且将压缩后的运动图像数据记录在存储单元122中。
当再现运动图像数据时，运动图像压缩/解压缩电路124读出在存储单元122中记录的运动图像数据，并且对其执行解压缩处理。运动图像压缩/解压缩电路124将解压缩后的运动图像数据输出至图像密度转换电路126。图像密度转换电路126对从运动图像压缩/解压缩电路124输入的运动图像数据执行内插处理(例如，恢复差异的数据(differenced data))。
(静止图像记录和再现块130)
如图2中所示，静止图像记录和再现块130包括静止图像压缩/解压缩电路134和存储单元132。存储单元132可以通过使用与存储单元122共同的存储设备来实现该功能。
当记录静止图像数据时，静止图像压缩/解压缩电路134对从数字信号处理电路114输入的图像数据执行压缩处理，并且记录在存储单元132中。当再现静止图像数据时，静止图像压缩/解压缩电路134读出在存储单元122中记录的图像数据，并且对其执行解压缩处理。
(图像生成电路202)
虽然未清楚地示出在图中，但是图像生成电路202包括运动预测单元212和运动补偿单元214。运动补偿单元214用作图像生成单元。
运动预测单元212通过对运动图像记录和再现块120传送的运动图像数据执行各帧之间的运动预测，来检测运动矢量。例如，运动预测单元212选择在与预定时间处记录的帧最接近的时间处所记录的静止图像数据。运动预测单元212通过在对应于静止图像数据的帧和预定时间处所记录的帧之间执行运动预测，来检测各帧之间的运动矢量。在这种情况下，运动预测单元212将每一帧(LRP)放大以便参考转换到被放大图片(MP)，并且检测相关的被放大图片之间的运动矢量。
作为另一示例，运动预测单元212可以提取与预定时间处所记录的帧接近的时间点处所记录的多个静止图像数据，然后选择对应于静止图像数据的、与预定时间处记录的帧最靠近的帧。通过在对应于所选静止图像数据的帧与预定时间处记录的帧之间执行运动预测，运动预测单元212可以检测各帧之间的运动矢量。运动预测单元212可以在不放大每一帧(LRP)的情况下来检测各帧之间的运动矢量，并且放大运动矢量以便适配于被创建图片(CP)的空间分辨率。
运动补偿单元214基于运动预测单元212输入的运动矢量信息和静止图像记录和再现块130输入的静止图像数据，执行运动补偿。例如，运动补偿单元214基于运动矢量，指定与预定时间处记录的帧的参考块对应的静止图像数据的参考块。运动补偿单元214通过以预定比率、将所指定的静止图像数据参考块和预定时间处记录的帧的参考块进行组合，生成图像数据(被创建图片CP’)。
当生成被创建图片CP(t+h)时，图像生成电路202将过去所生成的被创建图片CP’(t+h”)(t<h”<h)形成(develop)在帧存储器204中。即，如图3中所示，图像生成电路202一旦使用在时间上接近于高分辨率图片HRP(t)的被放大图片MP(t+h”)，生成中间被创建图片CP’(t+h”)，而不是使用高分辨率图片HRP(t)来直接生成被创建图片CP(t+h)，并且将这种被创建图片CP’(t+h”)保存在帧存储器204中以便进行使用。图像生成电路202在被放大图片MP(t+h)和MP(t+h”)之间执行运动预测，并且基于检测到的运动矢量和中间被创建图片CP’(t+h”)，生成期望的被创建图片CP(t+h)。然后将被创建图片CP(t+h)输出至显示电路108。
当将被创建图片CP’(t+h”)存储在帧存储器中时，图像生成电路202可以根据要使用的处理单元来改变存储的方法。例如，可以存储整个图像，或者仅保存具有运动的像素区域以便节省存储量。
此外，当生成被创建图片CP’或CP时，图像生成电路202可以监控与被创建图片CP’或CP对应的被放大图片MP和参考目的地的图像的差异量。如果高分辨率图片HRP和被放大图片MP的差异量较小，那么图像生成电路202按照其原样来输出高分辨率图片HRP作为被创建图片CP’或CP。类似地，如果被创建图片CP’和被放大图片MP的差异量较小，那么图像生成电路202可以按照其原样来输出被创建图片CP’作为被创建图片CP。这些情况是诸如在拍摄完全固定的景物时出现的情形。
当被创建图片CP和高分辨率图片HRP的记录时间距离较远时，根据本实施例的图像生成电路202根据与高分辨率图片HRP的记录时间接近的时间所对应的被放大图片MP，顺序地生成中间被创建图片CP’。此外，图像生成电路202使用中间被创建图片CP’执行运动补偿，并且顺序地生成中间被创建图片CP’，以便最终获得高清晰度的被创建图片CP。
[图像数据的记录操作]
下面简要描述根据本实施例的图像处理装置100对于图像数据的记录操作。
首先，操作者向图像处理装置100指令记录操作的开始(S10)。响应于该指令，图像处理装置100开始配置运动图像数据的帧的持续记录(S12)。图像处理装置100通过成像镜头102获取已采集图像(S14)。图像处理装置100通过成像元件104对已采集图像执行光电转换，以便生成模拟信号(S16)。图像处理装置100将该模拟信号输入至A/D转换器112，以便转换为数字信号(S18)。然后，图像处理装置100将数字信号输入至数字信号处理电路114，并且对与这种数字信号对应的图像数据执行诸如白平衡调节和伽玛校正之类的处理(S20)。根据这些处理，图像处理装置100可以累积图像数据，并且形成运动图像数据。
图像处理装置100通过图像密度转换电路126对运动图像数据执行抽取处理(S22)。当执行步骤S22时，获得每一视频信号格式(诸如NTSC(国家电视标准委员会)方法、PAL(逐行倒相)方法或者ISDB(综合服务数字广播)方法)的有效像素的数目。然后，图像处理装置100通过运动图像压缩/解压缩电路124对经历了抽取处理的运动图像数据进行压缩处理（S24），并且在存储单元122中进行记录(S25)。图像处理装置100还以预定的时间间隔来间歇地获取图像数据(静止图像数据)并通过静止图像压缩/解压缩电路134执行压缩处理(S32)，并且在存储单元132中进行存储(S34)。
[图像数据的再现操作]
下面简要描述根据本实施例的图像处理装置100对于图像数据的再现操作。
操作员通过使用图像生成定时控制器106，向图像处理装置100指令再现操作的开始(S50)。响应于该指令，图像处理装置100开始生成具有比运动图像数据更高空间分辨率且未记录静止图像数据的记录时间点的高图像质量图像数据。图像处理装置100读出压缩处理后记录在存储单元122中的运动图像数据(S54),并且通过运动图像压缩/解压缩电路124执行解压缩处理(S56)。然后，图像处理装置100通过图像密度转换电路126来对经历了解压缩处理的运动图像数据执行内插处理(S58)。根据步骤S58，将运动图像数据的每一帧转换为与静止图像数据具有相同像素数目的图像数据。然后将运动图像数据传送至图像生成块140(S60)。
然后，图像处理装置100通过静止图像压缩/解压缩电路134来对记录在存储单元132中的静止图像数据进行读出和解压缩(S72)，并且传送至图像生成块140(S74)。
(图像生成电路202的操作)
现在参考图3，描述图像生成电路202的处理操作。图3是描述图像生成电路202的处理操作的说明性视图。
图3示出高分辨率图片HRP(t)、多个低分辨率图片LRP(t)、LRP(t+h”)、LRP(t+h)、中间被创建图片CP’(t+h”)以及期望的被创建图片CP(t+h)以便对应于拍摄的时间。图3具体地描述了用于生成与时间t+h的低分辨率图片LRP(t+h)对应的被创建图片CP(t+h)的处理操作。
假设高分辨率图片HRP具有水平像素数目N、垂直像素数目M和帧速1/ΔT[fps]。假设低分辨率图片LRP具有水平像素数目n、垂直像素数目m和帧速1/Δt[fps]。假设每一变量满足关系N≥n，M≥m，ΔT≥t。此外，假设变量h满足关系0≤h≤ΔT。
下面参考图3的示例描述用于生成时间t+h的被创建图片CP(t+h)的方法。根据本实施例的图像处理装置100的处理方法不限于此。也可以参考其他时间t+ΔT的高分辨率图片HRP(t+ΔT)(未示出)，生成被创建图片CP(t+h)。在这种情况下，图像处理装置100可以根据景物的运动的量度、速度等，执行用于选择待参考的高分辨率图片HRP的处理。
首先，图像处理装置100通过运动预测单元212，使用低分辨率LRP(t)和LRP(t+h”)执行运动预测。在这种情况下，运动预测单元212放大低分辨率图片LRP(t)和LRP(t+h”)，以便生成被放大图片MP(t)和MP(t+h”)。然后，运动预测单元212将被放大图片MP(t)和MP(t+h”)进行比较，以便检测MP(t)和MP(t+h”)之间的运动矢量MV。该运动预测方法包括块匹配法、相位相关法、光流法（optical flow）等。
然后，图像处理装置100通过运动补偿单元214，使用运动矢量MV和高分辨率图片HRP(t)执行运动补偿。运动补偿单元214使用运动矢量MV来指定与被放大图片MP(t+h”)的参考块对应的高分辨率图片HRP(t)的参考块。运动补偿单元214以预定的比率将该参考块与被放大图片MP(t+h”)的参考块进行组合，并且生成中间被创建图片CP’(t+h”)。
然后，图像处理装置100通过运动预测单元212，使用低分辨率图片LRP(t+h)和LRP(t+h”)执行运动预测。在这种情况下，运动预测单元212对低分辨率图片LRP(t+h)进行放大，以便生成被放大图片MP(t+h)。然后，运动预测单元212将被放大图片MP(t+h”)和MP(t+h)进行比较，以便检测MP(t+h”)和MP(t+h)之间的运动矢量MV。
然后，图像处理装置100通过运动补偿单元214，使用运动矢量MV和中间被创建图片CP’(t+h”)执行运动补偿。运动补偿单元214使用运动矢量MV来指定与被放大图片MP(t+h)的参考块对应的被创建图片CP’(t+h”)的参考块。运动补偿单元214以预定的比率将该参考块与被放大图片MP(t+h)的参考块进行组合，并且生成最终的被创建图片CP(t+h)。
如果被创建图片CP(t+h)和高分辨率图片HRP(t)之间的时间间隔h非常短，那么即使使用这种高分辨率图片HRP(t)执行运动补偿，也几乎不会由于运动预测精度而在被创建图片CP(t+h)中生成噪声。然而，如果时间间隔h很长，那么在高分辨率图片HRP中所包含的高频分量的信息中生成噪声的可能性较高。即，存在这样的可能性：取决于运动预测的精度，运动补偿中所使用的高分辨率图片HRP的参考块和与其对应的被放大图片MP的参考块之间的相关性可能降低。
通常，运动预测的处理使得越精确地执行运动预测，则景物的运动越少，即，从预测源到预测目的地的时间距离越小。因此，相比于在从被放大图片MP(t+h)到被放大图片MP(t)所执行的运动预测中的预测精度，在从被放大图片MP(t+h”)到被放大图片MP(t)所执行的运动预测中的预测精度显然更加令人满意。由此，相比于通过使用从被放大图片MP(t+h)到被放大图片MP(t)的运动预测结果而生成的被创建图片的质量，通过使用从被放大图片MP(t+h”)到被放大图片MP(t)的运动预测结果生成的被创建图片CP’(t+h”)的质量更高。
此外，如图4的示例中所示，当生成被创建图片CP’或CP时，图像生成电路202也可以参考除了位于时间上的后方的图像之外的图像。已经描述了参考位于时间上的后方的图像执行运动预测和运动补偿的示例，但是可以参考位于前方的图像。可以参考前后图像两者。图像生成电路202也可以参考位于时间上的前方或后方的多个图像，生成被创建图片CP’和CP。图像生成电路202也可以以非常精确的时间间隔执行用于顺序地生成中间被创建图片CP’的处理，以便达到最终的被创建图片CP。
在根据本实施例的图像生成电路202中可以作出各种修改。例如，如果高分辨率图片HRP(t+ΔT)存在于时间t+ΔT(h<ΔT)处，那么图像生成电路202将基于高分辨率图片HRP(t+ΔT)从前方运动补偿的被创建图片CP与利用上述方法通过从后方顺序运动补偿的被创建图片CP进行比较，从而选择了更高图像质量的图像。鉴于对于选择等的应用，图像生成电路202可以将预定时间t、t+h”、t+ΔT处的被放大图片MP(t)、MP(t+h”)、MP(t+ΔT)等进行比较，并且监控其差值。
在运动预测中，图像生成电路202可以组合双向预测处理。即，图像生成电路202对多个预测源执行基于运动矢量的运动补偿，并且对运动补偿的像素值进行加权和平均。作为简单的示例，关于预测源像素A和预测源像素B，根据等式(1)得到预测后的像素C。
C=(A+B)/2    (1)
这是采用加权比例相同的平均值的方法。通常，相比于非双向预测，在双向预测中可以降低差分能量(differential energy)。其与诸如MPEG(运动图片专家组)之类的图像压缩技术相关联地被广泛已知。同样在本实施例中，通过组合和使用双向预测来作出提高被创建图片CP的质量的考虑。可以在时间上与H.264等中已知的双向预测技术中相同的方向(正向或反向)上设置两个矢量的预测方向。
在生成被创建图片CP时，将采用两个高分辨率图片HRP(t)和HRP(t+ΔT)的平均并且使用被创建图片CP(t+h)的生成图像的方法视为相对简单的双向预测的方法。这种方法对于景物是固定的并且包含了渐变(fade)的视频是有效的。
如果景物包括运动对象，那么图像生成电路202可以对被放大图片MP(t+h)、MP(t+h”)、MP(t)执行双向预测，并且基于高分辨率图片HRP(t)和HRP(t+ΔT)执行运动补偿。图像生成电路202可以通过使用被放大图片MP(t+h)和MP(t)之间的景物的运动信息、MP(t+h)和MP(t+ΔT)之间的景物的运动信息、或者多个中间生成的被创建图片CP’的高频分量，来提高被创建图片CP(t+h)的图像质量。
此外，如图5中所示，当生成被创建图片CP时，图像生成电路202可以通过基于中间生成的被创建图片CP’和对应于该被创建图片CP的被放大图片MP经运动补偿的图像的差值来确定运动预测的精度，并且在运动预测的精度较低时按照原样将被放大图片P输出，作为被创建图片CP。
(图像处理方法)
现在参考图6描述根据本实施例的图像处理方法。图6是描述根据本实施例的图像生成处理的流程的说明性视图。
首先，运动预测单元212将低分辨率图片LLRP进行放大，以便生成具有与高分辨率图片HRP相同的空间分辨率的被放大图片MP(S202)。然后，将表示参考块的位置的参数b进行初始化(S204)。然后确定参数b是否超过了参数b的最大值b_max(S206)。这里，b_max是帧中所包含的块的数目。
如果b≥b_max，那么图像生成电路202终止图像生成处理。如果b≤b_max，那么运动预测单元212执行从当前帧(MP(t+h”))到关键帧(MP(t))或者从当前帧(MP(t+h))到已经从其生成高分辨率图像的帧(MP(t+h”))的运动预测(S208)。运动预测的参考帧取决于顺序执行的运动预测的参考源帧的位置。然后，图像生成电路202基于预测残留信号的量度来确定运动补偿的执行是否可能(S210)。
如果在步骤S210中确定运动补偿的执行是不可能的，那么运动补偿单元214将步骤S202的被放大图片MP(t+h)输出作为被创建图片CP(t+h)(S216)。如果在步骤S210中确定运动补偿的执行是可能的，那么运动补偿单元214使用与关键帧对应的高分辨率图片HRP(t)和被放大图片MP(t+h)，执行差分图像(differential image)确定(关于“D>Th”或“D≤Th”的确定：见图5)，并且确定运动补偿的执行是否是可能的(S212)。
如果在步骤S212中确定运动补偿的执行是可能的，那么运动补偿单元214使用高分辨率图像HRP(t)或者被创建图片CP’(t+h”)执行运动补偿(S214)。在这种情况下，运动补偿单元214使用从当前帧到步骤S208中所获得的关键帧的运动矢量、单元块大小、参考帧信息等。如果在步骤S212中确定运动补偿的执行是不可能的，运动补偿单元214将被放大图片MP(t+h)输出，作为被创建图片CP(t+h)(S216)。
然后，图像生成电路202将参数b加1(S218)，并且再次执行从步骤S206起的处理。图像生成电路202顺序地执行运动补偿，但是在运动补偿期间执行差分图像确定的同时来确定运动补偿的执行是否是可能的。由此，图像生成电路202可以抑制由于运动补偿在被创建图片CP(t+h)中生成噪声。
可以使用下面所述的信息处理设备，通过预定的程序来实现图像处理装置100的每一配置元件所实现的功能。
[硬件配置]
可以由具有图7中所示的硬件配置的信息处理设备来实现图像处理装置100的功能。图7是示出能够实现图像处理装置100的每一配置元件的功能的信息处理设备的硬件配置示例的说明性视图。
如图7中所示，该信息处理设备主要是由CPU(中央处理单元)902、ROM(只读存储器)904、RAM(随机存取存储器)906、主机总线908、桥接器910、外部总线912、接口914、输入单元916、输出单元918、存储单元920、驱动器922、连接端口924以及通信单元926来配置。
CPU902用作计算处理设备或者控制设备，其基于记录在ROM904、RAM906、存储单元920或者可移动式记录介质928中的各种类型的程序来控制每一组件的全部或者部分操作。ROM904存储将要由CPU902读取的程序、计算中所使用的数据等。RAM906暂时或永久存储将要由CPU902读取的程序、在执行程序时适当改变的各种参数等。这些组件通过使得能够进行高速数据传输的主机总线908相互连接。主机总线908经由桥接器910连接至数据传输速度相对较低的外部总线912。
输入单元916是诸如鼠标、键盘、触摸板、按钮、开关、控制杆等之类的操作部件。输入单元916可以是能够使用红外光或其他电波来传送控制信号的遥控器部件。输入单元916由用于将使用操作部件输入的信息作为输入信号传送至CPU902的输入控制电路等配置。
输出单元918是能够在视觉上或知觉上向用户通知所获取的信息的设备，诸如包括CRT(阴极射线管)、LCD(液晶显示器)、PDP(等离子显示面板)或ELD(电致发光显示器)在内的显示设备，包括扬声器或耳机在内的音频输出设备，打印机，便携式电话，传真机等。
存储单元920是用于存储各种类型的数据的设备，其由磁存储设备(诸如硬盘驱动器(HDD)、半导体存储设备、光学存储设备、磁光存储设备等)配置。
驱动器922是用于读出可移动式记录介质928(诸如磁盘、光盘、磁光盘或半导体存储器)上所记录的信息或者将信息写入至可移动式记录介质928的设备。可移动式记录介质928可以是DVD介质、蓝光介质、HD-DVD介质、致密闪存(注册商标)、存储棒、SD存储卡(安全数字存储卡)等。可移动式记录介质928也可以是安装有非接触型IC芯片的IC卡(集成电路卡)、电子设备等。
连接端口924是USB(通用串行总线)端口、IEEE1394端口、SCSI(小型计算机系统接口)、RS-232C端口、或者诸如光学音频端子之类的用于连接外部连接设备930的端口。外部连接设备930可以是打印机、便携式音乐播放器、数字相机、数字视频相机、IC记录器等。
通信单元926是用于连接至网络932的通信设备，并且可以是有线或无线LAN(局域网)、蓝牙(注册商标)或WUSB(无线USB)通信卡、光学通信路由器、ADSL(非对称数字用户线)路由器或各种类型的通信调制解调器。连接至通信单元926的网络932由有线或无线连接网络来配置，其包括因特网、内部LAN、红外通信、广播、卫星通信等。
本领域技术人员应理解，取决于设计要求和其他因素，可以发生各种修改、组合、部分组合及变更，只要其在所附权利要求或其等效的范围内即可。
例如，在上述实施例的描述中，已经主要描述了参考反向帧执行运动预测和运动补偿的方法，但是本发明的技术范围不限于此，可以参考正向帧或者正向和反向帧执行运动预测和运动补偿。

Claims (8)

1.一种图像处理装置，包含：
成像单元，用于对图像成像并生成图像信号；
处理单元，用于从所述图像信号生成包括多个帧的第一视频数据以及具有比包括在所述第一视频数据中的所述帧更高的分辨率的第二视频数据；
编码单元，用于压缩从所述处理单元输入的第一和第二视频数据并在存储单元中记录所压缩的数据；
图像生成单元，用于检测从所述存储单元接收到的所述第一视频数据中包括的各帧之间的运动矢量，以及基于从所述存储单元接收到的所述第二视频数据和检测到的所述运动矢量，对位于从所述存储单元接收到的所述第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行运动补偿，并且基于所述经运动补偿的帧和检测到的所述运动矢量，顺序地生成对应于所述预定帧的经运动补偿的图像数据，其中，所述图像生成单元按从对应于接近第二视频数据的时间的帧起依次执行运动补偿。
2.如权利要求1所述的图像处理装置，其中
所述第一视频数据具有比所述第二视频数据更低的空间分辨率，以及
所述第二视频数据具有比所述第一视频数据更高的空间分辨率。
3.如权利要求2所述的图像处理装置，其中，所述存储单元将通过下采样成像的图像信号所获得的图像数据存储为所述第一视频数据。
4.如权利要求1所述的图像处理装置，其中，如果所述第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的差异量小于预定值，那么所述图像生成单元在不对所述第二视频数据执行运动补偿的情况下输出对应于所述预定帧的图像数据。
5.如权利要求1所述的图像处理装置，其中
所述第一视频数据具有比所述第二视频数据更高的时间分辨率，以及
所述第二视频数据具有比所述第一视频数据更低的时间分辨率。
6.如权利要求2所述的图像处理装置，其中，所述存储单元包括，
第一存储单元，用于存储所述第一视频数据，以及
第二存储单元，用于存储所述第二视频数据。
7.如权利要求2所述的图像处理装置，进一步包含：记录单元，用于将所述第一视频数据和所述第二视频数据记录在所述存储单元中。
8.一种图像处理方法，包含以下步骤：
对图像成像并生成图像信号；
从所述图像信号生成包括多个帧的第一视频数据，以及具有比包括在所述第一视频数据中的所述帧更高的分辨率的第二视频数据；
通过压缩第一和第二视频数据并在存储单元中记录所压缩的数据来编码视频数据；
检测从所述存储单元接收到的所述第一视频数据中包括的各帧之间的运动矢量；以及
基于从所述存储单元接收到的所述第二视频数据和在所述运动预测步骤检测到的所述运动矢量，对位于从所述存储单元接收到的所述第一视频数据中包括的预定帧和所述第二视频数据中包括的帧之间的帧执行运动补偿，并且基于所述经运动补偿的帧和在所述运动预测步骤中检测到的所述运动矢量，顺序地生成对应于所述预定帧的经运动补偿的图像数据，其中，按从对应于接近第二视频数据的时间的帧起依次执行运动补偿。
CN201210269974.0A 2007-06-18 2008-05-21 图像处理设备和图像处理方法 Expired - Fee Related CN102833457B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007160590A JP4877090B2 (ja) 2007-06-18 2007-06-18 画像処理装置、画像処理方法、及びプログラム
JP160590/07 2007-06-18
CN2008800205818A CN101690189B (zh) 2007-06-18 2008-05-21 图像处理设备、图像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008800205818A Division CN101690189B (zh) 2007-06-18 2008-05-21 图像处理设备、图像处理方法

Publications (2)

Publication Number Publication Date
CN102833457A true CN102833457A (zh) 2012-12-19
CN102833457B CN102833457B (zh) 2016-05-04

Family

ID=40156131

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201210269974.0A Expired - Fee Related CN102833457B (zh) 2007-06-18 2008-05-21 图像处理设备和图像处理方法
CN2008800205818A Expired - Fee Related CN101690189B (zh) 2007-06-18 2008-05-21 图像处理设备、图像处理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2008800205818A Expired - Fee Related CN101690189B (zh) 2007-06-18 2008-05-21 图像处理设备、图像处理方法

Country Status (8)

Country Link
US (1) US8804832B2 (zh)
EP (1) EP2161928B1 (zh)
JP (1) JP4877090B2 (zh)
KR (1) KR20100021574A (zh)
CN (2) CN102833457B (zh)
BR (1) BRPI0813400A2 (zh)
RU (2) RU2506713C2 (zh)
WO (1) WO2008155972A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527741A (zh) * 2018-01-29 2020-08-11 索尼半导体解决方案公司 图像捕获装置和控制图像捕获元件的方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008134014A2 (en) * 2007-04-25 2008-11-06 David Chaum Video copy prevention systems with interaction and compression
RU2494568C2 (ru) * 2008-07-25 2013-09-27 Сони Корпорейшн Способ и устройство обработки изображения
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
CN102160395A (zh) * 2008-09-26 2011-08-17 日本电气株式会社 服务器装置、通信系统、通信方法及程序
JP5146335B2 (ja) * 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
KR20110042980A (ko) * 2009-10-20 2011-04-27 삼성전자주식회사 반복 처리를 통해 화질을 개선하는 디스플레이 장치 및 이에 적용되는 영상 처리 방법
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
US20110243442A1 (en) * 2010-03-31 2011-10-06 Agrawal Amit K Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
KR101512255B1 (ko) * 2010-12-17 2015-04-14 후지쯔 가부시끼가이샤 입체시 동화상 생성 장치 및 입체시 동화상 생성 방법
CN102821241B (zh) * 2011-06-10 2015-06-03 华晶科技股份有限公司 利用对象移动趋势驱动快门的装置及方法
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
GB2509704B (en) * 2013-01-04 2016-06-01 Canon Kk Method and device for processing prediction information for encoding or decoding at least part of an image
JP6415462B2 (ja) * 2013-03-15 2018-10-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 画像データから呼吸ボリューム信号を決定する装置及び方法
CN104869381B (zh) * 2014-02-25 2017-07-25 炬芯（珠海）科技有限公司 一种图像处理系统、方法及装置
US20150262380A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Adaptive resolution in optical flow computations for an image processing system
CN106331722B (zh) * 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN105704403B (zh) * 2016-01-18 2019-04-23 深圳市金立通信设备有限公司 一种图像处理的方法及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1014305B1 (en) * 1998-12-21 2004-09-29 Sharp Kabushiki Kaisha Resolution improvement from multiple images of a scene containing motion at fractional pixel values
EP1542161A1 (en) * 2003-12-10 2005-06-15 Sony Corporation Image processing method and apparatus, and program
JP2006115475A (ja) * 2004-09-15 2006-04-27 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH066760A (ja) * 1992-06-22 1994-01-14 Canon Inc 画像情報再生装置
JP3404803B2 (ja) 1993-06-18 2003-05-12 松下電器産業株式会社 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法
KR100215586B1 (ko) 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP3240339B2 (ja) * 1993-11-16 2001-12-17 コニカ株式会社 画像撮影装置及び画像処理装置
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
JP3631804B2 (ja) 1995-04-26 2005-03-23 富士写真フイルム株式会社 画像データ記録装置および方法
RU2201654C2 (ru) * 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
JP4244394B2 (ja) * 1998-02-17 2009-03-25 富士ゼロックス株式会社 多地点会議システム
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6907075B2 (en) * 2000-06-30 2005-06-14 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
KR100783396B1 (ko) 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US7949047B2 (en) * 2003-03-17 2011-05-24 Qualcomm Incorporated System and method for partial intraframe encoding for wireless multimedia transmission
JP4193552B2 (ja) * 2003-04-04 2008-12-10 ソニー株式会社 画像データ記録再生装置及び方法
JP4288992B2 (ja) 2003-04-04 2009-07-01 ソニー株式会社 撮像装置及び方法
KR100782829B1 (ko) 2003-06-10 2007-12-06 렌슬러 폴리테크닉 인스티튜트 움직임 보상 시간 필터링에서 ｉ-블록들을 처리하는 방법
US7512180B2 (en) * 2003-06-25 2009-03-31 Microsoft Corporation Hierarchical data compression system and method for coding video data
TWI255146B (en) 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
JP4453976B2 (ja) * 2004-03-30 2010-04-21 正彦 谷内田 画像生成装置、画像データ列生成システム、及び画像伝送システム
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
JP3934151B2 (ja) * 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
JP2007096412A (ja) * 2005-09-27 2007-04-12 Victor Co Of Japan Ltd 動画撮影装置及び動画送受信システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1014305B1 (en) * 1998-12-21 2004-09-29 Sharp Kabushiki Kaisha Resolution improvement from multiple images of a scene containing motion at fractional pixel values
EP1542161A1 (en) * 2003-12-10 2005-06-15 Sony Corporation Image processing method and apparatus, and program
JP2006115475A (ja) * 2004-09-15 2006-04-27 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527741A (zh) * 2018-01-29 2020-08-11 索尼半导体解决方案公司 图像捕获装置和控制图像捕获元件的方法

Also Published As

Publication number Publication date
RU2506713C2 (ru) 2014-02-10
EP2161928A1 (en) 2010-03-10
CN102833457B (zh) 2016-05-04
JP2008312162A (ja) 2008-12-25
US8804832B2 (en) 2014-08-12
RU2446616C2 (ru) 2012-03-27
CN101690189B (zh) 2012-10-10
KR20100021574A (ko) 2010-02-25
RU2009147046A (ru) 2011-07-10
EP2161928B1 (en) 2013-12-04
WO2008155972A1 (ja) 2008-12-24
EP2161928A4 (en) 2011-01-26
US20100118963A1 (en) 2010-05-13
JP4877090B2 (ja) 2012-02-15
BRPI0813400A2 (pt) 2014-12-30
CN101690189A (zh) 2010-03-31
RU2011141290A (ru) 2013-04-20

Similar Documents

Publication Publication Date Title
CN101690189B (zh) 图像处理设备、图像处理方法
CN101682717B (zh) 图像处理装置、图像处理方法和程序
CN102045578B (zh) 图像处理设备和图像处理方法
JP2005287029A (ja) データを動的に処理する方法及びデジタルカメラ
CN105144700A (zh) 图像处理设备和图像处理方法
CN105052126A (zh) 摄像设备和摄像设备的控制方法
KR101000580B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 기록 매체
WO2009084223A1 (ja) 画像記録装置および画像再生装置
JPWO2018173873A1 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
US7649552B2 (en) Video signal processing apparatus
KR100972764B1 (ko) 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체
JP2005159830A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP4235209B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
CN1964460A (zh) 记录和重放设备及方法、记录设备和方法、重放设备和方法及程序
JP6316640B2 (ja) 映像記録装置、映像再生装置及び映像記録プログラム
JP2008035552A (ja) 撮像装置および撮像方法
JP2011139289A (ja) 画像記録制御装置、画像記録制御方法および撮像装置
JP2007019567A (ja) 画像記録再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160504

Termination date: 20200521