CN100592778C - 记录和重放设备及方法、记录设备和重放设备及方法 - Google Patents
记录和重放设备及方法、记录设备和重放设备及方法 Download PDFInfo
- Publication number
- CN100592778C CN100592778C CN200610143979A CN200610143979A CN100592778C CN 100592778 C CN100592778 C CN 100592778C CN 200610143979 A CN200610143979 A CN 200610143979A CN 200610143979 A CN200610143979 A CN 200610143979A CN 100592778 C CN100592778 C CN 100592778C
- Authority
- CN
- China
- Prior art keywords
- image
- kinematic parameter
- recording medium
- parameter
- difference information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 136
- 230000033001 locomotion Effects 0.000 claims abstract description 131
- 239000013598 vector Substances 0.000 claims description 97
- 230000006835 compression Effects 0.000 claims description 42
- 238000007906 compression Methods 0.000 claims description 42
- 230000007704 transition Effects 0.000 claims description 36
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 12
- 230000006837 decompression Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 5
- 230000000750 progressive effect Effects 0.000 claims description 4
- 239000003638 chemical reducing agent Substances 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
本发明涉及记录和重放设备及方法、记录设备和方法、重放设备和方法及程序,其中所述记录和重放设备包括:第一获得单元,配置成从第一图像获得有关运动的一个或多个运动参数;转换器,配置成将第一图像转换成由比第一图像少的数据量组成的第二图像;记录控制器,配置成将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关;读取控制器,配置成从记录介质读取运动参数信息和第二图像;以及图像处理器,配置成使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
Description
相交申请的交叉引用
本发明包含与2005年11月7日在日本专利局提交的日本专利申请JP2005-322405有关的主题,其全部内容在此引入以供参考。
技术领域
本发明涉及记录和重放设备、以及记录和重放方法、记录设备和记录方法、重放设备和重放方法、以及程序。更具体地说,本发明涉及例如记录和重放设备及记录和重放方法、记录设备和记录方法、重放设备和重放方法、以及程序,通过它们,预先获得高精确运动参数以便运动参数能用于各种图像处理。
背景技术
在记录和重放设备,诸如硬盘录像机,记录例如图像以及播放所录制的图像,在一些情况下,在待记录的图像上执行处理以便节省硬盘的记录容量。
更具体地说,例如,通过抽取待录制的图像帧或抽取图像的每一帧的像素,来降低图像的数据量。当播放图像时,由减少的数据量组成的图像获得有关运动的运动参数,诸如运动矢量,以及该运动参数用于图像处理,诸如噪声降低。
在例如日本未审专利申请公开号No.8-149480中,描述了获得作为图像的运动参数的运动矢量的方法。
发明内容
当从由相对少量的数据组成的图像获得运动参数时,与从由相对大量数据组成的图像获得运动参数的情形相比,降低运动参数的精度,以致在后续图像处理中,抑制适当处理。
期望高精度运动参数能用于图像处理。
根据本发明的第一实施例,提供一种记录和重放设备,用于将图像记录在记录介质上,以及从记录介质播放图像。该记录和重放设备包括:第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;转换装置,用于将第一图像转换成由比第一图像少的数据量组成的第二图像;记录控制装置,用于将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关;读取控制装置,用于从记录介质读取运动参数信息和第二图像;以及图像处理装置,用于使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
通过第一获得装置获得的运动参数可以包括运动矢量、表示亮度或颜色信号中的变化程度的等级变化、表示放大或缩小程度的变焦比、表示旋转度的旋转率、表示频带变化程度的频带变化,以及表示焦点的变化程度的焦点变化中的一个或多个参数。
转换装置可以通过抽取第一图像的帧,或抽取第一图像的每一帧的像素,将第一图像转换成由更少数据量组成的第二图像。
图像处理装置可以将帧内插、上变换、Y/C分离、降噪、对象提取和I/P(隔行/逐行)转换中的一个或多个执行为图像处理。
根据第一实施例的记录和重放设备可以进一步包括第二获得装置,用于从第二图像获得一个或多个运动参数;差值信息获得装置,用于获得有关第一图像的运动参数和第二图像的运动参数间的一个或多个差值的差值信息;以及重构装置,用于重构第一图像的运动参数。在这种情况下,记录控制装置能将差值信息记录在记录介质上,作为运动参数信息;以及重构装置能由差值信息和第二图像的运动参数,重构第一图像的运动参数,从记录介质读取差值信息作为运动参数信息,以及从由记录介质读取的第二图像获得第二图像的运动参数。
当用于在播放图像的重放设备中执行图像处理的图像处理装置在从记录介质读取的第二图像上执行图像处理时,差值信息获得装置可以获得第一图像的运动参数中,仅与用于由图像处理装置执行的图像处理的一个或多个运动参数有关的差值信息。
根据第一实施例的记录和重放设备可以进一步包括压缩装置,用于使用由第二获得装置获得的运动参数,将第二图像压缩成压缩数据;以及解压缩装置,用于将压缩数据解压缩成第二图像。在这种情况下,记录控制装置能将第二图像的压缩数据和差值信息记录在记录介质上,以及记录控制装置能从记录介质读取压缩数据和差值信息。
同时,根据第一实施例的记录和重放设备可以进一步包括压缩装置,用于使用由第一获得装置获得的运动参数,将第二图像压缩成压缩数据;解压缩装置,用于将压缩数据解压缩成第二图像;以及第三获得装置,用于从由解压缩装置解压缩的第二图像,获得一个或多个运动参数。在这种情况下,记录控制装置能将第二图像的压缩数据和差值信息记录在记录介质上,记录控制装置能从记录介质读取压缩数据和差值信息;以及重构装置使用差值信息和第二图像的运动参数,重构第一图像的运动参数,第二图像的运动参数由第三获得装置获得。
同时,根据本发明的第一实施例,提供一种记录和重放设备的记录和重放方法,用于将图像记录在记录介质上,以及从记录介质播放图像,以及一种允许计算机执行记录和重放处理的程序,用于将图像记录在记录介质上,以及从记录介质播放图像。该记录和重放方法或程序包括步骤:从第一图像获得有关运动的一个或多个运动参数;将第一图像转换成由比第一图像少的数据量组成的第二图像;将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关;从记录介质读取运动参数信息和第二图像;以及使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
通过根据如上的第一实施例的记录和重放设备、记录和重放方法或程序,从第一图像获得有关运动的一个或多个运动参数,将第一图像转换成由比第一图像少的数据量组成的第二图像;将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关。因此,从记录介质读取运动参数信息和第二图像,使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
根据本发明的第二实施例,提供一种记录设备,用于将图像记录在记录介质上。记录设备包括第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;转换装置,用于将第一图像转换成由比第一图像少的数据量组成的第二图像;记录控制装置,用于将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关。
根据第二实施例的记录设备可以进一步包括传输控制装置,用于将在记录介质上记录的运动参数信息和第二图像传送到用于播放图像的另一设备。
由第一获得装置获得的运动参数可以包括运动矢量、表示亮度或颜色信号中的变化程度的等级变化、表示放大或缩小程度的变焦比、表示旋转度的旋转率、表示频带变化程度的频带变化,以及表示焦点的变化程度的焦点变化中的一个或多个参数。
转换装置可以通过抽取第一图像的帧,或抽取第一图像的每一帧的像素,将第一图像转换成由更少数据量组成的第二图像。
根据第二实施例的记录设备可以进一步包括第二获得装置,用于从第二图像获得一个或多个运动参数;以及差值信息获得装置,用于获得有关第一图像的运动参数和第二图像的运动参数间的一个或多个差值的差值信息。在这种情况下,记录控制装置能将差值信息记录在记录介质上,作为运动参数信息。
当用于在用于播放图像的重放设备中执行图像处理的图像处理装置在从记录介质读取的第二图像上执行图像处理时,差值信息获得装置可以获得第一图像的运动参数中,仅与用于图像处理装置执行的图像处理的一个或多个运动参数有关的差值信息。
根据第二实施例的记录设备可以进一步包括压缩装置,用于使用由第二获得装置获得的运动参数,将第二图像压缩成压缩数据。在这种情况下,记录控制装置将第二图像的压缩数据和差值信息记录在记录介质上。
同时,根据第二实施例的记录设备可以进一步包括压缩装置,用于使用由第一获得装置获得的运动参数,将第二图像压缩成压缩数据。在这种情况下,记录控制装置将第二图像的压缩数据和差值信息记录在记录介质上。
同时,根据本发明的第二实施例,提供一种记录设备的记录方法,用于将图像记录在记录介质上,或一种用于允许计算机执行用于将图像记录在记录介质上的记录处理的程序,该记录方法或程序包括步骤:从第一图像获得有关运动的一个或多个运动参数;将第一图像转换成由比第一图像少的数据量组成的第二图像;以及将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关。
通过根据如上的第二实施例的记录设备、记录方法或程序,从第一图像获得有关运动的一个或多个运动参数;将第一图像转换成由比第一图像少的数据量组成的第二图像。然后,以及将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关。
根据本发明的第三实施例,提供一种重放设备,用于播放图像。重放设备包括读取控制装置,用于从其上已经记录运动参数信息和第二图像的记录介质,读取运动参数信息和第二图像,运动参数信息与第一图像的一个或多个运动参数有关,以及通过减少第一图像的数据量,获得第二图像;以及图像处理装置,用于使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
根据第三实施例的重放设备可以进一步包括接收控制装置,用于接收从另一设备传送的运动参数信息和第二图像。在这种情况下,能由接收控制装置接收的运动参数信息和第二图像记录在记录介质上。
图像处理装置可以将帧内插、上变换、Y/C分离、降噪、对象提取和I/P转换中的一个或多个执行为图像处理。
根据第三实施例的重放设备可以进一步包括重构装置,用于重构第一图像的运动参数。在这种情况下,当将有关第一图像的运动参数和第二图像的一个或多个运动参数间的一个或多个差值的差值信息记录在记录介质上,作为运动参数信息时,重构装置能由差值信息和第二图像的运动参数,重构第一图像的运动参数,从记录介质读取差值信息,作为运动参数信息,以及第二图像的运动参数从由记录介质读取的第二图像获得。
根据第三实施例的重放设备可以进一步包括解压缩装置,用于将第二图像的压缩数据解压缩成第二图像,通过使用第二图像的运动参数,压缩第二图像,获得第二图像的压缩数据,并将其记录在记录介质上。
根据第三实施例的重放设备可以进一步包括解压缩装置,用于将第二图像的压缩数据解压缩成第二图像,通过使用第一图像的运动参数,压缩第二图像获得压缩数据并将其记录在记录介质上;以及获得装置,用于从由解压缩装置解压缩的第二图像,获得一个或多个运动参数。在这种情况下,重构装置能使用差值信息和第二图像的运动参数,重构第一图像的运动参数,通过获得装置,获得第二图像的运动参数。
同时,根据本发明的第三实施例,提供一种播放图像的重放设备的重放方法,以及一种允许计算机执行用于播放图像的重放处理的程序,该重放方法或程序包括步骤:从其上已经记录第二图像和运动参数信息的记录介质,读取第二图像和运动参数信息,运动参数信息与第一图像的一个或多个运动参数有关,以及通过减少第一图像的数据量,获得第二图像;以及使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
通过根据如上第三实施例的重放设备、重放方法或程序,从其上已经记录第二图像和运动参数信息的记录介质,读取第二图像和运动参数信息,运动参数信息与第一图像的一个或多个运动参数有关,以及通过减少第一图像的数据量,获得第二图像。因此,使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
根据本发明的这些实施例,可能使用高精度的运动参数用于图像处理。
附图说明
图1是表示根据本发明的实施例的记录和重放系统的示例性结构的框图;
图2是表示图1所示的记录控制器的示例性结构的框图;
图3是表示在图2所示的记录控制器中执行的处理的流程图;
图4是表示图1所示的重放控制器的示例性结构的框图;
图5是表示在图4所示的重放控制器中执行的处理的流程图;
图6是表示图1所示的记录控制器的另一示例性结构的框图;
图7是用于说明在图6所示的MPd差值信息获得单元中执行的处理的例子的第一图;
图8是用于说明在图6所示的MPd差值信息获得单元中执行的处理的例子的第二图;
图9是用于说明在图6所示的MPd差值信息获得单元中的执行的处理的例子的第三图;
图10是表示在图6所示的记录控制器中执行的处理的流程图;
图11是表示图1中所示的重放控制器的另一示例性结构的框图;
图12是表示在图11所示的重放控制器中执行的处理的流程图;
图13是表示图1中所示的记录控制器的另一示例性结构的框图;
图14是用于说明在图13所示的MPd差值信息获得单元中执行的处理的例子的图;
图15是表示在图13中所示的记录控制器中执行的处理的流程图;
图16是表示图1中所示的重放控制器的另一示例性结构的框图;
图17是表示在图16所示的重放控制器中执行的处理的流程图;
图18是表示根据本发明的另一实施例的记录和重放系统的示例性结构的框图;以及
图19是表示根据本发明的实施例的计算机的示例性结构的图。
具体实施方式
现在,将描述本发明的实施例。本发明和在该说明书中所述或图中所示的实施例的特征间的对应关系如下。该说明书用来确保在该说明书中描述或在图中示出支持本发明的实施例。因此,即使在该说明书中所述或图中所示的实施例在此未描述或示为对应于本发明的某些特征,但并不表示该实施例不对应于那些特征。相反,即使实施例在此描述或示为对应于某些特征,并不表示该实施例不对应于其他特征。
根据本发明的第一实施例的记录和重放设备(例如图1中所示的记录和重放设备11)是用于在记录介质(例如图1所示的HDD14)上记录图像以及从该记录介质播放图像的记录和重放设备。记录和重放设备包括第一获得装置(例如图2所示的MP1获得单元22),用于从第一图像获得有关运动的一个或多个运动参数;转换装置(例如图2所示的抽取器23),用于将第一图像转换转换成由比第一图像更少数据量组成的第二图像;记录控制装置(例如,图2所示的输入/输出接口21),用于在记录介质上记录运动参数信息和第二图像,运动参数信息与第一图像的运动参数有关;读取控制装置(例如图4所示的输入/输出接口41),用于从记录介质读取运动参数信息和第二图像;以及图像处理装置(例如图4所示的图像处理器43),用于使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息获得第一图像的运动参数。
根据本发明的第一实施例的记录和重放设备可以进一步包括第二获得装置(例如图13所示的MP2获得单元103),用于从第二图像获得一个或多个运动参数;差值信息获得装置(例如图13所示的MPd差值信息获得单元104),用于获得有关第一图像的运动参数和第二图像的运动参数间的一个或多个差值的差值信息;以及重构装置(例如图16所示的MP1重构器125),用于重构第一图像的运动参数。在这种情况下,记录控制装置能在记录介质上记录差值信息,作为运动参数信息,以及重构装置能由差值信息和第二图像的运动参数,重构第一图像的运动参数,从记录介质读取差值信息,作为运动参数信息,以及从记录介质读取的第二图像获得第二图像的运动参数。
根据第一实施例的记录和重放设备可以进一步包括压缩装置(例如图6所示的压缩器55),用于使用由第二获得装置获得的运动参数,将第二图像压缩成压缩数据;以及解压缩装置(例如图11所示的解压缩器83),用于将压缩数据解压缩成第二图像。在这种情况下,记录控制装置能将第二图像的压缩数据和差值信息记录在记录介质上,以及读取控制装置能从记录介质读取压缩数据和差值信息。
同时,根据第一实施例的记录和重放设备可以进一步包括压缩装置(例如图13所示的压缩器105),用于使用由第一获得装置获得的运动参数,将第二图像压缩成压缩数据;解压缩装置(例如图16所示的解压缩器123),用于将压缩数据解压缩成第二图像;以及第三获得装置(例如图16所示的MP2获得单元124),用于从由解压缩装置解压缩的第二图像,获得一个或多个运动参数。在这种情况下,记录控制装置能在记录介质上记录第二图像的压缩数据和差值信息,记录控制装置能从记录介质读取压缩数据和差值信息,以及重构装置能使用差值信息和第二图像的运动参数,重构第一图像的运动参数,通过第三获得装置获得第二图像的运动参数。
根据本发明的第一实施例的记录和重放方法或程序是用于将图像记录在记录介质上以及从记录介质播放图像的记录和重放设备的记录和重放方法,或用于允许计算机执行用于将图像记录在记录介质上以及从记录介质播放图像的记录和重放处理的程序。记录和重放方法或程序包括步骤:从第一图像获得有关运动的一个或多个运动参数(例如图3所示的步骤S11);将第一图像转换成由比第一图像少的数据量组成的第二图像(例如图3所示的步骤S12);将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关(例如图3所示的步骤S14);从记录介质读取运动参数信息和第二图像(例如图5所示的步骤S21),以及使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从记录介质读取的运动参数获得第一图像的运动参数(例如图5所示的步骤S23)。
根据本发明的第二实施例的记录设备(例如图18所示的记录设备141)是用于将图像记录在记录介质(例如图18所示的HDD144)上的记录设备。记录设备包括第一获得装置(例如图2所示的MP1获得单元22),用于从第一图像获得有关运动的一个或多个运动参数;转换装置(例如图2所示的抽取器23),用于将第一图像转换成由比第一图像少的数据量组成的第二图像;以及记录控制装置(例如图2所示的输入/输出接口21),用于将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关。
根据第二实施例的记录设备可以进一步包括传输控制装置(例如,图18所示的传输控制器145),用于将在记录介质上记录的运动参数信息和第二图像传送到另一设备(例如图18所示的重放设备151),用于播放图像。
根据本发明的第二实施例的记录设备可以进一步包括第二获得装置(例如,图13所示的MP2获得单元103),用于从第二图像获得一个或多个运动参数;以及差值信息获得装置(例如图13所示的MPd差值信息获得单元104),用于获得有关第一图像的运动参数和第二图像的运动参数间的一个或多个差值的差值信息。在这种情况下,记录控制装置能将差值信息记录在记录介质上,作为运动参数信息。
根据本发明的第二实施例的记录设备可以进一步包括压缩装置(例如图6所示的压缩器55),用于使用由第二获得装置获得的运动参数,将第二图像压缩成压缩数据。在这种情况下,记录控制装置能将第二图像的压缩数据和差值信息记录在记录介质上。
同时,根据本发明的第二实施例的记录设备可以进一步包括压缩装置(例如图13所示的压缩器105),用于使用由第一获得装置获得的运动参数,将第二图像压缩成压缩数据。在这种情况下,记录控制装置能将第二图像的压缩数据和差值信息记录在记录介质上。
根据本发明的第二实施例的记录方法或程序是用于将图像记录在记录介质上的记录设备的记录方法,或用于允许计算机执行将图像记录在记录介质上的记录处理的程序。记录方法或程序包括步骤:从第一图像获得有关运动的一个或多个运动参数(例如图3所示的步骤S11);将第一图像转换成由比第一图像少的数据量组成的第二图像(例如图3所示的步骤S12);以及将运动参数信息和第二图像记录在记录介质上,运动参数信息与第一图像的运动参数有关(例如图3所示的步骤S14)。
根据本发明的第三实施例的重放设备(例如图18所示的重放设备151)是用于播放图像的重放设备。该重放设备包括读取控制装置(例如图4所示的输入/输出接口41),用于从其上已经记录运动参数信息和第二图像的记录介质(例如图18所示的HDD153),读取运动参数信息和第二图像,运动参数信息与第一图像的一个或多个运动参数有关,以及通过减少第一图像的数据量,获得第二图像,以及图像处理装置(例如图4所示的图像处理器43),用于使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从记录介质读取的运动参数信息获得第一图像的运动参数。
根据本发明的第三实施例的重放设备可以进一步包括接收控制装置(例如图18所示的接收控制器152),用于接收从另一设备(例如图18所示的记录设备141)传送的运动参数信息和第二图像。在这种情况下,由接收控制装置接收的运动参数信息和第二图像能记录在记录介质上。
根据本发明的第三实施例的重放设备可以进一步包括重构装置(例如图11所示的MP1重构器84),用于重构第一图像的运动参数。在这种情况下,当将有关第一图像的运动参数和第二图像的一个或多个运动参数间的一个或多个差值的差值信息记录在记录介质上,作为运动参数信息时,重构装置能由差值信息和第二图像的运动参数,重构第一图像的运动参数,从记录介质读取差值信息,作为运动参数信息,以及从记录介质读取的第二图像获得第二图像的运动参数。
根据本发明的第三实施例的重放设备可以进一步包括解压缩装置(例如图11所示的解压缩器83),用于将第二图像的压缩数据解压缩成第二图像,通过使用第二图像的运动参数,压缩第二图像获得第二图像的压缩数据,并将其记录在记录介质上。
根据第三实施例的重放设备可以进一步包括解压缩装置(例如图16所示的解压缩器123),用于将第二图像的压缩数据解压缩成第二图像,通过使用第一图像的运动参数,压缩第二图像,获得压缩数据,并将其记录在记录介质上;以及获得装置(例如图16所示的MP2获得单元124),用于从由解压缩装置解压缩的第二图像,获得一个或多个运动参数。在这种情况下,重构装置能使用差值信息和第二图像的运动参数,重构第一图像的运动参数,通过获得装置获得第二图像的运动参数。
根据本发明的第三实施例的重放方法或程序是用于播放图像的重放设备的重放方法,或用于允许计算机执行用于播放图像的重放处理的程序,重放方法或程序包括步骤:从在其上记录第二图像和运动参数信息的记录介质,读取第二图像和运动参数信息,运动参数信息与第一图像的一个或多个运动参数有关,以及通过减少第一图像的数据量,获得第二图像(例如图5所示的步骤S21);以及使用第一图像的运动参数,在从记录介质读取的第二图像上执行图像处理,从由记录介质读取的运动参数信息,获得第一图像的运动参数(例如图5所示的步骤S23)。
现在,将参考附图,描述本发明的实施例。
图1是表示根据本发明的实施例的记录和重放系统的示例性结构的框图。
记录和重放系统包括记录和重放设备11、HDTV(高清晰电视)摄像机12和监视器16。记录和重放设备11包括记录控制器13、HDD(硬盘驱动)14和重放控制器15。记录和重放设备11能应用于硬盘录像机、连接到所谓的本地网络的文件服务器等等。
HDTV摄像机12捕获由HDTV信号组成的HD(高清晰)图像,以及将HD图像提供给记录控制器13。
记录控制器13将从HD摄像机12提供的HD图像提供给HDD14,以便将HD图像记录在HDD14上。同时,记录控制器13读取在HDD14上记录的HD图像以及执行处理以便获得有关HD图像中的运动的运动参数,以及将HD图像转换成由比HD图像少的数据量组成的图像。然后,记录控制器13将由更少数据量和有关运动参数的运动参数信息组成的图像提供给HDD14,以便将图像和运动参数信息记录在HDD14上。
作为运动参数,例如能使用运动矢量中的一个或多个参数,表示亮度或颜色信号变化度的等级变化、表示放大或缩小度的变焦比、表示旋转度的旋转率、表示频带变化度的频带变化,以及表示焦点变化度的焦点变化。
另外,记录控制器13可以执行用于从由HDTV摄像机12提供的HD图像,直接获得运动参数信息的处理,而不将从HDTV摄像机12提供的HD图像暂时存储在HDD14上,然后,将从HDTV摄像机12提供的HD图像转换成由比HD图像更少数据量组成的图像,以及将由更少数据量组成的图像和运动参数信息记录在HDD14上。
HDD14将从记录控制器13提供的由少量数据组成的图像和运动参数信息记录在内部硬盘上。作为用于记录由少量图像组成的图像和运动参数信息的记录介质,另外,可以使用除硬盘外的盘记录介质、半导体存储器等等。
重放控制器15从HDD14读取由少量数据组成的图像和运动参数信息,以及在使用从运动参数信息获得的运动参数,在由少量数据组成的图像上执行图像处理。此外,重放控制器15将通过图像处理获得的图像提供给监视器16。
可以将从运动参数信息获得的一个或多个参数仅用于一种图像处理或公用于几种图像处理。例如,作为从运动参数信息获得的运动参数的运动矢量,表示亮度变化度的亮度变化等等能公用于图像处理,诸如降噪和上变换。
使用运动参数执行的图像处理的例子包括帧内插、上变换、Y/C分离、降噪、对象提取和I/P(隔行/逐行)变换。
监视器16显示由重放控制器15提供的图像。
图2是表示图1所示的记录控制器13的示例性结构的框图。
输入/输出接口21接收从HDTV摄像机12提供的HD图像,以及将HD图像提供给MP(运动参数)1获得单元22或HDD14。同时。输入/输出接口21从HDD14读取HD图像,以及将HD图像提供给MP1获得单元22。此外,输入/输出接口21接收从复用器24提供的图像和运动参数信息,以及将该图像和运动参数信息提供给HDD14,以便将图像和运动参数信息记录在HDD14上。
为获得高精度运动参数,MP1获得单元22从经输入/输出接口21从HDD144提供的、具有高帧频和高清晰度的HD图像检测(计算),并由此获得运动参数MP1,诸如运动矢量,以及将运动参数MP1提供给复用器24。由于MP1获得单元22使用已经在HDD14上记录的HD图像,检测运动参数MP1,因此可以使用例如大量帧,获得高精度运动参数MP1。
更具体地说,例如,与运动参数MP1中的运动矢量有关,在基于MPEG(运动图像专家组)标准的图像处理的情况下,通过使用两个或三个帧,执行处理,检测运动矢量。与此相反,由于MP1获得单元22由已经在HDD14上记录的HD图像检测运动矢量,与实时检测运动矢量的情形相比,足够时间可用。因此,可以使用四个或以上帧,检测运动矢量。这用来更精确地预测运动趋势,从而获得高精度运动矢量。
除如上所述,经输入/输出接口21,从HDD14提供的HD图像获得运动参数MP1外,MP1获得单元22将HD图像提供给抽取器23。
抽取器23抽取从MP1获得单元22提供的HD图像的帧,或每一帧的像素,将HD图像转换成由少量数据组成的抽取图像,以及将抽取图像提供给复用器24。
更具体地说,例如,抽取器23执行抽取以便每HD图像的n个连续帧,删除N-1帧,N大于或等于二,从而将HD图像转换成具有比HD图像更低帧频的抽取图像。另外,例如,抽取器23执行抽取以便将HD图像的连续帧中的每一帧的N个相邻像素减少到一个像素,M大于或等于2,从而将HD图像转换成具有比HD图像更低分辨率的抽取图像。
另外,抽取器23可以抽取HD图像的帧,以及抽取每一帧的像素,从而将HD图像转换成由少量数据组成的抽取图像。
复用器24复用由MP1获得单元22提供的、作为运动参数信息的运动参数MP1和由抽取器23提供的抽取图像,以及将最终复用数据提供给输入/输出接口21。
输入/输出接口21将通过在复用器24中复用运动参数信息和抽取图像获得的复用数据提供给HDD14,以便将复用数据记录在HDD14上。
MP1获得单元22可以执行用于直接从经输入/输出接口21,从HDTV摄像机12提供的HD图像(而不是记录在HDD14上的HD图像)获得运动参数MP1的处理。
复用器24可以将从MP1获得单元22提供的、作为运动参数信息的运动参数MP1,以及从抽取器23提供的抽取图像直接提供给输入/输出接口21。
在这种情况下,例如,输入/输出接口21将非复用的运动参数信息和由复用器24提供的抽取图像,作为单独的文件存储在HDD14。
接着,将参考图3所示的流程图,描述图2所示的记录控制器13中所执行的处理。
当将HD图像已经提供给记录控制器13,记录控制器13接收HD图像以及将HD图像提供给HDD14,以便将HD图像记录在HDD14上。然后,记录控制器13根据图3所示的流程图,执行处理,例如,当用户在操作单元(未示出)上已经执行操作时或当(实际上)不存在待执行的处理时。
更具体地说,输入/输出接口21从HDD14读取HD图像以及将该HD图像提供给MP1获得单元22。在步骤S11中,MP1获得单元22从由输入/输出接口21提供的HD图像,获得运动参数MP1,以及将该运动参数MP1提供给复用器24。同时,MP1获得单元22将从输入/输出接口21提供的HD图像提供给抽取器23。然后,处理进入步骤S12。
在步骤S12,抽取器23抽取由MP1获得单元22提供的HD图像的帧或其每一帧的像素,从而将HD图像转换成由少量数据组成的抽取图像,以及将该抽取图像提供给复用器24。然后,处理进入步骤S13。
在步骤S13,复用器24将从MP1获得单元22提供的、作为运动参数信息的运动参数MP1以及从抽取器23提供的抽取图像复用,以及将最终复用数据提供给输入/输出接口21。然后,处理进入步骤S14。
在步骤S14,输入/输出接口21将从复用器24提供的复用数据提供给HDD14。然后,结束该处理。
图4是表示图1所示的重放控制器15的示例性结构的框图。
输入/输出接口41响应例如当用户在操作单元(未示出)上已经执行操作时发出的重放指令,从HDD14读取复用数据,以及将该复用数据提供给解复用器42。
解复用器42将从输入/输出接口41提供的复用数据解复用为抽取图像和运动参数信息,以及将该抽取图像和运动参数信息提供给图像处理器43。
图像处理器43使用HD图像的运动参数MP1,即从解复用器42提供的运动参数信息,在由解复用器42提供的抽取图像上执行图像处理,以及将通过图像处理获得的图像提供给监视器16。图像处理器43能通过将高精度运动参数MP1用于图像处理,在抽取图像上执行适当的图像处理,从高质量(高帧频和高清晰度)HD图像获得运动参数MP1。
更具体地说,例如,图像处理器43包括降噪器44和内插器45。对抽取图像的每一帧,降噪器44使用高精度运动参数MP1,确定帧图像是具有大于或等于某一量的运动量的运动图像还是(基本上)无运动的静止图像。此外,当将帧图像已经确定为运动图像时,降噪器44仅使用该帧中的图像,执行降噪。另一方面,当将帧的图像已经确定为静止图像时,降噪器44使用包括主题帧的多个在前和在后帧的图像,执行降噪。此外,降噪器44将降噪后的抽取图像提供给内插器45。降噪器44使用例如运动参数MP1中的运动矢量或表示亮度变化的亮度变化,确定每一帧图像为运动图像还是静止图像。
内插器45使用例如从解复用器42提供的高精度运动参数MP1中的运动矢量,在从降噪器44提供的抽取图像上,在每一帧中执行帧内插或像素内插,从而将抽取图像转换高质量HD图像,以及将该HD图像提供给监视器16。
接着,将参考图5所示的流程图,描述图4所示的重放控制器15中执行的处理。
当将图像重放指令发送到输入/输出接口41时,例如,当用户在操作单元(未示出)上已经执行操作时发出的,在步骤S21中,HDD14从HDD14读取复用数据以及将复用数据提供给解复用器42。然后,处理进入步骤S22。
在步骤S22,解复用器42将从输入/输出接口41提供的复用数据解复用成抽取图像和运动参数MP1,以及将抽取图像和运动参数MP1提供给图像处理器43。然后,处理进入步骤S23。
在步骤S23,使用高精度运动参数MP1,即也从解复用器42提供的运动参数,图像处理器43在从解复用器42提供的抽取图像上执行图像处理,以及将最终图像提供给监视器16。然后结束该处理。
更具体地说,在图像处理器43中,降噪器44使用运动参数MP1,在抽取图像上执行降噪,以及将最终降低图像提供给内插器45。使用运动参数MP1,内插器45在从降噪器44提供的抽取图像上,执行内插,从而将抽取图像转换成HD图像,以及将HD图像提供给监视器16。监视器16显示由该内插器45(图像处理器43)提供的HD图像。
图6是表示图1所示的记录控制器13的另一示例性结构的框图。
在图6中,对应于图2所示的部件由相同的数字表示,以及将适当地省略其描述。
图6所示的记录控制器13包括帧抽取器52,而不是抽取器23,以及新包括MP2获得单元53、MPd差值信息获得单元54和压缩器55。图6所示的记录控制器13的其他构造与图2相同。
帧抽取器52从MP1获得单元22接收HD图像。帧抽取器52抽取从MP1获得单元22提供的HD图像的帧,从而将HD图像转换成由少量数据组成的抽取图像,以及将抽取图像提供给MP2获得单元53。
MP2获得单元53从由帧抽取器52提供的抽取图像,检测(计算),并从而获得有关运动的运动参数MP2,诸如抽取图像的运动矢量,以及将该运动参数MP2提供给MPd差值信息获得单元54。此外,MP2获得单元53将抽取图像和运动参数MP2提供给压缩器55。
MPd差值信息获得单元54从MP1获得单元22接收运动参数MP1,以及还从MP2获得单元53接收运动参数MP2。MPd差值信息获得单元54检测(计算),并从而获得与从MP1获得单元提供的运动参数MP1与从MP2获得单元53获得的运动参数MP2间的一个或多个差值有关的差值信息MPd,以及将差值信息MPd提供给复用器24。
当相同类型的参数包括在运动参数MP1和运动参数MP2中时,如果可以计算参数间的差值,能将参数间的差值用作有关运动参数信息的差值信息MPd。当某一参数存在于运动参数MP1中但相应的参数不存在于运动参数MP2中时,存在于运动参数MP1中的参数能直接用作有关运动参数信息的差值信息MPd。即,有关运动参数的差值信息可以是任一信息,只要使用有关运动参数信息和运动参数MP2的差值信息MPd,可以重构运动参数MP1。
如上所述,当差值信息MPd作为运动参数信息,可以使用运动参数MP1和运动参数MP2中的参数间的差值,或运动参数MP1本身。通常,运动参数MP1和运动参数MP2间的差值具有比运动参数MP1本身更少的数据量。因此,当运动参数MP1和运动参数MP2间的差值记录在HDD14上,作为运动参数信息时,与将运动参数本身记录在HDD14上作为运动参数信息的情形相比,节省HDD14的存储容量。此外,能缩短传送运动参数信息所花的时间。
此外,当将从运动参数MP2的差值用作运动参数MP1中,仅与用在图11所示的图像处理器43中的一个或多个运动参数MP1有关的运动参数信息时,能进一步缩短传送运动参数信息所花的时间,以及能进一步节省HDD14的存储容量。
压缩器55使用也从MP2获得单元53提供的运动参数MP2,例如根据MPEG方案,压缩从MP2获得单元53提供的抽取图像,以及将最终压缩数据提供给复用器24。
在图6中,复用器24将从MPd差值信息获得单元54提供的差值信息MPd视作运动参数信息,复用作为运动参数信息的差值信息MPd和压缩器55提供的抽取图像的压缩数据,将最终复用数据提供给输入/输出接口21。
接着,将参考图7,描述在图6所示的MPd差值信息获得单元54中执行的处理。
例如,假定通过执行1/2抽取以便将HD图像的两个连续帧帧减少为一帧,抽取器52将HD图像转换成抽取图像,以及将运动矢量用作运动参数MP1和MP2。
此外,从开始起计算的HD图像的第n帧将表示为第n帧,以及从第n帧到第n′帧(n′>n)的运动矢量将表示为运动矢量mv(n,n′)。
现在参考图7,有关HD图像的三个连续帧,即第n帧、第(n+1)帧,以及第(n+2)帧,假定通过将HD图像转换成抽取图像的抽取,删除第(n+1)帧,那么对该HD图像,检测到运动矢量mv(n,n+1)和mv(n+1,n+2),以及对抽取图像,检测到运动矢量mv(n,n+2)。
基于抽取图像的运动矢量mv(n,n+2),MPd差值信息计算单元54计算矢量的1/2,即1/2×mv(n,n+2)作为HD图像的运动矢量mv(n,n+1)的预测值mv′(n,n+1)和HD图像的运动矢量mv(n+1,n+2)的预测值mv′(n+1,n+2)。此外,MPd差值信息获得单元54计算运动矢量mv(n,n+1)及其预测值mv′(n,n+1)间的差值mv(n,n+1)-mv′(n,n+1),以及将差值mv(n,n+1)-mv′(n,n+1)设置为运动矢量mv(n,n+1)的差值信息MPd(n,n+1)。同时,MPd差值信息获得单元54计算运动矢量mv(n+1,n+2)和其预测值运动矢量mv′(n+1,n+2)间的差值mv(n+1,n+2)-mv′(n+1,n+2),以及将差值mv(n+1,n+2)-mv′(n+1,n+2)设置成运动矢量mv(n+1,n+2)的差值信息MPd(n+1,n+2)。
由抽取图像的运动矢量mv(n,n+2),能计算HD图像的运动矢量mv(n,n+1)的预测值mv′(n,n+1),以及能由其预测值mv′(n,n+1)和作为差值信息MPd(n,n+1)的差值mv(n,n+1)-mv′(n,n+1),计算HD图像的运动矢量mv(n,n+1)。即,通过将抽取图像的运动矢量mv(n,n+2)与作为差值信息MPd(n,n+1)的差值mv(n,n+1)-mv′(n,n+1)加在一起,能重构(计算)HD图像的运动矢量mv(n,n+1)。
类似地,能使用抽取图像的运动矢量mv(n,n+2)和作为差值信息MPd(n+1,n+2)的差值mv(n+1,n+2)-mv′(n+1,n+2),能重构HD图像的运动矢量mv(n+1,n+2)。
如下文所述的图11所示的MP1重构器84以如上所述的方式,重构HD图像的运动矢量mv(n,n+1)和运动矢量mv(n+1,n+2)。
在图7中,理论上,满足等式mv(n,n+1)+mv(n+1,n+2)=mv(n,n+2)。在这种情况下,除抽取图像的运动矢量mv(n,n+2)外,当HD图像的两个运动矢量mv(n,n+1)和运动矢量mv(n+1,n+2)之一可用时,可以计算另一运动矢量。
因此,即使当差值信息MPd(n,n+1)和差值信息MPd(n+1,n+2)均不可用时,当这些差值信息中的一个可用时,可以使用该差值信息和抽取图像的运动矢量mv(n,n+2),重构与一个差值信息有关的HD图像的运动矢量,以及使用与一个差值信息有关的HD图像的运动矢量和抽取图像的运动矢量mv(n,n+2),进一步重构与另一差值信息有关的HD图像的运动矢量。
根据如上所述,MPd差值信息获得单元54不一定必须将运动矢量mv(n,n+1)的差值信息MPd(n,n+1)和运动矢量mv(n+1,n+2)的差值信息MPd(n+1,n+2)均用作运动参数信息,以及将这些差值信息的一个用作运动参数信息足以。
在这种情况下,与将差值信息MPd(n,n+1)和差值信息MPd(n+1,n+2)均用作运动参数信息的情形相比,减少运动参数信息的数据量。因此,能进一步缩减传送运动参数信息所花的时间,以及能进一步节省HDD14的存储容量。
接着,将参考图8和9,进一步描述在图6所示的MPd差值信息获得单元54中所执行的处理。
同时在图8和9中,与图7类似,仅将运动矢量看作运动参数MP1和运动参数MP2。此外,假定HD图像由11帧组成,以及通过执行抽取以便删除HD图像的偶数帧(在下文中,称为偶数帧),帧抽取器52将HD图像转换成抽取图像。此外,假定检测运动矢量,有关从HD图像的第一帧到第六帧,以每帧一个像素的恒定速度向上移动和从HD图像的第六帧到第十一帧,以每帧两个像素的恒定速度向下移动的运动对象。
图8表示相对于第一帧中的运动对象的位置,HD图像的每一帧中运动对象的位置(在下文中称为HD图像位置)、基于从两个奇数帧的在前一帧到在后一帧的运动矢量预测的HD图像的两个奇数帧(在下文中称为奇数帧)间的每一偶数帧中的运动对象的预测位置(在下文中称为抽取图像的预测内插位置),以及表示HD图像位置和抽取图像的预测内插位置间的误差的内插误差。
更具体地说,在图8中,由黑圈标记表示HD图像位置,用黑色方形标记表示抽取图像的预测内插位置,以及由黑三角形标记表示内插误差。尽管抽取图像的预测内插位置仅存在于偶数帧中,在图8中,为方便起见,对奇数帧,也表示抽取图像的预测内插位置。
作为用于偶数帧的抽取图像的预测内插位置,使用偶数帧前后的奇数帧中的运动对象的位置的平均值。作为用于奇数帧的抽取图像的预测内插位置,直接使用奇数帧的HD图像位置。
图9表示在HD图像中每一帧的顺序的帧号、HD图像位置、表示HD图像的每一帧中的运动对象的运动的运动矢量、如由HD图像的每一帧的运动矢量预测的下一帧中的运动对象的预测位置、表示在抽取图像的每一帧中的运动对象的运动的运动矢量、表示如由抽取图像的每一帧的运动矢量预测的下一帧中的运动对象的位置的抽取图像的预测位置、抽取图像的预测内插位置,以及内插误差。
更具体地说,在图9中,从左起的第一字段(列)表示HD图像的帧的帧号,以及从左起的第二字段表示HD图像的每一帧中的运动对象的位置。从左起的第三字段表示对HD图像的每一帧检测的运动对象的运动矢量,以及从左起的第四字段表示如从HD图像的每一帧中的运动对象的运动矢量预测的HD图像的下一帧中的运动对象的预测位置。
此外,从左起第五字段表示对抽取图像的每一帧检测的运动对象的运动矢量,以及从左起第六字段表示如从抽取图像的每一帧中的运动对象的运动矢量检测的、抽取图像的下一帧中的运动对象的抽取图像的预测位置。从左起的第七字段表示抽取图像的预定内插位置,以及从左起的第八字段(从右起第一字段)表示内插误差。
在图8和9中,如前所述,用于偶数帧的抽取图像的预测内插位置是偶数帧前和后的奇数帧中的运动对象的位置的平均值。因此,当运动对象的速度改变时,由于该改变,产生非零内插误差。
更具体地说,在图8和9中,运动对象的速度在HD图像的第六帧(具有帧号6的帧)中变化,以及由于该变化,出现-1.5的内插误差。
通过MPd差值信息获得单元54获得的差值信息MPd对应于该内插误差。通过使用对应于该内插误差和从抽取图像获得的运动矢量(如从该运动矢量预测的抽取图像的预定内插位置)的差值信息MPd,可以重构(获得)HD图像的精确运动矢量。
接着,将参考图10所示的流程图,描述图6所示的记录控制器13中执行的处理。
当将HD图像已经从HDTV摄像机12提供给记录控制器13时,记录控制器13接收该HD图像以及将该HD图像提供给HDD14,以便将该HD图像记录在HDD14上。然后,记录控制器13根据图10所示的流程图,执行处理,例如,当用户已经在操作单元(未示出)上执行操作或当(基本上)不存在待执行的处理时。
更具体地说,输入/输出接口21从HDD14读取HD图像,以及将该HD图像提供给MP1获得单元22。在步骤S31,MP1获得单元22从由该输入/输出接口21提供的HD图像,获得运动参数MP1,以及将该运动参数MP1提供给MPd差值信息获得单元54。同时,MP1获得单元22将该HD图像提供给帧抽取器52。然后,处理进入步骤S32。
在步骤S32,帧抽取器52执行删除由MP1获得单元22提供的HD图像的偶数帧(或奇数帧)的抽取,然后将最终抽取图像提供给MP2获得单元53。然后处理进入步骤S33。
在步骤S33,MP2获得单元53从由帧抽取器52提供的抽取图像,获得运动参数MP2,以及将该运动参数MP2提供给MPd差值信息获得单元54。同时,MP2获得单元53将抽取图像和运动参数MP2提供给压缩器55。然后,处理进入步骤S34。
在步骤S34,MPd差值信息获得单元54计算,并从而获得有关从MP1获得单元22提供的运动参数MP1和从MP2获得单元53提供的运动参数MP2间的一个或多个差值的差值信息MPd,以及将该差值信息MPd提供给复用器24。然后,处理进入步骤S35。
在步骤S35,压缩器55使用也从MP2获得单元53提供的运动参数MP2,例如,根据MPEG方案,压缩从MP2获得单元53提供的抽取图像,以及将抽取图像的最终压缩数据提供给复用器24。然后,处理进入步骤S36。
在步骤S36,复用器24将从MPd差值信息获得单元54提供的差值信息MPd和从压缩器55提供的抽取图像的压缩数据复用,以及将最终复用数据提供给输入/输出接口21。然后,处理进入步骤S37。
在步骤S37,输入/输出接口21将从复用器24提供的复用数据提供给HDD14,以便将复用数据记录在HDD14上。然后结束该处理。
图11是表示在如图6所示构造记录控制器13的情况下,图1所示的重放控制器15的示例性结构的框图。
在图11中,对应于图4所示的部件由相同的数字表示,以及适当地省略其描述。
图11所示的重放控制器15包括帧内插器,代替图4所示的内插器45,以及新包括解压缩器83和MP1重构器84。图11所示的重放控制器15的其他构造与图4所示相同。
解压缩器83根据对应于由图6所示的压缩器55采用的压缩方案的解压缩方案,解压缩从解复用器42提供的抽取图像的压缩数据,以及将最终抽取图像提供给图像处理器43。
更具体地说,参考图11,已经将通过复用由图6所示的压缩器55获得的抽取图像的压缩数据和由MPd差值信息获得单元54获得的、作为运动参数信息的差值信息MPd而获得的复用数据记录在HDD14上。解复用器42将复用数据解复用为压缩数据和差值信息MPd,以及将压缩数据提供给解压缩器83,以及将差值信息提供给MP1重构器84。解压缩器83将如上所述,从解复用器42提供的压缩数据解压缩成抽取图像,以及将抽取图像提供给图像处理器43。
如前所述,图6所示的压缩器55使用从抽取图像获得的运动参数MP2,例如根据MPEG方案,压缩抽取图像。因此,用于压缩抽取图像的运动参数MP2包括在抽取图像的压缩数据中。解压缩器83使用运动参数MP2,解压缩该压缩数据。接着,解压缩器83将用于解压缩该压缩数据的运动参数MP2提供给MP1重构器84。
MP1重构器84由从解复用器42提供的差值信息MPd和由解复用器83提供的运动参数MP2,重构高精度运动参数MP1,以及将运动参数MP1提供给图像处理器43。
帧内插器85使用例如由MP1重构器84提供的高精度运动参数MP1中的运动参数,执行在(经降噪器44)由解压缩器83提供的抽取图像上内插图像的内插,从而将抽取图像转换成高精度HD图像,以及将HD图像提供给监视器16。
接着,将参考图12所示的流程图,描述图11所示的重放控制器15中执行的处理。
当将图像重放指令发送到输入/输出接口41时,例如,当用户已经在操作单元(未示出)上执行操作时,在步骤S41,输入/输出接口41从HDD14读取复用数据以及将复用数据提供给解复用器42。然后,处理进入步骤S42。
在步骤S42,解复用器42将由输入/输出接口41提供的复用数据解复用为抽取图像的压缩数据和差值信息MPd。此外,解复用器42将抽取图像提供给解压缩器83,以及将差值信息MPd提供给MP1重构器84。然后处理进入步骤S43。
在步骤S43,解复用器83根据对应于由图6所示的压缩器55采用的压缩方案的解压缩方案,解压缩由解复用器42提供的抽取图像的压缩数据,以及将最终抽取图像提供给图像处理器43。此外,解压缩器83将用于解压缩该抽取图像的压缩数据的运动参数MP2提供给MP1重构器84。然后处理进入步骤S44。
在步骤S44,例如,如参考图7所述,MP1重构器84使用由解复用器42提供的差值信息MPd和由解压缩器83提供的运动参数MP2,重构(获得)高精度运动参数MP1,以及将该运动参数MP1提供给图像处理器43。然后,该处理进入步骤S45。
在步骤S45,图像处理器43使用由MP1重构器84提供的运动参数MP1,在由解压缩器83提供的抽取图像上执行图像处理,以及将最终图像提供给监视器16。然后结束该处理。
图13是表示图1所示的记录控制器13的另一示例性结构的框图。
在图13中,由相同的数字表示对应于图2或图6所示的部件,以及适当地省略其描述。
图13所示的记录控制器13包括下变换器102、MP2获得单元103、MPd差值信息获得单元104和压缩器105,代替图6所示的帧抽取器52、MP2获得单元53、MPd差值信息获得单元54和压缩器55。图13所示的记录控制器13的其他结构与图6所示相同。
下变换器102从MP1获得单元22接收HD图像。下变换器102执行删除从MP1获得单元22提供的HD图像的每一帧的像素的抽取,从而将HD图像转换成SD(标准清晰度)图像,其是由少量数据组成的抽取图像,以及将SD图像提供给MP2获得单元103和压缩器105。
MP2获得单元103由从下变换器102提供的SD图像,检测(计算),并从而获得运动参数MP2,以及将运动参数MP2提供给MPd差值信息获得单元104。
MPd差值信息获得单元104从MP2获得单元103接收运动参数MP2,以及从MP1获得单元22接收运动参数MP1。此外,与图6所示的MPd差值信息获得单元54类似,MPd差值信息获得单元104获得有关运动参数MP1和运动参数MP2间的差值的差值信息MPd,仅用于用在图16所示的图像处理器43中的每一运动参数MP1,以及将该差值信息MPd提供给复用器24,作为运动参数信息。
压缩器105从下变换器102接收SD图像,以及从MP1获得单元22接收运动参数MP1。使用由MP1获得单元22提供的运动参数MP1,压缩器105将从下变换器102提供的SD图像压缩成SD图像压缩数据,以及将SD图像压缩数据提供给复用器24。
图14是用于说明在图13所示的MPd差值信息获得单元104中执行的、用于获得差值信息MPd的处理的例子的图。
例如,假定通过将由HD图像的每一帧的2×2像素组成的四像素减少到一个像素的1/4抽取,将HD图像转换成SD图像,其是抽取图像,以及将运动矢量用作运动参数MP1和运动参数MP2。此外,假定例如,对由8×8像素组成的块,检测运动矢量。
由于SD图像的大小(像素数)是HD图像的1/4,由SD图像的8×8像素组成的一块对应于由包括HD图像的8×8像素组成的四块的16×16像素组成的一个宏块。
此外,由SD图像的8×8像素组成的一块中的运动矢量将表示为运动矢量mv(Xn),以及将四块,每一块由8×8像素组成,位于HD图像的相应宏块的左上、右上、左下和右下中的运动矢量分别表示为运动矢量mv(An)、mv(Bn)、mv(Cn)和mv(Dn)。
MPd差值信息获得单元104获得HD图像的运动矢量mv(An)和相应的SD图像的mv(Xn)间的差值mv(An)-mv(Xn),以及将该差值mv(An)-mv(Xn)设置为有关运动矢量mv(An)的差值信息MPd(An)。类似地,MPd差值信息获得单元104获得HD图像的其他运动矢量mv(Bn)、mv(Cn)和mv(Dn)与SD图像的运动矢量mv(Xn)间的差值mv(Bn)-mv(Xn)、mv(Cn)-mv(Xn)和mv(Dn)-mv(Xn),分别作为有关运动矢量mv(Bn)的差值信息MPd(Bn)、有关运动矢量mv(Cn)的差值信息MPd(Cn)以及有关运动矢量mv(Dn)的的差值信息MPd(Dn)。
通过将由相应的SD图像的8×8像素组成的块的运动矢量mv(Xn)与作为差值信息MPd(An)的差值mv(An)-mv(Xn)加到一起,能重构(获得)由HD图像的宏块的左上的8×8像素组成的块的运动矢量mv(An)。
类似地,分别使用SD图像的运动矢量mv(Xn)和作为差值信息MPd的差值mv(Bn)-mv(Xn)、mv(Cn)-mv(Xn)和mv(Dn)-mv(Xn),能重构HD图像的运动矢量mv(Bn)、mv(Cn)和mv(Dn)。
如下所述,图16所示的MP1重构器125使用SD图像的运动矢量mv(Xn)和与该HD图像的运动矢量mv(An)有关的差值信息MPd(An),重构HD图像的运动矢量mv(An),如上所述。类似地,MP1重构器125分别使用SD图像的运动矢量mv(An)和差值信息MPd(Bn)、MPd(Cn)和MPd(Dn),重构HD图像的运动矢量mv(Bn)、运动矢量mv(Cn)和运动矢量mv(Dn)。
接着,将参考图15所示的流程图,描述图13所示的记录控制器13中执行的处理。
当HD图像已经从HDTV摄像机12提供给记录控制器13时,记录控制器13接收该HD图像以及将该HD图像提供给HDD14,以便将该HD图像记录在HDD14上。然后,记录控制器13根据图15所示的流程图,例如当用户已经在操作单元(未示出)上执行操作或当(基本上)不存在待执行的处理时,执行处理。
更具体地说,输入/输出接口21从HDD14读取HD图像以及将该HD图像提供给MP1获得单元22。在步骤S51中,MP1获得单元22从由输入/输出接口21提供的HD图像,获得运动参数MP1,以及将该运动参数MP1提供给MPd差值信息获得单元104和压缩器105。同时,MP1获得单元22将由输入/输出接口21提供的HD图像提供给下变换器102。然后,处理进入步骤S52。
在步骤S52,下变换器102抽取从MP1获得单元22提供的HD图像的每一帧的像素,从而将HD图像转换成SD图像,其是由少量数据组成的抽取图像,以及将SD图像提供给MP2获得单元103和压缩器105。然后,处理进入步骤S53。
在步骤S53,MP2获得单元103从由下变换器102提供的SD图像,获得运动参数MP2,以及将运动参数MP2提供给MPd差值信息获得单元104。然后处理进入步骤S54。
在步骤S54,MPd差值信息获得单元104获得有关从MP1获得单元22提供的运动参数MP1和从MP2获得单元103提供的运动参数MP2间的一个或多个差值有关的差值信息MPd,以及将差值信息MPd提供给复用器24。然后,处理进入步骤S55。
在步骤S55,压缩器105使用从MP1获得单元22提供的运动参数MP1,压缩由下变换器102提供的SD图像,以及将最终SD图像压缩数据提供给复用器24。然后,处理进入步骤S56。
例如,在通过下变换器102中,将HD图像的像素抽取为1/4,已经获得SD图像,以及将作为运动参数MP2的一个运动矢量对应于作为运动参数MP1的四个运动矢量的情况下,如参考图14所述,当压缩器105例如根据MPEG方案,使用HD图像的运动矢量,执行压缩时,将作为对应于作为运动参数MP2的一个运动矢量的运动矢量MP1的四个运动矢量的平均值等等用作HD图像的运动矢量。
在步骤S56中,复用器24复用从MPd差值信息获得单元104提供的、作为运动参数信息的差值信息MPd和从压缩器105提供的SD图像压缩数据,以及将最终复用数据提供给输入/输出接口21。然后处理进入步骤S57。
在步骤S57,输入/输出接口21将从复用器24提供的复用数据提供给HDD14,以便将复用数据记录在HDD14上。然后结束该处理。
图16是表示在如图13所示构造记录控制器13的情况下,图1所示的重放控制器15的示例性结构的框图。
在图16中,用相同的数字表示图11所示相同的部件,以及将适当地省略其描述。
图16所示的重放控制器15包括解压缩器123、MP1重构器125和上变换器126,代替图11所示的解压缩器83、MP1重构器84和帧内插器85,以及新包括MP2获得单元124。图16所示的重放控制器15的其他构造与图11所示相同。
解压缩器123从解复用器42接收SD图像压缩数据。解压缩器123根据对应于由图13所示的压缩器105所采用的压缩方案的解压缩方案,解压缩由解复用器42提供的SD图像压缩数据,以及将最终SD图像提供给图像处理器43和MP2获得单元124。
MP2获得单元124从由解压缩器83提供的SD图像,检测(计算)并从而获得运动参数MP2,以及将运动参数MP2提供给MP1重构器125。
MP1重构器125使用由解复用器42提供的差值信息MPd和由MP2获得单元124提供的运动参数MP2计算,并从而获得高精度运动参数MP1,以及将运动参数MP1提供给图像处理器43。
上变换器126从MP1重构器125接收运动参数MP1,以及(经降噪器44)从解压缩器123接收SD图像。上变换器126使用由MP1重构器125提供的运动参数MP1,在由解压缩器123提供的SD图像上执行图像处理,以便增加像素数,即,执行像素的内插。
接着,将参考图17所示的流程图,描述图16所示的重放控制器15中执行的处理。
当将图像重放指令发送到输入/输出接口41时,例如,当用户已经在操作单元(未示出)上执行操作时,在步骤S61中,输入/输出接口41从HDD14读取复用数据,以及将复用数据提供给解复用器42。然后,处理进入步骤S62。
在步骤S62,解复用器42将由输入/输出接口41提供的复用数据解复用为SD图像压缩数据和差值信息MPd。此外。解复用器42将SD图像压缩数据提供给解压缩器123,以及将差值信息MPd提供给MP1重构器125。然后,处理进入步骤S63。
在步骤S63,解压缩器123根据对应于由图13所示的压缩器105采用的压缩方案的解压缩方案,解压缩由解复用器42提供的SD图像压缩数据,以及将最终SD图像提供给图像处理器43和MP2获得单元124。然后,处理进入步骤S64。
在步骤S64,MP2获得单元124从由解压缩器123提供的SD图像检测(计算),并从而获得运动参数MP2,以及将运动参数MP2提供给MP1重构器125。然后,处理进入步骤S65。
在步骤S65,MP1重构器125使用由解复用器42提供的差值信息MPd和由MP2获得单元124提供的运动参数MP2,重构(获得)高精度运动参数MP1,以及将运动参数MP1提供给图像处理器43。然后,处理进入步骤S66。
在步骤S66,图像处理器43使用由MP1重构器125提供的运动参数MP1,在由解压缩器123提供的SD图像上执行图像处理,以及将最终图像提供给监视器16。然后结束该处理。
图18是表示根据本发明的另一实施例的记录和重放系统的示例性结构的框图。
记录和重放系统包括记录设备141、HDTV摄像机142、重放设备151和监视器155。记录设备141包括记录控制器143、HDD144和传输控制器145。重放设备151包括接收控制器152、HDD153和重放控制器154。
HDTV摄像机142的构造与图1所示的HDTV摄像机12相同。记录控制器143的构造与图1所示的记录控制器13相同。
HDD144记录由记录控制器143提供的复用数据,与图1所示的HDD14类似。
传输控制器145控制从HDD144读取的复用数据经例如互联网、LAN(局域网),或与IEEE(电子和电气工程师协会)1394或USB(通用串行总线)标准兼容的网络,传送到重放设备151。
接收控制器152控制例如接收从记录设备141传送的复用数据,以及将该复用数据传送到HDD153以便将复用数据记录在HDD153上。
HDD153记录从接收控制器152提供的复用数据,与图1所示的HDD14类似。
重放控制器154从HDD153读取在HDD153上记录的复用数据,执行与图1所示的重放控制器15类似的处理,以及将最终图像提供给监视器155。监视器155构造与图1所示的监视器16相同。
在如上所述构造的、图18所示的记录和重放系统中,例如,将HD图像从HDTV摄像机142提供给记录设备141的记录控制器143。记录控制器143在由HDTV摄像机142提供的HD图像上执行处理,与图1所示的记录控制器13类似,以及将最终复用数据传送到HDD144,以便将复用数据记录在HDD144上。传输控制器145读取在HDD144上记录的复用数据,以及经网络等等,将复用数据传送到重放设备151的接收控制器152。
重放设备151的接收控制器152接收从记录设备141传送的复用数据,以及将该复用数据提供给HDD153,以便将该复用数据记录在HDD153上。根据需要,重放控制器154读取在HDD153上记录的复用数据,执行与图1所示的重放控制器15类似的处理,以及将最终图像输出到监视器155。
图19是表示根据程序,执行如上所述的一系列处理的计算机的示例性结构的框图。
CPU(中央处理单元)201根据在ROM(只读存储器)202或存储单元208中存储的程序,执行各种处理。根据需要,RAM(随机存取存储器)203存储由CPU201执行的程序、数据等等。CPU201、ROM202和RAM203经总线204彼此连接。
作为CPU201,可以采用在“Cell tanjou”(Birth of Cell),NikkeiElectronics,Nikkei Business Publications,Inc.,2005年2月28日,页89-117中所述的“Cell”。
CPU201也经总线204连接到输入/输出接口205。输入/输出接口205连接到包括例如键盘、鼠标、麦克风等等的输入单元206,以及包括例如显示器、扬声器等等的输出单元207。CPU201根据从输入单元206输入的指令,执行各种处理。然后,CPU204将处理结果输出到输出单元207。
输入/输出接口205还连接到存储单元208。存储单元208由例如硬盘组成,以及存储单元208存储由CPU201执行的程序和各种数据。通信单元209经网络,诸如互联网或局域网,执行与外部装置通信。
同时,可以经通信单元209获得程序并存储在存储单元208中。
此外,驱动210连接到输入/输出接口205。当可移动介质211安装在其上,诸如磁盘、光盘、磁光盘,或半导体存储,驱动210驱动该可移动介质211以便获得在其上记录的程序、数据等等。根据需要,所获得的程序或数据传送并存储在存储单元208中。
可以由硬件或软件执行上述一系列处理。当由软件执行一系列处理时,从程序记录介质将构成软件的程序安装在嵌入专用硬件的计算机上,或能通过安装在其上的各种程序,执行各种功能的通用计算机等等上。
用于存储安装在计算机上的程序以便能由计算机执行这些程序的程序记录介质是临时或永久存储程序的、例如可移动介质211,为由磁盘(例如柔性盘)、光盘(例如CD-ROM(压缩盘-只读存储器)、DVD(数字通用盘)或磁光盘)、半导体存储器等等形成的封装介质,或ROM202、存储单元208的硬盘等等,如图19所示。根据需要,经作为接口,诸如路由器或调制解调器的通信单元209,或经有线或无线通信介质,诸如局域网、互联网或数字卫星广播,程序可以存储在程序记录介质上。
定义在程序记录介质上存储的程序的步骤可以包括不一定顺序地执行,而是可以并行或单独执行的过程,以及按所述顺序,顺序地执行的过程。
在本说明书中,系统是指多个设备的整体。
本领域的技术人员应理解到根据设计需要和其他因素,可以想到各种改进、组合、子组合和变更,只要它们落附加权利要求或其等效的范围内。
Claims (25)
1.一种记录和重放设备,用于将图像记录在记录介质上,以及从所述记录介质播放所述图像,所述记录和重放设备包括:
第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;
转换装置,用于将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;
记录控制装置,用于将运动参数信息和所述第二图像记录在所述记录介质上,所述运动参数信息与所述第一图像的运动参数有关;
读取控制装置,用于从所述记录介质读取所述运动参数信息和所述第二图像;以及
图像处理装置,用于使用所述第一图像的运动参数,在从所述记录介质读取的第二图像上执行图像处理,从由所述记录介质读取的所述运动参数信息获得所述第一图像的运动参数。
2.如权利要求1所述的记录和重放设备,
其中,由所述第一获得装置获得的运动参数包括运动矢量、表示亮度或颜色信号中的变化程度的等级变化、表示放大或缩小程度的变焦比、表示旋转度的旋转率、表示频带变化程度的频带变化,以及表示焦点的变化程度的焦点变化中的一个或多个参数。
3.如权利要求1所述的记录和重放设备,
其中,所述转换装置通过抽取所述第一图像的帧,或抽取所述第一图像的每一帧的像素,将所述第一图像转换成由更少数据量组成的第二图像。
4.如权利要求1所述的记录和重放设备,
其中,所述图像处理装置将帧内插、上变换、亮度/色度分离、降噪、对象提取和隔行/逐行转换中的一个或多个执行为图像处理。
5.如权利要求1所述的记录和重放设备,进一步包括:
第二获得装置,用于从所述第二图像获得有关运动的一个或多个运动参数;
差值信息获得装置,用于获得有关所述第一图像的运动参数和所述第二图像的运动参数间的一个或多个差值的差值信息;以及
重构装置,用于重构所述第一图像的运动参数;
其中,所述记录控制装置将所述差值信息记录在所述记录介质上,作为所述运动参数信息;以及
其中,所述重构装置由所述差值信息和所述第二图像的运动参数,重构所述第一图像的运动参数,从所述记录介质读取所述差值信息作为运动参数信息,以及从由所述记录介质读取的所述第二图像获得所述第二图像的运动参数。
6.如权利要求5所述的记录和重放设备,
其中,所述差值信息获得装置获得所述第一图像的运动参数中,仅与用于由所述图像处理装置执行的图像处理的一个或多个运动参数有关的差值信息。
7.一种记录和重放设备,用于将图像记录在记录介质上,以及从所述记录介质播放所述图像,所述记录和重放设备包括:
第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;
转换装置,用于将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;
第二获得装置,用于从所述第二图像获得有关运动的一个或多个运动参数;
差值信息获得装置,用于获得有关所述第一图像的运动参数和所述第二图像的运动参数间的一个或多个差值的差值信息;
压缩装置,用于使用由所述第二获得装置获得的运动参数,将所述第二图像压缩成压缩数据;
记录控制装置,用于将所述第二图像的压缩数据和差值信息记录在记录介质上;
读取控制装置,用于从所述记录介质读取压缩数据和差值信息;
解压缩装置,用于将所述压缩数据解压缩成所述第二图像;
重构装置,用于由所述差值信息和第二图像的运动参数,重构所述第一图像的运动参数,所述第二图像的运动参数包括在所述压缩数据中;以及
图像处理装置,用于使用所述第一图像的运动参数,在由解压缩装置提供的所述第二图像上执行图像处理。
8.一种记录和重放设备,用于将图像记录在记录介质上,以及从所述记录介质播放所述图像,所述记录和重放设备包括:
第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;
转换装置,用于将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;
第二获得装置,用于从所述第二图像获得有关运动的一个或多个运动参数;
差值信息获得装置,用于获得有关所述第一图像的运动参数和所述第二图像的运动参数间的一个或多个差值的差值信息;
压缩装置,用于使用由所述第一获得装置获得的运动参数,将所述第二图像压缩成压缩数据;
记录控制装置,用于将所述第二图像的压缩数据和差值信息记录在记录介质上;
读取控制装置,用于从所述记录介质读取压缩数据和差值信息;
解压缩装置,用于将所述压缩数据解压缩成所述第二图像;
第三获得装置,用于从由所述解压缩装置解压缩的第二图像,获得一个或多个运动参数;
重构装置,用于使用所述差值信息和所述第二图像的运动参数,重构所述第一图像的运动参数,所述第二图像的运动参数由所述第三获得装置获得;以及
图像处理装置,用于使用所述第一图像的运动参数,在由解压缩装置提供的所述第二图像上执行图像处理。
9.一种记录和重放设备的记录和重放方法,用于将图像记录在记录介质上,以及从所述记录介质播放所述图像,所述记录和重放方法包括步骤:
从第一图像获得有关运动的一个或多个运动参数;
将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;
将运动参数信息和所述第二图像记录在所述记录介质上,所述运动参数信息与所述第一图像的运动参数有关;
从所述记录介质读取所述运动参数信息和所述第二图像;以及
使用所述第一图像的运动参数,在从所述记录介质读取的第二图像上执行图像处理,从由所述记录介质读取的所述运动参数信息获得所述第一图像的运动参数。
10.一种记录设备,用于将图像记录在记录介质上,所述记录设备包括:
第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;
转换装置,用于将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;以及
记录控制装置,用于将运动参数信息和所述第二图像记录在所述记录介质上,所述运动参数信息与所述第一图像的运动参数有关。
11.如权利要求10所述的记录设备,进一步包括:
传输控制装置,用于将在所述记录介质上记录的所述运动参数信息和所述第二图像传送到用于播放图像的另一设备。
12.如权利要求10所述的记录设备,
其中,由所述第一获得装置获得的运动参数包括运动矢量、表示亮度或颜色信号中的变化程度的等级变化、表示放大或缩小程度的变焦比、表示旋转度的旋转率、表示频带变化程度的频带变化,以及表示焦点的变化程度的焦点变化中的一个或多个参数。
13.如权利要求10所述的记录设备,
其中,所述转换装置通过抽取所述第一图像的帧,或抽取所述第一图像的每一帧的像素,将所述第一图像转换成由更少数据量组成的第二图像。
14.如权利要求10所述的记录设备,进一步包括:
第二获得装置,用于从所述第二图像获得有关运动的一个或多个运动参数;以及
差值信息获得装置,用于获得有关所述第一图像的运动参数和所述第二图像的运动参数间的一个或多个差值的差值信息;
其中,所述记录控制装置将所述差值信息记录在所述记录介质上,作为所述运动参数信息。
15.如权利要求14所述的记录设备,
其中,当用于在用于播放图像的重放设备中执行图像处理的图像处理装置在从所述记录介质读取的第二图像上执行图像处理时,所述差值信息获得装置获得所述第一图像的运动参数中,仅与用于所述图像处理装置执行的图像处理的一个或多个运动参数有关的差值信息。
16.一种记录设备,用于将图像记录在记录介质上,所述记录设备包括:
第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;
转换装置,用于将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;
第二获得装置,用于从所述第二图像获得有关运动的一个或多个运动参数;
差值信息获得装置,用于获得有关所述第一图像的运动参数和所述第二图像的运动参数间的一个或多个差值的差值信息;
压缩装置,用于使用由所述第二获得装置获得的运动参数,将所述第二图像压缩成压缩数据;以及
记录控制装置,用于将所述第二图像的压缩数据和差值信息记录在记录介质上。
17.一种记录设备,用于将图像记录在记录介质上,所述记录设备包括:
第一获得装置,用于从第一图像获得有关运动的一个或多个运动参数;
转换装置,用于将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;以及
第二获得装置,用于从所述第二图像获得有关运动的一个或多个运动参数;
差值信息获得装置,用于获得有关所述第一图像的运动参数和所述第二图像的运动参数间的一个或多个差值的差值信息;
压缩装置,用于使用由所述第一获得装置获得的运动参数,将所述第二图像压缩成压缩数据;以及
记录控制装置,用于将所述第二图像的压缩数据和差值信息记录在记录介质上。
18.一种记录设备的记录方法,用于将图像记录在记录介质上,所述记录方法包括步骤:
从第一图像获得有关运动的一个或多个运动参数;
将所述第一图像转换成由比所述第一图像少的数据量组成的第二图像;以及
将运动参数信息和所述第二图像记录在所述记录介质上,所述运动参数信息与所述第一图像的运动参数有关。
19.一种重放设备,用于播放图像,所述重放设备包括:
读取控制装置,用于从其上已经记录运动参数信息和第二图像的记录介质,读取所述运动参数信息和所述第二图像,所述运动参数信息与第一图像的一个或多个运动参数有关,以及通过减少所述第一图像的数据量,获得所述第二图像;以及
图像处理装置,用于使用所述第一图像的运动参数,在从所述记录介质读取的第二图像上执行图像处理,从由所述记录介质读取的所述运动参数信息获得所述第一图像的运动参数。
20.如权利要求19所述的重放设备,进一步包括:
接收控制装置,用于接收从另一设备传送的所述运动参数信息和所述第二图像,
其中,由所述接收控制装置接收的所述运动参数信息和所述第二图像记录在所述记录介质上。
21.如权利要求19所述的重放设备,
其中,所述图像处理装置将帧内插、上变换、亮度/色度分离、降噪、对象提取和隔行/逐行转换中的一个或多个执行为图像处理。
22.如权利要求19所述的重放设备,进一步包括:
重构装置,用于重构所述第一图像的运动参数;
其中,有关所述第一图像的运动参数和第二图像的一个或多个运动参数间的一个或多个差值的差值信息记录在所述记录介质上,作为运动参数信息;以及
其中,所述重构装置由所述差值信息和第二图像的运动参数,重构所述第一图像的运动参数,从所述记录介质读取所述差值信息,作为所述运动参数信息,以及所述第二图像的运动参数从由所述记录介质读取的第二图像获得。
23.一种重放设备,用于播放图像,所述重放设备包括:
读取控制装置,用于从其上已经记录第二图像的压缩数据和差值信息的记录介质,读取所述第二图像的压缩数据和差值信息,其中,所述差值信息与所述第一图像的运动参数和第二图像的一个或多个运动参数间的一个或多个差值有关,以及通过减少所述第一图像的数据量获得所述第二图像;
解压缩装置,用于将第二图像的压缩数据解压缩成所述第二图像,其中,所述第二图像的压缩数据通过使用所述第二图像的运动参数压缩所述第二图像获得;
重构装置,用于由所述差值信息和第二图像的运动参数,重构所述第一图像的运动参数,所述第二图像的运动参数包括在所述压缩数据中;以及
图像处理装置,用于使用所述第一图像的运动参数,在由解压缩装置提供的所述第二图像上执行图像处理。
24.一种重放设备,用于播放图像,所述重放设备包括:
读取控制装置,用于从其上已经记录第二图像的压缩数据和差值信息的记录介质,读取所述第二图像的压缩数据和差值信息,其中,所述差值信息与所述第一图像的运动参数和第二图像的一个或多个运动参数间的一个或多个差值有关,以及通过减少所述第一图像的数据量获得所述第二图像;
解压缩装置,用于将第二图像的压缩数据解压缩成第二图像,其中,所述压缩数据通过使用所述第一图像的运动参数压缩所述第二图像获得;
获得装置,用于从由所述解压缩装置解压缩的第二图像,获得一个或多个运动参数;
重构装置,用于使用所述差值信息和所述第二图像的运动参数,重构所述第一图像的运动参数,通过所述获得装置获得所述第二图像的运动参数;以及
图像处理装置,用于使用所述第一图像的运动参数,在由解压缩装置提供的所述第二图像上执行图像处理。
25.一种重放设备的重放方法,用于播放图像,所述重放方法包括步骤:
从其上已经记录第二图像和运动参数信息的记录介质,读取所述第二图像和所述运动参数信息,所述运动参数信息与第一图像的一个或多个运动参数有关,以及通过减少所述第一图像的数据量,获得所述第二图像;以及
使用所述第一图像的运动参数,在从所述记录介质读取的第二图像上执行图像处理,从由所述记录介质读取的所述运动参数信息获得所述第一图像的运动参数。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005322405A JP4529874B2 (ja) | 2005-11-07 | 2005-11-07 | 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム |
JP2005322405 | 2005-11-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1964460A CN1964460A (zh) | 2007-05-16 |
CN100592778C true CN100592778C (zh) | 2010-02-24 |
Family
ID=37594487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200610143979A Expired - Fee Related CN100592778C (zh) | 2005-11-07 | 2006-11-07 | 记录和重放设备及方法、记录设备和重放设备及方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7983530B2 (zh) |
JP (1) | JP4529874B2 (zh) |
KR (1) | KR20070049074A (zh) |
CN (1) | CN100592778C (zh) |
DE (1) | DE102006051469A1 (zh) |
GB (1) | GB2432473B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8526500B2 (en) * | 2009-08-11 | 2013-09-03 | Seiko Epson Corporation | System and method for global inter-frame motion detection in video sequences |
KR101893075B1 (ko) * | 2012-02-28 | 2018-08-30 | 삼성디스플레이 주식회사 | 유기전계발광 표시장치 및 그의 구동방법 |
CN105657541A (zh) * | 2015-12-29 | 2016-06-08 | 华为技术有限公司 | 一种帧处理方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1210650A (zh) * | 1996-12-06 | 1999-03-10 | 松下电器产业株式会社 | 图像信号传送、编码和解码方法和装置以及光盘记录和再现方法 |
US6718064B1 (en) * | 1999-03-09 | 2004-04-06 | Pentax Corporation | Image compression and expansion apparatus |
CN1630374A (zh) * | 2003-09-07 | 2005-06-22 | 微软公司 | 用于前向预测的隔行扫描视频帧的场的预测运动矢量 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4963995A (en) * | 1988-12-27 | 1990-10-16 | Explore Technology, Inc. | Audio/video transceiver apparatus including compression means |
GB2248361B (en) | 1990-09-28 | 1994-06-01 | Sony Broadcast & Communication | Motion dependent video signal processing |
US5647049A (en) * | 1991-05-31 | 1997-07-08 | Kabushiki Kaisha Toshiba | Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors |
DE69229146T2 (de) | 1991-06-25 | 1999-10-28 | Canon K.K., Tokio/Tokyo | Verfahren und Vorrichtung zur Detektion eines Bewegungsvektors sowie Kodierungsverfahren und Vorrichtung zur Anwendung eines solchen Verfahrens und Vorrichtung |
GB2264415B (en) | 1992-02-13 | 1995-09-20 | Sony Broadcast & Communication | Motion compensation for colour video signals |
US6236682B1 (en) | 1993-03-08 | 2001-05-22 | Sony Corporation | Video motion vector detection including rotation and/or zoom vector generation |
JP3499254B2 (ja) | 1993-06-04 | 2004-02-23 | 富士写真フイルム株式会社 | 画像データ圧縮処理方法 |
JPH08149480A (ja) | 1994-11-25 | 1996-06-07 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
US5844613A (en) | 1997-03-17 | 1998-12-01 | Microsoft Corporation | Global motion estimator for motion video signal encoding |
US5929911A (en) | 1997-10-27 | 1999-07-27 | International Business Machines Corporation | Multiformat reduced memory MPEG-2 compliant decoder |
KR100328417B1 (ko) | 1998-03-05 | 2002-03-16 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상부호화장치및화상복호화장치, 화상부보화방법 및 화상복호화방법, 및 데이터기억매체 |
KR20000059799A (ko) | 1999-03-09 | 2000-10-05 | 구자홍 | 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 |
JP4224748B2 (ja) | 1999-09-13 | 2009-02-18 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 |
JP3797208B2 (ja) | 2001-11-30 | 2006-07-12 | 日本ビクター株式会社 | カラー動画像符号化装置、復号化装置、符号化方法、復号化方法及びカラー動画像符号列伝送方法 |
GB0228281D0 (en) | 2002-12-04 | 2003-01-08 | Imec Inter Uni Micro Electr | Coding of motion vectors produced by wavelet-domain motion estimation |
JP2004221757A (ja) | 2003-01-10 | 2004-08-05 | Renesas Technology Corp | 動き検出装置及び探索領域形状可変動き検出器 |
US7869516B2 (en) | 2003-03-31 | 2011-01-11 | Hewlett-Packard Development Company, L.P. | Motion estimation using bit-wise block comparisons for video compresssion |
US7317839B2 (en) | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
US7474767B2 (en) | 2003-09-24 | 2009-01-06 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Motion detection using multi-resolution image processing |
EP1574995A1 (en) * | 2004-03-12 | 2005-09-14 | Thomson Licensing S.A. | Method for encoding interlaced digital video data |
KR100631777B1 (ko) * | 2004-03-31 | 2006-10-12 | 삼성전자주식회사 | 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치 |
EP1631089A1 (en) * | 2004-08-30 | 2006-03-01 | Matsushita Electric Industrial Co., Ltd. | Video coding apparatus and decoding apparatus |
US20060062303A1 (en) | 2004-09-17 | 2006-03-23 | Sony Corporation | Hybrid global motion estimator for video encoding |
WO2006080662A1 (en) | 2004-10-21 | 2006-08-03 | Samsung Electronics Co., Ltd. | Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer |
EP1932363B1 (en) | 2005-10-05 | 2016-05-18 | LG Electronics Inc. | Method and apparatus for reconstructing image blocks |
-
2005
- 2005-11-07 JP JP2005322405A patent/JP4529874B2/ja not_active Expired - Fee Related
-
2006
- 2006-10-31 DE DE200610051469 patent/DE102006051469A1/de not_active Withdrawn
- 2006-11-06 KR KR20060108798A patent/KR20070049074A/ko not_active Application Discontinuation
- 2006-11-07 CN CN200610143979A patent/CN100592778C/zh not_active Expired - Fee Related
- 2006-11-07 GB GB0622183A patent/GB2432473B/en not_active Expired - Fee Related
- 2006-11-07 US US11/594,004 patent/US7983530B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1210650A (zh) * | 1996-12-06 | 1999-03-10 | 松下电器产业株式会社 | 图像信号传送、编码和解码方法和装置以及光盘记录和再现方法 |
US6718064B1 (en) * | 1999-03-09 | 2004-04-06 | Pentax Corporation | Image compression and expansion apparatus |
CN1630374A (zh) * | 2003-09-07 | 2005-06-22 | 微软公司 | 用于前向预测的隔行扫描视频帧的场的预测运动矢量 |
Also Published As
Publication number | Publication date |
---|---|
KR20070049074A (ko) | 2007-05-10 |
US20070122131A1 (en) | 2007-05-31 |
US7983530B2 (en) | 2011-07-19 |
JP4529874B2 (ja) | 2010-08-25 |
DE102006051469A1 (de) | 2007-05-10 |
GB0622183D0 (en) | 2006-12-20 |
GB2432473B (en) | 2010-06-02 |
JP2007129647A (ja) | 2007-05-24 |
GB2432473A (en) | 2007-05-23 |
CN1964460A (zh) | 2007-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2161928B1 (en) | Image processing device, image processing method, and program | |
EP2094018B1 (en) | Encoding apparatus for high frame rate videos, method and program | |
US10587892B2 (en) | Image processing apparatus, image processing method, and program for generating motion compensated image data | |
KR20190003497A (ko) | 화상 처리 장치 및 화상 처리 방법 | |
EP3570543A1 (en) | Image processing device and image processing method | |
CN101969557B (zh) | 图像记录设备、图像记录方法 | |
CN100592778C (zh) | 记录和重放设备及方法、记录设备和重放设备及方法 | |
JP3532709B2 (ja) | 動画像符号化方法および装置 | |
JP5113479B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP4310689B2 (ja) | 信号処理装置および方法、記録媒体、並びにプログラム | |
JP4574771B2 (ja) | 画像情報記述方法 | |
JPWO2017203941A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US8224120B2 (en) | Image signal processing apparatus and image signal processing method | |
JP4267036B2 (ja) | 表示制御装置及び表示制御方法 | |
JP6416255B2 (ja) | 画像処理システム、及び、画像処理方法 | |
JPH0851598A (ja) | 画像情報変換装置 | |
KR100982625B1 (ko) | 정보 신호의 처리 장치 및 처리 방법 | |
JP3774988B2 (ja) | 静止画撮像装置、カラー複写装置及び表示装置 | |
JP6316640B2 (ja) | 映像記録装置、映像再生装置及び映像記録プログラム | |
US20040179592A1 (en) | Image coding apparatus | |
GB2443581A (en) | Recording and playback using motion parameters and reduced data image version | |
JP2007027857A (ja) | マルチメディアデータ記録装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100224 Termination date: 20131107 |