CN101287089B - 摄像设备、图像处理设备及其控制方法 - Google Patents

摄像设备、图像处理设备及其控制方法 Download PDF

Info

Publication number
CN101287089B
CN101287089B CN2008100906631A CN200810090663A CN101287089B CN 101287089 B CN101287089 B CN 101287089B CN 2008100906631 A CN2008100906631 A CN 2008100906631A CN 200810090663 A CN200810090663 A CN 200810090663A CN 101287089 B CN101287089 B CN 101287089B
Authority
CN
China
Prior art keywords
resolution
data file
conversion
reference image
tabulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100906631A
Other languages
English (en)
Other versions
CN101287089A (zh
Inventor
森川健一
桐原俊
荒谷俊太郎
松崎英一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101287089A publication Critical patent/CN101287089A/zh
Application granted granted Critical
Publication of CN101287089B publication Critical patent/CN101287089B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

本发明提供一种摄像设备、图像处理设备及其控制方法。摄像设备使用例如直方图，从构成运动图像的多个图像帧中，判断提取作为参考图像帧的图像帧，并生成参考图像数据文件。编码器单元对降低分辨率后的多个图像帧进行编码，并生成编码运动图像数据文件。利用内容信息列表生成单元生成用于将参考图像帧与用于指定相应的参考图像数据文件的信息相关联的列表。然后，记录参考图像数据文件、编码运动图像数据文件和列表。

Description

摄像设备、图像处理设备及其控制方法
技术领域
本发明涉及一种摄像设备、图像处理设备及其控制方法。
背景技术
此前，已经提出了将图像信号的分辨率从标准清晰度(SD)转换成高清晰度(HD)的图像数据转换设备等(参见日本特开2003-323612)。日本特开2003-323612中所公开的设备为了根据图像信号的特性进行最优处理，在进行分辨率转换时，基于每一像素块的某些特性量，来进行分类。该想法意图通过针对各分类进行适当的分辨率转换，来获得整个图像的良好的分辨率转换结果。
另外，提出了这样一种图像处理设备：获取被摄体的运动图像数据，并将该数据转换成具有低分辨率的运动图像数据，并生成具有高分辨率的静止图像数据(参见日本特开2006-352630)。
在日本特开2003-323612中，使用预先提供的学习图像来创建对任何内容的图像共同适用的分辨率转换表，并在回放期间使用该表进行分辨率转换。然而，上述分辨率转换表具有大量学习图像的平均特性，并未针对实际进行分辨率转换的各个图像进行最优化。
此外，在日本特开2006-352630中，生成运动图像数据，其中，所获取的运动图像数据已经被转换成具有低分辨率，并且根据转换成具有低分辨率之前的运动图像数据，生成静止图像数据。然而，使用该静止图像数据作为一般的照片数据。因此，静止图像数据的生成定时遵从用户记录静止图像的指令。换句话说，该静止图像数据不是为了在分辨率转换中使用而生成的。
发明内容
考虑到传统技术的上述问题做出了本发明。希望提供这样一种摄像设备及其控制方法：即使在回放过程中进行分辨率转换以提高分辨率的情况下，该摄像设备也进行使得能够获得良好的分辨率转换结果的摄像。
本发明还可以提供一种能够良好地回放由本发明的摄像设备所拍摄的图像的图像处理设备及其控制方法。
根据本发明的一个方面，提供一种摄像设备，用于拍摄运动图像，所述摄像设备包括：判断部件，用于从构成所述运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像帧；文件生成部件，用于根据由所述判断部件判断出的所述参考图像帧，生成参考图像数据文件；编码部件，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；信息生成部件，用于生成指定所述参考图像帧的信息；列表生成部件，用于生成将由所述信息生成部件生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表；以及第一记录控制部件，用于将所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第一存储部件中，其中，所述判断部件判断出的所述参考图像帧的分辨率高于构成编码运动图像数据文件的图像帧的分辨率。
根据本发明的另一方面，提供一种图像处理设备，包括：获取部件，用于从摄像设备获取参考图像数据文件、编码运动图像数据文件和列表，并将所获取的所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第三存储部件中；第一读出部件，用于从所述第三存储部件读出所述参考图 像数据文件；分辨率降低部件，用于根据所读取的所述参考图像数据文件中包括的参考图像帧，生成具有与构成所述编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表；第二读出部件，用于从所述第三存储部件读出所述列表；列表编辑部件，用于将所述分辨率转换表与所述列表相关联，并输出由此生成的列表；第二记录控制部件，用于将所述分辨率转换表和由所述列表编辑部件输出的所述列表记录在所述第三存储部件中；解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换部件，用于在基于由所述列表编辑部件输出的所述列表来应用所述分辨率转换表的情况下，对由所述解码部件输出的图像帧进行分辨率转换；以及输出部件，用于输出进行所述分辨率转换后的图像帧。
根据本发明的另一方面，提供一种图像处理设备，用于对由摄像设备拍摄的图像进行处理，所述摄像设备包括：分辨率降低部件，用于根据参考图像数据文件中包括的参考图像帧，生成具有与构成编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表，并输出所生成的所述分辨率转换表；以及列表编辑部件，用于将所述分辨率转换表与列表相关联，并输出由此生成的列表，所述图像处理设备包括：获取部件，用于从摄像设备获取所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转换表，并将所获取的所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转 换表存储在第三存储部件中；解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换部件，用于在基于由所述列表编辑部件输出的所述列表来应用所述分辨率转换表的情况下，对由所述解码部件输出的图像帧进行分辨率转换；以及输出部件，用于输出进行所述分辨率转换后的图像帧。
根据本发明的另一方面，提供一种用于拍摄运动图像的摄像设备的控制方法，所述控制方法包括以下步骤：判断步骤，用于从构成所述运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像帧；文件生成步骤，用于根据所述参考图像帧，生成参考图像数据文件；编码步骤，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；信息生成步骤，用于生成指定所述参考图像帧的信息；列表生成步骤，用于生成将在所述信息生成步骤中所生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表；以及第一记录控制步骤，用于将所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第一存储单元中，其中，在所述判断步骤中判断出的所述参考图像帧的分辨率高于构成编码运动图像数据文件的图像帧的分辨率。
根据本发明的另一方面，提供一种用于对由摄像设备拍摄的图像进行处理的图像处理设备的控制方法，所述摄像设备包括：判断部件，用于从构成运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像帧；文件生成部件，用于根据由所述判断部件判断出的所述参考图像帧，生成参考图像数据文件；编码部件，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；信息生成部件，用于生成指定所述参考图像帧 的信息；以及列表生成部件，用于生成将由所述信息生成部件生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表，所述控制方法包括：获取步骤，用于获取由所述摄像设备生成的所述参考图像数据文件、所述编码运动图像数据文件和所述列表，并将所获取的所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在存储单元中；分辨率降低步骤，用于根据所读取的所述参考图像数据文件中包括的所述参考图像帧，生成具有与构成所述编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成步骤，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表；列表编辑步骤，用于将所述分辨率转换表与所述列表相关联，并输出由此生成的列表；记录控制步骤，用于将所述分辨率转换表和在所述列表编辑步骤中输出的所述列表存储到所述存储单元；解码步骤，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换步骤，用于在基于在所述列表编辑步骤中输出的所述列表来应用所述分辨率转换表的情况下，对在所述解码步骤中输出的图像帧进行分辨率转换；以及输出步骤，用于输出进行所述分辨率转换后的图像帧。
根据本发明的另一方面，提供一种用于对由摄像设备拍摄的图像进行处理的图像处理设备的控制方法，所述摄像设备包括：分辨率降低部件，用于根据参考图像数据文件中包括的参考图像帧，生成具有与构成编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表，并输出所生成的所述分辨率转换表；以及列表编 辑部件，用于将所述分辨率转换表与列表相关联，并输出由此生成的列表，所述控制方法包括：获取步骤，用于获取由所述摄像设备生成的所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转换表，并将所获取的所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转换表存储在存储单元中；解码步骤，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换步骤，用于在基于由所述列表编辑部件输出的所述列表来应用所述分辨率转换表的情况下，对在所述解码步骤中输出的图像帧进行分辨率转换；以及输出步骤，用于输出进行所述分辨率转换后的图像帧。
通过以下结合附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明第一实施例的摄像设备的典型结构的框图；
图2示出由根据本发明第一实施例的摄像设备所生成的典型内容信息列表；
图3是示出根据本发明第一实施例的摄像设备中的用于提取参考图像的典型操作的流程图；
图4是示出根据本发明第一实施例的图像处理设备的典型结构的框图；
图5是示出根据本发明第一实施例的图像处理设备中的分辨率转换表生成单元的典型结构的框图；
图6示出由根据本发明第一实施例的图像处理设备中的内容信息列表编辑单元编辑后的典型内容信息列表；
图7示出当播放与图6的内容信息列表中所示的内容A相对应的编码运动图像数据文件时的分辨率转换表的应用定时；
图8是示出根据本发明第二实施例的摄像设备的典型结构的框图；
图9示出由根据本发明第二实施例的摄像设备所生成的典型内容信息列表；
图10是示出根据本发明第二实施例的摄像设备中的用于提取参考图像的典型操作的流程图；
图11是示出根据本发明第三实施例的摄像设备的典型结构的框图；
图12示出存储在根据本发明第三实施例的摄像设备中的直方图参考表单元中的典型表格；
图13是示出根据本发明第四实施例的摄像设备的典型结构的框图；以及
图14是示出根据本发明第四实施例的图像处理设备的典型结构的框图。
具体实施方式
现在将根据附图详细说明本发明的优选实施例。
第一实施例
首先应该注意，本发明中的“分辨率”的意义不局限于给定区域的像素密度，例如每英寸的像素数。本发明中的“分辨率”是还表示图像信号中原有的像素数的表达。因此，分辨率转换不仅是指转换像素密度，而且还指用于改变像素数的处理。降低分辨率包含用于减少来自图像信号的像素数的处理。提高分辨率包含用于增加图像信号中所包括的像素数的处理。应该理解，以符合上述定义的方式利用本发明的权利要求书、说明书和附图中的术语“分辨率”。
在本实施例中，摄像设备从一系列的拍摄图像帧中提取满 足特定条件的图像帧作为参考图像，并在不降低分辨率(不减少像素数)的情况下存储所提取的图像帧。然后，摄像设备在根据标准或设置相对例如拍摄时图像的分辨率来降低分辨率之后，将压缩编码处理应用于所拍摄的图像帧，并且生成并存储一系列压缩图像帧，作为编码运动图像数据文件。该摄像设备生成用于指定作为参考图像所提取的图像帧的信息。该摄像设备还生成并存储将用于指定提取的图像帧的信息与用于指定参考图像的参考图像数据文件的信息相关联的列表。
注意，在本发明中，“数据文件”是用于处理具有给定连贯性(coherence)的数据的单位，并且单个数据文件至少包括按照给定规则所分类的一个数据集合。根据需要，还包括与数据集合有关的信息等的附加信息。例如，参考图像数据文件包括构成作为参考图像所提取的图像帧的像素数据的一个或更多个集合。另外，编码运动图像数据文件包括一个或更多个图像帧的像素数据。例如，可以通过文件名称来唯一地指定数据文件。
此外，本实施例的图像处理设备获取由摄像设备所存储的参考图像、内容信息列表和编码运动图像数据文件。该图像处理设备使用参考图像来生成用于提高构成编码运动图像数据文件的图像帧的分辨率的分辨率转换表。该图像处理设备对编码运动图像数据文件进行解码，使用基于内容信息列表所指定的分辨率转换表对解码后的图像帧进行分辨率转换，并且显示分辨率转换后的图像帧。由于该处理，可以使用适合实际要进行分辨率转换的图像的分辨率转换表来进行分辨率转换，从而使得可以获得高质量结果。
现在将详细说明典型装置结构和操作。
图1是示出根据本发明第一实施例的摄像设备100的典型结构的框图。摄像设备100具有运动图像拍摄功能。
摄像单元101设置有CCD、CMOS或类似的图像传感器，并且以像素为单位生成与由镜头(未示出)所形成的光学图像相对应的视频信号。模数(A/D)转换单元102将由摄像单元101所生成的视频信号转换成数字信号。图像处理单元103进行伽马校正和白平衡调整等的图像处理。
场景变化检测单元104计算根据等级对例如构成单个输入图像(图像帧)的像素的亮度和颜色信号进行分类的直方图，并且存储所生成的直方图。场景变化检测单元104将当前输入的图像帧的直方图与先前图像帧的直方图进行比较，并且如果直方图的变化量大于所设置的阈值，则判断为场景已改变。在该判断处理之后，场景变化检测单元104清除先前图像帧的直方图数据。
如果判断为场景已改变，则场景变化检测单元104通知参考图像提取单元105提取当前图像帧作为参考图像。
在从场景变化检测单元104接收到该通知时，用作文件生成单元的参考图像提取单元105将当前图像帧识别为场景变化之后的第一个图像帧。参考图像提取单元105生成包括没有降低分辨率的当前图像帧的数据的参考图像数据文件，并将所生成的参考图像数据文件发送给第一记录控制单元106。
参考图像提取单元105还通知内容信息列表生成单元107已提取了参考图像。参考图像提取单元105还将所有输入的图像帧的数据发送给编码器单元108，而不管当前帧是否作为参考图像。
用作编码单元的编码器单元108根据例如MPEG2或H.264等的编码系统对输入的图像帧的数据进行压缩编码，并将由此所获得的编码运动图像数据文件发送给第一记录控制单元106。注意，在本实施例中，在将图像帧的分辨率降低到基于预定标 准或用户设置等的分辨率之后进行压缩编码。例如，情况如下：根据由HDV标准所确定的分辨率(1440×1080像素)的拍摄图像生成并记录SD(720×480像素)图像；或者根据具有高于1440×1080像素的分辨率的图像生成并记录HDV图像。因此，在本实施例中，参考图像的分辨率高于构成编码运动图像数据文件的图像帧的分辨率。
如果提取当前图像帧作为参考图像，则编码器单元108将当前图像帧的回放时间信息发送给内容信息列表生成单元107。例如，在图像帧被配置为MPEG2-TS编码运动图像数据文件的情况下，可以使用插入在PES报头中的呈现时间戳记(presentation time stamp，PTS)作为回放时间信息。可以利用任意格式的时间信息，只要在播放编码运动图像数据文件时可以指定参考图像的回放时间即可。也就是说，编码器单元108还用作生成用于指定作为参考图像所提取的图像帧的信息的信息生成单元。
注意，在本实施例中，尽管使用编码器单元108所生成的回放时间信息作为用于指定作为参考图像所提取的图像帧的信息，但是本发明的信息生成单元不必局限于编码单元。另外，用于指定图像帧的信息不局限于回放时间信息。任何信息都是可接受的，只要该信息能够指定和识别图像帧。
内容信息列表生成单元107生成例如如图2所示的内容信息列表，该内容信息列表将用于指定编码运动图像数据文件的信息(内容名称)与从编码器单元108接收到的回放时间信息以及用于指定参考图像数据文件的信息(图像数据文件名称)相关联。内容信息列表生成单元107将所生成的内容信息列表发送给第一记录控制单元106。
第一记录控制单元106将来自参考图像提取单元105的参 考图像数据文件、来自内容信息列表生成单元107的内容信息列表、以及来自编码器单元108的编码运动图像数据文件存储在用作第一存储单元的第一累积单元109中。
第一累积单元109是例如HDD或半导体存储器等的存储单元，并且存储拍摄的图像数据文件、参考图像数据文件和内容信息列表等。
当利用摄像设备100播放拍摄的图像数据文件时，将存储在第一累积单元109中的图像数据文件提供给解码器单元110。解码器单元110对编码图像数据文件进行解码处理，并将解码后的图像数据提供给数模(D/A)转换单元111。D/A转换单元111将由解码器单元110解码后的数字数据转换成模拟数据，并将模拟数据输出到显示单元112。显示单元112显示来自D/A转换单元111的模拟数据作为视频。
网络接口(I/F)单元113是例如以太网接口或IEEE 1394接口等的网络接口。本实施例的摄像设备100能够相互关联地将存储在第一累积单元109中的图像数据文件、参考图像和内容信息列表发送给例如具有图像回放功能的设备等的外部装置。
图3是示出本实施例的摄像设备100中的用于提取参考图像的典型操作的流程图。
当启动摄像设备100时，场景变化检测单元104首先判断是否存在图像输入，即，摄像设备100是否处于拍摄状态(S301)。如果存在图像输入，则场景变化检测单元104计算输入图像帧的直方图(S302)。然后，场景变化检测单元104将计算出的直方图的数据临时存储在内部存储器等(未示出)中(S303)。
接着，场景变化检测单元104基于临时存储在内部存储器等中的先前图像帧的直方图数据和此时计算出的直方图的数据，判断场景是否已改变(S304)。例如，如果直方图的变化量 大于阈值，则可以判断为场景已改变(即，已输入极大不同于直到此时为止所拍摄的图像的图像)。任何用于计算直方图的变化量的方法都是可接受的。例如，可以使用形状的相关性或相同等级数据的频率中的总差。注意，还可以利用不基于直方图的方法来检测场景的变化。
在判断关于当前帧是否存在场景变化之后，场景变化检测单元104清除先前图像帧的直方图数据(S305、S306)，而不管判断结果。当对于后续图像帧进行场景变化判断时，使用当前图像帧的直方图数据作为先前图像帧的直方图数据。
如果判断为存在场景变化，则场景变化检测单元104将该情况通知给参考图像提取单元105。参考图像提取单元105提取与该通知相对应的图像帧作为参考图像(S307)。参考图像提取单元105生成图像数据文件，并且将所生成的图像数据文件输出到第一记录控制单元106，其中，该图像数据文件包括所提取的处于原始分辨率的且优选处于未编码状态或无损编码状态的参考图像。参考图像提取单元105还将用于指定所生成的图像数据文件的信息(例如，图像数据文件名称)通知给内容信息列表生成单元107。参考图像提取单元105还将所有输入图像帧输出到编码器单元108。
编码器单元108使用MPEG2或H.264等的压缩编码系统，对从参考图像提取单元105输入的所有图像帧进行编码(S308、S310)。此时，如果已提取了待编码的图像帧作为参考图像，则编码器单元108将该图像帧的回放时间信息通知给内容信息列表生成单元107。
在S311，场景变化检测单元104判断是否已经输入了所有帧，即，拍摄是否已经结束。如果还未输入所有帧(S311：否)，则在S312处理进行到下一图像帧，并且在S302中再次计算直方 图。另一方面，如果已经输入了所有帧(S311：是)，则内容信息列表生成单元107生成上述内容信息列表(S313)。
在S314，第一记录控制单元106将来自编码器单元108的编码运动图像数据文件、来自参考图像提取单元105的参考图像数据文件和来自内容信息列表生成单元107的内容信息列表相互关联地记录到第一累积单元109。
然后处理返回到S301，并再次等待要输入的下一图像。
图4是示出根据本实施例的图像处理设备400的典型结构的框图。
网络接口(I/F)单元401是例如以太网接口或IEEE 1394接口等的网络接口。发送和接收的数据或者可以通过网络I/F单元401进行通信的装置没有任何限制。然而，这里，图像处理设备400将被描述为通过网络I/F单元401与图1所示的摄像设备100连接以形成图像处理系统，并从摄像设备100接收数据。
网络I/F单元401接收来自摄像设备100的编码运动图像数据文件、参考图像数据文件和内容信息列表，并将它们写入作为HDD或半导体存储器等的存储单元且用作第三存储单元的第二累积单元402。
用作第一读出单元的参考图像读出单元403读出累积在第二累积单元402中的参考图像数据文件，并将读取的参考图像数据文件提供给分辨率转换表生成单元404。分辨率转换表生成单元404使用参考图像来生成分辨率转换表。
图5是示出分辨率转换表生成单元404的典型结构的框图。分辨率转换表生成单元404包括累积参考图像数据文件的学习数据库单元501、对参考图像帧进行下采样的下采样单元502和学习电路单元503。
学习数据库单元501将从参考图像读出单元403所接收到 的参考图像数据文件添加到内部学习数据库。另一方面，学习数据库单元501将累积在学习数据库中的参考图像数据文件顺序输出到下采样单元502和学习电路单元503。
用作分辨率降低单元的下采样单元502对包括在输入的参考图像数据文件中的参考图像帧进行抽取(decimate)和滤波，并将参考图像帧下采样成与构成编码运动图像数据文件的图像帧相同的分辨率。下采样单元502将所获得的低分辨率参考图像帧输出到学习电路单元503。学习电路单元503使用从下采样单元502输入的低分辨率参考图像帧和从学习数据库单元501输入的高分辨率参考图像帧，例如通过最小二乘误差准则进行学习，并生成分辨率转换表。
这里所生成的分辨率转换表对通过对输入图像中的像素之间的特性信息进行编码所获得的数据进行索引，并获得像素密度增加的结果。也就是说，生成使得能够根据相应的低分辨率参考图像帧获得高分辨率参考图像帧的分辨率转换表。尽管说明了利用最小二乘法的学习，但是也可以使用神经网络进行分辨率转换表的学习。学习电路单元503将所获得的分辨率转换表输出到第二记录控制单元405。学习电路单元503还将用于指定所生成的分辨率转换表的信息(例如，表名称)和用于指定所使用的参考图像数据文件的信息通知给内容信息列表编辑单元407。
返回图4，用作第二读出单元的内容信息列表读出单元406从第二累积单元402读出内容信息列表，并将读取的列表提供给内容信息列表编辑单元407。内容信息列表编辑单元407将从分辨率转换表生成单元404所通知的用于指定分辨率转换表的信息添加到内容信息列表，并将由此生成的列表输出到第二记录控制单元405。图6示出由内容信息列表编辑单元407所输出的典 型的编辑后的内容信息列表。如图6所示，与回放时间相关联地添加了指定分辨率转换表的信息。
第二记录控制单元405进行控制，以将由分辨率转换表生成单元404所生成的分辨率转换表和由内容信息列表编辑单元407编辑后的内容信息列表写入第二累积单元402。
当播放编码运动图像数据文件时，解码器单元408在从第二累积单元402读出编码运动图像数据文件的同时进行解码，并将解码后的图像帧顺序提供给分辨率转换单元409。解码器单元408还将解码后的图像帧的PTS输出到分辨率转换表读出单元410，作为回放时间信息。
如果从解码器单元408所接收到的回放时间信息所示的回放时间与内容信息列表中所包括的回放时间一致，则分辨率转换表读出单元410从第二累积单元402读出与该回放时间相关联的分辨率转换表。然后，分辨率转换表读出单元410将读取的分辨率转换表提供给分辨率转换单元409。
分辨率转换单元409使用从分辨率转换表读出单元410所接收到的分辨率转换表，对从解码器单元408所输入的图像帧进行分辨率转换，并提高图像帧的分辨率。利用分辨率转换，对通过分析输入图像并对像素的特性信息进行编码所获得的数据进行索引，并通过应用分辨率转换表来增加像素密度，以获得分辨率比输入图像的分辨率高的图像。图像处理单元411进行颜色处理和伽马处理等的图像处理，并将分辨率转换后的图像显示在显示单元412上。
图7示出当播放与图6的内容信息列表中所示的内容A相对应的编码运动图像数据文件时的分辨率转换表的应用定时。
分辨率转换单元409从回放时间Ta0 701处的图像帧开始在分辨率转换中应用第一分辨率转换表TBL_A0 702。然后，在对 到达回放时间Ta1之前的图像帧所进行的分辨率转换中应用TBL_A0。
然后，从回放时间Ta1 703处的图像帧开始，在分辨率转换中应用分辨率转换表TBL_A1 704。与上述类似地，在对到达回放时间Ta2 705之前的图像帧所进行的分辨率转换中应用TBL_A1。此外，从回放时间Ta2处的图像帧开始，分辨率转换单元409切换为应用分辨率转换表TBL_A2 706。
因此，每当检测到场景变化时，应用根据场景的代表图像(这里为场景的第一个图像)所生成的分辨率转换表。由于构成相同场景的图像帧通常高度相关，因而可以通过应用根据场景的代表图像所生成的分辨率转换表，来获得适合于构成该场景的图像帧的分辨率转换结果。
图像传感器的像素数相对于运动图像记录格式的确定周期而快速增加。还存在相当多的诸如摄像机的主要用于拍摄运动图像的设备，考虑到对于高分辨率静止图像记录的需求，这些设备设置有具有比运动图像记录中所使用的更多的像素的图像传感器。然而，存在如下情况：即使拍摄高分辨率图像，由于在降低分辨率之后才进行运动图像记录，因而它们未必能得到有效利用。相反，本实施例通过将实际拍摄的高分辨率图像用于生成分辨率转换表，使得能够以高精度和简单结构生成适合应用分辨率转换的图像的分辨率转换表。
利用本实施例的摄像设备100，在降低分辨率之前提取在进行运动图像拍摄时所获得的图像帧，作为参考图像。因此，拍摄参考图像和构成编码运动图像数据文件的图像帧的照相机的拍摄条件(焦距、景深、曝光条件等)将必然相同。然而，例如，当使用多部照相机与运动图像分开地拍摄用作参考图像的静止图像时，可以通过在多部照相机之间进行通信以使拍摄条 件一致，从而提取合适的静止图像作为参考图像。
本实施例的回放设备通过使用参考图像的学习处理来生成分辨率转换表。然而，可以利用分辨率转换表生成单元404预先提供多种模式的分辨率转换表，并且可以使用其中一个分辨率转换表。具体地，可以将多个分辨率转换表应用于下采样后的参考图像，并使用产生与原始(高分辨率)参考图像最接近的图像的分辨率转换表。
在通过网络将内容文件(编码运动图像数据文件)、参考图像和内容信息列表从摄像设备100传送至回放设备的方面说明了本实施例。然而，可以通过存储卡或光盘等可移动存储介质或者高清晰度多媒体接口(High-Definition MultimediaInterface，HDMI)等数据可通信显示接口进行该传送。
另外，尽管在本实施例中提取检测到场景变化的第一个图像帧作为参考图像，但是，可以通过对相同场景中所包括的多个图像帧进行平均来生成单个参考图像。还可以从相同场景中提取多个参考图像。例如，在提取判断为场景变化的第一个图像帧作为参考图像之后，可以提取表现出与该参考图像的直方图的高度相似性的图像帧作为该场景中的附加参考图像。在这种情况下，在内容信息列表中将多个参考图像与相同回放时间相关联。图像处理设备400中的分辨率转换表生成单元404基于与相同回放时间相关联的多个(原始分辨率和下采样后的)参考图像，生成单个分辨率转换表。
在本实施例中，摄像设备100对每个场景提取高分辨率参考图像，同时图像处理设备400使用参考图像生成分辨率转换表，并在进行回放时对每个场景切换所应用的分辨率转换表的同时，进行分辨率转换，这使得能够获得适合于图像帧的内容的分辨率转换结果。
注意，代替每当出现场景变化时提取参考图像，可以通过在摄像设备100中设置定时器等，在经历特定设定时间段时提取参考图像。另外，可以在接通摄像设备100的记录开关时提取参考图像。
使用以比构成编码运动图像数据文件的图像帧的分辨率更高的分辨率实际所拍摄的图像帧作为参考图像，使得与根据无关图像所生成的分辨率转换表相比能够获得更良好的结果。
第二实施例
在第一实施例中，为每一场景提取参考图像，然而，在本实施例中，存储先前提取的参考图像，并再使用这些参考图像。
图8是示出根据本实施例的摄像设备100’的典型结构的框图。在图8中，相同的附图标记用于与图1中相同的组成元件，并且省略对其的重复说明。以下的说明重点在于本实施例的特征结构及其操作。
直方图存储单元802以与用于指定相应的参考图像数据文件的信息相关联的方式保存作为参考图像已提取的图像帧的直方图数据。
类似于第一实施例，场景变化检测单元104基于直方图判断是否存在场景变化。如果判断为场景已改变，则将当前图像帧的直方图数据输出到直方图比较单元801。
直方图比较单元801将从场景变化检测单元104所接收到的直方图数据与存储在直方图存储单元802中的直方图数据进行比较。如果比较结果表示不存在表现出高相似性的所存储的直方图，则直方图比较单元801判断为提取当前图像帧作为参考图像，并且通知参考图像提取单元803提取当前图像帧作为参考图像。然后，在判断为提取当前图像帧作为参考图像的情况下，直方图比较单元801将当前图像帧的直方图数据存储在直方图 存储单元802中。
这里，可以利用任意方法得出直方图之间的相似性。例如，如果构成直方图的各等级的频率值的总差超过阈值，则可以判断为相似性低。
另一方面，如果发现任何所存储的直方图表现出高相似性，则直方图比较单元801判断为先前所提取的参考图像中的一个近似当前图像帧。在这种情况下，直方图比较单元801通知用于指定与发现具有高相似性的直方图相对应的过去的参考图像数据文件的信息，而不是通知提取当前图像帧作为参考图像。
接收到提取参考图像的通知的参考图像提取单元803以与第一实施例中的参考图像提取单元105类似的方式，根据当前图像帧生成参考图像数据文件，并将所生成的参考图像数据文件提供给第一记录控制单元106。参考图像提取单元803还将于指定参考图像数据文件的信息(例如，文件名称)通知给直方图比较单元801。
直方图比较单元801在从参考图像提取单元803接收到该通知时，与存储在直方图存储单元802中的当前图像帧的直方图数据相关联地存储所通知的用于指定参考图像数据文件的信息。
如果从直方图比较单元801接收到用于指定参考图像数据文件的信息的通知，则参考图像提取单元803进一步将该信息通知给内容信息列表生成单元804。
编码器单元108使用MPEG2或H.264等压缩编码系统，对从参考图像提取单元803所输入的所有图像帧进行编码。此时，如果待编码的图像帧是作为参考图像所提取的图像帧或判断为场景变化的图像帧，则编码器单元108将该图像帧的回放时间信息通知给内容信息列表生成单元804。
内容信息列表生成单元804以与第一实施例类似的方式生成内容信息列表。与第一实施例的不同仅在于：从参考图像提取单元803所提供的用于指定参考图像数据文件的信息可以是用于指定过去的参考图像数据文件的信息。
例如，如果判断为从回放时间Ta2开始的场景(场景3)的第一个图像帧的直方图类似于从回放时间Ta0开始的场景(场景1)的第一个图像帧的直方图，则生成例如图9所示的内容信息列表。在图9中，同样使用与场景1相对应的参考图像数据文件(图像A0)作为与场景3相对应的参考图像数据文件。
图10是示出本实施例的摄像设备100’中的用于提取参考图像的典型操作的流程图。这里，仅示出不同于图3所述的第一实施例的流程图的部分。
与第一实施例类似地进行图3中的S301～S305的处理。然而，场景变化检测单元104将判断为发生了场景变化通知给直方图比较单元801而不是参考图像提取单元803。
在S1002，直方图比较单元801将当前图像帧的直方图与存储在直方图存储单元802中的直方图进行比较。
接着，在S1003，直方图比较单元801判断存储在直方图存储单元802中的任一直方图是否与当前图像帧的直方图类似。
如果没有判断为类似的直方图，则直方图比较单元801通知参考图像提取单元105提取当前图像帧作为参考图像。参考图像提取单元105提取当前图像帧作为参考图像(S307)，生成参考图像数据文件，并将所生成的参考图像数据文件提供给第一记录控制单元106。参考图像提取单元105还将用于指定参考图像数据文件的信息通知给直方图比较单元801。
接着，直方图比较单元801将当前图像帧的直方图存储在直方图存储单元802中(S1007)。此时，直方图比较单元801将当 前图像帧的直方图与用于指定参考图像数据文件的信息相关联地存储在直方图存储单元802中。
然后，进行从S308开始的处理。
另一方面，如果存在S1003中判断为类似的直方图，则直方图比较单元801从直方图存储单元802读出用于指定与该直方图相对应的参考图像数据文件的信息。然后，直方图比较单元801将用于指定参考图像数据文件的信息通知给内容信息列表生成单元804(S1004)。
编码器单元108使用MPEG2或H.264等压缩编码系统，对当前图像帧进行编码(S1005)。然后，编码器单元108将当前图像帧的回放时间信息通知给内容信息列表生成单元804(S1006)。
然后，进行从S311(图3)开始的处理。
由于根据本实施例的图像处理设备的结构和操作可以与第一实施例的图像处理设备400的结构和操作相同，因而省略对其的说明。
注意，在本实施例中，将判断为发生场景变化的图像帧的直方图与过去的参考图像的直方图进行比较，并且，如果不存在类似的直方图，则提取该图像帧作为参考图像。然而，可以存储过去的参考图像本身，并且可以基于图像之间的相似性来决定提取作为参考图像的图像帧。
另外，还可以使用随后的图像作为先前的参考图像，而不是再使用先前所提取的参考图像。也就是说，在图9的例子的情况下，代替作为类似的先前参考图像的图像A0，可以将与回放时间Ta2相对应的图像帧(假定为图像A2)与回放时间Ta0相关联。可选地，可以优先使用类似的图像中具有认为是表示高分辨率的大的高频分量的图像。
因此，由于共享相似的参考图像，因而本实施例的摄像设 备100’使得可以降低用于累积高分辨率参考图像所需的存储容量。
第三实施例
图11是示出根据本发明第三实施例的摄像设备100”的典型结构的框图。在图11中，相同的附图标记用于与图1中相同的组成元件，并且省略对其不必要的说明。
直方图检测单元1101计算构成输入图像帧的像素的亮度和颜色分量的直方图，作为示出该图像帧的特性的信息，并且将该数据发送到参考图像提取单元1102。
由键盘、按钮或开关等构成的操作单元1103是用户向摄像设备100”输入指令的接口。在本实施例中，操作单元1103设置有用于设置摄像设备100”的拍摄模式(场景)的、用作拍摄模式设置单元的模式设置拨盘，该拍摄模式例如是肖像模式、运动模式和黄昏模式等。
利用拍摄模式指示单元1104检测使用模式设置拨盘所设置的拍摄模式，并将检测到的拍摄模式通知给参考图像提取单元1102。
直方图参考表单元1105存储这样的表：在该表中，将本实施例的摄像设备100”中每个可设置的拍摄模式与直方图相关联，该直方图是表示认为以该拍摄模式所拍摄的图像应该具有的代表图像特性的信息。
例如，将黄昏拍摄的图像的直方图特性(例如，相对于蓝色分量来说，红色分量非常多)存储为与黄昏模式相对应的直方图。图12示出由直方图参考表单元1105所存储的典型表。这里，列出作为指定相应的直方图数据的信息的数据文件名称，作为参考直方图。还将直方图数据存储在直方图参考表单元1105中。
参考图像提取单元1102以从拍摄模式指示单元1104所通知 的拍摄模式作为关键词，对直方图参考表单元1105进行搜索，并获取具有与当前拍摄模式相对应的代表特性的直方图。然后，参考图像提取单元1102将所获取的直方图与从直方图检测单元1101所接收到的当前图像帧的直方图进行比较。
如果直方图中相应等级的值的总差等于或小于阈值，则参考图像提取单元1102判断为当前图像帧具有以当前拍摄模式所拍摄的图像帧的代表特性，并且提取当前图像帧作为参考图像。
参考图像提取单元1102以与第一实施例中的参考图像提取单元105类似的方式，生成参考图像数据文件，并且将所生成的参考图像数据文件输出到第一记录控制单元106。参考图像提取单元1102还将所有输入的图像帧提供给编码器单元108，并通知作为参考图像所提取的图像帧。参考图像提取单元1102还将用于指定参考图像数据文件的信息通知给内容信息列表生成单元107。
由于包括第一记录控制单元106、内容信息列表生成单元107和编码器单元108的其它组成元件的操作如在第一实施例中所述，因而省略对其的说明。
第一实施例的图像处理设备400可以使用本实施例的摄像设备100”所记录的编码运动图像数据文件、内容信息列表和参考图像数据文件。
在本实施例中，预先提供具有与拍摄模式相对应的特性的代表直方图，并且从所拍摄的图像帧中提取具有与代表直方图相似的直方图的图像帧作为代表图像。
因此，在实际拍摄的高分辨率图像帧中，可以使用对拍摄模式典型的图像帧来生成分辨率转换表。因此，在分辨率转换之后进行回放的情况下生成与拍摄模式相对应的分辨率转换表，从而能够获得符合所拍摄的对象的倾向的分辨率转换结果。
这里，作为参考图像提取的图像帧被视作为第一实施例中的场景的第一个图像帧，并且如第一实施例中所述，生成与各个参考图像相对应的分辨率转换表。然而，在将从特定拍摄模式下的拍摄开始直到切换了拍摄模式或者指示结束拍摄为止所记录的运动图像组当作一个场景的情况下，可以根据相同场景内所提取的多个参考图像来创建单个分辨率转换表。在这种情况下，在内容信息列表中，多个参考图像与相同回放时间相关联。图像处理设备400的分辨率转换表生成单元404基于与相同回放时间相关联的多个(原始分辨率和下采样后的)参考图像，生成单个分辨率转换表。
第四实施例
图13是示出根据本发明第四实施例的摄像设备100”’的典型结构的框图。在图13中，相同附图标记用于与图1和4相同的组成元件，并且省略对其不必要的说明。
本实施例的摄像设备100”’具有由第一实施例的图像处理设备400所进行的生成分辨率转换表的功能。
具体地，可以通过将包括在根据第一实施例的图像处理设备400中的参考图像读出单元403、分辨率转换表生成单元404、内容信息列表读出单元406和内容信息列表编辑单元407与根据第一实施例的摄像设备100组合，获得根据第四实施例的摄像设备100”’。
本实施例的摄像设备100”’所进行的用来累积参考图像数据文件并对第一累积单元109中的运动图像数据文件和内容信息列表进行编码的处理与第一实施例的处理类似。另一方面，当将参考图像数据文件新添加到第一累积单元109时，参考图像读出单元403读出该参考图像数据文件，并且将所读取的参考图像数据文件提供给分辨率转换表生成单元404。如使用图5所述， 分辨率转换表生成单元404使用高分辨率参考图像和通过下采样生成的、分辨率与构成编码运动图像数据文件的图像帧的分辨率相同的参考图像，来生成分辨率转换表。将所生成的分辨率转换表输出到第一记录控制单元106。分辨率转换表生成单元404还向内容信息列表编辑单元407通知用于指定所生成的分辨率转换表的信息(例如，表名称)和用于指定所使用的参考图像的信息。
第一记录控制单元106将由分辨率转换表生成单元404所生成的分辨率转换表存储在第一累积单元109中。
内容信息列表读出单元406从第一累积单元109读出内容信息列表，并将所读取的内容信息列表提供给内容信息列表编辑单元407。内容信息列表编辑单元407基于内容信息列表中的参考图像数据文件名称，添加从分辨率转换表生成单元404所通知的用于指定分辨率转换表的信息，并且将由此得到的列表输出到第一记录控制单元106。
第一记录控制单元106将由内容信息列表编辑单元407编辑后的内容信息列表存储在第一累积单元109中。一旦结束了图像输入，并且完成了用于生成分辨率转换表的处理，则第一记录控制单元106从第一累积单元109删除在生成分辨率转换表中所使用的参考图像数据文件。
最后，将编码运动图像数据文件、编辑后的内容信息列表和分辨率转换表记录到第一累积单元109。
图14是示出根据本实施例的图像处理设备400’的典型结构的框图。
图像处理设备400’通过网络I/F单元401从图13所示的摄像设备100”’获取编码运动图像数据文件、编辑后的内容信息列表和分辨率转换表，并将所获取的文件、列表和表存储在第二累 积单元402中。
当播放编码运动图像数据文件时，解码器单元408在从第二累积单元402读出编码运动图像数据文件的同时，进行解码，并将解码后的图像帧顺序提供给分辨率转换单元409。解码器单元408还将解码后的图像帧的PTS输出到分辨率转换表读出单元410，作为回放时间信息。
如果从解码器单元408所接收到的回放时间信息所示的回放时间与包括在内容信息列表中的回放时间一致，则分辨率转换表读出单元410从第二累积单元402读出与该回放时间相关联的分辨率转换表。然后，分辨率转换表读出单元410将所读取的分辨率转换表提供给分辨率转换单元409。
分辨率转换单元409使用从分辨率转换表读出单元410所接收到的分辨率转换表，对从解码器单元408所输入的图像帧进行分辨率转换，并且提高图像帧的分辨率。利用分辨率转换，对通过分析输入图像并对像素之间的特性进行编码所获得的数据进行索引，并通过应用分辨率转换表增大像素密度，以获得分辨率比输入图像的分辨率高的图像。图像处理单元411进行颜色处理和伽马处理等图像处理，并且将分辨率转换后的图像显示在显示单元412上。
由于在摄像设备100”’中生成分辨率转换表，因此本实施例的摄像设备100”’和回放设备使得能够清除所提取的参考图像帧，并且能够降低用于累积参考图像帧所需的存储容量。由于不需要将参考图像数据文件从摄像设备100”’传送到回放设备，因而还可以减少网络上流动的数据量。
注意，即使在本实施例中，以下结构也是可以的：在该结构中，如第一实施例中所述，从一个场景提取多个参考图像，并且根据多个参考图像创建单个分辨率转换表。
其它实施例
注意，还可以利用在系统或设备的计算机(或CPU、MPU等)上运行的软件来实现上述实施例。
因此，为了通过计算机实现上述实施例，还通过提供给计算机的计算机程序来实现本发明。换句话说，用于实现上述实施例的功能的计算机程序也是本发明的一个方面。
注意，用于实现上述实施例的计算机程序可以采用任何形式，只要是计算机可读的。例如，该计算机程序可以包括对象代码、由解释程序执行的程序或提供给操作系统的脚本数据，但是不局限于这些配置。
通过存储介质或通过有线/无线通信将用于实现上述实施例的计算机程序提供给计算机。用于提供该程序的存储介质的例子包括软盘、硬盘和磁带等磁性存储介质，MO、CD和DVD等光/磁光存储介质，以及非易失性半导体存储器。
用于使用有线或无线通信提供计算机程序的一种方法包括利用计算机网络上的服务器。在这种情况下，将能够成为形成本发明的计算机程序的数据文件(程序文件)存储在该服务器上。该程序文件可以是执行格式或源代码。
然后通过将该程序文件下载到访问该服务器的客户计算机，来提供该计算机程序。在这种情况下，还可以将该程序文件分成多个分段文件，并在不同服务器间分散这些分段文件。
也就是说，将实现上述实施例的程序文件提供给客户计算机的服务器设备也是本发明的一个方面。
还可以以加密形式来分发存储有用于实现上述实施例的计算机程序的存储介质，向满足规定要求的用户提供解密密钥信息，并允许安装到用户计算机。例如，可以通过因特网从网站进行下载来提供密钥信息。
用于实现上述实施例的计算机程序可以利用已经在计算机上运行的操作系统的功能。
此外，可以由安装在计算机中的扩展板等固件构成用于实现上述实施例的计算机程序的一部分，或者可以通过设置有扩展板等的CPU来执行该计算机程序的一部分。
尽管在“提取”图像帧以用作参考图像的方面，说明了本发明的实施例，但是不必从图像帧的序列中去除该图像帧。例如，可以通过复制相关数据，从而将参考图像帧保留在帧序列中来实现这样的“提取”。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种摄像设备，用于拍摄运动图像，所述摄像设备包括：
判断部件，用于从构成所述运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像帧；
文件生成部件，用于根据由所述判断部件判断出的所述参考图像帧，生成参考图像数据文件；
编码部件，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；
信息生成部件，用于生成指定所述参考图像帧的信息；
列表生成部件，用于生成将由所述信息生成部件生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表；以及
第一记录控制部件，用于将所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第一存储部件中，
其中，所述判断部件判断出的所述参考图像帧的分辨率高于构成编码运动图像数据文件的图像帧的分辨率。
2.根据权利要求1所述的摄像设备，其特征在于，所述判断部件从所述多个图像帧中，将被判断为相对先前图像帧发生场景变化的图像帧判断为所述参考图像帧。
3.根据权利要求1所述的摄像设备，其特征在于，还包括累积部件，所述累积部件用于累积与所述参考图像帧有关的信息，
其中，如果在所述多个图像帧中发现新判断出的图像帧，则所述判断部件参考所述累积部件，判断是否已经使用相似图像帧作为参考图像帧，以及
如果所述判断部件判断为已经使用相似图像帧作为参考图像帧，则所述列表生成部件在所述列表中将指定根据所述相似图像帧生成的参考图像数据文件的信息与指定所述新判断出的图像帧的信息相关联。
4.根据权利要求1所述的摄像设备，其特征在于，还包括：
拍摄模式设置部件，用于允许用户设置多个拍摄模式之一；以及
第二存储部件，用于与表示拍摄模式的代表图像特性的信息相关联地存储所述多个拍摄模式中的每个拍摄模式，
其中，所述判断部件参考所述第二存储部件，从所述多个图像帧中，将被判断为具有与由所述拍摄模式设置部件设置的所述拍摄模式相对应的所述代表图像特性的图像帧判断为所述参考图像帧。
5.根据权利要求1所述的摄像设备，其特征在于，还包括：
第一读出部件，用于从所述第一存储部件读出所述参考图像数据文件；
分辨率降低部件，用于根据所读取的所述参考图像数据文件中包括的所述参考图像帧，生成具有与构成所述编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；
分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表，并将所生成的所述分辨率转换表输出到所述第一记录控制部件；
第二读出部件，用于从所述第一存储部件读出所述列表；以及
列表编辑部件，用于将所述分辨率转换表与所述列表相关联，并将由此生成的列表输出到所述第一记录控制部件，
其中，所述第一记录控制部件将所述分辨率转换表和来自所述列表编辑部件的所述列表记录到所述第一存储部件。
6.根据权利要求5所述的摄像设备，其特征在于，所述第一记录控制部件从所述第一存储部件删除在生成所述分辨率转换表时所使用的所述参考图像数据文件。
7.一种图像处理设备，包括：
获取部件，用于从摄像设备获取参考图像数据文件、编码运动图像数据文件和列表，并将所获取的所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第三存储部件中；
第一读出部件，用于从所述第三存储部件读出所述参考图像数据文件；
分辨率降低部件，用于根据所读取的所述参考图像数据文件中包括的参考图像帧，生成具有与构成所述编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；
分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表；
第二读出部件，用于从所述第三存储部件读出所述列表；
列表编辑部件，用于将所述分辨率转换表与所述列表相关联，并输出由此生成的列表；
第二记录控制部件，用于将所述分辨率转换表和由所述列表编辑部件输出的所述列表记录在所述第三存储部件中；
解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；
分辨率转换部件，用于在基于由所述列表编辑部件输出的所述列表来应用所述分辨率转换表的情况下，对由所述解码部件输出的图像帧进行分辨率转换；以及
输出部件，用于输出进行所述分辨率转换后的图像帧。
8.一种图像处理设备，用于对由摄像设备拍摄的图像进行处理，
所述摄像设备包括：
分辨率降低部件，用于根据参考图像数据文件中包括的参考图像帧，生成具有与构成编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；
分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表，并输出所生成的所述分辨率转换表；以及
列表编辑部件，用于将所述分辨率转换表与列表相关联，并输出由此生成的列表，
所述图像处理设备包括：
获取部件，用于从摄像设备获取所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转换表，并将所获取的所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转换表存储在第三存储部件中；
解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；
分辨率转换部件，用于在基于由所述列表编辑部件输出的所述列表来应用所述分辨率转换表的情况下，对由所述解码部件输出的图像帧进行分辨率转换；以及
输出部件，用于输出进行所述分辨率转换后的图像帧。
9.一种用于拍摄运动图像的摄像设备的控制方法，所述控制方法包括以下步骤：
判断步骤，用于从构成所述运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像帧；
文件生成步骤，用于根据所述参考图像帧，生成参考图像数据文件；
编码步骤，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；
信息生成步骤，用于生成指定所述参考图像帧的信息；
列表生成步骤，用于生成将在所述信息生成步骤中所生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表；以及
第一记录控制步骤，用于将所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第一存储单元中，
其中，在所述判断步骤中判断出的所述参考图像帧的分辨率高于构成编码运动图像数据文件的图像帧的分辨率。
10.根据权利要求9所述的控制方法，其特征在于，所述判断步骤包括从所述多个图像帧中，将被判断为相对先前图像帧发生场景变化的图像帧定义为所述参考图像帧。
11.根据权利要求9所述的控制方法，其特征在于，包括存储与所述参考图像帧有关的信息，以及
其中，如果在所述多个图像帧中发现新判断出的图像帧，则在所述判断步骤中参考与所述参考图像帧有关的信息，判断是否已经使用相似图像帧作为参考图像帧，
如果在所述判断步骤中判断为已经使用相似图像帧作为参考图像帧，则在所述列表中将指定根据所述相似图像帧生成的所述参考图像数据文件的信息与指定新判断出的图像帧的信息相关联。
12.根据权利要求9所述的控制方法，其特征在于，还包括：
拍摄模式设置步骤，用于允许用户设置多个拍摄模式之一；以及
第二存储步骤，用于与表示拍摄模式的代表图像特性的信息相关联地将所述多个拍摄模式中的每个拍摄模式存储在第二存储单元中，
其中，在所述判断步骤中，参考所述第二存储单元，从所述多个图像帧中，将被判断为具有与由所述用户设置的所述拍摄模式相对应的所述代表图像特性的图像帧判断为所述参考图像帧。
13.根据权利要求9所述的控制方法，其特征在于，还包括：
第一读出步骤，用于从所述第一存储单元读出所述参考图像数据文件；
分辨率降低步骤，用于根据所读取的所述参考图像数据文件中包括的所述参考图像帧，生成具有与构成所述编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；
分辨率转换表生成步骤，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表；
第二读出步骤，用于从所述第一存储单元读出所述列表；以及
列表编辑步骤，用于将所述分辨率转换表与所述列表相关联，
其中，将所述分辨率转换表和已与所述分辨率转换表相关联的所述列表存储在所述第一存储单元中。
14.根据权利要求13所述的控制方法，其特征在于，在生成所述分辨率转换表之后，从所述第一存储单元删除在生成所述分辨率转换表时所使用的所述参考图像数据文件。
15.一种用于对由摄像设备拍摄的图像进行处理的图像处理设备的控制方法，
所述摄像设备包括：
判断部件，用于从构成运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像帧；
文件生成部件，用于根据由所述判断部件判断出的所述参考图像帧，生成参考图像数据文件；
编码部件，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；
信息生成部件，用于生成指定所述参考图像帧的信息；以及
列表生成部件，用于生成将由所述信息生成部件生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表，
所述控制方法包括：
获取步骤，用于获取由所述摄像设备生成的所述参考图像数据文件、所述编码运动图像数据文件和所述列表，并将所获取的所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在存储单元中；
分辨率降低步骤，用于根据所读取的所述参考图像数据文件中包括的所述参考图像帧，生成具有与构成所述编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；
分辨率转换表生成步骤，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表；
列表编辑步骤，用于将所述分辨率转换表与所述列表相关联，并输出由此生成的列表；
记录控制步骤，用于将所述分辨率转换表和在所述列表编辑步骤中输出的所述列表存储到所述存储单元；
解码步骤，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；
分辨率转换步骤，用于在基于在所述列表编辑步骤中输出的所述列表来应用所述分辨率转换表的情况下，对在所述解码步骤中输出的图像帧进行分辨率转换；以及
输出步骤，用于输出进行所述分辨率转换后的图像帧。
16.一种用于对由摄像设备拍摄的图像进行处理的图像处理设备的控制方法，
所述摄像设备包括：
分辨率降低部件，用于根据参考图像数据文件中包括的参考图像帧，生成具有与构成编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；
分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表，并输出所生成的所述分辨率转换表；以及
列表编辑部件，用于将所述分辨率转换表与列表相关联，并输出由此生成的列表，
所述控制方法包括：
获取步骤，用于获取由所述摄像设备生成的所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转换表，并将所获取的所述编码运动图像数据文件、由所述列表编辑部件输出的所述列表和所述分辨率转换表存储在存储单元中；
解码步骤，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；
分辨率转换步骤，用于在基于由所述列表编辑部件输出的所述列表来应用所述分辨率转换表的情况下，对在所述解码步骤中输出的图像帧进行分辨率转换；以及
输出步骤，用于输出进行所述分辨率转换后的图像帧。
CN2008100906631A 2007-04-09 2008-04-09 摄像设备、图像处理设备及其控制方法 Expired - Fee Related CN101287089B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007-102129 2007-04-09
JP2007102129A JP4881210B2 (ja) 2007-04-09 2007-04-09 撮像装置、画像処理装置及びそれらの制御方法

Publications (2)

Publication Number Publication Date
CN101287089A CN101287089A (zh) 2008-10-15
CN101287089B true CN101287089B (zh) 2011-07-20

Family

ID=39591986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100906631A Expired - Fee Related CN101287089B (zh) 2007-04-09 2008-04-09 摄像设备、图像处理设备及其控制方法

Country Status (4)

Country Link
US (1) US8144999B2 (zh)
EP (1) EP1981272B1 (zh)
JP (1) JP4881210B2 (zh)
CN (1) CN101287089B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010182A (ja) * 2010-06-25 2012-01-12 Sony Corp 情報処理装置と情報処理方法
WO2012176526A1 (ja) * 2011-06-21 2012-12-27 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
CN103428434B (zh) * 2012-05-23 2024-04-16 杭州美盛红外光电技术有限公司 红外摄影装置和红外摄影方法
JP5988725B2 (ja) * 2012-06-26 2016-09-07 キヤノン株式会社 撮像装置及び現像装置
EP2936808A1 (en) * 2012-12-19 2015-10-28 Thomson Licensing Methods and apparatus for automatically detecting image/video resolution and its color subsampling
JP2014225718A (ja) * 2013-05-15 2014-12-04 ソニー株式会社 画像処理装置および画像処理方法
US9967465B2 (en) * 2016-05-18 2018-05-08 Realtek Singapore Pte Ltd Image frame processing method
JP7224817B2 (ja) * 2018-09-06 2023-02-20 キヤノンメディカルシステムズ株式会社 信号データ処理装置
CN111314578B (zh) * 2018-12-12 2022-04-19 瑞鼎科技股份有限公司 影像处理装置及影像处理方法
US11790950B2 (en) * 2020-01-14 2023-10-17 Robert Salem Abraham Film-making using style transfer

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2611607B2 (ja) * 1992-06-29 1997-05-21 日本ビクター株式会社 シーンチェンジ検出装置
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
US5623308A (en) * 1995-07-07 1997-04-22 Lucent Technologies Inc. Multiple resolution, multi-stream video system using a single standard coder
JP4093621B2 (ja) 1997-12-25 2008-06-04 ソニー株式会社 画像変換装置および画像変換方法、並びに学習装置および学習方法
US7324139B2 (en) * 2000-01-20 2008-01-29 Ricoh Company, Ltd. Digital camera, a method of shooting and transferring text
JP3702464B2 (ja) 2002-05-08 2005-10-05 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP2004072148A (ja) * 2002-08-01 2004-03-04 Matsushita Electric Ind Co Ltd Ａｖデータ記録装置および方法
JP4204445B2 (ja) 2003-11-05 2009-01-07 三洋電機株式会社 コンテンツ記録装置
JP4387264B2 (ja) * 2004-07-27 2009-12-16 京セラ株式会社 撮像装置およびその画像生成方法
JP2006019828A (ja) * 2004-06-30 2006-01-19 Toshiba Corp 画像記録装置
KR100653090B1 (ko) * 2004-07-13 2006-12-06 삼성전자주식회사 디스플레이 사이즈 조정 장치 및 그 방법
US7792190B2 (en) 2004-09-09 2010-09-07 Media Tek Singapore Pte Ltd. Inserting a high resolution still image into a lower resolution video stream
JP4802565B2 (ja) 2005-06-17 2011-10-26 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
CN101287089A (zh) 2008-10-15
EP1981272B1 (en) 2014-10-22
EP1981272A2 (en) 2008-10-15
JP2008259142A (ja) 2008-10-23
US20080247654A1 (en) 2008-10-09
US8144999B2 (en) 2012-03-27
JP4881210B2 (ja) 2012-02-22
EP1981272A3 (en) 2011-09-28

Similar Documents

Publication Publication Date Title
CN101287089B (zh) 摄像设备、图像处理设备及其控制方法
US11281712B2 (en) System, apparatus, method, program and recording medium for processing image
US20080247600A1 (en) Image recording device, player device, imaging device, player system, method of recording image, and computer program
CN102611865B (zh) 处理运动图像数据的运动图像处理装置及运动图像处理方法
CN101282446B (zh) 图像记录装置及方法、再生系统及装置、摄像装置
EP2573758B1 (en) Method and apparatus for displaying summary video
CN103856833A (zh) 视频处理设备和方法
WO2008035688A1 (fr) Dispositif et procédé d'enregistrement, programme, et dispositif et procédé de lecture
JP2008278466A (ja) 画像処理装置およびそれを搭載した撮像装置、画像処理方法
CN105144700A (zh) 图像处理设备和图像处理方法
CN105052126A (zh) 摄像设备和摄像设备的控制方法
CN102630003A (zh) 图像数据记录设备及其控制方法
KR101812103B1 (ko) 썸네일이미지 설정방법 및 설정프로그램
CN101753943B (zh) 图像处理设备和图像处理方法
JP2009212935A (ja) 画像処理装置および方法、並びにプログラム
US8798439B2 (en) Method and apparatus for continuously reproducing moving picture files
JP6159150B2 (ja) 画像処理装置及びその制御方法、プログラム
JP2011015161A (ja) 静止画取得装置、静止画取得方法及び静止画取得プログラム
JP2008276706A (ja) コンテンツ記録装置、コンテンツ再生装置、コンテンツ再生システム、撮像装置、および、これらにおける処理方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110720

Termination date: 20190409