CN102263987A - 图像处理设备及其控制方法 - Google Patents

图像处理设备及其控制方法 Download PDF

Info

Publication number
CN102263987A
CN102263987A CN2011101453081A CN201110145308A CN102263987A CN 102263987 A CN102263987 A CN 102263987A CN 2011101453081 A CN2011101453081 A CN 2011101453081A CN 201110145308 A CN201110145308 A CN 201110145308A CN 102263987 A CN102263987 A CN 102263987A
Authority
CN
China
Prior art keywords
data
unit
additional information
multiplexed
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101453081A
Other languages
English (en)
Other versions
CN102263987B (zh
Inventor
中岛启文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN102263987A publication Critical patent/CN102263987A/zh
Application granted granted Critical
Publication of CN102263987B publication Critical patent/CN102263987B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像处理设备及其控制方法。图像处理设备进行控制以使得根据更新周期将图像数据的多个附加信息分类成多个对象，并且根据各对象相应的更新周期，生成并输出与各分类对象相对应的附加信息的数据，从而将根据更新周期生成并输出的与各对象相对应的附加信息的数据多路复用至输入的图像数据。图像处理设备将多路复用后的数据解多路复用成图像数据和附加信息，根据解多路复用出的附加信息生成要更新的对象的更新后的图像数据，并且将该更新后的图像数据叠加至与图像数据相对应的视频图像。

Description

图像处理设备及其控制方法
技术领域
本发明涉及一种通过数字摄像机等所拍摄的图像数据的图像处理设备，尤其涉及一种用于将位图数据叠加至运动图像流数据的图像处理技术。
背景技术
存在一种诸如摄像机等的记录设备，用于将运动图像数据与诸如运动图像拍摄的日期和时间以及拍摄时的照相机信息等的附加信息一起记录在诸如数字多功能光盘(DVD)、硬盘驱动器(HDD)或存储卡等的记录介质上。
在这类记录设备中，通过使用诸如MPEG2或H.264等的方法压缩编码并记录运动图像数据。
生成附加信息作为位图数据，然后对其进行游程编码。
将编码后的运动图像数据和位图数据多路复用成MPEG-TS(传输流)形式，并且将其作为TS格式的流文件记录在记录介质上。
由于附加信息是被多路复用成TS格式的流的覆盖位图数据(字幕数据)，因而可以通过符合覆盖位图数据的显示规则的再现设备来再现和显示该附加信息。
根据这类情况，在日本特开2009-49726号中，提出了将根据独有规则在流中记录为元数据的附加信息转换成覆盖位图数据并进行记录的这样一种技术。通过这一技术，即使在符合覆盖位图数据的显示规则的再现设备中，也可以再现和显示这类附加信息。
然而，由于位图数据是非常大的数据，因而出现这样的问题：当多路复用大量附加信息时，除非不降低运动图像数据的比特率，否则不能维持整个运动图像处理系统的比特率。
因此，本发明的目的是提供一种能够在用于将覆盖位图多路复用至运动图像的运动图像处理中将位图数据有效率地多路复用至图像数据的图像处理设备。
发明内容
为解决以上问题，根据本发明的一个方面，一种图像处理设备，包括：输入单元，用于输入图像数据；数据生成单元，用于生成与所述输入单元所输入的图像数据有关的多个附加信息的数据；图像处理单元，用于通过对所述数据生成单元所生成的附加信息的数据和所述图像数据进行多路复用，生成流数据；以及控制单元，用于控制所述数据生成单元，以根据所述多个附加信息的更新周期来将所述多个附加信息分类成多个对象，并且根据分类出的各个对象的更新周期来生成并输出与各个对象相对应的附加信息的数据，其中，所述图像处理单元将根据各个对象的更新周期从所述数据生成单元输出的与各个对象相对应的附加信息的数据多路复用至所述图像数据。
根据本发明的另一方面，一种图像处理设备的控制方法，所述图像处理设备具有：输入单元，用于输入图像数据；以及数据生成单元，用于生成与所述输入单元所输入的图像数据有关的多个附加信息的数据，所述控制方法包括：图像处理步骤，用于通过对所述数据生成单元所生成的附加信息的数据和所述图像数据进行多路复用，生成流数据；以及控制所述数据生成单元，以根据所述多个附加信息的更新周期来将所述多个附加信息分类成多个对象，并且根据分类出的各个对象的更新周期来生成并输出与各个对象相对应的附加信息的数据，其中，在所述图像处理步骤中，将根据各个对象的更新周期从所述数据生成单元输出的与各个对象相对应的附加信息的数据多路复用至所述图像数据。
根据本发明的又一方面，一种用于处理流数据的图像处理设备，在所述流数据中，被分类成多个对象并根据分类出的各个对象的更新周期所生成的附加信息被多路复用至图像数据，所述附加信息包括用于指定要更新的对象在与所述图像数据相对应的图像上的区域的区域数据和该对象的更新后的数据，所述图像处理设备包括：输入单元，用于输入所述流数据；解多路复用单元，用于将所述输入单元所输入的流数据解多路复用成根据所述对象的更新周期所多路复用的附加信息和所述图像数据；图像数据处理单元，用于通过处理所述解多路复用单元所解多路复用出的图像数据，生成图像；附加信息处理单元，用于通过从所述解多路复用单元所解多路复用出的附加信息获得要更新的对象的区域数据和更新后的数据，生成附加信息的更新后的图像数据；以及叠加单元，用于叠加所述图像数据处理单元所生成的图像和所述附加信息处理单元所生成的更新后的图像数据。
根据本发明的另一方面，一种用于处理流数据的图像处理设备的控制方法，在所述流数据中，被分类成多个对象并根据分类出的各个对象的更新周期所生成的附加信息被多路复用至图像数据，所述附加信息包括用于指定要更新的对象在与所述图像数据相对应的图像上的区域的区域数据和该对象的更新后的数据，所述控制方法包括：输入步骤，用于输入所述流数据；解多路复用步骤，用于将在所述输入步骤中输入的流数据解多路复用成根据所述对象的更新周期所多路复用的附加信息和所述图像数据；图像数据处理步骤，用于通过处理在所述解多路复用步骤中解多路复用出的图像数据，生成图像；附加信息处理步骤，用于通过从在所述解多路复用步骤中解多路复用出的附加信息获得要更新的对象的区域数据和更新后的数据，生成附加信息的更新后的图像数据；以及叠加步骤，用于叠加在所述图像数据处理步骤中所生成的图像和在所述附加信息处理步骤中生成的更新后的图像数据。
根据本发明，在用于将覆盖位图数据多路复用至运动图像的运动图像处理中，可以尽可能地减少由多路复用所引起的对图像数据的比特率的影响。因此，在保持运动图像的高图片质量时，可以生成多路复用了附加信息的流。
通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。
附图说明
图1是具有根据本发明第一实施例的图像处理设备的记录设备的框图；
图2A和2B是用于说明根据本发明第一实施例所生成的TS格式的流的结构的图；
图3A和3B是示出根据本发明第一实施例的位图数据的显示的例子的图；
图4A、4B、4C和4D是根据本发明第一实施例的AV流的概念图；
图5是具有根据本发明第二实施例的图像处理设备的再现设备的框图；
图6是示出根据本发明第二实施例在再现操作中缓冲存储器中的内容的图；
图7是根据本发明第二实施例在再现操作中位图数据生成单元的操作的流程图；
图8A、8B、8C和8D是示出根据本发明第二实施例在再现操作中位图数据生成单元的缓冲存储器中的内容的图。
具体实施方式
接着参考附图详细说明本发明的典型实施例。以下所述的实施例是用于实现本发明的例子，并且可以根据应用本发明的设备的结构和各种类型的条件，适当修改或改变这些实施例。也就是说，本发明不局限于以下实施例。
第一实施例
首先参考图2A和2B说明与本发明第一实施例有关的MPEG2-TS格式的流(以下称为TS流)的概要。
在本实施例的TS流中，如图2A所示，多路复用图像数据和位图数据。更具体地，将图像数据和位图数据均作为封包数据多路复用至TS包。
由通过打包使用诸如MPEG2或H.264等的编码方法所编码的数据而获得的数据V(以下称为视频TS包V)构成图像数据。由通过打包利用游程编码对图像数据的附加信息进行编码的数据所获得的数据B(以下称为位图TS包B)构成位图数据。
如图2A所示多路复用位图数据本身，并且由开始单位、数据单位和结束单位构成位图数据。
如图2B所示，除示出开始单位的单位标识符以外，在开始单位中还记录了对象的数量、各对象的ID、各对象在水平方向上在显示画面上的位置以及各对象在垂直方向上在显示画面上的位置。除示出数据单位的单位标识符以外，在数据单位中还记录了各对象在水平方向上的宽度、各对象在垂直方向上的长度和游程数据。在结束单位中记录了示出结束单位的单位标识符。基于这些数据，如图3A所示提供用于定义各对象的显示区域的模板(区域数据)和要显示的数据(更新数据)。
随后参考图1说明将本发明应用于运动图像记录设备的第一实施例。图1是示出运动图像记录设备的结构的框图。
具有诸如CPU等的计算机的控制单元100控制整个记录设备。
照相机单元101具有诸如用于将通过镜头所输入的图像转换成电信号的电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)等的摄像传感器。照相机单元101将所拍摄的视频图像作为数字数据(图像数据)输出给编码器/解码器(编解码器)102。同时，作为与拍摄操作的控制有关的照相机信息，照相机单元101向控制单元100输出调焦信息和曝光信息。
编码器/解码器(编解码器)102对输入的图像数据进行编码或解码。编码方法是MPEG2或H.264等。
位图数据生成单元103生成通过对要叠加在所拍摄的视频图像上的图像(附加信息)进行游程编码所获得的位图数据。位图数据生成单元103还具有用于对通过游程编码所生成的位图数据进行解码的功能。
TS多路复用单元104对通过编解码器102所编码的图像数据和通过位图数据生成单元103所编码的位图数据进行TS打包，并且多路复用所获得的TS包，从而生成TS流。TS多路复用单元104还具有用于解多路复用被多路复用的TS流的功能。
缓冲存储器105临时存储从TS多路复用单元104所输出的TS流，并且被用作用于对记录介质107或控制单元100的工作存储器进行写入的缓冲器。
记录介质控制单元106在记录模式下控制从缓冲存储器105向记录介质107对TS流的写入。记录介质控制单元106在再现模式下控制从记录介质107向缓冲存储器105对TS流的写入。
记录介质107由用于存储TS流的闪速存储器等构成。
GPS(全球定位系统)单元108获得GPS信息。
显示单元109显示通过照相机单元101所拍摄的图像或从记录介质107所再现的视频图像等。显示单元109在控制单元100的控制下还显示诸如设置显示画面等的各种类型的必要图像。
除上述结构以外，还可以设置用于向外部设备发送所生成的TS流的通信接口(未示出)。
接着说明运动图像的记录操作。通过将预先安装在存储器(未示出)中的控制程序加载进控制单元100并执行该控制程序来进行记录操作。
当从用户接口(未示出)接收到记录指示时，图1的运动图像记录设备开始运动图像记录操作。控制单元100驱动照相机单元101。首先，照相机单元101将所拍摄的图像转换成数字数据(图像数据)，并且将其输出给编解码器102。
因而，编解码器102通过控制单元100来驱动，并且对从照相机单元101输入的图像数据进行编码，而且将编码数据输出给TS多路复用单元104。
同时，位图数据生成单元103通过控制单元100来驱动，并且生成和编码叠加在所拍摄的图像上的位图数据，而且将编码后的数据输出给TS多路复用单元104。下面将说明所生成的位图数据。
TS多路复用单元104通过对由编解码器102所编码的数据和由位图数据生成单元103所生成并编码的数据进行打包，生成TS包。TS多路复用单元104将这些TS包多路复用成一个TS流，并且将其存储在缓冲存储器105中。
随后，控制单元100控制记录介质控制单元106，并且将存储在缓冲存储器105中的TS流数据作为视听(AV)流文件记录到记录介质107。
根据记录在记录介质107中的TS流数据，通过相反地进行上述记录处理操作的操作处理，可以再现图像数据和位图数据。在这种情况下，用于执行与多路复用相反的处理的解多路复用器电路是众所周知的技术，并且可以通过编解码器102的解码功能实现解码。
接着说明由位图数据生成单元103所生成的位图数据。在本实施例中，作为位图数据(多个附加信息)生成拍摄日期和时间、GPS信息、拍摄者、时间码、调焦信息和曝光信息。位图数据生成单元103从控制单元100中所保持的日历功能单元和时间管理单元(未示出)获得与作为位图数据的基础的拍摄日期和时间及时间码有关的信息。位图数据生成单元103从GPS单元108获得作为位图数据的基础的GPS信息。位图数据生成单元103还从照相机单元101获得作为位图数据的基础的调焦信息和曝光信息。基于用户通过显示单元102上显示的设置显示画面所指示的设置信息，确定作为位图数据的基础的拍摄者的信息。
在本发明中，如下按每一对象对位图数据进行分类。
分类成与运动图像帧相关度高的数据和与运动图像帧相关度低的数据。
帧相关度高的数据：拍摄日期和时间、GPS信息以及拍摄者
帧相关度低的数据：时间码、调焦信息和曝光信息
将帧相关度低的数据分类成需要每一帧更新的数据和不需要每一帧更新的数据。
需要每一帧更新的数据：时间码(帧)、调焦信息和曝光信息
不需要每一帧更新的数据：时间码(小时、分钟、秒)
此外，按每一I图片(编码类型)和按每一小时(拍摄时间)对不需要每一帧更新的数据进行分类。
每一I图片：时间码(分钟、秒)
每一时间：时间码(小时)
因而，根据更新周期将位图数据分类成下面的五个对象。
拍摄日期和时间、拍摄者以及GPS信息---对象1---每一拍摄场景
调焦信息和曝光信息   ---对象2---每一帧
时间码1(帧)          ---对象3---每一帧
时间码2(秒、分钟)    ---对象4---每一I图片
时间码3(小时)        ---对象5---每一小时
图3A和3B示出叠加在运动图像上的位图数据的显示的例子。通过在控制单元100的控制下再生和显示例如记录在记录介质107上的TS流，可以进行该显示。
图3A示出用于指定各对象的位图数据的显示位置的模板和显示区域中的数据显示格式。图3B示出在将位图数据叠加在图像数据上时的显示画面的例子。预先设置图3A的显示格式，或者可以通过控制单元100和用户界面等(未示出)从多个设置适当选择图3A的显示格式。通过下面的结构更新所叠加和显示的位图数据。
图4A和4D示出要记录到记录介质107上的AV流的概念图。图4A示出AV流，并且图4B～4D示出要叠加在AV流的各个帧上的对象的位图数据。
如图4A～4D所示，图4B所示的所有对象1～5的位图数据被叠加在图4A所示的开始帧400和404上，换句话说，在开始帧400和404中多路复用所有对象。按每一小时将对象5的位图数据叠加在随后的帧上，按图4A所示的每一I图片帧402、403和405叠加图4D所示的对象2～4的位图数据，换句话说，针对每一I图片帧402、403和405多路服用图4D所示的位图数据，并且按图4A所示的每一帧401叠加图4C所示的对象2和3的位图数据，换句话说，在其它帧401中多路复用图4C所示的位图数据。
通过使用显示单元109的用户界面预先设置拍摄者的信息，并且将其保存在作为控制单元100的工作存储器所使用的缓冲存储器105的区域中。
从控制单元100所保持的日历功能单元获得拍摄日期和时间的信息，并且将其保存在作为控制单元100的工作存储器所使用的缓冲存储器105的区域中。
在开始记录时，响应于来自控制单元100的指示，从GPS单元108获得GPS信息，并且将其保存在作为控制单元100的工作存储器所使用的缓冲存储器105的区域中。
对于调焦信息和曝光信息(拍摄条件)，按每一帧将由照相机单元101生成并被输出给控制单元100的信息发送给位图数据生成单元103。
通过控制单元100生成时间码，并且按每一帧将其发送给位图数据生成单元103。
在开始记录之后，控制单元100在通过编解码器102编码头帧时，向位图数据生成单元103发送对象1的生成指示。
同时，控制单元100发送保持拍摄日期和时间、拍摄者的数据的缓冲存储器105的地址和大小、以及GPS信息。位图数据生成单元103从该缓冲存储器读出拍摄日期和时间以及拍摄者的信息，根据这些数据和从GPS单元108所发送的数据生成对象1，并且对对象1进行编码。
类似地，控制单元100在通过编解码器102编码图像数据的各帧时，向位图数据生成单元103发送对象2和3的生成指示。同时，将在控制单元100中所生成的时间码的帧部分的数据发送给位图数据生成单元103。位图数据生成单元103使用从照相机单元101输出给控制单元100的信息作为调焦信息和曝光信息，使用在控制单元100中所生成的信息作为时间码，生成对象2和3以将它们叠加在每一帧上，并且对它们进行编码。
类似地，控制单元100在图像数据是由编解码器102所编码的I图片时，向位图数据生成单元103发送对象4的生成指示。同时，将在控制单元100中所生成的时间码的秒和分钟的数据发送给位图数据生成单元103。位图数据生成单元103基于所发送的数据生成对象4，以将对象4叠加在图像数据的每一I图片上，并且对对象4进行编码。
类似地，控制单元100在每隔单位时间通过编解码器102编码帧时，向位图数据生成单元103发送对象5的生成指示。同时，控制单元100将时间码的小时数据发送给位图数据生成单元103。位图数据生成单元103基于所发送的数据生成对象5，以每隔单位时间叠加对象5，并且对对象5进行编码。
此后，如上所述，将通过上述多路复用处理所生成的流记录在记录介质107上。
根据上述本发明的实施例，根据更新周期来分类图像数据的附加信息，并且可以以各分类信息的覆盖位图数据的更新周期在图像数据上多路复用各分类信息的覆盖位图数据。因而，由于可以降低运动图像的每一帧多路复用的附加信息的数据量，因而可以减少由于图像数据的数据量的增大所引起的对比特率的影响。因此，在保持运动图像的分辨率时，可以生成添加了必要附加信息的运动图像流。
在上述实施例中，针对运动图像记录设备的记录数据处理说明了本发明的图像处理。然而，本发明的图像处理不局限于该记录处理。例如，本发明的处理甚至可应用于如图3A和3B所示的用于显示所拍摄的运动图像和附加信息的处理、或者用于将流发送给外部设备的处理。另外，在这种情况下，可以避免处理速度的下降，并且可以保持平滑显示和发送率。还可以使用除上述信息以外的信息作为附加信息。
此外，即使在显示通过使用本发明所记录或发送的流数据的情况下，由于每一帧的多路复用的附加信息的数据量小，因而也可以获得与该流生成处理的优点相同的优点。
第二实施例
随后参考图5和6，作为本发明的第二实施例，说明通过具有根据第一实施例的图像处理设备的运动图像记录设备所记录的AV流文件的再现操作。图5是具有根据本发明第二实施例的图像处理设备的再现设备的框图，并且示出沿着处理流程的块结构。图6是示出在图5的再现设备的操作中缓冲存储器105中的内容的图。在图5所示的结构中，以相同附图标记表示与图1所示的块相同的块。也就是说，由于图5所示的块101～109与图1中相同附图标记所示的块相同，因而在此省略对其的说明。
由于本实施例中的再现操作是通过第一实施例中所述的记录操作所记录的TS流的再现操作，因而可以通过相反地进行如上所述的记录操作来实现。还可以通过将预先安装在存储器(未示出)中的控制程序加载到控制单元100、并且以与第一实施例相同的方式执行该控制程序来实现本实施例中的再现操作。
下面参考附图详细说明本实施例中的再现操作。
当再现设备通过用户界面(未示出)接收到再现指示时，开始再现操作。
控制单元100控制记录介质控制单元106，读出记录在记录介质107上的AV流文件，并且将其作为TS流数据写入缓冲存储器105(图6中的A)。
随后，控制单元100指示TS多路复用单元104读出写入缓冲存储器105中的TS流数据。接收到该指示的TS多路复用单元104从缓冲存储器105读出TS流数据，通过解多路复用而将其分成编码的图像数据和编码的位图数据，并且随后将这些数据写回到缓冲存储器105中(图6中的B)。
随后，控制单元100向编解码器102发出指示以读出被写回到缓冲存储器105的编码的图像数据。此外，控制单元100向位图数据生成单元103发出指示，以读出被写回到缓冲存储器105的编码的位图数据。此时，如果对于所读出的编码的图像数据的每一帧，没有更新编码的位图数据，则控制单元100通知位图数据生成单元103没有更新该数据。在生成图4A～4D中的AV流时，控制单元100针对每一对象向位图数据生成单元103指示位图数据的更新定时。也就是说，由于在更新定时针对每一对象生成并多路复用位图数据，因而对于不存在要更新的对象的帧，不多路复用位图数据。
响应于控制单元100的指示，编解码器102从缓冲存储器105读出编码的图像数据，对其进行解码，并且将解码的数据作为数字图像数据再次写回到缓冲存储器105(图6中的C)。在控制单元100的控制下，如果更新编码的位图数据，则位图数据生成单元103从缓冲存储器105读出编码的位图数据，对其进行解码，并且将解码的数据再次写回到缓冲存储器105(图6中的C)。
如图6中的C所示，位图数据生成单元103使用缓冲存储器105作为帧存储器，并且在将位图数据写回到缓冲存储器105时将位图数据展开到与显示图像的显示位置相对应的存储器位置。
随后，控制单元100向显示单元109发出指示，以读出写入缓冲存储器105中的数字图像数据和解码的位图数据。接收到该指示的显示单元109从缓冲存储器105读出数字图像数据和解码的位图数据，将它们叠加在一个图像上，并且显示该图像。
通过对每一帧重复执行上述处理，与运动图像一起再现和显示附加信息。
随后，参考图7和8A～8D详细说明再现模式下位图数据生成单元103的操作。图7是位图数据生成单元103的操作的流程图，并且图8A～8D示出图6中的C的缓冲存储器中的内容。当控制单元100指示位图数据生成单元103从缓冲存储器105读出编码的位图数据时，响应于这一指示，通过位图数据生成单元103执行图7中的处理。所再现的AV流文件是通过本发明中的记录操作所生成的文件(图4)。
当控制单元100指示读出写入缓冲存储器105中的编码的位图数据时，在步骤S101开始本实施例的处理。
在步骤S102，判断是否存在来自控制单元100的数据更新通知。当通过数据更新通知通知了不存在更新时，处理例程进入步骤S110，并且完成该处理。在这种情况下，对于位图数据的显示，由于没有更新前一帧中的显示，因而显示与前一帧中的内容相同的内容。
在步骤S103，基于示出开始单位的标识符，判断从缓冲存储器105所读出的编码的位图数据的单位标识符。如果作为该判断的结果，判断为开始单位标识符，则在步骤S104，根据与所读入的开始单位中所包括的对象的数量一样多的数量的对象在显示画面上的水平位置和垂直位置，在缓冲存储器1(展开用的帧存储器)中保留相应位置(图8A)。在本实施例中，如图8A～8D所示，在缓冲存储器105中准备用于写回的两个帧存储器1和2。使用帧存储器1和2中的一个(帧存储器1)来展开对象，并且使用另一个(帧存储器2)来显示对象。如上所述，对于展开用的帧存储器1，保留对象的开始位置。图8A～8D示出在仅更新在第一实施例中所记录的对象3的时间码(帧)时的再现处理的例子。
随后，在步骤S105，通过示出数据单位的标识符来判断所读入的编码的位图数据的标识符。如果作为该判断的结果，判断为数据单位，则在步骤S106，根据该数据单位中所包括的各对象的宽度和长度，在展开用的帧存储器1中保留相对于在步骤S104所保留的位置具有相应宽度和长度的区域(图8B)。
在步骤S107，对数据单位中所包括的数据进行解码，并且在展开用的帧存储器1中所保留的区域中展开位图数据(图8C)。
对与开始单位中所包括的对象的数量一样多的数量的对象，执行至此为止的处理。
在步骤S108，通过示出结束单位的标识符来判断从缓冲存储器105读出的编码的位图数据的单位标识符。如果作为该判断的结果，判断为结束单位，则在步骤S109，将在展开用的帧存储器1中所展开的数据展开在显示用的帧存储器2中。因而，仅写入(更新)存储在显示用的帧存储器2中的位图数据中的、在展开用的帧存储器1中所展开的对象的数据。
在步骤S110，完成该处理。
如上所述，仅重写再现的运动图像中所叠加的位图数据中的更新对象，并且不更新的其它对象的数据保持不变从而保持与前一帧的数据相同的数据。将在用于展开的帧存储器2中所展开的位图数据叠加在编解码器102中所解码的并通过显示单元109所显示的图像数据上，例如，如图3B所示。
根据如上所述的第二实施例，可以根据更新对象的更新周期，作为仅更新对象的更新处理来执行图像数据的附加信息的再现处理。因而，由于可以降低运动图像的每一帧所多路复用的附加信息的再现处理的负荷，因而可以减少由于图像数据的数据量的增大所引起的对比特率的影响。因此，可以在保持运动图像的分辨率时，再现添加了必要附加信息的运动图像流。
尽管以上对于运动图像再现设备的数据再现显示处理说明了本发明的图像处理，但是本发明还可应用于用于接收所发送的流并显示该流的处理。另外，在这种情况下，由于减少了每一帧所多路复用的附加信息的数据量，因而可以避免处理速度的降低，并且可以平滑地显示所接收到的图像数据。
此外，还可以使用除上述信息以外的信息作为附加信息。
尽管以上对于典型实施例详细说明了本发明，但是本发明不局限于这些特定实施例，并且在不脱离本发明的本质的范围内的各种变形例也包含在本发明中。
自然地，通过从记录了用于实现上述实施例的功能的软件的程序代码的存储介质向系统或设备提供该程序代码，同样实现本发明的目地。也就是说，通过下面的方法实现本发明的目地，其中，通过该方法，系统或设备的计算机(或者CPU或MPU)读出存储在存储介质中的程序代码，并且基于该程序代码执行处理。
在这种情况下，从存储介质所读出的程序代码本身实现上述实施例的功能，并且该程序代码本身和存储该程序代码的存储介质构成本发明。
作为用于提供该程序代码的存储介质，例如，可以使用软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡或ROM等。
本发明还包含下面的情况：运行在计算机上的O S(基本系统或操作系统)基于通过计算机所读出的程序代码的指示，执行部分或全部实际处理，从而实现上述实施例的功能。
此外，本发明还包含下面的情况：将从存储介质所读出的程序代码写入对插入计算机的功能扩展板或与计算机连接的功能扩展单元所设置的存储器中，并且在此后执行该程序代码。也就是说，本发明还包含下面的情况：对该功能扩展板或功能扩展单元所设置的CPU等基于存储器中的程序代码的指示，执行部分或全部实际处理，并且通过这些处理实现上述实施例的功能。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (15)

1.一种图像处理设备，包括：
输入单元，用于输入图像数据；
数据生成单元，用于生成与所述输入单元所输入的图像数据有关的多个附加信息的数据；
图像处理单元，用于通过对所述数据生成单元所生成的附加信息的数据和所述图像数据进行多路复用，生成流数据；以及
控制单元，用于控制所述数据生成单元，以根据所述多个附加信息的更新周期来将所述多个附加信息分类成多个对象，并且根据分类出的各个对象的更新周期来生成并输出与各个对象相对应的附加信息的数据，
其中，所述图像处理单元将根据各个对象的更新周期从所述数据生成单元输出的与各个对象相对应的附加信息的数据多路复用至所述图像数据。
2.根据权利要求1所述的图像处理设备，其特征在于，所述数据生成单元针对所述多个附加信息中的各个附加信息，生成编码的位图数据。
3.根据权利要求1所述的图像处理设备，其特征在于，所述多个附加信息至少包括拍摄日期和时间、GPS信息、拍摄者、时间码、调焦信息以及曝光信息中的一个或多个，以及所述控制单元通过使用所述图像数据的场景、帧、帧的编码类型和拍摄时间作为更新周期，对所述多个附加信息进行分类。
4.根据权利要求1所述的图像处理设备，其特征在于，所述控制单元根据所述多个附加信息的更新周期，将所述多个附加信息中的各个附加信息提供给所述数据生成单元。
5.根据权利要求1所述的图像处理设备，其特征在于，还包括用于生成所述图像数据的拍摄单元，其中，所述拍摄单元将与拍摄条件有关的信息提供给所述控制单元。
6.根据权利要求1所述的图像处理设备，其特征在于，所述数据生成单元所生成的附加信息的数据包括用于示出要更新的对象在与所述图像数据相对应的图像上的区域的区域数据和该对象的更新后的数据，以及所述图像处理设备还包括记录单元，所述记录单元用于将所述图像处理单元所生成的流数据记录在记录介质中。
7.根据权利要求1所述的图像处理设备，其特征在于，还包括显示单元，所述显示单元用于显示与从所述图像处理单元输出的流数据相对应的运动图像，其中，所述控制单元控制所述显示单元，以将所述附加信息叠加到所述运动图像并且进行显示。
8.一种图像处理设备的控制方法，所述图像处理设备具有：输入单元，用于输入图像数据；以及数据生成单元，用于生成与所述输入单元所输入的图像数据有关的多个附加信息的数据，所述控制方法包括：
图像处理步骤，用于通过对所述数据生成单元所生成的附加信息的数据和所述图像数据进行多路复用，生成流数据；以及
控制所述数据生成单元，以根据所述多个附加信息的更新周期来将所述多个附加信息分类成多个对象，并且根据分类出的各个对象的更新周期来生成并输出与各个对象相对应的附加信息的数据，
其中，在所述图像处理步骤中，将根据各个对象的更新周期从所述数据生成单元输出的与各个对象相对应的附加信息的数据多路复用至所述图像数据。
9.一种用于处理流数据的图像处理设备，在所述流数据中，被分类成多个对象并根据分类出的各个对象的更新周期所生成的附加信息被多路复用至图像数据，所述附加信息包括用于指定要更新的对象在与所述图像数据相对应的图像上的区域的区域数据和该对象的更新后的数据，
所述图像处理设备包括：
输入单元，用于输入所述流数据；
解多路复用单元，用于将所述输入单元所输入的流数据解多路复用成根据所述对象的更新周期所多路复用的附加信息和所述图像数据；
图像数据处理单元，用于通过处理所述解多路复用单元所解多路复用出的图像数据，生成图像；
附加信息处理单元，用于通过从所述解多路复用单元所解多路复用出的附加信息获得要更新的对象的区域数据和更新后的数据，生成附加信息的更新后的图像数据；以及
叠加单元，用于叠加所述图像数据处理单元所生成的图像和所述附加信息处理单元所生成的更新后的图像数据。
10.根据权利要求9所述的图像处理设备，其特征在于，所述附加信息处理单元根据所述区域数据来在存储器中指定区域，并且将所述更新后的数据写入所指定的区域，从而生成所述更新后的图像数据。
11.根据权利要求9所述的图像处理设备，其特征在于，所述更新后的图像数据是编码的位图数据，以及所述叠加单元通过将所述更新后的图像数据叠加到所生成的图像来生成合成图像。
12.根据权利要求9所述的图像处理设备，其特征在于，所述附加信息至少包括拍摄日期和时间、GPS信息、拍摄者、时间码、调焦信息以及曝光信息中的一个或多个作为所述对象，其中，通过使用所述图像数据的场景、帧、帧的编码类型和拍摄时间作为所述更新周期，对所述对象进行分类，并且按每一更新周期将分类出的对象的附加信息多路复用至所述图像数据。
13.根据权利要求9所述的图像处理设备，其特征在于，所述输入单元从记录介质再生所述流数据。
14.根据权利要求9所述的图像处理设备，其特征在于，还包括显示单元，所述显示单元用于显示所述叠加单元所叠加后的合成数据。
15.一种用于处理流数据的图像处理设备的控制方法，在所述流数据中，被分类成多个对象并根据分类出的各个对象的更新周期所生成的附加信息被多路复用至图像数据，所述附加信息包括用于指定要更新的对象在与所述图像数据相对应的图像上的区域的区域数据和该对象的更新后的数据，
所述控制方法包括：
输入步骤，用于输入所述流数据；
解多路复用步骤，用于将在所述输入步骤中输入的流数据解多路复用成根据所述对象的更新周期所多路复用的附加信息和所述图像数据；
图像数据处理步骤，用于通过处理在所述解多路复用步骤中解多路复用出的图像数据，生成图像；
附加信息处理步骤，用于通过从在所述解多路复用步骤中解多路复用出的附加信息获得要更新的对象的区域数据和更新后的数据，生成附加信息的更新后的图像数据；以及
叠加步骤，用于叠加在所述图像数据处理步骤中所生成的图像和在所述附加信息处理步骤中生成的更新后的图像数据。
CN201110145308.1A 2010-05-31 2011-05-31 图像处理设备及其控制方法 Expired - Fee Related CN102263987B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-124175 2010-05-31
JP2010124175 2010-05-31
JP2011065787A JP5753418B2 (ja) 2010-05-31 2011-03-24 画像処理装置
JP2011-065787 2011-03-24

Publications (2)

Publication Number Publication Date
CN102263987A true CN102263987A (zh) 2011-11-30
CN102263987B CN102263987B (zh) 2014-03-12

Family

ID=45010415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110145308.1A Expired - Fee Related CN102263987B (zh) 2010-05-31 2011-05-31 图像处理设备及其控制方法

Country Status (3)

Country Link
US (1) US8625002B2 (zh)
JP (1) JP5753418B2 (zh)
CN (1) CN102263987B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883864A (zh) * 2022-12-19 2023-03-31 国网河北省电力有限公司营销服务中心 一种记录多维数据的视频编解码方法、装置及终端设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3005821B1 (fr) * 2013-05-15 2016-10-28 Peugeot Citroen Automobiles Sa Procede de transmission de donnees de diverses origines au moyen de trames video numeriques, et dispositifs d'affichage et de traitement associes
JP6403683B2 (ja) * 2013-11-27 2018-10-10 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、並びにプログラム
JP6521734B2 (ja) * 2015-05-19 2019-05-29 オリンパス株式会社 動画記録システム、動画記録方法
JP7090730B2 (ja) 2018-04-05 2022-06-24 キヤノン株式会社 ファイル内に画像をカプセル化するための方法及び装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141070A1 (en) * 2002-07-31 2004-07-22 Mamoru Chiku Digital camera
CN1799257A (zh) * 2003-06-03 2006-07-05 索尼株式会社 记录和/或重放系统
CN101373624A (zh) * 2007-08-21 2009-02-25 索尼株式会社 用于转换信息的设备、方法和程序
US20090322906A1 (en) * 2008-06-26 2009-12-31 Casio Computer Co., Ltd. Imaging apparatus, imaged picture recording method, and storage medium storing computer program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4613390B2 (ja) * 2000-04-10 2011-01-19 ソニー株式会社 画像処理装置及び画像処理方法
JP2007281727A (ja) * 2006-04-04 2007-10-25 Canon Inc 記録装置及び記録方法
JP4720873B2 (ja) * 2008-08-11 2011-07-13 ソニー株式会社 情報記録装置、撮像装置、情報記録方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141070A1 (en) * 2002-07-31 2004-07-22 Mamoru Chiku Digital camera
CN1799257A (zh) * 2003-06-03 2006-07-05 索尼株式会社 记录和/或重放系统
CN101373624A (zh) * 2007-08-21 2009-02-25 索尼株式会社 用于转换信息的设备、方法和程序
US20090322906A1 (en) * 2008-06-26 2009-12-31 Casio Computer Co., Ltd. Imaging apparatus, imaged picture recording method, and storage medium storing computer program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883864A (zh) * 2022-12-19 2023-03-31 国网河北省电力有限公司营销服务中心 一种记录多维数据的视频编解码方法、装置及终端设备

Also Published As

Publication number Publication date
JP2012015989A (ja) 2012-01-19
CN102263987B (zh) 2014-03-12
US8625002B2 (en) 2014-01-07
JP5753418B2 (ja) 2015-07-22
US20110292250A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
US7675555B2 (en) Recording method, recording apparatus, recording medium, reproduction method, reproduction apparatus and image pickup apparatus
CN100334642C (zh) 记录方法和装置、再现方法和装置及成像装置
CN101355674B (zh) 记录装置和方法、再现装置、记录再现装置以及摄像装置
CN102263987B (zh) 图像处理设备及其控制方法
KR20090063062A (ko) 동화상 기록 장치, 동화상 재생 장치 및 기록매체
CN101193249A (zh) 影像处理装置
KR101385168B1 (ko) 화상 데이터 기록장치
EP1643767A1 (en) Recording device, information recording medium and recording method
CN100525420C (zh) 记录方法和记录装置
JP2008098689A (ja) 画像データ処理装置および方法、プログラム、並びに記録媒体
JP5043004B2 (ja) フィルムに関するアナログ／デジタルハイブリッドデータのためのアーカイブエレメントの編制
CN101207765A (zh) 照相机设备和照相机设备的静态图像产生方法
CN101587733B (zh) Av数据记录方法、av数据记录装置
JP4788607B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4164696B2 (ja) 撮像装置および撮像方法
JP4347715B2 (ja) 電子撮像装置
JP3363147B1 (ja) 記録方法
JP2007116461A (ja) 画像処理装置及び画像処理方法
JP2004274488A (ja) 動画データの記録方法及びその再生方法並びに動画データの記録装置及びその再生装置
JP3363146B2 (ja) 記録再生装置
JP3356177B1 (ja) 符号化データ記録媒体
JP2005353193A (ja) デジタルビデオ記録再生装置およびその記録再生方法
JP2008271414A (ja) ストリームデータ記録装置
JP2004064210A (ja) 記録装置
US20090190900A1 (en) Image recording apparatus and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140312

Termination date: 20210531