CN101617528B - 数据处理设备，数据处理方法 - Google Patents

数据处理设备，数据处理方法 Download PDF

Info

Publication number
CN101617528B
CN101617528B CN2008800054201A CN200880005420A CN101617528B CN 101617528 B CN101617528 B CN 101617528B CN 2008800054201 A CN2008800054201 A CN 2008800054201A CN 200880005420 A CN200880005420 A CN 200880005420A CN 101617528 B CN101617528 B CN 101617528B
Authority
CN
China
Prior art keywords
data
parameter
image
distortion
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800054201A
Other languages
English (en)
Other versions
CN101617528A (zh
Inventor
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101617528A publication Critical patent/CN101617528A/zh
Application granted granted Critical
Publication of CN101617528B publication Critical patent/CN101617528B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及使用户能够获得收集诸如图像数据之类素材和编辑的身体感觉的数据处理设备，数据处理方法和记录介质。处理部分31产生第一对象图像数据，作为角度比通过图像拾取器件的图像拾取获得的图像数据宽的图像数据，操作部分35按照依据用户的操作设置的图像拾取参数，从第一对象图像数据中提取一帧的图像数据(提取图像数据)。此外，操作部分按照依据用户的操作设置的编辑参数，把字幕的图像数据(第二对象图像数据)叠加在提取图像数据上。本发明适用于接收节目的电视接收机。

Description

数据处理设备,数据处理方法
技术领域
本发明涉及数据处理设备，数据处理方法和存储介质，尤其涉及使用户能够获得素材的收集、编辑等的身体感觉的数据处理设备，数据处理方法和存储介质。 
背景技术
例如，在广播电台中，具有经光学系统拾取真实世界的图像的图像拾取器件的摄像机，借助光学系统拾取来自诸如风景之类被摄物体的光的图像，并沿时空方向对所述光采样，从而获得图像数据。 
具体地说，在摄像机中，图像拾取器件的尺寸微小的像素接收真实世界的光，从而所述光沿空间方向被采样。此外，在图像拾取器件的像素中，通过持续预定时间接收真实世界的光，并对其进行光电转换，所述光沿时间方向被采样。图像拾取器件输出由像素值构成的图像数据，所述像素值与对应于如上所述沿空间方向和时间方向采样的光的电荷量相一致。 
此外，在广播电台中，通过把摄像机获得的图像数据用作素材，作为素材的图像数据被编辑，经历诸如MPEG(运动图像专家组)编码之类的信号处理，并被传送。 
当如上所述对图像数据进行MPEG编码时，接收方进行MPEG解码。由于MPEG编码以预定大小的块为单位，对图像数据进行DCT(离散余弦变换)，并进一步量化图像数据，因此在通过MPEG解码获得的解码图像中发生诸如块失真之类的失真。 
因此，申请人先前提出一种利用称为类别分类适应处理的技术，修正在通过MPEG解码获得的解码图像中发生的诸中块失真之类失真的方法(例如，参见专利文献1)。 
顺便提及，例如，即使当接收方的监视器是能够显示如实再现真实世界的图像的高性能监视器，能够显示在所述监视器上的图像的图像质量仍受广播电台的摄像机的性能限制。 
另外，在真实世界中，用户能够获得视觉所看到的所有风景的身体感觉。不过，就摄像机获得的图像数据来说，用户只能看到出现在与图像数据对应的图像中的风景。 
专利文献1：日本专利特许公开No.2001-320587。 
发明内容
如上所述，在广播电台中，获得由摄像机的图像拾取产生的图像数据，此外，所述图像数据被编辑。 
摄像机拾取真实世界的图像的范围，和对摄像机获得的图像数据进行的编辑的细节是按照广播电台的导演等的意图进行的。不过，导演等的不一定与作为观众的用户的意图相符。 
鉴于这样的情况，做出了本发明，本发明将使用户获得收集和编辑诸如图像数据之类素材的身体感觉。 
按照本发明的一个方面，提供一种数据处理设备，或者保存有使计算机起数据处理设备作用的程序的存储介质，所述数据处理设备是配置成处理通过对由感测和采样真实世界中的第一对象的传感器器件获得的感测数据进行信号处理而获得的输入数据的数据处理设备，所述数据处理设备包括：传感器器件失真消除部件，被配置成消除当所述传感器器件感测所述第一对象时发生的失真，和由所述信号处理造成的失真，所述失真包含在所述输入数据中；传感器器件位置排除部件，被配置成根据所述输入数据产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于所述传感器器件的位置；参数设置部分，被配置成设置作为用于感测所述第一对象的参数的感测参数；和操作部分，被配置成按照所述参数设置部分设置的感测参数，操作所述第一对象数据。 
按照本发明的一个方面，提供一种数据处理设备的数据处理方 法，所述数据处理设备被配置成处理通过对由感测和采样真实世界中的第一对象的传感器器件获得的感测数据进行信号处理而获得的输入数据，所述数据处理方法包括下述步骤：所述数据处理设备消除当所述传感器器件感测所述第一对象时发生的失真，和由所述信号处理造成的失真，所述失真包含在所述输入数据中；根据所述输入数据产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于所述传感器器件的位置；按照配置成设置作为用于感测所述第一对象的参数的感测参数的参数设置部分设置的感测参数，操作所述第一对象数据。 
在本发明的一个方面，当传感器器件感测第一对象时发生的失真和由信号处理造成的失真被消除，所述失真包括在输入数据中，根据输入数据产生代表第一对象的第一对象数据，第一对象数据至少不依赖于传感器器件的位置。随后，按照配置成设置作为用于感测第一对象的参数的感测参数的参数设置部分设置的感测参数，操作第一对象数据。 
顺便提及，可通过经传输介质传送，或者以记录在记录介质上的状态提供程序。 
另外，数据处理设备可以是独立的设备，或者可以是构成独立设备的一部分部件。 
在本发明的一个方面，用户能够获得真实世界的身体感觉。特别地，例如，用户能够获得收集诸如图像数据之类素材的身体感觉。 
附图说明
图1是表示应用本发明的数据处理设备的第一实施例的配置例子的方框图。 
图2是帮助说明按照第一实施例的数据处理设备的处理的流程图。 
图3是表示应用本发明的数据处理设备的第二实施例的配置例子的方框图。 
图4是帮助说明按照第二实施例的数据处理设备的处理的流程图。 
图5是表示应用数据处理设备的通信系统的实施例的配置例子的方框图。 
图6是表示接收器件30的第一配置例子的方框图。 
图7是表示处理部分31的配置例子的方框图。 
图8是表示图像拾取器件失真消除部件32和图像拾取器件操作排除部件33的配置例子的方框图。 
图9是表示图像拾取器件失真消除部件32的配置例子的方框图。 
图10是表示接收器件30的第二配置例子的方框图。 
图11是表示接收器件30的第三配置例子的方框图。 
图12是表示接收器件30的第四配置例子的方框图。 
图13是表示接收器件30的第五配置例子的方框图。 
图14是表示接收器件30的第六配置例子的方框图。 
图15是表示应用数据处理设备的通信系统的另一实施例的配置例子的方框图。 
图16是表示接收器件130的第一配置例子的方框图。 
图17是表示处理部分131的配置例子的方框图。 
图18是表示声音收集器件失真消除部件132和声音收集器件操作排除部件133的配置例子的方框图。 
图19是表示接收器件130中的声音收集器件失真消除部件132的配置例子的方框图。 
图20是表示接收器件130的第二配置例子的方框图。 
图21是表示提取在固定背景上移动的字幕区域的提取器件的配置例子的方框图。 
图22是表示提取电路214的配置例子的方框图。 
图23是表示通过DRC，把第一数据转换成第二数据的转换器件的配置例子的方框图。 
图24是表示检测缩放操作的检测器件的配置例子的方框图。 
图25是表示检测有意的摄像机操作(移动)的检测器件的配置例子的方框图。 
图26是表示通过添加图像数据，产生第一对象图像数据的产生器件的配置例子的方框图。 
图27是示意表示存储器部分515的配置例子的示图。 
图28是帮助解释存储器部分515的相对地址的示图。 
图29是帮助解释把一帧图像数据写入存取范围的示图。 
图30是表示作为背景的固定对象B和作为前景的移动对象A的示图。 
图31是表示在曝光时间T内，对象A以恒定速度沿水平方向(x方向)移动四个像素的状态的示图。 
图32是表示在图像拾取模型中，由摄像机输出的像素值yi的示图。 
图33是表示检测BGM的音频数据的检测器件的配置例子的方框图。 
图34是表示执行声源检测处理的检测器件的配置例子的方框图。 
图35是帮助解释获得强调包括在立体声信号中的目标音频的强调信号的处理的原理的示图。 
图36是表示延迟部件711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号的示图。 
图37是表示应用本发明的计算机的实施例的配置例子的方框图。 
11处理部分，12传感器器件失真消除部件，13传感器器件位置消除部件，14参数设置部分，15操作部分，16第二对象数据检测部分，20发射器件，21图像拾取器件，22光学系统，23光接收部分，24时空采样部分，25存储器，26编辑部分，27信号处理部分，30接收器件，31处理部分，32图像拾取器件失真消除部件，33图像拾取器件操作消除部件，34参数设置部分，35操作部分， 36第二对象图像数据检测部分，41信号处理失真消除部分，42时空分辨率创建部分，43光学失真消除部分，51图像拾取器件操作检测部分，52图像拾取器件操作补偿部分，53存储部分，54前景分离部分，55前景模糊消除处理部分，120发射器件，121声音收集器件，123声音收集部分，124时间采样部分，125存储器，126编辑部分，127信号处理部分，130接收器件，131处理部分，132声音收集器件失真消除部件，133声音收集器件操作排除部件，134参数设置部分，135操作部分，136第二音频数据检测部分，141信号处理失真消除部件，142时间分辨率创建部分，143声音收集失真消除部分，151声源检测部分，152分离部分，211延迟电路，212合成电路，213存储器，214提取电路，215运动向量检测电路，216移相电路，221边缘检测电路，222电平检测电路，223字幕确定电路，301关心样本选择部分，302、303抽头选择部分，304类别分类部分，305系数输出部分，306预测操作部分，401、402帧存储器，403线性插值功能部分，404相关系数计算部分，405放大率设定功能部分，421运动向量估计部分，422向量存储器，423确定部分，511帧存储器部分，511A、511B帧存储器，512运动检测部分，513场景变化检测部分，514控制器，515存储器部分，601滤波器，701延迟校正加法部分，702音调检测部分，703分离系数创建部分，704滤波操作电路，711、712延迟部件，713、714运算部分，801总线，802CPU，803ROM，804RAM，805硬盘，806输出部分，807输入部分，808通信部分，809驱动器，810输入-输出接口，811可拆卸记录介质 
具体实施方式
图1是表示应用本发明的数据处理设备的第一实施例的配置例子的方框图。 
在图1中，数据处理设备包括处理部分11，参数设置部分14，和操作部分15。数据处理设备处理通过对感测数据进行信号处理而获 得的输入数据，所述感测数据是由图中未示出的，对真实世界中的第一对象进行感测和采样的传感器器件获得的。 
即，处理部件11被供给通过对感测数据进行信号处理而获得的输入数据，所述感测数据由对真实世界中的第一对象进行感测和采样的传感器器件获得。 
处理部分11包括传感器器件失真消除部件12和传感器器件位置排除部件13。处理部分11处理提供给处理部分11的输入数据。 
具体地说，传感器器件失真消除部件12消除当传感器器件感测第一对象时发生的失真和由信号处理造成的失真，所述失真包括在供给处理部分11的输入数据中。 
传感器器件位置排除部件13根据供给处理部分11的输入数据，产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于传感器器件的位置(包括所述位置的时序方向上的移动操作)。 
在处理部分11中获得的第一对象数据被提供给操作部分15。 
参数设置部分14按照用户的操作，设置作为用于感测第一对象的参数的感测参数。参数设置部分14把感测参数提供给操作部分15。 
操作部分15按照来自参数设置部分14的感测参数，操作来自处理部分11的第一对象数据。操作部分15输出操作后的第一对象数据作为输出数据。 
在如上所述构成的数据处理设备中，例如，当传感器器件是感测光线的器件，即，借助光学系统拾取真实世界的图像的图像拾取器件，并且输入数据是通过由图像拾取器件拾取作为第一对象的风景等的图像而获得的运动图像的图像数据时，输入数据在处理部分11中被处理，从而产生图像的图像数据作为第一对象数据，在所述图像中，看到的范围比在由图像拾取器件拾取的一帧(场)中看到的范围更宽。 
即，当不考虑缩放以简化说明时，在由图像拾取器件拾取的一帧中看到的风景等的第一对象范围随图像拾取器件的位置(图像拾取器件进行图像拾取的位置)而不同。处理部分11产生其中看到的范围比在由图像拾取器件拾取的一帧中看到的第一对象范围更宽的图像的 图像数据，作为不依赖于图像拾取器件的位置的第一对象数据。 
同时，参数设置部分14按照用户的操作，把将作为一帧的图像数据从第一对象数据提取的范围和位置设置成感测参数。参数设置部分14把感测参数提供给操作部分15。 
操作部分15从来自处理部分11的第一对象数据中，提取由作为来自参数设置部分14的感测参数的范围和位置识别的图像数据。操作部分15以输出数据的形式输出该图像数据。 
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。 
从而，通过操作参数设置部分14，用户能够观看在希望范围和希望位置的图像，并且获得仿佛用户用摄像机拾取(感测)真实世界的风景，并收集图像数据作为素材一样的身体感觉。 
下面参考图2进一步说明图1的数据处理设备的处理。 
当处理部分11被供给输入数据时，在步骤S11，处理部分11处理输入数据。处理随后进入步骤S12。 
具体地说，在步骤S11，处理部件11的传感器器件失真消除部件12在步骤S11-1进行传感器器件失真消除处理，传感器器件失真消除处理消除当传感器器件感测第一对象时发生的失真和和由信号处理造成的失真，所述失真包括在提供给处理部分11的输入数据中。 
另外，在步骤S11-2，处理部分11的传感器器件位置排除部件13进行传感器器件位置排除处理，传感器器件位置排除处理根据提供给处理部分11的输入数据，产生代表第一对象的第一对象数据，所述第一对象数据至少不依赖于传感器器件的位置。传感器器件位置排除部件13把作为结果获得的第一对象数据提供给操作部分15。 
在步骤S12，操作部分15进行操作处理，所述操作处理按照从参数设置部分14供给的感测参数，操作来自处理部分11的第一对象数据。操作部分15输出操作之后的第一对象数据，作为输出数据。 
随后，处理等待提供给处理部分11的下一输入数据，并从步骤S12返回步骤S11，之后重复类似的处理。 
图3是表示应用本发明的数据处理设备的第二实施例的配置例子的方框图。 
顺便提及，在图3中，与图1对应的部分用相同的附图标记识别，下面将酌情省略对其的说明。 
具体地说，图3的数据处理设备和图1的数据处理设备的相同之处在于图3的数据处理设备包括处理部分11，参数设置部分14和操作部分15。图3的数据处理设备和图1的数据处理设备的不同之处在于图3的数据处理设备新增了第二对象数据检测部分16。 
不过，在图3中，提供给处理部分11的输入数据是通过编辑，把不同于感测数据的第二对象数据叠加在感测数据上，并对叠加第二对象数据的感测数据进行信号处理而获得的数据。 
第二对象数据检测部分16被供给和提供给处理部分11的输入数据相同的输入数据。 
第二对象数据检测部分16从供给的输入数据中检测第二对象数据。第二对象数据检测部分16把第二对象数据提供给操作部分15。 
如上参考图1和图2所述，操作部分15按照来自参数设置部分14的感测参数，操作来自处理部分11的第一对象数据。另外，操作部分15按照从参数设置部分14供给的编辑参数，利用从第二对象数据检测部分16供给的第二对象数据进行编辑。 
即，在图3中，参数设置部分14设置感测参数，还按照用户的操作，设置作为用于进行编辑的参数的编辑参数。参数设置部分14把编辑参数连同感测参数一起提供给操作部分15。 
随后，操作部分15按照来自参数设置部分14的感测参数，操作来自处理部分11的第一对象数据，并按照编辑参数，利用来自第二对象数据检测部分16的第二对象数据进行编辑。操作部分15把通过操作和编辑而获得的数据作为输出数据输出。 
在如上所述构成的数据处理设备中，例如，当传感器器件是借助光学系统拾取真实世界的图像的图像拾取器件，并且输入数据是通过编辑，把字幕(telop)的图像数据(第二对象数据)叠加在通过由图像拾 取器件拾取作为真实世界中的第一对象的风景等的图像而获得的运动图像的图像数据上，所得到的图像数据时，输入数据在处理部分11中被处理，从而产生其中看到的范围比图像拾取器件拾取的一帧更宽，并且从中消除了字幕的图像数据(第二对象数据)的图像的图像数据，作为第一对象数据。 
另外，第二对象数据检测部分16从供给的输入数据中检测字幕的图像数据(第二对象数据)。第二对象数据检测部分16把该图像数据提供给操作部分15。 
同时，和图1的情况中一样，参数设置部分14按照用户的操作，把将作为一帧的图像数据从第一对象数据提取的范围和位置设置成感测参数。参数设置部分14把感测参数提供给操作部分15。 
此外，参数设置部分14按照用户的操作，把按其叠加字幕的图像数据的尺寸、位置等设置成编辑参数。参数设置部分14把编辑参数提供给操作部分15。 
操作部分15从来自处理部分11的第一对象数据中，提取由来自参数设置部分14的感测参数指示的范围和位置识别的图像数据。 
另外，操作部分15进行编辑，所述编辑按照编辑参数指示的尺寸，把作为来自第二对象数据检测部分16的第二对象数据的字幕的图像数据叠加在从第一对象数据中提取的图像数据中，由来自参数设置部分14的编辑参数指示的位置。操作部分15输出编辑后的图像数据，作为输出数据。 
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。 
从而，通过操作参数设置部分14，用户能够观看在希望范围和希望位置的图像，并且获得仿佛用户用摄像机拾取(感测)真实世界的风景，并收集图像数据作为素材一样的身体感觉。 
此外，用户能够获得叠加字幕的图像数据的编辑的身体感觉。 
下面参考图4进一步说明图3的数据处理设备的处理。 
当处理部分11和第二对象数据检测部分16被供给输入数据时， 在步骤S11，处理部分11和第二对象数据检测部分16处理输入数据。处理随后进入步骤S22。 
具体地说，在步骤S21，处理部件11的传感器器件失真消除部件12在步骤S21-1进行传感器器件失真消除处理，传感器器件失真消除处理消除当传感器器件感测第一对象时发生的失真和和由信号处理造成的失真，所述失真包括在提供给处理部分11的输入数据中。 
另外，在步骤S21-2，处理部分11的传感器器件位置排除部件13进行传感器器件位置排除处理，传感器器件位置排除处理根据提供给处理部分11的输入数据，产生代表第一对象的第一对象数据，所述第一对象数据至少不依赖于传感器器件的位置。传感器器件位置排除部件13把作为结果获得的第一对象数据提供给操作部分15。 
此外，在步骤S21-3，第二对象数据检测部分16从输入数据中检测第二对象数据。第二对象数据检测部分16把第二对象数据提供给操作部分15。 
在步骤S22，操作部分15按照从参数设置部分14供给的感测参数，操作来自处理部分11的第一对象数据，并按照从参数设置部分14供给的编辑参数，利用从第二对象数据检测部分16供给的第二对象数据，对操作后的第一对象数据进行编辑。操作部分15输出作为结果获得的数据，作为输出数据。 
随后，处理等待提供给处理部分11和第二数据检测部分16的下一输入数据，并从步骤S22返回步骤S21，之后重复类似的处理。 
顺便提及，尽管在图1-4中，传感器器件感测的对象是能够被视觉感知的光线，不过，传感器器件感测的对象并不局限于光线，例如可以是能够被听觉感知的声音，或者能够被嗅觉、味觉或者触觉感知的刺激。 
下面，图5是表示应用图1或图3的数据处理设备的通信系统的实施例的配置例子的方框图。 
在图5中，通信系统包括发射器件20和接收器件30。通信系统发射和接收作为电视广播的节目的图像数据。 
顺便提及，作为节目的音频(声音)数据的发射和接收将在后面说明。 
例如，发射器件20被安装在广播节目的广播电台等中。发射器件20发射作为节目的图像数据。 
具体地说，发射器件20包括图像拾取器件21，存储器25，编辑部分26和信号处理部分27。 
在图5中，上述传感器器件是借助光学系统22，拾取真实世界的图像的图像拾取器件21。 
图像拾取器件21通过借助光学系统22，拾取真实世界的诸如风景(景色)之类的第一对象的图像，并沿时空方向对第一对象采样，获得第一对象拾取图像数据(对应于感测数据)。图像拾取器件21把第一对象拾取图像数据提供给存储器25。 
具体地说，图像拾取器件21包括光学系统22，光接收部分23和时空采样部分24。 
来自诸如真实世界的风景(景色)之类的第一对象的光线经光学系统22，进入光接收部分23。 
光接收部分23和时空采样部分24是模拟把光转换成作为电信号的图像数据的光电转换元件(例如，CCD(电荷耦合器件)或者CMOS(互补金属氧化物半导体)成像器等)的部件。光接收部分23接收来自光学系统22的光，把与接收的光量对应的模拟信号提供给时空采样部分24。 
时空采样部分24沿空间方向和时间方向，对来自光接收部分23的模拟信号采样。时空采样部分23把作为采样结果的图像数据作为第一对象拾取图像数据提供给存储器25。 
时空采样部分24的空间方向的采样间隔与光电转换元件的像素的间隔对应。时空采样部分24的时间方向的采样间隔与帧(场)的周期对应。 
存储器25临时保存从图像拾取器件21的时空采样部分24供给的第一对象拾取图像数据。 
编辑部分26读出保存在存储器25中的第一对象拾取图像数据，通过编辑，把作为代表作为第二对象的字幕等的图像数据的第二对象图像数据(与第二对象数据对应)叠加在第一对象拾取图像数据上，并把结果提供给信号处理部分27。 
信号处理部分27对来自编辑部分26的，叠加有第二对象图像数据的第一对象拾取图像数据进行诸如MPEG编码之类的信号处理。信号处理部分27把通过信号处理获得的图像数据作为输入数据输出。 
在信号处理部分27中获得的输入数据被传给接收器件30，并被接收器件30接收。 
例如，接收器件30是作为应用图1或图3的数据处理设备的图像处理设备的电视接收器或者调谐器。接收器件30处理如上所述从发射器件20传来的输入数据。 
具体地说，图6是表示图5中的接收器件30的第一配置例子的方框图。 
在图6中，接收器件30包括处理部分31，参数设置部分34，操作部分35，和第二对象图像数据检测部分36。来自图5中的发射器件20的输入数据被提供给处理部分31和第二对象图像数据检测部分36。 
处理部分31(对应于图3中的处理部分11)包括图像拾取器件失真消除部件32和图像拾取器件操作排除部件33。处理部分31处理提供给它的输入数据。 
具体地说，图像拾取器件失真消除部件32(对应于图3中的传感器器件失真消除部件12)消除当图像拾取器件21(图5)拾取第一对象的图像时发生的失真，和由信号处理部分27(图5)中的信号处理造成的失真，所述失真包括在提供给处理部分31的输入数据中。 
图像拾取器件操作排除部件33(对应于图3中的传感器器件位置排除部件13)根据供给处理部分31的输入数据，检测图像拾取器件21对于第一对象的相对操作，在用图像拾取器件21的操作补偿的同时加入输入数据，从而产生代表图像拾取器件21拾取第一对象的图像 之前的第一对象的第一对象图像数据，即，是具有比图像拾取器件21拾取的一帧的图像数据更宽的视角(更宽的角度)的图像数据，并且是从中消除字幕等的图像数据(第二对象图像数据)的图像数据的第一对象图像数据。 
如上所述在处理部分31中获得的第一对象图像数据被提供给操作部分35。 
同时，参数设置部分34(对应于图3中的参数设置部分14)例如设置图像拾取参数作为用于拾取第一对象的图像的参数，即，例如根据用户操作将用于识别要从第一对象图像数据中提取的一帧的图像数据的图像拾取参数作为感测参数。参数设置部分34将图像拾取参数提供给操作部分35。 
此外，参数设置部分34例如设置用于使用第二对象图像数据等进行编辑的编辑参数，即，例如指示根据用户操作叠加作为第二对象图像数据的字幕的图像数据的方式的编辑参数。参数设置部分34将编辑参数提供给操作部分35。 
这种情况下，图像拾取参数包括指示将从作为广角图像数据的第一对象图像数据提取的一帧大小的图像数据(下面酌情称为提取图像数据)的水平位置和垂直位置的位置信息，当获得如果用户在以位置信息指示的位置作为初始位置，在真实世界中摇摄或俯仰摄像机的时候，进行图像拾取时理应获得的图像数据时的摇摄或俯仰速度和加速度，当获得如果用户在调整摄像机的缩放的时候，进行图像拾取时理应获得的图像数据时的缩放的放大倍率，等等。 
如上所述，第一对象图像数据是具有比图像拾取器件21拾取的一帧图像数据更宽的角度的图像数据。从而，通过改变从广角图像数据抽取提取图像数据的位置，能够获得仿佛用户在真实世界中摇摄或俯仰摄像机的同时进行图像拾取一样的图像数据。 
此外，通过调整(例如，减小)从第一对象图像数据提取的图像数据的范围，并进行插值(或者类别分类适应处理)，能够获得仿佛用户在真实世界中调整摄像机的缩放的同时进行图像拾取一样的图像数 据。 
另外，编辑参数包括指示第二对象图像数据(字幕的图像数据)叠加在提取图像数据上的水平位置和垂直位置的位置信息，和第二对象图像数据的大小。此外，当字幕被移动时，移动速度和加速度可被设成编辑参数，当字幕的大小被改变时，改变的方式(模式)可被设成编辑参数。 
操作部分35(对应于图3中的操作部分15)按照来自参数设置部分34的图像拾取参数和编辑参数，合成来自处理部分31的第一对象图像数据，和来自第二对象图像数据检测部分36的第二对象图像数据。 
具体地说，第二对象图像数据检测部分36(对应于图3中的第二对象数据检测部分16)从供给它的输入数据中，检测第二对象图像数据(字幕等的图像数据)。第二对象图像数据检测部分36把第二对象图像数据提供给操作部分35。 
操作部分35按照来自参数设置部分34的图像拾取参数，从来自处理部分31的第一对象图像数据中抽取提取图像数据。此外，操作部分35按照来自参数设置部分34的编辑参数，把来自第二对象图像数据检测部分36的字幕的数据(第二对象图像数据)叠加在提取图像数据上。操作部分35把作为结果获得的图像数据作为输出数据输出。 
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。 
如上所述，处理部分31产生作为角度比通过图像拾取器件21的图像拾取获得的图像数据更宽的图像数据的第一对象图像数据，操作部分35按照依据用户的操作而设置的图像拾取参数，从第一对象图像数据抽取提取图像数据。从而，用户能够获得收集图像数据素材的身体感觉。 
即，用户能够享受好像用户在真实世界中用摄像机拾取第一对象的图像的感觉。 
此外，操作部分35按照依据用户的操作而设置的编辑参数，把 字幕的图像数据(第二对象图像数据)叠加在提取图像数据上。从而，用户能够获得编辑图像数据的身体感觉。 
顺便提及，在图6中，第二对象图像数据检测部分36从输入数据本身中检测第二对象图像数据。不过，第二对象图像数据检测部分36也能够从在图像拾取器件失真消除部件32中处理后的输入数据中检测第二对象图像数据，如图6中的虚线所示。 
另外，处理部分31能够处理从中消除在第二对象图像数据检测部分36中检测的第二对象图像数据的输入数据，而不是输出数据本身。 
即，处理部分31能够从输入数据中消除在第二对象图像数据检测部分36中检测的第二对象图像数据，并处理进行所述消除之后的输入数据。 
下面，图7表示图6中的处理部分31的另一配置例子。 
在图6中，处理部分31中的图像拾取器件失真消除部件32和图像拾取器件操作排除部件33的处理顺序是任意的。不过，在图7中，图像拾取器件失真消除部件32处理提供给处理部分31的输入数据，之后，图像拾取器件操作排除部件33处理由图像拾取器件失真消除部件32处理过的输入数据。 
顺便提及，图像拾取器件操作排除部件33能够处理提供给处理部分31的输入数据，图像拾取器件失真消除部件32之后能够处理由图像拾取器件操作排除部件33处理过的输入数据。 
图8表示图7(和图6)中的图像拾取器件失真消除部件32和图像拾取器件操作排除部件33的配置例子。 
具体地说，图8A表示图7中的图像拾取器件失真消除部件32的配置例子。 
在图8A中，图像拾取器件失真消除部件32包括信号处理失真消除部分41，时空分辨率创建部分42和光学失真消除部分43。 
信号处理失真消除部分41从供给它的输入数据中，除去由发射器件20(图5)的信号处理部分27的信号处理造成的失真。 
具体地说，当信号处理部分27在发射器件20中进行作为信号处理的MPEG编码时，信号处理失真消除部分41执行对输入数据进行MPEG解码，另外消除由MPEG编码/解码造成的块失真等的信号处理失真消除处理。 
顺便提及，MPEG解码不仅能够在信号处理部分失真消除部分41中进行，而且能够在时空分辨率创建部分42，光学失真消除部分43，或者不同于信号处理失真消除部分41，时空分辨率创建部分42和光学失真消除部分43的另一部件(包括图中未示出的部件)中进行。 
时空分辨率创建部分42改进作为提供给它的输入数据的图像数据的时空方向的分辨率。 
具体地说，即使接收器件30的监视器是能够显示如实再现真实世界的图像的高性能监视器，能够显示在该监视器上的图像的图像质量，即，例如空间分辨率和时间分辨率(帧速率)仍受发射器件20(图5)的图像拾取器件21的性能限制。 
因此，时空分辨率创建部分42改进作为输入数据的图像数据的时空方向的分辨率，以便在监视器上显示足够图像质量的图像。 
顺便提及，通过改进时空方向的分辨率，时空分辨率创建部分42还消除因手的移动而造成的运动模糊，和由散焦状态造成的焦点模糊。 
光学失真消除部分43从供给它的输入数据中，除去由发射器件20(图5)的光学系统22造成的失真(例如，由光学系统22的像差造成的图像的失真)。 
顺便提及，信号处理失真消除部分41，时空分辨率创建部分42和光学失真消除部分43在图像拾取器件失真消除部件32中进行处理的顺序并不特别受限。 
另外，由图像拾取器件失真消除部件32中的信号处理失真消除部分41，时空分辨率创建部分42和光学失真消除部分43进行的处理可集体由类别分类适应处理实现。 
图8B表示图7中的图像拾取器件操作排除部件33的配置例子。 
在图8B中，图像拾取器件操作排除部件33包括图像拾取器件操作检测部分51，图像拾取器件操作补偿部分52，和存储部分53。 
图像拾取器件操作检测部分51从在图像拾取器件失真消除部件32中处理后的输入数据中，检测图像拾取器件21(图5)对第一对象的相对操作，即，例如摇摄、俯仰或缩放图像拾取器件21的操作。图像拾取器件操作检测部分51把指示所述操作的操作信息提供给图像拾取器件操作补偿部分52。 
在补偿以由来自图像拾取器件操作检测部分51的操作信息指示的图像拾取器件21的操作的时候，图像拾取器件操作补偿部分52把在图像拾取器件失真消除部件32中处理后的输入数据增加到存储部分53中。从而，图像拾取器件操作补偿操作52产生代表在图像拾取器件21拾取第一对象的图像之前的第一对象的第一对象图像数据。 
具体地说，存储部分53具有充分大于图像拾取器件21拾取的一帧图像数据的存储容量。图像拾取器件操作补偿部分52把紧接在运动图像的图像数据(在图像拾取器件失真消除部件32中处理后的输入数据)的场景变化之后的一帧图像数据作为初始值写入存储部分53中。 
此外，图像拾取器件操作补偿部分52进行添加，所述添加进行运动图像的图像数据(在图像拾取器件失真消除部件32中处理后的输入数据)的在紧接于场景变化后的一帧之后的一帧，以及后续各帧的图像数据，与保存在存储部分53中的图像数据的加权加法，同时按照由来自图像拾取器件操作检测部分51的操作信息指示的图像拾取器件21的操作，比如摇摄、俯仰或缩放，进行紧接于场景变化之后的一帧的图像数据的登记。 
从而，当在酌情摇摄、俯仰或缩放(包括使被拾取的图像的视角是宽视角或远视角)的时候，进行发射器件20(图5)的图像拾取器件21的图像拾取时，存储部分53保存代表在图像拾取器件21拾取第一对象的图像之前的第一对象的第一对象图像数据，即，具有比图像拾取器件21拾取的一帧图像数据更宽的角度的图像数据，即，如果用户 观看真实世界中的第一对象时会看到的范围的图像数据。 
顺便提及，假定出现在由图像拾取器件操作补偿部分52处理的图像数据(对应于该图像数据的图像)中的第一对象是诸如风景(景色)之类的固定对象。这种情况下，当由图像拾取器件操作补偿部分52处理的图像数据包括第二对象图像数据，比如运动字幕的图像数据和运动对象的其它图像数据时，在进行登记的时候，图像拾取器件操作补偿部分52添加图像数据，从而，逐渐除去(消除)运动对象的图像数据。 
即，保存在存储部分53中的图像数据是仅仅代表在图像拾取器件21拾取第一对象的图像之间的第一对象的第一对象图像数据。 
图9表示接收器件30中的图像拾取器件失真消除部件32的另一配置例子。 
在图8A中，信号处理失真消除部分41，时空分辨率创建部分42和光学失真消除部分43在图像拾取器件失真消除部件32中进行处理的顺序并不特别受限。不过，在图9中，信号处理失真消除部分41，时空分辨率创建部分42和光学失真消除部分43按照该顺序执行处理。 
具体地说，在图9中，来自发射器件20(图5)的输入数据被提供给图像拾取器件失真消除部件32和第二对象图像数据检测部分36。 
图像拾取器件失真消除部件32中的信号处理失真消除部分41从来自发射器件20(图5)的图像数据(输入数据)中除去由发射器件20的信号处理部分27的信号处理造成的失真，随后把图像数据提供给时空分辨率创建部分42。 
时空分辨率创建部分42改善来自信号处理失真消除部分41的图像数据的时空方向的分辨率。时空分辨率创建部分42把作为结果获得的图像数据提供给光学失真消除部分43。 
光学失真消除部分43从来自时空分辨率创建部分42的图像数据中除去由发射器件20(图5)的光学系统22造成的失真。光学失真消除部分43把图像数据提供给图像拾取器件操作排除部件33。 
图像拾取器件操作排除部件33中的图像拾取器件操作检测部分51从来自图像拾取器件失真消除部件32(图像拾取器件失真消除部件32中的光学失真消除部分43)的图像数据中，检测图像拾取器件21(图5)对于第一对象的相对操作，即，例如，图像拾取器件21的诸如摇摄、俯仰、缩放之类的操作。图像拾取器件操作检测部分51把指示所述操作的操作信息提供给图像拾取器件操作补偿部分52。 
图像拾取器件操作补偿部分52按照由来自图像拾取器件操作检测部分51的操作信息指示的图像拾取器件21的诸如摇摄、俯仰、缩放之类的操作，登记来自图像拾取器件失真消除部件32的图像数据(使出现在与图像数据对应的图像中的第一对象的位置一致的登记)，并进行实现登记后的图像数据与保存在存储部分53中的图像数据的加权加法的添加(adding in)。 
从而，如上所述，存储部分53保存代表在图像拾取器件21拾取第一对象的图像之前的第一对象的第一对象图像数据(广角图像数据)。 
保存在存储部分53中的第一对象图像数据被提供给操作部分35。 
同时，第二对象图像数据检测部分36从作为来自发射器件20的输入数据的图像数据(当来自发射器件20的输入数据被MPEG编码时，该图像数据是通过MPEG解码获得的)中检测作为字幕等的图像数据的第二对象图像数据。第二对象图像数据检测部分36把第二对象图像数据提供给操作部分35。 
如上所述，操作部分35被供给来自存储部分53的第一对象图像数据，和来自第二对象图像数据检测部分36的第二对象图像数据，还被供给来自参数设置部分34的图像拾取参数和编辑参数。 
具体地说，按照用户的操作，参数设置部分34设置图像拾取参数，比如指示将从第一对象图像数据提取的提取图像数据的水平位置和垂直位置的位置信息，摄像机的摇摄或俯仰速度和加速度，放大率等等。参数设置部分34把图像拾取参数提供给操作部分35。 
此外，按照用户的操作，参数设置部分34设置编辑参数，比如指示把作为字幕的图像数据的第二对象图像数据叠加在提取图像数据上的水平位置和垂直位置的位置信息(包括指示是否进行叠加的信息)，字幕的尺寸，移动字幕的速度和加速度(包括当字幕被旋转时的旋转角速度)，改变字幕尺寸的方式，等等。参数设置部分34把编辑参数提供给操作部分35。 
操作部分35按照来自参数设置部分34的图像拾取参数，从来自存储部分53的第一对象图像数据中抽取提取图像数据。此外，操作部分35按照来自参数设置部分34的编辑参数，把字幕的图像数据(来自第二对象图像数据检测部分36的第二对象图像数据)叠加在提取图像数据上。操作部分35把作为结果获得的图像数据作为输出数据输出。 
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。 
从而，通过操作参数设置部分34，用户能够观看图像，好像在进行摇摄、俯仰、缩放等操作的时候，用户在真实世界中用摄像机实际进行图像拾取似的。 
此外，通过操作参数设置部分34，用户能够打开或关闭字幕的图像数据(第二对象图像数据)的显示，当字幕的图像数据的显示被打开时，把字幕的显示改变成希望的显示。 
顺便提及，第二对象图像数据检测部分36不仅能够从输入数据中检测第二对象图像数据，而且能够从在信号处理失真消除部分41中处理后的图像数据中检测第二对象图像数据，如图9中的虚线所示。 
图10表示图5中的接收器件30的第二配置例子。 
顺便提及，在图10中，与图6-9对应的部分用相同的附图标记识别，下面将酌情省略对它们的说明。 
在图9中，图像拾取器件操作检测部分51被供给经光学失真消除部分43处理后的图像数据。不过，在图10的接收器件30中，图像拾取器件操作检测部分51被供给与提供给处理部分31的输入数据 相同的输入数据。图像拾取器件操作检测部分51从输入数据检测图像拾取器件21(图5)对于第一对象的相对操作，并把指示所述操作的操作信息提供给图像拾取器件操作补偿部分52。 
就其它处理来说，图10的接收器件30进行与图9类似的处理，于是下面省略对其的说明。 
图11表示图5中的接收器件30的第三配置例子。 
顺便提及，在图11中，与图6-9对应的部分用相同的附图标记识别，下面将酌情省略对它们的说明。 
图11的接收器件30与图9的不同之处在于对图像拾取器件操作排除部件33新设置了前景分离部分54。 
前景分离部分54被供给经光学失真消除部件43处理后的输入数据，和保存在存储部分53中的第一对象图像数据。 
前景分离部分54相互比较来自光学失真消除部件43的输入数据和保存在存储部分53中的第一对象图像数据。从而，当不同于第一对象的图像数据被包括在输入数据中，即，例如诸如字幕之类的图像数据的第二对象图像数据，和例如代表第三对象(人，动物，诸如汽车之类的车辆，或者另一运动对称)的第三对象图像数据作为所谓的前景被包括在输入数据中时，前景分离部分5起产生第二对象图像数据和第三对象图像数据的图像产生部分的作用。 
即，前景分离部分54通过从输入数据中减去与作为输入数据的图像数据对应的范围的图像数据(该图像数据包括在保存于存储部分53中的第一对象图像数据中)，从输入数据中分离出第二对象图像数据和第三对象图像数据。前景分离部分54把第二对象图像数据和第三图像数据提供给操作部分35。 
操作部分35按照来自参数设置部分34的图像拾取参数和编辑参数，合成保存在存储部分53中的第一对象图像数据，来自第二对象图像数据检测部分36的第二对象图像数据，和从前景分离部分54供给的第三对象图像数据。 
这种情况下，在图11中，按照用户的操作，参数设置部分34不仅设置第二对象图像数据(字幕的图像数据)的编辑参数，而且设置第三对象图像数据(前景的图像数据)的编辑参数，即，例如诸如指示把前景叠加在提取图像数据上的水平位置和垂直位置的位置信息，前景的尺寸，移动前景的速度和加速度(包括当前景被旋转时的旋转角速度)，改变前景的尺寸的方式之类的编辑参数。参数设置部分34把编辑参数提供给操作部分35。
操作部分35比较来自前景分离部分54的第二对象图像数据和第三对象图像数据与来自第二对象图像数据检测部分36的第二对象图像数据，从而从来自前景分离部分54的第二对象图像数据和第三对象图像数据中分离出第三对象图像数据。 
随后，操作部分35按照来自参数设置部分34的图像拾取参数，从来自存储部分53的第一对象图像数据中抽取提取图像数据。此外，操作部分35按照来自参数设置部分34的编辑参数，把字幕的图像数据(来自第二对象图像数据检测部分36的第二对象图像数据)叠加在提取图像数据上，按照来自参数设置部分34的编辑参数，把前景的图像数据(第三对象图像数据)叠加在提取图像数据上。操作部分35把作为结果获得的图像数据作为输出数据输出。 
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。 
和图6-9的情况一样，图11的接收器件30允许用户获得素材的收集和编辑的身体感觉。 
此外，图11的接收器件30使得不仅能够编辑作为第二对象图像数据的字幕的图像数据，而且能够编辑作为第三对象图像数据的前景的图像数据。 
图12表示图5中的接收器件30的第四配置例子。 
顺便提及，在图12中，与图6-9对应的部分用相同的附图标记识别，下面将酌情省略对它们的说明。 
图12的接收器件30与图9的不同之处在于对图像拾取器件操作排除部件33新设置了前景模糊消除处理部分55。 
前景模糊消除处理部分55被供给经光学失真消除部分43处理后的输入数据和保存在存储部分53中的第一对象图像数据。 
和图11中的前景分离部分54一样，前景模糊消除处理部分55相互比较来自光学失真消除部分43的输入数据和保存在存储部分53中的第一对象图像数据。从而，当不同于第一对象的图像数据被包括在输入数据中，即，例如诸如字幕的图像数据之类的第二对象图像数据，和代表作为前景的第三对象的第三对象图像数据被包括在输入数据中时，前景模糊消除处理部分55起产生第二对象图像数据和第三对象图像数据的图像产生部分的作用。 
不过，前景模糊消除处理部分55利用输入数据和保存在存储部分53中的第一对象图像数据，产生其运动模糊被减小的第三对象图像数据，假定包括在输入数据中的第三对象的像素的像素值是通过在移动没有运动模糊的相应像素的像素值的时候，沿时间方向求没有运动模糊的相应像素的像素值的积分而获得的值。前景模糊消除处理部分55把其运动模糊被减小的第三对象图像数据提供给操作部分55。 
操作部分35按照来自参数设置部分34的图像拾取参数和编辑参数，合成保存在存储部分53中的第一对象图像数据，来自第二对象图像数据检测部分36的第二对象图像数据，和从前景模糊消除处理部分55供给的第三对象图像数据。 
这种情况下，在图12中，和图11中一样，按照用户的操作，参数设置部分34不仅设置作为字幕的图像数据的第二对象图像数据的编辑参数，而且设置作为前景的图像数据的第三对象图像数据的编辑参数。参数设置部分34把编辑参数提供给操作部分35。 
操作部分35按照来自参数设置部分34的图像拾取参数，从来自存储部分53的第一对象图像数据抽取提取图像数据。此外，操作部分35按照来自参数设置部分34的编辑参数，把字幕的图像数据(来自第二对象图像数据检测部分36的第二对象图像数据)叠加在提取图像数据上，并按照来自参数设置部分34的编辑参数，把作为第三对象图像数据的前景的图像数据叠加在提取图像数据上。操作部分35把 作为结果获得的图像数据作为输出数据输出。 
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。 
和图11的情况一样，图12的接收器件30也允许用户获得素材的收集和编辑的身体感觉，并且分别编辑作为第二对象图像数据的图像数据和作为第三对象图像数据的图像数据。 
图13表示图5中的接收器件30的第五配置例子。 
顺便提及，在图13中，与图11对应的部分用相同的附图标记识别。 
图13的接收器件30是按照和图11类似的方式形成的。 
不过，例如，按照用户的操作，图13的接收器件30中的参数设置部分34如上设置图像拾取参数和编辑参数，并产生大小比，作为操作部分35向其输出输出数据的输出目的地的监视器的屏幕的大小和第三对象图像数据的大小之间的比值。 
此外，当通过更换作为操作部分35对其进行输出的输出目的地的监视器，改变作为输出目的地的监视器的屏幕的大小时，参数设置部分34按照所述大小比调整用于编辑第三对象图像数据的大小的编辑参数。参数设置部分34随后把编辑参数提供给操作部分35。 
具体地说，在图13中，对于可以是诸如人脸之类的前景的对象来说，参数设置部分34把当作为对象的人脸被显示在监视器上时，由用户感知为真实世界中的人脸的大小(例如，人脸的平均大小)保存为基准大小A(单位：厘米、英寸等)。 
参数设置部分34识别作为输出目的地的监视器的屏幕的大小B(单位：厘米、英寸等)，并确定作为在前景分离部分54中获得其第三对象图像数据的对象的人脸的基准大小A与作为输出目的地的监视器的屏幕的大小B之间的大小比A/B。 
随后，按照大小比A/B，参数设置部分34调整指定作为人脸的图像数据(该图像数据是在前景分离部分54中获得的)的第三对象图像数据的大小的编辑参数，以致显示在作为输出目的地的监视器上的 人脸的像素数目M与作为输出目的地的监视器的像素数目N之间的比值M/N是大小比A/B。参数设置部分34把该编辑参数提供给操作部分35。 
这种情况下，例如，人脸的基准大小A是当在真实世界中，观看在离图像拾取器件21(图5)预定基准距离的位置(例如，直接在图像拾取器件21之前的位置)的人脸时的大小。按照与来自图像拾取器件21的第三对象图像数据对应的人的距离与基准距离之间的比值，校正用于调整指定第三对象图像数据的大小的编辑参数的量值。 
具体地说，例如，当与第三对象图像数据对应的人远离图像拾取器件21时，指定第三对象图像数据的大小的编辑参数被校正，以致显示在作为输出目的地的监视器上的人脸的大小小于基准大小A。 
顺便提及，假定与第三对象图像数据对应的人到图像拾取器件21的距离包括在来自发射器件20的输入数据中。 
另外，每个对象的基准大小A可被预先保存在参数设置部分34中，或者在包括在输入数据中的状态下从发射器件20传送。 
操作部分35按照来自参数设置部分34的图像拾取参数，从来自存储部分53的第一对象图像数据抽取提取图像数据。此外，操作部分35按照来自参数设置部分34的编辑参数，把字幕的图像数据(来自第二对象图像数据检测部分36的第二对象图像数据)叠加在提取图像数据上，并按照来自参数设置部分34的编辑参数，把前景的图像数据(第三对象图像数据)叠加在提取图像数据上。操作部分35把作为结果获得的图像数据作为输出数据输出。 
作为输出数据的图像数据被提供给监视器(图中未示出)，并被显示。 
这种情况下，例如，监视器以用户在真实世界中感知的人脸的大小，即，与当在真实世界中看人时的大小类似的大小显示作为第三对象的人的脸部。 
从而，用户能够享受仿佛用户实际在出现于显示在监视器上的图像中的真实世界的风景中一样的感觉。 
图14表示图5中的接收器件5的第六配置例子。 
顺便提及，在图14中，和图11对应的部分用相同的附图标记识别。 
图14的接收器件30是按照和图11类似的方式构成的。 
不过，例如，按照用户的操作，图14的接收器件30中的参数设置部分34设置编辑参数，以致只对在前景分离部分54中获得的第三对象图像数据进行γ校正处理。参数设置部分34把编辑参数提供给操作部分35。 
这种情况下，操作部分35进行和图11类似的处理，并按照来自参数设置部分34的编辑参数，进行只对第三对象图像数据实现γ校正的编辑。 
如上所述，通过只对第三对象图像数据进行γ校正，图14的接收器件30能够按照用户的偏爱，显示与第一对象的图像形成对照的第三对象的图像。 
下面，图15是表示应用图1和图3的数据处理设备的通信系统的另一实施例的配置例子的方框图。 
在图15中，通信系统包括发射器件120和接收器件130。例如，通信系统发射和接收作为电视广播节目的音频数据。 
顺便提及，在本说明书中，为了简化说明，彼此独立地说明作为节目的图像数据的发射和接收，和作为节目的音频数据的发射和接收。不过，通过多路复用，能够同时发射和接收作为节目的图像数据和音频数据。 
例如，发射器件120被安装在广播节目等的广播电台中。发射器件120发射作为节目的音频数据。 
具体地说，发射器件120包括声音收集器件121，存储器125，编辑部分126，和信号处理部分127。 
在图15中，参考图1-4说明的传感器器件是具有收集真实世界中的第一音频的声音收集部分123的声音收集器件121。 
声音收集器件121收集第一音频的声音，比如真实世界中人的声音等等，并沿时间方向对第一音频采样。声音收集器件121从而获得第一音频收集声音数据(对应于感测数据)。声音收集器件121把第一音频收集声音数据提供给存储器125。 
具体地说，声音收集器件121包括声音收集部分123和时间采样部分124。 
例如，声音收集部分123收集第一音频，比如真实世界中人的声音等等。声音收集部分123把第一音频转换成电信号形式的模拟信号，即，把空气的振动转换成电信号形式的模拟信号。声音收集部分123把模拟信号提供给时间采集部分124。 
时间采集部分124沿时间方向对来自声音收集部分123的模拟信号采样。时间采集部分124把作为采样结果的音频数据作为第一音频收集声音数据提供给存储器125。 
存储器125临时保存从声音收集器件121的时间采样部分124供给的第一音频收集声音数据。 
编辑部分126读出保存在存储器125中的第一音频收集声音数据，通过编辑，把作为第二音频的第二音频数据(对应于第二对象数据)叠加在第一音频收集声音数据上，并把结果提供给信号处理部分127。 
信号处理部分17对来自编辑部分126的叠加第二音频数据的第一音频收集声音数据进行信号处理，比如MPEG编码等。信号处理部分127把通过信号处理获得的音频数据作为输入数据输出。 
在信号处理部分127中获得的输入数据被传给接收器件130，并被接收器件130接收。 
例如，接收器件130是作为应用图1或图3的数据处理设备的音频处理设备的电视接收机或调谐器。接收器件130处理如上所述从发射器件120传来的输入数据。 
具体地说，图16是表示图15中的接收器件130的第一配置例子的方框图。 
在图16中，接收器件130包括处理部分131，参数设置部分134，操作部分135，和第二音频数据检测部分136。来自图15中的发射器 件120的输入数据被提供给处理部分131和第二音频数据检测部分136。 
处理部分131(对应于图3中的处理部分11)包括声音收集器件失真消除部件132和声音收集器件操作排除部件133。处理部分131处理提供给它的输入数据。 
具体地说，声音收集器件失真消除部件132(对应于图3中的传感器器件失真消除部件12)消除当声音收集器件121(图15)收集第一音频的声音时发生的失真，和由信号处理部分127(图15)中的信号处理造成的失真，所述失真包括在提供给处理部分131的输入数据中。 
为了产生代表真实世界中的第一音频的，至少不依赖于声音收集器件121(图15)的位置的第一音频数据，声音收集器件操作排除部件133(对应于图3中的传感器器件位置排除部件13)从提供给处理部分131的输入数据中，至少检测第一音频的声源位置(离收集第一音频的声音的声音收集器件121(图15)的相对位置)，和在声源位置的第一音频的声压(功率)。声音收集器件操作排除部件133产生具有在第一音频的声源位置的第一音频的声压的第一音频数据(代表真实世界中的第一音频，不依赖于声音收集器件121的位置的第一音频数据)。 
通过处理部分131中的声音收集器件失真消除部件132和声音收集器件操作排除部件133的处理获得的，从中消除了当收集第一音频的声音时发生的失真和由信号处理造成的失真，并且具有位于第一音频的声源位置的第一音频的声压的第一音频数据(位于声源位置的第一音频本身的数据)连同第一音频的声源位置一起被提供给操作部分135。 
同时，参数设置部分134(对应于图3中的参数设置部分14)按照用户的操作，设置声音收集参数作为感测参数，所述声音收集参数是用于收集第一音频的声音的参数，即，指示离第一音频的声源位置的相对位置(下面酌情称为声音收集位置)的声音收集参数，在所述相对位置收集第一音频的声音。参数设置部分134把声音收集参数提供给操作部分135。 
另外，按照用户的操作，参数设置部分134设置用于利用第二音频数据等的编辑的编辑参数，即，指示当叠加BGM的音频数据(第二音频数据)时的声压，以及开始叠加的开始时间，结束时间等的编辑参数。参数设置部分134把编辑参数提供给操作部分135。 
操作部分135(对应于图3中的操作部分35)按照来自参数设置部分134的声音收集参数和编辑参数，以及来自处理部分131的第一音频的声源位置，合成来自处理部分131的第一音频数据和来自第二音频数据检测部分136的第二音频数据。 
即，第二音频数据检测部分136(对应于图3中的第二对象数据检测部分16)从供给它的输入数据中检测第二音频数据(BGM等的音频数据)。第二音频数据检测部分136把第二音频数据提供给操作部分135。 
操作部分135按照来自参数设置部分134的声音收集参数，调整(操作)来自处理部分131的第一音频数据的声压。即，操作部分135把来自处理部分131的第一音频数据的声压调整为如果与从来自处理部分131的声源位置发出的第一音频数据对应的第一音频是在由声音收集参数指示的声音收集位置听到的话，那么会感觉到的声压。 
此外，操作部分135按照来自参数设置部分134的编辑参数，把来自第二音频数据检测部分136的BGM的音频数据(第二音频数据)叠加在调整声压之后的第一音频数据(下面酌情称为调整音频数据)上。操作部分135把作为结果获得的音频数据作为输出数据输出。 
作为输出数据的音频数据被提供给扬声器(图中未示出)，并被输出。 
如上所述，处理部分131产生具有在第一音频的声源位置的声压的第一音频数据，操作部分135按照依据用户的操作设置的声音收集参数，调整第一音频数据的声压等。从而，用户能够获得收集音频数据的素材的身体感觉。 
即，用户能够享受仿佛用户在真实世界中用麦克风收集第一音频的声音一样的感觉(例如，把麦克风对准作为第一音频的声源的扬声器 的感觉)。 
此外，由于操作部分135按照依据用户的操作设置的编辑参数，把BGM的音频数据(第二音频数据)叠加在调整声压等之后的调整音频数据上，因此，用户能够获得编辑音频数据的身体感觉。 
顺便提及，在图16中，第二音频数据检测部分136从输入数据本身中检测第二音频数据。不过，第二音频数据检测部分136也可从经声音收集器件失真消除部件132处理后的输入数据中检测第二音频数据，如图16中的虚线所示。 
另外，处理部分131能够处理从中消除在第二音频数据检测部分136中检测的第二音频数据的输入数据，而不是输入数据本身。 
即，处理部分131能够从输入数据中消除在第二音频数据检测部分136中检测的第二音频数据，并处理所述消除之后的输入数据。 
下面，图17表示图16中的处理部分131的另一配置例子。 
在图16中，声音收集器件失真消除部件132和声音收集器件操作排除部件133的处理顺序是任意的。不过，在图17中，声音收集器件失真消除部件132处理提供给处理部分131的输入数据，之后，声音收集器件操作排除部件133处理声音收集器件失真消除部件132处理过的输入数据。 
顺便提及，声音收集器件操作排除部件133能够处理提供给处理部分131的输入数据，之后，声音收集器件失真消除部件132能够处理声音收集器件操作排除部件133处理过的输入数据。 
图18表示图17(和图16)中的声音收集器件失真消除部件132和声音收集器件操作排除部件133的配置例子。 
具体地说，图18A表示图17中的声音收集器件失真消除部件132的配置例子。 
在图18A中，声音收集器件失真消除部件132包括信号处理失真消除部分141，时间分辨率创建部分142，和声音收集失真消除部分143。 
信号处理失真消除部分141从提供给它的输入数据中除去由发 射器件120(图15)的信号处理部分127的信号处理造成的失真。 
具体地说，当信号处理部分127进行作为发射器件120中的信号处理的MPEG编码时，信号处理失真消除部分141进行对输入数据进行MPEG解码，另外消除由MPEG编码/解码造成的失真等的信号处理失真消除处理。 
顺便提及，MPEG解码不仅可在信号处理失真消除部分141中进行，而且可以在时间分辨率创建部分142，声音收集失真消除部分143，或者不同于信号处理失真消除部分141，时间分辨率创建部分142，和声音收集失真消除部分143的另一部件(包括图中未示出的部件)中进行。 
时间分辨率创建部分142改进作为提供给它的输入数据的音频数据的时间方向的分辨率。 
具体地说，即使接收器件130的扬声器是能够输出如实再现真实世界的音频(声音)的高性能扬声器，该扬声器能够输出的音频的音质，例如时间分辨率(采样速率)仍然受发射器件120(图15)的声音收集器件121的性能限制。 
因此，为了在扬声器输出足够音质的音频，时间分辨率创建部分142改进作为输入数据的音频数据的时间方向的分辨率。 
声音收集失真消除部分143从提供给它的输入数据中，除去由发射器件120(图15)的声音收集部分123造成的失真(例如，由声音收集部分123的频率特性引起的音频的波形的失真)。 
顺便提及，声音收集器件失真消除部件132中，信号处理失真消除部分141，时间分辨率创建部分142和声音收集失真消除部分143进行处理的顺序并不特别受限。 
另外，由声音收集器件失真消除部件132中的信号处理失真消除部分141，时间分辨率创建部分142和声音收集失真消除部分143进行的处理可集体由类别分类适应处理实现。 
图18B表示图17中的声音收集器件操作排除部件133的配置例子。 
在图18B中，声音收集器件操作排除部件133包括声源检测部分151。 
为了产生代表真实世界中的第一音频，至少不依赖于声音收集器件121(图15)的位置的第一音频数据，声源检测部分151根据供给它的输入数据至少检测第一音频的声源位置，和在所述声源位置的第一音频的声压(功率)。声源检测部分151产生具有在第一音频的声源位置的第一音频的声压的第一音频数据(代表真实世界中的第一音频，不依赖于声音收集器件121的位置的第一音频数据)。声源检测部分151输出第一音频数据及第一音频的声源位置。 
图19表示接收器件130中的声音收集器件失真消除部件132的另一配置例子。 
在图18A中，在声音收集器件失真消除部件132中，信号处理失真消除部分141，时间分辨率创建部分142和声音收集失真消除部分143进行处理的顺序并不特别受限。不过，在图19中，信号处理失真消除部分141，时间分辨率创建部分142和声音收集失真消除部分143按照该顺序进行处理。 
具体地说，在图19中，来自发射器件120(图15)的输入数据被提供给声音收集器件失真消除部件132和第二音频数据检测部分136。 
声音收集器件失真消除部件132中的信号处理失真消除部分141从作为来自发射器件120(图15)的输入数据的音频数据中，除去由发射器件120的信号处理部分127的信号处理造成的失真，随后把音频数据提供给时间分辨率创建部分142。 
时间分辨率创建部分142改进来自信号处理失真消除部分141的音频数据的时间方向的分辨率。时间分辨率创建部分142把作为结果获得的音频数据提供给声音收集失真消除部分143。 
声音收集失真消除部分143从来自时间分辨率创建部分142的音频数据中，除去由发射器件120(图15)的声音收集部分123造成的失真。声音收集失真消除部分143把音频数据提供给声音收集器件操作排除部件133。 
声音收集器件操作排除部件133中的声源检测部分151从来自声音收集器件失真消除部件132(声音收集器件失真消除部件132中的声音收集失真消除部分143)的音频数据中检测第一音频的声源位置和声压。此外，声源检测部分151产生具有在第一音频的声源位置的第一音频的声压的第一音频数据(代表真实世界中的第一音频，不依赖于声音收集器件121的位置的第一音频数据)。声源检测部分151把第一音频数据连同第一音频的声源位置一起输出给操作部分135。 
同时，第二音频数据检测部分136从作为来自发射器件120的输入数据的音频数据中，检测第二音频数据(BGM等的音频数据)。第二音频数据检测部分136把第二音频数据提供给操作部分135。 
如上所述，操作部分135被供给来自声源检测部分151的第一音频数据，和来自第二音频数据检测部分136的第二音频数据，还被供给来自参数设置部分134的声音收集参数和编辑参数。 
具体地说，例如，如上所述，参数设置部分134按照用户的操作，设置声音收集参数和编辑参数。参数设置部分134把声音收集参数和编辑参数提供给操作部分135。 
操作部分135按照来自参数设置部分134的声音收集参数，调整来自声源检测部分151的第一音频数据的声压(把来自声源检测部分151的第一音频数据的声压调整为如果与从来自处理部分131的声源位置发出的第一音频数据对应的第一音频是在由声音收集参数指示的声音收集位置听到的话，那么会感觉到的声压)。操作部分135从而产生调整音频数据。 
此外，操作部分135按照来自参数设置部分134的编辑参数，把BGM的音频数据(来自第二音频数据检测部分136的第二音频数据)叠加在调整音频数据上。操作部分135把作为结果获得的音频数据作为输出数据输出。 
作为输出数据的音频数据被提供给扬声器(图中未示出)，并被输出。 
从而，通过操作参数设置部分134，用户能够仿佛在真实世界中用麦克风实际收集声音一样地听到音频(声音)。
用麦克风实际收集声音一样地听到音频(声音)。 
即，例如，用户能够享受仿佛在多人讲话的时候，通过使麦克风接近特定人物，用户听所述多人中的特定人物讲话一样的感觉。 
此外，通过操作参数编辑部分134，用户能够开启或关闭BGM的音频数据(第二音频数据)的叠加，当BGM的音频数据的叠加被开启时，把BGM的音量等改变成希望的状态。 
顺便提及，第二音频数据检测部分136不仅能够从输入数据中检测第二音频数据，而且能够从在信号处理失真消除部分141中处理后的音频数据中检测第二音频数据，如图19中的虚线所示。 
图20表示图15中的接收器件130的第二配置例子。 
顺便提及，在图20中，与图16-19对应的部分用相同的附图标记识别，下面将酌情省略对其的说明。 
图20的接收器件130与图19的不同之处在于对声音收集器件操作排除部件133新设置了分离部分152。 
分离部分152被供给经声音收集失真消除部分143处理过的输入数据，和在声源检测部分151中产生的第二音频数据。 
分离部分152相互比较来自声音收集失真消除部分143的输入数据和在声源检测部分151中产生的第二音频数据。从而，例如，当输入数据不仅包括诸如人的声音之类的第一音频收集声音数据和诸如BGM之类的音频数据的第二音频数据，而且包括从不同于第一音频的声源产生的第三音频数据(第三音频收集声音数据)，比如另一人的声音等时，分离部分152起产生不同于在声源检测部分151中产生的第一音频数据的音频数据，即，第二音频数据和第三音频数据的音频数据产生部分的作用。 
即，分离部分152恰当地调整在声源检测部分151中产生的第一音频数据的声压，并从输入数据中扣除。从而，分离部分152从输入数据中分离出第二音频数据和第三音频数据。分离部分152把第二音频数据和第三音频数据提供给操作部分135。 
操作部分135按照来自参数设置部分134的声音收集参数和编辑 参数，合成来自声源检测部分151的第一音频数据，来自第二音频数据检测部分136的第二音频数据，和从分离部分152供给的第三音频数据。 
这种情况下，在图20中，按照用户的操作，参数设置部分134不仅设置第二音频数据(BGM的音频数据)的编辑参数，而且设置第三音频数据(另一人的音频数据)的编辑参数，即，例如指示叠加第三音频数据时的声压，以及开始所述叠加的开始时间，结束时间等的编辑参数。参数设置部分134把编辑参数提供给操作部分135。 
操作部分135比较来自分离部分152的第二音频数据和第三音频数据与来自第二音频数据检测部分136的第二音频数据，从而从来自分离部分152的第二音频数据和第三音频数据中分离出第三音频数据。 
随后，操作部分135通过按照来自参数设置部分134的声音收集参数，调整来自声源检测部分151的人的声音的第一音频数据，产生调整音频数据。此外，操作部分135按照来自参数设置部分134的编辑参数，把BGM的音频数据(来自第二音频数据检测部分136的第二音频数据)叠加在调整音频数据上，并按照来自参数设置部分134的编辑参数，把另一人物的声音的音频数据(第三音频数据)叠加在调整音频数据上。操作部分135把作为结果获得的音频数据作为输出数据输出。 
作为输出数据的音频数据被提供给扬声器(图中未示出)，并被输出。 
和图16-19的情况一样，图20的接收器件130允许用户获得素材的收集和编辑的身体感觉。 
此外，图20的接收器件130能够实现BGM的音频数据(第二音频数据)和另一人物的声音的音频数据(第三音频数据)的编辑。 
下面说明从作为图9等中的第二对象图像数据检测部分36中的输入数据的图像数据中检测作为字幕的图像数据的第二对象图像数据的方法。 
例如，在日本专利特许公开No.2002-084458中描述的技术可被用作检测字幕的方法。 
日本专利特许公开No.2002-084458描述一种通过重复从存储图像中提取字幕区域，获得字幕区域相对于输入图像的运动向量，把存储图像中的像素位置移动与运动向量对应的向量，并通过合成移动后的存储图像和输入图像，形成新的存储图像的过程，提取在固定背景上移动的字幕区域的技术。 
图21表示利用在日本专利特许公开No.2002-084458中描述的技术，提取在固定背景上移动的字幕区域的提取器件的配置例子。 
提取器件从提供给它的输入图像中提取字幕的图像，所述图像具有不同于背景的运动特征(下面把该图像称为特征图像)。 
输入提取器件的输入图像被提供给延迟电路211和运动向量检测电路215。延迟电路211把输入图像延迟预定时间，随后把输入图像提供给合成电路212。 
合成电路212合成从延迟电路211供给的输入图像，和从移相电路216供给的被移相并且保存在存储器213中的存储图像。合成电路212把合成后的图像作为新的存储图像提供给存储器213。 
存储器213保存来自合成电路212的存储图像，并把存储图像提供给提取电路214和移相电路216。 
提取电路214提取从存储器213供给的存储图像上的特征图像(判断为特征图像的图像区域将被提取)，并把提取的图像区域的图像数据和提取的图像区域的显示位置提供给运动向量检测电路215和外部。 
运动向量检测电路215被供给输入图像，并被供给来自提取电路214的存储图像上判断为特征图像的图像区域的图像数据，及所述图像区域的显示位置。运动向量检测电路215利用从提取电路214供给的图像数据和显示位置，检测在提取电路214中提取的存储图像上的图像区域(存储图像上被判断为特征图像的图像区域)，和输入图像上与该图像区域对应的图像区域之间的运动向量。运动向量检测电路 215把运动向量提供给移相电路216。 
移相电路216根据来自运动向量检测电路215的运动向量，移动来自存储器213的存储图像的相位(从而，改变将在合成电路212中与输入图像的像素合成的存储图像的像素)。移相电路216把结果提供给合成电路212。 
图22表示当字幕被提取为特征图像时，图21中的提取电路214的配置例子。 
从存储器213供给提取电路214的存储图像被分别提供给边缘检测电路221，电平检测电路222，和字幕确定电路223。 
边缘检测电路221对存储图像的每个预定区域(图像区域)进行边缘处理，检测边缘的锐度，把检测结果提供给字幕确定电路223。 
电平检测电路222检测存储图像的每个预定图像区域(在边缘检测电路221中经历边缘处理的图像区域)中的平均亮度的电平值。电平检测电路222把检测结果提供给字幕确定电路223。 
字幕确定电路223进行来自边缘检测电路221的边缘的锐度，和来自电平检测电路222的电平值的阈值确定。字幕确定电路223确定存储图像上，判断为具有均大于预定阈值的锐度和电平值的图像区域是字幕。由于字幕通常具有高的锐度和高的电平值，因此通过对锐度和电平值进行阈值确定，能够检测字幕。 
字幕确定电路223从存储图像中获得判断为字幕的图像区域的图像数据，和该图像区域的显示位置。字幕确定电路223把图像区域的图像数据，和图像区域的显示位置提供给运动向量检测电路215。 
在图21的这样构成的提取器件中，运动向量检测电路215检测在提取电路214中提取的，判断为存储图像上的字幕的图像区域，和输入图像上位于与该图像区域的显示位置对应的位置的图像区域之间的运动向量。运动向量检测电路215把运动向量提供给移相电路216。 
顺便提及，这种情况下，假定已开始输入图像的输入，并且存储图像保存在存储器213中。当输入新的输入图像的图像数据时，提取 电路214利用参考图22描述的方法，从保存在存储器213中的存储图像中，获得判断为字幕的图像区域的图像数据，和该图像区域的显示位置。提取电路214把图像区域的图像数据，和该图像区域的显示位置提供给运动向量检测电路215。 
移相电路216根据来自运动向量检测电路215的运动向量，移动保存在存储器213中的存储图像的相位，以致存储图像上判断为字幕的图像区域的像素的相位(位置)，和输入图像上位于与该图像区域的显示位置对应的位置的图像区域的像素的相位(位置)彼此相符。 
从而，存储图像上未被判断为字幕的图像区域(例如，背景的一部分)的像素的相位，和输入图像上与该图像区域对应的图像区域的像素的相位彼此不相符。 
移相电路216把移相的存储图像提供给合成电路212。 
合成电路212按照方程式C＝(1-α)A+αB合成来自延迟电路211的输入图像的像素的像素值A，和来自移相电路216的移相的存储图像的对应像素的像素值B，获得新的存储图像的像素的像素值C，并把像素值C提供给存储器213。顺便提及，α是在0＜α＜1范围中的加权因子。 
即，输入图像和存储图像经历以像素为单位的加权加法，加法值为成将保存在存储器213中的新的存储图像的像素值。 
存储器213保存(累积)来自合成电路212的存储图像。 
随后，提取电路214从存储器213读取存储图像，从存储图像中提取判断为字幕的图像区域，并把图像区域提供给运动向量检测电路215。之后，重复类似的过程。 
如上所述，图21的提取器件在存储图像上判断为字幕的图像区域的像素的相位和输入图像上与该图像区域对应的图像区域的像素的相位彼此相符，并且输入图像和存储图像上除字幕外的图像区域的像素的相位彼此不相符的状态下，合成输入图像和存储图像。于是，存储图像变成其中字幕区域被强调，其它区域被平均的图像。从而，能够提取运动字幕。 
下面说明在图9等中的信号处理失真消除部分41中，从作为输入数据的图像数据中除去由信号处理造成的失真的方法。 
例如，类别分类适应处理可被用作消除由信号处理造成的失真的方法。 
类别分类适应处理是一种把第一数据转换(映射)成不同于第一数据的第二数据的技术。对于多种类别中的每一种，获得统计上使利用第一数据和预定抽头系数的操作所获得的第二数据的预测值的预测误差最小化的抽头系数，借助利用该抽头系数和第一数据的操作，第一数据被转换成第二数据(获得第二数据的预测值)。 
把第一数据转换成第二数据的类别分类适应处理变成与第一和第二数据的定义相应的各种信号处理。 
具体地说，例如，当第一数据是低空间分辨率的图像数据，第二数据是高空间分辨率的图像数据时，类别分类适应处理可被认为是改进空间分辨率的空间分辨率创建(改进)处理。 
另外，例如，当第一数据是低S/N(信号/噪声)的图像数据，第二数据是高S/N的图像数据时，类别分类适应处理可被认为是消除噪声的噪声消除处理。 
此外，例如，当第一数据是具有预定数目的像素(大小)的图像数据，第二数据是通过增大或降低第一数据的像素数目而获得的图像数据时，类别分类适应处理可被认为是调整图像大小(放大或缩小)的调整大小处理。 
另外，例如，当第一数据是低时间分辨率(低帧速率)的图像数据，第二数据是高时间分辨率(高帧速率)的图像数据时，类别分类适应处理可被认为是改进时间分辨率的时间分辨率创建(改进)处理。 
此外，例如，当第一数据是通过对以块为单位，利用MPEG编码等编码的图像数据解码而获得的解码图像数据，第二数据是编码前的图像数据时，类别分类适应处理可被认为是消除各种失真，比如由MEPG编码和解码等造成的块失真的失真消除处理。 
顺便提及，在空间分辨率创建处理中，在把第一数据(低空间分 辨率的图像数据)转换成第二数据(高空间分辨率的图像数据)时，第二数据可以是和第一数据具有相同数目的像素的图像数据，或者可以是比第一数据具有更多数目的像素的图像数据。当第二数据是比第一数据具有更多数目的像素的图像数据时，空间分辨率创建处理是改进空间分辨率，还是扩大图像尺寸(像素的数目)的调整大小处理。 
如上所述，按照类别分类适应处理，根据第一和第二数据的定义，能够实现各种信号处理。 
如上所述的类别分类适应处理借助使用通过把形成第二数据的多个样本中，所关注的关心样本(关心样本的样本值)类别分类到多种类别之一中而获得的类似的抽头系数，和为关心样本选择的第一数据的多个样本(多个样本的样本值)的操作，获得关心样本(关心样本的样本值的预测值)。 
具体地说，图23表示借助类别分类适应处理，把第一数据转换成第二数据的转换器件的配置例子。 
转换器件被供给第一数据。第一数据被提供给抽头选择部分302和303。 
关心样本选择部分301依次把形成第二数据的样本设为关心样本，并把指示关心样本的信息提供给必要的部件。 
抽头选择部分302选择形成第一数据的，用于预测关心样本(关心样本的样本值)的一些样本(样本的样本值)作为预测抽头。 
具体地说，抽头选择部分302选择第一数据的空间或时间位置与关心样本的位置接近的多个样本作为预测抽头。 
例如，当第一和第二数据是图像数据时，空间或时间位置与作为关心样本的像素接近的图像数据(第一数据)的多个像素(像素的像素值)被选为预测抽头。 
另外，例如，当第一和第二数据是音频数据时，时间位置与关心样本接近的音频数据(第一数据)的多个样本(样本的样本值)被选为预测抽头。 
抽头选择部分303选择形成第一数据的，用于进行把关心样本分 类到多个预定类别之一的类别分类的多个样本作为类别抽头。即，抽头选择部分303按照和抽头选择部分302选择预测抽头类似的方式选择类别抽头。 
顺便提及，预测抽头和类别抽头可具有相同的抽头结构(作为预测抽头(类别抽头)的多个样本与作为基准的关心样本的位置关系)，或者可具有不同的抽头结构。 
在抽头选择部分302中获得的预测抽头被提供给预测操作部分306，在抽头选择部分303中获得的类别抽头被提供给类别分类部分304。 
类别分类部分304根据来自抽头选择部分303的类别抽头，进行关心样本的类别分类。类别分类部分304把与作为结果获得的类别对应的类别代码提供给系数输出部分305。 
例如，ADRC(自适应动态范围编码)等可被用作进行类别分类的方法。 
在使用ADRC的方法中，对形成类别抽头的样本(样本的样本值)进行ADRC处理，按照通过ADRC处理获得的ADRC代码，确定关心样本的类别。 
顺便提及，在K-bit ADRC中，检测形成类别抽头的样本的样本值的最大值MAX和最小值MIN，DR＝MAX-MIN被设为集合的局部动态范围，根据动态范围DR，形成类别抽头的每个样本的样本值被重新量化成K比特。即，从形成类别抽头的每个样本的样本值中减去最小值MIN，并用DR/2K去除(重新量化)减法值。 
随后，通过按照预定顺序重新排列如上所述获得的，形成类别抽头的样本的K比特样本值而得到的比特串作为ADRC代码被输出。从而，当对类别抽头进行1比特ADRC处理时，形成类别抽头的每个样本的样本值被除以最大值MAX和最小值MIN的平均值(小数部分被舍弃)，从而，每个样本的样本值被转换成1比特(二进制化)。 
随后，通过按照预定顺序排列1比特样本值而获得的比特串作为ADRC代码被输出。 
顺便提及，例如，可使类别分类部分304原样输出形成类别抽头的样本的样本值的电平分布模式作为类别代码。不过，这种情况下，当类别抽头由N个样本的样本值形成，并且每个样本的样本值被分配K比特时，就类别分类部分304输出的类别代码来说，模式的数目为(2N)K，这是一个按指数规律正比于样本的样本值的比特数K的巨大数字。 
于是，可取的是类别分类部分304通过借助上述ADRC处理，向量量化等，压缩类别抽头的信息量，即，形成类别抽头的多个样本的样本值，进行类别分类。 
系数输出部分305保存通过后面说明的学习而获得的每个类别的抽头系数，另外输出保存的抽头系数之中，保存在与从类别分类部分304供给的类别代码对应的地址的抽头系数(由从类别分类部分304供给的类别代码指示的类别的抽头系数)。该抽头系数被提供给预测操作部分306。 
这种情况下，抽头系数对应于乘以在数字滤波器中的所谓抽头的输入数据的系数。 
预测操作部分306获得由抽头选择部分302输出的预测抽头，和由系数输出部分305输出的抽头系数，并利用预测抽头和抽头系数进行预定的预测操作，以获得关心样本的真值的预测值。从而，预测操作部分106获得并输出关心样本的样本值(关心样本的样本值的预测值)，即，形成第二数据的样本的样本值。 
在这样构成的转换器件中，关心样本选择部分301选择形成与输入转换器件的第一数据相对的第二数据的样本之中，一直不是关心样本的样本之一作为关心样本。 
同时，抽头选择部分302和303分别从提供给它们的第一数据中，选择将被设为用于关心样本的预测抽头和类别抽头的样本。预测抽头从抽头选择部分302被提供给预测操作部分306。类别抽头从抽头选择部分303被提供给类别分类部分304。 
类别分类部分304从抽头选择部分303接收用于关心样本的类别 抽头，并根据类别抽头进行关心样本的类别分类。此外，类别分类部分304把指示通过类别分类获得的关心样本的类别的类别代码提供给系数输出部分305。 
系数输出部分305获得保存在与从类别分类部分304供给的类别代码对应的地址的抽头系数。系数输出部分305把该抽头系数提供给预测操作部分306。 
预测操作部分306利用由抽头选择部分302输出的预测抽头，和来自系数输出部分305的抽头系数，进行预定的预测操作。从而，预测操作部分306获得并输出关心样本的样本值。 
关心样本选择部分301选择形成与输入转换器件的第一数据相对的第二数据的样本之中，一直不是关心样本的样本之一作为新的关心样本。之后，重复相似的过程。 
下面说明图23中的预测操作部分306中的预测操作，和保存在系数输出部分305中的抽头系数的学习。 
顺便提及，这种情况下，假定图像数据被用作第一和第二数据。 
下面考虑这样一种情况，其中高图像质量的图像数据(高图像质量图像数据)被设为第二数据，低图像质量的图像数据(低图像质量图像数据)，它是通过用LPF(低通滤波器)过滤高图像质量图像数据得到的图像质量(分辨率)降低的图像数据，被设为第一数据，从低图像质量图像数据中选择预测抽头，并利用预测抽头和抽头系数，借助预定的预测操作获得(预测)高图像质量图像数据的像素(高图像质量像素)的像素值。 
假定线性一次预测操作被用作预定的预测操作，利用下面的线性一次方程式获得高图像质量像素的像素值y。 
[方程式1] 
y = Σ n = 1 N w n x n . . . ( 1 )
在方程式(1)中，xn表示低图像质量图像数据的第n像素(下面酌情把该像素我为低图像质量像素)(该像素构成高图像质量像素y的预测抽头)的像素值，wn表示乘以第n个低图像质量像素(该低图像质量 像素的像素值)的第n抽头系数。顺便提及，在方程式(1)中，预测抽头由N个低图像质量像素x1，x1，...，xN构成。 
这种情况下，通过二次或更高次的高次方程式，而不是方程式(1)中所示的线性一次方程式也可获得高图像质量像素的像素值y。 
当作为第k像素的高图像质量像素的像素值的真值表示为yk，由方程式(1)获得的真值yk的预测值表示为yk′时，预测误差ek由下面的方程式表示。 
[方程式2] 
ek＝yk-yk′        ...(2) 
按照方程式(1)获得方程式(2)中的预测值yk′。于是，当按照方程式(1)替换方程式(2)中的yk′时，获得下面的方程式。 
[方程式3] 
e k = y k - ( Σ n = 1 N w n x n , k ) . . . ( 3 )
在方程式(3)中，xn，k表示形成作为第k像素的高图像质量像素的预测抽头的第n低图像质量像素。 
使方程式(3)(或方程式(2))中的预测误差ek为零的抽头系数wn是预测高图像质量像素的最佳值。不过，通常难以对所有高图像质量像素都获得这样的抽头系数wn。 
因此，假定最小二乘法被用作表明抽头系数wn是最佳值的标准，通过使由下面的方程式表示的平方误差的总和E最小化，能够获得最佳的抽头系数wn。 
[方程式4] 
E = Σ k = 1 K e k 2 . . . ( 4 )
在方程式(4)中，K表示高图像质量像素yk，和构成该高图像质量像素yk的预测抽头的低图像质量像素x1，k，x1，k，...，xN，k的集合的像素数目(学习用像素的数目)。 
方程式(4)中的平方误差的总和E的最小值(极小值)由使总和E 相对于抽头系数wn的偏微分的结果为0的wn给出，如方程式(5)中所示。 
[方程式5] 
∂ E ∂ w n = e 1 ∂ e 1 ∂ w n + e 2 ∂ e 2 ∂ w n + . . . + e k ∂ e k ∂ w n = 0 ( n = 1,2 , . . . N ) . . . ( 5 )
因此，当相对于抽头系数wn，对上面的方程式(3)进行偏微分时，获得下面的方程式。 
[方程式6] 
∂ e k ∂ w 1 = - x 1 , k , ∂ e k ∂ w 2 = - x 2 , k , . . . , ∂ e k ∂ w N = - x N , k , ( k = 1,2 , . . . , K ) . . . ( 6 )
根据方程式(5)和(6)，获得下面的方程式。 
[方程式7] 
Σ k = 1 K e k x 1 , k = 0 , Σ k = 1 K e k x 2 , k = 0 , . . . Σ k = 1 K e k x N , k = 0 . . . ( 7 )
通过关于ek的方程式(3)代入方程式(7)，方程式(7)可被表示成方程式(8)中所示的正规方程。 
[方程式8] 
Figure G2008800054201D00464
通过利用扫出法(Gauss-Jordan消元法)等等，能够关于抽头系数wn求解方程式(8)的正规方程。 
通过关于每种类别建立和求解方程式(8)的正规方程，对于每种类别能够获得最佳的抽头系数(这种情况下，使平方误差的总和E最小化的抽头系数)wn。 
对于抽头系数的学习来说，准备大量的与第一数据(在上述情况下，低图像质量图像数据)对应的学生数据，和与第二数据(在上述情 况下，高图像质量图像数据)对应的老师数据，通过使用学生数据和老师数据，进行抽头系数的学习。 
随后，图23中的系数输出部分305保存由抽头系数的学习获得的每种类别的抽头系数。 
取决于与第一数据对应的学生数据和与第二数据对应的老师数据的选择方法，能够获得用于进行如上所述的各种信号处理的抽头系数，作为所述抽头系数。 
具体地说，如上所述，通过借助设为与第二数据对应的老师数据的高图像质量图像数据，和通过降低高图像质量图像数据的空间分辨率而获得的，设为对应于第一数据的学生数据的低图像质量图像数据，学习抽头系数，能够获得用于进行空间分辨率创建处理的抽头系数，作为所述抽头系数，所述空间分辨率创建处理把作为低图像质量图像数据(SD(标准清晰度)图像)的第一数据转换成作为通过改进低图像质量图像数据的空间分辨率而获得的高图像质量图像数据(HD(高清晰度)图像数据)的第二数据。 
顺便提及，这种情况下，第一数据(学生数据)可以具有和第二数据(老师数据)相同的像素数目，或者可以具有比第二数据(老师数据)少的像素数目。 
另外，例如，通过在把高图像质量图像数据设为老师数据，把通过将噪声叠加在设为老师数据的高图像质量图像数据上而获得图像数据设为学生数据的情况下学习抽头系数，能够获得进行噪声消除处理的抽头系数，作为所述抽头系数，所述噪声消除处理把第一数据(低S/N图像数据)转换成第二数据(通过消除(减少)包括在低S/N图像数据中的噪声而获得的高S/N图像数据)。 
此外，例如，通过在把一些图像数据设为老师数据，把通过离散地减小作为老师数据的图像数据的像素数目而获得的图像数据设为学生数据的情况下学习抽头系数，能够获得进行放大处理(调整大小处理)的抽头系数，作为所述抽头系数，所述放大处理(调整大小处理)把第一数据(一部分的图像数据)转换成第二数据(通过放大第一数据而 获得的放大图像数据)。 
另外，例如，通过在把高帧速率的图像数据设为老师数据，把通过离散地减小作为老师数据的高帧速率图像数据的帧数而获得的图像数据设为学生数据的情况下学习抽头系数，能够获得进行时间分辨率创建处理的抽头系数，作为所述抽头系数，所述时间分辨率创建处理把第一数据(预定帧速率的图像数据)转换成第二数据(高帧速率的图像数据)。 
顺便提及，例如，通过在把高帧速率的高图像质量图像数据设为老师数据，把通过离散地减少每帧老师数据的像素，和老师数据的帧数而获得的低帧速率的低图像质量图像数据设为学生数据的情况下学习抽头系数，能够获得进行空间方向和时间方向的分辨率创建处理的抽头系数，作为所述抽头系数，所述空间方向和时间方向的分辨率创建处理把第一数据(预定帧速率的低图像质量图像数据)转换成第二数据(高帧速率的高图像质量图像数据)。 
此外，例如，通过把MPEG编码之前的图像数据设为老师数据，把通过MPEG编码的图像数据的MPEG解码而获得的解码图像数据设为学生数据的情况下学习抽头系数，能够获得进行失真消除处理的抽头系数，作为所述抽头系数，所述失真消除处理把第一数据(由MPEG编码和MPEG解码获得的包括块失真等的解码图像数据)转换成第二数据(没有块失真等的图像数据)。 
另外，例如，通过在把没有由像差等造成的失真的图像数据设为老师数据，把通过使老师数据失真而获得的图像数据设为学生数据的情况下学习抽头系数，能够获得进行光学失真消除处理的抽头系数，作为所述抽头系数，所述光学失真消除处理消除光学失真，并把第一数据(包括失真的图像数据)转换成第二数据(没有失真的图像数据)。 
此外，例如，通过在把具有高采样速率的音频数据设为老师数据，把通过离散减少老师数据的样本而获得的低采样速率的音频数据设为学生数据的情况下学习抽头系数，能够获得进行时间分辨率创建处理的抽头系数，作为所述抽头系数，所述时间分辨率创建处理把第一 数据(低采样速率的音频数据)转换成第二数据(高采样速率的音频数据)。 
从图像数据(图9等中的信号处理失真消除部分41中的输入数据)中除去由信号处理造成的失真的处理可由如上所述的类别分类适应处理实现。 
具体地说，例如，通过在把在信号处理部分27(图5)中的信号处理之前的图像数据设为老师数据，把通过使老师数据经过信号处理部分27中的信号处理而获得的图像数据设为学生数据的情况下学习抽头系数，获得每个类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而，能够从作为输入数据的图像数据中除去由信号处理造成的失真。 
具体地说，利用在日本专利特许公开No.2001-320587中描述的技术，能够进行从作为输入数据的图像数据中除去由信号处理造成的失真的处理。 
日本专利特许公开No.2001-320587描述一种利用由在把MEPG编码之前的图像设为老师数据，把通过对该图像进行MPEG编码而获得的MPEG编码数据设为学生数据的情况下进行的学习获得的抽头系数，进行类别分类适应处理的技术。 
下面说明在图9等的时空分辨率创建部分42中，改进作为输入数据的图像数据的时空方向的分辨率的方法。 
图9等的时空分辨率创建部分42中，改进作为输入数据的图像数据的时空方向的分辨率的处理可由上面说明的类别分类适应处理实现。 
具体地说，例如，通过在时间方向和空间方向高分辨率的图像数据被设为老师数据，通过降低老师数据的时间方向和空间方向的分辨率而获得的图像数据被设为学生数据的情况下学习抽头系数，获得每个类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而，能够改进作为输入数据的图像数据的时空方向的分辨率。 
具体地说，通过利用在日本专利特许公开No.2005-260928中描 述的技术，能够实现改进作为输入数据的图像数据的时空方向的分辨率的处理。 
日本专利特许公开No.2005-260928描述一种利用由在高分辨率的图像被设为老师数据，低分辨率的图像数据被设为学生数据的情况下进行的学习获得的抽头系数，进行类别分类适应处理的技术。 
顺便提及，通过改进时空方向的分辨率，时空分辨率创建部分42还能够消除因手的移动而造成的运动模糊，和由散焦状态造成的焦点模糊等等。另外，利用在日本专利特许公开No.2005-063097中描述的技术，能够实现模糊消除。 
日本专利特许公开No.2005-063097描述一种假定无模糊图像的像素值的矩阵A和符合高斯分布的系数的矩阵W的乘积是模糊图像的像素值的列向量B，即，方程式B＝WA成立，对除边缘部分的像素之外的像素应用无模糊图像的相邻像素值之间的差值为零的条件，获得矩阵W的逆矩阵W-1，计算模糊图像B和系数W-1的乘积A＝W-1B，从而获得无模糊图像A的技术。 
下面说明在图9等中的光学失真消除部分43中，从作为输入数据的图像数据中消除由光学系统22造成的失真(例如，由光学系统22的像差等造成的图像失真)的方法。 
在图9等中的光学失真消除部分43中，从作为输入数据的图像数据中消除由光学系统22造成的失真(光学失真)的处理可由上面说明的类别分类适应处理实现。 
具体地说，例如，通过在无光学失真的图像数据被设为老师数据，通过对老师数据造成光学失真而获得的图像数据被设为学生数据的情况下学习抽头系数，获得每个类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而，能够从作为输入数据的图像数据中消除光学失真。 
具体地说，通过利用在WO00/56075 Pamphlet中描述的技术，能够实现从作为输入数据的图像数据中消除光学失真的处理。 
WO00/56075 Pamphlet描述一种利用由在失真图像被设为学生 数据，无失真的图像被设为老师数据的情况下进行的学习获得的抽头系数，进行类别分类适应处理的技术。 
顺便提及，由图9等中的图像拾取器件失真消除部件32中的信号处理失真消除部分41，时空分辨率创建部分42，和光学失真消除部分43进行的处理可集体由类别分类适应处理实现。 
具体地说，例如，通过在时间方向和空间方向高分辨率的图像数据被设为老师数据，通过对老师数据造成光学失真，降低老师数据的时间方向和空间方向的分辨率，和对老师数据进行信号处理而获得的图像数据被设为学生数据的情况下学习抽头系数，获得每种类别的抽头系数，并利用该抽头系数，进行类别分类适应处理。从而，能够集体实现由信号处理失真消除部分41，时空分辨率创建部分42，和光学失真消除部分43进行的处理。 
下面说明在图9等中的图像拾取器件操作检测部分51中，从作为输入数据的图像数据中检测图像拾取器件21(图5)相对于第一对象的相对操作，即，例如图像拾取器件21的诸如摇摄、俯仰、缩放之类操作的方法。 
在日本专利特许公开No.Hei 06-165014和日本专利特许公开No.Hei 05-328201中描述的技术可被用作检测图像拾取器件21的摇摄、俯仰或缩放操作的方法。 
日本专利特许公开No.Hei 06-165014描述一种对基准图像和通过放大基准图像而获得的放大图像进行以多个放大率放大基准图像的线性插值，获得由所述线性插值得到的插值图像与放大图像之间的相关系数，并获得相关系数最大的放大率作为放大图像的放大率的技术。 
另外，日本专利特许公开No.Hei 05-328201描述一种检测一个屏幕的运动向量，保存多个屏幕的运动向量，当存在除运动的开始之外的统一运动，在运动开始时存在均匀加速的运动，和运动的方向被固定时，确定发生了诸如摇摄、俯仰之类有意的摄像机操作(移动)，否则确定发生了手的移动，并校正手的移动的技术。 
图24表示利用在日本专利特许公开No.Hei 06-165014中描述的技术，检测缩放操作的检测器件的配置例子。 
在图24中，检测器件包括帧耦合器401和402，线性插值功能部分403，相关系数计算部分404，和放大率设定功能部分405。 
帧存储器401被供给紧接在场景变化之后的一帧图像数据，该图像数据包括在作为输入数据的图像数据中。帧存储器401把提供给它的图像数据保存为基准图像数据。 
另一方面，帧存储器402被顺序供给在供给帧存储器401的帧之后的一帧图像数据。帧存储器402把提供给它的图像数据保存为由以预定放大率放大基准图像数据而产生的放大图像数据。 
这种情况下，假定放大率不仅可以采取等于或大于1的放大倍数值，而且可以采取小于1的放大倍数值。当放大率小于为1的放大倍数时，放大图像数据是通过以小于1的放大倍数放大基准图像数据而获得的图像数据，即，通过减少基准图像数据而获得的图像数据。 
当在基准图像数据被保存在帧存储器401中之后，新的放大图像数据被保存在帧存储器402中时，放大率设定功能部分405把保存在帧存储器402中的放大图像数据设为关心的图像数据，为关心的图像数据选择多个预定放大率之一(该放大率一直不是关心的放大率)作为关心的放大率，并把关心的放大率提供给线性插值功能部分403。 
线性插值功能部分403进行线性插值，所述线性插值按照由来自放大率设定功能部分405的关心放大率指示的放大倍数值，放大保存在帧存储器401中的基准图像数据(当关心的放大率指示的数值小于1时，离散地减少基准图像数据)。线性插值功能部分403把作为结果获得的插值图像数据提供给相关系数计算部分404。 
对于关心的放大率，相关系数计算部分404获得来自线性插值功能部分403的插值图像数据和保存在帧存储器402中的关心图像数据之间的相关系数，即，通过把插值图像数据的像素值和关心图像数据的像素值的协方差除以插值图像数据的像素值的标准偏差和关心图像数据的像素值的标准偏差的乘积而获得的值。相关系数计算部分 404把相关系数提供给放大率设定功能部分405。 
这种情况下，线性插值功能部分403在移动插值图像数据和关心图像数据的像素的位置(酌情使所述像素彼此对应)的时候，获得相关系数并采用作为结果获得的多个相关系数中值最大的相关系数作为关心的放大率的相关系数。 
在放大率设定功能部分405选择选择所有多个预定放大率作为关心的放大率，并且通过对于所有多个放大率进行线性插值功能部分403和相关系数计算部分404中的处理，从相关系数计算部分404把关于所有多个放大率的相关系数提供给放大率设定功能部分405之后，放大率设定功能部分405从所有多个放大率的相关系数中检测值最大的相关系数，并确定和输出与该相关系数对应的放大率，作为关心图像数据的放大率(基准图像数据的放大率)。 
之后，每次新的图像数据被保存在帧存储器402中时，该新的图像数据被设为关心图像数据，并重复类似的过程。 
下面，图25表示利用在日本专利特许公开No.Hei 05-328201中描述的技术，检测诸如摇摄、俯仰之类有意的摄像机操作(移动)的检测器件的配置例子。 
在图25中，检测器件包括运动向量估计部分421，向量存储器422，和确定部分423。 
运动向量估计部分421被供给作为输入数据的图像数据。对于供给运动向量估计部分421的图像数据的每一帧(场)，运动向量估计部分421检测整个帧(整个屏幕)的运动向量。运动向量估计部分421把运动向量提供给向量存储器422。 
向量存储器422保存从运动向量估计部分421供给的数帧到数十帧的运动向量。 
确定部分423根据保存在向量存储器422中的过去的数帧到数十帧中的多帧的运动向量，确定是否进行了诸如摇摄、俯仰之类有意的摄像机操作。确定部分423输出确定结果。 
具体地说，例如，当运动向量指示的运动是除运动的开始之外的 统一运动，运动的开始是均匀加速的运动，和运动的方向被固定时，确定部分423确定进行了诸如摇摄、俯仰之类有意的摄像机操作。否则，确定部分423确定未进行有意的摄像机操作。确定部分423输出确定结果。 
下面说明图9等中的图像拾取器件操作补偿部分52中，在用由来自图像拾取器件操作检测部分51的操作信息指示的图像拾取器件1的操作补偿的同时，通过把作为输入数据的图像数据增加到存储部分53中，产生代表在图像拾取器件21拾取第一对象的图像之前的第一对象的第一对象图像数据的方法。 
例如，在日本专利特许公开No.Hei 07-038858，日本专利特许公开No.Hei 07-046533和日本专利特许公开No.Hei 11-164264中描述的技术可被用作通过把图像数据增加到存储部分53中，产生代表在图像拾取器件21拾取第一对象的图像之前的第一对象的第一对象图像数据的方法。 
日本专利特许公开No.Hei 07-038858和日本专利特许公开No.Hei 07-046533描述一种利用第k帧图像数据的像素Z(k)和权重α，按照方程式X(k)＝(1-α)X(k-1)+αZ(k)，获得第k帧的背景图像X(k)的技术。 
另外，日本专利特许公开No.Hei 11-164264描述一种通过检测整个屏幕的移动，并在由所述移动移位的位置写入像素，产生高分辨率图像的技术。 
图26表示利用在日本专利特许公开No.Hei 07-038858，日本专利特许公开No.Hei 07-046533和日本专利特许公开No.Hei11-164264中描述的技术，通过添加图像数据，产生代表在图像拾取器件21拾取第一对象的图像之前的第一对象的第一对象图像数据的产生器件的配置例子。 
在图26中，产生器件包括帧存储器部分511，运动检测部分512，场景变化检测部分513，控制器514，和存储器部分515。 
顺便提及，这种情况下，为了简化说明，假定作为输入数据的图 像数据被输入产生器件，所述图像数据的整个屏幕产生同样的移动，所述图像数据是通过摇摄或俯仰摄像机(图像拾取器件21)，拾取风景等的图像而获得的。 
帧存储器部分511被供给作为输入数据的图像数据，帧存储器511保存连续两帧的图像数据。具体地说，帧存储器511具有当前帧存储器511A和在先帧存储器511B。当前帧存储器511A保存现在输入的当前帧，在先帧存储器511B保存在当前帧之前输入的前一帧(于是，所述前一帧被保存在当前帧存储器511A中，一直到当前帧被提供给当前帧存储器511A为止)。 
运动检测部分512查阅帧存储器部分511，检测指示当前帧相对于在先帧的移动的运动向量，并把该运动向量提供给控制器514。顺便提及，如上所述，这种情况下，其整个屏幕产生同样移动的图像数据被输入，于是，对于整个屏幕(一帧)检测一个运动向量。另外，这种情况下，运动检测部分512检测水平方向和垂直方向的，以比构成图像数据的像素更小的单位构成运动向量的分量中，在移动的垂直方向上的分量。 
场景变化检测部分513通过查阅帧存储器部分511，检测场景变化。当场景变化检测部分513检测到从在先帧到当前帧的场景变化时，场景变化检测部分513把关于此的信息输出给控制器514。 
控制器514根据来自运动检测部分512的运动向量，控制存储器部分515中的写入地址和读取地址。另外，当控制器514从场景变化检测部分513收到指示场景变化的信息时，控制器514重置存储器部分515中的写入地址和读取地址，并把存储器部分515中的存储值清除为预定初始值。 
存储器部分515由存储容量充分高于一帧图像数据的存储器或类似物构成。在控制器514的控制下，存储器部分515保存存储在帧存储器部分511的当前帧存储器511A中的当前帧的图像数据，并读取和输出保存的图像数据。 
图27示意表示图26中的存储器部分515的配置例子。 
例如，如图27中所示，存储器部分515具有分别保存水平方向(水平扫描线的方向)的PH′像素的像素值，和垂直方向的PV′像素的像素值的存储容量。 
顺便提及，设PH或PV是水平方向或垂直方向的构成图像数据的像素的数目，这种情况下，PH′＞＞PH，PV′＞＞PV。 
另外，至于存储器部分515的地址，定义绝对地址和相对地址。例如，在存储器部分515中的最上侧和最左侧的存储区被设为原点(0，0)，并且水平方向和垂直方向分别被设为x轴和y轴的情况下，顺序给出绝对地址。从而，作为从左侧起第(i+1)绝对地址和从上侧起第(j+1)绝对地址的绝对地址是(i，j)。 
图28是帮助说明存储器部分515的相对地址的示图。 
相对地址是以由相对地址指针指示的绝对地址作为原点的地址，如图28中所示。作为从相对地址指针的左侧起的第(i+1)相对地址，和从上侧起的第(j+1)相对地址的相对地址被表示成(i，j)。 
相对地址指针由控制器514控制。在以相对地址指针作为最左侧和最上侧的点的情况下，在PH×4PV像素的范围(由图28中的虚线所示的部分)(下面将酌情把该范围称为存取范围)中把图像数据写入存储器部分515，和从存储器部分515读取图像数据。 
这种情况下，如上所述，在存取范围中把图像数据写入存储器部分515，这种情况下，存取范围的大小是PH×4PV像素的范围。于是，在存取范围的水平方向，只能写入数目与水平方向的像素(该像素构成作为输入数据的图像数据)的数目相同的像素，而在存取范围的垂直方向，能够写入数目四倍于垂直方向的像素(该像素构成作为输入数据的图像数据)的数目的像素。 
从而，通过在存取范围的垂直方向，允许写入数目四倍于垂直方向的像素(该像素构成作为输入数据的图像数据)的数目的像素，对作为输入数据的图像数据的每一帧，采用在与小于图像数据的像素的运动对应的位置的新像素，从而能够形成(创建)垂直方向的像素数目(水平扫描线的数目)增大的空间方向分辨率高的图像。 
具体地说，图29是帮助说明把一帧图像数据写入存取范围的示图。 
如图29中的阴影所示，把一帧图像数据写入存取范围是从由水平方向的相对地址指针指示的地址开始顺序进行的，并且是从由垂直方向的相对地址指针指示的地址开始每隔三行进行的。 
于是，图像数据中一个像素沿垂直方向的移动对应于存取范围中的四个像素。从而，可以认为像素位于与以图像数据中的像素的1/4为单位的垂直方向移动对应的位置。即，通过仅仅关注垂直方向，能够按照图像数据的移动，以比一个像素更小的单位(这种情况下，以构成图像数据的像素之间的距离的1/4为单位)移动存取范围。当在这样的存取范围中每隔三行写入图像数据时，垂直方向上彼此相邻的像素之间的空间被填充，能够获得垂直方向4倍分辨率的图像。 
下面说明图26的产生器件的操作。 
作为输入数据的图像数据被供给帧存储器部分511，并被保存在当前帧存储器511A中。随后，当供给下一帧的图像数据时，该图像数据作为当前帧被保存在当前帧存储器511A中，到目前为止保存在当前帧存储器511A中的图像数据作为在先帧被提供给在先帧存储器511B，以便保存在在先帧存储器511B中。之后，在帧存储器部分511中重复类似的过程。 
当第一帧被保存在帧存储器部分511的当前帧存储器511A中时，场景变化检测部分513按照和场景变化的检测类似的方式检测第一帧被保存在当前帧存储器511A中。场景变化检测部分513通知控制器514已发生场景变化。 
这种情况下，当第一帧被保存在当前帧存储器511A中时，还没有图像数据被保存在在先帧存储器511B中，以致当前帧存储器511A和在先帧存储器511B之间的差值的绝对值之和较大，从而，场景变化检测部分513检测到场景变化。不过，这种情况下，不存在任何问题，因为不必区分场景变化和第一帧在当前帧存储器511A中的存储。 
当控制器514接收来自场景变化检测部分513的场景变化(不过， 如上所述，实际上是第一帧在当前帧存储器511A中的存储，而不是场景变化)时，控制器514重置存储器部分515。具体地说，相对地址指针被移动到绝对地址的原点(0，0)，存储器部分515中的所有存储值被清除为预定的初始值。 
之后，保存在当前帧存储器511A中的图像数据被提供给存储器部分515，并被写入存储器部分515。图像数据的写入是在存取范围内进行的，是在垂直方向上每隔三个像素(间隔三个像素)进行的，如上所述。顺便提及，当图像数据被写入存储器部分515中时的地址控制是由控制器514实现的。 
当下一帧被提供给帧存储器部分511时，场景变化检测部分513确定是否发生了场景变化。当确定发生了场景变化时，场景变化检测部分513把指示发生了场景变化的信息输出给控制器514。之后，进行和上述情况下的过程类似的过程。 
另一方面，当确定未发生场景变化时，运动检测部分512检测运动向量。顺便提及，这种情况下，以比一行的间隔短的单位沿垂直方向检测运动向量，如上所述。在运动检测部分512中检测的运动向量被提供给控制器514。当控制器514收到运动向量时，控制器514把相对地址指针移动与运动向量对应的量。 
这种情况下，相对地址指针在水平方向上被移动与运动向量的水平方向分量相同的像素数目，不过在垂直方向上被移动与通过四舍五入四倍于运动向量的垂直方向分量的值而获得的数相同的像素数目。这是因为存取范围具有与垂直方向上图像数据的像素数目的四倍对应的存储容量。 
在相对地址指针被移动之后，保存在当前帧存储器511A中的图像数据(从中检测运动向量的图像)被提供给存储器部分515。随后，该图像数据被添加到存取范围内的每个第四行中。 
即，通过把保存在当前帧存储器511A中的图像数据的某一像素设为关心像素，设A为关心像素的像素值，设B为保存在存储器部分515的存取范围中与关心像素对应的地址的像素值，依据按照方程式 C＝(1-α)B+αA的加权加法，存储器部分515获得新的像素值C，其中α是值在0＜α＜1范围中的权重。以重写的形式把新的像素值C写入与关心像素对应的地址。 
之后，当下一帧被提供给帧存储器部分511时，重复类似的过程。 
如上所述，作为输入数据的图像数据被添加(经过加权加法)到存储器部分515中。从而，当与作为输入数据的图像数据对应的图像包括诸如风景之类的固定第一对象，诸如移动字幕之类的第二对象，和诸如人物之类的移动第三对象时，移动的第二和第三对象的图像数据逐渐被擦除(消除)。从而，保存在存储器部分515中的图像数据变成只是固定的第一对象的图像数据。 
此外，由于在按照运动向量移动相对地址指针的时候，进行所述添加，因此保存在存储器部分515中的图像数据是角度比一帧图像数据更宽的图像数据，即，代表与如实再现真实世界的图像(真实世界图像)更接近的图像的图像数据。 
顺便提及，尽管存储器部分515包含垂直方向高分辨率的图像数据，其分辨率为作为输入数据的图像数据的分辨率的四倍，如上所述，不过也可类似地获得水平方向高分辨率的图像数据。 
还可获得在水平方向和垂直方向，分辨率都与作为输入数据的图像数据的分辨率相同的图像。 
下面说明在图12中的前景模糊消除处理部分55中，在假定包括在输入数据中的第三对象的像素的像素值是通过在移动无运动模糊的相应像素的像素值的时候，沿时间方向求无运动模糊的相应像素的像素值的积分而获得的值的情况下，利用输入数据和保存在存储部分53中的第一对象图像数据产生其运动模糊被减小的第三对象图像数据的方法。 
在日本专利特许公开No.2001-250119中描述的技术可被用作在假定包括在输入数据中的第三对象的像素的像素值是通过在移动无运动模糊的相应像素的像素值的时候，沿时间方向求无运动模糊的相应像素的像素值的积分而获得的值的情况下，产生其运动模糊被减小 的第三对象图像数据的方法。 
日本专利特许公开No.2001-250119描述一种通过在假定拾取图像的像素值是通过在移动无运动模糊的像素的像素值的时候，沿时间方向求无运动模糊的像素的像素值的积分而获得的值的情况下，获得无运动模糊的像素值(真实世界图像)的技术。 
下面参考图30-32说明利用在日本专利特许公开No.2001-250119中描述的技术，产生其运动模糊被减小的图像数据的方法。 
图30表示作为背景的固定对象B和作为前景的移动对象A。 
顺便提及，在图30(对后面说明的图31和图32来说同样如此)中，bi(i＝1，2，...，9，a，b，c，d，e，f(a到f表示十六进制数))表示对象B的真实世界图像的像素的像素值，aj(j＝1，2，...，6)表示对象A的真实世界图像(如实再现真实世界的图像)的像素的像素值。 
在图30中，移动对象A存在于固定对象B和图中未示出的近侧的摄像机(对应于图像拾取器件21)之间。 
当摄像机拾取固定对象B和在跟前移动的对象A的图像时，持续预定曝光时间T入射的光线在摄像机中经历光电转换，与光的数量(光量)对应的像素值被输出。 
这种情况下，假定摄像机中进行光电转换的光电转换元件的像素的大小与真实世界图像的像素的大小相符，那么摄像机的图像拾取可用其中摄像机输出的像素值是依据曝光时间T，求真实世界图像的像素的像素值的积分而获得的值的模型(下面该模型将被称为图像拾取模型)表示。 
具体地说，图31表示在曝光时间T内，以恒定速度沿水平方向(x-方向)移动四个像素的对象A的状态。 
设t1是在曝光时间T内，对象A开始移动的时间，设t5是结束移动的时间，t2，t3和t4是从开始移动的时间t1起，按照间隔的递增顺序把从时间t1到时间t5的时间分成四等份的三个相应时间，在时间tk(k＝1，2，3，4，5)，对象A位于从初始位置(对象A在时间t1的位置)沿水平方向移动(k-1)个像素的位置。 
这种情况下，图像拾取模型中，由摄像机输出的像素值如图32中所示。 
具体地说，图32表示图像拾取模型中，由摄像机输出的像素值yi。 
假定具有对象B的真实世界图像的像素值bi的像素的位置(水平方向)由X0+i指示(以预定位置X0作为基准)，并且位于位置X0+i的像素被表示成像素X0+i，那么在曝光时间T的每个时间t1-t5，在位置X0+1只看到对象B的真实世界图像的像素值b1，于是，摄像机输出的像素X0+1的像素值y1为像素值b1。 
类似地，在曝光时间T的每个时间t1-t5，在位置X0+2只看到对象B的真实世界图像的像素值b2，于是，摄像机输出的像素X0+2的像素值y2为像素值b2。 
在位置X0+3，在曝光时间T的时间t1，看到对象A的真实世界图像的像素值a1，在随后的时间t2-t5，看到对象B的真实世界图像的像素值b3。于是，摄像机输出的像素X0+3的像素值y3是通过持续1/5曝光时间T(在该段时间内，看到对象A的像素值a1)求像素值a1的积分，并持续4/5曝光时间T(在该段时间内，看到对象B的像素值b3)求像素值b3的积分而获得的像素值(1/5×a1)+(4/5×b3)。 
之后，能够类似地获得摄像机输出的像素值yi。 
从而，存在三种情况，即，摄像机输出的像素值yi与对象B的真实世界图像的像素值bi相符的情况，摄像机输出的像素值yi是通过按照对象A的移动，混合对象A的真实世界图像的一个像素值aj和对象B的真实世界图像的像素值bi而获得的值的情况，和摄像机输出的像素值yi是通过按照对象A的移动，混合对象A的真实世界图像的一个或多个像素值aj而获得的值的情况。 
在由摄像机输出的像素值yi构成的图像(下面酌情把该图像称为拾取图像)中，与对象B的真实世界图像的像素值bi相符的像素值yi的区域被称为背景区域，在由摄像机输出的像素值yi构成的图像中，通过混合对象A的真实世界图像的一个或多个像素值aj而获得的像素 值yi的区域被称为前景区域。 
另外，通过混合对象A的真实世界图像的一个或多个像素值aj和对象B的真实世界图像的像素值bi而获得的像素值yi的区域被称为混合区域。 
一般来说，作为前景的对象A的真实世界图像的像素值常常是相互接近的值，作为背景的对象B的真实世界图像的像素值也常常是相互接近的值。 
另一方面，作为前景的对象A的真实世界图像的像素值和作为背景的对象B的真实世界图像的像素值通常不是相互接近的值(是彼此大不相同的值)。 
从而，作为通过混合对象A的真实世界图像的一个或多个像素值aj和对象B的真实世界图像的像素值bi而获得的像素值yi的区域的混合区域是视为具有运动模糊的区域。 
在图32的图像拾取模型中，关注作为前景的对象A，通过拾取对象A的图像而获得的拾取图像的像素值yi，即，受对象A的真实世界图像的像素值aj影响的像素值y3-yc是通过在移动像素值aj的时候，求真实世界图像的像素值aj，即，无运动模糊的像素的像素值aj的积分而获得的值。像素值y3-yc由方程式(9)表述。 
[方程式9] 
y 3 = 1 5 · a 3 + 4 5 · b 3
y 4 = 1 5 · ( a 1 + a 2 ) + 3 5 · b 4
y 5 = 1 5 · ( a 1 + a 2 + a 3 ) + 2 5 · b 5
y 6 = 1 5 · ( a 1 + a 2 + a 3 + a 4 ) + 1 5 · b 6
y 7 = 1 5 · ( a 1 + a 2 + a 3 + a 4 + a 5 )
y 8 = 1 5 · ( a 2 + a 3 + a 4 + a 5 + a 6 )
y 9 = 1 5 · ( a 3 + a 4 + a 5 + a 6 ) + 1 5 · b 9
y a = 1 5 · ( a 4 + a 5 + a 6 ) + 2 5 · b a
y b = 1 5 · ( a 5 + a 6 ) + 3 5 · b b
y c = 1 5 · a 6 + 4 5 · b c . . . ( 9 )
于是，当已知对象B的真实世界图像的像素值bi时，通过借助最小二乘法或类似方法求解方程式(9)，能够获得对象A的真实世界图像的像素值aj，即，无运动模糊(其运动模糊被减小)的像素值aj。从而，能够从拾取图像中分离出(创建)作为前景的无运动模糊的对象A的图像。 
图12中的前景模糊消除处理部分55利用作为输入数据的图像数据(对应于拾取图像)，和保存在存储部分53中的第一对象图像数据(对应于作为背景的对象B的真实世界图像)，根据上述图像拾取模型，创建其运动模糊被减小的第三对象图像数据(对应于作为前景的对象A的真实世界图像)。 
下面说明图19等中的第二音频数据检测部分136中，从作为输入数据的音频数据中检测第二音频数据(BGM的音频数据)的方法。 
例如，在日本专利特许公开No.2005-233984中描述的技术可被用作检测BGM的音频数据的方法。 
日本专利特许公开No.2005-233984描述一种通过使用通过人的 话音的滤波器，或者通过BGM等，而不是人的话音的滤波器，分离话音或BGM的技术。 
图33表示利用在日本专利特许公开No.2005-233984中描述的技术，检测BGM的音频数据的检测器件的配置例子。 
在图33中，该检测器件由滤波器601构成。 
在滤波器601中设定预定的滤波器系数。从而，滤波器601起通过BGM等，而不是人的话音的滤波器的作用。 
下面说明在图19等中的信号处理失真消除部分141中，从作为输入数据的音频数据中除去由信号处理造成的失真的方法。 
图19等中的信号处理失真消除部分141中，从作为输入数据的音频数据中除去由信号处理造成的失真的处理可由上面说明的类别分类适应处理实现。 
具体地说，例如，通过在把在信号处理部分127(图15)中的信号处理之前的音频数据设为老师数据，把通过对老师数据进行信号处理部分127中的信号处理而获得的音频数据设为学生数据的情况下学习抽头系数，获得每个类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而，能够从作为输入数据的音频数据中除去因信号处理而造成的失真。 
具体地说，通过利用在日本专利特许公开No.Hei 10-011583中描述的技术，能够实现从音频数据中除去信号处理造成的失真的处理。 
日本专利特许公开No.Hei 10-011583描述从音频数据中除去信号处理造成的失真的类别分类适应处理。 
下面说明图19等中的时间分辨率创建部分142中，改进作为输入数据的音频数据的时间方向分辨率的方法。 
图19等中的时间分辨率创建部分142中，改进作为输入数据的音频数据的时间方向分辨率的处理可由上面说明的类别分类适应处理实现。 
具体地说，例如，通过在时间方向高分辨率的音频数据被设为老师数据，通过降低老师数据的时间方向分辨率而获得的音频数据被设为学生数据的情况下学习抽头系数，获得每种类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而，能够改进作为输入数据的音频数据的时间方向的分辨率。 
具体地说，通过利用在日本专利特许公开No.Hei 10-313251中描述的技术，能够实现改进作为输入数据的音频数据的时间方向分辨率的处理。 
日本专利特许公开No.Hei 10-313251描述一种利用由在高采样频率的音频数据被设为老师数据，通过降低采样频率而获得的音频数据被设为学生数据的情况下进行的学习获得的抽头系数，实现类别分类适应处理的技术。 
下面说明图19等中的声音收集失真消除部分143中，从作为输入数据的音频数据中除去由声音收集部分123(图15)的声音收集造成的失真的方法。 
图19等中的声音收集失真消除部分143中，从作为输入数据的音频数据中除去由声音收集造成的失真(声音收集失真)的处理可由上面说明的类别分类适应处理实现。 
具体地说，例如，通过在无声音收集失真的音频数据被设为老师数据，通过对老师数据造成声音收集失真而获得的音频数据被设为学生数据的情况下学习抽头系数，获得每种类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而，能够从作为输入数据的音频数据中消除声音收集失真。 
具体地说，利用在日本专利特许公开No.Hei 10-011583中描述的技术，能够实现从作为输入数据的音频数据中除去声音收集失真的处理。 
日本专利特许公开No.Hei 10-011583描述从音频数据除去声音收集失真的类别分类适应处理。 
顺便提及，在图19等中的声音收集失真消除部件132中，由信号处理失真消除部分141，时间分辨率创建部分142，和声音收集失真消除部分143进行的处理可集体由类别分类适应处理实现。 
具体地说，通过在时间方向高分辨率的音频数据被设为老师数据，通过对老师数据造成声音收集失真，进一步降低老师数据的时间方向的分辨率，并对老师数据进行信号处理而获得的音频数据被设为学生数据的情况下学习抽头系数，获得每种类别的抽头系数，利用该抽头系数进行类别分类适应处理。从而，能够集体实现由信号处理失真消除部分141，时间分辨率创建部分142，和声音收集失真消除部分143进行的处理。 
下面说明在图19等中的声源检测部分151中的进行声源检测处理的方法，所述声源检测处理至少从作为输入数据的音频数据中检测第一音频的声源位置，和位于该声源位置的第一音频的声压(功率)，以便产生代表真实世界中的第一音频的第一音频数据(该数据至少不依赖于声音收集器件121(图15)的位置)，并产生具有在第一音频的声源位置的第一音频的声压的第一音频数据(代表真实世界中的第一音频，不依赖于声音收集器件121的位置的第一音频数据)。 
例如，在日本专利特许公开No.2005-266797中描述的技术可被用作进行声源检测处理的方法。 
日本专利特许公开No.2005-266797描述一种通过改变来自立体声麦克风的两个输入音频的延迟量，获得强调目标音频的强调信号，进行音调检测，根据音调产生滤波器系数，对强调信号滤波，和提取目标音频的技术。 
图34表示利用在日本专利特许公开No.2005-266797中描述的技术，进行声源检测处理的检测器件的配置例子。 
在图34中，检测器件包括延迟校正加法部分701，音调检测部分702，分离系数创建部分703，和滤波操作电路704。 
例如，延迟校正加法部分701被供给由立体声麦克风的声音收集获得的立体声信号。 
延迟校正加法部分701通过调整延迟作为立体声信号的L(左)声道信号和R声道信号的延迟的数量，并相加延迟后的L声道信号和R 声道信号，获得强调包括在立体声信号中的作为人的话音的目标音频(对应于第一音频)的强调信号。延迟校正加法部分701把强调信号提供给音调检测部分702和滤波操作部分704。 
另外，延迟校正加法部分701根据当获得强调信号时的延迟的数量，检测并输出目标音频的声源位置。此外，延迟校正加法部分701把强调信号的功率视为收集目标音频的声音的声音收集位置的目标音频的功率，根据该功率获得位于目标音频的声源位置的功率，并输出位于目标音频的声源位置的功率作为位于目标音频的声源位置的声压。 
延迟校正加法部分701输出的目标音频的声源位置和声压被输出到外部，并被提供给滤波操作电路704。 
音调检测部分702检测来自延迟校正加法部分701的强调信号的音调频率。音调检测部分702把强调信号的音调频率(目标音频的音调频率)提供给分离系数创建部分703。 
根据来自音调检测部分702的音调频率，分离系数创建部分703获得(创建)通过该音调频率下的音频(即，目标音频)的滤波器的滤波器系数。分离系数创建部分703把滤波器系数提供给滤波操作电路704。 
滤波操作电路704起具有来自分离系数创建部分703的滤波器系数的滤波器的作用。通过对来自延迟校正加法部分701的强调信号滤波，滤波操作电路704从强调信号提取目标音频(目标音频的信号分量)。 
此外，滤波操作电路704放大从强调信号提取的目标音频，从而获得在从延迟校正加法部分701供给的声压下的目标音频，并输出该目标音频。 
下面参考图35，说明其中图34中的延迟校正加法部分701通过调整用于延迟作为立体声信号的L声道信号和R声道信号的延迟的数量，并相加延迟后的L声道信号和R声道信号，获得强调包括在立体声信号中的目标音频(对应于第一音频)的强调信号的处理的原理。 
在图35中，L声道麦克风MCL和R声道麦克风MCR对应于 图15中的声音收集器件121。 
麦克风MCL收集从声源SL、SC和SR发出的声音，并以L声道信号的形式输出该声音。麦克风MCR收集从声源SL、SC和SR发出的声音，并以R声道信号的形式输出该声音。 
麦克风MCL输出的L声道信号被提供给延迟部件711。麦克风MCR输出的R声道信号被提供给延迟部件712。 
延迟部件711酌情调整用于延迟信号的延迟的数量，延迟麦克风MCL输出的L声道信号，并把作为结果获得的延迟信号提供给运算部分713和714。 
延迟部件712也调整延迟的数量，延迟麦克风MCR输出的R声道信号，并把作为结果获得的延迟信号提供给运算部分713和714。 
运算部分713相加来自延迟部件711的L声道延迟信号和来自延迟部件712的R声道延迟信号，并输出结果。 
运算部分714从来自延迟部件711的L声道延迟信号和来自延迟部件712的R声道延迟信号之一中减去另一个，并输出结果。 
在图35中，运算部分713输出的信号是其中在包括于通过麦克风MCL和MCR的声音收集获得的声信号中的信号分量之中，希望的目标音频的信号分量被强调，其它信号被衰减的强调信号。 
具体地说，在图35中，从麦克风MCL和MCR一侧观察，声源SL被置于左侧，声源SC被置于中央，声源SR被置于右侧。 
假定由声源SL、SC和SR之中，位于右侧的声源SR发出的声音是目标音频。 
设t是从声源SR发出的目标音频到达就声源SR来说较近的麦克风MCR的时间，从声源SR发出的目标音频在从时间t开始，延迟时间(物理延迟量)τ(对应于麦克风MCL和MCR之间的距离等)的时刻到达就声源SR来说较远的麦克风MCL。 
从而，当延迟部件72的延迟量被调整成比延迟部件711的延迟量大时间τ时，延迟部件711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号之间的相关系数较大，因为分别包括在L和R 声道延迟信号中的目标音频的信号分量彼此同相。 
具体地说，图36表示当延迟部件712的延迟量被调整成比延迟部件711的延迟量大时间τ时，延迟部件711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号。 
当延迟部件712的延迟量被调整成比延迟部件711的延迟量大时间τ时，延迟部件711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号中的目标音频的信号分量彼此同相。 
另一方面，延迟部件711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号中除目标音频外的其它信号分量彼此异相。 
从而，通过调整延迟部件712的延迟量，以便比延迟部件711的延迟量大时间τ，并在运算部分713中相加延迟部件711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号而获得的信号是其中在包括于通过麦克风MCL和MCR的声音收集获得的声信号中的信号分量之中，希望的目标音频的信号分量被强调，其它信号被衰减的强调信号。 
这种情况下，延迟部件711和712的延迟量被调整，以致延迟部分711输出的L声道延迟信号和延迟部件712输出的R声道延迟信号之间的相关系数(通过把L声道延迟信号与R声道延迟信号的协方差除以L声道延迟信号的标准偏差与R声道延迟信号的标准偏差的乘积而获得的值)变成最大值。 
随后，根据延迟部件711和712的相应延迟量之间的差值，和麦克风MCL和MCR之间的距离等，能够获得从麦克风MCL和MCR角度观察的目标音频的声源SR的位置。 
顺便提及，当图19等中的声源检测部分151利用图34的检测器件进行声源检测处理时，与声音收集器件121(图15)对应的麦克风MCL和MCR的位置等是必需的。麦克风MCL和MCR的位置等预先已知，或者在包括在输入数据中的状态下传送自发射器件120(图15)。 
当声音收集器件121(图15)是单声道麦克风，而不是诸如麦克风 MCL和MCR之类的立体声麦克风时，通过利用图像检测声源位置。 
具体地说，例如，简单地说，当和输入数据的音频数据一起构成节目的图像数据表明某人在说话时，那么该人的嘴部在动。于是，当获得各帧图像数据之间的差异时，只有在该人的嘴部差值才较大。 
于是，获得各帧图像数据之间的差异，出现在其差值等于或大于预定值的像素的区域中的对象(这种情况下，说话的人)的位置可被检测为声源位置。 
顺便提及，当其差值等于或大于预定值的像素的区域变得很小时，或者当整个一帧的差异变得很小时，认为该人已停止说话，声源检测部分151(图19等)的第一音频数据的输出可被停止(静音)。 
接下来，上面说明的一系列过程可由硬件实现，也可由软件实现。发所述一系列过程由软件实现时，构成所述软件的程序被安装到通用个人计算机或类似物上。 
从而，图37表示安装用于执行上述一系列过程的程序的计算机的一个实施例的配置例子。 
程序可被预先记录在作为包括在计算机中的记录介质的硬盘805上，或者预先记录在ROM 803中。 
另一方面，程序可被临时或永久保存(记录)在可拆卸记录介质811，比如软盘、CD-ROM(光盘只读存储器)、MO(磁光盘)、DVD(数字通用光盘)、磁盘、半导体存储器等上。可以所谓的包装软件的形式提供这样的可拆卸记录介质811。 
顺便提及，除了从如上所述的可拆卸记录介质811安装到计算机之外，程序可经数字卫星广播用人造卫星，通过无线电从下载站点传送到计算机，或者可经诸如LAN(局域网)、因特网之类网络通过导线从下载站点传送到计算机，计算机能够借助通信部分808接收这样传送的程序，并把程序安装在内置硬盘805上。 
计算机包括CPU(中央处理器)802。CPU 802经总线801与输入-输出接口810连接。当用户通过操作由键盘、鼠标、麦克风等构成的输入部分807，经输入-输出接口801输入命令时，CPU 802按照该命 令执行保存在ROM(只读存储器)803中的程序。另一方面，CPU 802把保存在硬盘805上的程序，传送自卫星或网络，由通信部分808接收，并且随后被安装在硬盘805上的程序，或者从装入驱动器809中的可拆卸记录介质811读取的，并且随后安装在硬盘805上的程序装入RAM(随机存取存储器)804中。CPU 802随后执行该程序。CPU 802从而执行与上述流程图相应的过程，或者由上述方框图的配置执行的过程。随后，根据需要，CPU 802经输入-输出接口810从由LCD(液晶显示器)，扬声器等构成的输出部分806输出处理的结果，从通信部分808传送所述结果，或者把结果记录在硬盘805上。 
在本说明书中，描述使计算机执行各种过程的程序的过程步骤不一定需要按照如流程图所述的顺序依次进行，包括并行或者单独执行的过程(例如，并行处理或者基于音频的处理)。 
程序可由一个计算机处理，或者可经历多个计算机的分布处理。此外，程序可被传给远程计算机，并且该远程计算机执行。 
应注意本发明的实施例并不局限于上述实施例，可做出各种变化而不脱离本发明的精神。 

Claims (14)

1.一种数据处理设备，用于处理通过对由对真实世界中的第一对象进行感测和采样的传感器器件获得的感测数据进行信号处理而获得的输入数据，所述数据处理设备包括：
传感器器件失真消除部件，被配置成消除当所述传感器器件感测所述第一对象时发生的失真和由所述信号处理造成的失真，所述失真包含在所述输入数据中；
传感器器件位置消除部件，被配置成根据所述输入数据产生代表所述第一对象的第一对象数据，所述第一对象数据至少不依赖于所述传感器器件的位置；
参数设置部分，被配置成设置作为用于感测所述第一对象的参数的感测参数；和
操作部分，被配置成按照所述参数设置部分设置的感测参数，操作所述第一对象数据；其中
所述传感器器件是借助光学系统拾取真实世界的图像的图像拾取器件，
所述数据处理设备是被配置成处理所述输入数据的图像处理设备，
所述传感器器件位置消除部件是图像拾取器件操作消除部件，包括
图像拾取器件操作检测部分，被配置成根据所述输入数据，
检测所述图像拾取器件相对于所述第一对象的相对操作，和
图像拾取器件操作补偿部分，被配置成通过把所述输入数
据增加到被配置成保存数据的存储部分中，同时通过所述图像拾
取器件的操作补偿所述输入数据，来产生代表在所述图像拾取器
件拾取第一对象的图像之前的第一对象的第一对象图像数据，所
述操作是由所述图像拾取器件操作检测部分检测的，
所述参数设置部分设置作为所述感测参数的图像拾取参数，所述图像拾取参数是用于拾取所述第一对象的图像的参数。
2.按照权利要求1所述的数据处理设备，其中
通过进行编辑把不同于所述感测数据的第二对象图像数据叠加在所述感测数据上，并对被叠加有第二对象图像数据的所述感测数据进行所述信号处理，来获得所述输入数据，
所述数据处理设备还包括第二对象数据检测部分，被配置成从所述输入数据检测所述第二对象图像数据，
所述参数设置部分设置所述感测参数和作为用于进行编辑的参数的编辑参数，和
所述操作部分按照所述感测参数操作所述第一对象数据，并按照所述编辑参数利用所述第二对象图像数据进行编辑。
3.按照权利要求2所述的数据处理设备，其中
所述输入数据是通过进行编辑把代表第二对象的第二对象图像数据叠加在由借助光学系统拾取真实世界中的第一对象的图像、并沿时空方向采样所述第一对象的所述图像拾取器件获得的所述第一对象拾取图像数据上、并对被叠加有所述第二对象图像数据的所述第一对象拾取图像数据进行信号处理而获得的图像数据，
所述传感器器件失真消除部件是被配置成消除当所述图像拾取器件拾取所述第一对象的图像时发生的失真和由所述信号处理造成的失真的图像拾取器件失真消除部件，所述失真包含在所述输入数据中；
所述第二对象数据检测部分是被配置成从所述输入数据检测所述第二对象图像数据的第二对象检测部分，和
所述操作部分按照所述图像拾取参数和所述编辑参数，合成所述第一对象图像数据和所述第二对象图像数据。
4.按照权利要求3所述的数据处理设备，其中所述图像拾取器件失真消除部件包括
被配置成从所述输入数据中消除由所述信号处理造成的失真的信号处理失真消除部分，
被配置成改进所述输入数据的时空方向上的分辨率的时空分辨率改进部分，和
被配置成从所述输入数据中消除由所述光学系统导致的失真的光学失真消除部分。
5.按照权利要求3所述的数据处理设备，还包括
图像数据产生部分，被配置成通过相互比较保存在所述存储部分中的所述输入数据和所述第一对象图像数据，产生所述第二对象图像数据和代表作为移动体的第三对象的第三对象图像数据。
6.按照权利要求5所述的数据处理设备，其中在认为所述第三对象的像素的像素值是通过在移动没有运动模糊的相应像素的像素值的同时、沿时间方向求没有运动模糊的相应像素的像素值的积分而获得的值的情况下，所述图像数据产生部分产生运动模糊被减小的所述第三对象图像数据。
7.按照权利要求5所述的数据处理设备，其中所述参数设置部分产生所述操作部分的输出目的地的屏幕的大小和所述第三对象图像数据的大小之间的大小比，当所述输出目的地的屏幕的大小被改变时，按照所述大小比调整用于编辑所述第三对象图像数据的大小的所述编辑参数。
8.按照权利要求5所述的数据处理设备，其中
所述参数设置部分设置所述编辑参数，以便只对所述图像数据产生部分产生的所述第三对象图像数据进行γ校正处理，和
所述操作部分按照所述编辑参数，只使所述第三对象图像数据受到γ校正。
9.一种数据处理设备，用于处理通过对由对真实世界中的第一对象进行感测和采样的传感器器件获得的感测数据进行信号处理而获得的输入数据，所述数据处理设备包括：
传感器器件失真消除部件，被配置成消除当所述传感器器件感测所述第一对象时发生的失真和由所述信号处理造成的失真，所述失真包含在所述输入数据中；
传感器器件位置消除部件，被配置成根据所述输入数据产生代表所述第一对象的第一对象数据，所述第一对象数据至少不依赖于所述传感器器件的位置；
参数设置部分，被配置成设置作为用于感测所述第一对象的参数的感测参数；和
操作部分，被配置成按照所述参数设置部分设置的感测参数，操作所述第一对象数据，其中
所述传感器器件是具有被配置成收集真实世界的第一音频的声音的声音收集部分的声音收集器件，
所述数据处理设备是被配置成处理所述输入数据的音频处理设备，
所述传感器器件位置消除部件是声音收集器件操作消除部件，包括被配置成从所述输入数据中至少检测所述第一音频的声源位置和声压、以便产生代表真实世界中的所述第一音频的第一音频数据的声源检测部分，第一音频数据至少不依赖于所述声音收集器件的位置，
所述参数设置部分设置作为所述感测参数的声音收集参数，所述声音收集参数是用于收集所述第一音频的声音的参数。
10.按照权利要求9所述的数据处理设备，其中所述输入数据是通过进行编辑把第二音频数据叠加在由收集真实世界的第一音频的声音并沿时间方向对第一音频采样的所述声音收集器件获得的第一音频收集声音数据上、并对被叠加有所述第二音频数据的所述第一音频收集声音数据进行信号处理而获得的音频数据，
所述传感器器件失真消除部件是声音收集器件失真消除部件，被配置成消除当所述声音收集器件收集所述第一音频的声音时发生的失真和由所述信号处理造成的失真，所述失真包含在所述输入数据中，
所述数据处理设备还包括第二对象数据检测部分，所述第二对象数据检测部分是被配置成从所述输入数据中检测所述第二音频数据的第二音频数据检测部分，和
所述操作部分按照所述声音收集参数和所述参数设置部分设置的作为用于进行编辑的参数的编辑参数，合成所述第一音频数据和所述第二音频数据。
11.按照权利要求9所述的数据处理设备，其中所述声音收集器件失真消除部件包括
被配置成从所述输入数据中消除由所述信号处理造成的失真的信号处理失真消除部分，
被配置成改进所述输入数据的时间方向上的分辨率的时间分辨率改进部分，和
被配置成从所述输入数据中消除由所述声音收集部分造成的失真的声音收集失真消除部分。
12.按照权利要求9所述的数据处理设备，还包括
音频数据产生装置，用于通过相互比较所述输入数据和所述第一音频数据，产生所述第二音频数据和代表从不同于第一音频的声源发出的第三音频的第三音频数据。
13.一种数据处理设备的数据处理方法，所述数据处理设备被配置成处理通过对由对真实世界中的第一对象进行感测和采样的传感器器件获得的感测数据进行信号处理而获得的输入数据，所述数据处理方法包括下述步骤：
所述数据处理设备
消除当所述传感器器件感测所述第一对象时发生的失真和由所述信号处理造成的失真，所述失真包含在所述输入数据中；
根据所述输入数据产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于所述传感器器件的位置；
按照由被配置成设置作为用于感测所述第一对象的参数的感测参数的参数设置部分设置的感测参数，操作所述第一对象数据；其中
所述传感器器件是借助光学系统拾取真实世界的图像的图像拾取器件，
所述数据处理设备是被配置成处理所述输入数据的图像处理设备，
所述根据所述输入数据产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于所述传感器器件的位置的步骤包括：
图像拾取器件操作检测步骤，根据所述输入数据，检测所
述图像拾取器件相对于所述第一对象的相对操作，和
图像拾取器件操作补偿步骤，通过把所述输入数据增加到
被配置成保存数据的存储部分中，同时通过所述图像拾取器件的
操作补偿所述输入数据，来产生代表在所述图像拾取器件拾取第
一对象的图像之前的第一对象的第一对象图像数据，所述操作是
由图像拾取器件操作检测步骤检测的，
图像拾取参数被设置作为所述感测参数，所述图像拾取参数是用于拾取所述第一对象的图像的参数。
14.一种数据处理设备的数据处理方法，所述数据处理设备被配置成处理通过对由对真实世界中的第一对象进行感测和采样的传感器器件获得的感测数据进行信号处理而获得的输入数据，所述数据处理方法包括下述步骤：
所述数据处理设备
消除当所述传感器器件感测所述第一对象时发生的失真和由所述信号处理造成的失真，所述失真包含在所述输入数据中；
根据所述输入数据产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于所述传感器器件的位置；
按照由被配置成设置作为用于感测所述第一对象的参数的感测参数的参数设置部分设置的感测参数，操作所述第一对象数据；其中
所述传感器器件是具有被配置成收集真实世界的第一音频的声音的声音收集部分的声音收集器件，
所述数据处理设备是被配置成处理所述输入数据的音频处理设备，
所述根据所述输入数据产生代表所述第一对象的第一对象数据，第一对象数据至少不依赖于所述传感器器件的位置的步骤包括从所述输入数据中至少检测所述第一音频的声源位置和声压、以便产生代表真实世界中的所述第一音频的第一音频数据，第一音频数据至少不依赖于所述声音收集器件的位置，
声音收集参数被设置作为所述感测参数，所述声音收集参数是用于收集所述第一音频的声音的参数。
CN2008800054201A 2007-12-18 2008-12-18 数据处理设备，数据处理方法 Expired - Fee Related CN101617528B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007325512 2007-12-18
JP325512/2007 2007-12-18
PCT/JP2008/073030 WO2009078454A1 (ja) 2007-12-18 2008-12-18 データ処理装置、データ処理方法、及び記憶媒体

Publications (2)

Publication Number Publication Date
CN101617528A CN101617528A (zh) 2009-12-30
CN101617528B true CN101617528B (zh) 2012-01-11

Family

ID=40795567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800054201A Expired - Fee Related CN101617528B (zh) 2007-12-18 2008-12-18 数据处理设备，数据处理方法

Country Status (8)

Country Link
US (1) US8169510B2 (zh)
EP (1) EP2222075A4 (zh)
JP (1) JP5288214B2 (zh)
KR (1) KR20100103338A (zh)
CN (1) CN101617528B (zh)
BR (1) BRPI0807594A2 (zh)
RU (1) RU2423015C2 (zh)
WO (1) WO2009078454A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915341B2 (ja) * 2007-12-20 2012-04-11 ソニー株式会社 学習装置および方法、画像処理装置および方法、並びにプログラム
JP5521888B2 (ja) * 2010-08-19 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び電子装置
EP2487801B1 (en) * 2011-02-10 2018-09-05 Nxp B.V. Method and apparatus for reducing or removing click noise
KR101856947B1 (ko) 2011-10-07 2018-05-11 삼성전자주식회사 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
US9525859B2 (en) * 2012-08-09 2016-12-20 Sony Corporation Refinement of user interaction
WO2015145858A1 (ja) * 2014-03-25 2015-10-01 富士フイルム株式会社 手ぶれ補正装置、撮像装置
WO2016007378A1 (en) * 2014-07-11 2016-01-14 mindHIVE Inc. System and methods for secure collaborative communication
JP6408884B2 (ja) * 2014-11-28 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN104935997B (zh) * 2015-06-01 2020-08-18 上海幻电信息科技有限公司 观看者自定义高级弹幕的方法和装置
CN105068795A (zh) * 2015-07-20 2015-11-18 上海幻电信息科技有限公司 基于弹幕特效的开发方法与装置
KR102011938B1 (ko) 2016-03-14 2019-08-19 리어롭 가부시키가이샤 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치
CN109644303B (zh) 2016-08-29 2021-07-23 Groove X 株式会社 对发声体作出动作的机器人
JP6890944B2 (ja) * 2016-10-07 2021-06-18 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置
CN109167805B (zh) * 2018-07-09 2021-08-10 同济大学 基于城市场景中车联网时空数据的分析处理方法
CN110954852B (zh) * 2018-09-27 2022-05-17 迈来芯电子科技有限公司 传感器设备、系统以及相关方法
CN109413563B (zh) * 2018-10-25 2020-07-10 Oppo广东移动通信有限公司 视频的音效处理方法及相关产品
US10867220B2 (en) * 2019-05-16 2020-12-15 Rpx Corporation Systems and methods for generating composite sets of data from different sensors
DE102020106612A1 (de) 2020-03-11 2021-09-16 Schaeffler Technologies AG & Co. KG Vorrichtung zur Übertragung von Drehmomenten
DE102020106613A1 (de) 2020-03-11 2021-09-16 Schaeffler Technologies AG & Co. KG Elektromechanische Antriebsvorrichtung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658238A (zh) * 1999-12-28 2005-08-24 索尼公司 信号处理方法与设备以及记录介质
CN1754187A (zh) * 2003-02-28 2006-03-29 索尼株式会社 图像处理装置、方法及程序

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3257035B2 (ja) 1992-05-14 2002-02-18 ソニー株式会社 画像の振動補正装置及び方法
JP3278936B2 (ja) 1992-11-27 2002-04-30 ソニー株式会社 ズーム率算出方法
JP3543978B2 (ja) 1993-07-23 2004-07-21 ソニー株式会社 デジタル画像信号の伝送装置、受信装置およびデジタル画像信号の記録装置、再生装置
JP3263749B2 (ja) 1993-07-27 2002-03-11 ソニー株式会社 デジタル画像信号の記録装置
JPH11510342A (ja) * 1995-07-27 1999-09-07 センサーマティック・エレクトロニクス・コーポレーション 移動部品を用いないカメラを用いた画像分割、画像形成および処理装置と方法
JPH1011583A (ja) 1996-06-27 1998-01-16 Sony Corp クラス分類適応処理装置、クラス分類適応処理用の学習装置および学習方法
JP4120898B2 (ja) 1997-02-14 2008-07-16 ソニー株式会社 画像処理装置および画像処理方法
JP3946812B2 (ja) 1997-05-12 2007-07-18 ソニー株式会社 オーディオ信号変換装置及びオーディオ信号変換方法
KR100760171B1 (ko) 1999-03-12 2007-09-20 소니 가부시끼 가이샤 화상 제공 장치 및 그 제공 방법, 화상 처리 장치 및 그 처리 방법, 및 기억 매체
US6654031B1 (en) * 1999-10-15 2003-11-25 Hitachi Kokusai Electric Inc. Method of editing a video program with variable view point of picked-up image and computer program product for displaying video program
JP4491965B2 (ja) * 1999-12-28 2010-06-30 ソニー株式会社 信号処理装置および方法、並びに記録媒体
JP4752088B2 (ja) 2000-05-09 2011-08-17 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4617611B2 (ja) 2000-06-23 2011-01-26 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2002271691A (ja) * 2001-03-13 2002-09-20 Canon Inc 画像処理方法、画像処理装置、記憶媒体及びプログラム
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
JP4196274B2 (ja) 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
JP2005174024A (ja) * 2003-12-11 2005-06-30 Canon Inc 画像生成装置及び方法
JP4656391B2 (ja) 2004-02-13 2011-03-23 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP4661058B2 (ja) 2004-02-17 2011-03-30 ソニー株式会社 コンテンツ提供方法、コンテンツ提供方法のプログラム、コンテンツ提供方法のプログラムを記録した記録媒体及びコンテンツ提供装置
JP2005266797A (ja) 2004-02-20 2005-09-29 Sony Corp 音源信号分離装置及び方法、並びにピッチ検出装置及び方法
DE602005007219D1 (de) * 2004-02-20 2008-07-10 Sony Corp Verfahren und Vorrichtung zur Trennung von Schallquellensignalen
JP4624802B2 (ja) * 2005-01-04 2011-02-02 オリンパス株式会社 内視鏡装置、及びそのプログラム
JP4293157B2 (ja) * 2005-03-23 2009-07-08 日本ビクター株式会社 画像処理装置
US7672539B2 (en) * 2005-12-15 2010-03-02 General Instrument Corporation Method and apparatus for scaling selected areas of a graphics display
JP4211838B2 (ja) * 2006-11-09 2009-01-21 ソニー株式会社 撮像装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1658238A (zh) * 1999-12-28 2005-08-24 索尼公司 信号处理方法与设备以及记录介质
CN1754187A (zh) * 2003-02-28 2006-03-29 索尼株式会社 图像处理装置、方法及程序

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2002-271691A 2002.09.20
JP特开2004-129003A 2004.04.22
JP特开2006-304047A 2006.11.02

Also Published As

Publication number Publication date
EP2222075A4 (en) 2011-09-14
US20100157080A1 (en) 2010-06-24
KR20100103338A (ko) 2010-09-27
JPWO2009078454A1 (ja) 2011-04-28
RU2423015C2 (ru) 2011-06-27
RU2009131323A (ru) 2011-02-27
US8169510B2 (en) 2012-05-01
JP5288214B2 (ja) 2013-09-11
EP2222075A1 (en) 2010-08-25
BRPI0807594A2 (pt) 2014-07-22
WO2009078454A1 (ja) 2009-06-25
CN101617528A (zh) 2009-12-30

Similar Documents

Publication Publication Date Title
CN101617528B (zh) 数据处理设备，数据处理方法
CN101662690B (zh) 图像处理设备、成像设备及图像处理方法
US8131071B2 (en) Digital video camera non-integer-ratio Bayer domain scaler
US20050265633A1 (en) Low latency pyramid processor for image processing systems
CN102821291A (zh) 图像处理设备、图像处理方法和程序
CN101631211B (zh) 遥控器、图像信号处理设备和图像信号处理方法
WO2007029443A1 (ja) 画像処理方法、画像記録方法、画像処理装置および画像ファイルフォーマット
CN112804561A (zh) 视频插帧方法、装置、计算机设备及存储介质
WO2004086748A3 (en) Systems and methods for multi-resolution image processing
JP7047776B2 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN108965746A (zh) 视频合成方法及系统
JPH10313445A (ja) 画像信号変換装置およびそれを使用したテレビ受信機、並びにそれに使用される係数データの生成装置および生成方法
US7602442B2 (en) Apparatus and method for processing information signal
EP1742472A2 (en) Image processing apparatus, image processing method, and program
CN201226563Y (zh) 画面分割的视频输入装置
JP5066041B2 (ja) 画像信号処理装置、画像信号処理方法
KR20060042124A (ko) 신호 처리 장치, 신호 처리 방법 및 커맨드 열 데이터 구조
US20070253489A1 (en) Image processing circuit and method
CN101527807A (zh) 数据处理设备、数据处理方法和程序
CN201226576Y (zh) 一种数字视频单芯复用处理装置
JP4649786B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法
CN113556491A (zh) 线上教学录屏方法与系统
JP2005142744A (ja) 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体
CN101222586A (zh) 一种cmos摄像芯片的配套多媒体软件系统
CN111179165A (zh) 一种全景图像生成方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120111

Termination date: 20151218

EXPY Termination of patent right or utility model