CN100477779C - 数据处理设备和方法 - Google Patents

数据处理设备和方法 Download PDF

Info

Publication number
CN100477779C
CN100477779C CNB018009069A CN01800906A CN100477779C CN 100477779 C CN100477779 C CN 100477779C CN B018009069 A CNB018009069 A CN B018009069A CN 01800906 A CN01800906 A CN 01800906A CN 100477779 C CN100477779 C CN 100477779C
Authority
CN
China
Prior art keywords
data
information
quality
classification
improvement information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018009069A
Other languages
English (en)
Other versions
CN1366769A (zh
Inventor
近藤哲二郎
安藤一隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1366769A publication Critical patent/CN1366769A/zh
Application granted granted Critical
Publication of CN100477779C publication Critical patent/CN100477779C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2543Billing, e.g. for subscription services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/24High-definition television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

改善(enhancing)信息生成单元(11)生成多种类型的改善信息,用来改善作为节目广播的图像(广播图像)质量。综合单元(12)将改善信息生成单元(11)生成的一种或多种类型改善信息嵌入广播图像中,由此将改善信息与广播图像相综合,以及输出已综合信号。已综合信号经发送单元(13)发送。从而提供了各种图像质量的图像。

Description

数据处理设备和方法
技术领域
本发明涉及一种数据处理设备和方法,一种记录介质,和一种程序,特别是能够供应各种图像质量的图像的数据处理设备和方法,记录介质和程序。
背景技术
近些年来供应付费节目广播业务,比如有线电视广播和数字卫星广播在日本已经非常流行。
在付费节目广播业务中,一般根据可得到的节目或根据实际收看的节目进行记帐。如果作为节目的图像的质量能够根据用户支付的收看费而改变,则可以提供更好的服务。
发明内容
鉴于现有技术的上述状况,本发明的目的是使供应各种质量的图像成为可能。
本发明的数据处理设备包括:改善(enhancing)信息生成装置,用于生成改善数据的质量的改善信息;和嵌入装置,用于将多种类型的改善信息嵌入到数据中。其中改善信息生成装置生成多种类型的改善信息,用于将数据改变成多种质量。
改善信息生成装置可以生成作为改善信息的一个预测系数,用于预测通过改善数据的质量获得的质量已改善数据的预测值。
改善信息生成装置可以生成用于每个预定类别的预测系数。
改善信息生成装置可以包括:构建类别抽头(tap)的类别抽头构建装置,通过使用将成为学习者的学习者数据来发现将成为教师的教师数据的目标教师数据的类别;执行分类的分类装置,用于根据类别抽头发现目标教师数据的类别;预测抽头构建装置,使用学习者数据构建与预测系数一起使用的用来预测目标教师数据的预测抽头;和预测系数操作装置,通过使用教师数据和预测抽头来发现每个类别的预测系数。
改善信息生成装置可以生成多种类型的改善信息。
改善信息生成装置可以生成不同数量的类别的预测系数,作为多种改善信息。
改善信息生成装置可以生成通过使用不同质量的教师数据或学习者数据发现的多种类型的预测系数,以作为多种类型的改善信息。
改善信息生成装置至少可以生成预测系数和执行线性插入的信息,以作为多种类型的改善信息。
改善信息生成装置可以生成通过使用不同结构的预测抽头或分类抽头发现的多种类型的预测系数,以作为多种类型的改善信息。
改善信息生成装置可以生成用不同方法执行分类而发现的多种类型的预测系数,以作为多种类型的改善信息。
改善信息生成装置可以生成作为改善信息的表示数据类别的类别码,用于预测通过改善数据质量而获得的质量已改善数据的预测值。
改善信息生成装置可以包括:预测抽头构建装置,通过使用将成为学习者的学习者数据构建一个预测抽头,用来预测将成为教师的教师数据的目标教师数据;预测系数存储装置,用来存储通过学习发现的每个类别码的预测系数;预测操作装置,通过使用预测抽头和预测系数发现目标教师数据的预测值;和类别码检测装置,用于检测使目标教师数据的预测值最小的预测系数的类别码。改善信息生成装置可以输出由类别码检测装置检测的类别码,以作为改善信息。
改善信息生成装置可以包括:类别抽头构建装置,通过使用教师数据生成类别抽头,用于发现将成为教师的教师数据的目标教师数据的类别;和分类装置,用于根据分类抽头执行分类,以发现目标教师数据的类别。改善信息生成装置可以输出与分类装置所发现的类别相对应的类别码,以作为改善信息。
嵌入装置可以把改善信息嵌入到数据中,以便通过使用该数据所拥有的能量偏差,恢复数据和改善信息。
嵌入装置可以通过执行频谱扩展(spectrum spreading),将改善信息嵌入到数据中。
嵌入装置通过把数据的一个或多个比特变为改善信息,将改善信息嵌入到数据中。
数据可以是图像数据,改善信息可以是用于改善图像数据的图像质量的信息。
本发明的数据处理方法包括:改善信息生成步骤,生成改善数据质量的改善信息;和嵌入步骤,将多种类型的改善信息嵌入到数据中。其中在改善信息生成步骤生成多种类型的改善信息,用于将数据改变成多种质量。
本发明的记录介质具有其上所记录的程序,该程序包括:改善信息生成步骤,生成改善信息以改善数据质量;和嵌入步骤,将改善信息嵌入数据。
本发明的程序包括:生成改善信息以改善数据质量的改善信息生成步骤,和将改善信息嵌入数据的嵌入步骤。
本发明的数据处理设备,用于处理通过把改善数据质量的多种类型的改善信息嵌入数据中而获得的已嵌入数据,包括:提取装置,用于从所嵌入的数据中提取多种类型的改善信息;和改善装置,根据用户请求通过使用多种类型的改善信息之一来改善数据的质量。
改善信息可以是一个预测系数,用来预测通过改善数据的质量而获得的质量改善的数据的预测值。在此情况下,通过使用数据和预测系数,改善装置可以发现质量已改善数据的预测值。
改善信息可以是为每个预定类别发现的预测系数。在此情况下,改善装置通过使用数据和用于每个类别的预测系数,可以发现质量已改善数据的预测值。
改善装置可以包括:类别抽头构建装置,通过使用数据构建用来发现目标质量已改善数据的类别的类别抽头,其中目标质量已改善数据是将质量已改善数据作为目标;分类装置,执行分类,根据类别抽头发现目标质量已改善数据的类别,预测抽头构建装置,使用数据构建与预测目标质量已改善数据的预测系数一起使用的预测抽头;和预测装置,使用目标质量已改善数据的类别的预测系数和预测抽头发现目标质量已改善数据的预测值。
改善信息可以是一个表示用于每个预定类别的预测系数的类别的类别码,该预测系数用来预测通过改善数据质量而获得的质量改善的数据的预测值。在此情况下,改善装置通过使用数据和与类别码对应的预测系数,可以发现质量已改善数据的预测值。
改善装置可以包括:预测抽头构建装置,使用数据来构建与预测目标质量已改善数据的预测系数一起使用的预测抽头,其中目标质量已改善数据把质量已改善数据作为目标;和预测装置,通过使用与作为改善信息的类别码相对应的预测系数和预测抽头,来发现目标质量已改善数据的预测值。
可以把多种类型的改善信息嵌入到已嵌入的数据中。
可以把用于不同数量类别的预测系数嵌入所嵌入的数据中,以作为多种类型的改善信息。
可以使用将成为学习者的学习者数据和将成为教师的教师数据,来生成预测系数。在此情况中,可以将使用不同质量的教师数据或学习者数据发现的多种类型的预测系数嵌入到已嵌入的数据中,作为多种类型改善信息。
可以将通过不同方法执行分类发现的多种类型的预测系数嵌入已嵌入的数据中,以作为多种类型的改善信息。
数据处理设备还可以包括改善信息选择装置,用于从多种类型的改善信息中选择用来改善数据质量的改善信息。
通过使用数据所拥有能量偏差,提取装置可以从已嵌入数据中提取改善信息。
通过执行逆频谱扩展,提取装置可以从已嵌入的数据中提取改善信息。
提取装置可以提取已嵌入数据的一个或多个比特,以作为改善信息。
数据可以是图像信息,改善信息可以是改善图像数据的图像质量的信息。
本发明的数据处理方法,用于处理将改善数据质量的多种类型的改善信息嵌入到数据中而获得的已嵌入数据,该方法包括:提取步骤,从已嵌入数据中提取多种类型的改善信息,和改善步骤,根据用户请求使用多种类型的改善信息之一改善数据质量
本发明的记录介质具有其上所记录的程序,该程序包括:从已嵌入数据中提取改善信息的提取步骤;和使用改善信息改善数据质量的改善步骤。
本发明的程序包括:从已嵌入数据中提取改善信息的提取步骤;和使用改善信息改善数据质量的改善步骤。
本发明的数据处理设备包括:改善信息生成装置,用于生成多种类型的改善信息以改善数据质量;改善信息选择装置,用于从多种类型的改善信息中选择将与该数据一起被发送的改善信息;和发送装置,用于发送数据以及由改善信息选择装置选择的一种改善信息。
本发明的数据处理设备还可以包括改善信息选择装置,用于从多种类型的改善信息中选择将与该数据一起被发送的改善信息。
改善信息选择装置可以响应来自接收数据的接收装置的请求,来选择改善信息。
本发明的数据处理设备还可以包括记帐装置,用于与改善信息选择装置所选择的改善信息相一致地执行记帐。
改善信息生成装置至少可以生成作为改善信息的一个预测系数,用来预测通过改善数据的质量而获得的质量已改善数据的一个预测值。
改善信息生成装置可以生成用于每个预定类别的预测系数。
改善信息生成装置可以包括:类别抽头构建装置,通过使用将成为学习者的学习者数据构建类别抽头,以用来发现将成为教师的教师数据的目标教师数据的类别;分类装置,根据类别抽头执行分类,以发现目标教师数据的类别,预测抽头构建装置,通过使用学习者数据,构建与用于预测目标教师数据的预测系数一起使用的预测抽头;和预测系数操作装置,通过使用教师数据和预测抽头发现用于每种类别的预测系数。
改善信息生成装置可以生成用于不同数量的类别的预测系数,以作为多种类型的改善信息。
改善信息生成装置可以生成通过使用不同质量的教师数据和学习者数据发现的多种类型的预测系数,作为多种类型的改善信息。
改善信息生成装置至少可以生成预测系数和执行线性插入的信息,以作为多种类型的改善信息。
改善信息生成装置可以生成通过使用不同结构预测抽头或类别抽头发现的多种类型的预测系数,以作为多种类型改善信息。
改善信息生成装置可以生成用不同方法执行分类所发现的多种类型的预测系数,以作为多种类型的改善信息。
发送装置可以把改善信息嵌入到数据中,以便可以通过使用数据所拥有的能量偏差,恢复数据和改善信息,并且发送数据以及一种或多种类型的改善信息。
发送装置可以通过将数据的一个或多个比特切换为改善信息,来把改善信息嵌入数据中,并发送数据以及一种或多种类型改善信息。
发送装置可以发送数据和所有的多种类型的改善信息。
数据可以是图像数据,并且改善信息可以是改善图像数据的图像质量的信息。
本发明的数据处理方法包括:改善信息生成步骤,生成用于改善数据质量的多种类型的改善信息;改善信息选择步骤,从多种类型的改善信息中选择将与该数据一起被发送的改善信息;和发送步骤,发送数据以及在改善信息选择步骤选择的一种改善信息。
本发明的记录介质具有其上所记录的程序,该程序包括:改善信息生成步骤,生成改善数据质量的多种类型的改善信息,和发送步骤,发送数据以及一种或多种类型改善信息。
本发明的程序包括:改善信息生成步骤,生成改善数据质量的多种类型的改善信息,和发送步骤,发送数据和发送一种或多种类型改善信息。
本发明的数据处理设备包括:接收装置,用于接收数据以及一种或多种类型改善信息,改善装置,使用一种或多种类型改善信息来改善数据的质量;和记帐装置,根据用来改善数据质量的改善信息执行记帐。
接收装置可以接收多种类型的改善信息,在此情况下,本发明的数据处理设备还可以包括改善信息选择装置,用于从多种类型的改善信息中选择改善数据质量的改善信息。
改善信息选择装置可以响应用户的请求,选择改善信息。
本发明的数据处理设备还可以包括请求装置,请求一个发送装置发送数据以及一种或多种类型的改善信息,该改善信息用来改善数据的质量。在此情况下,接收装置可以响应请求装置的请求,接收从发送装置发送的改善信息。
改善信息可以是一个预测系数,用来预测通过改善数据质量获得的质量已改善数据的预测值。在此情况下,改善装置通过使用数据和预测系数可以发现质量已改善数据的预测值。
改善信息可以是为每个预定类别发现的预测系数。在此情况下,改善装置通过使用数据和用于每个类别的预测系数发现质量已改善数据的预测值。
改善装置包括:类别抽头构建装置,使用数据来构建用来发现目标质量已改善数据的类别的类别抽头,该目标质量已改善数据是以质量已改善数据为目标的;分类装置,用来根据类别抽头发现目标质量已改善数据的类别执行分类;预测抽头构建装置,使用数据来构建与预测目标质量已改善数据的预测系数一起使用的预测抽头;和预测装置,使用目标质量已改善数据的类别的预测系数和预测抽头,来发现目标质量已改善数据的预测值。
接收装置可以接收多种类型的改善信息。
接收装置还可以接收用于不同数量的类别的预测系数,以作为多种类型的改善信息。
预测系数可以通过使用将成为学习者的学习者数据和将成为教师的教师数据来生成。在此情况下,接收装置可以接收通过使用不同质量的学习者数据或教师数据所发现的多种类型的预测系数,以作为多种类型的改善信息。
接收装置至少可以接收预测系数和执行线性插入的信息,以作为多种类型的改善信息。
接收装置可以接收使用不同结构的预测抽头和类别抽头发现的多种类型的预测系数。
接收装置可以接收通过用不同方法执行分类所发现的多种类型的预测系数,以作为多种类型的改善信息。
接收装置可以接收通过把一种或多种类型改善信息嵌入到数据中而获得的已嵌入数据。在此情况下,数据处理设备还包括提取装置,用于从已嵌入数据中提取改善信息。
提取装置通过使用数据所拥有的能量偏差,从已嵌入到数据中提取改善信息。
提取装置可以通过执行逆频谱扩展,从已嵌入数据中提取改善信息。
提取装置可以提取已嵌入数据的一个或多个比特,以作为改善信息。
数据可以是图像数据,改善信息可以是改善图像数据的图像质量的信息。
本发明的数据处理方法包括:接收步骤,用于接收数据以及一种或多种类型改善信息;改善步骤,通过一种或多种类型改善信息之一来改善数据的质量;和记帐步骤,根据用于改善数据质量的改善信息来进行记帐。
本发明的记录介质具有所记录的程序,该程序包括:接收步骤,用于接收数据以及一种或多种类型改善信息;改善步骤,通过一种或多种类型改善信息之一来改善数据的质量;和记帐步骤,根据用于改善数据质量的改善信息来进行记帐。
本发明的程序包括:接收步骤,用于接收数据以及一种或多种类型改善信息;改善步骤,通过一种或多种类型改善信息之一来改善数据的质量;和记帐步骤,根据用于改善数据质量的改善信息来进行记帐。
在本发明的数据处理设备和方法、记录介质和程序中,生成改善数据质量的改善信息,并把改善信息嵌入数据中。
在本发明的数据处理设备和方法、记录介质和程序中,从已嵌入数据中提取改善信息,并且使用改善信息来改善数据质量。
在本发明的数据处理设备和方法、记录介质和程序中,生成改善数据质量的多种类型的改善信息,并且发送数据以及一种或多种类型的改善信息。
在本发明的设备和方法、记录介质和程序中,接收数据以及一种或多种类型的改善信息,并且使用一种或多种类型的改善信息改善数据的质量,同时根据用于改善数据质量的改善信息执行记帐。
附图说明
图1显示了将本发明应用于一个广播系统的一个实施例的示范性结构;
图2是显示发送装置1的示范性结构的方框图;
图3是解释发送装置1的处理的流程图;
图4是显示接收装置3的示范性结构的方框图;
图5是解释接收装置3的处理的流程图;
图6是显示改善信息生成单元11的第一示范性结构的方框图;
图7显示了预测抽头(类别抽头)的结构;
图8A至图8D显示了选择信号的系统与改善系统之间的对应关系;
图9是解释图6的改善信息生成单元11的处理的流程图;
图10是显示改善信息生成单元11的第二示范性结构的方框图;
图11是解释图10的改善信息生成单元11的处理的流程图;
图12是显示质量改善单元24的第一示范性结构的方框图;
图13是解释图12的质量改善单元24的处理的流程图;
图14是显示改善信息生成单元11的第三示范性结构的方框图;
图15是解释图14的改善信息生成单元11的处理的流程图;
图16是显示用于发现预测系数的学习设备的第一示范性结构的方框图;
图17是显示质量改善单元24的第二示范性结构的方框图;
图18是解释图17的质量改善单元24的处理的流程图;
图19是显示改善信息生成单元11的第四示范性结构的方框图;
图20是解释图19的改善信息生成单元11的处理的流程图;
图21是显示质量改善单元24的第三示范性结构的方框图;
图22是显示用于发现预测系数的学习设备的第二示范性结构的方框图;
图23是显示综合单元12的示范性结构的方框图;
图24是解释图23的综合单元12的处理的流程图;
图25A至图25K图示了图像阵列的切换(switching);
图26是显示提取单元22的示范性结构的方框图;
图27是解释图26的提取单元22的处理的流程图;
图28是显示综合单元12的另一个示范性结构的方框图;
图29是显示提取单元22的另一个示范性结构的方框图;
图30是显示将本发明应用于计算机的一个实施例的示范性结构的方框图。
具体实施方式
图1示出了将本发明应用于数字卫星广播系统的一个实施例的示范性结构。(系统是多个设备的逻辑组,与这些设备是否处于同一个机箱内无关)。
发送装置1将卫星广播电波作为对应于节目广播的无线电波从天线(抛物面天线)1A发送给卫星2。卫星(通信卫星或广播卫星)2接收来自发送装置1的卫星广播电波,然后对卫星广播电波进行放大和其它必需的处理,然后发出得到的卫星广播电波。
卫星2发出的卫星广播电波由接收装置3的天线(抛物面(parabolic)天线)3A接收。
发送装置1和接收装置3可以经过网络4相互通信,该网络4是能够双向通信的网络,比如公共网络、因特网、CATV(有线电视)网络或无线通信网络。经过网络4,在发送装置1与接收装置3之间执行记帐的处理,比如记帐信息的发送/接收。
在图1的实施例中,为了便于描述,只示出了一个接收装置3。然而,也能够提供与接收装置3的结构相同的多个接收装置。
图2示出了图1的发送装置1的示范性结构。
作为节目的图像数据广播(以下适当地称作广播图像数据)或具有与广播图像数据相同的内容以及具有较高图像质量(以下称作高图像质量的图像数据)的图像数据被输入到改善信息生成单元11。改善信息生成单元11生成改善信息,用于改善接收装置3中的广播图像数据的图像质量。
特别是,选择一个改善系统以改善广播图像数据的图像质量的一个系统选择信号也被供应给改善信息生成单元11。改善信息生成单元11根据供应的系统选择信号生成一种或多种类型的改善信息。改善信息生成单元11生成的改善信息被供应给综合单元12。
改善信息从改善信息生成单元11供应给综合单元12,此外还将广播图像数据供应给综合单元12。综合单元12将广播图像数据与改善信息相综合,以生成被综合的信号并把该被综合信号供应给发送单元13。
对于将广播图像数据与改善信息综合的技术,能够使用嵌入编码技术(下面将要说明)以及时分复用和频分复用技术。还能够发送作为分离节目的改善信息和广播图像数据,而不综合它们。
发送单元13对综合单元12输出的综合信号执行调制、放大和其它所需的处理,并把所得到的综合信号供应给天线1A.。
记帐单元14经通信接口15和网络4与接收装置3通信,由此对接收装置3的节目供给进行记帐。
通信接口15经网络4执行通信控制。
下面结合图3的流程图说明图2的发送装置1执行的节目发送处理。
首先,在步骤S1,改善信息生成单元11生成一种或多种类型的改善信息,用于根据所供应的系统选择信号改善广播图像数据的图像质量,并且向综合单元12供应改善信息。用于生成改善信息的广播图像数据的单位(下面适于称作改善信息生成单位)可以是,例如,一帧、一个节目等。
当改善信息生成单元11供应改善信息时,综合单元12在步骤S2将广播图像数据与改善信息相综合,以生成被综合的信号,并将给生成的信号供应给发送单元13。在步骤S3,发送单元13对综合单元12输出的被综合信号执行调制、放大和其它所需的处理,并将所得到的被综合信号供应给天线1A。因而,从天线1A作为卫星广播电波发出被综合信号。
然后,处理返回到步骤S1,重复相同的处理。
图4示出了图1的接收装置3的示范性结构。
经卫星2广播的卫星广播电波由天线3A接收,该接收的信号被供应给接收单元21。接收单元21对天线3A接收的信号执行放大、解调和其它所需的处理,以获得被综合的信号,并将该被综合的信号供应给提取单元22。
提取单元22从来自接收单元21的被综合信号中提取广播图像数据和一种或多种类型的改善信息。提取单元22将广播图像数据供应给质量改善单元24,并将一种或多种类型的改善信息供应给选择单元23。
选择单元23从提取单元22中的一种或多种类型的改善信息之中选择相应于来自记帐单元27的图像质量等级信号的一种类型的改善信息,并且将一个系统选择信号与所选择的改善信息一同供应给质量改善单元24,所述的系统选择信号用于选择一个改善系统,使得通过用所选择的改善信息改善图像质量。
质量改善单元24使用从选择单元23供应的改善信息在提取单元22供应的广播图像数据上进行处理以执行系统选择信号所指示的系统的处理。因而,质量改善单元24获得已改善图像质量的图像数据,并把该图像数据供应给显示单元25。显示单元25由例如,CRT(阴极射线管)、液晶面板或DMD(动态镜装置)构成,并显示与从质量改善信息单元24供应的图像数据对应的图像。
当一个用户选择将要在显示单元25上显示的图像的图像质量时,该用户操作操作单元26。与操作相对应的操作信号被供应给记帐单元27。
根据来自操作单元26的操作信号,记帐单元27为用户选择的图像质量进行记帐。也就是,记帐单元27根据来自操作单元26的操作信号识别用户请求的图像质量,并把指示图像质量的等级的图像质量级信号供应给选择单元23。因此,选择单元23选择适于获得用户所请求的图像质量的改善信息。记帐单元27还经过通信接口28和网络4向发送装置1发送图像质量级信号。
在发送装置1中,记帐单元14经通信接口15接收从记帐单元27向发送装置1发送的图像质量级信号(图2)。记帐单元14根据图像质量级信号对接收装置3的用户进行记帐。具体地说,例如,记帐单元14为每个用户计算收看费,并且将至少包括发送装置1的帐号、用户的帐号以及累计收看费的记帐信号经通信接口15和网络4发送到记帐中心(银行中心)(图中未示出)。当收到记帐信号时,记帐中心执行结算处理,从用户的帐户中提取与收看费对应的金额,以及将该金额存入发送装置1的帐户。
通信接口28经网络4执行通信控制。
下面结合图5的流程图说明由图4的接收装置3执行的节目接收处理。
由接收卫星广播电波的天线3A输出的接收信号被供应给接收单元21。在步骤S11,接收单元21接收已接收的信号并把它切换为一个已综合的信号。该已综合信号被供应给提取单元22。
在步骤S12,提取单元22从接收单元21的已综合信号中提取广播图像数据以及一种或多种类型的改善信息。将广播图像数据供应给质量改善单元,并且将一种或多种类型的改善信息供应给选择单元23。
在步骤S13,选择单元23从提取单元22的一种或多种类型的改善信息之中选择与来自记帐单元27的图像质量级信号相对应的一种类型的改善信号,并且将指示一个改善系统的系统选择信号与已选择的改善信息一同供应给质量改善单元24,所述的改善系统用于通过已选择的改善信息改善图像质量。
在步骤S14,质量改善单元24通过使用选择单元23供应的改善信息在提取单元22供应的广播图像数据上进行处理执行系统选择信号所指示的系统的处理。因此质量改善单元24获得与改善的图像质量的图像数据,并把图像数据供应给显示单元25,以显示图像数据。然后处理返回到步骤S11,并重复相同的处理。
在上述的接收处理中,记帐单元27输出的图像质量级信号与操作操作单元26的用户所请求的图像质量相对应。因此,显示单元25显示该用户请求的图像质量的图像。
至于改善图像数据的图像质量的技术,例如可以使用分类自适应处理技术,该技术在日本公报中由本申请人在待审查专利申请第H8-51622号中提出。
分类自适应处理包括分类处理和自适应处理。分类处理根据数据的特征分类数据,以便对每个类别执行自适应处理。自适应处理是下面所述的技术。
即,在自适应处理中,例如,通过线性组合构成SD(标准清晰度)图像的像素(在下文中,适于称作SD像素),发现通过改善SD图像的分辨率而获得的HD(高清晰度)图像的像素的预测值,由此提供通过改善SD图像的分辨率而获得的图像,其中SD图像具有标准分辨率或具有预定预测系数的低分辨率。
具体地说,例如,现在假定某些HD像素将是教师像素,以及假定SD图像将是学习者数据,该SD图像具有诸如通过减少HD图像的像素数量而恶化的分辨率的图像质量。假定构成HD图像的像素(在下文中,适于称作HD像素)的像素值y的预测值E[y]将由一个线性组合模型来发现,该线性组合模型由几个具有预定预测系数w1、w2…的SD像素(构成SD图像的像素)的一组像素值x1、x2…的线性组合来规定。在此情况下,预测值E[y]可以由下式表示。
E [y]=w1x1+w2x2+……(1)
如果由一组预测系数wj组成的矩阵W,由学习者数据xij组成的矩阵X,以及由预测值E[yj]组成的矩阵Y’被定义如下,以便生成方程(1),
X = x 11 x 12 . . . x 1 j x 21 x 22 . . . x 2 j . . . . . . . . . . . . x I 1 x I 2 . . . x Ij
W = w 1 w 2 . . . w j , Y = E [ y 1 ] E [ y 2 ] . . . E [ y j ]
则建立下列观测方程。
XW=Y’…(2)
在此情况中,矩阵X的分量xij是指第i组学习者数据的第j个学习者数据(用于预测第i教师数据的一组学习者数据),矩阵W的分量wj是指用来计算具有该组学习者数据的第j学习者数据的积的预测系数。此外,由于yi代表第i个学习者数据,因此E[Yi]代表第i个教师数据的预测值。在方程(1)中,左侧的y代表没有下标I的矩阵Y的分量yi,而右侧的x1、x2…代表没有下标i的矩阵X的分量xij。
现在假定接近HD像素的像素值y的预测值E[y]是通过把最小二乘法应用于观测方程(2)发现的。在此情况下,如果由将是教师数据的HD像素的一组真实像素值y构成的矩阵Y和由与HD像素的像素值y有关的预测值E[y]的一组余数e构成的矩阵E被定义如下,
E = e 1 e 2 . . . e I , Y = y 1 y 2 . . . y I
则从方程(2)建立下列剩余方程。
XW=Y+E    …(3)
在此情况下,通过使下列误差平方最小,可以发现预测系数wj,以发现接近HD像素的像素值y的预测值E[y]。
Σ i = 1 I e i 2
因此,如果由预测系数wj求导后的上诉误差平方为0,则满足下列方程的预测系数wj是用于发现与HD像素的像素值接近的预测值E[y]的最佳值。
e 1 ∂ e 1 ∂ w j + e 2 ∂ e 2 ∂ e j + . . . + e I ∂ e I ∂ w j = 0 , ( j = 1,2 , . . . J ) - - - ( 4 )
因此,首先方程(3)对预测系数wj求导提供了下列方程。
∂ e i ∂ w 1 = x i 1 , ∂ e i ∂ w 2 = x i 2 , . . . , ∂ e i ∂ w j = x ij , ( i = 1,2 , . . . I ) - - - ( 5 )
依据方程(4)和方程(5),得到下列方程(6)。
Σ i = 1 I e i x i 1 = 0 , Σ i = 1 I e i x i 2 = 0 , . . . , Σ i = 1 I e i x ij = 0 - - - ( 6 )
此外,考虑到剩余方程(3)中的学习者数据xij、预测系数wj、教师数据yi和余数ei的关系,可以依据程序(6)得到下列法方程(normal equation)。
( Σ i = 1 I x i 1 x i 1 ) w 1 + ( Σ i = 1 I x i 1 x i 2 ) w 2 + . . . + ( Σ i = 1 I x i 1 x ij ) w j = ( Σ i = 1 I x i 1 y i ) ( Σ i = 1 I x i 2 x i 1 ) w 1 + ( Σ i = 1 I x i 2 x i 2 ) w 2 + . . . + ( Σ i = 1 I x i 2 x ij ) w j = ( Σ i = 1 I x i 2 y i ) ( Σ i = 1 I x ij x i 1 ) w 1 + ( Σ i = 1 I x ij x i 2 ) w 2 + . . . + ( Σ i = 1 I x ij x ij ) w j = ( Σ i = 1 I x ij y i ) - - - ( 7 )
通过准备预定数量组的学习者数据xij和教师数据yi,与待发现的预测系数wj的数量J相同数量的构成法方程(7)的方程可以被建立。因此,可以通过求解方程(7),发现最佳预测系数wj。(然而,为了求解方程(7),由与预测系数wj相一致的系数组成的矩阵必须是规则的。)求解方程(7)时,能够采用例如扫描方法(高斯约当消去法等)。
如上所述,在自适应处理中,发现最佳预测系数wj,并根据方程(1)使用预测系数wj发现HD像素的像素值y的预测值E[y]。
自适应处理不同于再现包含在HD图像中但不包含在SD图像中的分量的简单插入处理。就方程(1)来说,自适应处理与使用所谓的内插滤波器的插入处理相同。在自适应处理中,由于相当于内插滤波器的抽头系数的预测系数w是通过用教师数据y的所谓的学习发现的,因此可以再现包含在HD图像中分量。因此,它可以被说成是自适应处理具有图像创建(分辨率创建)功效。
在上述说明中,自适应处理被用在改善分辨率的情况中。然而,在自适应处理前后不能改变像素的数量,并且自适应处理还可以用来从去除了噪声和模糊的图像中发现图像的像素的预测值。在此情况下。自适应处理能够进行图像质量的改善,比如噪声和模糊的去除。
图6示出了在通过上述的分类自适应处理发现作为改善信息的预测系数情况下,图2的改善信息生成单元11的示范性结构。
在图6的实施例中,存在具有与广播图像数据相同内容的高图像质量的图像数据。该高图像质量的图像数据被供应给改善信息生成单元11,以作为学习预测系数的教师数据。
作为教师数据的高图像质量的图像数据,例如按每帧供应给帧存储器31。帧存储器31顺序地存储所供应的教师数据。
下变换器32例如按每帧读出存储在帧存储器31中的教师数据,并且进行LPF(低通滤波器)滤波和抽取,从而生成基本上具有与广播图像数据的图像质量相同的图像数据,即,较低图像质量的图像数据,以作为学习预测系数的学习者数据。然后,下变换器32将较低质量的图像数据供应给帧存储器33。
帧存储器33例如按每帧顺序地存储作为从下变换器32输出的学习者数据的较低图像质量的图像数据。
预测抽头构建电路34顺序地使用构成作为在帧存储器31中存储的教师数据的图像(在下文中,适于称作教师图像)的像素(在下文中,适于称作教师像素),以作为目标像素,并且根据控制电路40的控制信号从帧存储器33读出学习者数据的几个像素(在下文中,适于称作学习者像素),该学习者数据的位置位于在空间上和时间上接近与目标像素的位置对应的作为学习者数据的图像(在下文中,适于称作学习者图像)的位置。这样,预测抽头构建电路34构建预测抽头,用于与预测系数相乘。
具体地说,例如,如果通过抽取1/4的教师图像的像素来获得学习者图像,则预测系数构建电路34根据控制电路40的控制信号,使用作为一个预测抽头的四个学习者像素a、b、c、d,该四个学习者像素在空间上接近于与目标像素的位置对应的学习者图像的位置,如图7所示。预测抽头构建电路34根据控制电路40的另一个控制信号,还使用作为一个预测抽头的九个学习者像素a、b、c、d、e、f、g、b、i,这九个学习者像素在空间上接近于与目标像素的位置对应的学习者图像的位置。
基本上,在九个学习者像素被用作预测抽头时而不是使用四个学习者像素a至d时的情况下,教师像素的预测精确度较高,并且能获得高图像质量的图像(或者用于获得高图像质量的图像的预测系数)。
预测抽头(与类别抽头相似,后面将说明)可以由形成十字形、菱形或任意形状以及图7所示的矩形的像素构成。预测抽头也可以由每个其它像素而不是邻近像素构成。
检测图6,由预测抽头构建电路34构建的预测抽头被供应给法方程加法器37。
类别抽头电路35从帧存储器33中读出用于将目标像素分类成几个类别之一的学习者像素。特别地,类别抽头构建电路35根据控制电路40的控制信号,从帧存储器33中读出几个学习者图像,这些像素的位置位于在空间或时间上接近与目标像素的位置对应的学习者图像的位置,并且把这些学习者像素作为用于分类的类别抽头供应给分类电路36。
预测抽头和类别抽头可以由相同的学习者像素构成,也可以由不同的学习者像素构成。
分类电路36根据来自类别抽头构建电路35的类别抽头,使用适合于控制电路40的控制信号的方法对目标像素进行分类,并且把与作为分类结果获得的目标像素的类别相对应的类别码供应给法方程加法器37。
至于分类方法,可以利用例如使用阈值的方法或者使用ADRC(自适应动态范围编码)的方法。
在使用阈值的方法中,根据像素值是否大于预定阈值(或者等于/大于阈值)对构成分类抽头的学习者像素的像素值进行二进制化,并且根据二进制化的结果确定目标像素的类别。
在使用ADRC的方法中,对构建类别抽头的学习者像素进行ADRC处理,并且根据作为ADRC处理结果获得的ADRC码确定目标像素的类别。
在K比特ADRC中,例如,检测构建类别抽头的学习者像素的像素值的最大值MAX和最小值MIN,并且把DR=MAX-MIN用作类别抽头的局部动态范围。根据动态范围DR,将构建类别抽头的学习者像素重新量化到K比特。也就是,从构建类别抽头的像素的像素值中减去最小值MIN,并将该差值除以(分成)DR/2K(份)。因此,例如,当类别抽头是一比特ADRC处理时,使构建类别抽头的每个学习者像素的像素值成为一比特。在此情况下,一个比特串作为ADRC码输出,在该比特串中,按上述方式获得的其每个是构建类别抽头的各个像素的一比特的像素值按预定顺序排列。
因此,根据ADRC,当类别抽头由N个学习者像素构成以及使类别抽头的K比特ADRC处理的结果为类别码时,将目标像素分类成(2N)K个类别之一。
法方程加法器37从帧存储器31中读出作为目标像素的教师像素,并且对预测抽头(即,构成预测抽头的学习者像素)和目标像素(教师像素)进行加法运算。
特别地,为对应于分类电路36提供的分类码的每个类别,法方程加法器37进行相当于学习者像素的乘法(Xin×Xim)的算术运算以及使用预测抽头(学习者像素)进行的法方程(7)的左侧的求和(Σ)运算,其中Xin和Xim为预测系数的乘数。
而且,为对应于分类电路36供应的类别码的每个类别,法方程加法器37进行相当于学习者像素和目标像素(教师像素)乘法(xin×yi)的算术运算,以及使用预测抽头(学习者像素)和目标像素(教师像素)进行法方程(7)右侧的求和(Σ)运算。
法方程加法器37执行与作为目标像素的存储在帧存储器31中的教师像素有关的上述加法运算。因而,为每个类别建立由方程(7)表示的法方程。根据该法方程,为预定数目的教师像素生成改善信息。
预测系数确定电路38求解由法方程加法器37为每个类别生成的法方程,由此发现每个类别的预测系数。预测系数确定电路38将预测系数供应给与存储器39中的各个类别相对应的地址。存储器39存储从预测系数确定电路38供应的预测系数以作为改善信息,并且,在需要时,将预测系数供应给综合单元12(图2)。
在某些情况下,用于发现不能由法方程加法器37获得的预测系数的所需数目的法方程的生成一个类别。对于这样的一个类别,预测系数确定电路38输出缺省预测系数(例如,通过使用相当大数量的教师图像事先发现的一个预测系数)。
控制电路40供应有一个系统选择信号(图2),该信号用于选择改善广播图像数据的图像质量的改善系统。根据由系统选择信号指示的改善系统,控制电路40控制预测抽头构建电路34、类别抽头构建电路35和分类电路36,以便生成改善广播图像数据的图像质量的所需改善信息。
在本实施例中,记帐单元14收取的费用额(收看费)是根据接收装置3使用的改善系统(用于改善系统的改善信息)而变化。
所收取的费用额可以根据例如是否将分类处理用作改善系统来设置。例如,所收取的费用额可以在以下三种情况中变化,这三种情况是:线性插入被用作改善系统的情况;只有自适应处理被用作改善系统的情况;分类自适应处理被用作改善系统的情况,如图8A所示。
只使用自适应处理的情况是只执行自适应处理而不执行分类的情况。因此,它是在分类自适应处理中只有一种类别(单一类别)的情况。
在线性插入被用作改善系统的情况下,由于预测系数不是必要的,因此改善信息生成单元11不执行特殊处理,于是输出指定线性插入的信息作为改善信息。
所收取的费用额还可以根据用作改善系统的分类自适应处理中的类别数量来设置。例如,所收取费用额在以下三种情况中变化,这三种情况是:线性插入被用作改善系统的情况;具有少量类别的分类自适应处理被用作改善系统的情况;以及具有大量类别的分类自适应处理被用作插入系统的情况;如图8B所示。
所收取的费用额还可以根据在用作改善系统的分类自适应处理中用于生成预测系数的学习者图像或教师图像的图像质量来设置。例如,如果教师图像的图像质量是好的,则提供可以极大改善广播图像数据的图像质量的高性能的预测系数。反之,如果教师图像的图像质量不是非常好,则提供仅略微改善广播图像数据的图像质量的低性能的预测系数。因而,所收取的费用额可以在以下三种情况中变化,这三种情况是:线性插入被用作改善系统的情况;具有低性能预测系数的分类自适应处理被用作改善系统的情况;具有高性能预测系数的分类自适应处理被用作改善系统的情况,如图8C所示。
所收取的费用额还可以根据在作为改善系统的分类自适应处理中构建的类别抽头或预测抽头来设置。也就是,由于所得图像的图像质量如上所述,根据构建类别抽头或预测抽头的方式(抽头的形状,构成抽头的像素数量,以及由空间方向或时间方向或这两个方向中的像素构成的抽头)而变化,因此所收取的费用额可以根据构建的方式变化。
此外,所收取的费用额还可以根据用作改善系统的分类自适应处理中的分类方法来设置。所收取的费用额可以在以下三种情况中改变,这三种情况是:线性插入被用作改善系统的情况;使用上述的阈值分类的自适应处理被用作改善系统的情况;使用ADRC处理的分类的自适应处理被用作改善信息的情况,如图8D所示。
改善系统和系统选择信号可以相互关联,例如,如图8A至图8D所示,并且控制电路40向预测抽头构建电路34、类别抽头构建电路35和分类电路36输出执行指定的控制信号,以获得用于改善系统的改善信息,该改善系统对应于所供应于此的系统选择信号。至于改善系统,还可以利用上述改善系统的多个系统的组合。
下面将结合图9的流程图,说明图6的改善信息生成单元11所执行的生成改善信息的改善信息生成处理。
首先,在步骤S21,将与改善信息生成的单位相对应的教师图像存入帧存储器31中。然后,在步骤S22,控制电路40向预测抽头构建电路34、类别抽头构建电路35和分类电路36供应执行指定的控制信号,以获得用于改善系统的改善信息,该改善系统对应于所供应于此的系统选择信号。由此,预测抽头构建电路34、类别抽头构建电路35和分类电路36开始进行处理,以根据控制信号获得作为用于改善系统的改善信息的预测系数。
供应给控制电路40的系统选择信号包括指示多个改善系统的信息。控制电路40在每次执行步骤S22的处理时,顺序地输出与多个改善系统相对应的控制信号。
如果控制电路40输出的控制信号指示线性插入,则指定线性插入的信息作为改善信息存入存储器39中。步骤S23至S28的处理被跳过,使处理进入步骤S29。
在步骤S22处理之后,处理进入步骤S23,下变换器32执行LPF(低通滤波器)滤波或者抽取帧存储器31中存储的教师图像,必要时,由此生成与广播图像数据的图像质量相同的图像,作为学习者图像。学习者被供应给并存储在帧存储器33中。
学习者图像可以是不同于广播图像数据的图像质量的图像。在此情况下,用于那种效果的控制信号从控制电路40供应给下变换器32,下变换器32生成其图像质量适合控制电路40的控制信号的学习者图像。
然后,在步骤S24,存储在帧存储器31中的教师像素之中的还不是目标像素的教师像素被用作目标像素,并且预测抽头构建电路34使用帧存储器33中存储的学习者像素,依据控制电路40的控制信号构建该结构的目标像素的预测系数。此外,在步骤S24,类别抽头构建电路35使用帧存储器33中存储的学习者像素依据控制电路40的控制信号,构建一个用于该结构的目标像素的类别抽头。然后,将预测抽头供应给法方程加法器37,和将类别抽头供应给分类电路36。
在步骤S25,分类电路36根据类别抽头构建电路35的类别抽头用符合控制电路40的控制信号的方法对目标像素进行分类,并把对应于作为分类结果获得的类别的类别码供应给法方程加法器37。然后,处理进入步骤S26。
在步骤S26,法方程加法器37从帧存储器31中读出作为目标像素的教师像素,并且按上述方式执行与预测抽头(构成预测抽头的学习者像素)和目标像素(教师像素)有关的加法运算。
然后,在步骤S27,控制电路40辨别是否已经使用存储在帧存储器31中的改善信息生成的单位的所有教师像素作为目标像素来执行加法运算。如果确定还未使用作为目标像素的所有教师像素来执行加法运算,则处理返回到步骤S24。在此情况下,还不是目标像素的教师像素之一被用作新目标像素,并且重复步骤S24至S27的处理。
如果在步骤S27控制电路40确定已经使用了改善信息生成的单位的所有教师像素作为目标像素执行了加法运算,即,如果法方程加法器37获得了每一类别的法方程,则处理前进到步骤S28,并且预测系数确定电路38求解各类别产生的每一法方程,由此发现各类别的预测系数,并将预测系数提供给存储器39中各类的地址。存储器39将来自预测系数确定电路38的预测系数存储为改善信息。
存储器39具有多个存储体,并且因此能够同时存储多种类型的改进信息。
此后,处理前进到步骤S29,并且控制电路40区分是否已经为包括在所供应的系统选择信号中的所有的多种改善系统获得了改善信息。
如果在步骤S29确定,还未获得包含在系统选择信号中用于多个改善系统的多种类型的改善信息一种或某些信息,则处理返回到步骤S22,控制电路40输出与还未获得改善信息的改善系统对应的控制信号。然后,重复与上述处理相似的处理。
另一方面,如果在步骤S29确定,已经获得包含在系统选择信号中用于所有多个改善系统的改善信息,即,如果包含在系统选择信号中的用于多个改善系统的多种类型的改善信息被存储在存储器39中,则处理进入步骤S30。多种类型的改善信息从存储器39中读出,并供应给综合单元12(图2)。然后,处理结束。
在改善信息生成的单位的教师图像每次被供应给帧存储器31时,重复图9的改善信息生成处理。
在图6的实施例中,假定存在具有与广播图像数据相同内容的高图像质量的图像数据。然而,在某些情况下,没有这种高图像质量的图像数据(例如,在原始图像被直接用作广播图像数据的情况下)。在此情况下,由于不存在教师图像,因此图6的改善信息生成单元11不能生成作为改善信息的预测系数。
因而,图10示出了改善信息生成单元11的另一个示范性结构,当发送装置1发出与原始图像尺寸相同的图像时,该单元11不使用将是教师图像的高图像质量的图像数据,就能够生成作为改善信息的预测系数。在图10中,与图6对应的那些部件用相同的标号表示,并且将不进行详细说明。特别地,除了不设置下变换器32,以及新设置帧存储器41、特征量(characteristicquantity)估计电路42、临时教师数据生成电路43和临时学习者数据生成电路44外,构成图10的改善信息生成单元11类似于图6的改善信息生成单元11。
在图10的改善信息生成单元11中,由于不存在真实教师图像,所以从广播图像数据中生成临时教师图像和临时学习者图像(在下文中,适于分别称作临时教师图像和临时学习者图像),并且使用临时教师图像和临时学习者图像生成作为改善信息的预测系数,其中临时教师图像与作为学习者图像的广播图像数据的关系相似于真实教师图像与作为学习者图像的广播图像数据之间的关系。
广播图像数据供应给帧存储器41,帧存储器41按改善信息生成的每个单位存储所供应于此的广播图像数据。
特征量估计电路42发现存储在帧存储器41中的广播图像数据的特征量,并且把该特征量供应给临时教师数据生成电路43和临时学习者数据生成电路44。
至于广播图像数据的特征量,例如可以使用水平方向或垂直方向的自相关(auto-correlation)系数、像素值的直方图、或邻近像素的差分值的直方图(活动(activity)的直方图)。
临时教师数据生成电路43根据来自特征量估计电路42的广播图像数据的特征量估计关于广播图像数据的原始教师图像(真实教师图像)的特征量(以下适于称作被估计教师特征量)。此外,临时教师数据生成电路43对存储在帧存储器41中的广播图像数据执行LPF滤波和抽取,由此生成具有与被估计的教师特征量相同特征量的图像。临时教师数据生成电路43将生成的作为临时教师图像的图像供应给帧存储器31和临时学习者生成电路44。
临时学习者数据生成电路44对临时教师数据生成电路43供应的临时教师图像进行LPF滤波,由此生成具有与广播图像数据的特征量相同的特征量的图像,该广播图像数据是从特征量估计电路42供应的原始学习者图像。临时学习者数据生成电路44把生成的作为临时学习者图像的图像供应给帧存储器33。
下面将结合图11的流程图说明由图10的改善信息生成单元11执行的,用于生成改善信息的改善信息生成处理。
首先,当广播图像数据被供应和存储到帧存储器41中时,特征量估计电路42在步骤S41上提取存储在帧存储器41中的广播图像数据的特征量,并且将该特征量供应给临时教师数据生成电路43和临时学习者数据生成电路44。
当特征量估计电路42供应广播图像数据的特征量时,临时教师数据生成电路43在步骤S42根据广播图像数据的特征量估计与广播图像数据相关的原始教师图像的特征量(被估计的教师特征量)。然后,处理进入步骤S43。在步骤S43,临时教师数据生成电路43设置LPF滤波器特征和抽取宽度(抽取率),用于根据被估计的教师特征量,从广播图像数据中获得具有与被估计的教师特征量相同的特征量的图像。然后,处理进入步骤S44。
在步骤S44,临时教师数据生成电路43使用预置的抽取宽度抽取存储在存储器41中的广播图像数据,并且用预置滤波特征对被抽取的图像进行LPF滤波,由此生成临时教师图像。
步骤S44上的抽取广播图像数据的目的是获得具有高空间频率和自相关的尖锐形状的一个图像,以作为临时教师图像,因为与相同尺寸的低图像质量的图像相比较,高图像质量的图像具有自相关的尖锐形状。
在步骤S44的处理之后,处理进入步骤S45。临时教师数据生成电路43发现在步骤S44生成的临时教师图像的特征量,并辨别特征量是否接近被估计的教师特征量。如果在步骤S45上确定,临时教师图像的特征量不接近被估计的教师特征量,则处理进入步骤S46,并且临时教师数据生成电路43改变LPF滤波的滤波器特征的设置值或者用于广播图像数据的抽取宽度。然后,处理返回到步骤S44。进而将重新进行临时教师图像的生成。
另一方面,如果在步骤S45确定临时教师图像的特征量接近被估计教师特征量,则将临时教师图像供应给并存储到帧存储器31中,以及将临时教师图像供应给临时学习者数据生成电路44。然后处理进入步骤S47。
在步骤S47,临时学习者数据生成电路44设置对临时教师数据生成电路43供应的临时教师图像执行LPF滤波的滤波器特征,然后处理进入步骤S48。
在步骤S48,临时学习者数据生成电路44对临时教师图像执行具有预置滤波器特征的LPF滤波,从而生成临时学习者图像。
然后,在步骤S49,临时学习者数据生成电路44发现在步骤S48生成的临时学习者图像的特征量,并辨别该特征量是否接近特征量估计电路42供应的广播图像数据的特征量。如果在步骤S49确定临时学习者图像的特征量不接近广播图像数据的特征量,则处理进入步骤S50并且临时学习者数据生成电路44改变对临时教师图像执行的LPF滤波的滤波器特征的设置值。然后处理返回到步骤S48。从而,重新进行临时学习者图像的生成。
另一方面,如果在步骤S49确定临时学习者图像的特征量接近广播图像数据的特征量,则将临时学习者图像供应并存储到帧存储器33,然后处理进入步骤S51。
在步骤S51至步骤S58,使用帧存储器31中存储的作为原始教师图像的临时教师图像和使用在帧存储器33中存储的作为原始学习者图像的临时学习者图像,执行与图9的步骤S22、S24至S30的处理相似的处理。因而,生成多种类型的改善信息,并将该改善信息存储到存储器39中。该多种类型的改善信息从存储器39中读出,并且供应给综合单元12(图2)。然后,处理结束。在图11的实施例中,由于教师图像和学习者图像具有相同的尺寸,因此所构建的类别抽头和预测抽头与图7所示的不同。然而,图11的实施例与图9的实施例在其中从位于教师图像中目标像素的位置附近的学习者图像的多个像素构建类别抽头和预测抽头上是相似的。
图11的改善信息生成处理类似于图9的情况,当每次将用于改善信息生成的单位的广播图像数据供应给帧存储器41时重复改善信息生成处理。
图12示出了接收装置3(图4)的质量改善单元24的示范性结构,在此情况下,构成如图6或图10所示的发送装置1(图2)的改善信息生成单元11。
帧存储器51供应有从提取单元22(图4)输出的广播图像数据。帧存储器51按改善信息生成的每个单位存储广播图像数据。
预测抽头构建电路52根据控制电路57的控制信号执行与图6的预测抽头构建电路34相似的处理。因而,预测抽头构建电路52使用帧存储器51中存储的广播图像数据构建预测抽头,并将预测抽头供应给预测操作电路56。
类别抽头构建电路53根据控制电路57的控制信号执行与图6的类别抽头构建电路35相似的处理。因而类别抽头构建电路53使用帧存储器51中存储的广播图像数据构建类别抽头,并把类别抽头供应给分类电路54。
分类电路54根据控制电路57的控制信号执行与图6的分类电路36相似的处理。因此,分类电路54将使用来自类别抽头构建电路53的类别抽头进行分类的结果的类别码作为地址供应给存储器55。
存储器55存储作为选择单元23(图4)供应的改善信息的预测系数。此外,存储器55读出按对应来自分类电路54的类别码的地址所存储的预测系数,并把读出的预测系数供应给预测操作电路56。
预测操作电路56使用存储器55供应的预测系数和预测抽头构建电路52供应的预测抽头执行由方程(1)所表示的线性预测操作(乘积和运算),并输出所得到的像素值,以作为通过改善广播图像数据的图像质量所获得的高图像质量(教师图像)的图像的预测值。
控制电路57供应有从选择单元23(图4)输出的系统选择信号。根据该系统选择信号,控制电路57向预测抽头构建电路52、类别抽头构建电路53和分类电路54输出控制信号,该控制信号类似于图6的控制电路40的情况。
从选择单元23供应到控制电路57的系统选择信号只包括一条与图像质量级信号对应的信息,该图像质量级信号是响应用户的请求从记帐单元27(图4)输出的,所述的这样的一条信息是包含在供应给图6的控制电路40的系统选择信号中的指示多个改善系统的信息。因此,控制电路57控制预测抽头构建电路52、类别抽头构建电路53和分类电路54,以便提供用户所请求的图像质量的图像。
下面结合图13的流程图说明,由图12的质量改善单元24执行的改善广播图像的图像质量的质量改善处理。
在接收装置3(图4)中,当改善信息生成的每个单位的广播图像数据从提取单元22供应给质量改善单元24时,根据图像质量级信号从多个改善信息中选择的一种类型(一组)的改善信息从选择单元23供应给质量改善单元24,同时还将指示利用改善信息改善图像质量的改善系统的系统选择信号一同供应给质量改善单元24。
在步骤S61,提取单元22供应的广播图像数据按照改善信息生成的每一个单位存入帧存储器51中。在步骤S61,还将选择单元23供应的改善信息存入存储器55。此外,在步骤S61中,控制电路57供应有来自选择单元23的系统选择信号,并且向预测抽头构建电路52、类别抽头构建电路53和分类电路54供应控制信号,用于由对应于系统选择信号的改善系统指定广播图像数据的图像质量的改善。因而,设置预测抽头构建电路52、类别抽头构建电路53和分类电路54根据控制电路57的控制信号指示的改善系统开始执行处理。
除了供应给控制电路57的系统选择信号指示线性插入的情况外,在本实施例中,存储器55中存储的改善信息是预测系数。
如果供应给控制电路57的系统选择信号指示线性插入,则控制电路57向预测操作电路56供应一个控制信号,以指定帧存储器51中存储的广播图像数据的线性插入。在此情况中,预测操作电路56经预测抽头构建电路52读出帧存储器51中存储的广播图像数据,然后执行线性插入,和输出所得到的广播图像数据。在此情况下,不执行步骤S62和后续步骤的处理。
在步骤S61处理之后,处理进入步骤S62。在构成通过改善存储在帧存储器51中的广播图像数据而获得高图像质量的一个图像的像素之中,还不是目标像素的像素之一被用作目标像素,并且预测抽头构建电路52通过使用帧存储器51中存储的广播图像数据的像素依据控制电路57的控制信号,构建一种结构的用于目标像素的预测抽头。此外,在步骤S62,类别抽头构建电路53通过使用帧存储器51中存储的广播图像数据的像素依据控制电路57的控制信号,构建一种结构的用于目标像素的类别抽头。预测抽头被供应给预测操作电路56,类别抽头被供应给分类电路54。
在步骤S63,分类电路54使用来自类别抽头构建电路53的类别抽头,采用适应控制电路57的控制信号的方法对目标像素进行分类,并且向存储器55供应与所得到的类别对应的类别码,以作为地址。然后,处理进入步骤S64。
在步骤S64,存储器55读出在分类电路54的类别码所指示的地址上存储的预测测系数,该预测系数是在步骤S61上存储的作为改善信息的预测系数之一,并且将读出的预测系数供应给预测操作电路56。
在步骤S65,预测操作电路56使用从预测抽头构建电路52供给的预测抽头和从存储器55供给的预测系数执行由方程(1)所表示的线性预测操作,并且将所得到的像素值临时存储为目标像素的预测值。
然后,在步骤S66,控制电路57辨别是否已经为作为目标像素的构成高图像质量的图像帧的所有像素发现了预测系数,该高图像质量的图像帧对应于在帧存储器51中存储的广播图像数据的帧。如果在步骤S66确定还没有为作为目标像素的构成高图像质量的图像帧的所有像素发现预测值,则处理返回步骤S62。在构成高图像质量的图像帧的像素之中,还不是目标像素的像素被新近用作目标像素,并重复相似的处理。
另一方面,如果在步骤S66确定对于作为目标像素的构成高图像质量的图像帧的所有像素已经发现了预测值,则处理进入步骤S67,于是预测操作电路56顺序地向显示单元25(图4)输出由已经发现的预测值组成的高图像质量的图像。然后,结束该处理。
在每次将改善信息生成的一个单位的广播图像数据供应给帧存储器51时,重复图13的质量改善处理。
如上所述,发送装置1发送多种类型的改善信息,并在接收装置3中,从多个改善信息中选择与满足用户请求的图像质量相对应的改善信息,并且使用所选择的改善信息来改善图像质量。因此,可以提供满足用户请求的图像质量的图像,并且根据提供给用户的图像的图像质量进行更详细的记账。
在上述情况下,多种类型的改善信息是从发送装置1中发送的,并且在接收装置3中,从多个改善信息中选择与满足用户请求的图像质量相对应的改善信息。然而也可以是:发送装置1接受用户事先从接收装置3发送的请求,并且仅仅把与满足该请求的图像质量相对应的改善信息发送给接收装置3。在该情况下,在记账单元14的控制下,仅将与满足用户请求的图像质量相对应的改善信息包含在综合单元12的综合信号中,如图2中的虚线所示。
在上述情况中,多种类型的预测系数是指定线性插入的信息,该信息作为多种类型的改善信息而发送。然而,还能够将预定的预测系数存储在接收装置3的存储器55中,而不是从发送装置1发送多种类型的预测系数,并且能够发送将要使用的存储器55中存储的多种类型预测系数的信息,以作为多种类型的改善信息。
在上述情况中,分类自适应处理和线性插入被用作改善系统。然而,也可以将其它处理用作改善系统。
此外,在上述情况下,改善信息生成单元11生成作为改善信息的一个预测系数,并且质量改善单元24用预测系数执行分类自适应处理,从而改善图像的图像质量。然而,也可以是,改善信息生成单元11发现一个用来预测目标像素的合适的预测系数的类别码,以作为改善信息,以及质量改善单元24用该类别码的预测系数执行自适应处理,由此改善图像的图像质量。
特别地,通过预先学习获得的各个类别的预测系数被存储在改善信息生成单元11和质量改善单元24中。然后,改善信息生成单元11用事先存储的每个类别的预测系数执行自适应处理,从而发现高图像质量的预测值。当为每个像素获得最接近真实值的预测值时,改善信息生成单元11发现作为改善信息的预测系数的类别码。同时,质量改善单元24通过使用事先存储的预测系数之中的相应于作为改善信息的类别码的预测系数,来发现该高图像质量的图像的一个预测值,从而获得已改善的图像质量的图像。在此情况下,接收装置3可以获得与发送装置1(改善信息生成单元11)中的图像质量相同的图像。
在此情况下,改善信息生成单元11和质量改善单元24不执行上述的分类。也就是,改善信息生成单元11例如,通过使用所有类别的预测系数执行自适应处理(预测操作)发现一个合适预测系数的类别码,用来发现一个预测值;并且质量改善单元24将这种类别码用作改善信息,并且通过用该类别码的预测系数执行自适应处理来改善图像的质量。因此,改善信息生成单元11或者质量改善单元24都不需要执行分类。
图14示出了改善信息生成单元11的一个示范性结构,该改善信息生成单元11发现用来预测目标像素的一个适当预测系数的类别码,以作为改善信息。在图14中,与图6对应的部分用相同的标号表示,并且将不进行详细说明。
在学习装置(图16)中通过学习而发现的各个类别的预测系数(将在后面说明)被存储在存储器101中。由控制电路40控制的存储器101顺序地读出各个类别的预测系数,并且将读出的预测系数供应给预测操作电路102。
预测操作电路102供应有来自预测抽头构建电路34的预测抽头,以及供有来自存储器101的预测系数。预测操作电路102与预测操作电路56相似,它使用从预测抽头构建电路34供给的预测抽头和从存储器101供给的预测系数执行由方程(1)表示的线性预测操作(乘积和运算)。然而,对于一个预测抽头,预测操作电路102用顺序从存储器101供应的各个类别的每个预测系数执行线性预测操作,从而发现教师像素的预测值。因此,对于每个教师像素,预测操作电路102发现与类别的总数量相同数量的预测值。
预测操作电路102发现的预测值被供应给比较电路103。该比较电路103还供有来自帧存储器31的教师图像。比较电路103将帧存储器31供给的构成教师图像的每个教师像素与从预测操作电路102供应的依据各个类别的预测系数发现的用于教师像素的每个预测值进行比较,从而发现预测误差。比较电路103将预测误差供应给检测电路104。
检测电路104检测使比较电路103供应的预测误差最小化的教师像素的预测值。此外,检测电路104检测一个类别码,该类别码指示当获得预测值时的预测系数的类别,然后检测电路104输出该类别码作为改善信息。
下面结合图15的流程图说明,由图14的改善信息生成单元11执行的生成改善信息的改善信息生成处理。
首先,在步骤S111,与改善信息的一个单位相对应的一个教师图像被存储在帧存储器31中。然后,在步骤S112,控制电路40向预测抽头构建电路34供应执行指定的控制信号,以便获得用于与供应于此的系统选择信号对应的改善系统的改善信息。因而,预测抽头构建电路34被设置来执行处理,以便依据控制信号获得作为用于改善系统的改善信息的一个类别码。
供应给控制电路40的系统选择信号包括指示多个改善系统的信息。当每次执行步骤112的处理时,控制电路40顺序地输出与多个改善系统相对应的控制信号。
如果控制电路40输出的控制信号指示线性插入,指定线性插入的信息作为改善信息存储到存储器39中。然后跳过步骤S113至步骤S122的处理,进入步骤S123的处理。
在步骤S112的处理之后,处理进入步骤S113,下变换器32对存储在帧存储器31中教师图像执行LPF(低通滤波器)滤波或抽取,必要时,由此生成与广播图像数据的图像质量相同的图像,以作为学习者图像。该学习者图像被供应和存储到帧存储器33中。
在图15的实施例中,与图9的实施例相似,学习者图像也可以是不同于广播图像数据的图像质量的图像。在这样一种情况下,从控制电路40向下变换器32供应用于该功效的控制信号,于是下变换器32生成与控制电路40的控制信号相适应的图像质量的学习者图像。
然后,在步骤S114,存储在帧存储器31中的教师像素之中的还不是目标像素的教师像素被用作目标像素,以及预测抽头构件电路34通过使用帧存储器33中存储的学习者像素,构建与控制电路40的控制信号相适应的结构的目标像素的预测抽头。该预测抽头被供应给预测操作电路102。
此后,在步骤S115,控制电路40按0设置计数类别的变量i以作为初始值,然后该处理进入步骤S116。在步骤S116,控制电路40将变量i作为地址供应给存储器101。因此,在步骤S116,从存储器101读出对应于类别码#i的预测系数,并供应给预测操作电路102。
在步骤S117,预测操作电路102使用预测抽头构件电路34供应的预测抽头和存储器101供应的预测系数执行方程(1)所表示的线性预测操作,并且将所得到的像素值作为目标像素的预测值供应给比较电路103。
在步骤S118,从帧存储器31中读出目标像素的像素值,将该像素值与来自预测操作电路102的预测值进行比较,从而发现预测值的预测误差。此外,在步骤S118,比较电路103将预测误差供应给检测电路104,然后处理进入步骤S119。
在步骤S119,控制电路40将变量i递增1,然后该处理进入步骤S120。在步骤S120,控制电路40辨别变量i是否小于N,其中N是类别的总数量。如果确定变量i小于N,则处理经进入步骤S116,重复相似的处理。
如果在步骤S120确定变量i不小于N,也就是如果通过使用相应于与目标像素有关的所有类别的预测系数发现预测值的预测误差,则处理进入步骤S121。检测电路104检测最小化关于目标像素的预测误差的预测系数的类别,并且将对应于该类别的类别码存储作为改善信息。
然后,在步骤S123,控制电路40辨别是否已经获得用于所有的包含在供应于此的系统选择信号中的多个改善系统的改善信息。
如果在步骤S123确定包含在系统选择信号中的用于多个改善系统的多种类型的改善信息中的一个或一些改善信息还未获得,则处理返回步骤S112,并且控制电路40相应于还未获得改善信息的改善系统输出控制信号。然后,重复与上述处理相似的处理。
在另一个方面,如果在步骤S123上确定已经获得用于所有的包含在系统选择信号中的多个改善系统的改善信息,也就是,如果包含在系统选择信号中的用于多个改善系统的多种类型的改善信息被存储到检测电路104中,则处理进入步骤S124。多种类型的改善信息从检测电路104中读出,并且被供应给综合单元12(图2)。然后,结束处理。
图15的改善信息生成处理与图9的改善信息生成处理相似,当改善信息生成的一个单位的教师图像(例如,一帧的教师图像)每次供应给帧存储器31时,重复图15的处理。
图16示出了学习装置的一个实施例的示范性结构,该学习装置用来发现存储在图14的存储器101中的每个类别的预测系数。
在图16的实施例中,帧存储器111、下变换器112、帧存储器113、预测抽头构建电路114、类别抽头构件电路115、分类电路116、法方程加法器117、预测系数确定电路118和存储器119的构成分别类似于图6所示的改善信息生成单元11的帧存储器31、下变换器32、帧存储器33、预测抽头构建电路34、类别抽头构建电路35、分类电路36、法方程加法器37、预测系数确定电路38和存储器39。
因此,在图16的学习装置中,每个类别的预测系数基本上是通过执行与图6的改善信息生成单元11的处理相类似的处理来发现的。在图14的存储器101中,通过预先学习而发现的每个类别的预测系数存储在图16的学习装置中。
在图16的实施例中,也能够通过控制下变换器112、预测抽头构建电路114、类别抽头构建电路115和分类电路116来改变抽头结构和分类方法,从而发现多种类型的预测系数。
图17示出了在按图14构成改善信息生成单元11的情况下,接收装置3(图4)的质量改善单元24的示范性结构。在图17中,与图12相对应的部分用相同的标号表示,并且不进行进一步的详细说明。
类别码存储单元121存储一个类别码以作为改善信息。在该实例中,发送通过改善广播图像数据的图像质量而获得的高图像质量的图像的每个像素的类别码,以作为发送装置1发送的改善信息。作为改善信息的类别码从接收装置3(图4)的选择单元23供应到质量改善单元24(图17),并且类别码存储单元121存储该类别码以作为改善信息。在控制电路57的控制下,类别码存储单元121将存储的类别码作为地址供应给存储器122。
存储器122存储在图16的学习设备中发现的每个类别码的预测系数。存储器122从类别码存储单元121中读出与作为地址提供的类别码相对应的预测系数,并把该预测系数供应给预测操作电路56。
下面将结合图18的流程图说明,由图17的质量改善单元24执行的改善广播图像的图像质量的质量改善处理。
在接收装置3(图4)中,当改善信息生成的每个单位的广播图像数据从提取单元22供应到质量改善单元24时,根据图像质量级信号从多个改善信息中选择的一种类型(一组)的改善信息与系统选择信号一起从选择单元23供应给质量改善单元24,其中系统选择信号指示利用改善信息改善图像质量的改善系统。
在步骤S131,从提取单元22供应的广播图像数据按改善信息生成的每个单位存储到帧存储器51中。此外,在步骤S131,从选择单元23供应的改善信息被存储到存储器121中。另外,在步骤S131,控制电路57供应有来自选择单元23的系统选择信号,并且向预测抽头构建电路52供应一个控制信号,该控制信号通过与系统选择信号相对应的改善系统指定广播图像数据的图像质量的改善。由此设置预测抽头构建电路52以执行根据控制电路57的控制信号所指示的改善系统的处理。
在本实施例中,除了供应给控制电路57的系统选择信号指示线性插入的情况外,存储器122中存储的改善信息是一个类别码。
如果供应给控制电路57的系统选择信号指示线性插入,则控制电路57向预测系数操作电路56供应一个指定存储在帧存储器51中的广播图像数据的线性插入的控制信号。在此情况下,预测操作电路56经预测系数构建电路52读出帧存储器51中存储的广播图像数据,然后执行线性插入并输出所得到的广播图像数据。在此情况下,不执行步骤S132和后续步骤的处理。
在步骤S131的处理之后,处理进入步骤S132。在通过改善帧存储器51中存储的广播图像数据而获得的构成高图像质量的图像的像素之中,将还不是目标像素的一个像素用作目标像素,并且预测抽头构建电路52通过使用帧存储器51中存储的广播图像数据的像素构建与控制电路57的控制信号相适应的一个结构的目标像素的一个预测系数。该预测抽头被供应给预测操作电路56。
然后,在步骤S133,控制电路57控制类别码存储单元121读出类别码,以作为用于目标像素的改善信息。因而,从类别码存储单元121中读出作为用于目标像素的改善信息的类别码,然后供应给存储器122。
在步骤S134,存储器122读出在类别码存储单元121的类别码所指示的地址上存储的预测系数,然后将读出的预测系数供应给预测操作电路56。
在步骤S135,预测操作电路56使用预测抽头构建电路52供应的预测抽头和存储器55供给的预测系数执行由方程(1)表示的线性预测操作,并临时存储所得到的像素值,以作为目标像素的预测值。
然后,在步骤S136,控制电路57辨别是否已经为作为目标像素的所有像素发现预测值,其中所述的所有像素构成相应于帧存储器51中存储的广播图像数据的帧构成的高图像质量的图像的帧。如果在步骤S136确定,还没有为作为目标像素的构成高图像质量的图像的帧的所有像素发现预测值时,处理返回到步骤S132。在构成高图像质量的图像帧的像素之中,将还不是目标像素的像素新近用作目标像素,并重复相似的处理。
另一方面,如果在步骤S136确定,已经为作为目标像素的构成高图像质量的图像的帧的所有像素发现预测值时,处理进入步骤S137,预测操作电路向显示单元25(图4)顺序地输出由已经发现的预测值组成的高图像质量的图像。然后结束处理。
每次改善信息生成的一个单位的广播图像供应给帧存储器51时,就重复图18的质量改善处理。
在图14和图17的实施例中,通过使用图16的学习装置中的SD图像构建和分类类别抽头,获得通常存储在图14的存储器101和图17的存储器122中的预测系数。然而,通常存储在存储器101和122中的预测系数也可以通过使用HD图像而不使用SD图像构建和分类类别抽头来获得。在此情况下,改善信息生成单元11可以获得作为改善信息的类别码,而不需要如上述的通过使用每个类别的预测系数发现目标像素的预测值。也就是,在此情况下,改善信息生成单元11使用一个HD图像为构成HD图像的每个像素构建和分类一个类别抽头,并且可以将所得到的类别码用作改善信息。
因而,在图19示出了改善信息生成单元11的一个示范性结构,该单元11通过依据HD图像(教师图像)构建和分类类别抽头来发现作为改善信息的类别码。在图19中,与图6相对应的部分用相同表号表示,并且将不作详细说明。特别地,除了未设置先变换器32、帧存储器33、预测抽头构建电路34、法方程加法器37和预测抽头确定电路38外,图19的改善信息生成单元11的构成类似于图6的改善信息生成单元11。
下面将结合图20的流程图说明由图19的改善信息生成单元11执行的生成改善信息的改善信息生成处理。
首先,在步骤S141,与改善信息生成的一个单位对应的教师图像被存入帧存储器31中。然后,在步骤S142,控制电路40向类别抽头构建电路35和分类电路36供应一个执行指定的控制信号,以便获得与供给于此的系统选择信号相对应的用于一个改善系统的改善信息。由此,类别抽头构建电路35和分类电路36被设置来执行处理,该处理是根据控制信号获得作为用于改善系统的改善信息的一个类别码。
供应给控制电路40的系统选择信号包括指示多个改善系统的信息,这与上述的情况相类似。每次执行步骤S142的处理时,控制电路40就顺序输出与多个改善系统相对应的控制信号。
如果控制电路40输出的控制信号指示线性插入,则把指定线性插入的信息作为改善信息存入存储器39中。步骤S143至S145的处理被跳过,于是处理进入步骤S146。
在步骤S142的处理之后,处理进入步骤S143。存储在帧存储器31内的教师像素之中的还不是目标像素的一个教师像素被用作一个目标像素,并且类别抽头构建电路35使用存储在帧存储器31中的教师像素,为适应控制电路40的控制信号的结构的目标像素构建类别抽头。该类别抽头被供应给分类电路36。
在步骤S144,分类电路36根据类别抽头构建电路35的类别抽头通过适合于控制电路40的控制信号的方法对目标像素进行分类,并且将与作为分类结果获得的一个类别相对应的一个类别码供应和存储到存储器39中。然后处理进入步骤S145。
在步骤S145,控制电路40辨别是否已经使用作为目标像素存储在帧存储器31中的改善信息生成单位的所有教师像素来执行分类。如果确定还未使用作为目标像素的所有教师像素执行分类,则处理返回到步骤S 143。在此情况下,还不是目标像素的一个教师像素被用作一个新的目标像素,然后重复步骤S144和S145的处理。
如果在步骤S145上,控制电路40确定已经使用作为目标像素的改善信息生成单位的所有教师像素执行分类,则处理进入步骤S146,控制电路40辨别是否已经获得包含在供应于此的系统选择信号中的用于所有多个改善系统的改善信息。
如果在步骤S146确定,还没有获得包含在系统选择信号内的用于多个改善系统的多种类型的改善信息中的一个或一些改善信息,则处理返回到步骤S142,并且控制电路40输出与还未获得改善信息的改善系统相对应的一个控制信号。然后,重复与上述处理相似的处理。
另一方面,如果在步骤S146确定,已经获得包含在系统选择信号中的用于多个改善系统的作为改善信息的类别码,也就是,如果在存储器39中存储了作为包含在系统选择信号内的用于多个改善系统的多种类型改善信息的类别码,则处理进入步骤S147。多种类型的改善信息从存储器39中读出,并且被供应给综合单元12(图2)。然后结束处理。
每次一改善信息生成单位的教师图像被供应给帧存储器31时,也重复图20的改善信息生成处理。
图21示出了在改善信息生成单元11被构成图19所示结构的情况下,接收装置3(图4)的质量改善单元24的示范性结构。在图21中,与图17对应的部分用相同的表号表示,并且将不进行详细说明。也就是,除了设置存储器131替代存储器122外,质量改善单元24的结构与图17的质量改善单元24的结构相同。
在图17的实施例中,通过学习获得的用于每个类别的预测系数被存储到存储器122中,其中在学习中使用由图16的学习装置中的学习者像素构成的一个类别抽头执行分类。然而,在图21的实施例中,通过学习获得的用于每个类别的预测系数被存储到存储器131中,其中在学习中使用由教师像素构成的类别抽头执行分类。
图22示出了执行学习的学习装置的实施例的示范性结构,其中使用由教师像素构成的一个类别抽头执行分类。在图22中,与图16相对应的部分用相同的表号表示,并且不进行详细说明。也就是,图22的学习装置的结构大体上与图16的学习设备的结构相同。
在图22的学习设备中,类别抽头构建电路115使用帧存储器111中存储的教师图像,而不是使用帧存储器113中存储的学习者图像,构建一个类别抽头。类别抽头构建电路115构建的类别抽头与图19的改善信息生成单元11的类别抽头构建电路35所构建的类别抽头相同。
如上所述,还可以在一个类别码被用作改善信息的情况下,响应来自用户的请求改善图像质量。因此,在此情况下,也可以提供满足用户请求的图像质量的图像,并且根据为用户提供的图像的图像质量执行更详细的记帐。
在一个类别码被用作改善信息的情况下,如上所述,它能够解决具有与广播图像数据相同内容的没有高图像质量的图像数据的情况,这类似于预测系数被用作改善信息的情况。
广播图像数据和改善信息可以通过上述的时分复用或频分复用进行综合,以形成综合信号。也可以通过把改善信息嵌入广播图像数据中来形成综合信号。
因此,下面将说明把改善信息嵌入广播数据中的嵌入方法以及对用嵌入方法嵌入的改善信息进行解码的解码方法。
一般来说,所称的信息具有能量(平均信息量(entropy))的偏差(普遍性)。该偏差被识别为信息(有价值信息)。例如,通过拍摄某些场景得到的图像由一个人识别的,因为图像(构成图像的多个像素的像素值)具有对应该场景的能量偏差。没有能量偏差的图像仅仅是噪声或类似物以及无用的信息。
因此,尽管在有价值信息特有的能量原始偏差因为以某种方式操作信息而损坏时,也可以通过从能量的被损坏偏差中恢复能量的原始偏差,从被操作的信息中恢复原始信息。也就是,通过使用专用于该信息的能量的原始偏差,可以将通过操作信息而获得的操作结果数据解码为原始有价值信息。
专用于该信息的能量(能量偏差)可以例如用相关性表示。
信息的相关性是指信息的组成元素(例如,在一个图像的情况下,构成图像的像素和线条)之间相关(例如,在一个组成元素与另一个组成元素之间的自相关和距离)。一个图像的相关性可以例如用图像的线条之间的相关来表示。对于表示相关的一个相关值,可以使用两个线条中对应像素值之差的平方和。(在此情况下,一个较小相关值表示线条之间的较大相关,而一个较大相关值表示线条之间的较小相关。)
具体地说,对于一个图像,当一个首线条(第一线条)与另一个线条之间的距离较短时,该首线条与该另一线条之间的相关通常较大;当该首线条与该另一个线条之间的距离较长时,相关较小。因此,相关偏差存在,使得对于接近首线条的线条来说相关较大,而使得对于远离首线条的线条的相关较小。
下面考虑切换距第一线条较近的第M线条和距第一线条较远的第N线条的像素值的操作(1<M<N),以及对于切换后的图像计算第一线条与其它线条之间相关的操作。第一线条与接近第一线条的第M线条(切换之前是第N线条)之间的相关变小,以及第一线条与距第一线条较远的第N线条(切换之前是第M线条)之间的相关变大。
因而,在切换后的图像中,对于距第一线条较近的相关大和对于距第一线条较远的相关小的相关性的偏差被损坏。然而,对于一个图像,一般来说,使用对于接近第一线条的相关大而对于距第一线条较远的相关小的相关性偏差,可以从被损坏的相关性偏差中恢复相关性偏差。也就是,切换后的图像中相关性的偏差,使关于较接近第一线条的第M线条的相关小以及使关于距第一线条较远的第N线条的相关大,是明显不正常的(反常的)。第M线条和第N线条将被切换。通过对切换后的图像中的第M线条和第N线条进行切换,可以恢复具有原始相关性偏差的图像,即原始图像。
在此情况下,根据改善信息确定要移位或切换的图像的线条,并且通过这种移位和切换将改善信息嵌入图像中。通过使用具有嵌入其内的改善信息的图像中的相关将线条切换到原始位置,即,切换了线条的图像,以及由此恢复原始图像,可以对图像和改善信息进行解码。也就是,通过检测恢复原始图像时的被移位线条和被切换的线条,可以对改善信息进行解码。
与上述的使用图像的能量偏差的解码相类似,在把改善信息嵌入一个图像的情况下,使用专用于原始图像的能量偏差,可以把在其内已嵌入改善信息的图像解码成没有解码开销的原始图像和改善信息。
通过把改善信息嵌入到一个图像而获得的一个图像(以下适于称之为嵌入图像)是一个不同于原始图像的图像,并且不是可以被人们识别为有价值信息的图像。因此,实现原始图像的加密可以没有开销。
图23示出了图2的综合单元12的示范性结构,该综合单元12通过将改善信息按上述方式嵌入到广播图像数据中生成一个被综合的信号。
帧存储器61例如按每帧存储广播图像数据。帧存储器61由多个存储体(bank)构成,可以同时执行对供应于此的广播图像数据的存储、列的切换(下面将要说明)以及通过切换存储体从帧存储器61中读出数据。
调换信息生成单元62供应有来自改善信息生成单元11(图2)的改善信息,并且生成调换信息,它指示存储在帧存储器61中的图像(广播图像数据)的一帧的各个列的位置将如何根据改善信息进行切换。特别地,在帧存储器61中存储的图像的一帧由M行和N列中的像素构成在情况下,当图像的第n列(左起第n列)要被切换到第n’列时,调换信息生成单元62生成使n与n’(n和n’是不小于1和不大于N的整数)相关联的调换信息。
在图像一帧中的列数目是N的情况下,如果所有的列被用作切换的目标,则存在切换方法的N!模式(!表示阶乘)。因此,在此情况下,最大能够将改善信息的log2(N!)比特嵌入到一帧中。
调换信息生成单元62生成的调换信息被供应给调换单元63。调换单元63根据调换信息生成单元62供应的调换信息切换帧存储器61中存储的图像的一帧中各个列的位置。因此,改善信息已嵌入存储在帧存储器61中的广播图像数据中。
下面结合图24的流程图说明图23的综合单元12所执行的嵌入处理。
广播图像数据被供应给帧存储器61,并且将该广播图像数据存储到帧存储器61中。
在步骤S71,调换信息生成单元62供应有来自改善信息生成单元11的可以嵌入图像(广播图像数据)一帧中的数据质量的改善信息。例如,如果广播图像数据一帧中的列数目是N并且所有的列被用作切换的目标,则如上所述,可以嵌入最大log2(N!)比特的改善信息,因而可以供应这样一种数量比特(或少于)的改善信息。
然后,在步骤S72,调换信息生成单元62根据在步骤S71供应的改善信息生成调换信息。特别地,调换信息生成单元62生成调换信息,该调换信息指示那些列将根据改善信息与存储在帧存储器61中的作为嵌入处理的目标的帧中第一至第N列之中的第二至第N列进行切换(第一列除外)。该调换信息被供应给调换单元63。
当调换信息从调换信息生成单元62供应给调换单元63时,处理进入步骤S73,调换单元63根据调换信息切换帧存储器61中存储的处理目标帧中的各个列的位置。因而将改善信息嵌入到处理目标帧中,并且从帧存储器61中读出具有如此嵌入的改善信息的广播图像数据(已嵌入图像)并将读出的广播图像数据作为综合信号供应给发送单元13(图2)。
通过改变帧存储器61中的图像数据(构成图像数据的像素)的存储位置,可以执行帧中各个列的位置切换。然而,可以通过控制从帧存储器61读出帧时的地址,来切换列位置的帧。
在本实施例中,调换信息包括指示上述的那些列将与第二至第N列切换的列的信息,但不包括哪一列将与第一列切换的信息。因此,调换单元63执行第二至第N列的切换,但不执行第一列的切换。下面将说明其原因。
处理目标帧中的所有第二至第N列的切换一旦完成,处理就进入步骤S74,辨别帧存储器61中是否存储了还不是处理目标帧的广播图像数据的帧。如果确定存储了这样一个帧,则处理返回到步骤S71,通过使用还不是目标处理帧的帧作为新处理目标帧,重复相似处理。
如果在步骤S74确定,帧存储器61中未存储还不是处理目标帧的帧,则结束嵌入处理。
根据上述的嵌入处理,使图像的一帧(此情况下的广播图像数据)成为一个被综合的信号,以作为下列的已嵌入的图像。
特别地,现在假定改善信息相当于具有N列(如图25A所示)的处理目标帧,使第二列切换到第六列(图25B)、第三列切换到第九列(图25C)、第四列切换到第七列(图25D)、第五列切换到第三列(图25E)、第六列切换到第八列(图25F)、第七列切换到第四列(图25G)、第八列切换到第五列(图25H)、第九列切换到第二列(图25I)、…和第N列被切换到第N列。然后,调换信息生成单元62生成指示这种切换的调换信息。调换单元63根据上述的调换信息,将图25J所示的一帧中第二列切换到第六列、第三列切换到第九列、第四列切换到第七列、第五列切换到第三列、第六列切换到第八列、第七列切换到第四列、第八列切换到第五列、第九列切换到第二列、…和第N列被切换到第N列。结果,使图25J的图像成为一个如图25K所示的已嵌入的图像。
在此方式中,在通过根据改善信息切换各个列的像素(作为一组构成帧存储器61中所存储的一个图像的一个或多个像素)位置,将改善信息嵌入各个列的情况下,通过执行逆切换可以解码原始图像,并且使所执行的切换变成改善信息。因此,可以将改善信息嵌入图像中,同时使图像的图像质量恶化最小化,并且不增加数据量。
在切换了列的位置的一个图像中,该图像是具有已嵌入了改善信息的图像,通过使用图像的相关性,也就是与位于原始图像的正确位置的列的相关性,可以将各个列切换到没有开销的原始位置。此外,可以根据切换方法对该改善信息进行解码。因此,基本上,不会在所得到的解码图像(再现图像)中出现由于嵌入改善信息而造成的图像质量恶化的现象。
如果没有位于已嵌入图像的一个正确位置上的列,则很难使用上述的图像相关性对图像和改善信息进行解码。因而,在图24的嵌入处理中,不执行每帧中的第一列的切换。
然而,也可以使用作为切换目标的包括第一列的所有列执行嵌入。在此情况下,在作为已嵌入图像的综合信号中至少包含作为开销的切换后的列的一个或多个原始位置。因而,能够容易地对图像和改善信息进行解码。
也可以通过顺序地切换列,将改善信息嵌入一个图像中;或者通过一次切换所有的列,将改善信息嵌入一个图像中。也就是,通过重复根据改善信息切换一列然后根据下一个改善信息切换下一列的这种操作,可以将改善信息嵌入到一个图像中。另外,通过根据改善信息确定所有列的切换模式以及一次执行这种切换,可以将改善信息嵌入到一个图像中。
图26示出了在如图23那样构成发送装置1(图2)的综合单元12的情况下的接收装置3(图4)的提取单元22的一个示范性结构。
帧存储器71的构成与图23的帧存储器61相类似,它顺序地例如按每帧存储已嵌入的图像,以作为从接收单元21(图4)输出的综合信号。
调换单元72计算帧存储器71中存储的作为已嵌入图像的处理目标(处理目标帧)的一帧中已经切换到原始位置的最后列与另一列(未返回到原始位置的列)之间的相关。根据该相关,调换单元72通过切换处理目标帧中还未返回到原始位置的列的位置,来恢复该列的原始位置(或者对该列的位置解码)。此外,调换单元72向调换信息变换单元73供应指示帧中的各列如何被切换的调换信息。
调换信息变换单元73根据来自调换单元72的调换信息对在已嵌入图像中嵌入的改善信息进行解码,也就是得到处理目标帧中各列的切换前的位置与切换后的位置之间的对应关系。
下面将结合图27说明由图26的提取单元22执行的,对已嵌入的图像解码以提取原始广播图像数据和改善信息的解码处理。
帧存储器71例如按每帧顺序地存储所供给的已嵌入图像(被编码数据)。
在步骤S81,调换单元72为用于计数帧中的列数的变量n,设置例如1的初始值。处理进入步骤S82,并且调换单元72辨别变量n是否等于或小于N-1(是从帧的列数N中减1得到的)。
如果在步骤S82确定变量n等于或小于N-1,则处理进入步骤S83。调换单元72从帧存储器71中存储的处理目标帧中读出第n列的像素(像素阵列),并通过安排第n列的各像素(其像素值)以作为它的元素来生成矢量(以下适于称作列矢量)。在该实施例中,由于帧由上述的M列的像素组成,因此,列矢量vn(类似于列矢量vk,下面将进行说明)是M维矢量。
此后,在步骤S84,调换单元72为用于计数位于第n列右侧的列的变量k,设置n+1的初始值。处理进入步骤S85,调换单元72读出第k列的像素并生成作为其元素的具有第k列的像素的列矢量vk。然后,处理进入步骤S86。
在步骤S86,调换单元72使用列矢量vn和vk发现第n列与第k列之间的相关。
特别地,调换单元72根据下列方程计算列矢量vn与vk之间的距离d(n,k)。
d(n,k)=|vn-vk|
=(Σ(A(m,n)-A(m,k))2)1/2         …(8)
在该方程中,Σ表示m从1变化到M的求和,A(i,j)表示处理目标帧中第i行和第j列的像素(像素值)。
然后,调换单元72发现列矢量vn与vk之间的距离d(n,k)的倒数1/d(n,k),以作为第n列与第k列之间的相关(表示相关的相关值)。
在计算第n列与第k列之间的相关之后,处理进入步骤S87,在此辨别变量k是否等于或小于通过从N中减1得到的N-1,其中N是帧中的列数。如果在步骤S87确定变量k等于或小与N-1,则处理进入步骤S88,将变量k递增1。然后,处理进入步骤S85,重复步骤S85至S88的处理,直至在步骤S87确定变量k不等于或小于N-1。由此发现第n列与位于第n列右侧的已嵌入图像的每一列之间的相关。
此后,如果在步骤S87确定变量k不等于或小于N-1,则处理进入步骤S89,调换单元72发现对第n列相关最大的k。在步骤S90,用K表示与第n列相关最大的k,调换单元72执行帧存储器71中存储的处理目标帧中第(n+1)列和第K列的调换,也就是将第K列切换到第(n+1)列,该第(n+1)列向右邻近第n列。
然后,在步骤S91,变量n递增1。处理返回到步骤S82,重复步骤S82至S91的处理,直至在步骤S82确定变量n不等于或小于N-1。
在该实施例中,由于已嵌入的图像的第一列保留作为原始图像的第一列,因此,当变量n的初始值是1时,具有对第一列最大相关的已嵌入图像的一列被切换到向右邻近第一列的第二列。由于图像的相关性,具有对第一列最大相关的列基本上是原始图像的第二列,因此,在此情况下,通过嵌入处理,将被切换到已嵌入图像的另一列的原始图像的第二列被返回到(解码成)原始位置。
当变量n变成2时,按上述方式切换到原始位置的具有对第二列最大相关的一列被切换到向右邻近第二列的第三列。由于图像的相关性,具有对第二列最大相关的列基本上是原始图像的第三列,这与上述情况相似。因此,在此情况下,切换到已嵌入图像另一列的原始图像的第三列,通过嵌入处理返回到原始位置。
相似地,帧存储器71中存储的已嵌入图像被解码成原始图像(广播图像数据)。
如果在步骤S82确定变量n不等于或小于N-1,也就是,如果使用图像的相关性将构成已嵌入图像的第二至第N列的所有列返回到原始位置以及如此将帧存储器71中存储的被嵌入图像解码为原始图像(广播图像数据),则处理进入步骤S92,从帧存储器71读出被解码图像。此外,在步骤S92,调换单元72向调换信息变换单元73输出调换信息,该调换信息指示当已嵌入图像被解码为原始图像时切换已嵌入图像的第二至第N列的方式。根据来自调换单元72的调换信息,调换信息变换单元73解码和输出已嵌入图像中嵌入的改善信息。
此后,处理进入步骤S93,区分在帧存储器71中是否存储了还不是处理目标的已嵌入图像的帧。如果确定已经存储了这样的帧,则处理返回到步骤S81。还不是处理目标的已嵌入图像的帧被用作新的处理目标,并重复相似的处理。
如果在步骤S93确定帧存储器71中未存储还不是处理目标的已嵌入图像的帧,则结束解码处理。
在此方式中,使用图像的相关性,将已嵌入图像,即具有在其中嵌入了改善信息的图像,解码为原始图像和改善信息。因而可以将已嵌入图像解码成没有开销的原始图像和改善信息。因此,基本上,在解码图像中不会出现因嵌入改善信息而造成的图像质量的恶化。
在图27的解码处理中,已经被解码的最后的首列(例如,在n=1的情况中,在嵌入时未切换的首列)与还未解码的列之间的相关被发现,并根据该相关对将要切换到向右邻近已经解码的最后列的位置的列进行检测。然而,还能够计算已经被解码的多个列与还未被解码的一列之间的相关性,并由此检测将要切换到已经被解码的最后列的一列。
在上述情况中,通过切换诸多列将改善信息嵌入广播图像数据中。然而,通过切换位于某些位置的像素阵的位置,切换沿时间方向安排的预定数目帧的行或者切换行和列,也可以执行嵌入。
此外,也可以根据改善信息通过操作像素值或者根据改善信息通过旋转水平线等,而不是切换列等,来执行嵌入。在这些的任何一种情况中,使用能量偏差可以恢复原始信息。
使用上述的能量偏差可以恢复原始信息的嵌入方法在以下文件中详细公开:例如日本专利申请第H10-200093,日本专利申请第H10-222951,日本专利申请第H10-333700,日本专利申请第11-129919,日本专利申请第H11-160529,日本专利申请第H11-160530,日本专利申请第H11-284198(根据日本专利申请第10-285310要求优先权的申请),日本专利申请第H11-284199(根据日本专利申请第10-285309要求优先权的申请),和本申请人的日本专利申请第H11-284200(根据日本专利申请第10-285308要求优先权的申请)。在综合单元12和提取单元22中可以利用这些申请中公开的方法。
作为将改善信息嵌入广播图像数据中的另一种嵌入方法,可以利用频谱扩展。
图28示出了在利用频谱扩展将改善信息嵌入广播图像数据的情况下的发送装置1(图2)的综合单元12的示范性结构。
从改善信息生成单元11(图2)输出的改善信息被供应给频谱扩展信号生成电路81。频谱扩展信号生成电路81按预定定时顺序地生成例如,M周期序列的PN(伪随机噪声)码串。然后,频谱扩展信号生成电路81用PN码串进行改善信息的频谱扩展,由此获得频谱扩展信号,并将该频谱扩展信号供应给加法器82。
加法器82供应有广播图像数据以及来自频谱扩展信号生成电路81的频谱扩展信号。加法器82将频谱扩展信号叠加到广播图像数据上,由此获得改善信息已嵌入到广播图像数据中的被综合的信号,并且向发送单元13(图2)输出被综合的信号。
广播图像数据和频谱扩展信号也可以进行D/A(数模)变换,然后供应给加法器82。
图29示出了在发送装置1的综合单元12被构成图28所示结构的情况下,接收装置3(图4)的提取单元22的示范性结构。
接收单元21(图4)输出的已综合信号被供应给逆频谱扩展电路91和解码电路92。
逆频谱扩展电路91生成的PN码串类似于图28的频谱扩展信号生成电路81生成的PN码串。逆频谱扩展电路91根据PN码串对已综合信号执行逆频谱扩展,由此解码改善信息。该被解码的改善信息被供应给选择单元23(图4)。
此外,逆频谱扩展电路91将所生成的PN码串供应给解码电路92。
根据来自逆频谱扩展电路91的PN码串,解码电路92去除叠加在已综合信号上的频谱扩展信号,从而对广播图像数据进行解码。该已解码的广播图像数据被供应给质量改善单元24(图4)。
在图29中,所构成的提取电路22可以不设置解码电路92。在此情况下,将具有叠加于其上的频谱扩展信号的广播图像数据供应给质量改善单元24。
使用能量偏差可以恢复原始信息的嵌入方法和使用频谱扩展的嵌入方法在上文中已经描述。对于将改善信息嵌入广播图像数据,也可以使用传统的水印方法。
具体地说,例如,通过改变(切换)构成广播图像数据的像素的较低一比特或两比特,可以将改善信息嵌入广播图像数据中。
上述的处理系列可以由硬件或者软件来实现。在该处理系列由软件实现的情况下,构成软件的程序被安装在通用计算机等。
图30示出了在其内安装执行上述的处理系列的程序的计算机的一个实施例的示范性结构。
该程序可以预先存储在作为计算机的内置记录介质的硬盘205和ROM203中。
另外,程序可以临时或永久性地存储(记录)在可移动记录介质21上,比如,记录在软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘或半导体存储器上。可移动记录介质211可以作为软件包来提供。
程序可以从上述的可移动记录介质211安装到计算机上,也可以经用于数字卫星广播的人造卫星,从一个下载站通过无线通信传送给计算机,或者经诸如LAN(局域网)或因特网的网络通过有线通信传送给计算机。在该计算机中,通信单元208可以接收所传送的程序,并把该程序安装到内置的硬盘205上。
该计算机具有一个内置的CPU(中央处理单元)202。输入/输出接口210经总线201连接CPU 202。当用户操作由键盘、鼠标等组成的输入单元207经输入/输出接口210键入一个命令时,CPU 202根据该命令执行在ROM(只读存储器)203中存储的程序。另外,CPU 202把硬盘205上存储的程序装载到RAM 204上,该程序来自卫星或网络,由通信单元208接收并且被安装在硬盘205上,或者该程序从装载在驱动器209上的可移动记录介质211读出,并安装到硬盘205上,然后执行该程序。因而,CPU 202执行与上述流程图相符的处理或与上述方框图的结构相符的处理。CPU 202输出由LCD(液晶显示器)、扬声器等组成的输出单元206的处理结果,或者发送通信单元208的处理结果,或者,在必要时经输入/输出接口210将处理结果记录到硬盘205上。
在该说明中,描述使计算机执行各种类型处理的程序的处理步骤不一定是按照流程图的顺序进行的时序处理,包括并行或个别执行的处理(例如,并行处理或对象进行的处理)。
该程序可以由一个计算机处理或者由多个计算机按分布的处理进行的处理。该程序还可以被传送到远程计算机,由该计算机执行处理。
尽管在上述实施例中使用图像数据,但本发明也适用于音频数据等。
此外,尽管在上述实施例中经卫星链路提供已嵌入图像,但是也可以经地面波或者经诸如因特网和CATV的各种类型的发送媒介提供已嵌入图像,或者将已嵌入图像记录在诸如光盘、磁光盘、磁带和半导体存储器的各种类型的记录介质上。
工业应用性
使用本发明的数据处理设备和方法、记录介质和程序,生成用于改善数据质量的改善信息和将改善信息嵌入在数据中。因此,本发明能够提供例如,具有在其中嵌入改善信息的数据,具有从中提取改善信息的数据,和通过改善信息改善其质量的数据。
使用本发明的数据处理设备和方法、记录介质和程序,从已嵌入数据中提取改善信息,并且使用改善信息改善数据质量。因此,本发明能够接收所供应的质量数据。
使用本发明的数据处理设备和方法、记录介质和程序,生成改善数据质量的多种类型的改善信息,并且发送数据和一种或多种类型的改善信息。因此,本发明能够提供多种质量的数据。
此外,使用本发明的数据处理设备和方法、记录介质和程序,供应数据和一种或多种类型的改善信息,并且使用一种或多种类型的改善信息来改善数据质量,同时根据用于改善数据质量的改善信息进行计费。因此,能够接收与所付金额相符的质量的数据供应。

Claims (71)

1.一种数据处理设备,包括:
改善信息生成装置,用于生成改善数据的质量的改善信息;和
嵌入装置,用于将多种类型的改善信息嵌入到数据中,
其中改善信息生成装置生成多种类型的改善信息,用于将数据改变成多种质量。
2.根据权利要求1所述的数据处理设备,其中改善信息生成装置生成作为改善信息的一个预测系数,用于预测通过改善数据质量获得的质量已改善数据的预测值。
3.根据权利要求2所述的数据处理设备,其中改善信息生成装置生成用于每个预定类别的预测系数。
4.根据权利要求3所述的数据处理设备,其中改善信息生成装置包括:
构建类别抽头的类别抽头构建装置,通过使用将成为学习者的学习者数据来发现将成为教师的教师数据的目标教师数据的类别;
执行分类的分类装置,用于根据类别抽头发现目标教师数据之中的类别;
预测抽头构建装置,使用学习者数据构建与用来预测目标教师数据的预测系数一起使用的预测抽头;和
预测系数操作装置,通过使用教师数据和预测抽头来发现用于每个类别的预测系数。
5.根据权利要求1所述的数据处理设备,其中改善信息生成装置生成用于不同数量类别的预测系数,作为多种改善信息。
6.根据权利要求1所述的数据处理设备,其中改善信息生成装置生成通过使用不同质量的教师数据或学习者数据发现的多种类型的预测系数,以作为多种类型的改善信息。
7.根据权利要求1所述的数据处理设备,其中改善信息生成装置至少生成预测系数和执行线性插入的信息,以作为多种类型的改善信息。
8.根据权利要求1所述的数据处理设备,其中改善信息生成装置生成通过使用不同结构的预测抽头或分类抽头所发现的多种类型的预测系数,以作为多种类型的改善信息。
9.根据权利要求1所述的数据处理设备,其中改善信息生成装置生成用不同方法执行分类而发现的多种类型的预测系数,以作为多种类型的改善信息。
10.根据权利要求1所述的数据处理设备,其中改善信息生成装置生成作为改善信息的表示数据类别的类别码,用于预测通过改善数据质量而获得的质量已改善数据的预测值。
11.根据权利要求10所述的数据处理设备,其中改善信息生成装置包括:
预测抽头构建装置,通过使用将成为学习者的学习者数据构成一个预测抽头,用来预测将成为教师的教师数据的目标教师数据;
预测系数存储装置,用来存储通过学习发现的每个类别码的预测系数;
预测操作装置,通过使用预测抽头和预测系数发现目标教师数据的预测值;和
类别码检测装置,用于检测使目标教师数据的预测值最小的预测系数的类别码;
其中,改善信息生成装置输出由类别码检测装置检测的类别码,以作为改善信息。
12.根据权利要求10所述的数据处理设备,其中改善信息生成装置包括:
类别抽头构建装置,通过使用教师数据生成类别抽头,用于发现将成为教师的教师数据的目标教师数据的类别;和
分类装置,用于根据分类抽头执行分类,以发现目标教师数据的类别;
其中改善信息生成装置输出与分类装置所发现的类别相对应的类别码,以作为改善信息。
13.根据权利要求1所述的数据处理设备,其中嵌入装置把改善信息嵌入到数据中,以便使用该数据所拥有的能量偏差,恢复数据和改善信息。
14.根据权利要求1所述的数据处理设备,其中嵌入装置通过执行频谱扩展,将改善信息嵌入到数据中。
15.根据权利要求1所述的数据处理设备,其中嵌入装置通过把数据的一个或多个比特变为改善信息,将改善信息嵌入到数据中。
16.根据权利要求1所述的数据处理设备,其中数据是图像数据,并且改善信息是用于改善图像数据的图像质量的信息。
17.一种数据处理方法,包括:
改善信息生成步骤,生成改善数据质量的改善信息;和
嵌入步骤,将多种类型的改善信息嵌入到数据中,
其中在改善信息生成步骤生成多种类型的改善信息,用于将数据改变成多种质量。
18.一种数据处理设备,用于处理通过把改善数据质量的多种类型的改善信息嵌入数据中而获得的已嵌入数据,该数据处理设备包括:
提取装置,用于从已嵌入的数据中提取多种类型的改善信息;和
改善装置,根据用户请求通过使用多种类型的改善信息之一来改善数据的质量。
19.根据权利要求18所述的数据处理设备,其中改善信息是一个预测系数,用来预测通过改善数据的质量而获得的质量改善的数据的预测值,并且改善装置可以通过使用数据和预测系数,发现质量已改善数据的预测值。
20.根据权利要求19所述的数据处理设备,其中改善信息是为每个预定类别发现的预测系数,以及,改善装置通过使用数据和用于每个类别的预测系数,发现质量已改善数据的预测值。
21.根据权利要求20所述的数据处理设备,其中改善装置包括:
类别抽头构建装置,使用数据构建用来发现目标质量已改善数据的类别的类别抽头,其中目标质量已改善数据是将质量已改善数据作为目标;
分类装置,执行分类,根据类别抽头发现目标质量已改善数据的类别;
预测抽头构建装置,使用数据构建与预测目标质量已改善数据的预测系数一起使用的预测抽头;和
预测装置,使用目标质量已改善数据的类别的预测系数和预测抽头发现目标质量已改善数据的预测值。
22.根据权利要求18所述的数据处理设备,其中改善信息是一个表示用于每个预定类别的预测系数的类别的类别码,该预测系数用来预测通过改善数据质量而获得的质量改善的数据的预测值,并且改善装置通过使用数据和与类别码对应的预测系数,发现质量被改善的数据的预测值。
23.根据权利要求22所述的数据处理设备,其中改善装置包括:
预测抽头构建装置,使用数据来构成与预测目标质量已改善数据的预测系数一起使用的预测抽头,其中目标质量已改善数据把质量已改善数据作为目标;和
预测装置,通过使用与作为改善信息的类别码相对应的预测系数和预测抽头,来发现目标质量已改善数据的预测值。
24.根据权利要求21所述的数据处理设备,其中把多种类型的改善信息嵌入到已嵌入的数据中。
25.根据权利要求24所述的数据处理设备,其中把用于不同数量类别的预测系数嵌入到所嵌入的数据中,以作为多种类型的改善信息。
26.根据权利要求24所述的数据处理设备,其中使用将成为学习者的学习者数据和将成为教师的教师数据,来生成预测系数,并且将使用不同质量的教师数据或学习者数据发现的多种类型的预测系数嵌入到已嵌入的数据中,作为多种类型改善信息。
27.根据权利要求24所述的数据处理设备,其中至少将预测系数和执行线性插入的信息嵌入到已嵌入的数据中,作为多种类型的改善信息。
28.根据权利要求24所述的数据处理设备,其中将使用不同结构的预测抽头或类别抽头而发现的多种类型的预测系数嵌入已嵌入的数据中,作为多种类型的改善信息。
29.根据权利要求24所述的数据处理设备,其中将通过不同方法执行分类发现的多种类型的预测系数嵌入已嵌入的数据中,作为多种类型的改善信息。
30.根据权利要求24所述的数据处理设备,还包括改善信息选择装置,用于从多种类型的改善信息中选择用来改善数据质量的改善信息。
31.根据权利要求18所述的数据处理设备,其中提取装置使用数据所拥有的能量偏差,从已嵌入数据中提取改善信息。
32.根据权利要求18所述的数据处理设备,其中提取装置通过执行逆频谱扩展,从已嵌入的数据中提取改善信息。
33.根据权利要求18所述的数据处理设备,其中提取装置提取已嵌入数据的一个或多个比特,以作为改善信息。
34.根据权利要求18所述的数据处理设备,其中数据是图像信息,并且改善信息是改善图像数据的图像质量的信息。
35.一种数据处理方法,用于处理将改善数据质量的多种类型的改善信息嵌入到数据中而获得的已嵌入数据,该方法包括:
提取步骤,从已嵌入数据中提取多种类型的改善信息,和
改善步骤,根据用户请求使用多种类型的改善信息之一改善数据质量。
36.一种数据处理设备,包括:
改善信息生成装置,用于生成多种类型的改善信息以改善数据质量;
改善信息选择装置,用于从多种类型的改善信息中选择将与该数据一起被发送的改善信息;和
发送装置,用于发送数据以及由改善信息选择装置选择的一种改善信息。
37.根据权利要求36所述的数据处理设备,其中改善信息选择装置响应来自接收数据的接收装置的请求,选择改善信息。
38.根据权利要求37所述的数据处理设备,还包括记帐装置,用于与改善信息选择装置所选择的改善信息相一致地执行记帐。
39.根据权利要求36所述的数据处理设备,其中改善信息生成装置至少生成作为改善信息的一个预测系数,用来预测通过改善数据的质量而获得的质量已改善数据的一个预测值。
40.根据权利要求39所述的数据处理设备,其中改善信息生成装置生成用于每个预定类别的预测系数。
41.根据权利要求40所述的数据处理设备,其中改善信息生成装置可以包括:
类别抽头构建装置,通过使用将成为学习者的学习者数据构建类别抽头,以用来发现将成为教师的教师数据的目标教师数据的类别;
分类装置,根据类别抽头执行分类,以发现目标教师数据的类别;
预测抽头构建装置,通过使用学习者数据,构建与用于预测目标教师数据的预测系数一起使用的预测抽头;和
预测系数操作装置,通过使用教师数据和预测抽头发现用于每种类别的预测系数。
42.根据权利要求41所述的数据处理设备,其中改善信息生成装置生成用于不同数量类别的预测系数,以作为多种类型的改善信息。
43.根据权利要求41所述的数据处理设备,其中改善信息生成装置生成通过使用不同质量的教师数据和学习者数据发现的多种类型的预测系数,作为多种类型的改善信息。
44.根据权利要求41所述的数据处理设备,其中改善信息生成装置至少生成预测系数和执行线性插入的信息,以作为多种类型的改善信息。
45.根据权利要求41所述的数据处理设备,其中改善信息生成装置生成通过使用不同结构的预测抽头或类别抽头发现的多种类型的预测系数,以作为多种类型改善信息。
46.根据权利要求41所述的数据处理设备,其中改善信息生成装置生成用不同方法执行分类所发现的多种类型的预测系数,以作为多种类型的改善信息。
47.根据权利要求36所述的数据处理设备,其中发送装置把改善信息嵌入到数据中,以便可以通过使用数据所拥有的能量偏差,恢复数据和改善信息,并且发送数据以及一种或多种类型的改善信息。
48.根据权利要求36所述的数据处理设备,其中发送装置通过执行频谱扩展将改善信息嵌入到数据中,并且发送数据以及一种或多种类型的改善信息。
49.根据权利要求36所述的数据处理设备,其中发送装置通过将数据的一个或多个比特切换为改善信息,来把改善信息嵌入数据中,并发送该数据以及一种或多种类型的改善信息。
50.根据权利要求36所述的数据处理设备,其中发送装置发送数据和所有的多种类型的改善信息。
51.根据权利要求36所述的数据处理设备,其中数据是图像数据,并且改善信息是改善图像数据的图像质量的信息。
52.一种数据处理方法,包括:
改善信息生成步骤,生成用于改善数据质量的多种类型的改善信息;
改善信息选择步骤,从多种类型的改善信息中选择将与该数据一起被发送的改善信息;和
发送步骤,发送数据以及在改善信息选择步骤选择的一种改善信息。
53.一种数据处理设备,接收和处理数据以及用于改善数据质量的多种类型的改善信息,该设备包括:
接收装置,用于接收数据以及多种类型的改善信息;
改善装置,使用多种类型的改善信息来改善数据的质量;和
记帐装置,根据用来改善数据质量的改善信息执行记帐。
54.根据权利要求53所述的数据处理设备,其中接收装置接收多种类型的改善信息,该数据处理设备还可以包括改善信息选择装置,用于从多种类型的改善信息中选择改善数据质量的改善信息。
55.根据权利要求54所述的数据处理设备,其中改善信息选择装置响应用户的请求,选择改善信息。
56.根据权利要求53所述的数据处理设备,还包括请求装置,请求一个发送装置发送数据以及一种或多种类型的改善信息,该改善信息用来改善数据的质量;
其中接收装置响应请求装置的请求,接收从发送装置发送的改善信息。
57.根据权利要求53所述的数据处理设备,其中改善信息是一个预测系数,用来预测通过改善数据质量获得的质量已改善数据的预测值,并且改善装置通过使用数据和预测系数发现质量已改善数据的预测值。
58.根据权利要求57所述的数据处理设备,其中改善信息是为每个预定类别发现的预测系数,并且改善装置通过使用数据和用于每个类别的预测系数发现质量已改善数据的预测值。
59.根据权利要求58所述的数据处理设备,其中改善装置包括:
类别抽头构建装置,使用数据来构建用来发现目标质量已改善数据的类别的类别抽头,该目标质量已改善数据是以质量已改善数据为目标的;
分类装置,用来根据类别抽头发现目标质量已改善数据的类别执行分类;
预测抽头构建装置,使用数据来构建与预测目标质量已改善数据的预测系数一起使用的预测抽头;和
预测装置,使用目标质量已改善数据的类别的预测系数和预测抽头,来发现目标质量已改善数据的预测值。
60.根据权利要求59所述的数据处理设备,其中接收装置接收多种类型的改善信息。
61.根据权利要求60所述的数据处理设备,其中接收装置接收用于不同数量的类别的预测系数,以作为多种类型的改善信息。
62.根据权利要求60所述的数据处理设备,其中预测系数通过使用将成为学习者的学习者数据和将成为教师的教师数据来生成,并且接收装置接收通过使用不同质量的教师数据或学习者数据所发现的多种类型的预测系数,以作为多种类型的改善信息。
63.根据权利要求60所述的数据处理设备,其中接收装置至少接收预测系数和执行线性插入的信息,以作为多种类型的改善信息。
64.根据权利要求60所述的数据处理设备,其中接收装置接收使用不同结构的预测抽头和类别抽头所发现的多种类型的预测系数,以作为多种类型的改善信息。
65.根据权利要求60所述的数据处理设备,其中接收装置接收通过用不同方法执行分类所发现的多种类型的预测系数,以作为多种类型的改善信息。
66.根据权利要求53所述的数据处理设备,其中接收装置接收通过把一种或多种类型的改善信息嵌入到数据中而获得的已嵌入数据,
数据处理设备还包括提取装置,用于从已嵌入数据中提取改善信息。
67.根据权利要求66所述的数据处理设备,其中提取装置通过使用该数据所拥有的能量偏差,从已嵌入数据中提取改善信息。
68.根据权利要求66所述的数据处理设备,其中提取装置通过执行逆频谱扩展,从已嵌入数据中提取改善信息。
69.根据权利要求66所述的数据处理设备,其中提取装置提取已嵌入数据的一个或多个比特,以作为改善信息。
70.根据权利要求53所述的数据处理设备,其中数据是图像数据,并且改善信息是改善图像数据的图像质量的信息。
71.一种数据处理方法,接收和处理数据以及用于改善数据质量的多种类型的改善信息,该方法包括:
接收步骤,用于接收数据以及多种类型改善信息;
改善步骤,使用多种类型改善信息之一来改善数据的质量;和
记帐步骤,根据用于改善数据质量的改善信息来进行记帐。
CNB018009069A 2000-02-29 2001-02-28 数据处理设备和方法 Expired - Fee Related CN100477779C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP53098/00 2000-02-29
JP2000053098 2000-02-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN200810144569XA Division CN101370131B (zh) 2000-02-29 2001-02-28 数据处理设备和方法

Publications (2)

Publication Number Publication Date
CN1366769A CN1366769A (zh) 2002-08-28
CN100477779C true CN100477779C (zh) 2009-04-08

Family

ID=18574523

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB018009069A Expired - Fee Related CN100477779C (zh) 2000-02-29 2001-02-28 数据处理设备和方法
CN200810144569XA Expired - Fee Related CN101370131B (zh) 2000-02-29 2001-02-28 数据处理设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200810144569XA Expired - Fee Related CN101370131B (zh) 2000-02-29 2001-02-28 数据处理设备和方法

Country Status (6)

Country Link
US (2) US7679678B2 (zh)
EP (2) EP1176824B1 (zh)
KR (1) KR20010113047A (zh)
CN (2) CN100477779C (zh)
DE (1) DE60141734D1 (zh)
WO (1) WO2001065847A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265291B2 (ja) * 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
TW200608342A (en) * 2004-08-27 2006-03-01 Benq Corp Display apparatus abstract
KR100738930B1 (ko) * 2006-01-06 2007-07-12 에스케이 텔레콤주식회사 이동통신망과 위성 디지털 멀티미디어 방송망의 다중전송을 이용한 위성 디지털 멀티미디어 방송의 화질 개선방법 및 시스템, 그를 위한 장치
US8160354B2 (en) * 2008-12-26 2012-04-17 Five Apes, Inc. Multi-stage image pattern recognizer
US8229209B2 (en) * 2008-12-26 2012-07-24 Five Apes, Inc. Neural network based pattern recognizer
US8290250B2 (en) * 2008-12-26 2012-10-16 Five Apes, Inc. Method and apparatus for creating a pattern recognizer
WO2010136547A1 (en) * 2009-05-27 2010-12-02 Canon Kabushiki Kaisha Method and device for processing a digital signal
US8977099B2 (en) 2010-12-16 2015-03-10 Panasonic Intellectual Property Management Co., Ltd. Production apparatus and content distribution system
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
WO2013061337A2 (en) * 2011-08-29 2013-05-02 Tata Consultancy Services Limited Method and system for embedding metadata in multiplexed analog videos broadcasted through digital broadcasting medium
US9986202B2 (en) * 2016-03-28 2018-05-29 Microsoft Technology Licensing, Llc Spectrum pre-shaping in video

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04292077A (ja) * 1991-03-20 1992-10-16 Fujitsu Ltd 画像デ−タ出力制御方法
US5243423A (en) * 1991-12-20 1993-09-07 A. C. Nielsen Company Spread spectrum digital data transmission over TV video
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JP3671437B2 (ja) * 1994-08-04 2005-07-13 ソニー株式会社 ディジタル画像信号の処理装置および処理方法
JPH08256085A (ja) * 1995-03-17 1996-10-01 Sony Corp スペクトラム拡散通信システム及びその送信機と受信機
US5621660A (en) 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US5946044A (en) * 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
CA2179973C (en) * 1995-06-30 2002-03-05 Takayuki Nagashima Image transmission apparatus, image transmission system, and communication apparatus
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6272535B1 (en) * 1996-01-31 2001-08-07 Canon Kabushiki Kaisha System for enabling access to a body of information based on a credit value, and system for allocating fees
EP0788282B1 (en) * 1996-02-05 2010-01-20 Panasonic Corporation Quantization method
JPH09231276A (ja) * 1996-02-27 1997-09-05 Canon Inc 課金装置、通信装置及び通信システム
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6160845A (en) * 1996-12-26 2000-12-12 Sony Corporation Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium
IL125866A (en) * 1996-12-26 2003-01-12 Sony Corp Method and device for compressing an original picture signal to a compressed picture signal and for decoding a compressed picture signal to an original picture signal
JP3844031B2 (ja) * 1996-12-26 2006-11-08 ソニー株式会社 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
US6211919B1 (en) * 1997-03-28 2001-04-03 Tektronix, Inc. Transparent embedment of data in a video signal
US6695259B1 (en) * 1997-05-21 2004-02-24 Hitachi, Ltd. Communication system, communication receiving device and communication terminal in the system
US6463178B1 (en) * 1997-06-16 2002-10-08 Sony Corporation Image processing device and method, and transmission medium, transmission method and image format
JPH1198487A (ja) * 1997-09-24 1999-04-09 Mitsubishi Electric Corp 画像符号化装置及び画像復号化装置
US7154560B1 (en) * 1997-10-27 2006-12-26 Shih-Fu Chang Watermarking of digital image data
JP3915855B2 (ja) * 1997-12-19 2007-05-16 ソニー株式会社 画像符号化装置および画像符号化方法、並びに学習装置および学習方法
JP4093621B2 (ja) * 1997-12-25 2008-06-04 ソニー株式会社 画像変換装置および画像変換方法、並びに学習装置および学習方法
US6389055B1 (en) * 1998-03-30 2002-05-14 Lucent Technologies, Inc. Integrating digital data with perceptible signals
JP3991249B2 (ja) 1998-07-15 2007-10-17 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法、情報処理装置および情報処理方法、並びに記録媒体
US6252631B1 (en) * 1998-09-14 2001-06-26 Advancedinteractive, Inc. Apparatus and method for encoding high quality digital data in video
KR100423455B1 (ko) * 2001-10-24 2004-03-18 삼성전자주식회사 영상신호처리장치 및 그 방법

Also Published As

Publication number Publication date
CN101370131B (zh) 2011-03-02
US7679678B2 (en) 2010-03-16
EP1755344A2 (en) 2007-02-21
EP1755344A3 (en) 2010-12-22
US20080240599A1 (en) 2008-10-02
EP1176824B1 (en) 2010-04-07
KR20010113047A (ko) 2001-12-24
EP1176824A1 (en) 2002-01-30
WO2001065847A1 (en) 2001-09-07
DE60141734D1 (de) 2010-05-20
CN101370131A (zh) 2009-02-18
US20030103668A1 (en) 2003-06-05
CN1366769A (zh) 2002-08-28
EP1176824A4 (en) 2005-06-22

Similar Documents

Publication Publication Date Title
CN102124489B (zh) 图像的签名推导
CN100366090C (zh) 发送、接收及发送和接收的设备及方法
EP1197902A2 (en) Information processing apparatus, system and method, and recording medium
CN100477779C (zh) 数据处理设备和方法
CN101877060B (zh) 信息处理设备和方法
US7613264B2 (en) Flexible sampling-rate encoder
CN102214304A (zh) 信息处理设备、信息处理方法、和程序
US20080263667A1 (en) Communication apparatus, communication method, and recording medium used therewith
CN100521748C (zh) 信号处理设备、收纳架和连接设备
CN102034113A (zh) 基于l1差距量度来测量局部图像相似度的方法
CN101465943A (zh) 图像处理设备、图像处理方法、程序和学习设备
US6571142B1 (en) Data processing apparatus, data processing method, and medium
CN1925597B (zh) 图像处理设备、图像处理方法
CN101681447B (zh) 学习设备、学习方法、信息修改设备、信息修改方法和程序
US7054388B2 (en) Signal detection method and apparatus, relevant program, and storage medium storing the program
CN100361527C (zh) 数据产生设备和方法、信号处理设备
TW577201B (en) Data processing device, data processing method, recording medium and program
CN1307840C (zh) 通过分组检测影片图像的方法和设备
JP4505701B2 (ja) 情報処理装置および情報処理方法、プログラム記録媒体
CN100384249C (zh) 信息信号处理设备和处理方法、系数生成设备和生成方法及查找表生成设备和生成方法
CN101340533B (zh) 收纳架、收纳架系统和连接设备
CN101106708B (zh) 发送设备及方法
JP4447671B2 (ja) 画像信号の変換装置および変換方法、並びにそれに使用されるニューラルネットワークの結合係数の生成装置および生成方法

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090408

Termination date: 20140228