CN1533551A - 信号处理设备 - Google Patents

信号处理设备 Download PDF

Info

Publication number
CN1533551A
CN1533551A CNA028144155A CN02814415A CN1533551A CN 1533551 A CN1533551 A CN 1533551A CN A028144155 A CNA028144155 A CN A028144155A CN 02814415 A CN02814415 A CN 02814415A CN 1533551 A CN1533551 A CN 1533551A
Authority
CN
China
Prior art keywords
processing
signal
data
input signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028144155A
Other languages
English (en)
Other versions
CN100530230C (zh
Inventor
近藤哲二郎
־
吉川和志
小久保哲志
����һ
白木寿一
尾花通雅
笠间英雄
金丸昌宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1533551A publication Critical patent/CN1533551A/zh
Application granted granted Critical
Publication of CN100530230C publication Critical patent/CN100530230C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/57Arithmetic logic units [ALU], i.e. arrangements or devices for performing two or more of the operations covered by groups G06F7/483 – G06F7/556 or for performing logical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/80Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

一种在用户知道前能够使用户学习用户所作的操作和进行最适合用户的处理的信号处理设备。在学习单元(22)上,监视根据用户操作供应的操作信号,于是做出这些操作信号是否可以用于学习的判断。在操作信号是面向学习的学习操作信号时,学习单元(22)根据面向学习的操作信号,学习用于纠正输入信号的纠正规则。纠正单元(21)纠正输入信号,其根据通过学习获得的纠正规则纠正,并且输出纠正后信号作为输出信号。本发明应用于噪声消除电路。

Description

信号处理设备
技术领域
本发明涉及信号处理设备,尤其涉及例如通过用户所作的操作改变处理的内容或处理的结构、以便进行最适合用户的处理的信号处理设备。
背景技术
举例来说,对于传统NR(噪声降低)电路,在用户操作其中的调节旋钮和将其放置在某个位置的情况下,进行与旋钮的位置相对应的噪声消除处理。
现在,输入到NR电路的信号的S/N(信噪比)和频率特征等未必总是不变的,而是,这些特征发生改变是习以为常的。在输入到NR电路的信号的S/N和频率特征等发生改变的情况下,在与用户放置旋钮的位置相对应的噪声消除处理中,未必对输入到NR电路的信号进行适当处理,因此,用户需要频繁操作旋钮,以便为他/她自己进行适当的噪声消除处理,这是很麻烦的。
发明内容
本发明就是在考虑了这样的情况之后做出的,因此,本发明的目的是通过用户所作的操作改变处理的内容或处理的结构,以便进行最适合用户的处理。
基于本发明的第1信号处理设备包括:信号处理装置,用于对输入信号进行信号处理;呈现装置,用于呈现所述信号处理装置的信号处理结果和所述信号处理装置的内部信息;其中,所述信号处理装置的处理的结构随根据用户操作供应的操作信号而改变。
所述信号处理装置可以包括输出信号生成装置,用于通过线性组合所述输入信号和预定预测系数生成输出信号;所述呈现装置把所述预测系数呈现成所述信号处理装置的内部信息;所述信号处理装置的处理的结构可通过随所述操作信号而改变的所述预测系数来改变。
所述信号处理装置还可以包括:教师数据生成装置,用于从预定学习数据中生成教师数据;学生数据生成装置,用于从所述学习数据中生成学生数据;和学习装置,用于学习通过线性组合所述学生数据和所述预测系数获得的所述教师数据的预测值以及利用教师数据使误差达到最小的所述预测系数;所述输出信号生成装置可利用所述学习装置通过学习获得的所述预测系数,生成所述输出信号。
所述学习装置可通过最小N次方误差学习所述预测系数,该最小N次方误差统计地使作为所述误差的N次方的N次方误差达到最小;所述信号处理装置的处理的结构可通过随所述操作信号而改变的所述误差的N次方来改变。
所述信号处理装置还可以包括存储装置,用于存储通过预定学习事先获得的预测系数。
所述存储装置可以存储数组预测系数。
所述预测系数可以通过进行学习而获得,以使通过线性组合用作学习的学生的学生数据和预测系数而获得的、用作学习的教师的教师数据的预测值与教师数据之间的误差达到最小;并且存储在所述存储装置中的所述数组预测系数可包含:利用统计地使所述误差的N次方的N次方误差达到最小的最小N次方误差法、通过学习而获得的一组预测系数,以及利用统计地使不同于N的N次方误差达到最小的最小N次方误差法、通过学习而获得的一组预测系数。
基于本发明的第1信号处理方法包括:信号处理步骤,用于对输入信号进行信号处理;和呈现步骤,用于呈现在所述信号处理步骤中处理的信号处理结果和在所述信号处理步骤中处理的内部信息;其中,所述信号处理步骤的处理的结构随根据用户操作供应的操作信号而改变。
基于本发明的记录媒体的第1程序包括:信号处理控制步骤,用于控制对输入信号的信号处理;和呈现控制步骤,用于控制在所述信号处理控制步骤中处理的信号处理结果和在所述信号处理控制步骤中处理的内部信息的呈现;其中,所述信号处理控制步骤的处理的结构随根据用户操作供应的操作信号而改变。
基于本发明的第1程序使计算机执行:信号处理控制步骤,用于控制对输入信号的信号处理;和呈现控制步骤,用于控制在所述信号处理控制步骤中处理的信号处理结果和在所述信号处理控制步骤中处理的内部信息的呈现;其中,所述信号处理控制步骤的处理的结构随根据用户操作供应的操作信号而改变。
基于本发明的第2信号处理设备包括:特征检测装置,用于从输入信号中检测特征;处理判定装置,用于根据所述特征检测装置检测的特征,判定与所述输入信号有关的处理的内容;处理执行装置,用于按照所述处理判定装置判定的所述处理内容,执行对所述输入信号的处理;和呈现装置,用于呈现所述特征检测装置、所述处理判定装置和所述处理执行装置的内部信息的至少一个;其中,所述特征检测装置、所述处理判定装置和所述处理执行装置的至少一个的处理内容随根据用户操作供应的操作信号而改变。
所述特征检测装置的处理的内容可以随操作信号而改变。
所述操作信号可以是在数种类型的特征当中、指定预定数量类型的特征的信号;并且所述特征检测装置可改变其处理的内容,以便检测所述预定数量类型的特征。
所述特征检测装置可以从所述输入信号中检测所述预定数量类型的特征;并且所述处理判定装置可以根据所述特征检测装置从所述输入信号中检测的所述预定数量类型的特征,判定在所述处理执行装置上对所述输入信号的处理的内容。
所述操作信号可以是指定输入信号是第1或第2处理对象的哪一个的信号;和所述呈现装置可以呈现作为所述内部信息、用作所述第1和第2处理对象的所述输入信号的特征的分布。
在对于所述呈现装置所呈现的所述分布、存在指定所述输入信号是第1或第2处理对象的哪一个的所述操作信号的输入的情况下,对所述输入信号进行的处理的内容可随操作信号而改变。
所述输入信号可以是图像信号;所述处理判定装置可以根据所述特征检测装置从所述输入信号中检测的所述预定数量类型的特征,判定是否像与所述输入信号有关的所述处理内容那样、没有改变地输出所述输入信号;而且所述处理执行装置可以通过按照所述处理判定装置所作的判定、有选择地输出所述输入信号,来检测作为所述输入信号的图像信号内的telop。
所述处理判定装置的处理内容可以随操作信号而改变。
所述处理判定装置可以包括存储装置,用于存储指示所述特征和与具有所述特征的所述输入信号有关的所述处理内容之间的关联关系的表格;并且所述处理判定装置可以判定在所述表格上与所述特征检测装置检测的所述输入信号的特征关联的所述处理内容,作为对所述输入信号的处理内容;并且所述呈现装置可呈现作为所述处理判定装置的内部信息的所述表格。
所述处理判定装置通过根据操作信号改变表格中的处理内容,可以改变自身的处理内容。
输出第1值的输出信号的处理,和输出第2值的输出信号的处理,像与所述输入信号有关的处理内容那样,可存在于所述表格之中;并且所述处理执行装置可按照所述处理判定装置的判定,把所述输入信号二进制化成所述第1和第2值。
所述处理执行装置的处理内容可以随操作信号而改变。
所述处理执行装置通过线性组合输入信号和预定预测系数,可以生成输出信号;并且通过根据操作信号改变预测系数,可以改变其处理的内容。
与所述输入信号线性组合的所述预测系数可以这样改变:使其和是1。
在与所述输入信号线性组合的一系列预测系数中除了随所述操作信号而改变的预测系数之外的预测系数当中,与随所述操作信号而改变的预测系数接近的那些预测系数可以在与随所述操作信号而改变的预测系数相同的方向改变,而远离随所述操作信号而改变的预测系数的那些预测系数可以在与随所述操作信号而改变的预测系数相反的方向改变。
在与所述输入信号线性组合的一系列预测系数中除了随所述操作信号而改变的预测系数之外的预测系数当中,含有其极性与随所述操作信号而改变的预测系数相同的极值的那些预测系数、可以在与随所述操作信号而改变的预测系数相同的方向改变,而含有其极性与随所述操作信号而改变的预测系数不同的极值的那些预测系数、可以在与随所述操作信号而改变的预测系数相反的方向改变。
基于本发明的第2信号处理方法包括:特征检测步骤,用于从输入信号中检测特征;处理判定步骤,用于根据在所述特征检测步骤中检测的特征,判定与所述输入信号有关的处理的内容;处理执行步骤,用于按照在所述处理判定步骤中判定的所述处理内容,执行与所述输入信号有关的处理;和呈现步骤,用于呈现在所述特征检测步骤中的处理、在所述处理判定步骤中的处理和在所述处理执行步骤中的处理的内部信息的至少一个;其中,在所述特征检测步骤中的处理、在所述处理判定步骤中的处理和在所述处理执行步骤中的处理的至少一个的处理内容,随根据用户操作供应的操作信号而改变。
基于本发明的第2记录媒体的程序包括:特征检测控制步骤,用于控制从输入信号的特征检测;处理判定控制步骤,用于控制根据在所述特征检测控制步骤中的处理检测的特征,对与所述输入信号有关的处理的内容的判定;处理执行控制步骤,用于控制按照在所述处理判定控制步骤中的处理判定的所述处理内容,对所述输入信号的处理的执行;和呈现控制步骤,用于控制在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的内部信息的至少一个的呈现;其中,在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的至少一个的处理内容,随根据用户操作供应的操作信号而改变。
基于本发明的第2程序使计算机执行:特征检测控制步骤,用于控制从输入信号的特征检测;处理判定控制步骤,用于控制根据在所述特征检测控制步骤中的处理检测的特征,对与所述输入信号有关的处理的内容的判定;处理执行控制步骤,用于控制按照在所述处理判定控制步骤中的处理判定的所述处理内容,对所述输入信号的处理的执行;和呈现控制步骤,用于控制在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的内部信息的至少一个的呈现;其中,在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的至少一个的处理内容,随根据用户操作供应的操作信号而改变。
基于本发明的第3信号处理设备包括:输出值生成装置,用于通过线性组合输入信号和事先存储的数个系数,生成输出值;和呈现装置,用于呈现所述输出值和所述数个系数;其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
与所述输入信号线性组合的所述系数可以是这样改变的,使其和是1。
在所述数个系数之一随所述操作信号而改变的情况下,在一系列的所述数个系数中除了随所述操作信号而改变的系数之外的系数当中,与随所述操作信号而改变的系数接近的那些系数、可以在与随所述操作信号而改变的系数相同的方向改变,而远离随所述操作信号而改变的系数的那些系数、可以在与随所述操作信号而改变的系数相反的方向改变。
在所述数个系数之一随所述操作信号而改变的情况下,在一系列的所述数个系数中除了随所述操作信号而改变的系数之外的系数当中,含有其极性与随所述操作信号而改变的系数相同的极值的那些系数、可以在与随所述操作信号而改变的系数相同的方向改变,而含有其极性与随所述操作信号而改变的系数不同的极值的那些系数、可以在与随所述操作信号而改变的系数相反的方向改变。
所述数个系数可以通过进行学习获得,在学习中使通过线性组合用作学习的学生的学生数据和所述数个系数获得的、用作学习的教师的教师数据的预测值与其教师数据之间的误差达到最小。
基于本发明的第3信号处理方法包括:输出值生成步骤,用于通过线性组合输入信号和事先存储的数个系数,生成输出值;和呈现步骤,用于呈现所述输出值和所述数个系数;其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
基于本发明的第3记录媒体的程序包括:输出值生成控制步骤,用于控制通过线性组合输入信号和事先存储的数个系数而生成输出值;和呈现控制步骤,用于控制所述输出值和所述数个系数的呈现;其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
基于本发明的第3程序使计算机执行:输出值生成控制步骤,用于控制通过线性组合输入信号和事先存储的数个系数而生成输出值;和呈现控制步骤,用于控制所述输出值和所述数个系数的呈现;其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
借助于第1发明,使输入信号经受信号处理,使信号处理的结果和内部信息得到呈现,并且信号处理装置的处理的结构随根据用户所作的操作供应的操作信号而改变。
借助于第2发明,从输入信号中检测特征,根据检测的特征判定与输入信号有关的处理的内容,按照据此判定的处理的内容,执行对输入信号的处理,使特征检测、处理判定或处理执行的至少一个的内部信息得到呈现,并且特征检测、处理判定、或处理执行的至少一个的处理的内容随根据用户所作的操作供应的操作信号而改变。
借助于第3发明,通过线性组合输入信号和事先存储的数个系数生成输出值,使输出值和数个系数得到呈现,并且数个系数的一个或多个随根据用户所作的操作供应的操作信号而改变。
附图说明
图1是显示应用本发明的优化设备的图;
图2是显示应用本发明的优化设备的一个实施例的配置例的方块图;
图3是描述利用如图2所示的优化设备进行的优化处理的流程图;
图4是显示利用优化设备的NR电路的一个实施例的配置例子的方块图;
图5A是表示输入信号的波形图;
图5B是表示输入可靠性的波形图;
图6是描述利用NR电路进行的纠正处理的流程图;
图7是描述利用NR电路进行的纠正参数计算处理的流程图;
图8是描述利用NR电路进行的控制数据学习处理的流程图;
图9A到9C是描述控制数据学习处理的图;
图10是显示利用优化设备的NR电路的另一个实施例的配置例的方块图;
图11是显示与参数控制数据相乘的像素的图形;
图12是描述利用NR电路进行的纠正参数计算处理的流程图;
图13是描述利用NR电路进行的控制数据学习处理的流程图;
图14是显示利用优化设备的NR电路的另一个实施例的配置例的方块图;
图15是描述利用如图14所示的优化设备进行的优化处理的流程图;
图16是显示应用本发明的自动驱动设备的一个实施例的配置例子的方块图;
图17是显示如图16所示的优化设备的处理单元的配置例子的方块图;
图18是描述利用如图16所示的优化设备进行的纠正参数计算处理的流程图;
图19是描述利用如图16所示的优化设备进行的控制数据学习处理的流程图;
图20是显示如图16所示的优化设备的处理单元的另一个配置例的方块图;
图21是显示如图16所示的计算单元输出的驱动方向的图;
图22是描述如图16所示的优化设备进行的纠正处理的流程图;
图23是描述如图16所示的优化设备进行的纠正参数学习处理的流程图;
图24是显示应用本发明的自动驱动设备的另一个配置例子的方块图;
图25是描述如图24所示的优化设备进行的纠正参数计算处理的流程图;
图26是描述如图24所示的优化设备进行的纠正参数学习处理的流程图;
图27是显示如图24所示的内部信息生成单元生成的内部信息的一个例子的图;
图28是显示如图24所示的内部信息生成单元生成的内部信息的一个例子的图;
图29是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图30是显示如图29所示的优化设备的学习单元的配置例的方块图;
图31是显示如图29所示的优化设备的映射处理单元的配置例的方块图;
图32是描述真值与预测值之间的误差的图;
图33是描述最小N次方误差法的图;
图34是描述权重αs的图;
图35是描述利用如图29所示的优化设备进行的图像优化处理的流程图;
图36是显示最小N次方标准(norm)和最小平方标准之间的比较的图;
图37是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图38是描述利用如图37所示的优化设备进行的图像优化处理的流程图;
图39是显示如图37所示的内部信息生成单元生成的内部信息的一个例子的图;
图40是显示如图37所示的内部信息生成单元生成的内部信息的一个例子的图;
图41是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图42是显示如图41所示的优化设备的系数转换单元的配置例的方块图;
图43是显示通过学习生成存储在如图41所示的系数存储器中的系数的学习设备的配置例子的方块图;
图44是描述如图43所示的学习设备进行的系数判定处理的流程图;
图45是显示预测抽头的配置的图;
图46是显示与预测抽头的抽头位置相对应的系数值的分布的例子的图;
图47是显示预测抽头的配置的图;
图48是显示与预测抽头的抽头位置相对应的系数值的分布的例子的图;
图49是显示预测抽头的配置的图;
图50是显示弹簧模型的图;
图51是显示平衡模型的图;
图52是描述如图41所示的优化设备进行的图像优化处理的流程图;
图53是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图54是描述如图53所示的优化设备进行的图像优化处理的流程图;
图55是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图56是显示如图55所示的特征检测单元的配置例子的方块图;
图57是显示如图55所示的处理判定单元的配置例子的方块图;
图58是显示如图55所示的处理单元的配置例子的方块图;
图59是描述如图55所示的优化设备进行的telop提取优化处理的流程图;
图60是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图61是描述利用如图60所示的优化设备进行的telop提取优化处理的流程图;
图62是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图63是描述利用如图62所示的优化设备进行的telop提取优化处理的流程图;
图64是描述利用如图62所示的优化设备进行的telop提取优化处理的流程图;
图65是描述利用如图62所示的优化设备进行的telop提取优化处理的流程图;
图66是描述利用如图62所示的优化设备进行的telop提取优化处理的流程图;
图67是描述利用如图62所示的优化设备进行的telop提取优化处理的流程图;
图68是描述利用如图62所示的优化设备进行的telop提取优化处理的流程图;
图69是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图70是显示如图69所示的处理判定单元的配置例子的方块图;
图71是描述利用如图69所示的优化设备进行的telop提取优化处理的流程图图;
图72是描述利用如图69所示的优化设备进行的telop提取优化处理的图;
图73是描述利用如图69所示的优化设备进行的telop提取优化处理的图;
图74是描述利用如图69所示的优化设备进行的telop提取优化处理的图;
图75是描述利用如图69所示的优化设备进行的telop提取优化处理的图;
图76是描述利用如图69所示的优化设备进行的telop提取优化处理的图;
图77是描述利用如图69所示的优化设备进行的telop提取优化处理的图;
图78是描述利用如图69所示的优化设备进行的telop提取优化处理的图;
图79是描述利用如图69所示的优化设备进行的特征切换的图;
图80是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图81是显示如图80所示的特征检测单元的配置例的方块图;
图82是描述利用如图80所示的优化设备进行的telop提取优化处理的流程图;
图83是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图84是显示如图80所示的特征检测单元的配置例的方块图;
图85是描述利用如图84所示的优化设备进行的telop提取优化处理的流程图;
图86是描述利用如图84所示的优化设备的、对特征的变更内容指令屏幕的图;
图87是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图88是描述利用如图87所示的优化设备进行的telop提取优化处理的流程图;
图89是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图90是显示如图89所示的处理判定单元的配置例的方块图;
图91是利用如图84所示的优化设备进行的图像优化处理的流程图;
图92是显示LUT的图;
图93是描述为LUT上的每个特征指定的处理内容的图;
图94是描述为LUT上的每个特征指定的处理内容的图;
图95是描述为LUT上的每个特征指定的处理内容的图;
图96是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的流程图;
图97是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图98是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图99是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图100是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图101是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图102A是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图102B是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图103A是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图103B是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图104A是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图104B是描述利用如图91所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图105是描述利用如图91所示的优化设备进行的图像优化处理中的自动LUT改变处理的流程图;
图106是描述利用如图91所示的优化设备进行的图像优化处理中的自动LUT改变处理的图;
图107是描述利用如图91所示的优化设备进行的图像优化处理中的自动LUT改变处理的图;
图108是描述利用如图91所示的优化设备进行的图像优化处理中的自动LUT改变处理的图;
图109是描述利用如图91所示的优化设备进行的图像优化处理中的自动LUT改变处理的图;
图110是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图111是显示如图110所示的处理判定单元的配置例的方块图;
图112是描述利用如图110所示的优化设备进行的图像优化处理的流程图;
图113是描述利用如图110所示的优化设备进行的图像优化处理中的手动LUT改变处理的流程图;
图114是描述利用如图110所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图115是描述利用如图110所示的优化设备进行的图像优化处理中的手动LUT改变处理的图;
图116是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图117是显示如图116所示的处理单元的配置例的方块图;
图118是用于通过学习而生成存储在如图116所示的系数存储器中的系数组的学习设备的方块图;
图119是显示如图117所示的映射处理单元的配置例的方块图;
图120是描述利用如图116所示的优化设备进行的学习处理的流程图;
图121是描述利用如图116所示的优化设备进行的映射处理的流程图;
图122是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图123是显示如图122所示的处理单元的配置例的方块图;
图124是描述利用如图122所示的优化设备进行的学习处理的流程图;
图125是描述利用如图122所示的优化设备进行的映射处理的流程图;
图126是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图127是显示如图126所示的处理单元的配置例的方块图;
图128是用于通过学习而生成存储在如图127所示的系数存储器中的系数组的学习设备的方块图;
图129是描述利用如图128所示的学习设备进行的系数判定处理的流程图;
图130是描述利用如图126所示的优化设备进行的图像优化处理的流程图;
图131是显示应用本发明的优化设备的另一个实施例的配置例的方块图;
图132是显示如图131所示的处理单元的配置例的方块图;
图133是描述利用如图131所示的优化设备进行的图像优化处理的流程图;和
图134是显示应用本发明的计算机的一个实施例的配置例的方块图。
具体实施方式
图1显示了应用本发明的优化设备的配置例。在执行与输入信号有关的预定处理(信号处理)之后,优化设备输出作为处理结果获得的信号,作为输出信号。用户检查(定性估计)输出信号,并且在输出信号与个人偏爱不匹配的情况下,向优化设备输入与用户的偏爱相对应的操作信号。优化设备根据操作信号改变处理的内容和处理的结构,使输入信号再次经受预定处理,并且输出输出信号。优化设备在与用户操作输入的操作信号相对应,重复改变处理的内容和处理的结构的同时,使输入信号经受最佳处理(最适合用户的处理),从而输出与用户的偏爱更接近的输出信号。
图2显示了如图1所示的优化设备的第1详细配置例。
对于这种优化设备1,无需用户知道,通过学习用户的操作,就可以进行最适合用户的处理。也就是说,对于优化设备,监视与用户的操作相对应而供应的操作信号,并且传递有关这些操作信号是否可以用于学习的判断。在操作信号是可以用于学习的学习操作信号的情况下,根据学习操作信号,学习作为用于纠正输入信号的标准的纠正标准。另一方面,根据通过学习获得的纠正标准,纠正输入信号,并且输出纠正之后的信号,作为输出信号。
优化设备1被配置成包括由纠正单元21和学习单元22组成的处理单元11,除了经受处理的输入信号之外,还把与用户操作相对应的操作信号供应给它们。
操作信号是从操作单元2供应的。也就是说,操作单元2被配置成包括例如旋钮或滑钮、切换器、点击装置等,并且把与用户操作相对应的操作信号供应给构成优化设备1的处理单元11。
除了例如用作纠正输入信号的纠正标准的纠正参数之外,还把例如数字输入信号从学习单元22供应到构成优化设备1的纠正单元21。纠正单元21根据纠正参数纠正输入信号(信号处理),并且输出纠正之后的信号,作为输出信号。
除了将操作信号从操作单元2供应到学习单元22之外,如有必要,还把输入信号或输出信号供应给它。学习单元22监视操作信号,并且判断这些操作信号是否可以用于学习。在操作信号是可以用于学习的学习操作信号的情况下,如有必要,学习单元22根据学习操作信号,利用输入信号或输出信号,学习用于纠正输入信号的纠正参数,并且把这些纠正参数供应给纠正单元21。
请注意,学习单元22内置了学习数据存储器53和学习信息存储器55,其中,学习数据存储器53存储用于学习的学习数据,和学习信息存储器55存储通过学习获得的如后所述的学习信息。
接着,参照如图3所示的流程图,描述如图2所示的优化设备1进行的处理(优化处理)。
首先,在步骤S1中,学习单元22判断是否已经从操作单元2接收到学习操作信号。这里,在操作操作单元2的情况下,通常用户首先进行一般操作,然后在确认根据操作输出的输出信号的同时进行详细操作,然后在获得用户最后认为是最佳的输出信号的那一时刻,停止操作。在获得用户认为是最佳的输出信号的那一时刻与操作单元2的位置相对应的操作信号是学习操作信号,因此,在对操作单元2操作了预定时间量或更长,然后停止操作的情况下,学习单元22把停止那一时刻的操作信号判断为学习操作信号。
在步骤S1中,在做出没有接收到学习操作信号的判断的情况下,即,在用户还没有操作操作单元2,或已经操作了操作单元2,但仍然在寻找例如最佳位置的情况下,跳过步骤S2到步骤S10,流程转到步骤S11,纠正单元21根据已经设置的纠正参数纠正输入信号,输出输出信号作为纠正结果,然后流程返回到步骤S1。
此外,在步骤S1中,在做出已经接收到学习操作信号的判断的情况下,流程转到步骤S2,学习单元22根据学习操作信号,获取用于学习的学习数据,然后流程转到步骤S3。在步骤S3中,学习数据存储器53存储在步骤S2中获得的最新学习数据。
这里,学习数据存储器53具有能够存储数组学习数据的存储容量。此外,学习数据存储器53被安排成在达到这个存储容量的情况下,用下一个学习数据覆盖最早存储值。因此,在学习数据存储器53中存有最新存储的数组学习数据。
在步骤S3中把学习数据存储在学习数据存储器53中之后,流程转到步骤S4,在步骤S4中,学习单元22利用存储在学习数据存储器53中的最新学习数据和存储在学习信息存储器55中的学习信息进行学习,获取纠正参数,然后转到步骤S5。在步骤S5中,学习单元22用在步骤S4中通过学习而中途(part way)获得的新学习信息更新学习信息存储器55的存储内容,然后流程转到步骤S6。
在步骤S6中,学习单元22获取代表在步骤S4中获取的纠正参数的适合性的如上所述的适合度,流程转到步骤S7,并且根据适合度,对在步骤S4中获取的纠正参数是否适合做出判断。
在步骤S7做出纠正参数适合的判断的情况下,跳过步骤S8和S9,然后流程转到步骤S10,并且学习单元22向纠正单元21输出判断为适合的纠正参数,然后流程转到步骤S11。因此,在这种情况下,在步骤S4中通过学习新获得纠正参数之后,在纠正单元21上进行随后的输入信号纠正。
另一方面,在步骤S7中做出纠正参数不适合的判断的情况下,流程转到步骤S8,学习单元22只利用存储在学习数据存储器53中的学习数据的最新学习数据进行学习,获取纠正参数,然后转到步骤S9。在步骤S9中,学习单元22用在步骤S8中通过学习中途获得的新学习信息更新学习信息存储器55的存储内容,然后流程转到步骤S10。在这种情况下,在步骤S10中,学习单元22向纠正单元21输出在步骤S8中只从最新学习数据获得的纠正参数,然后流程转到步骤S11。因此,在这种情况下,在步骤S8中通过学习新获得纠正参数之后,在纠正单元21上进行随后的输入信号纠正。
接着,图4显示了如图2所示的处理单元11应用于从例如图像信号和音频信号中消除噪声的NR电路的情况的详细配置例。
像从学习单元22的如后所述的选择单元41供应的纠正参数那样,权重存储器31存储权重(系数)W(例如,大于等于0但小于等于1的值)。权重存储器32存储从计算单元33供应的权重1-W。
计算单元33供应相减值1-W作为权重,在相减值1-W中,从供应给权重存储器32的1.0中减去从学习单元22的选择单元41供应的权重W。计算单元34将输入信号和存储在权重存储器32中的权重1-W相乘,并且把相乘值供应给计算单元36。计算单元35将存储在权重存储器31中的权重W和存储(锁存)在锁存电路37上的输出信号相乘,并且把其相乘值供应给计算单元36。计算单元36相加计算单元34和35的输出,并且输出其相加值,作为输出信号。
锁存电路37对计算单元36输出的输出信号加以锁存,并且把这些输出信号供应给计算单元35。
对于如图4所示的实施例,处理单元11的纠正单元21被配置成包括上面的权重存储器31和32、计算单元33、34、35和36以及锁存电路37。
这个选择单元41选择权重纠正单元46输出的权重和操作信号处理单元50输出的权重的一个或另一个,并且将其供应给纠正单元21,作为纠正参数。
输入可靠度计算单元42被安排成把输入信号供应给它,并且获取代表其输入信号的可靠性的输入可靠度,该输入信号输出到输出可靠度计算单元43和权重计算单元45。输出可靠度计算单元43根据来自输入可靠度计算单元42的输入可靠度获取代表输出信号的可靠性的输出可靠度,并且将其供应给锁存电路44和权重计算单元45。锁存电路44存储(锁存)来自输出可靠度计算单元43的输出可靠度,并且将其供应给输出可靠度计算单元43和权重计算单元45。
权重计算单元45从来自输入可靠度计算单元42的输入可靠度和来自输出可靠度计算单元43的输出可靠度计算权重,并且将其输出到权重纠正单元46。权重纠正单元46被安排成除了权重之外,还把控制用作纠正参数的权重的参数控制数据从参数控制数据存储器57供应给它,并且权重纠正单元46利用参数控制数据处理(纠正)权重,并将其供应给选择单元41。
操作信号处理单元50被安排成把操作信号从操作单元2(图2)供应给它,以及操作信号处理单元50处理供应给它的操作信号,并且把与其操作信号相对应的权重供应给选择单元41、教师数据生成单元51和学生数据生成单元52。进一步,操作信号处理单元50判断操作信号是否是如上所述的学习操作信号,并且在操作信号是学习操作信号的情况下,把带有那种意思的标志(下文可以称之为学习标志)加入要输出的权重中。
一旦从操作信号处理单元50接收到把学习标志加入其中的权重,教师数据生成单元51生成用作学习的教师的教师数据,并且将其供应给学习数据存储器53。也就是说,教师数据生成单元51向学习数据存储器53供应已经加入了学习标志的权重,作为教师数据。
一旦从操作信号处理单元50接收到把学习标志加入其中的权重,学生数据生成单元52生成用作学习的学生的学生数据,并且将其供应给学习数据存储器53。也就是说,以与如上所述的输入可靠度计算单元42、输出可靠度计算单元43、锁存电路44和权重计算单元45相同的方式配置学生数据生成单元52,以从供应给它的输入信号计算权重,并且向学习数据存储器53供应在接收把学习标志加入其中的权重时从输入信号计算的权重,作为学生数据。
学习数据存储器53存储从教师数据生成单元51供应的、用作与学习操作信号相对应的权重的一组教师数据以及从学生数据生成单元52供应的、用作在接收学习操作信号的时候从输入信号计算的权重的学生数据,作为一组学习数据。如上所述,学习数据存储器53能够存储数组学习数据,并且被安排成一旦存储学习数据达到存储容量,通过覆盖最早存储值,存储下一个学习数据。因此,学习数据存储器53基本上总是含有存储在其中的几个最新学习数据组。
参数控制数据计算单元54学习用作存储在学习数据存储器53中的学习数据的教师数据和学生数据,以及如有必要,学习参数控制数据,该参数控制数据供应给判断控制单元56,并且在判断控制单元56的控制下,通过利用存储在学习信息存储器55中的学习信息计算新学习信息,使预定统计误差达到极小。此外,参数控制数据计算单元54用通过学习获得的新学习信息更新学习信息存储器55的存储内容。学习信息存储器55存储来自参数控制数据计算单元54的学习信息。
判断控制单元56通过参考存储在学习数据存储器53中的最新学习数据,判断从参数控制数据计算单元54供应的参数控制数据的适合性。此外,判断控制单元56控制参数控制数据计算单元54,并且把从参数控制数据计算单元54供应的参数控制数据供应给参数控制数据存储器57。参数控制数据存储器57利用从判断控制单元56供应的参数控制数据更新其存储内容,并且将其供应给权重纠正单元46。
对于如图4所示的实施例,处理单元11的学习单元22被配置成包括如上所述的选择单元41到权重纠正单元46以及操作信号处理单元50到参数控制数据存储器57。
对于如上所述配置的用作NR电路的优化设备1的处理单元11,如下消除输入信号中的噪声。
也就是说,例如为了简化描述,考虑通过对其求平均,从而相对如图5A所示的随时间而涨落的噪声叠加在上面的、具有不变真值的输入信号,消除随时间而涨落的噪声,例如,通过对于像噪声度那样、噪声级高的输入信号(即,S/N差的信号),把权重设得小(不多考虑),而对于噪声级低的输入信号(即,S/N好的信号),把权重设得大,就可以有效地消除噪声。
因此,对于如图4所示的NR电路,通过获取例如如图5B所示、作为输入信号的评估值的输入信号与真值的接近度,即,代表输入信号是真值的可靠性的输入可靠度,并且通过进行与输入信号的输入可靠度相对应的加权而对其求平均,就可以有效地消除噪声。
因此,对于如图4所示的NR电路,与输入信号相关地获得利用与其输入可靠度相对应的权重的加权平均,输出它作为输出信号,并且输出信号y(t)可以用下列的表达式来求得,其中,时刻t的输入信号、输出信号和输入可靠度分别用x(t)、y(t)和αx(t)表达。
[表达式1]
y ( t ) = Σ i = 0 t α x ( i ) x ( i ) Σ i = 0 t α x ( i ) · · · ( 1 )
这里,输入可靠度αx(t)越大,提供的权重就越大。
根据表达式(1),可以从下列表达式中获得来自从当前时刻t算起前一个样本的输出信号y(t-1)。
[表达式2]
y ( t - 1 ) = Σ i = 0 t - 1 α x ( i ) x ( i ) Σ i = 0 t - 1 α x ( i ) · · · ( 2 )
此外,关于输出信号y(t),还可以引入代表与真值的接近度的输出可靠度αy(t),即输出信号y(t)是真值的可靠度,作为输出信号y(t)的评估值,并且来自从当前时刻t算起前一个样本的输出信号y(t-1)的输出可靠度αy(t-1)通过下列表达式来定义。
[表达式3]
α y ( t - 1 ) = Σ i = 0 t - 1 α x ( i ) · · · ( 3 )
在这种情况下,根据表达式(1)到(3),输出信号y(t)和其输出可靠度αy(t)可以通过下列表达式来表达。
[表达式4]
= α y ( t - 1 ) y ( t - 1 ) + α x ( t ) x ( t ) α y ( t - 1 ) + α x ( t ) · · · ( 4 )
[表达式5]
αy(t)=αy(t-1)x(t)                                    ...(5)
此外,用于获取时刻t的输出信号y(t)的权重用w(t)表示,并且通过下列表达式来定义。
[表达式6]
w ( t ) = α y ( t - 1 ) α y ( t - 1 ) + α x ( t ) · · · ( 6 )
根据表达式(6),下列表达式成立。
[表达式7]
1 - w ( t ) = α x ( t ) α y ( t - 1 ) + α x ( t ) · · · ( 7 )
利用表达式(6)和(7),表达式(4)中的输出信号y(t)可以用从如下的相乘和相加的加权平均来表示。
[表达式8]
y(t)=w(t)y(t-1)+(1-w(t))x(t)                          ...(8)
注意,用在表达式(8)中的权重w(t)(和1-w(t))可以根据表达式(6)从来自前一个样本的输出信号y(t-1)的输出可靠度αy(t-1)和当前输入信号x(t)的输入可靠度αx(t)获得。此外,表达式(5)中当前输出信号y(t)的输出可靠度αy(t)也可以从来自前一个样本的输出信号y(t-1)的输出可靠度αy(t-1)和当前输入信号x(t)的输入可靠度αx(t)获得。
现在,把各个方差σx(t) 2或σy(t) 2的倒数用作输入信号x(t)的输入可靠度αx(t)或输出信号y(t)的输出可靠度αy(t),即按下列表达式定义输入可靠度αx(t)和输出可靠度αy(t)
[表达式9]
α x ( t ) = 1 σ x ( t ) 2
α y ( t ) = 1 σ y ( t ) 2 · · · ( 9 )
表达式(6)中的权重w(t)和表达式(7)中的权重1-w(t)可以根据下列表达式获得。
[表达式10]
w ( t ) = σ x ( t ) 2 σ y ( t - 1 ) 2 + σ x ( t ) 2 · · · ( 10 )
[表达式11]
1 - w ( t ) = σ y ( t - 1 ) 2 σ y ( t - 1 ) 2 + σ x ( t ) 2 · · · ( 11 )
并且σy(t) 2可以通过下列表达式获得。
[表达式12]
σy(t) 2=w(t)2σy(t-1) 2+(1-w(t))2σx(t) 2            ...(12)
如图4所示的NR电路基本上按照表达式(6)进行用于计算用作权重w(t)的纠正参数的纠正参数计算处理,并且按照表达式(8)利用权重w(t)计算来自前一个样本的输出信号y(t-1)与当前输入信号x(t)之间的加权平均,从而进行有效地消除包含在输入信号x(t)中的噪声的纠正处理。
现在,用户不是必然感觉通过按照表达式(6)获得的权重w(t)、作为输入信号的纠正处理的结果而获得的输出信号是最佳的。因此,如图4所示的NR电路通过学习用户对操作单元2的操作,进行用于获取参数控制数据的控制数据学习处理,参数控制数据用于控制(纠正)用作纠正参数的权重w(t),并且利用通过参数控制数据纠正的权重,进行输入信号的纠正处理。
控制数据学习处理如下进行。
也就是说,与第i时刻用户操作操作单元2提供的学习操作信号相对应的权重wi可以被当作用户认为最适合在提供学习操作信号的时候输入的输入信号的那一个权重,因此,对于控制数据学习处理,获取可以把按照表达式(6)获得的权重w(t)纠正成接近与学习操作信号相对应的权重wi的值(理想地,同一值)的参数控制数据就足够了。
为此,现在让我们考虑把按照表达式(6)获得的权重w(t)取作用作学习的学生的学生数据,和把与学习操作信号相对应的权重wi取作用作学习的教师的教师数据,并且从用作学生数据的权重w(t)中获得用作教师数据的权重wi的预测值wi′,如下列表达式所示那样,该预测值wi′通过由参数控制数据a和b定义的线性表达式预测。
[表达式13]
wi′=awi+b                                         ...(13)
注意,在表达式(13)(与如后所述的表达式(14)和表达式(16)到(21)一起)中,wi代表针对在输入与用作教师数据的与学习操作信号相对应的权重wi的时候输入的输入信号,按照表达式(6)获得的用作学生数据的权重w(t)。
根据表达式(13),用作教师数据的wi和其预测值wi′之间的误差(预测误差)ei像下列表达式所示那样表示。
[表达式14]
ei=wi-wi
  =wi-(awi+b)                                    ...(14)
现在,让我们考虑利用最小二乘法(也称为最小平方误差法),获取使像下列表达式所表示的那样,表达式(14)中的预测误差ei的平方(2次方)误差之和达到极小的参数控制数据a和b。
[表达式15]
Σ i = 1 N e i 2 · · · ( 15 )
请注意,在表达式(15)(与如后所述的表达式(16)到(21)一起)中,N代表教师数据和学生数据的组数。
首先,求表达式(15)中的平方误差之和关于每个参数控制数据a和b的偏导数,得到下列表达式。
[表达式16]
∂ Σ i = 1 N e i 2 ∂ a = - 2 Σ i = 1 N w i ( W i - ( a w i + b ) ) · · · ( 16 )
[表达式17]
∂ Σ i = 1 N e i 2 ∂ b = - 2 Σ i = 1 N ( W i - ( a w i + b ) ) · · · ( 17 )
由于通过使表达式(16)和(17)中的右侧变成0的a和b可以获得表达式(15)中的平方误差之和的最小值(极小值),因此,分别把表达式(16)和(17)中的右侧设为0,从表达式(16)中得出表达式(18)和从表达式(17)中得出表达式(19)。
[表达式18]
N Σ i = 1 N w i W i = Nb Σ i = 1 N w i + Na Σ i = 1 N w i 2 · · · ( 18 )
[表达式19]
Nb = Σ i = 1 N w i - a Σ i = 1 N w i · · · ( 19 )
把表达式(19)代入表达式(18)中,使参数控制数据a可以从下列表达式中获得。
[表达式20]
a = N Σ i = 1 N w i W i - Σ i = 1 N w i Σ i = 1 N W i N Σ i = 1 N w i 2 - ( Σ i = 1 N w i ) 2 · · · ( 20 )
此外,根据表达式(19)和(20),可以从下列表达式中获得参数控制数据b。
[表达式21]
b = Σ i = 1 N W i - a Σ i = 1 N w i N · · · ( 21 )
如上所述,为了获取参数控制数据a和b,利用如图4所示的NR电路进行控制数据学习处理。
接着,参照如图6到8所示的流程图,描述如图4所示的NR电路进行的纠正处理、纠正参数计算处理和控制数据学习处理。
首先,参照如图6所示的流程图描述纠正处理。
一旦把用作纠正参数的权重w(t)从学习单元22的选择单元41供应到纠正单元21,纠正单元21的权重存储器31就以覆盖的形式存储权重w(t)。并且纠正单元21的计算单元33从1.0中减去权重w(t),获得权重1-w(t),将其供应给权重存储器32,并且以覆盖的形式存储它。
然后一旦供应输入信号x(t),在步骤S21中,计算单元34计算输入信号x(t)和存储在权重存储器32中的权重1-w(t)的乘积,并且将其供应给计算单元36。并且在步骤S21中,计算单元35计算存储在权重存储器31中的权重w(t)和锁存电路37锁存的来自前一个样本的输出信号y(t-1)的乘积,并且将其供应给计算单元36。
然后流程转到步骤S22,在步骤S22中,计算单元36将输入信号x(t)和权重1-w(t)的乘积与权重w(t)和输出信号y(t-1)的乘积相加,从而获得作为输出信号y(t)输出的、输入信号x(t)和输出信号y(t-1)的加权和值(1-w(t))x(t)+w(t)y(t-1)。把这个输出信号y(t)也供应给锁存电路37,锁存电路37以覆盖的形式存储输出信号y(t)。随后,流程返回到步骤S21,等待要供应的下一个样本的输入信号,然后重复相同的处理。
接着,参照如图7所示的流程图描述纠正参数计算处理。
对于纠正参数计算处理,首先在步骤S31中,输入可靠度计算单元42获取例如基于输入信号的方差的输入可靠度αx(t)
也就是说,输入可靠度计算单元42内置了除了当前输入信号的样本x(t)之外,能够锁存几个旧样本的未示出的FIFO(先进先出)存储器,以及利用当前输入信号的样本x(t)和几个旧样本计算其方差,和获取其倒数作为输入可靠度αx(t),并且将其供应给输出可靠度计算单元43和权重计算单元45。请注意,存在着在开始输入输入信号之后马上计算方差所需的输入信号样本的数量不够的情况,但是,在这样的情况下,输出例如默认值作为输入可靠度αx(t)
随后,流程转到步骤S32,权重计算单元45利用来自输入可靠度计算单元42的输入可靠度αx(t),按照表达式(6)获取权重w(t)。
也就是说,在把输入可靠度αx(t)从输入可靠度计算单元42供应到权重计算单元45的时候,在锁存电路44上锁存着输出可靠度计算单元43已经输出的前一个样本的输出可靠度αy(t-1),在步骤S32中,权重计算单元45利用来自输入可靠度计算单元12的输入可靠度αx(t)和锁存电路14锁存的输出可靠度αy(t-1),按照表达式(6)获取权重w(t)。把该权重w(t)供应给权重纠正单元46。
随后,流程转到步骤S33,权重计算单元46从参数控制数据存储器57读出参数控制数据,然后转到步骤S34。在步骤S34中,权重纠正单元46判断从参数控制数据存储器57中读出的参数控制数据是否是其中权重w(t)没有得到纠正的模式的数据,即是否没有随用于纠正输入信号x(t)的权重W而改变地、使用了代表其中自动获得权重w(t)的模式的自动模式数据(下文可以称之为自动模式),而权重w(t)可以说是从在权重计算单元45的输入可靠度和输出可靠度与用户在操作单元2上的操作无关地自动获得的。
在步骤S34中,在做出参数控制数据不是自动模式数据的判断的情况下,流程转到步骤S35,权重纠正单元46按照通过参数控制数据存储器57供应的参数控制数据a和b定义的表达式(13)中的线性表达式,纠正权重纠正单元45供应的权重w(t),然后转到步骤S36。在步骤S36中,权重纠正单元46把纠正后的权重供应给选择单元41,然后转到步骤S37。这里,在表达式(13)中,wi相当于权重计算单元45供应的权重w(t),而Wi′相当于纠正后的权重W。
另一方面,在步骤S34中,在做出参数控制数据是自动模式数据的判断的情况下,流程跳过步骤S35,转到步骤S36,在步骤S36中,权重纠正单元46没有改变地把权重w(t)从权重计算单元45供应到计算单元41,然后流程转到步骤S37。
在步骤S37中,输出可靠度计算单元43更新输出可靠度。也就是说,输出可靠度计算单元43按照表达式(5),相加输入可靠度计算单元42在紧接前面步骤S31中已经计算的输入可靠度αx(t)和锁存电路44已经锁存的来自前一个样本的输出可靠度αy(t-1),从而获得以覆盖的形式存储在锁存电路44中的当前输出可靠度αy(t)
然后流程转到步骤S38,选择单元41从操作信号处理单元50的输出判断用户是否正在操作操作单元2。在步骤S38中,在做出没有正在操作操作单元2的判断的情况下,流程转到步骤S39,在步骤S39中,选择单元41选择输出到纠正单元21的、从权重纠正单元46供应的权重(下文可以称之为纠正权重),然后流程转到步骤S31。
此外,在步骤S38中,在做出正在操作操作单元2的判断的情况下,流程转到步骤S40,在步骤S40中,选择单元41根据操作选择要由操作信号处理单元50输出的权重,将其输出到纠正单元21,然后流程返回到步骤S31。
因此,在如图7所示的纠正参数计算处理中,在没有正在操作操作单元2的情况下,把纠正权重供应给纠正单元21,而在正在操作操作单元2的情况下,把与操作信号相对应的权重供应给纠正单元21。结果,在纠正单元21上,在没有正在操作操作单元2的情况下,通过纠正权重来纠正输入信号,而在正在操作操作单元2的情况下,通过与操作信号相对应的权重来纠正输入信号。
并且,在如图7所示的纠正参数计算处理中,在自动模式的情况下,与操作单元2的操作无关地只从输入可靠度和输出可靠度中获取要用于纠正处理的权重,而如果没有处在自动模式下,根据操作单元2的操作,利用在如后所述的、如图8所示的控制数据学习处理中通过学习获得的参数控制数据获得要用于纠正处理的权重。
接着,参照如图8所示的流程图描述控制数据学习处理。
在控制数据学习处理中,首先,在步骤S41中,操作信号处理单元50判断是否已经从操作单元2接收到学习操作信号,并且在做出还没有接收到这些学习操作信号的判断的情况下,流程返回到步骤S41。
此外,在步骤S41中做出已经从操作单元2接收到这些学习操作信号的判断的情况下,也就是说,在可以做出用户已经操作了操作单元2,从而获得所需的输出信号的判断的情况下,譬如,在开始对例如操作单元2进行操作,而在此之后,还没有经过第1时间t1或更长,在第2时间t2或更长内继续进行操作,而在此之后,在第3时间t3或更长内持续停止其操作的情况下,或者,在开始对操作单元2进行操作,而在此之后,在第3时间t3或更长内持续停止其操作的情况下,流程转到步骤S42,在步骤S42中,教师数据生成单元51生成教师数据,而学生数据生成单元52生成学生数据。
也就是说,在接收到学习操作信号的情况下,操作信号处理单元50将与学习操作信号相对应的权重W(例如,与操作单元2的操作量或用作操作单元2的旋钮或控制杆的位置相对应的权重W)与学习标志一起供应给教师数据生成单元51和学生数据生成单元52。一旦接收到附带学习标志的权重W,教师数据生成单元51就获取作为教师数据的权重W,并且将其供应给学习数据存储器53。此外,一旦接收到附带学习标志的权重,学生数据生成单元52就获取作为学生数据的、与那个时刻的输入信号相对应的权重w,并且将其供应给学习数据存储器53。
这里,与输入信号相对应的权重w指的是,可以说,按照表达式(6),从输入可靠度和输出可靠度中自动获取的权重,并且如上所述,学生数据生成单元52从输入信号计算与输入信号相对应的这个权重w。
一旦从教师数据生成单元51接收到教师数据W和从学生数据生成单元52接收到学生数据w,学习数据存储器53就在步骤S43中,存储该组最新教师数据W和学生数据w,然后转到步骤S44。
在步骤S44中,参数控制数据计算单元54对教师数据和学生数据为最小二乘而进行加入。
也就是说,参数控制数据计算单元54在表达式(20)和(21)中进行等效于学生数据wi和教师数据Wi的相乘(wiWi)和求和(∑wiWi)的计算、等效于学生数据wi的求和(∑wi)的计算、等效于教师数据Wi的求和(∑Wi)的计算以及等效于学生数据wi自乘的求和(∑wi 2)的计算。
现在,假设已经获得了例如N-1组教师数据和学生数据,和已经获得了第N组教师数据和学生数据作为最新教师数据和学生数据,此时,在参数控制数据计算单元54上已经进行了对第N-1组教师数据和学生数据的加入。因此,对于第N组教师数据和学生数据,只要已经保存了已经对第N-1组教师数据和学生数据进行的加入的结果,通过加入第N组教师数据和学生数据,可以获得包括最新教师数据和学生数据的N组教师数据和学生数据的加入结果。
因此,参数控制数据计算单元54被安排成把以前加入的结果存储在学习信息存储器55中作为学习信息,和利用这个学习信息,对第N组教师数据和学生数据进行加入。现在,到此为止用于加入的教师数据和学生数据的组数N也是加入所必须的,并且学习信息存储器55被安排成还把组数N存储成学习信息。
在步骤S44中进行加入之后,参数控制数据计算单元54以覆盖的方式把加入的结果存储在学习信息存储器55中作为学习信息,然后流程转到步骤S45。
在步骤S45中,参数控制数据计算单元54判断是否可以从作为学习信息存储在学习信息存储器55中的加入结果,获得用表达式(20)和(21)表示的参数控制数据a和b。
也就是说,对于下文在适当的地方被取作学习对的该组教师数据和学生数据,除非存在通过至少两个学习对获得的学习信息,不能从表达式(20)和(21)中获得参数控制数据a和b。因此,在步骤45中,对是否可以从学习信息获得参数控制数据a和b做出判断。
在步骤S45中做出不可以获取参数控制数据a和b的判断的情况下,参数控制数据计算单元54把带有那种意思的通知供应给判断控制单元56,然后流程转到步骤S49。在步骤S49中,判断控制单元56把指示自动模式的自动模式数据供应给将其存储成参数控制数据的参数控制数据存储器57。然后流程返回到步骤S41,并且接着,重复相同的处理。
因此,在不存在足以获取参数控制数据a和b的学习信息的情况下,正如参照图7所述的那样,对于输入信号x(t)的纠正,无需改变地使用从输入可靠度和输出可靠度中自动获得的权重w(t)。
另一方面,在步骤S45中做出可以获得参数控制数据a和b的判断的情况下,流程转到步骤S46,在步骤S46中,参数控制数据计算单元54通过利用供应给判断控制单元56的学习信息计算表达式(20)和(21),获得参数控制数据a和b,然后流程转到步骤S47。
在步骤S47中,判断控制单元56按照来自参数控制数据计算单元54的参数控制数据a和b所定义的表达式(13)中的线性表达式,从存储在学习数据存储器53中的每条学生数据中获取相应教师数据的预测值,和获取用于其预测值的预测误差(有关存储在学习数据存储器53中的教师数据的误差)的表达式(15)中所指示的平方误差之和。并且,判断控制单元56获取将平方误差之和除以例如存储在学习数据存储器53中的学习对的数量的归一化误差,然后流程转到步骤S48。
在步骤S48中,判断控制单元56判断归一化误差是否大于(等于或大于)预定阈值S1。在步骤S48中,在归一化误差被判断为大于预定阈值S1的情况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达式不以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S49,在步骤S49中,判断控制单元56如上所述,把代表自动模式的自动模式数据作为参数控制数据供应给存储它的参数控制数据存储器57。然后流程返回到步骤S41,并且重复相同的处理。
因此,即使可以获得参数控制数据a和b,在通过参数控制数据a和b定义的表达式(13)中的线性表达式不以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,也以与不存在足以获取参数控制数据a和b的学习信息的情况相同的方式,对于输入信号x(t)的纠正,无需改变地使用从输入可靠度和输出可靠度中自动获得的权重w(t)。
另一方面,在步骤S48中,在做出归一化误差不大于预定阈值S1的判断的情况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达式以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S50,在步骤S50中,判断控制单元56获取由来自参数控制数据计算单元54的参数控制数据a和b所定义的表达式(13)中的线性表达式所表示的回归线和由存储在学习数据存储器53中的最新教师数据和学生数据所规定的点之间的误差(距离)ε。
然后流程转到步骤S51,在步骤S51中,判断控制单元56判断误差ε的幅度是否大于(等于或大于)预定阈值S2,并且在做出不大于的判断的情况下,跳过步骤S52,流程转到步骤S53,而且判断控制单元56把在步骤S46中获得的参数控制数据a和b输出到参数控制数据存储器57。参数控制数据存储器57以覆盖的形式存储来自判断控制单元56的参数控制数据a和b,然后流程返回到步骤S41。
另一方面,在步骤S51中做出误差ε的幅度大于预定阈值S2的情况下,流程转到步骤S52,在步骤S52中,判断控制单元56通过控制参数控制数据计算单元54,只利用存储在学习数据存储器53中的、从作为最新教师数据和学生数据的最新学习对开始往回数的预定数量学习对(不利用学习信息存储器55中的学习信息),重新计算参数控制数据a和b。然后流程转到步骤S53,在步骤S53中,判断控制单元56把在步骤S52中获得的参数控制数据a和b输出到以覆盖的形式存储它的参数控制单元数据存储器37,然后流程返回到步骤S41。
因此,在可以获得参数控制数据a和b的情况下,并且在通过参数控制数据a和b定义的表达式(13)中的线性表达式以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,按照通过利用根据用户对操作单元2的操作获得的学习对进行学习而获得的参数控制数据a和b所定义的表达式(13),从输入可靠度和输出可靠度中获得的权重w(t)得到纠正,并且把通过对其纠正获得的纠正权重W用于纠正输入信号x(t)。
现在,在步骤S46中获得的参数控制数据a和b所定义的表达式(13)中的线性表达式所代表的回归线是如图9A所示的、使具有由N组教师数据和学生数据规定的N个点的平方误差(之和)最小的直线,并且在步骤S50中,获取这条直线与由最新教师数据和学生数据规定的点之间的误差ε。
在这个误差ε的幅度不大于预定阈值S2的情况下,可以认为,通过在步骤S46中获得的参数控制数据a和b定义的表达式(13)中的线性表达式所表示的回归线、以相对精确的方式接近包括利用最新教师数据和学生数据规定的点的、由到目前为止提供的学生数据和教师数据规定的每个点。
但是,在误差ε的幅度大于预定阈值S2的情况下,即在如图9B所示、通过教师数据和学生数据规定的点(在图9B中用圆圈表示)大大地偏离在步骤S46中获得的参数控制数据a和b所定义的表达式(13)中的线性表达式所代表的回归线的情况下,可以设想,由于某种原因,用户带着与到目前为止不同的意向对操作单元2进行了操作。
因此,在这种情况下,判断控制单元56在步骤S52中,通过控制参数控制数据计算单元54,只利用存储在学习数据存储器53中的学习对的几个最新学习对,重新计算参数控制数据a和b。
也就是说,在这种情况下,参数控制数据计算单元54无需利用(忘记)存储在学习信息存储器55中的、用作过去的加入结果的学习信息,只利用最近几组教师数据和学生数据,重新计算以表达式(13)定义最接近由教师数据和学生数据规定的一群点的直线的参数控制数据a和b。
具体地说,如图9C所示,例如参数控制数据计算单元54获取定义经过由最新教师数据和学生数据规定的点(在图9C中用圆圈表示)和由前一个时刻提供的教师数据和学生数据规定的点(在图9C中用三角形表示)的直线的参数控制数据a′和b′。
如上所述,对根据用户操作供应的操作信号是否可以用于学习做出判断,并且在该信号是可以用于学习的学习操作信号的情况下,根据学习操作信号学习用于纠正权重的参数控制数据a和b,而该权重用于纠正输入信号,因此,无需用户知道,就可以学习用户的操作,其结果是,根据学习结果逐渐进行适合用户的处理,最终进行最适合用户的处理。
这意味着,从用户的角度来看,在正常操作操作单元2一段时间之后,即使没有进行操作,也可以对各种类型的输入信号获得最适合用户的噪声降低结果,因此可以说,设备被打断了。在打断设备的这个阶段,用户操作操作单元2,以便获得所需输出信号,因此操作单元2的操作和用于纠正输入信号的权重W之间的关系逐渐被用户清楚地识别出来,因此,到最后,用户对操作单元2的操作和用于纠正输入信号的权重W逐渐被定性地联系起来。
此外,在如图4所示的NR电路上,改变用于按照用户对操作单元2的操作而在纠正单元21上进行的纠正处理(图6)的权重W,以便可以获得用户所需的输出信号。也就是说,一旦用户操作操作单元2,操作信号处理单元50就输出代表与操作相对应的操作信号的权重,选择单元41选择权重,并且将其供应给纠正单元21。在这种情况下,在纠正单元21上,利用与用户所作的操作相对应的权重进行如表达式(8)所表示纠正处理。在要改变表达式(8)中的权重w(t)的情况下,由于用户所作的操作,表达式(8)所表示的处理(纠正处理)的内容也理所当然地发生改变,因此,可以认为,在如图4所示的NR电路上,“处理的内容”正随用户的操作而改变,使得可以获取用户所需的输出信号。
并且,在如图4所示的NR电路上,在不能获得参数控制数据a和b的情况下,或者,在可以获得参数控制数据a和b,但是,通过参数控制数据a和b定义的表达式(13)中的线性表达式不以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,从输入可靠度和输出可靠度中自动获得的权重用于纠正单元21上的纠正处理。另一方面,在可以获得参数控制数据a和b,并且通过参数控制数据a和b定义的表达式(13)中的线性表达式以精确的方式接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,按照通过学习获得的参数控制数据a和b所定义的表达式(13),纠正从输入可靠度和输出可靠度中获得的权重,并且通过这种纠正获得的纠正权重由纠正单元21用于纠正处理,所述学习利用根据用户对操作单元2的操作获得的学习对进行。
也就是说,对于如图4所示的NR电路,在用户还没有输入足够多的学习对的情况下,或者,在还没有输入借此可以进行高精度接近的学习对的情况下,从输入可靠度和输出可靠度中自动获得的权重用于纠正单元21上的纠正处理,并且在已经输入了借此可以进行高精度接近的学习对的情况下,通过利用学习对进行学习获得的参数控制数据a和b获得的纠正权重用于纠正单元21上的纠正处理。
因此,表达式(8)中的权重w(t)最终的确在没有获得足够数量的学习对或能够进行高精度接近的学习对的情况、以及获得能够进行高精度接近的学习对的情况之间发生改变,因此,由表达式(8)所表示的纠正处理的内容也发生改变,使得从这个角度来看,以及对于如图4所示的NR电路,可以认为,“处理的内容”发生改变,使得获得用户所需的输出信号。
并且,对于如图4所示的NR电路,计算用于纠正处理的权重的系统随没有获得足够数量的学习对或能够进行高精度接近的学习对的情况以及获得能够进行高精度接近的学习对的情况而改变。
也就是说,在没有获得足够数量的学习对或能够进行高精度接近的学习对的情况下,与用户所作的操作无关地从输入可靠度和输出可靠度中获得权重。另一方面,在获得能够进行高精度接近的学习对的情况下,根据通过利用根据用户的操作获得的学习对进行学习而获得的参数控制数据获得权重。
因此在这种情况下,可以认为,计算权重的处理系统,即如何获得权重的算法是这样变化的,使跟随用户的操作可以获得用户所需的输出信号。
现在,用函数F表示获取权重的处理,“处理的内容”的如上所述改变等效于函数F发生改变。这里,函数F发生改变的情况一般划分成函数F本身的形式发生改变的情况(例如,F=x改变成F=x2等的情况)和函数F本身的形式没有改变但定义函数F的系数发生改变的情况(例如,F=2x变成F=3x等)。
现在,在“处理的内容”的改变当中,如果我们认为代表本身的处理的函数F的形式发生改变的情况是“处理的结构”的改变,那么,可以认为改变如上所述计算权重的处理系统,即如何获得权重的算法是改变“处理的结构”。
因此,对于如图4所示的NR电路,“处理的内容”以及“处理的结构”也随用户所作的操作而发生改变,从而,可以获得用户所需的输出信号。
此外,至于输入信号,当然可以使用图像信号和音频信号,以及其它信号。但是,在输入信号是图像信号的情况下,根据从空间方面或时间方面在要处理的像素附近的数个像素中获得的方差计算输入可靠度。
此外,对于如上所述的情况,为了便于描述,在学习单元22中通过由参数控制数据a和b定义的表达式(13)中的线性表达式把从输入可靠度等中获得的权重w纠正成纠正权重W,但是,实际上,权重w的纠正最好通过更高次的表达式来进行。此外,更高次表达式的次数(degree)最好被设置成基于例如应用优化设备1的应用等的适当值。
并且,可以为从权重w中获得纠正权重W的表达式(下文可以称之为纠正权重计算表达式)做出这样的安排,除了表达式(13)中的线性表达式W=aw+b之外,还准备了数个表达式,例如2次表达式W=aw2+bw+c和3次表达式W=aw3+bw2+cw+d等(其中,a、b、c和d是预定系数),并且应用数个纠正权重计算表达式当中保护(shield)最小归一化误差的那一个。请注意,在这种情况下,选择从通过用户的操作获得的学习对中获得的归一化误差最小的纠正权重计算表达式,并且利用所选的纠正权重计算表达式获取纠正权重。也就是说,如何获取纠正权重的算法随着用户的操作而改变。因此,在这种情况下,还可以认为,“处理的结构”随着用户的操作而改变。
接着,图10显示了如图4所示的优化设备1的处理单元11应用于NR电路的情况的另一个详细配置例。在该图中,与图4中情况相应的部分用相同的标号表示,并且适当地省略对它们的描述。也就是说,除了没有配备权重纠正单元46,而配备输入可靠度计算单元61和学生数据生成单元62分别取代输入可靠度计算单元42和学生数据生成单元52之外,如图10所示的NR电路与如图4所示的NR电路基本上具有相同的配置。
输入可靠度计算单元61从输入信号的数个样本和存储在参数控制数据存储器57中的参数控制数据中计算输入信号的输入可靠度,并且将其供应给输出可靠度计算单元43和权重计算单元45。
学生数据生成单元62获取输入信号和作为学生数据从输出可靠度计算单元43输出的输出可靠度,并且将其供应给学习数据存储器53。
注意,对于如图10所示的实施例,没有配备权重纠正单元46,因此,把在权重计算单元45中获得的权重没有改变地供应给选择单元41,并且这个选择单元41被安排成以与如图4所示的相同的方式,必须选择和输出这个权重计算单元45输出的权重和操作信号处理单元50输出的权重之一或另一。
此外,对于如图10所示的实施例,参数控制数据起控制输入可靠度的数据的作用。
与如图4所示的NR电路一样,图10中的NR电路也进行纠正处理、纠正参数计算处理和控制数据学习处理。纠正处理是以与参照图6所述的处理相同的方式进行的,因此,对于如图10所示的NR电路,省略纠正处理的描述,并且对纠正参数计算处理和控制数据学习处理加以描述。
也就是说,对于图10中的NR电路,例如,对如通过下列表达式所定义那样的、规定用在纠正处理中的表达式(6)所示的权重的输入可靠度αx(t)进行纠正参数计算处理和控制数据学习处理。
[表达式22]
αx(t)=a1x1+a2x2+…+aNxN                          ....(22)
但是,请注意,在表达式(22)中,a1,a2,...,aN代表参数控制数据,而x1,x2,...,xN代表与要经受处理的输入信号的样本(感兴趣样本)存在预定关系的输入信号的样本。现在,在输入信号是例如图像信号的情况下,例如,用作感兴趣样本的像素(在图11中用X表示)和在空间方面或时间方面处在那个像素附近的位置上的像素(在图11中用圆圈表示)可以用于x1,x2,...,xN
根据表达式(22),可以把表达式(6)提供的权重w(t)表示成表达式(23)。
[表达式23]
w ( t ) = α y ( t - 1 ) α y ( t - 1 ) + α x ( t )
= α y ( t - 1 ) α y ( t - 1 ) + ( a 1 x 1 + a 2 x 2 + · · · + a N x N ) · · · ( 23 )
因此,在输入输入信号x1,x2,...,xN的情况下,应该从表达式(23)中获得满足下列表达式的参数控制数据a1,a2,...,aN,以便获得用户提供的权重W。
[表达式24]
W = α y ( t - 1 ) α y ( t - 1 ) + ( a 1 x 1 + a 2 x 2 + · · · + a N x N ) · · · ( 24 )
作为表达式(24)的变形,可以获得表达式(25)。
[表达式25]
(a1x1+a2x2+…+aNxN)W+(W-1)αy(t-1)=0                ...(25)
一般说来,获取总是满足表达式(25)的参数控制数据a1,a2,...,aN是困难的,因此,这里我们将考虑获取例如通过最小二乘法使表达式(25)的左侧和右侧的平方误差之和达到最小的参数控制数据a1,a2,...,aN
这里,使表达式(25)的左侧和右侧的平方误差之和达到最小意味着使通过表达式(23)提供的权重w(t)和由用户提供的权重W的平方误差达到最小,即对于作为教师数据由用户提供的权重W和定义表达式(23)中作为学生数据的权重w(t)的输入信号x1,x2,...,xN和输出可靠度αy(t-1),等效于使通过表达式(23)从学生数据计算的权重w(t)和由用户提供的作为教师数据的权重W的平方误差达到最小,并且通过表达式(23)从这样的参数控制数据a1,a2,...,aN和学生数据计算的权重w(t)与教师数据W存在很小误差。
表达式(25)的左侧和右侧的平方误差e2通过表达式(26)得出。
[表达式26]
e2={(a1x1+a2x2+…+aNxN)W+(W-1)αy(t-1)}2           ...(26)
使平方误差e2最小的参数控制数据a1,a2,...,aN通过使表达式(26)中的平方误差e2关于参数控制数据a1,a2,...,aN的每一个的偏导数变成0的条件,即通过下列表达式得出。
[表达式27]
∂ e 2 ∂ a 1 = 0 , ∂ e 2 ∂ a 2 = 0 , · · · · · · , ∂ e 2 ∂ a N = 0 · · · ( 27 )
把表达式(26)代入表达式(27)中,得到表达式(28)。
[表达式28]
(a1x1W+a2x2W+…+aNxNW+(W-1)αy(t-1))Wx1=0
(a1x1W+a2x2W+…+aNxNW+(W-1)αy(t-1))Wx2=0
             ……
(a1x1W+a2x2W+…+aNxNW+(W-1)αy(t-1))WxN=0         ...(28)
因此,通过像表达式(29)所示那样定义矩阵X、A和Y的每一个,根据表达式(28),对于矩阵X、A和Y,表达式(30)所示的关系成立。
[表达式29]
X = Σ W 2 x 1 2 Σ W 2 x 2 x 1 . . . Σ W 2 x N x 1 Σ W 2 x 1 x 2 Σ W 2 x 2 2 . . . Σ W 2 x N x 2 . . . . . . . . . . . . Σ W 2 x 1 x N Σ W 2 x 2 x N . . . Σ W 2 x N 2 , A = a 1 a 2 . . . a N ,
Y = ΣW ( 1 - W ) α y ( t - 1 ) x 1 ΣW ( 1 - W ) α y ( t - 1 ) x 2 . . . ΣW ( 1 - W ) α y ( t - 1 ) x N . . . ( 29 )
[表达式30]
XA=Y                                              ...(30)
请注意,表达式(29)中的求和(∑)指的是一旦用户输入输入信号x1到xN,就对输入信号x1到xN的组数和用户提供的权重W求和。
表达式(30)可以通过例如Cholesky方法等,针对矩阵(矢量)A,即参数控制数据a1,a2,...,aN加以求解。
图10中的NR电路进行如上所述的控制数据学习处理,其中,对于作为教师数据由用户提供的权重W、定义表达式(23)中作为学生数据的权重w(t)的输入信号x1,x2,...,xN和输出可靠度αy(t-1),通过最小二乘法学习使通过表达式(23)从教师数据中计算的权重w(t)和由用户提供的作为教师数据的权重W的平方误差达到最小的参数控制数据a1,a2,...,aN。并且图10中的NR电路从通过参数控制数据a1到aN定义的表达式(22)中获得输入可靠度αx(t),并且进行按照表达式(23)、从输入可靠度αx(t)和输出可靠度αy(t-1)中获得用作纠正参数的权重的纠正参数计算处理。
现在,参照如图12所示的流程图描述利用如图10所示的NR电路进行的纠正参数计算处理。
在纠正参数计算处理中,首先,在步骤S61中,输入可靠度计算单元61从参数控制数据存储器57中读出参数控制数据,然后流程转到步骤S62。在步骤S62中,输入可靠度计算单元61判断从参数控制数据存储器57中读出的参数控制数据是否是代表其中没有利用参数控制数据获得输入可靠度的模式的自动模式数据,即可以说,其中与用户对操作单元2的操作无关地只从输入信号中自动获得输入可靠度的模式(也可以称这种模式为自动模式)。
在步骤S62中,在做出参数控制数据不是自动模式数据的判断的情况下,流程转到步骤S63,输入可靠度计算单元61按照通过从参数控制数据存储器57读出的参数控制数据a1到aN定义的表达式(22)中的线性表达式,利用供应给它的最新N段输入信号样本x1到xN,获取输入可靠度αx(t),将其供应给输出可靠度计算单元43和权重计算单元45,然后转到步骤S65。
此外,在步骤S62中参数控制数据被判断为自动模式数据的情况下,流程转到步骤S64,输入可靠度计算单元61以与例如图7中的步骤S31相同的方式,根据其方差,只利用输入信号获取获取输入可靠度αx(t),并且将其供应给输出可靠度计算单元43和权重计算单元45。
在步骤S65中,权重计算单元45利用来自输入可靠度计算单元61的输入可靠度αx(t)和锁存在锁存电路44上的、由输出可靠度计算单元43在前一个样本输出的输出可靠度αy(t-1),按照表达式(23)获取权重w(t)。把这个权重w(t)从权重计算单元45供应到选择单元41。
随后,流程转到步骤S66,并且以与图7中的步骤S37相同的方式,输出可靠度计算单元43根据表达式(5),相加输入可靠度计算单元61供应的输入可靠度αx(t)和锁存在锁存电路44上的、来自前一个样本的输出可靠度αy(t-1),从而更新输出可靠度αy(t),并且以覆盖的形式存储在锁存电路44中。
然后流程转到步骤S67,在步骤S67中,选择单元41从操作信号处理单元50的输出中判断用户是否正在操作操作单元2。在步骤S67中做出没有正在操作操作单元2的判断的情况下,流程转到步骤S68,选择单元41选择权重计算单元45供应的权重,将其输出到纠正单元21,然后流程返回到步骤S61。
此外,在步骤S67中做出正在操作操作单元2的判断的情况下,流程转到步骤S69,在步骤S69中,选择单元41根据其操作选择操作信号处理单元50输出的权重,将其输出到纠正单元21,然后流程返回到步骤S61。
因此,在如图12所示的纠正参数计算处理中,在没有正在操作操作单元2的情况下,把根据输入可靠度计算的权重供应给纠正单元21,而在正在操作操作单元2的情况下,把与其操作信号相对应的权重供应给纠正单元21。因此,在纠正单元21上,在没有正在操作操作单元2的情况下,通过基于输入可靠度的权重纠正输入信号,而在正在操作操作单元2的情况下,通过与其操作信号相对应的权重纠正输入信号。
并且,在如图12所示的纠正参数计算处理中,在自动模式的情况下,与操作单元2的操作无关,根据输入信号的方差,从输入可靠度中获取要用于纠正处理的权重,而在没有处在自动模式下的情况下,根据操作单元2的操作,从利用在如后所述的、如图13所示的控制数据学习处理中通过学习获得的参数控制数据获得的输入可靠度中获得用于纠正处理的权重。
接着,参照如图13所示的流程图描述如图10所示的NR电路进行的控制数据学习处理。
对于控制数据学习处理,首先,在步骤S71中,以与图8中的步骤S41相同的方式,操作信号处理单元50判断是否已经从操作单元2接收到学习操作信号,并且在做出还没有接收到这些学习操作信号的判断的情况下,流程返回到步骤S71。
此外,在步骤S71中做出已经从操作单元2接收到这些学习操作信号的判断的情况下,即在可以做出用户已经操作了操作单元2、从而获得所需的输出信号的判断的情况下,譬如,在开始对例如操作单元2进行操作,在此之后,还没有经过第1时间t1或更长,在第2时间t2或更长时间内继续进行操作,在此之后,在第3时间t3或更长时间内持续停止其操作的情况下,或者,在开始对操作单元2进行操作之后,在第3时间t3或更长时间内持续停止其操作的情况下,流程转到步骤S72,在步骤S72中,教师数据生成单元51生成教师数据,而学生数据生成单元62生成学生数据。
也就是说,在接收到学习操作信号的情况下,操作信号处理单元50将与学习操作信号相对应的权重W与学习标志一起供应给教师数据生成单元51和学生数据生成单元62。一旦接收到附带学习标志的权重W,教师数据生成单元51就获取作为教师数据的权重W,并且将其供应给学习数据存储器53。
另一方面,学生数据生成单元62含有缓存输入信号的内置缓冲器(未示出),不断地把输入信号存储在缓冲器中,直到其存储容量,并且在接收到附带学习标志的权重的情况下,从内置缓冲器中读出与在那时输入的输入信号的样本存在预定位置关系的输入信号的样本x1到xN。并且,学生数据生成单元62从输出可靠度计算单元43中读出输出可靠度αy(t-1)。然后学生数据生成单元62把输入信号的样本x1到xN和输出可靠度αy(t-1)供应给学习数据存储器53,作为学生数据。
一旦从教师数据生成单元51接收到教师数据W和从学生数据生成单元62接收到学生数据x1到xN和输出可靠度αy(t-1),在步骤S73中,学习数据存储器53存储该组(学习对)最新教师数据W和学生数据x1到xN和输出可靠度αy(t-1),然后流程转到步骤S74。
在步骤S74中,参数控制数据计算单元54对教师数据和学生数据进行用于最小二乘的加入。
也就是说,参数控制数据计算单元54进行作为表达式(29)中矩阵X和Y的成分的一个学生数据和另一个学生数据之间的乘积、学生数据和教师数据的乘积和它们的求和的计算。
现在,以与图8中的步骤S44中的加入相同的方式进行步骤S74中的加入。也就是说,把以前加入的结果存储在学习信息存储器55中,作为学习信息,参数控制数据计算单元54利用这种学习信息进行与最新教师数据和学生数据有关的加入。
在步骤S74中的加入之后,参数控制数据计算单元54以覆盖的形式把加入的结果存储在学习信息存储器55内,作为学习信息,然后流程转到步骤S75,参数控制数据计算单元54判断是否可以根据作为学习信息存储在学习信息存储器55中的相加结果,关于矩阵A求解表达式(30),即是否可以获得参数控制数据a1到aN
也就是说,除非存在从预定个学习对或更多个学习对中获得的学习信息,不能关于矩阵A求解表达式(30),并且不能获得用作其分量的参数控制数据a1到aN。因此,在步骤S75中,判断是否可以从学习信息中获得参数控制数据a1到aN
在步骤S75中,在做出不能获取参数控制数据a1到aN的判断的情况下,参数控制数据计算单元54把带有那种意思的信息供应给判断控制单元56,然后流程转到步骤S79。在步骤S79中,判断控制单元56把代表自动模式的自动模式数据作为参数控制数据供应给存储它的参数控制数据存储器57。然后流程返回到步骤S71,并且接着,重复相同的处理。
因此,在不存在获取参数控制数据a1到aN的足够学习信息的情况下,正如参照图12所述的那样,根据输入信号的方差从输入可靠度中获得的权重用于输入信号x(t)的纠正。
另一方面,在步骤S75中做出可以获得参数控制数据的判断的情况下,流程转到步骤S76,在步骤S76中,参数控制数据计算单元54通过利用学习信息求解关于矩阵A的表达式(30),获得参数控制数据a1到aN,将其供应给判断控制单元56,然后流程转到步骤S77。
在步骤S77中,判断控制单元56按照来自参数控制数据计算单元54的参数控制数据a1到aN所定义的表达式(23),从存储在学习数据存储器53中的学生数据中获取相应教师数据的预测值,并获取那个预测值的预测误差(有关存储在学习数据存储器53中的教师数据的误差)的、由表达式(26)表示的平方误差之和。并且,判断控制单元56获取将平方误差和除以例如存储在学习数据存储器53中的学习对的数量的归一化误差,然后流程转到步骤S78。
在步骤S78中,判断控制单元56判断归一化误差是否大于(等于或大于)预定阈值S1。在步骤S78中做出归一化误差大于预定阈值S1的判断的情况下,即在通过参数控制数据a1到aN定义的表达式(23)中的线性表达式不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S79,判断控制单元56把代表自动模式的自动模式数据作为参数控制数据供应给以覆盖的形式存储它的参数控制数据存储器57。然后流程返回到步骤S71,并且接着,重复相同的处理。
因此,即使在可以获得参数控制数据a1到aN的情况下,也可以在通过参数控制数据a1到aN定义的表达式(23)不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,以与不存在获取参数控制数据a1到aN的足够学习信息的情况相同的方式,使根据输入信号的方差由输入可靠度获得的权重用于输入信号x(t)的纠正。
另一方面,在步骤S78中做出归一化误差不大于预定阈值S1的判断的情况下,即在通过参数控制数据a1到aN定义的表达式(23)中的线性表达式精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S80,判断控制单元56获取由在参数控制数据计算单元54上获得的参数控制数据a1到aN定义的表达式(23)的面(线)和由存储在学习数据存储器53中的最新教师数据和学生数据所规定的点之间的误差(距离)ε。
然后流程转到步骤S81,在步骤S81中,判断控制单元56判断误差ε的幅度是否大于(等于或大于)预定阈值S2,并且在做出这个误差ε的幅度不是大于的判断的情况下,跳过步骤S82,流程转到步骤S83,判断控制单元56把在步骤S76中获得的参数控制数据a1到aN输出到参数控制数据存储器57。参数控制数据存储器57以覆盖的形式存储来自判断控制单元56的参数控制数据a1到aN,然后流程返回到步骤S71,并且接着,重复相同的处理。
另一方面,在步骤S81中做出误差ε的幅度大于预定阈值S2的情况下,流程转到步骤S82,在步骤S82中,判断控制单元56控制参数控制数据计算单元54,只利用存储在学习数据存储器53中的最新教师数据和学生数据,重新计算参数控制数据a1到aN。然后流程转到步骤S83,在步骤S83中,判断控制单元56把在步骤S82中获得的参数控制数据a1到aN输出到以覆盖的形式存储它的参数控制数据存储器57,然后流程返回到步骤S71。
也就是说,在如图13所示的实施例中,也以与图8中的实施例相同的方式,在步骤S82中获得由从到目前为止提供的教师数据和学生数据中获得的参数控制数据a1到aN定义的表达式(23)定义的面与通过最新教师数据和学生数据规定的点之间的误差ε。
在误差ε的幅度不大于预定阈值S2的情况下,可以认为通过在步骤S76中获得的参数控制数据a1到aN定义的表达式(23)定义的面相对精确地接近包括通过最新教师数据和学生数据规定的点在内、到目前为此提供的学生数据和教师数据规定的所有点,因此,把这个参数控制数据a1到aN存储在参数控制数据存储器57中。
另一方面,在误差ε的幅度大于预定阈值S2的情况下,可以认为通过在步骤S76中获得的参数控制数据a1到aN定义的表达式(23)的面相当大地偏离通过最新教师数据和学生数据规定的点,因此,判断控制单元56控制参数控制数据计算单元54,以便在步骤S82中,只利用存储在学习数据存储器53中的最新教师数据和学生数据,重新计算参数控制数据a1到aN
对于如图10所示的NR电路,输入可靠度αx(t)是在输入可靠度计算单元61上按照表达式(22)从如上所述获得的参数控制数据a1到aN计算的。
因此,在这种情况下,也可以根据按照用户的操作供应的学习操作信号,进行在表达式(22)中规定输入可靠度αx(t)的参数控制数据a1到aN的学习,因此,无需用户知道就可以学习用户所作的操作,并且可以利用学习的结果进行最适合用户的处理。
此外,对于如图10所示的NR电路,与图4中的NR电路一样,一旦用户操作操作单元2,操作信号处理单元50就输出代表与其操作相对应的操作信号的权重,选择单元41选择权重,并且将其供应给纠正单元21。在这种情况下,在纠正单元21上,利用与用户操作相对应的权重进行如表达式(8)所表示的纠正处理。在要通过用户操作改变表达式(8)中的权重w(t)的情况下,表达式(8)所表示的处理(纠正处理)的内容也理所当然地发生改变,对于如图10所示的NR电路,“处理的内容”随用户所作的操作而改变,使得获取用户所需的输出信号。
并且对于如图10所示的NR电路,在不能获得参数控制数据a1到aN的情况下,或者,在可以获得这个参数控制数据a1到aN,但是,通过参数控制数据a1到aN定义的表达式(23)不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,根据输入信号的方差从输入可靠度中获得的权重用于纠正单元21上的纠正处理。另一方面,在获得参数控制数据a1到aN,并且通过参数控制数据a1到aN定义的表达式(23)精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,按照通过利用根据用户对操作单元2的操作获得的学习对进行学习获得的参数控制数据a1到aN所定义的表达式(23),使从输入信号和参数控制数据a1到aN(而不是从中计算出来的输入可靠度)和输出可靠度中获得的权重用于纠正单元21上的纠正处理。
也就是说,对于如图10所示的NR电路,与图4中的NR电路一样,计算要用于纠正处理的权重的算法在没有获得足够数量的学习对或能够进行高精度接近的学习对的情况,和获得能够进行高精度接近的学习对的情况之间进行改变。
因此,对于如图10所示的NR电路,“处理的内容”以及“处理的结构”也随用户操作而发生改变,从而,输出用户所需的输出信号。
现在,在上面的情况中,参数控制数据a1到aN是利用作为学生数据的输出可靠度αy(t-1)获得的,以及如表达式(5)所示,这个输出可靠度αy(t-1)是从输入可靠度αx(t-1)中获得的。通过进行如图13所示的控制数据学习处理,向着用户所需的权重的获得,输入可靠度αx(t)逐渐得到提高,因此,输出可靠度αy(t-1)也与之一起得到提高。
此外,对于如上所述的情况,把输出可靠度设置在已知值上,和通过参数控制数据a1到aN规定输入可靠度,从而获得可以得出用户所需的权重的参数控制数据a1到aN,但是,也可以与此相反,做出这样的安排,把输入可靠度设置在已知值上,和通过参数控制数据a1到aN规定输出可靠度,从而获得可以得出用户所需的权重的参数控制数据a1到aN
并且,可以做出这样的安排,例如,把输出可靠度设置在已知值上,通过参数控制数据a1到aN规定输入可靠度,从而可以获得得出用户所需的权重的参数控制数据a1到aN,进一步使通过参数控制数据a1到aN获得的输入可靠度变成已知值,并且通过参数控制数据a1′到aN′规定输出可靠度,从而可以获得得出用户所需的权重的参数控制数据a1到aN,即可以获得两组参数控制数据a1到aN和a1′到aN′。
此外,在如上所述的情况中,已经对如表达式(6)所示,被定义成获取参数控制数据a1到aN的输入可靠度αx(t)和输出可靠度αy(t-1)作了描述,但是,除此之外,可以做出如例如表达式(31)所示那样的安排,其中,除了输入可靠度αx(t)和输出可靠度αy(t-1)之外,还利用输入可靠度αx(t)和输出可靠度αy(t-1)的修正项Δα定义权重,以便能够获得参数控制数据a1到aN和修正项Δα。
[表达式31]
w ( t ) = α y ( t - 1 ) + Δα α y ( t - 1 ) + Δα + α x ( t ) · · · ( 31 )
并且,通过参数控制数据定义输入可靠度的表达式不限于表达式(22)。
并且,图14显示了如图1所示的优化设备的第2详细配置例。如图14所示的优化设备1被配置成含有新配备在其中的内部信息生成单元71,而处理单元11的配置与图2中的配置相同,因此,省略对它的描述。此外,对于如图14所示的实施例,把显示单元8配备在优化设备1的外部。
内部信息生成单元71读出处理单元11的内部信息,将其转换成图像信息,然后把图像信息输出到由LCD(液晶显示器)或CRT(阴极射线管)构成的显示单元81,和在由LCD(液晶显示器)或CRT(阴极射线管)构成的显示单元81上显示(呈现)图像信息。更具体地说,显示单元81可以被安排成按原样数字显示内部信息,或者,可以形成其中放置了电平计(levelgauge)那样的显示器,电平计随内部信息的值而变动。此外,显示单元81不限于这种,只要可视化显示(呈现)内部信息,它可以是任何其它显示方法。现在,对于内部信息,可以应用存储在纠正单元21的权重存储器31和32中的权重和学习单元22的学习数据存储器53或学习信息存储器55的存储内容等。此外,可以利用除了显示之外的其它呈现(提供)方法例如通过声音等向用户呈现内部信息。
接着,参照如图15所示的流程图,描述如图14所示的NR设备的优化处理。这个处理基本上与参照图3中的流程图所述的优化处理相同,不同之处在于,加入了显示来自内部信息生成单元71的内部信息的处理。也就是说,在步骤S91到S101中进行与步骤S1到S11中的处理相同的处理,然后流程转到步骤S102。
在步骤S102中,在显示单元81上显示权重W。也就是说,内部信息生成单元71读出存储在例如权重存储器31中的权重W的值,将其转换成可以显示在显示单元81上的图像信号,并且输出到显示单元81,从而显示(呈现)权重W,然后流程返回到步骤S91。
由于参照如图15所示的流程图的处理,向用户显示(呈现)与实际上在处理单元11中执行的处理有关的用作内部信息的权重W,因此,用户可以操作操作单元2,以便在观看内部信息的显示的同时,获取最佳输出信号。请注意,对于内部信息生成单元71,除了如上所述像权重那样的内部信息之外,例如,可以从学习单元22中的参数控制数据存储器37(图4,图10)中读出参数控制数据a和b,并且显示它。此外,可以做出生成图像信息作为内部信息的安排,这表示选择单元41(图4、图10)选择的权重是从利用学习对进行学习获得的参数控制数据a和b中获取的权重,或从输入可靠度和输出可靠度中获得的权重。
接着,图16显示了如图1所示的应用优化设备1的、用于汽车的自动驱动设备的实施例的配置例。
借助于自动驱动设备,获得汽车的位置坐标(X,Y)和驱动方向θ,并且根据预定路线驱动汽车。但是,在利用自动驱动设备获得的位置坐标(X,Y)和驱动方向θ中往往存在着误差,并且在这种情况下,汽车可能偏离预定路线。因此,借助于如图16所示的自动驱动设备,无需用户知道,就可以学习用户的操作,并且根据学习结果,使汽车沿着预定路线驱动。也就是说,在汽车偏离预定路线的情况下,一般说来,用户将操作方向盘或汽油踏板(gaspedal),使汽车沿着预定路线行驶。因此,如图16所示的自动驱动设备起控制的作用,以便无需用户知道,就可以学习用户的操作,并且根据学习结果,使汽车逐渐沿着预定路线驱动。
陀螺传感器91检测汽车的偏航率(yaw rate)r并且将其供给计算单元93。车轮脉冲发生器92把与汽车的车轮的旋转角相对应的数字的电脉冲供应给计算单元93。
计算单元93按照例如下列表达式,从陀螺传感器91和车轮脉冲发生器92的输出中计算汽车的位置坐标(X,Y)和驱动方向θ,并且将其供应给优化设备94。
[表达式32]
θ=θ(0)+∫rdt
X=X(0)+∫Vrcos(θ+β)dt
Y=Y(0)+∫Vrsin(θ+β)dt                                ...(32)
请注意,在表达式(32)中,θ(0)代表在开始驱动的时候汽车的方向,和(X(0),Y(0))代表在开始驱动的时候汽车的坐标。此外,θ(0)和(X(0),Y(0))可以利用未示出的GPS(全球定位系统)等获得。并且,Vr代表汽车的驱动速度,和β代表汽车的重心的偏角(slip angle)。
现在,如何获取如上所述的汽车的坐标(X,Y)和驱动方向θ公开在例如日本待审专利申请公布第10-69219号中。
优化设备94被配置成含有处理单元101,学习用户利用操作单元98做出的操作,即根据用户操作操作单元98供应的操作信号进行学习,从计算单元93纠正坐标(X,Y)和驱动方向θ,以便根据学习结果进行用户希望的驱动,并且将其供应给自动驱动控制单元95。
自动驱动控制单元95存储地图数据和为自动驱动事先设置好的路线(下文可以称为既定路线)。自动驱动控制单元95从优化设备94的处理单元101供应的坐标(X,Y)和驱动方向θ中识别汽车的当前位置和驱动方向,生成控制如后所述的驱动单元97的控制信号,以便汽车沿着既定路线驱动,并且将其输出到选择单元96。
把来自自动驱动控制单元95的控制信号供应给选择单元96,并且还把来自操作单元98的操作信号供应给它。在来自自动驱动控制单元95的控制信号和来自操作单元98的操作信号当中,选择单元96选择优先级较高的操作信号,并且把这些操作信号输出到驱动单元97,也就是说,选择单元96通常选择来自自动驱动控制单元95的控制信号,并且把这些控制信号输出到驱动单元97,但是,一旦接收到来自操作单元98的操作信号,在接收到操作信号的同时停止输出来自自动驱动控制单元95的控制信号,并且把来自操作单元98的操作信号输出到驱动单元97。
驱动单元97按照来自选择单元96的控制信号或操作信号,驱动汽车中需要驱动的机构,譬如,未示出的引擎、车轮、车刹、离合器等。操作单元98被配置成包括例如方向盘、汽油踏板、车刹踏板、离合器踏板等,并且把与用户所作的操作相对应的操作信号供应给优化设备94和选择单元96。
对于如上所述配置的自动驱动设备,在计算单元93上,从陀螺传感器91和车轮脉冲发生器92的输出中计算汽车的当前坐标(X,Y)和驱动方向θ,并且通过优化设备94的处理单元101将它们供应给自动驱动控制单元95。自动驱动控制单元95从供应给它的坐标(X,Y)和驱动方向θ中识别汽车的当前位置和驱动方向,生成控制如后所述的驱动单元97的控制信号,以便汽车沿着既定路线驱动,并且通过选择单元96把这些控制信号供应给驱动单元97。因此,汽车按照自动驱动控制单元95输出的控制信号进行自动驱动。
另一方面,一旦用户操作操作单元98,通过选择单元96把与其操作的相对应操作信号供应给驱动单元97,从而,汽车按照用户在操作单元98上所作的操作驱动。
并且,由于用户操作操作单元98,还把操作单元98输出的操作信号供应给优化设备94的处理单元101。优化设备94根据用户操作操作单元98供应的操作信号,进行学习。一旦用户停止操作操作单元98,优化设备94的处理单元101然后对计算单元93供应的坐标(X,Y)和驱动方向θ加以纠正,以便根据学习结果,像用户所希望的驱动那样,沿着既定路线进行驱动,并且将其供应给自动驱动控制单元95。
接着,图17显示了如图16所示的优化设备94的处理单元101的配置例。在该图中,与如图4所示的处理单元11相对应的部分用相同的标号表示,并且在下文中适当地省略对它们的描述。也就是说,除了没有配备选择单元41,配备操作信号处理单元110和教师数据生成单元111分别取代操作信号处理单元50和教师数据生成单元51之外,如图17所示的处理单元101被配置成基本上与如图4所示的处理单元11相同。
现在,为了便于下文中的描述,在从计算单元93供应到优化设备94的处理单元101的坐标(X,Y)和驱动方向θ当中,只对考虑驱动方向θ加以描述。但是,坐标(X,Y)可能与现在要描述的驱动方向θ经受相同的处理。
操作信号处理单元110接收来自操作单元94的操作信号,并且判断这些操作信号是否是学习操作信号。在操作信号是学习操作信号的情况下,操作信号处理单元110然后把带有那种意思的消息供应给学生数据生成单元52和教师数据生成单元111。
教师数据生成单元111被安排成把带有操作信号是学习操作信号那种意思的消息(下文可以称之为学习消息)从操作信号处理单元110供应给它,并且还被安排成把驱动方向θ作为输入信号从计算单元93供应给它。并且,还把来自计算单元93的已经经过纠正的驱动方向θ(下文可以称之为纠正驱动方向)供应给教师数据生成单元111,作为从纠正单元21(计算设备36)输出的输出信号。教师数据生成单元111从用作在接收学习消息的时候供应的输入信号的驱动方向θ和作为教师数据供应给学习数据存储器53的、用作输出信号的纠正驱动方向、获得与学习操作信号相对应的权重W。
也就是说,在这种情况下,有必要获取在用户操作作为方向盘的操作单元98之后,汽车沿着预定方向出发的那一点的权重W,作为教师数据,以便汽车沿着预定方向出发。也就是说,有必要把用于纠正正好在用户操作用作方向盘的操作单元98和汽车沿着预定方向出发之后的、指示驱动方向θ的输入信号x(t)的权重用作教师数据。按照表达式(8),通过加权相加输入信号x(t)和正好在操作操作单元98之前输出的输出信号y(t-1),把正好在操作单元98的操作之后的输入信号x(t)纠正成正好在操作操作单元98之后的输出信号y(t),从而,可以按照表达式(8),从正好在操作单元98的操作之后的输入信号x(t)、正好在操作操作单元98之后的输出信号y(t)和正好在操作操作单元98之前输出的输出信号y(t-1)中获得用于纠正正好在操作单元98的操作之后的输入信号x(t)的权重W。因此,教师数据生成单元111从正好在学习消息的接收之后供应的用作输入信号x(t)的驱动方向θ和作为正好分别在学习消息的接收之前和之后供应的输出信号y(t-1)和y(t)的纠正驱动方向中获取权重W,并且将其供应给学习数据存储器53。
此外,一旦接收到学习消息,学生数据生成单元52就把从作为正好在那个时刻之前供应的输入信号的驱动方向中获得的权重w供应给学习数据存储器53,作为学生数据。也就是说,正如参照图4所述的那样,以与输入可靠度计算单元42、输出可靠度计算单元43、锁存电路44和权重计算单元45相同的方式配置学生数据生成单元52,并且学生数据生成单元52计算作为供应给它的输入信号的驱动方向的权重w(在权重计算单元45中获得的相同权重w),并且把正好在接收学习消息之前计算的权重w供应给学习数据存储器53,作为学生数据。
因此,在参数控制数据计算单元54上,把用户操作操作单元98和驱动方向变成用户希望的方向那一时刻的权重W取作教师数据,把与权重计算单元45正好在用户操作操作单元98之前输出的那个相同的权重w取作学生数据,并且进行表达式(20)和(21)所示的参数控制数据a和b的计算。
然后在权重纠正单元46上,按照表达式(13),利用参数控制数据a和b纠正在权重计算单元45上获得的权重w,并且将其供应给纠正单元21。
其结果是,参数控制数据a和b用于纠正在权重计算单元45上获得的权重w,以便把正好在用户操作操作单元98之前的驱动方向纠正成正好在用户操作操作单元98之后的驱动方向,因此,汽车沿着既定路线进行自动驱动。
也就是说,可以认为,由于陀螺传感器91中的误差或其输出中的噪声、计算单元93中的计算误差等,用户操作操作单元98的事实意味着计算单元93输出的驱动方向θ包含误差,因而不代表汽车的真正驱动方向,因此,汽车的实际驱动方向已经偏离了既定路线。并且可以认为,在这种情况下最终用户对操作单元98所作的操作是把汽车的实际驱动方向改变成沿着既定路线的方向。因此,通过进行学习,其中把用户操作操作单元98和汽车的实际驱动方向沿着既定路线那一时刻的权重W取作教师数据,并且把正好在用户操作操作单元98之前在权重计算单元45上获得的权重w,即在偏离既定路线的状态下权重计算单元45输出的权重w取作学生数据,从而获得用于纠正表达式(6)中的权重的表达式(13)的参数控制数据a和b,以便把在偏离既定路线的状态下的驱动方向纠正成沿着既定路线的方向。
接着,对如图17所示的优化设备94的处理单元101加以描述。现在,与如图4所示的NR电路的处理单元11一样,如图17所示的优化设备94的处理单元101通过纠正作为输入信号x(t)的计算单元93输出的驱动方向θ的纠正处理,进行获取用于控制(纠正)用作纠正参数的权重的参数控制数据的控制数据学习处理,获取用作纠正参数的权重的纠正参数计算处理要用于其纠正处理和用户对操作单元98(图16)的操作,但是,纠正处理与参照图7已经描述过的、由如图4所示的NR电路进行的纠正处理相同,因此,这里将描述如图17所示的优化设备94的处理单元101进行的纠正参数计算处理和学生数据学习处理。
首先,参照图18所示的流程图描述如图17所示的优化设备94的处理单元101进行的纠正参数计算处理。
在纠正参数计算处理中,首先,在步骤S111中,输入可靠度计算单元42以与图7中的步骤S31相同的方式,根据用作输入信号的、来自计算单元93(图16)的驱动方向θ的方差,获取输入可靠度αx(t),并且将其供应给输出可靠度计算单元43和权重计算单元45。
随后,流程转到步骤S112,在步骤S112中,权重计算单元45利用来自输入可靠度计算单元42的输入可靠度αx(t),按照表达式(6)获取供应给权重纠正单元46的权重w(t),然后流程转到步骤S113。
在步骤S113中,权重纠正单元46从参数控制数据存储器57读出参数控制数据,然后流程转到步骤S114。在步骤S114中,权重纠正单元46判断从参数控制数据存储器57中读出的参数控制数据是否是代表权重w(t)没有得到纠正的模式的自动模式数据,即在所述模式(自动模式)中,在权重计算单元45上可以说从输入可靠度和输出可靠度中自动获得的权重w(t)是用于与用户对操作单元98(图16)的操作无关、没有任何改变地纠正输入信号x(t)的权重W。
在步骤S114中做出参数控制数据不是自动模式数据的判断的情况下,流程转到步骤S115,在步骤S115中,权重纠正单元46按照通过参数控制数据存储器57供应的参数控制数据a和b定义的表达式(13)中的线性表达式,纠正权重计算单元45供应的权重w(t),然后转到步骤S116。在步骤S116中,权重纠正单元46把纠正后的权重供应给纠正单元21,作为纠正参数,然后流程转到步骤S117。
另一方面,在步骤S114中做出参数控制数据是自动模式数据的判断的情况下,跳过步骤S115,流程转到步骤S116,在步骤S116中,权重纠正单元46没有改变地把权重w(t)从权重计算单元45供应到纠正单元21,作为纠正参数,然后流程转到步骤S117。
在步骤S117中,输出可靠度计算单元43更新输出可靠度。也就是说,输出可靠度计算单元43按照表达式(5),相加输入可靠度计算单元42在前面步骤S111中计算的输入可靠度αx(t)和锁存电路44已经锁存的来自前一个样本的输出可靠度αy(t-1),从而获得以覆盖的形式存储在锁存电路44中的当前输出可靠度αy(t)
在步骤S117中的处理之后,流程返回到步骤S111,并且接着,重复相同的处理。
如上所述,对于如图18所示的纠正参数计算处理,在处在自动模式下的情况中,与操作单元98的操作无关地从输入可靠度和输出可靠度中获得要用于纠正处理的权重,而在没有处在自动模式下的情况中,利用根据操作单元98的操作,在如后所述的图19中的控制数据学习处理中通过学习获得的参数控制数据获得要用于纠正处理的权重。
接着,参照如图19所示的流程图,对如图17所示的优化设备94的处理单元101进行的控制数据学习处理加以描述。
对于控制数据学习处理,首先,在步骤S131中,操作信号处理单元110判断是否已经从操作单元98(图16)接收到学习操作信号,并且在做出还没有接收到信号的判断的情况下,流程返回到步骤S101。
此外,在步骤S101中做出已经从操作单元98接收到学习操作信号的判断的情况下,即在开始对例如作为操作单元98的方向盘等进行操作,在此之后,还没有经过第1时间t1或更长,在第2时间t2或更长内继续进行操作,在此之后,在第3时间t3或更长内持续停止其操作的情况下,或者,在开始对作为操作单元98的方向盘进行操作之后,在第3时间t3或更长内持续停止其操作的情况,使得可以做出用户已经操作了作为操作单元98的方向盘,把汽车引向所需方向的判断的情况下,流程转到步骤S132,在步骤S132中,教师数据生成单元111生成教师数据,而学生数据生成单元52生成学生数据。
也就是说,根据已经接收到学习操作信号的判断,操作信号处理单元110将学习消息供应给教师数据生成单元111和学生数据生成单元52。一旦接收到来自操作信号处理单元110的学习消息,在步骤S132中,教师数据生成单元111从计算单元93供应的作为输入信号的驱动方向θ和作为纠正单元21(计算设备36)输出的输出信号的、来自计算单元93(纠正驱动方向)的纠正驱动方向θ中获取与学习操作信号相对应的权重W。
具体地说,教师数据生成单元111接收代表来自计算单元93(图16)、正好在用户操作用作方向盘的操作单元98和汽车沿着所需方向出发之后的驱动方向θ的输入信号x(t)。并且,教师数据生成单元111被安排成保存纠正单元21输出的当前输出信号y(t)和前一个定时的输出信号y(t-1),即正好在操作操作单元98之前的输出信号y(t-1),并且按照表达式(8),利用输入信号x(t)和输出信号y(t)和y(t-1),在把学习操作信号(与学习操作信号相对应的权重)提供给它的时候,获取用在纠正单元21上的权重W。
请注意,在这种情况下,为了便于描述,认为用户对作为操作单元98的方向盘的操作是在从t-1到t的一个定时内瞬时完成的。
教师数据生成单元111像上述那样,获取与学习操作信号相对应的权重W,然后把权重W供应给学习数据存储器53,作为教师数据。
并且在步骤S132中,已经从操作信号处理单元110接收到学习消息的学生数据生成单元52向学习数据存储器53供应与利用从计算单元93(图16)供应的作为输入信号的驱动方向获得的输入可靠度和输出可靠度而计算的、权重计算单元45输出的权重相同的权重w,作为学生数据。
因此,把学习对供应给学习数据存储器53,其中,把通过用户操作操作单元98使汽车的实际驱动方向变成用户所希望的方向那一时刻用在纠正单元21上的权重W取作教师数据,并且把从输入可靠度和正好在用户操作操作单元98之前的输出可靠度获得的权重w取作学生数据。
一旦接收到来自教师数据生成单元111的教师数据W和来自学生数据生成单元52的学生数据w,学习数据存储器53在步骤S133中存储该组最新教师数据W和学生数据w,然后流程转到步骤S134。
在步骤S134中,参数控制数据计算单元54以与图8中的步骤S44相同的方式,对存储在学习数据存储器53中的最新教师数据和学生数据和对存储在学习信息存储器55中的学习信息进行与最小二乘有关的加入。并且在步骤S134中,参数控制数据计算单元54以覆盖学习信息存储器55的形式存储加入结果作为学习信息,然后流程转到步骤S135。
在步骤S135中,与图8中的步骤S45中的情况一样,参数控制数据计算单元54判断是否可以利用表达式(20)和(21),从用作学习信息存储在学习信息存储器55中的加入结果中获得参数控制数据a和b。
在步骤S135中做出不可获取参数控制数据a和b的判断的情况下,参数控制数据计算单元54把带有那种意思的信息供应给判断控制单元56,然后流程转到步骤S139。在步骤S139中,判断控制单元56把代表自动模式的自动模式数据供应给将其存储成参数控制数据的参数控制数据存储器57。然后流程返回到步骤S131,并且接着,重复相同的处理。
因此,在不存在可以获取参数控制数据a和b的足够学习信息的情况下,在权重计算单元45(图17)上从输入可靠度和输出可靠度中自动获得的权重w(t)没有改变地用于输入信号x(t)的纠正。
另一方面,在步骤S135中做出可以获得参数控制数据a和b的判断的情况下,流程转到步骤S136,在步骤S136中,参数控制数据计算单元54利用学习信息计算表达式(20)和(21),从而获得供应给判断控制单元56的参数控制数据a和b,然后流程转到步骤S137。
在步骤S137中,判断控制单元56按照来自参数控制数据计算单元54的参数控制数据a和b所定义的表达式(13)中的线性表达式,从存储在学习数据存储器53中的学生数据中获取相应教师数据的预测值,并且获取用于那个预测值的预测误差(有关存储在学习数据存储器53中的教师数据的误差)的表达式(15)所表示的平方误差之和。并且,判断控制单元56获取将平方误差之和除以例如存储在学习数据存储器53中的学习对的数量的归一化误差,然后流程转到步骤S138。
在步骤S138中,判断控制单元56判断归一化误差是否大于(等于或大于)预定阈值S1。在步骤S138中做出归一化误差大于预定阈值S1的判断的情况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达式不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S139,在步骤S139中,判断控制单元56像如上所述的那样,把代表自动模式的自动模式数据作为参数控制数据供应给存储它的参数控制数据存储器57。然后流程返回到步骤S131,并且接着,重复相同的处理。
因此,即使在可以获得参数控制数据a和b的情况下,在通过参数控制数据a和b定义的表达式(13)中的线性表达式不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,也以与不存在获取参数控制数据a和b的足够学习信息的情况相同的方式,使从输入可靠度和输出可靠度中自动获得的权重w(t)用于纠正输入信号x(t)。
另一方面,在步骤S138中做出归一化误差不大于预定阈值S1的判断的情况下,即在通过参数控制数据a和b定义的表达式(13)中的线性表达式精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S140,在步骤S140中,判断控制单元56获取由来自参数控制数据计算单元54的参数控制数据a和b所定义的表达式(13)中的线性表达式所表示的回归线和由存储在学习数据存储器53中的最新教师数据和学生数据所规定的点之间的误差(距离)ε。
然后流程转到步骤S141,在步骤S141中,判断控制单元56判断误差ε的幅度是否大于(等于或大于)预定阈值S2,并且在做出没有大于的判断的情况下,跳过步骤S142,流程转到步骤S143,判断控制单元56把在步骤S136中获得的参数控制数据a和b输出到参数控制数据存储器57。参数控制数据存储器57以覆盖的形式存储来自判断控制单元56的参数控制数据a和b,然后流程返回到步骤S131。
另一方面,在步骤S141中做出误差ε的幅度大于预定阈值S2的情况下,流程转到步骤S142,在步骤S142中,判断控制单元56控制参数控制数据计算单元54,以便通过控制参数控制数据计算单元54,只利用存储在学习数据存储器53中的、从最新教师数据和学生数据的最新学习对算起的预定个过去学习对(不利用学习信息存储器55中的学习信息),重新计算参数控制数据a和b。然后流程转到步骤S143,在步骤S143中,判断控制单元56把在步骤S142中获得的参数控制数据a和b输出到以覆盖的形式存储它的参数控制数据存储器57,然后流程返回到步骤S131。
因此,在可以获得参数控制数据a和b,并且通过参数控制数据a和b定义的表达式(13)中的线性表达式精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,按照通过利用根据用户对操作单元2的操作获得的学习对进行学习获得的参数控制数据a和b所定义的表达式(13),纠正从输入可靠度和输出可靠度中获得的权重w(t),并且把通过纠正获得的纠正权重W用于纠正输入信号x(t)。
如上所述,对于如图16所示的自动驱动设备,还对响应用户的操作供应的操作信号是否可以用于学习做出判断,并且在存在可以用于学习的学习操作信号的情况下,根据学习操作信号学习纠正用于纠正输入信号的权重的参数控制数据a和b,因此,无需用户知道就可以学习用户的操作,并且因此,根据学习的结果逐渐进行适合用户的处理,最后,进行最适合用户的处理。
也就是说,随着用户利用操作单元98进行操作,以便把驱动方向纠正成沿着既定路线,汽车逐渐进行沿着既定路线的自动驱动。
此外,对于如图17所示的优化设备94的处理单元101,也以与如图4所示的NR电路相同的方式,按照用户在操作单元98上的操作,改变用于在纠正单元21上进行的纠正处理(图6)的权重W,以便汽车的实际驱动方向沿着既定路线。也就是说,一旦用户操作操作单元98,使汽车的驱动方向沿着所需方向,计算单元93(图16)输出的作为输入信号的驱动方向θ就发生改变,从而,从驱动方向θ中获得的输入可靠度,进而从输入可靠度中获得的输出可靠度也发生改变。这个输入可靠度和输出可靠度的改变引起在权重计算单元45上获得的权重发生改变,并且通过权重纠正单元46把这个改变了的权重供应给纠正单元21。然后在纠正单元21上,利用已经供应的权重进行表达式(8)所表示的纠正处理。因此,在用户操作操作单元98的情况下,表达式(8)的权重因用户的操作而改变,然后以与针对图4中的NR电路所述的情况相同的方式,表达式(8)所表示的处理(纠正处理)的内容也理所当然地发生改变,因此,可以认为,对于如图17所示的优化设备94的处理单元101,“处理的内容”也随用户的操作而改变,从而可以获得用户所需的驱动方向。
并且对于如图17所示的优化设备94的处理单元101,也与图4中NR电路一样,在用户还没有输入足够的学习对的情况下,或者,在还没有输入借此可以进行高精度接近的学习对的情况下,从输入可靠度和输出可靠度中自动获得的权重用于纠正单元21上的纠正处理,并且在已经输入了借此可以进行高精度接近的学习对的情况下,通过利用学习对进行学习获得的参数控制数据a和b获得的纠正权重用于纠正单元21上的纠正处理。也就是说,计算用于纠正处理的权重的算法随没有获得足够数量的学习对或能够进行高精度接近的学习对的情况,和获得能够进行高精度接近的学习对的情况而改变。
因此,对于如图17所示的优化设备94的处理单元101,也与图4中NR电路一样,“处理的内容”,进而“处理的结构”也随用户的操作而改变,从而,汽车在按照既定路线的驱动方向进行自动驱动。
此外,例如,日本待审专利申请公布第7-13625号公开了用于像水稻插秧机等那样的工作车辆的驱动控制设备,并且对于驱动控制设备,计算自动操纵状态下控制参数的纠正量,以便缩小用户所作的操作的状态与基于例如陀螺传感器等的检测结果的信息之间的差异。因此,如图16所示的自动驱动设备与日本待审专利申请公布第7-13625号所述的驱动控制设备的共同之处在于,用于自动驱动(自动操纵)的参数的纠正量随用户所作的操作而改变。
但是,关于判断根据用户所作的操作供应的操作信号是否可以用于学习那一点,和在操作信号是可以用于学习的学习操作信号的情况下,根据学习操作信号学习纠正用于纠正输入信号的权重的参数控制数据那一点,如图16所示的自动驱动设备与日本待审专利申请公布第7-13625号所述的驱动控制设备存在很大差异,日本待审专利申请公布第7-13625号所述的驱动控制设备只在把切换器手动地切换到手动操纵控制模式的情况下,才计算自动操纵状态下控制参数的纠正量。
由于存在这样的差异,对于日本待审专利申请公布第7-13625号所述的驱动控制设备,每当用户感到没有进行适当的自动操纵时,用户必须把切换器切换到手动操纵控制模式,并且在计算了控制参数的纠正量之后,再次把切换器切换到自动操纵控制模式,这可能使用户感到非常麻烦。
相反,对于如图16所示的自动驱动设备,对根据用户所作的操作供应的操作信号是否可以用于学习做出判断,并且在这些操作信号是可以用于学习的学习操作信号的情况下,改变算法,以便根据学习操作信号学习纠正用于纠正输入信号的权重的参数控制数据,因此,如上所述,即使用户没有对切换器进行这样的切换,也可以进行适当的自动驱动。也就是说,无需用户知道,就可以进行用户所作的操作的学习,其结果是,学习随着用户纠正驱动方向而继续下去,并且即使用户没有做出操作,汽车也逐渐沿着既定路线驱动。
并且对于如图16所示的自动驱动设备,处理的结构与用户的操作相对应地发生改变,因此,关于这一点,也不同于日本待审专利申请公布第7-13625号所述的驱动控制设备。
接着,图20显示了如图16所示的优化设备94的处理单元101的另一个配置例。请注意,该图中与如图17所示的情况相对应的部分用相同的标号表示,并且在下文中适当地省略对它们的描述。
对于如图4和图10所示的NR电路的处理单元11,以及如图17所示的优化设备94的处理单元11,利用根据用户所作的操作获得的学习对学习控制纠正参数的参数控制数据,但是,对于如图20所示的处理单元101,利用根据用户所作的操作获得的学习对学习它们自己的纠正参数。
也就是说,对于如图20所示的实施例,纠正单元21被配置成包括纠正量计算单元141和计算设备142,和学习单元22被配置成包括学习数据存储器53、学习信息存储器55、判断控制单元56、操作信号处理单元110、教师数据生成单元143、学生数据生成单元144、纠正参数计算单元145和纠正参数存储器146。
把如后所述的纠正参数从学习单元22中的纠正参数存储器146供应到纠正量计算单元141,纠正量计算单元141利用纠正参数计算纠正作为输入信号的驱动方向θ的纠正量,并且将其供应给计算设备142。
把来自纠正量计算单元141的纠正量供应给计算设备142,并且还把来自计算单元93(图16)的、作为输入信号的驱动方向θ供应给它,计算单元142通过把纠正量加入其中,纠正作为输入信号的驱动方向θ,并且把纠正后驱动方向(纠正驱动方向)输出到自动驱动控制单元95(图16),作为输出信号。
教师数据生成单元143把正好在从操作信号处理单元110接收到学习消息之后供应的作为输入信号的驱动方向供应给学习数据存储器53,作为教师数据。学生数据生成单元144把正好在从操作信号处理单元130接收到学习消息之前供应的作为输入信号的驱动方向供应给学习数据存储器53,作为学生数据。
纠正参数计算单元145通过利用作为存储在学习数据存储器53中的学习数据的教师数据和学生数据,并且如有必要,利用存储在学习信息存储器55中的学习信息,计算新学习信息,从而学习使预定统计误差达到最小的纠正参数,并且在判断控制单元56的控制下,将其供应给判断控制单元56。纠正参数计算单元145利用通过学习获得的新学习信息,更新学习信息存储器55的存储内容。
纠正参数存储器146存储判断控制单元56输出的纠正参数。
对于像如上所述那样配置的优化设备94,如下所述那样纠正计算单元93供应的驱动方向θ。
也就是说,设陀螺传感器91(图16)在时刻t输出的偏航率为r′,在计算单元93上从其中将r′代替表达式(32)中的r的表达式计算驱动方向。
现在,设包含在陀螺传感器91输出的偏航率r′中的误差为er,真偏航率为r,陀螺传感器91输出的偏航率r′由下列表达式表示。
[表达式33]
r′=r+er                                           ...(33)
在计算单元93上,根据表达式(32)和(33),从陀螺传感器91输出的偏航率r′计算的驱动方向θ′如下。
[表达式34]
θ′=θ(0)+∫r′dt
    =θ(0)+∫(r+er)dt
    =θ(0)+∫rdt+∫erdt                             ...(34)
因此,由计算单元93获得的驱动方向θ′和从真偏航率r获得的真驱动方向θ之间的关系像下列表达式所示的那样。
[表达式35]
θ′=θ+∫erdt                                       ...(35)
在包含在陀螺传感器91输出的偏航率r′中的误差er是白色的情况下,正如下列表达式所示的那样,表达式(35)的右侧第2项从长远来看是0,因此,不存在任何特殊问题。就眼前来说,表达式(35)的右侧第2项不是0,但是,对于如图17所示的优化设备94的处理单元101,可以处理这种情况。
[表达式36]
∫erdt=0                                             ...(36)
但是,在误差er是彩色的情况下,误差er随着时间t的流逝而累积起来,因此,从计算单元93获得的驱动方向θ′大大地偏离真驱动方向θ。
也就是说,为了简化描述,考虑沿着不变方向直接前进的自动驱动,在自动驱动控制单元95(图16)上生成如图21中的虚线所示、使从计算单元93获得的驱动方向θ′保持不变的控制信号。
但是,在包含在从计算单元93获得的驱动方向θ′中的误差er是彩色的情况下,误差er随着时间t的流逝而累积起来,使得在从计算单元93获得的驱动方向θ′沿着如图21中的实线所示弯曲的路线时,例如汽车沿着直线一直前进。
因此,对于如图20所示的优化设备94的处理单元101,根据来自用户的学习操作信号,为学习用于纠正驱动方向θ′的纠正参数a0,a1,...,aN进行纠正参数学习处理,使得作为输入信号供应的从计算单元93获得的驱动方向θ′沿着如图21中的实线所指的路线,并且进行纠正处理,以便利用纠正参数a0到aN纠正从计算单元93获得的驱动方向θ′。
因此,如图20所示的优化设备94的处理单元101进行的纠正处理和纠正参数学习处理将参照图22和图23加以描述。虽然图18中的实施例涉及沿着不变方向的直线前进的自动驱动,但是,如图20所示的优化设备94的处理单元101可以应用于沿着任意路线的自动驱动。
首先,参照图22中的流程图描述如图20所示的优化设备94的处理单元101进行的纠正处理。
对于纠正处理,在步骤S151中,纠正量计算单元141利用存储在纠正参数存储器146中的纠正参数a0到aN计算纠正量。
也就是说,这里,纠正量是借助于例如利用纠正参数a0到aN和作为输入信号从计算单元93中获得的驱动方向θ′像表达式(37)所示那样表达的真驱动方向θ计算的。
[表达式37]
θ=θ′+a0+a1t1+a2t2+…+aNtN                       ...(37)
因此,根据表达式(37),在纠正量计算单元141上计算a0+a1t1+a2t2+…+aNtN,作为纠正量。把这个纠正量供应给计算单元142。
在步骤S152中,在计算单元142上相加从计算单元93中获得的驱动方向θ′和纠正量,并且输出它们的相加值(表达式(37)中的θ),作为输出信号,流程等待要供应的接着的输入信号的样本并且返回到步骤S151,随后,重复相同的处理。
接着,参照图23中的流程图描述图20中的优化设备94的处理单元101进行的纠正参数学习处理。
对于纠正参数学习处理,首先,在步骤S161中,操作信号处理单元110判断是否已经从操作单元98(图16)接收到学习操作信号,并且在做出还没有接收到这些信号的判断的情况下,流程返回到步骤S161。
此外,在步骤S161中做出已经从操作单元98接收到学习操作信号的判断的情况下,即在例如开始对操作单元98进行操作,在此之后,还没有经过第1时间t1或更长,在第2时间t2或更长内继续进行操作,在此之后,在第3时间t3或更长内持续停止其操作的情况下,或者,在开始对操作单元98进行操作之后,在第3时间t3或更长内持续停止其操作,使得可以做出用户已经操作了操作单元98以便把汽车引向所需方向的判断的情况下,流程转到步骤S162,在步骤S162中,教师数据生成单元143生成教师数据,而学生数据生成单元144生成学生数据。
也就是说,在接收到学习操作信号的情况下,操作信号处理单元110将带有那种意思的学习消息供应给教师数据生成单元143和学生数据生成单144。一旦接收到学习消息,教师数据生成单元143就获取正好在此之后供应的作为输入信号的驱动方向,作为教师数据,并且将其供应给学习数据存储器53。
也就是说,在这种情况下,对于教师数据,需要使用按照用户操作作为方向盘的操作单元98的驱动方向,以便汽车沿着所需方向出发。因此,教师数据生成单元143把在接收学习消息之后供应的作为输入信号的驱动方向θ作为教师数据供应给学习数据存储器53。
此外,一旦接收到学习消息,学生数据生成单元52把正好在此之前供应的作为输入信号的驱动方向,即正好在汽车沿着所需方向出发之前的驱动方向作为学生数据供应给学习数据存储器53。
在此之后,流程转到步骤S163,在步骤S163中,学习数据存储器53存储该组来自教师数据生成单元51的教师数据和学生数据,然后流程转到步骤S164。
在步骤S164中,由纠正参数计算单元145对教师数据和学生数据进行与对表达式(22)到(30)所述相同的最小二乘相加。
请注意,在步骤S164中的加入是以与如上所述相同的方式,利用作为学习信息存储在学习信息存储器55中的前相加结果进行的。此外,这里,进行相加是为了像表达式(37)中的θ′那样,获取使教师数据的预测值的平方误差之和达到最小的纠正参数a0到aN,像利用学生数据和对应教师数据计算的表达式(37)中的θ那样。
在步骤S164中的相加之后,纠正参数计算单元145以覆盖学习信息存储器55的形式存储作为学习信息的加入结果,然后流程转到步骤S165。
在步骤S165中,对纠正参数计算单元145是否可以从存储在学习信息存储器55中用作学习信息的相加结果获得纠正参数a1到aN做出判断。
在步骤S165中做出不能获取纠正参数a1到aN的判断的情况下,纠正参数计算单元145把带有那种意思的信息供应给判断控制单元56,然后流程转到步骤S169。在步骤S169中,判断控制单元56把代表禁止纠正的禁用数据作为纠正参数供应和存储到纠正参数存储器146。然后流程返回到步骤S161,并且接着,重复相同的处理。
因此,在不存在获取纠正参数a1到aN的足够学习信息的情况下,在纠正单元21上不进行输入信号的纠正。也就是说,输入信号的纠正量是0。
另一方面,在步骤S165中做出可以获得纠正参数的判断的情况下,流程转到步骤S166,在步骤S166中,纠正参数计算单元145利用学习信息获得纠正参数a0到aN,把这些纠正参数a0到aN供应给判断控制单元56,然后流程转到步骤S167。
在步骤S167中,判断控制单元56按照来自纠正参数计算单元145的参数控制数据a1到aN所定义的表达式(37),从存储在学习数据存储器53中的每个学生数据中获取相应教师数据的预测值,和获取与那个预测值的预测误差(有关存储在学习数据存储器53中的教师数据的误差)的平方和。并且,判断控制单元56获取将其预测误差的平方和除以例如存储在学习数据存储器53中的学习对的数量的归一化误差,然后流程转到步骤S168。
在步骤S168中,判断控制单元56判断归一化误差是否大于(等于或大于)预定阈值S1。在步骤S168中做出归一化误差大于预定阈值S1的判断的情况下,即在通过纠正参数a1到aN定义的表达式(37)的线性表达式不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S169,在步骤S169中,判断控制单元56像如上所述的那样,向纠正参数存储器146供应和存储禁用数据,作为纠正参数。然后流程返回到步骤S161,并且接着,重复相同的处理。
因此,即使在可以获得纠正参数a1到aN的情况下,在通过纠正参数a1到aN定义的表达式(37)不精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,也以与不存在获取纠正参数a1到aN的足够学习信息的情况相同的方式,使输入信号x(t)的纠正量是0。
另一方面,在步骤S168中做出归一化误差不大于预定阈值S1的判断的情况下,即在通过纠正参数a1到aN定义的表达式(37)的线性表达式精确地接近存储在学习数据存储器53中的学生数据和教师数据之间的关系的情况下,流程转到步骤S170,在步骤S170中,判断控制单元56获取由来自纠正参数计算单元145的纠正参数a0到aN所定义的表达式(37)的面和由存储在学习数据存储器53中的最新教师数据和学生数据所规定的点之间的误差ε。
然后流程转到步骤S171,在步骤S171中,判断控制单元56判断误差ε的幅度是否大于(等于或大于)预定阈值S2,并且在做出没有大于的判断的情况下,跳过步骤S172,流程转到步骤S173,在步骤S173中,判断控制单元56把在步骤S166中获得的纠正参数a0到aN输出到纠正参数存储器146。在这种情况下,纠正参数存储器146以覆盖的形式存储来自判断控制单元56的纠正参数a0到aN,然后流程返回到步骤S161。
另一方面,在步骤S171中做出误差ε的幅度大于预定阈值S2的情况下,流程转到步骤S172,在步骤S172中,判断控制单元56控制纠正参数计算单元145,只利用存储在学习数据存储器53中的最新教师数据和学生数据,重新计算纠正参数a0到aN。然后流程转到步骤S173,在步骤S173中,判断控制单元56把在步骤S172中获得的纠正参数a0到aN输出到参数控制单元数据存储器37,以覆盖的形式存储,然后流程返回到步骤S161。
也就是说,对于如图23中的实施例,也以与图8中的实施例相同的方式,在步骤S170中,在从到目前为止提供的教师数据和学生数据获得的纠正参数a0到aN所定义的表达式(37)定义的面和由最新教师数据和学生数据所规定的点之间获得误差ε。
在误差ε的幅度不大于预定阈值S2的情况下,在步骤S166中获得的纠正参数a0到aN所定义的表达式(37)的面被认为相对精确地接近包括由最新教师数据和学生数据所规定的点在内的、由到目前为止提供的教师数据和学生数据所规定的点,因此,在纠正参数存储器146中存储纠正参数a0到aN
另一方面,在误差ε的幅度大于预定阈值S2的情况下,由最新教师数据和学生数据所规定的点被认为相当大地偏离在步骤S166中获得的纠正参数a0到aN所定义的表达式(37)的面,因此,在步骤S172中,判断控制单元56只利用存储在学习数据存储器53中的最新教师数据和学生数据重新计算纠正参数a0到aN
因此,在这种情况下,也根据按照用户所作的操作供应的学习操作信号,为表达式(37)的纠正参数a0到aN进行学习,从而,无需用户知道,就可以学习用户的操作,并且可以利用学习结果进行最适合用户的处理。
并且,在这种情况下,在包含在计算单元93(图16)输出的行进方向中的误差是彩色的情况下,可以使汽车沿着预定设定路线进行自动驱动。
此外,对于图20中的优化设备94的处理单元101,改变用在纠正单元21上进行的纠正处理(图6)中的纠正参数,以便在用户在操作单元98上进行操作之后,汽车的实际驱动方向沿着既定路线。也就是说,一旦用户操作操作单元98,使汽车的驱动方向沿着所需方向,就利用分别作为学生数据和教师数据的、由计算单元93(图16)输出的、正好在操作单元98的操作之前和之后的作为输入信号的驱动方向θ的每一个,进行纠正参数的学习,从而改变纠正参数。把改变了的纠正参数供应给纠正单元21,在纠正单元21上利用纠正参数计算纠正量,并且根据纠正量对输入信号进行纠正处理(图22)。因此,在用户操作操作单元98的情况下,表达式(37)的纠正参数由用户的操作改变,使得通过表达式(37)表示的处理(纠正处理)的内容也理所当然地改变,从而可以认为,对于如图20所示的优化设备94的处理单元101,“处理的内容”也随用户的操作而改变,从而可以获得用户所需的驱动方向。
并且,对于图20中的优化设备94,在用户没有输入足够的学习对的情况下,或者,在没有输入能够进行高精度接近的学习对的情况下,使纠正单元21上输入信号的纠正量是0,并且在用户输入能够进行高精度接近的学习对的情况下,通过从利用学习对进行学习获得的纠正参数获得的纠正量进行输入信号的纠正。也就是说,计算纠正单元21用于纠正处理的权重的算法在没有获得足够数量的学习对或能够进行高精度接近的学习对的情况,和获得能够进行高精度接近的学习对的情况之间改变。
因此,对于图20中的优化设备94的处理单元101,“处理的内容”,以及“处理的结构”也随用户的操作而改变,从而,汽车按照既定路线进行沿着驱动方向的自动驱动。
现在,对于图23中的实施例(与图8和图13中的实施例一样),在步骤S170中,获得来自纠正参数计算单元145的纠正参数a0到aN所定义的表达式(37)定义的面和由最新教师数据和学生数据所规定的点之间的误差ε,然后进行随后的处理,但是,也可以做出这样的安排,即在步骤S170中,获得由在供应数组最近教师数据和学生数据之前在步骤S166中获得的纠正参数a0到aN所定义的表达式(37)定义的面和由数组最近教师数据和学生数据所规定的点的每一个之间的误差ε,然后根据数个误差ε进行随后的处理。
请注意,除了图17和图20所示的那些之外,图16中的优化设备94的处理单元101被配置成使用例如图10所示的优化设备1的处理单元11。
接着,图24显示了应用如图1所示的优化设备的自动驱动设备的另一个实施例的配置例。请注意,在该图中,与图16中的那些相对应的部分用相同的标号表示,并且在下文中适当地省略对它们的描述。也就是说,除了含有新配备在优化设备94中的内部信息生成单元161,以及含有新配备的显示设备171之外,以与图16所示相同的方式配置如图24所示的自动驱动设备。
以与图14中的内部信息生成单元171相同的方式,内部信息生成单元161从处理单元1中读出内部信息,将其转换成图像信息,并且将其输出到显示单元171。显示单元171以预定显示格式显示内部信息生成单元161供应的内部信息。
在如图24所示的实施例中,处理单元101可以被配置成像图17和图20所示的那样。在以与图17所示相同的方式配置如图24所示的处理单元101的情况下,除了纠正参数计算处理之外,进行与图17中的处理相同的处理。现在,参照图25中的流程图描述当被配置成如图17所示那样时,如图24所示的处理单元101进行的纠正参数计算处理。
对于步骤S191到步骤S197,进行与图18中的步骤S111到S117的每一步中的处理相同的处理。
在步骤S197中的处理之后,流程转到步骤S198,把内部信息显示在显示单元171上。那就是,更具体地说,例如,内部信息生成单元161读取存储在权重存储器31(图17)中的权重W,作为内部信息,将其转换成可以显示在显示单元171上的图像信号,并且输出和在显示单元171上显示(呈现)它。在处理步骤S198之后,流程返回到步骤S111,随后,重复相同的处理。
由于参照图25中的流程图所述的处理,在显示单元17上显示(呈现)与处理单元101的处理有关的作为内部信息的权重W,随后,用户可以一边观看显示器,一边操作操作单元98,从而进行最佳自动驱动。
此外,在如上所述的情况中,显示了权重W,但是,可以在与这个内部信息生成单元161一起的显示设备171上显示(呈现)其它内部信息,例如,可以从参数控制数据存储器37中读出和显示参数控制数据a和b。此外,可以做出这样的安排,使选择单元41选择的权重是从利用学习对进行学习获得的参数控制数据a和b中获得的权重,或从输入可靠度或输出可靠度中获得的权重。
接着,在图24的处理单元101被配置成如图20所示的那样的情况下,除了纠正参数学习处理之外,进行与在图20中进行的处理相同的处理。现在,参照如图26所示的流程图,描述在如图24所示的处理单元101被配置成如图20所示那样的情况下的纠正参数学习处理。
在步骤S211到S223中,进行与图23中的步骤S161到S172的每一步中的处理相同的处理。
在步骤S219和步骤S223中的处理之后,流程转到步骤S224,在步骤S224中,例如,内部信息生成单元161读取存储在纠正参数存储器中的纠正参数a0到aN,作为内部信息,将其转换成可以显示在显示单元171上的图像信号,并且在显示单元171上显示它。同时,对于被配置成包括数个参数的纠正参数a0到aN,可以做出另一种安排,即以条形图的形式进行显示,例如,如图27所示,参数为水平轴,而值为垂直轴。此外,如图28所示,例如,可以使两个任意纠正参数ai到aj分别为水平轴和垂直轴来显示纠正参数a0到aN。并且,可以做出这样的安排,即可以由用户来选择用作水平轴和垂直轴的纠正参数。
随后,流程返回到步骤S211,并且接着,重复相同的处理。
如上所述,由于参照图26中的流程图所述的纠正参数处理,纠正参数a0到aN得到显示,从而,借助于如图24所示的优化设备94的处理单元101,把纠正参数a0到aN显示成内部信息,因此,用户可以一边观看显示器,一边操作操作单元98,以便进行最佳自动驱动。
并且,借助于内部信息生成单元161,可以显示除了纠正参数a0到aN之外的内部信息。
此外,在如图26所示的实施例中,在步骤S219中的处理之后,流程转到步骤S224的情况下,把用作内部信息的纠正参数a0到aN显示成0。
接着,参照图29描述作为如图1所示的优化设备的另一个实施例的优化设备201。优化设备201被配置成含有处理单元211,并且用于从例如用作输入信号的图像信号等消除噪声和优化显示的图像信号。现在,在本例中,图像信号将被描述成主输入信号的例子,信号不限于图像信号,也可以是其它信号。
处理单元211被配置成包括学习单元221和映射处理单元222。把操作信号从操作单元202供应到处理单元211的学习单元221,学习单元221根据操作信号学习利用映射处理单元222进行处理所需的系数组,并且将这些系数组存储在系数存储器235中。至于学习单元211的学习的标准(norm)(学习标准),可以使用例如最小N次方误差法(最小N次方法)。最小N次方误差法将在以后加以描述。
映射处理单元222进行将输入信号映射(转换)成预定输出信号的映射处理。也就是说,映射处理单元222从用作输出信号的图像信号当中取出要作为感兴趣像素获得的像素,从作为输入信号的图像信号提取与感兴趣像素相对应的那个抽头(处理所需的至少一个或多个像素,也称为样本),和进行存储在系数存储器235中的系数组的乘积之和的计算处理,从而获得感兴趣像素。映射处理单元222进行与使像素构成用作输出信号的图像信号相同的处理(映射),生成用作将其输出到显示单元203的输出信号的图像信号,并且显示它们。
操作单元202由用户操作,把与操作相对应的操作信号供应给学习单元221。显示单元203显示作为映射处理单元202输出的输出信号的像素信号。
接着,参照图30描述如图29所示的学习单元221的详细配置。教师数据生成单元231从输入信号中生成用作学习的教师的教师数据,并且将其输出到最小N次方误差系数计算单元234。学生数据生成单元232从输入信号中生成用作学习的学生的学生数据,并且将其输出到预测抽头提取单元233。例如,这个教师数据和学生数据由没有对输入信号进行处理的教师数据生成单元231,或者由通过预定稀化处理或LPF(低通滤波)等使输入数据变差的学生数据生成单元232等生成,并且只要像对于教师数据使其变差的学生数据那样生成学生数据,就不局限于如上所述的配置。因此,除了如上所述的那种之外,例如,在教师数据生成单元231使输入信号经受预定稀化或LPF处理的情况下,学生数据生成单元232足以比教师数据生成单元231进行的处理更高程度地进行稀化或LPF处理。此外,可以做出这样的安排,即无需任何改变地把输入信号用作教师数据,和把噪声叠加在上面的输入信号用作学生数据。
然后预测抽头提取单元233顺序取出构成作为教师数据的图像信号的像素,作为感兴趣像素,从用作学生数据的图像信号提取与感兴趣像素存在预定位置关系的至少一个或多个像素(抽头),作为预测抽头,并且将其输出到最小N次方误差系数计算单元234。
最小N次方误差系数计算单元234根据从操作单元202输入的、代表指定最小N次方误差系数计算处理所需的指数值N的信息的操作信号,通过最小N次方误差法,从预测抽头和教师数据中计算系数组,将其输出到系数存储器235,并且存储它(适当地进行覆盖存储)。
系数存储器235存储最小N次方误差系数计算单元234供应的系数组,并且适当地将其输出到映射处理单元222。
接着,参照图31描述图29中的映射处理单元222的配置。映射处理单元222的抽头提取单元251通过从用作输入信号的图像信号顺序提取构成用作输出信号的图像信号的像素,作为感兴趣像素,构造其抽头配置与如图30所示的预测抽头提取单元233构造的抽头配置相同的预测抽头,作为与感兴趣像素存在预定位置关系的像素的预测抽头(像素值),并且将其输出到乘积之和计算单元252。乘积之和计算单元252通过在从抽头提取单元251输入的提取预测抽头(像素)的值和存储在学习单元221的系数存储器235中的系数组之间进行乘积之和计算,生成感兴趣像素,并且将其输出到显示单元203(图29)。
现在,描述图30所述的最小N次方误差系数计算单元234进行的最小N次方误差法的系数计算。在最小N次方误差法中指数N=2的情况通常被称为最小二乘误差法(最小平方误差方法)。也就是说,在用作感兴趣像素的教师数据用y表示,构成预测抽头的M个学生数据段用xi(i=1,2,...,M)表示,预定M个系数分别是wi,和教师数据y的预测值y′是预测抽头xi和预定系数wi的线性组合(乘积之和计算)w1x1+w2x2+...+wMxM的情况下,获得如图32所示的、使用黑点表示的教师数据y和用白点表示的预测值y′之间的误差(在图中,用箭头表示的、用作教师数据的真值y与其预测误差y′之差的绝对值)的平方之和达到最小的系数组w1,w2,...,wM
在改变最小N次方误差法中的指数值N的情况下,误差大的预测值y′的误差在例如指数N大的情况下,极大地影响N次方误差之和,因此,对于最小N次方误差法,获取在舍弃(save)这种误差大的预测值y′的方向的系数(使误差大的预测值y′的误差减少的系数)。但是,误差小的预测值y′的误差对N次方之和影响小,不会给予太多的考虑,因此,往往对其忽略不计。相反,在指数N小的情况下,误差大的预测值y′的误差对N次方之和的影响小于指数N大的情况,误差小的预测值y′的误差对N次方之和的影响甚至更小。因此,根据最小N次方误差法,与指数N大的情况相比,获取在减少误差小的预测值的误差方向的系数。
请注意,预测值y′的误差对N次方误差之和的影响的变化是由于预测值y′的误差的N次方引起的,下文可以称此为N次方误差性质。
如上所述,存在利用最小N次方法从指数N获得的系数组的定性趋势,因此,利用最小N次方法,通过改变指数N来获取系数组可以获得适合用户偏爱的执行映射处理的系数组(使对输入信号映射的输出信号成为用户偏爱的那些的系数组)。但是,事实上,利用除了最小N次方误差法之外的其它方法,即指数是除了N=2之外的其它值的方法,计算使预测值y′的N次方误差之和达到最小的系数组是极其困难的。
现在,描述利用除了最小平方误差法之外的其它方法计算使预测值y′的N次方误差之和达到最小的系数组的原因。
预测值y′的误差的N次方之和(N次方误差之和)可以用表达式(38)表示。
[表达式38]
E = Σ sample e N · · · ( 38 )
这里,E指示样本个用作教师数据的真值y和预测值y′之间的误差e的N次方之和。
另一方面,对于本实施例,如上所述,真值y的预测值y′通过预测抽头xi和预测系数wi的线性组合,即像下列表达式(39)那样来定义。
[表达式39]
y ′ = w 1 x 1 + w 2 x 2 + · · · + w M x M = Σ i = 1 M w i x i · · · ( 39 )
现在,下文可以把系数w1,w2,w3,...,xM称为预测系数。一组预测系数是存储在如图30所示的系数存储器235中的系数组。此外,对于预测抽头x1,x2,x3,...,xM,可以应用与用作教师数据的图像的像素(真值)y相对应的、在空间方面或时间方面靠近用作学生数据的图像的位置的像素。
在这种情况下,表达式(38)中的误差e可以用下列表达式(40)来表示。
[表达式40]
e = | y - y ′ | = | y - Σ i = 1 M w i x i | · · · ( 40 )
对于最小N次方误差法,需要获得使从表达式(40)得出的下列表达式(41)和表达式(42)所指的N次方误差之和E达到最小的预测系数w1,w2,w3,...,wM。请注意,表达式(41)是在指数N是奇数的情况下表示和E的表达式,和表达式(42)是在指数N是偶数的情况下表示和E的表达式。
[表达式41]
E = Σ sample e N = Σ sample | y - Σ i = 1 M w i x i | N · · · ( 41 )
[表达式42]
E = Σ sample e N = Σ sample | y - Σ i = 1 M w i x i | N = Σ sample ( y - Σ i = 1 M w i x i ) N · · · ( 42 )
现在,在表达式(41)的情况下,即在指数N是奇数的情况下,如果真值y和预测值y′之间的差值y-y′的幅度之和是同一值,那么,和E是与差值y-y′的表示法无关的同一值,因此,不能获得使和E达到最小的预测系数w1,w2,w3,...,wM。也就是说,和E是包含绝对值的函数,并且是例如像图33所示那样的函数。因此,除了通过全搜索之外,不能获得使和E达到最小的预测系数w1,w2,w3,...,wM。图33表示了在指数N=1的情况下预测系数wi和和E的变化。
另一方面,在表达式(42)的情况下,即在指数N是偶数的情况下,和E总是满足E≥0,因此,正如下列表达式(43)所指的那样,通过把求表达式(42)中的和E关于预测系数wi的偏导数获得的表达式设为0,可以获得最小值。
[表达式43]
∂ E ∂ w i = Σ sample N ( y - Σ j = 1 M w j x j ) N - 1 · ( - x i )
= - N Σ sample x i ( y - Σ j = 1 M w j x j ) N - 1
= 0 · · · ( 43 )
因此,根据表达式(43),通过求解下列表达式(44)所指的表达式,可以获得使N次方误差的和E达到最小的解,即预测系数w1,w2,w3,...,wM
[表达式44]
Σ sample x i ( y - Σ j = 1 M w j x j ) N - 1 = 0 , ( i = 1,2 , . . . , M ) · · · ( 44 )
关于这个表达式(44),例如,在指数N=2的情况下,即在利用所谓的最小平方误差方法求得解的情况下,把2代入表达式(44)中的指数N并且求解下列表达式(45)就足够了。
[表达式45]
Σ j = 1 M Σ sample x i x j w j = Σ sample x i y , ( i = 1,2 , . . . , M ) · · · ( 45 )
正如下列表达式(46)所示的那样,表达式(45)中的表达式可以以矩阵表达式的形式来表示,并且称为正规方程。此外,在指数N=2的情况下,和E的最小值是唯一确定的,并且其最小值是和E的最小值。如果从表达式(45)中的正规方程构造数量等于预测系数w1,w2,w3,...,wM的数量(在这种情况下,是M)的线性方程的系统,那么,可以通过例如Cholesky方法等求解线性方程的系统,并且可以获得预测系数w1,w2,w3,...,wM
[表达式46]
Σ sample x 1 x 1 Σ sample x 1 x 2 . . . Σ sample x 1 x M Σ sample x 2 x 1 Σ sample x 2 x 2 . . . Σ sample x 2 x M . . . . . . . . . . . . Σ sample x M x 1 Σ sample x M x 2 . . . Σ sample x M x M w 1 w 2 . . . w M = Σ sample y x 1 Σ sample y x 2 . . . Σ sample y x M · · · ( 46 )
此外,为了求解表达式(46)中的正规方程,在表达式(46)的左侧使预测抽头的乘积xixj之和(∑xixj)成为分量的矩阵必须是正则的。
在指数N是偶数,并且还是4或更大的情况下,可以把表达式(42)表达成如下列表达式(47)所示的那样。
[表达式47]
Σ r = 0 N = 1 Σ sample x i · ( - 1 ) r · N - 1 C r · y N - 1 - r · ( Σ j = 1 M w j x j ) r = 0 , ( i = 1,2 , . . . , M ) · · · ( 47 )
对于如表达式(47)所示的表达式,这形成了高阶方程的系统,因此,通过求解如指数N是N=2的情况的线性表达式的系统,不能获得预测系数w1,w2,w3,...,wM
如上所述,在指数N是除了N=2之外的其它值的情况下,一般说来,不能容易地获得使表达式(38)所指的N次方误差之和达到最小的预测系数w1,w2,w3,...,wM
因此,学习单元221的最小N次方误差系数计算单元234通过下列2种最小N次方误差法计算预测系数。应用2种最小N次方误差法的哪一种可以通过例如用户操作操作单元202(图29)来指定。
首先,描述第1种方法(下文也称之为直接技术)。正如下列表达式(48)所指的那样,把其中误差e2的项乘以权重αs的和E定义成N次方误差之和,代替表达式(38)。
[表达式48]
E = Σ sample e N = Σ sample α s e 2 · · · ( 48 )
也就是说,把作为误差的N次方的eN定义为权重αs和误差平方e2的乘积。
在这种情况下,通过例如如下列表达式(49)所示、使表达式(48)中的权重αs成为通过表达式(39)中的线性表达式、从在指数N是N=2的情况下获得的预测系数w1,w2,w3,...,wM获得的预测值y′的函数,可以获得使表达式(48)中的N次方误差之和E达到最小的预测系数w1到wM
[表达式49]
αs=f(y′)                                             ...(49)
虽然可以为权重αs构想各种各样的函数,但是,需要应用在表达式(48)中定义的误差的N次方eN=αse2满足如上所述的N次方误差性质的函数,和可以应用例如如下列表达式(50)所示的函数。
[表达式50]
αs=axs c+b                                             ...(50)
现在,xs代表通过表达式(39)从通过最小平方误差法获得的预测系数w1到wM计算的预测值y′的误差(下文可以称之为源自最小平方标准的误差)被归一化成0到1.0范围内的值,并且利用预测值y′的误差xs定义的表达式(50)中的权重αs如图34所示。
系数a是控制源自最小平方标准的误差xs对N次方误差eN的影响的项,并且在系数a是a=0的情况下,权重αs是图34中斜率为0的水平线。在这种情况下,源自最小平方标准的误差xs对N次方误差eN的影响是与源自最小平方标准的误差xs有多大或多小无关的常数,并且使表达式(48)中的和E达到最小的预测系数wi在逻辑上与通过最小平方误差法获得的那个是相同的。因此,使a=0基本上实现了最小平方误差法。此外,在系数a>0成立的情况下,误差xs越大,源自最小平方标准的误差xs对表达式(48)中N次方误差eN的影响越大,而误差xs越小,源自最小平方标准的误差xs对表达式(48)中N次方误差eN的影响越小。另一方面,在系数a<0成立的情况下,误差xs越大,源自最小平方标准的误差xs对表达式(48)中N次方误差eN的影响越小,而误差xs越小,源自最小平方标准的误差xs对表达式(48)中N次方误差eN的影响越大。
也就是说,在系数a是正数的情况下,表达式(48)中的N次方误差eN具有与使指数N成为大数相同的性质,而在系数a是负数的情况下,表达式(48)中的N次方误差eN具有与使指数N成为小数相同的性质。因此,表达式(48)中的N次方误差eN具有与表达式(38)中的N次方误差eN相同的性质,于是,使表达式(48)中N次方误差的和E达到最小的预测系数基本上就是使表达式(38)中N次方误差的和E达到最小的预测系数。
此外,在系数a是0的情况下,如上所述,实现了最小平方误差法。也就是说,指数N是2,但是,对于系数a是正数的情况,这造成指数N是N>2的情况,而对于系数a是负数的情况,这造成指数N是N<2的情况。与如后所述的系数c一样,这个系数a极大地影响最小N次方误差法中的指数N。
系数b是修正项,图34中的整个函数值(权重αs)在垂直方向上随系数b的值而改变。此外,系数b对最小N次方误差法中的指数N的影响没那么大。
系数c是转换坐标比例的项,即改变使权重αs适合源自最小平方标准的误差的方式的项,其中,系数c的值越大,权重αs的改变越陡峭,和系数c的值越小,权重αs的改变越和缓。因此,由于系数c的变化造成的源自最小平方标准的误差xs对表达式(48)中的N次方误差eN的影响与系数a的变化造成的影响相同,于是,表达式(48)中的N次方误差eN也可以拥有与表达式(38)中的N次方误差eN随系数c的相同的性质。也就是说,最小N次方误差的指数N可以受系数c的影响。
请注意,图34中的直线表示c=1和a>0(b是任意值)的情况,和图34中的曲线表示c≠1和a>0(b是任意值)的情况。
规定表达式(50)中的权重αs的系数a、b和c可以通过用户操作(设置)操作单元202来改变,和表达式(50)中的权重αs通过改变系数a、b和c来改变。权重αs的这种改变使表达式(48)中的αse2基本上(相当于)起关于预定指数N的误差的N次方eN的作用,因此,获得使表达式(50)中的N次方误差的和E达到最小的预测系数,即通过最小N次方误差法的标准的预测系数wi
此外,对于上述的第1实施例,以不同方式改变确定权重αs的系数a、b和c基本上都是改变指数N,以便通过最小N次方误差法获得预测系数,因此,指数N不局限于整数,在指数N是诸如小数之类的另一个实数例如其中指数N=2.2的情况下,可以获得预测系数。
接着,描述通过最小N次方误差法计算预测系数的第2种方法(下文也称之为递归法)。对于第1种方法,正如表达式(48)所示的那样,将乘以权重αs的平方误差e2用作N次方误差,但是,对于第2种方法,使用利用低阶最小N次方误差法获得的解,然后可以利用递归技术获得通过高阶最小N次方误差法获得的解。
也就是说,可以利用如上所述的最小平方误差法获得使下列表达式(51)中的平方误差的和E达到最小的预测系数wi,其中,把利用通过这个最小平方误差法获得的预测系数wi,通过表达式(39)计算的预测值y′表示成y1(下文可以称之为源自最小平方标准的预测值)。
[表达式51]
E=∑e2                                        ...(51)
接着,让我们考虑例如下列表达式(52)所表达的立方误差之和E。
[表达式52]
E=∑|e|3=∑(|y-y1|)e2                        ...(52)
获取使表达式(52)中的立方误差之和E达到最小的预测系数wi意味着通过最小立方误差法求解,其中,如表达式(52)所示,立方误差|e3|以平方误差e2和源自最小平方标准的预测值y1与真值y之间的误差|y-y1|之积的形式表示。表达式(52)中的|y-y1|可以作为一个常数来获得,因此,实际上,可以通过最小平方误差法获得使表达式(52)中的立方误差之和E达到最小的预测系数wi
同样,让我们考虑表达式(53)所表达的四次方误差之和E。
[表达式53]
E=∑e4=∑(|y-y2|2e2                                ...(53)
获取使表达式(53)中的四次方误差之和E达到最小的预测系数wi意味着通过最小四次方误差法求解,其中,把利用使表达式(52)中的立方误差之和E达到最小的预测系数wi,通过表达式(39)计算的预测值y′表示成y2(下文可以称之为源自最小立方标准的预测值),如表达式(53)所示,四次方误差|e4|可以平方误差e2和源自最小立方标准的预测值y2与真值y之间的平方误差|y-y2|2(下文可以称之为源自最小立方标准的平方误差)之积的形式表示。表达式(53)中源自最小立方标准的平方误差|y-y2|2可以作为一个常数来获得,因此,实际上,可以通过最小平方误差法获得使表达式(53)中的四次方误差之和E达到最小的预测系数wi
这对于下列表达式(54)也是成立的。
[表达式54]
E=∑|e|5=∑(|y-y3|)3e2                            ...(54)
获取使表达式(54)中的五次方误差之和E达到最小的预测系数wi意味着通过最小五次方误差法求解。把利用使表达式(53)中的四次方误差之和E达到最小的预测系数wi,通过表达式(39)计算的预测值y′表示成y3(下文可以称之为源自最小四次方标准的预测值),如表达式(54)所示,五次方误差|e5|可以以平方误差e2和源自最小四次方标准的预测值y3与真值y之间的立方误差|y-y3|3(下文可以称之为源自最小四次方标准的立方误差)之积的形式表示。表达式(54)中源自最小四次方标准的立方误差可以作为一个常数来获得,因此,实际上,也可以通过最小平方误差法获得使表达式(54)中的五次方误差之和E达到最小的预测系数wi
对于指数N是6或更高阶的最小N次方误差的情况,也可以以同样的方式求解(预测系数wi)。
如上所述,对于第2种方法,利用通过低阶最小N次方误差法获得的预测系数计算的预测值用于求更高阶最小N次方误差的解,并且递归地重复这种过程,从而求得更高阶最小N次方误差的解。请注意,对于如上所述的情况,通过最小N次方误差得出的解是利用借助于通过比其仅低1阶的N-1次方误差获得的预测系数计算的预测值获得的,但是,通过最小N次方误差得出的解也可以利用通过比其低任意阶的最小N次方误差获得的预测系数计算的预测值而获得。也就是说,在表达式(53)的情况下,可以用|y-y1|取代|y-y2|,和在表达式(54)的情况下,可以用|y-y2|或|y-y1|取代|y-y3|。
此外,在第2种方法中,N次方误差eN可以以平方误差e2和N-2次方误差|y-y′|N-2之积的形式表示,因此,与第1种方法一样,可以通过任意指数N例如其中指数N=2.2的最小N次方误差求解。
接着,参照图35中的流程图描述利用图29中的优化设备201进行的图像优化处理。这个图像优化处理由学习处理和映射组成。
在学习处理中,在步骤S230中,对用户是否已经操作了操作单元202做出判断,并且在做出还没有操作这个操作单元202的判断的情况下,流程返回到步骤S230。此外,在步骤S230中,在做出已经操作了这个操作单元202的判断的情况下,流程转到步骤S231。
在步骤S231中,学习单元221的教师数据生成单元231从输入信号中生成教师数据,并且将其输出到最小N次方误差系数计算单元234,而学生数据生成单元232从输入信号中生成学生数据,并且将其输出到预测抽头提取单元233,然后流程转到步骤S232。
现在,对于用于生成学生数据和教师数据(下文可以称之为学习数据)的数据,例如,可以应用输入在时间上从当前时刻算起往回预定时间量的那一点的输入信号。此外,对于学习数据,可以做出这样的安排,即事先存储专用数据,而不是使用输入信号。
在步骤S232中,对于作为感兴趣像素的每个教师数据段,预测抽头提取单元233从与每个感兴趣像素有关的由学生数据生成单元232输入的学生数据中生成预测抽头,并且将其输出到最小N次方误差系数计算单元234,然后流程转到步骤S233。
在步骤S233中,最小N次方误差系数计算单元234判断是否通过操作单元202输入了指定借助于递归方法(第2种方法)通过最小N次方误差法对系数组的计算的操作信号,并且在例如用户已经操作了操作单元202和已经指定了不是递归方法的方法,即直接方法(第1种方法)的情况下,流程转到步骤S234,在步骤S234中,对是否输入指定表达式(50)中的权重αs(指定指数N)的系数a、b和c做出判断,重复该处理,直到输入它们为止,并且在做出例如用户已经操作了操作单元202和已经输入指定系数a、b和c的值的判断的情况下,流程转到步骤S235。
在步骤S235中,最小N次方误差系数计算单元234主要通过最小平方误差法,在输入系数a、b和c,以及权重αs的状态下,求解使上述表达式(48)达到最小的问题,从而获得预测系数w1,w2,w3,...,wM,对于与权重αs,即系数组相对应的指数N,通过最小N次方误差求解,并且将其存储在系数存储器235中,然后流程返回到步骤S230。
另一方面,在步骤S213中,在做出已经选择了递归方法的判断的情况下,处理流程转到步骤S236。
在步骤S236中,最小N次方误差系数计算单元234判断是否已经输入指定指数N的信息,重复该处理,直到输入指数N为止,并且在做出例如通过用户操作操作单元202已经输入指定指数N的信息的判断的情况下,处理流程转到步骤S237。
在步骤S237中,最小N次方误差系数计算单元234通过利用基本最小平方误差法的代数法(algebric approach)获得系数组。在步骤S238中,最小N次方误差系数计算单元234使用通过借助于最小平方误差获得的系数组获得的预测值,像参照表达式(51)到表达式(54)所述的那样,通过与从操作单元202输入的指数N相对应的、由最小N次方误差递归地获得系数组,将其存储在系数存储器235中,然后流程返回到步骤S231。
接着,对于映射处理,在步骤S241中,对于作为感兴趣帧、与用作当前输入信号的图像帧相对应的用作输出信号的图像帧,映射处理单元222的抽头提取单元251按例如光栅扫描次序,从感兴趣帧的像素中取出还没有成为感兴趣像素的那些像素,从用于感兴趣像素的输入信号中提取与感兴趣像素有关的预测抽头,并且将其输出到乘积之和计算单元252。
然后在步骤S242中,乘积之和计算单元252读出学习单元221的系数存储器235的预测系数,并且按照表达式(39),进行从抽头提取单元251输入的预测抽头和从系数存储器235读出的预测系数之间的乘积之和计算处理。因此,乘积之和计算单元252获取感兴趣像素的像素值(预测值)。随后,流程转到步骤S243,在步骤S243中,抽头提取单元251判断是否使所有像素都成为感兴趣帧中的感兴趣像素,并且在做出有一些还没有成为的判断的情况下,流程返回到步骤S241,并且以光栅扫描次序,对感兴趣帧中还没有成为感兴趣像素的像素重复相同的处理,使其成为新的感兴趣像素。
此外,在步骤S243中,在做出感兴趣帧中的所有像素都已经成为感兴趣像素的判断的情况下,流程转到步骤S244,在步骤S244中,显示单元203显示由通过乘积之和计算单元252获得的像素组成的感兴趣帧。
流程返回到步骤S241,在步骤S241中,抽头提取单元251把下一个帧取作新感兴趣帧,随后,重复相同的处理。
根据图35中的图像优化处理,在映射处理中,用户观看显示在显示单元203上的图像,并且在与用户的偏爱不匹配的情况下,操作操作单元202指定直接方法或递归方法,并且进一步为最小N次方误差指定指数N,因此,在学习处理中,改变通过最小N次方误差获得的预测系数,并且可以使作为通过映射处理获得的输出信号的图像成为适合用户他自己/她自己的偏爱的图像。
现在,图36显示了借助于直接方法,利用通过最小N次方误差法获得的最小N次方标准的系数组计算的预测值的误差之和以及利用通过一般最小平方误差法获得的最小平方标准的系数组计算的预测值的误差之和,该直接方法通过把系数a、b和c设置成例如a=40、b=0.1和c=1而改变表达式(50)中权重αs的系数a、b和c的值。这里,对于误差之和,显示出了平方误差和立方误差的和。此外,在系数a、b和c是如上所述的值的情况下,这相当于表达式(48)中N次方误差eN的指数N大于2的情况。在图36中,平方误差之和在来自最小平方标准系数组的情况下是10160281,而在来自N次方标准系数组的情况下是10828594,因此,在来自最小平方标准系数组的情况下的值小于在来自N次方标准系数组的情况下的值。另一方面,立方误差之和在来自最小平方标准系数组的情况下是165988823,而在来自N次方标准系数组的情况下是161283660,因此,在来自N次方标准系数组的情况下的值小于在来自最小平方标准系数组的情况下的值。
因此,通过利用最小平方标准的系数组进行映射处理(表达式(39)中的乘积之和计算),可获得作为平方标准之和甚至更小的输出信号的图像,并且通过利用使用如上所述的值的系数a、b和c获得的最小N次方标准的系数组进行映射处理,可以获得作为立方标准之和甚至更小的输出信号的图像。
现在,在图35中的图像优化处理中,指数N通过用户操作操作单元202来改变(在直接方法中,改变指定指数N的系数a、b和c,而在递归方法中,改变指数N本身),从而设置用于指数N的最小N次方误差法的哪一种将用作预测系数(系数组)的学习标准(学习系统)。也就是说,改变获取预测系数本身的学习算法。因此,可以认为,“处理的结构”发生改变,从而可以获得适合用户偏爱的图像。
接着,图37显示了如图1所示的优化设备的另一个配置例。对于如图37所示的优化设备201,除了配备的内部信息生成单元261之外的其它配置与如图29所示的优化设备201的那些配置相同,因此,省略对它们的描述。
内部信息生成单元261读出例如存储在系数存储器235中的预测系数,作为处理单元221的内部信息,将预测系数的信息转换成图像信号,并且将其输出到显示它的显示单元203。
接着,参照如图38所示的流程图描述利用如图37所示的优化设备201进行的图像优化处理。与如图35所示的情况一样,如图38所示的图像优化处理也由学习处理和映射处理组成。对于学习处理,在步骤S250到S258中分别进行与在步骤S230到S238中的处理相同的处理。
并且,对于学习处理,在步骤S255和S258中的处理之后,流程转到步骤S259,内部信息生成单元261读取存储在系数存储器235中的系数组,作为内部信息,根据包含在系数组中的值生成可以显示的图像信号,并且将其输出到显示它的显示单元203。
此时,由内部信息生成单元261生成和显示在显示单元203上的图像可以具有例如像如图39所示的三维分布图或如图40所示的二维分布图那样的形式。也就是说,在图39中,与从输入信号提取的预测抽头位置等效的坐标被表示成在xy平面上作为抽头位置(x)和抽头位置(y)的位置,其中,预测系数(Coeff)取与预测抽头位置的每一个相对应的坐标上所示的用作其预测抽头的像素值之积。此外,在图40中,图39以等高线的形式表示。
现在,让我们返回到对图38中的流程图的描述。
在步骤S259中的处理之后,流程返回到步骤S250,随后,重复相同的处理。
另一方面,对于映射处理,在步骤S261到S264中分别进行与图35中的步骤S241到S244中的处理相同的处理。
由于上述的处理,存储在处理单元211的系数存储器235中的系数组的值(系数值)被显示(呈现)成与处理相关的内部信息,因此,用户操作操作单元202,同时观看系数组的分布以及作为输出信号的处理单元211的处理结果,以便可以获得适合其偏爱的作为输出信号的图像,从而改变指数N(在直接方法中,改变指数N的系数a、b和c,和在递归方法中,改变指数N本身),从而设置用于指数N的最小N次方误差法的哪一种将用作预测系数(系数组)的学习标准(学习系统)。也就是说,改变获取预测系数本身的学习算法,因此,可以认为,“处理的结构”发生改变。此外,在如上所述的例子中,显示系数组,但是,也可以做出这样的安排,其中显示与处理有关的内部信息,像例如当前最小N次方误差法是直接的还是递归的。
图41显示了优化设备的另一个配置例。如图41所示的优化设备301被配置成含有处理单元311,并且根据从操作单元202输入的操作信号,优化输入信号和将它们显示在显示单元202上。在该图中,与上述实施例相对应的部分用相同标号表示,并且在下文中适当地省略对它们的描述。
如图41所示的处理单元311的系数存储器321基本上与如图30所示的系数存储器235相同,存储映射处理单元222进行映射处理所需的系数组。系数组基本上是由如后所述的如图43所示的学习设备341生成的、经系数改变单元322适当改变和加以覆盖和存储的系数组(用作初始值的系数组)。因此,当重复覆盖时,系数组变得与学习设备341生成的系数组有些不同。此外,可以做出这样的安排,即把用作初始值的系数组存储在未示出的存储器中,以便与操作单元202所作的操作相对应,可以把系数存储器321的存储内容复原成初始值系数组。
系数改变单元322根据从操作单元202输入的操作信号,读出存储在系数存储器321中的系数组(预测系数),与预测抽头相对应改变预测系数的值(乘以预测抽头的预测系数),并且再次在系数存储器321上覆盖和存储。
接着,参照图42,描述系数改变单元322的配置。系数改变单元322的系数读/写单元331受改变处理单元332控制,以便读出存储在系数存储器321中的系数组,并且输出到改变处理单元332,同时把其值已经经过改变处理单元332改变的预测系数写在系数存储器321上加以存储。改变处理单元332根据操作信号,改变通过系数读/写单元331从系数存储器321读出的预测值。
这里,参照图43描述通过学习处理生成要存储在系数存储器321中的系数组的学习设备341。学习设备341的教师数据生成单元351与如图30所示的学习设备221的教师数据生成单元231相同,从作为事先提供的学习数据的图像信号中生成教师数据,和将教师数据输出到正规方程生成单元354。学生数据生成单元352与如图30所示的学生数据生成单元321相同,从学习数据中生成学生数据,并且将其输出到预测抽头提取单元353。
预测抽头提取单元353与如图30所示的预测抽头提取单元233相同,其中,把现在要处理的教师数据当作感兴趣像素,从与那个感兴趣像素有关的学生数据提取抽头结构与构成如图41所示的映射处理单元222的抽头提取单元251(图31)生成的抽头结构相同的预测抽头,并且将其输出到正规方程生成单元354。
正规方程生成单元354从教师数据生成单元351输入的作为感兴趣像素的教师数据y和预测抽头x1,x2,...,xM中生成表达式(46)的正规方程。然后正规方程生成单元354把所有教师数据都作为感兴趣像素,获取表达式(46)中的正规方程,并且将正规方程输出到系数判定单元355。系数判定单元355通过Cholesky方法等求解输入的正规方程(上述表达式(46)),从而获得系数组。
接着,参照图44中的流程图,描述利用如图43所示的学习设备341进行的系数判定处理(学习处理)。在步骤S271中,教师数据生成单元351从学习数据中生成教师数据,并且将其输出到正规方程生成单元354,而学生数据生成单元352从学习数据中生成学生数据,并且将其输出到预测抽头提取单元353,然后流程转到步骤S272。
在步骤S272中,预测抽头提取单元352依次把教师数据取作感兴趣像素,从与感兴趣数据有关的学生数据中提取预测抽头,并且将其输出到正规方程生成单元354,然后流程转到步骤S273。
在步骤S273中,正规方程生成单元354利用教师数据和预测抽头组计算在表达式(46)左侧的矩阵的分量之和(∑)和其右侧的矢量的分量之和(∑),从而生成输出到系数判定单元355的正规方程。
然后流程转到步骤S274,系数判定单元355求解从正规方程生成单元354输入的正规方程,通过所谓的最小平方误差法获得在步骤S275中存储在系数存储器321中的系数组。
由于上面的处理,基本系数组(用作初始值的系数组)被存储在系数存储器321中。现在,虽然上面的描述给出了通过最小平方误差法获得的系数组,但是,这可以是通过其它方法获得的系数组,和可以是通过如上所述的最小N次方误差法获得的系数组。
接着,对如图41所示的系数改变单元322的改变处理单元332对系数组所作的改变加以描述。系数组通过上述图44中的流程图的处理被事先存储在系数存储器321中,而系数改变单元322根据从操作单元202输入的操作信号,改变通过计算事先设置的系数组的预测系数。
例如,在从学生数据中提取的预测抽头是7个抽头×7个抽头(对于水平×垂直,7×7个像素),总共49个抽头的情况下,存在与预测抽头相对应的相同个预测系数。也就是说,在这种情况下,存储在系数存储器321中的系数组是由49个预测系数组成的系数组。此时,把每个预测抽头的位置(抽头位置)作为水平轴(例如,赋予每个预测抽头一个号码,把这个号码的值用作水平轴),让我们假设把乘以抽头位置的预测抽头的预测系数的系数值取作垂直轴的分布像图46所示的那样。现在,在系数组的所有系数值都要改变的情况下,这需要对49个系数值的每一个都进行操作。有必要对系数的值加以归一化(其中,将每个系数除以所有系数的总值),以便输入信号和利用预测系数处理输入信号获得的输出信号的增益是相同的,即系数的总值是1,但是,对每个单独系数进行操作,以便总值是1是困难的。
也就是说,例如,就只升高与图47中箭头所指的预测抽头相对应的系数的系数值而论,抽头位置和系数值的分布像图48所示的那样。请注意,如图48所示的抽头位置t是图47中箭头所指的抽头位置。
这样,只升高(提高)与特定预测抽头相对应的系数的系数值需要进行操作,以便降低与其它抽头位置相对应的系数的系数值等,使总值是1,但是,这些操作是困难的。并且,在改变与更大量预测抽头相对应的系数的系数值的情况下,使总值是1的操作也同样困难。
因此,在操作信号是这样的,即使与图49中箭头所指的一个抽头位置相对应的系数的系数值改变得超过预定阈值S11(改变量改变得大于阈值S11)的情况下,改变处理单元332把其它系数的系数值从像如图46所示那样的分布改变成像如图50所示那样的分布。也就是说,改变处理单元332改变与每个抽头位置相对应的系数的系数值,以便系数值的分布根据像弹簧那样的模型、随相对与已经使其值发生改变的系数相对应的抽头位置的距离而改变。也就是说,在通过学习获得的系数组的分布是像如图46所示那样的分布的情况下,一旦在操作单元202上进行操作,以便升高与如图50所示的抽头位置t相对应的值,改变处理单元332就提高在与抽头位置t接近的位置上的其它值的系数值,以便位置越近,改变就越大,与此相反,改变与在远离抽头位置t的位置上的抽头相对应的系数的系数值,以便位置越远,下降就越大,并且其中,系数值的总值是1。这里,在下文中,分布以像如图50所示那样的弹簧的形式改变的模型被称为弹簧模型。并且根据弹簧模型,在对操作单元202进行操作,以便降低某个抽头位置t的系数的情况下,降低与抽头位置t接近的位置的系数值,与那个位置的接近度相对应,并且根据距那个位置的距离而相反地升高远离位置t的位置的系数值。
此外,在系数的系数值的改变量小于预定阈值S11的情况下,改变处理单元332沿着与抽头位置t的系数相同的方向改变含有其极性与抽头位置t的系数的极性相同的极值的系数值,并且沿着与抽头位置t的系数相反的方向改变含有其极性与抽头位置t的系数的极性不同的极值的系数值(沿着与已经操作过的系数相同的方向,移动含有其方向与已经操作过的系数含有的极值的方向相同的极值的系数,并且沿着与已经操作过的系数相反的方向,移动含有其方向与已经操作过的系数含有的极值的方向不同的极值的系数),以便对变化有影响,使系数值的总值是1,保持整个分布收支(distributionbalance)的平衡。在下文中,如图51所示,使系数值发生改变,同时保持整个收支的平衡的模型被称为平衡模型。由于对这样的改变有影响,平衡模型在功能上接近(等效于)HPF(高通滤波器)或LPF(低通滤波器)。
到现在为止,上面已经描述了在平衡模型下升高具有正值的系数值的情况,但是,在例如降低具有正值的系数值,即沿着负方向改变的情况下,正值沿着负方向改变,而具有负值的系数值沿着正方向改变。并且在升高具有负值的系数值的情况下,具有正值的系数值沿着负方向改变,而负系数向正方向改变,而在降低具有负值的系数值的情况下,正系数值沿着正方向改变,和负系数值沿着负方向改变。对于平衡模型,在所有情况下,使系数的值沿着保持整个收支的平衡的方向改变。
如上所述,在改变系数值的改变量大于阈值S11的情况下,改变处理单元332通过如图50所示的弹簧模型改变与其它抽头相对应的系数值,并且在系数值的改变量小于阈值S11的情况下,通过如图51所示的平衡模型改变与其它抽头相对应的系数的系数值。这是由于在一个系数的改变量大的情况下,从每个系数值的整个收支的角度来看,通过改变来保持整个平衡是反常的,因此,应用这种弹簧模型,而在改变量小的情况下,改变系数对整个收支的影响小,因此,进行改变,以便保持整个平衡。
现在,通过操作操作单元202改变除了已改变系数值之外的其它系数的模型不局限于这些,只要从总体上系数值的总值是1,任何模型都够。此外,在如上所述的情况下,根据通过操作操作单元202改变的系数的改变量的幅度切换改变其它系数的模型,但是,改变其它系数的模型可以是固定的。
接着,参照如图52所示的流程图描述如图41所示的优化设备301的图像优化处理。现在,这个图像优化处理由系数改变处理和映射处理组成。映射处理与参照图35和图38所述的映射处理相同,因此,这里只描述系数改变处理。
在步骤S291中,系数改变单元322(图42)的改变处理单元332判断是否已经从操作单元202输入操作系数值的操作信号。也就是说,在用户认为显示在显示单元203上的图像是与他/她的偏爱相匹配的东西的情况下,这里利用存储在系数存储器321(图41)中的系数组进行映射处理,但是,在做出与偏爱不相匹配的判断的情况下,进行操作,改变要用于映射处理的存储在系数存储器321中的系数组。
例如,在步骤S291中,在做出已经输入操作系数的操作信号的判断的情况下,即在已经对操作单元202进行了操作,以便改变存储在系数存储器321中的系数之一的系数值的情况下,流程转到步骤S292。
在步骤S292中,改变处理单元332控制系数读/写单元331读出存储在系数存储器321中的系数组,然后流程转到步骤S293。在步骤S293中,改变处理单元332判断作为操作信号输入的系数值与事先包含在系数组中的值相比是否存在大于或等于预定阈值S11的变化。例如,在步骤S293中做出作为操作信号输入的值与存储在系数存储器321中的系数组中的值之间的变化大于或等于阈值S11的情况下,流程转到步骤S294。
在步骤S294中,改变处理单元332利用如图50所示的弹簧模型改变包含在系数组中的系数的值,然后处理流程转到步骤S295。
另一方面,在步骤S293中做出作为操作信号输入的值与存储在系数存储器321中的系数组中的值之间的变化不大于等于阈值S11的情况下,处理流程转到步骤S296。
在步骤S296中,改变处理单元332利用如图51所示的平衡模型改变包含在系数组中的系数的值,然后处理流程转到步骤S295。
在步骤S295中,改变处理单元332控制系数读/写单元331,以便把改变的系数组值覆盖和存储到系数存储器321中,处理返回到步骤S291,随后,重复相同的过程。
在步骤S291中做出还没有对操作值进行操作的判断的情况下,即在用户已经判断出显示在显示单元203上的图像与他/她的偏爱相匹配的情况下,流程返回到步骤S291,随后,重复相同的处理。
由于上面的系数改变处理,用户可以改变用于映射处理的系数组,从而执行最适合用户的处理。现在,改变系数组的系数的值意味着改变由映射处理单元311进行的映射处理的“处理的内容”。
此外,对于图52中的系数改变处理,在系数的改变幅度大于等于预定阈值S11的情况下,利用弹簧模型,根据已经对其进行了操作的系数的值改变系数组中的所有系数值,并且在这个值小于阈值S11的情况下,利用平衡模型改变系数组中的所有系数值,以便使改变系数组的算法发生改变。因此,在如图41所示的优化设备301的处理单元311上,“处理的内容”,以及“处理的结构”也随用户的操作而改变,从而进行最适合用户的信号处理。
此外,如上所述,在通过最小N次方误差法获得存储在系数存储器321中的系数组的情况下,可以做出这样的安排,即例如将与多个指数N相对应的系数组事先存储在系数存储器321中,系数改变单元322在根据用户操作从操作单元202输入操作信号之后,改变与指定指数N相对应的系数组。在这种情况下,存储在系数存储器321中的系数组被改变成与根据用户操作从操作单元202输入的指数N相对应的通过最小N次方误差法生成的那些系数组,即被改变成通过不同系数组生成算法生成的系数组,因此,可以认为,已经改变了“处理的结构”。
接着,参照图53描述为如图41所示的优化设备301配备了内部信息生成单元371的实施例。请注意,在图53中,除了已经配备了内部信息生成单元371这一点之外,这个优化设备与如图41所示的优化设备301相同。
内部信息生成单元371读出例如存储在系数存储器321中的系数组,作为处理单元311的内部信息,将该系数组转换成可以显示在显示单元203上的图像信号,然后将其输出到显示单元203并显示。
接着,参照图54中的流程图描述如图53所示的优化设备301的图像优化处理。这个图像优化处理以与如图41所示的优化设备301进行的图像优化处理相同的方式,也由系数改变处理和映射处理组成,但是,映射处理与参照图35和图38所述的映射处理相同,因此,这里只描述系数改变处理。
对于系数改变处理,在步骤S311到S315中分别进行与图52中的步骤S291到S295中的处理相同的处理。
在步骤S315中,与图52中的步骤S295中的情况一样,在把转换后系数组存储在系数存储器321中之后,流程转到步骤S317,在步骤S317中,内部信息生成单元371读出存储在系数存储器321中的系数组的系数值,将这些系数值转换成可以显示在显示单元203上的图像信号,将其输出到显示单元203,并且显示它们。此时,显示单元203可以利用例如像如图39所示的三维分布图或如图40所示的二维分布图那样的形式显示系数组的系数值。
在步骤317中的处理之后,流程返回到步骤S311,随后重复相同的处理。
根据图54中的系数改变处理,存储在系数存储器321中的系数组的值被显示成内部信息,因此,用户可以一边观看系数组,一边操作操作单元202,以便获取执行最适合用户的处理的系数组。
此外,对于映射处理单元222(图31)的乘积之和计算单元252,取代表达式(39)中的线性表达式,可以通过计算二阶或更高阶的更高阶表达式获得输出信号。
接着,参照图55描述从作为输入信号的图像信号中提取telop部分的优化设备401的配置例。
优化设备401的特征检测单元411根据从操作单元402输入的操作信号,检测与用作输入信号的图像信号的每个像素相关而已经指定的两种类型特征,并且将检测的特征信息输出到处理判定单元412。此外,特征检测单元411把用作输入信号的图像信号存储在内部缓冲器421中,直到从输入的图像信号中提取到telop为止,并且把图像信号输出到处理单元413。操作单元402与如图41和图53所示的操作单元202相同。请注意,特征检测单元411不仅仅局限于检测与用作输入信号的图像信号的每个像素相关而已经指定的两种类型特征,而是例如可以同时检测多种类型的特征,并且输出这些特征当中的两种类型指定特征,或者,同时检测两种或更多种类型的特征和同时输出这些特征。
处理判定单元412根据从特征检测单元411输入的特征判定例如后面的处理单元413以像素递增的方式对图像信号进行的处理,并且把判定的处理内容输出到处理单元413。
处理单元413使从缓冲器421读出的用作输入信号的图像信号经受以像素递增的方式从处理判定单元412输入的处理内容的处理,将结果输出到显示单元403,并且显示它们。
接着,参照图56描述特征检测单元411的配置。特征检测单元411的缓冲器421临时存储作为输入信号的图像信号,并且将这些图像信号供应给处理单元413。特征提取单元422从用作输入信号的图像信号中提取由特征选择单元423选择的两种类型特征,并且将这些特征输出到处理判定单元412。特征选择单元423根据从操作单元402输入的操作信号,向特征提取单元422供应指定要从输入信号中提取的特征的信息。可以选择的特征是例如图像信号的每个像素的亮度值、Laplacian(拉普拉斯算子)、Sobel、帧间差异、场(field)间差异、背景差异和从预定范围内的特征获得的值(和、平均值、动态范围、最大值、最小值、中心值或方差等)等,但是也可以是其它特征。
接着,参照图57描述处理判定单元412的配置。处理判定单元412的特征识别单元431识别从特征检测单元421输入的特征的多种类型,并且与指示识别的特征的类型的信息一起,把特征本身输出到处理内容判定单元432。处理内容判定单元432根据从特征识别单元431输入的指示特征类型的信息和特征本身,为事先存储在处理内容数据库433中的每个特征判定处理的内容组,并且把判定的处理内容输出到管理单元413。
接着,参照图58描述处理单元413的配置。处理单元413的处理内容识别单元441识别从处理判定单元412输入的处理内容,并且指令处理执行单元442执行已经识别的处理。处理执行单元442根据来自处理内容识别单元441的对每个像素的指令,让通过缓冲器421输入的输入信号经受指定处理,把这些输入信号转换成可以显示在显示单元202上的图像信号和将其输出到显示单元403,然后显示它们。
请注意,如图55所示的优化设备401用于从图像信号中提取telop,因此,处理内容是是否提取每个像素作为telop部分(是否显示)的处理,但是,也可以让图像信号经受其它处理,并且这可以是对于被识别为telop部分的像素没有改变地输出输入信号、而不输出被识别为非telop部分的像素的处理。此外,为了便于描述,将作为输入信号输入的图像描述为单帧静止图像。但是,图55中的优化设备401也可应用于运动图像。
接着,参照图59中的流程图,描述利用如图55所示的优化设备进行的telop提取优化处理。
在步骤S331中,特征检测单元411的特征提取单元422判断特征选择单元423是否已经选择了两种类型的特征,并且重复该处理直到选择这些特征为止。也就是说,重复步骤S331中的处理,直到根据与用户操作操作单元402输入的特征的类型相对应的操作信号、将指示特征选择单元423选择的特征的信息输入特征提取单元422中。例如,在做出已经从特征选择单元423输入选择特征的信息的判断的情况下,即在做出用户已经操作了操作单元402和选择了两种类型的特征的判断的情况下,处理转到步骤S332。
在步骤S332中,特征提取单元422为每个像素从作为输入信号的图像信号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。此时,作为输入信号的图像信号被存储在缓冲器421中。
在步骤S333中,处理判定单元412根据输入特征的两种类型,为每个像素判定处理内容,并且将这些处理内容输出到处理单元413。更详细地说,特征识别单元431识别输入特征的两种类型,并且把识别的特征类型和特征本身输出到处理判定单元412。并且,处理判定单元412从为每个像素输入的特征的两种类型判定处理内容。更具体地说,对于作为特征A和特征B任意两种类型(特征A,特征B)的组合的每一种,将特征A和特征B的每个值与有关具有特征A和B的像素的处理内容(在这种情况下,是否是telop的信息)相关联的称为LUT(查找表)的表格被存储在处理内容数据库433中,而处理内容判定单元432根据现在要处理的感兴趣像素的(特征A,特征B)的组合引用LUT,并且判定相应的处理,即是否作为telop来处理,并且把这个结果输出到处理单元413。此外,这个LUT通过事先从例如只有telop的图像中提取多个特征、并且通过与组合是telop的信息相关联而生成。LUT的细节以后再述。
在步骤S334中,处理单元413按照从处理判定单元412输入的处理内容,处理通过缓冲器421输入的作为输入信号的图像信号,将这些图像信号转换成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并且显示它们。更详细地说,处理单元413的处理内容识别单元441识别从处理判定单元412输入的处理内容,并且指令处理执行单元442执行与相应像素相关而已经判定的处理。处理执行单元442读出存储在缓冲器421中作为输入信号的图像信号,执行与每个像素相对应的处理,将这些图像信号转换成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并且显示它们。
在步骤S335中,特征检测单元411判断telop是否得到提取。也就是说,在用户观看显示在显示单元403上的图像和没有判断telop得到提取的情况下,对操作单元402进行操作,以便再次改变特征的组合和尝试telop提取处理。一旦与这个操作相对应从操作单元402输入操作信号,处理流程返回到步骤S331,重复随后的处理。
另一方面,在根据用户的主观做出telop得到提取的判断的情况下,通过用户操作操作单元402把指示处理完成的操作信号输入特征检测单元421,并且处理到此为止。
也就是说,重复步骤S331到步骤S335的处理,直到用户通过观看显示在显示单元403上的图像可以判断出由于上述处理telop已得到提取为止,从而,可以设置最适合用户的特征的组合,和可以从用作输入信号的图像信号提取telop。现在,在上述中,两种类型的特征用于判定处理内容,但是,也可以做出这样的安排,即由类型数量不同于那数量的特征判定处理内容。此外,也可以做出这样的安排,即在步骤S331中的处理中,通过与用户在操作单元402上所作的预定操作(例如,发出向上或向下指令的按钮操作等)相对应的操作信号,以预定次序依次切换多种特征的组合,从而,使用户无需对特征的类型给予特别关注就可以切换和输入特征。
在上面的处理中,在处理单元413上根据用户对操作单元402的操作改变特征检测单元411检测的特征的类型,从而使telop得到检测。在特征检测单元411上检测的特征的类型的改变意味着在处理判定单元上的处理内容判定算法的改变,因此,可以认为,在特征检测单元411上,“处理的结构”也发生改变。
此外,如上所述,可以在特征检测单元411上做出特征的各种类型的检测,但是,一些特征的检测需要设置像滤波系数等那样的参数,以便检测例如Laplacian。可以使检测特征的参数随操作单元402的操作而改变,但是,根据这个参数变化,在特征检测单元411上检测的特征本身的类型不发生改变,但被检测的特征的类型发生改变。因此,可以认为,检测这些特征的参数的改变是特征检测单元441的“处理的内容”的改变。
接着,参照图60描述如图55所示的优化设备401配有内部信息生成单元511的优化设备501的配置。除了配有内部信息生成单元511之外,如图60所示的优化设备501在配置上基本与如图55所示的优化设备401相同。
优化设备501的内部信息生成单元511提取例如从特征检测单元411的特征选择单元423输出的特征收集信息,作为内部信息,并且在显示单元403上显示当前选择的特征的类型。
现在,参照图61中的流程图描述优化设备501执行的telop提取优化处理。
注意,这个处理基本上是与参照图59中的流程图所述的、如图56所示的优化设备401执行的telop提取优化处理相同的处理,不同之处在于,已经加入了显示指示已经选择的特征的类型的信息的处理。
也就是说,在步骤S341中,特征检测单元411的特征提取单元422判断特征选择单元423是否已经选择了两种类型的特征,并且重复该处理直到选择它们。例如,在做出已经从特征选择单元423输入选择特征的信息的判断的情况下,即在做出用户已经操作了操作单元402和选择了两种类型的特征的判断的情况下,处理流程转到步骤S342。
在步骤S342中,内部信息生成单元511提取指示特征选择单元423已经选择的特征的两种类型的信息,并且在显示单元403上显示已经选择的两种特征的类型的名称。
随后,在步骤S343到步骤S346中分别进行与步骤S332到步骤S335中的处理相同的处理。
根据图61中的处理,显示(呈现)了作为与特征检测单元411的处理相关的内部信息的、当前选择的特征的类型,因此,用户在明白当前选择的特征的类型的同时,可以设置最适合从用作输入信号的图像信号中精确地提取telop的特征的组合。
现在,像如后所述的图65和图67所指的那样,内部信息生成单元511能够例如生成与每个像素有关的、由特征检测单元411检测的两种类型特征的值的分布,作为内部信息,并且在显示单元403上显示它。
此外,如上所述,在根据操作单元402的操作改变检测特征的参数的情况下,内部信息生成单元511可以在显示单元403上显示(呈现)作为内部信息的参数。
接着,参照图62,描述被安排成配有从处理判定单元412中生成内部信息的内部信息生成单元412、代替如图60所示的内部信息生成单元511的优化设备601的配置例。
除了配备内部信息生成单元611来代替如图60所示的内部信息生成单元511之外,以与图60中的优化设备501相同的方式配置如图62所示的优化设备601。
内部信息生成单元611根据由处理判定单元412的处理内容判定单元432判定的处理内容和显示在显示单元403上的、实际提取的特征的两种类型,生成在两种类型的特征用作坐标轴时经受telop提取的像素和没有经受telop提取的像素的分布图(例如,图65、图67),作为内部信息。
接着,参照图63中的流程图描述如图62所示的优化设备601执行的telop提取优化处理。
请注意,除了显示有关在两种类型的选择特征用作坐标轴时像素是否经受过telop提取的分布的处理那一点之外,这个处理基本上是与参照图61中的流程图描述的、如图60所示的优化设备501进行的telop提取优化处理相同的处理。
也就是说,在步骤S351中,特征检测单元411的特征提取单元422判断特征选择单元423是否已经选择了两种类型的特征,并且重复该处理直到选择这些特征为止。例如,在做出为选择特征已经从特征选择单元423输入信息的判断的情况下,即在做出用户已经操作了操作单元402和选择了两种类型的特征的判断的情况下,处理流程转到步骤S352。
在步骤S352中,特征提取单元422为每个像素从用作输入信号的图像信号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。此时,作为输入信号的图像信号被存储在缓冲器421中。
在步骤S353中,处理判定单元412根据输入特征的两种类型,为每个像素判定处理内容,并且将这个处理内容输出到处理单元413。
在步骤S354中,处理单元413按照从处理判定单元412输入的处理内容,处理从缓冲器421读出的作为输入信号的图像信号,将这些图像信号转换成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并且显示它们。
在步骤S355中,内部信息生成单元611生成画出处理判定单元412的处理内容判定单元判定的处理内容的分布图,而把两种类型的特征当作坐标轴,作为内部信息,并且在显示单元403上显示它。
在步骤S356中,特征检测单元411判断telop是否得到提取。在步骤S356中,在从操作单元202输入与用户操作相对应的操作信号和被视为没有提取telop的情况下,处理流程返回到步骤S351,重复随后的处理。
另一方面,在步骤S356中,在通过用户操作操作单元402把指示处理结束的操作信号输入特征检测单元421的情况下,处理即告结束。
也就是说,让我们假设例如输入像图64所示那样作为输入信号的图像信号。在图64中,就背景图像(这里,不是telop的部分)而言,“TITLE ABC”被当作telop显示在图的中央。
在步骤S355中,如图65所示的二维分布图那样,例如,内部信息生成单元611显示指示是否已经提取成telop的分布,而把从如图64所示那样的图像信号中检测的两种类型的特征当作各自的坐标轴。
在图65中的例子中,Laplacian和帧间差异是已经选择的两种类型特征,图中的圆圈表示已经提取成telop的像素,和“×”表示与还没有经过telop提取有关的像素。对于图65中的例子,经过telop提取的像素和没有经过telop提取的像素在分布中是无边界的(telop像素和非telop像素之间的分布是分不开的)。在这种分布的情况下,telop往往不是从背景图像中提取出来,并且例如如图66所示,处在telop部分附近形成边界621和622的状态下,而不是telop部分本身就是边界。
在这样的情况下,用户将判断telop没有得到提取,并且重复步骤S351到S356中的处理。在由于重复这个处理而选择的特征是Laplacian和(17个像素×17个像素)(中心在感兴趣像素上的17像素×17像素范围内的像素的每个Laplacian之和)以及亮度DR(对于每个像素的亮度值,中心在感兴趣像素上的17像素×17像素范围内的像素的动态范围)的情况下,生成像如图67所示那样的分布图。在这种情况下,在图67中,作为telop提取的像素的分布和不是作为telop提取的像素的分布看起来是分离的。这表明,输入图像和其它部分中的telop被划分为在Laplacian和以及亮度DR的组合被选为特征的情况下的分布。一旦获得这样的分布,作为从每个像素检测的特征的Laplacian和以及亮度DR经受阈值处理等,从而,如图68所示,使telop部分得到精确提取。
因此,由于如上所述的处理,步骤S351到S356中的处理被不断重复,直到用户可以通过观看显示在显示单元403上的图像和把两种所选类型的特征作为坐标轴的二维分布、从而判断telop得到提取为止,使得从有关处理判定单元412的处理的用作内部信息的特征、要检测为telop的像素以及背景像素的分布被显示出来,从而用户可以操作操作单元402,以便精确地从作为输入信号的图像信号中提取telop,同时明白从特征要检测为telop的像素和背景像素的分布,从而设置最适合用户的特征的组合。
接着,参照图69,对取代如图62所示的优化设备601的处理判定单元412、配有处理判定单元711的优化设备701的配置加以描述。对于优化设备701,除了在处理判定单元412那一级配备处理判定单元711之外,该配置与如图62所示的优化设备601的那些配置相同。
处理判定单元711根据来自操作单元702(与操作单元402相同)的操作信号,改变处理内容数据库433中的LUT的内容,并且还根据从特征检测单元411输入的特征,判定后面的处理单元413对图像信号进行的处理,并且把处理内容输出到处理单元413。
接着参照图70描述处理判定单元711。基本配置与如图50所示的处理判定单元412相同,但是,配备处理内容判定单元721来取代处理内容判定单元432。处理内容判定单元721根据从操作单元702输入的操作信号,改变为存储在处理内容数据库433中的两种类型特征的每一个组合判定处理内容的LUT。更详细地说,LUT是这样设置的,使在没有改变地显示作为输入信号的图像信号的状态下由操作单元202指定为telop的区域中像素的特征被认为是telop,而其它区域被处理成非telop。
改变LUT之后,处理内容判定单元721根据识别从特征识别单元431输入的特征的信息和特征本身,为存储在处理内容数据库433中的特征的每一个判定事先设置的处理内容,并且把判定的处理内容输出到处理单元413。
接着,参照图71中的流程图描述如图69所示的优化设备701进行的telop提取优化处理。
在步骤S361中,没有改变地在显示单元403上显示作为输入信号的图像信号。更具体地说,特征检测单元411的缓冲器421接收用作输入信号的图像信号和存储这些图像信号,处理单元413没有改变地读出存储在缓冲器421中作为输入信号的图像信号,并且不作任何处理地将这些图像信号输出到显示它们的显示单元403。
在步骤S362中,处理判定单元711的处理内容判定单元721判断操作单元702是否已经指令telop和背景。也就是说,让我们假设例如在步骤S361中的处理中显示像如图72所示那样的未经处理图像信号。此时,用户通过操作单元702(通过拖拉、点击等)操作指针741,以通过范围742等指定一般telop部分,并且如图73所示,重复处理,直到指定telop部分752和在图72中的范围742之外的背景部分751为止,把指定telop和背景部分的那个点和指定远景的相应像素部分存储在内置存储器(未示出)中,然后处理流程转到步骤S363。
在步骤S363中,特征检测单元421的特征选择单元423判断选择预定两种类型的特征的操作信号是否已经从操作单元202输入,重复该处理,直到指定预定两种类型的特征为止,并且一旦选择了预定两种类型的特征,处理流程就转到步骤S364。
在步骤S364中,特征提取单元422根据输入到特征选择单元423的用于选择特征类型的信息,提取从输入信号中选择的两种类型的特征,并且把这些特征输出到处理判定单元711。
在步骤S365中,内部信息生成单元611根据输入到处理判定单元711的两种类型的特征和为telop和背景指定的像素位置的信息,生成把两种类型的特征作为其坐标轴的二维分布图,并且在步骤S366中,在显示单元403上显示二维分布图。更详细地说,处理判定单元711的特征识别单元431识别特征的类型,把指示类型的信息和特征本身输出到处理内容判定单元721,并且除了指示特征和其类型的信息之外,处理内容判定单元721还把指示为telop和背景指定的像素位置的信息输出到内部信息生成单元611,以便内部信息生成单元611根据例如指示为telop和背景指定的像素位置的信息,生成像如图74所示那样特征的二维分布图。也就是说,对于图74中的例子,显示了把Laplacian和帧间差异选为特征的例子,其中,图中的圆圈表示telop像素,图中的“×”表示被指定为背景的像素。对于图74中的二维分布图,例如就特定像素而言,在X的值上检测Laplacian,在Y的值上检测帧间差异,并且在像素被指定为telop的情况下,在二维分布图上的(X,Y)位置上显示圆圈,而在指定背景的情况下,在那个相同位置上显示“×”。
在步骤S367中,处理内容判定单元721判断是否已经输入指示已经对telop和背景已经分离做出判断的操作信号。也就是说,例如,在像如图74所示那样的二维分布的情况下,指示telop的圆圈的分布和指示背景的“×”的分布不能被认为是完全分离的,因此,理所当然,不能期望在显示屏幕上提取出telop,并且在例如如图73所示的、背景和telop处在没有分离的状态的多数情况下,生成边界753将背景部分751和telop部分752分离。在这种用户判断telop没有得到提取的情况下,在用户试图再次改变特征的那一时刻,操作单元702按照用户所作的操作,向处理判定单元711的处理内容判定单元721输出指示还没有实现分离的操作信号。在这种情况下,在步骤S367中,做出不存在指示telop和背景已经分离的判断的操作信号的判断,因此,处理流程返回到步骤S363,并且重复随后的处理。这个处理意味着再次选择两种类型的特征。
此外,在例如如图75所示通过步骤S366中的处理将指示telop部分的圆圈和指示背景的“×”分离到一定程度的情况下,用户操作操作单元702,向处理判定单元711的处理内容判定单元721输出指示已经实现了分离的操作信号。在这种情况下,做出在步骤S367中已经输入指示telop和背景已经分开的判断的操作信号的判断,然后处理流程转到步骤S368。
在步骤S368中,处理内容判定单元721判断是否在二维分布上已经指令telop部分。也就是说,如图75所示,做出是否通过例如操作单元702输入了利用指针741把范围761指定为在显示的分布上分布着指示telop的大量圆圈的范围的操作信号的判断,重复该处理,直到该范围得到指定为止,并且一旦做出已经指定了这个范围的判断,处理流程转到步骤S369。
在步骤S369中,处理内容判定单元721根据已经通过操作单元702输入的在如图75所示的范围761中指定的操作信号,改变处理内容:指示是否已经进行了与特征的组合相对应的telop提取的LUT,并且按照输出到处理单元413的改变LUT,判定处理内容,而处理单元413按照输入的处理内容,从已经通过缓冲器421输入的用作输入信号的图像信号中提取telop,并且在显示单元403上显示这些telop。更详细地说,处理内容判定单元721根据从操作单元702已经输入的、指示在像如图75所示那样的二维分布上的范围的信息,更新处理内容数据库433中的LUT,以便提取与作为telop分布在指定范围内的像素相对应的两种类型的特征的组合,并且按照更新的LUT,为每个像素判定输出到处理单元413的处理内容。
在步骤S370中,处理内容判定单元721判断是否已经做出telop已经得到提取的判断。也就是说,做出用户判断telop得到提取或判断telop没有得到提取的判断。例如,如图76所示,在通过步骤S369中的处理将输出图像显示在显示单元403上的状态下,telop部分和背景部分之间的边界771和772不是telop本身,因此,不能认为telop完全得到提取。于是,在从用户的角度来看,telop被判断为没有得到提取的情况下,用户操作操作单元702,输入指示telop还没有得到提取的操作信号。一旦接收到这些操作信号,处理判定单元711的处理内容判定单元721在步骤S370中做出telop没有得到提取的判断,然后处理流程转到步骤S371。
在步骤S371中,对是否在二维分布上为telop重新指定范围做出判断,并且在对还没有选择在二维分布上为telop重新指定范围做出判断的情况下,处理流程返回到步骤S368,重复随后的处理。
另一方面,在步骤S370中,在例如通过步骤S371中的处理已经选择了为telop指定范围的情况下,在步骤S368中设置如图77所示使存在指示telop的圆圈的分布的部分与图75中的范围761相比已经变窄的范围781(使包含更多地作为telop提取的大量圆圈的部分变窄的范围)。也就是说,在图75中,即使在把特征分布上的范围761设置成telop部分的情况下,其后果是,如图76所示,telop部分和背景部分之间的边界771和772也不是telop本身,因此,telop没有完全得到提取。
因此,用户操作操作单元702,把比范围761窄的范围781设置成在特征分布上的范围(指定成telop部分的那一部分的范围)。这样设置范围使特征分布上要作为telop提取的范围变窄,也就是说,背景部分更容易地得到消除。但是,要作为telop提取的范围被忽略得太多使telop本身不容易得到提取,因此,用户通过一边看提取的telop一边重复这样的操作,搜索最佳telop提取状态。
一旦状态是例如像如图78所示那样,telop得到提取的状态,并且在用户在步骤S370中判断telop得到提取的情况下,用户操作操作单元702,并且把指示已经做出telop已经得到提取的判断的操作信号输入到处理判定单元711的处理内容判定单元721,因此,做出telop得到提取的判断,然后处理即告结束。
此外,在步骤S371中做出这没有指定telop的范围的判断的情况下,处理流程返回到步骤S363,重复随后的处理。
由于这样的处理,首先,用户在作为输入信号的图像信号上选择telop和背景的两种类型特征,并且通过观看选择的telop和背景如何形成把选择的特征作为其两根坐标轴的二维分布,改变二维分布上telop的范围(使其变窄),或者,改变两个所选特征,并且进一步观看那个提取的telop,和重复这个处理,直到状态是用户偏爱的那个状态为止,从而,实现与用户的偏爱相匹配的telop提取处理。在步骤S362中的处理中做出已经指令telop和背景的判断的情况下,telop和背景的范围的指令用于随后选择两种类型的特征或生成用作使二维分布上的telop变窄的模板的信息就足够了,因此,范围可还一般。
在上面的处理中,根据用户选择的两种类型的特征的组合,划分成telop或背景处理,因此,这意味着通过用户操作已经改变了“处理的内容”。
此外,对于上面的处理,特征的类型是由通过操作单元402指定的特征的两种类型确定的,但是,也可以做出这样的安排,即例如如图79所示,两种类型的特征的组合可以通过按下操作单元702上的预定操作按钮发送作为操作信号的向上或向下指令来改变。也就是说,可以做出这样的安排,即作为初始状态,通过状态A中所指的特征a和b的组合进行处理,然后发出向下指令通过状态B中所指的特征b和c的组合进行处理,并且发出向下指令通过状态C所指的特征c和d的组合进行处理,其中,在状态C下指定向上的情况下,返回到状态B,并且在状态B下指定向上的情况下,返回到状态A。由于这样的安排,用户可以无需对特征的类型给予特别关注,一个接一个地改变特征,因此,可以有效地使提取telop的特征的组合变窄。
接着,参照图80,对取代图55中的优化设备401的特征检测单元411、配有能够从已经存在的特征中生成新特征的特征检测单元811的优化设备801的配置加以描述。在图80中,除了配备特征检测单元811取代图55中的优化设备401的特征检测单元411之外,其配置是相同的。
并且操作单元802与操作单元402相同。
如图80所示的特征检测单元811的配置将参照图81加以描述。对于特征检测单元811,缓冲器421和特征提取单元422与如图56所示的特征检测单元411相同。这个特征选择单元821根据从操作单元802输入的指定特征的操作信息,控制特征提取单元422,以便从事先提供的特征当中提取已经指定的两种类型特征,并且将这些特征输出到处理判定单元413,或者,把事先存储在特征数据库823中的特征输出到处理判定单元413。更详细地说,特征数据库823存储与特征的类型有关的特征信息和特征的检测方法。特征提取单元422从特征数据库823中读出与特征选择单元821所选的特征的类型相对应的特征信息,并且按照记录在特征信息中的特征检测方法,从输入信号中检测所选特征。
事先提供的特征信息是图像信号的每个像素的亮度值、Laplacian、Sobel、帧间差异(例如,感兴趣像素(x,y)的帧间差异用fs(x,y)=f0(x,y)-f1(x,y)表示,其中,f0(x,y)表示当前感兴趣像素,而f1(x,y)表示前一个帧在相同空间位置上的像素)、场间差异、背景差异、导数值(例如,感兴趣像素(x,y)的导数值fb(x,y)用fb(x,y)=4×f0(x,y)-f0(x-1,y)-f0(x+1,y)-f0(x,y+1)-f0(x,y-1)表示,其中,f0(x,y)表示当前感兴趣像素,和f0(x-1,y)、f0(x+1,y)、f0(x,y+1)和f0(x,y-1)表示在空间上沿着x和y方向每次去除一个像素的像素)和从预定范围内的特征中获得的值(和、平均值、动态范围、最大值、最小值、中心值或方差等)等,但是,也可以是其它。
特征变更单元822根据用户输入的操作信号,从存储在特征数据库823中的特征中生成新的特征。更详细地说,特征变更单元822将根据用户输入的操作信号,从存储在特征数据库823中的特征信息中生成新的特征信息,并且特征提取单元422根据这个特征信息提取新的特征。
此外,假设存在存储在特征数据库823中的、作为特征的类型的、特征A、B和C的特征信息,可以做出这样的安排,即可以使特征A的DR(动态范围:有关通过为存在于相对感兴趣像素的预定位置上的多个像素读出特征A的值而生成的值,和对每个像素作为最大值和最小值之差的值的获得)成为与新特征A′相对应的特征信息,或者,通过类似地获得和、平均值、动态范围、最大值、最小值、中心值、方差、其值大于或等于阈值(也可以设置阈值)的像素数量、或多个特征之间的线性组合,使其成为新的特征信息。请注意,多个特征之间的线性组合是例如在预定数量的像素的Laplacian是Xa、Soble是Xb和帧间差异是Xc以及对这三种类型的特征加以线性组合的情况下,将这三种类型的特征乘以系数,并且相加,即A×xa+B×xb+C×xc是这个像素的新特征。这里,A、B和C是系数,并且在例如telop提取的情况下,像参照图43和图44所述的那样,当通过操作单元802为telop部分已经一般指定的范围中的像素当作教师数据和多个特征当作学生数据时,通过学习处理可以获得这些系数。在图81中,对于存储在特征数据库823中的特征,特征A到C表示特征提取单元422提取的特征的类型和特征A′到C′表示由特征变更单元822从特征A到C变更而来的特征的类型(实际存储的是每一个的特征信息(特征的类型和表示其检测方法的信息))。
存储在特征数据库823中的特征信息可以是存储时指定存储特征提取单元422提取的定时的那些特征信息,可以是特征变更单元822变更事先存储在特征数据库823中的特征信息的那些特征信息,或者可以利用其它方法存储。
接着,参照图82的流程图描述图80中的优化设备801进行的telop提取优化处理。在步骤S381中,特征检测单元411的特征提取单元422判断特征选择单元821是否已经选择了两种类型的特征,并且在还没有选择的情况下,处理流程转到步骤S386。此外,在例如做出选择特征的信息已经从特征选择单元423输入的判断的情况下,即在做出用户已经操作了操作单元802和选择了两种类型的特征的判断的情况下,处理流程转到步骤S382。
在步骤S382中,特征提取单元422为每个像素从作为输入信号的图像信号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。此时,作为输入信号的信号被存储在缓冲器421中。
在步骤S383中,处理判定单元412根据输入的两种类型特征,为每个像素判定处理内容,并且输出到处理单元413。
在步骤S384中,处理单元413按照从处理判定单元412输入的处理内容,处理通过缓冲器421输入的作为输入信号的图像信号,将这些图像信号转换成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并且显示它们。
在步骤S385中,特征检测单元411判断telop是否得到提取。也就是说,用户观看显示在显示单元403上的图像,并且在没有判断telop已经得到提取的情况下,对操作单元802进行操作,以便再次改变特征的组合和尝试telop提取处理。在从操作单元802输入与这个操作相对应的操作信号的情况下,处理流程返回到步骤S386。
在步骤S386中,特征检测单元811的特征变更单元822判断是否已经指定了特征的变更,并且在不存在变更特征的指令的情况下,处理流程返回到步骤S381。另一方面,在特征变更单元822在步骤S386中判断是否存在指令特征的改变的、从操作单元802输入的操作信号的情况下,处理流程转到步骤S387。
在步骤S387中,特征变更单元822判断是否已经指定了基本特征,并且重复该处理,直到输入指定基本特征的信息为止。例如,在操作操作单元802和输入指令特征A的操作信号的情况下,做出已经输入了作为输入信号的图像信号中基于特征A的特征的判断,然后处理流程转到步骤S388。
在步骤S388中,特征变更单元822判断是否已经指令变更处理内容,并且重复该处理,直到指令变更处理内容为止。例如,在操作操作单元802和输入指令DR的操作信号的情况下,做出变量处理内容已经得到指定的判断,然后处理流程返回到步骤S389。
在步骤S389中,特征变更单元822利用指定的变更处理内容变更指定的特征,以获得存储在特征数据库823中的新特征,然后处理流程返回到步骤S381。也就是说,在这种情况下,特征变更单元822从特征数据库823当中读取特征A,并且获取作为其指定变更处理内容的DR,从而生成存储在特征数据库823中的新特征A′,然后处理流程返回到步骤S381。
另一方面,在步骤S385中根据用户的主观做出telop得到提取的判断的情况下,通过用户操作操作单元802把指示处理完成的操作信号输入特征检测单元421,并且处理到此为止。
也就是说,重复步骤S381到步骤S389的处理,直到用户通过观看显示在显示单元403上的图像可以判断出由于上述处理telop已得到提取为止,从而,可以设置最适合用户的特征的组合,和可以从作为输入信号的图像信号中提取telop,并且通过增加用户选择的特征的类型,可以设置甚至更多的特征组合,从而进行最适合用户的处理。
在上面的处理中,根据用户已经指定的特征的两种类型判定处理内容,并且从作为输入信号的图像信号中提取telop,因此,可以认为,“处理的内容”是这样改变的,使得根据用户的操作获得用户所需的输出信号。此外,切换特征的两根坐标轴(选择特征的两种类型),同时也设置新的特征(增加特征的类型),并且通过特征的组合改变判定处理内容的算法(例如,是否处理成telop),因此,可以认为,不仅“处理的内容”,而且“处理的结构”也发生改变。
此外,telop提取是通过切换要经过试错提取的特征的类型获得的,但是,对于以固定方式利用特征的方法,需要重写程序或重建系统本身,以便改变预期的特征,因此,系统必须被重建许多次,以通过发现获得最适用于telop提取的算法,而实际上这是相当困难的。相反,对于基于本发明的优化设备,可以实时提取新特征,和可以显示其特征分布,因此,用户进行的试错变得更加容易,从而,提高了找出最适合telop提取的特征的可能性。
接着,参照图83描述通过为如图80所示的优化设备801配备特征检测单元911和内部信息生成单元912而形成的优化设备901的配置。除了配备特征检测单元911取代特征检测单元811,并且新配备了内部信息生成单元912之外,如图83所示的优化设备901基本上与如图80所示的优化设备801的配置相同。
接着,参照图84描述特征检测单元911的配置。特征检测单元911与图81中的特征检测单元811基本上具有相同的配置,但是,配备特征选择单元921来取代特征选择单元821,和配备特征变更单元922来取代特征变更单元822。基本功能对于每一个都是相同的,但是,特征选择单元911的不同之处在于,将所选特征那种类型的信息供应给内部信息生成单元912。此外,特征变更单元922的不同之处在于,将与变更内容的指令有关的图像信息输出到显示单元403。
内部信息生成单元912与如图60所示的内部信息生成单元511相同。此外,操作单元902与操作单元402相同。
接着,参照图85中的流程图,描述利用如图83所示的优化设备901进行的telop提取优化处理。现在,这个处理基本上与参照图82中的流程图所述的处理相同,但是,不同之处在于,显示内部信息生成单元912选择的特征。
也就是说,在步骤S391中,特征检测单元911的特征提取单元422判断特征选择单元921是否已经选择了两种类型的特征,并且在还没有选择这些特征的情况下,处理流程转到步骤S397。此外,在对例如选择特征的信息已经从特征选择单元921输入做出判断的情况下,处理流程转到步骤S392。
在步骤S392中,内部信息生成单元912提取指示来自特征选择单元921的两种所选类型特征的类型的信息,并且在显示单元403上显示两种所选特征的类型的名称。
在步骤S393中,特征提取单元422为每个像素从作为输入信号的图像信号中提取两种类型的所选特征,并且将这些特征输出到处理判定单元412。此时,作为输入信号的图像信号被存储在缓冲器421中。
在步骤S394中,处理判定单元412根据已经输入的特征的两种类型,为每个像素判定处理内容,并且输出到处理单元413。
在步骤S395中,处理单元413按照从处理判定单元412输入的处理内容,处理通过缓冲器421输入的作为输入信号的图像信号,将这些图像信号转换成可以显示在显示单元403上的图像信号,将它们输出到显示单元403,并且显示它们。
在步骤S396中,特征检测单元411判断telop是否已经得到提取。也就是说,用户观看显示在显示单元403上的图像,并且在没有判断telop已经得到提取的情况下,对操作单元902进行操作,以便再次改变特征的组合和尝试telop提取处理。在从操作单元902输入与这个操作相对应的操作信号的情况下,处理流程返回到步骤S397。
在步骤S397中,特征检测单元911的特征变更单元922判断是否已经指定了特征的变更,并且在不存在变更特征的指令的情况下,处理流程返回到步骤S391。另一方面,在步骤S397中,在特征变更单元922判断已经存在指令特征的改变的、从操作单元902输入的操作信号的情况下,处理流程转到步骤S398。
在步骤S398中,特征变更单元922显示例如如图86所示的变更内容的指令屏幕。在图86中,在图的左侧配备了基本特征显示单元931,在上面显示作为当前存储在特征数据库823中的特征的、用作基的特征。在这种情况下,显示了特征A到C和A′到C′。此外,显示在图的右侧的是变更处理内容选择空间932。在这种情况下,显示了DR、最大值、最小值、中心值、和、方差、其值大于或等于阈值的像素数量和线性组合,以及设置与其值大于或等于阈值的像素数量有关而提供的阈值的空间932a和在选择线性组合的情况下选择特征的空间932b。并且,显示了尺度(scale)设置空间933,供设置值的尺度之用。尺度值表示中心在感兴趣像素上的范围,并且是例如在检测DR和把必要像素设置成3个像素×3个像素或者5个像素×5个像素等的情况下、指示像素的范围的值。
在步骤S399中,特征变更单元922判断是否已经指定了用作基的特征,并且重复该处理,直到输入指定用作基的特征的信息为止。例如,在操作操作单元902和输入指令特征A的操作信号的情况下,做出已经为作为输入信号的图像信号输入特征A作为用作基的特征的判断,然后处理流程转到步骤S400。
在步骤S400中,特征变更单元922判断是否指令变更处理内容,并且重复该处理,直到指令变更处理内容为止。例如,在操作操作单元902和输入指令DR的操作信号的情况下,做出已经指令变更处理内容的判断,然后处理流程转到步骤S401。
在步骤S401中,特征处理单元922利用指定的变更处理内容变更指定的特征,将其存储在特征数据库823中,然后处理流程返回到步骤S391。
另一方面,在根据用户的主观做出telop得到提取的判断的情况下,通过用户操作操作单元902把指示处理完成的操作信号输入特征检测单元421,并且处理到此为止。
也就是说,由于如上所述的处理,用户在观看作为基的特征和变更处理内容的同时,进行操作,并且据此可以识别由此可以进行最佳处理的特征。并且随后,可以马上指定能够实现最适合用户的处理的特征。此外,通过按照显示屏输入生成新特征所需的输入信息,可以使用户指定的特征的类型增加,从而,可以有效地设置许多种特征的组合。
在上面的处理中,根据用户已经指定的特征的两种类型判定处理内容,并且从作为输入信号的图像信号中提取telop,因此,可以认为,“处理的内容”是这样改变的,使得根据用户做出的操作,可以获得用户所需的输出信号。此外,切换特征的两根坐标轴(选择的特征的两种类型),同时也设置新的特征(增加特征的类型),并且通过这些特征的组合改变判定处理内容的算法(例如,是否处理成telop),因此,不仅“处理的内容”,而且“处理的结构”也发生改变。
接着,参照图87描述取代如图83所示的优化设备901的内部信息生成单元912、配有内部信息生成单元1011的优化设备1001的配置。在图S87中,除了内部信息生成单元912被内部信息生成单元1011取代,以及处理判定单元412被如图69所示的处理判定单元711取代之外,其结构与如图83所示的优化设备901的结构相同。
内部信息生成单元1011基本上与内部信息生成单元912相同,但是进一步读出处理判定单元412的处理内容判定单元432判定的、为每个像素判定的处理内容的信息,并且在显示单元403显示它(已经加入了如图69所示的内部信息生成单元611的功能)。
此外,操作单元1002与操作单元402相同。
接着,参照图88中的流程图描述利用如图87所示的优化设备1001进行的telop提取优化处理。
在步骤S411中,特征检测单元911的缓冲器421接收作为输入信号的图像信号和存储这些图像信号,并且处理单元413没有改变地读出存储在缓冲器421中作为输入信号的图像信号,和没有任何处理地将这些图像信号输出到显示它们的显示单元403。
在步骤S412中,处理判定单元711的处理内容判定单元721判断操作单元1002是否已经指令telop和背景,重复该处理,直到指令telop和背景为止,并且一旦指令telop和背景,处理流程转到步骤S413。
在步骤S413中,特征检测单元911的特征提取单元422判断特征选择单元921是否已经选择了两种类型的特征,并且如果还没有选择,处理流程转到步骤S421。此外,在做出例如特征选择单元921已经输入了选择特征的信息的判断的情况下,处理流程转到步骤S414。
在步骤S414中,内部信息生成单元912提取指示特征选择单元921已经选择的两种类型特征的类型的信息,并且在显示单元403上显示(呈现)已经选择的两种类型特征的类型的名称。
在步骤S415中,特征提取单元422从作为输入信号的图像信号中为每个像素提取所选两种类型的特征,并且将其输出到处理判定单元412。此时,缓冲器421存储作为输入信号的图像信号。
在步骤S416中,处理判定单元711根据已经输入的两种类型特征,判定每个像素的处理内容,并且将这些特征输出到处理单元413。
在步骤S417中,内部信息生成单元1011根据输入到处理判定单元711的两种类型特征和为telop和背景指定的像素位置的信息,生成把两种类型特征作为其坐标轴的二维分布,并且在步骤S418中,在显示单元403上显示二维分布。更详细地说,处理判定单元711的特征识别单元431识别特征的类型,并且把指示其类型的信息和特征本身输出到处理内容判定单元721,处理内容判定单元721把指示背景中为telop指定的像素位置的信息以及指示特征及其类型的信息输出到内部信息生成单元1011,从而,内部信息生成单元1011根据指示为telop和背景指定的像素位置的信息,生成例如像图74所示的那样的特征的二维分布图。
在步骤S419中,处理单元413按照从处理判定单元711输入的处理内容,处理通过缓冲器421输入的、作为输入信号的图像信号,将这些图像信号转换成可以显示在显示单元403上的图像信号,将其输出到显示单元403,并且显示它们。
在步骤S420中,特征检测单元911判断telop是否被认为已经提取。也就是说,用户观看显示在显示单元403上的图像,并且在没有判断telop已得到提取的情况下,操作操作单元1002,以便再次改变特征的组合和尝试telop提取处理。在从操作单元1002输入与这个操作相对应的操作信号的情况下,处理流程转到步骤S421。
在步骤S421中,特征检测单元911的特征变更单元922判断是否已经指定了特征的变更,并且在不存在变更特征的指令的情况下,处理流程返回到步骤S413。另一方面,在步骤S421中,在特征变更单元922判断已经存在指令特征的改变的、从操作单元1002输入的操作信号的情况下,处理流程转到步骤S422。
在步骤S422中,特征变更单元922显示变更内容的指令屏幕(图86)。
在步骤S423中,特征变更单元922判断是否已经指定了用作基的特征,并且重复该处理,直到已经输入用作基的特征为止。在做出已经输入用作基的特征的判断的情况下,处理流程转到步骤S424。
在步骤S424中,特征变更单元922判断是否已经指令变更处理内容,并且重复该处理,直到指令变更处理内容为止。例如,在做出已经输入变更处理内容的判断的情况下,处理流程转到步骤S425。
在步骤S425中,特征变更单元922利用指定的变更处理内容变更用作基的指定特征,将其存储在特征数据库823中,然后处理流程返回到步骤S413。
另一方面,在步骤S420中根据用户的主观做出telop得到提取的判断的情况下,通过用户操作操作单元1102把指示处理完成的操作信号输入特征检测单元421,并且处理到此为止。
也就是说,由于如上所述的处理,重复步骤S411到S425中的处理,直到用户从观看显示在显示单元403上的那个图像可以判断telop得到提取为止,从而,使最适合用户的特征的组合得到设置和使telop从作为输入信号的图像信号中提取出来,并且增加可以由用户选择的特征的类型使大量特征的组合得到设置,从而执行最适合用户的处理。此外,显示变更已存在特征和生成新特征所需的变更指令屏幕,因此,用户可以根据显示有效地执行变更处理。此外,与此同时,在一边观看与像素的特征有关的telop和背景之间的分离状态一边改变特征的同时,可以重复地执行telop提取处理,从而,可以容易地选择能够高精度telop提取的特征。
接着,参照图89,描述取代如图55所示的优化设备401的特征检测单元411、处理判定单元412和操作单元402,配有特征检测单元1111、处理判定单元1112和操作单元1102的优化设备1101的配置。在图89中,除了新配备特征检测单元1111、处理判定单元1112和操作单元1102之外,其配置与如图55所示的优化设备401的配置相同。
在图56中的特征检测单元411的配置中,特征检测单元111未配特征选择单元423,而是由特征提取单元422提取事先已经设置的两种类型的特征,但是,其余部分具有相同配置。
处理判定单元1112存储借此更新存储在处理内容数据库433中的LUT的历史信息,并且更新与历史信息相对应的LUT。后面将参照图90描述处理判定单元1112的配置。
此外,操作单元1102与操作单元402相同。
现在,参照图90描述处理判定单元1112的配置。除了配有处理内容判定单元1121取代如图57所示的处理判定单元412的处理内容判定单元432,和附加了历史存储器1122之外,图90中的处理判定单元1112具有与处理判定单元412相同的配置。
处理内容判定单元1121把改变存储在处理内容数据库433中的LUT的操作的历史信息存储在历史存储器1122中,并且根据历史信息改变LUT。其它功能也与如图57所示的处理判定单元412的处理内容判定单元432的那些功能相同。
接着,参照如图91所示的流程图描述如图89所示的优化设备1101执行的telop提取优化处理。
在步骤S431中,特征检测单元1111的特征提取单元411从作为输入信号的图像信号中提取两种预定类型的特征,并且将这些特征输出到处理判定单元1112。此时,缓冲器421存储作为输入信号的图像信号。
在步骤S432中,处理判定单元1112的处理内容判定单元1121根据从特征识别单元431输入的特征的类型和特征,参照存储在处理内容数据库433中的LUT,判定每个像素的处理内容,并且将这些处理内容输出到处理单元413。
在步骤S433中,处理单元413按照从处理判定单元1112输入的处理内容处理像素,将它们输出到显示单元403并且显示。
在步骤S434中,处理判定单元1112的处理内容判定单元1121对改变LUT的操作信号是否已经从操作单元1102输入做出判断。也就是说,用户观看显示在显示单元403上的图像和主观地判断是否进行基于用户偏爱的处理,用户根据判断结果操作操作单元1102,以便输入相应的操作信号。例如,在没有进行与用户偏爱相匹配的处理的情况下(在显示单元403上没有显示基于用户偏爱的屏幕的情况下),为了改变处理判定单元1121的处理内容数据库433中的LUT,输入改变LUT的请求。
在步骤S434中,在已经输入请求改变LUT的操作信号,即没有进行基于用户偏爱的处理的情况下,处理流程转到步骤S435。
在步骤S435中,对LUT的改变处理是否可以通过自动LUT改变处理来执行做出判断。这里,存在手动LUT改变处理和自动改变处理供改变LUT的处理之用。以后将描述有关是否能够进行自动LUT改变处理的判断的细节。
例如,在步骤S435中做出不可进行自动LUT改变处理的判断的情况下,处理流程转到执行手动LUT改变处理的步骤S436。
现在,与LUT改变处理的描述一起,描述LUT的细节。LUT是如图92所示指示为两种特征的组合的每一种判定的处理内容的表格。在图92中,显示了作为两种类型特征的特征A和B的情况,并且在本例中,显示了将特征分类成8个级(总共64个类)的例子。此外,在图92中,特征被归一化成0到1.0之间的值,并且被划分成对于特征A的值Va的范围:从左开始,0≤Va<1/8、1/8≤Va<2/8、2/8≤Va<3/8、3/8≤Va<4/8、4/8≤Va<5/8、5/8≤Va<6/8、6/8≤Va<7/8、7/8≤Va≤8/8,和对于特征B的值Vb的范围:从上开始,0≤Vb<1/8、1/8≤Vb<2/8、2/8≤Vb<3/8、3/8≤Vb<4/8、4/8≤Vb<5/8、5/8≤Vb<6/8、6/8≤Vb<7/8、7/8≤Vb≤8/8。在该图中,根据各个范围的特征的组合,将处理内容分类成X、Y和Z的三个类型,并且在如图92所示的情况下,在0≤Va≤3/8和0≤Vb≤3/8的范围内,处理内容是X,在4/8≤Va<6/8或4/8≤Vb<6/8的范围内,处理内容是Y,和在其它范围内,处理内容是Z。此外,可以为处理内容做出各种规定。例如,如图93到图95所示,可以对感兴趣像素指定用在处理单元413中的处理的预测抽头。
也就是说,对于图93,显示了处理内容X,以及把感兴趣像素设为P0,其中,在空间上沿着x方向以感兴趣像素P0为中心设置过滤抽头P1和P2,和以相同的方式,沿着y方向以感兴趣像素P0为中心设置过滤抽头P3和P4,并且在时间方面以感兴趣像素P0为中心前后设置过滤抽头P5和P6(例如,处在相同像素位置上的前一帧中的抽头P6和后一帧中的P5)。也就是说,处理内容X处在所谓的时空过滤处理上。
此外,在图94中,显示了处理内容Y,其中,这里设置在时间方面的方向定时比P6更早的抽头P12和定时比P5更晚的抽头P11,取代图93中处在时空过滤中的抽头P3和P4,也就是说,处理内容Y是所谓的时间过滤处理。
并且,在图95中,显示了处理内容Z,其中,设置沿着x方向距感兴趣像素比抽头P1还要远的抽头P21和距感兴趣像素比抽头P2还要远的抽头P22,取代图93中处在时空过滤中的抽头P5和P6。也就是说,处理内容Z是所谓的空间过滤处理。
请注意,对于其中的类型,与如图92所示的例子一样,处理内容不局限于三种类型,并且理所当然,可以划分成不同于这数量的类型,例如可以做出这样的安排,使所有像素经受将它们划分成白色或黑色的二进制化处理。此外,正如在上例中所述的那样,这种二进制化处理可以是例如指定是否将一个像素提取成telop部分的二进制化处理。相反,对于处理内容的类型,可以存在三种类型或更多种类型。
接着,参照图96中的流程图,描述图91中步骤S436中的手动LUT改变处理。
在步骤S441中,处理内容判定单元1121判断是否像来自操作单元1102的操作信号那样,在处理内容中指定了像素位置,并且重复该处理,直到像来自操作单元1102的操作信号那样,指定了像素位置和指定了处理内容为止。也就是说,例如,在显示单元403上显示如图97所示的屏幕的情况下,用户可以在显示在显示单元403上的图像上操作指针1131,在用户所需的像素位置上执行预定处理,加入处理中的变化,显示例如如图97所示的下拉列表1132,和进一步指定显示在下拉列表1132中的处理内容X、Y和Z之一。在步骤S441中,一旦做出指定,就做出像素位置得到指定和处理内容得到指定的判断,然后处理流程转到步骤S442。在这种情况下,如图97所示,选择像素位置P41,并且选择处理内容X。
在步骤S442中,处理内容判定单元1121从指定的像素位置中读出相应的两种类型特征的组合。更详细地说,在特征检测单元1111检测的特征当中,处理内容判定单元1121读出与指定像素相对应的两种类型特征的组合。
在步骤S443中,处理内容判定单元1121把与相应特征组合相匹配的处理内容更新成在步骤S441中指定的处理内容。
在步骤S444中,处理内容判定单元1121把改变后的像素位置和处理内容存储在历史存储器1122中。
在步骤S445中,处理内容判定单元1121判断是否还存在对LUT的其它改变,并且在做出还要改变对LUT的处理的判断的情况下,即在从操作单元1102输入指令对LUT作其它改变的操作信号的情况下,处理流程返回到步骤S441,和在做出再也没有继续改变LUT的处理的判断的情况下,即在从操作单元1102输入指示LUT改变结束的操作信号的情况下,处理即告结束。
对于上面的手动LUT改变处理,LUT的改变按如下进行。也就是说,在步骤S442中,在例如对于处在获取的像素位置P41上的像素的特征,(Va,Vb)=(0.52,0.27)的情况下,对于图98中的LUT上的位置(从左算起的位置,从上算起的位置)=(5,3)(下文也以相同的方式指示LUT上的位置),在图98中设置处理内容Y。在如图97所示在步骤S443中把处理内容改变成X的情况下,如图99所示,在步骤S443中在LUT上的位置(5,3)上的处理从处理内容Y改变成处理内容X。
在如图96所示的手动LUT改变处理结束之后,处理流程返回到图91中的流程图中步骤S432中的处理,重复随后的处理。在这种情况下,在像如上所述那样改变LUT的情况下,执行与处理内容Y相对应的处理,直到如图99所示,LUT中两种类型特征的组合是(5,3)的像素。因此,在如图97所示的图像中,与具有与像素位置P41相同的特征的像素,即LUT上属于(5,3)的像素相对应地改变处理,并且显示例如如图100所示、对那个部分进行与在图97的情况中的处理不同的处理的图像。请注意,在图100中,显示了具有与图97中像素位置P41上的像素相同的特征的像素是白色的例子。
虽然已经对通过教师的组合仅仅为所选像素指定的LUT(对LUT的处理内容)发生改变的例子作了描述,但是,对于参照图96中的流程图所述的处理例子,对LUT的改变不局限于这一种。也就是说,例如,可以做出这样的安排,即例如在LUT上已经指定了对LUT的改变的部分的所有邻近部分都是改变的处理内容。也就是说,例如,如图101所示,在对于LUT的初始状态(LUT的初始状态是所谓的默认设置,并且可以是所有处理内容都不是Z的状态)、所有处理内容被设置成Z的情况下,可以做出这样的安排,即在如图102A所示,在LUT上位置(4,2)的处理内容被改变成X和在位置(5,2)上的处理内容被改变成Y的情况下,由于图96中的流程图的处理,如图102B所示,在LUT上与改变位置相近的区域可以被改变成X或Y。也就是说,在图102B的情况中,对于LUT上的所有位置,比较它们相对于LUT上的位置(4,2)的距离和相对于LUT上的位置(5,2)的距离,将它们均改变成相近位置的处理内容。因此,在图102B中,使左半区域成为处理内容X,而使右半区域成为处理内容Y。
这样,如图103A所示,在LUT上的位置(4,2)和(7,7)上的特征的组合的处理内容被改变成X和LUT上的位置(5,2)和(4,5)上的特征的组合的处理内容被改变成Y的情况下,如图103B所示,LUT上的(1,1)、(2,1)、(3,1)、(4,1)、(1,2)、(2,2)、(3,2)、(4,2)、(1,3)、(2,3)、(3,3)、(4,3)、(5,7)、(5,8)、(6,6)、(6,7)、(6,8)、(7,5)、(7,6)、(7,7)、(7,8)、(8,4)、(8,5)、(8,6)、(8,7)和(8,8)上的处理内容被改变成X,和在LUT上的所有其它位置上,处理内容是Y。
并且同样,如图104A所示,在LUT上的位置(4,2)和(7,7)上的特征的组合的处理内容被改变成X和LUT上的位置(2,3)、(5,2)、(4,5)和(7,4)上的特征的组合的处理内容被改变成Y的情况下,如图104B所示,LUT上的(3,1)、(3,2)、(4,1)、(4,2)、(4,3)、(5,7)、(5,8)、(6,6)、(6,7)、(6,8)、(7,6)、(7,7)、(7,8)、(8,6)、(8,7)和(8,8)上的处理内容被改变成X,而在LUT上的所有其它位置上,处理内容是Y。
如此改变LUT使得能在单次处理中,利用特征的相对近似组合成批改变多个特征的组合的处理内容。
现在,让我们回到图91中的流程图的描述。
在步骤S435中,在做出可以进行自动LUT改变处理的判断的情况下,流程转到步骤S437,执行自动LUT改变处理。
现在,参照图105中的流程图描述自动LUT改变处理。在步骤S461中,处理内容判定单元1121获取存储在历史存储器1122中的更新历史的分布中为每个处理内容而存在的一个组。也就是说,如图106所示,历史存储器1122存储与LUT不同的历史表,记录例如与通过上述手动LUT改变处理已经指定的改变有关的LUT上的位置和指定的处理内容。如图106所示的历史表表示已经对LUT上的(3,3)、(8,3)、(2,5)和(6,6)的处理内容分别指令改变,指令处理内容X、X、X和Y。
现在,每个处理内容的一个组意味着在预定区域或更大区域上具有预定密度或更大密度地存在历史表上的处理内容的区域。
例如,在存在一个组的情况下,如图107所示,在表上形成一个组1151,处理内容判定单元1121驯服(*tame)该组1151。请注意,在图107中,组1151是一组处理内容X,并且也为其它处理内容的每一个获得这些组。
此外,除非手动LUT处理已经执行了一定次数,不存在一个组,把更新历史存储在历史存储器1122中,并且还对LUT上有些聚合在一起的位置上的相同处理内容执行改变处理。现在,在图91中的步骤S435中,通过是否存在处理内容的组,对是否可进行自动LUT改变处理做出判断。也就是说,在对于每个其它处理内容存在一个组的情况下,做出可进行自动LUT改变处理的判断,并且如果不存在这些组,做出不可进行自动LUT改变处理的判断。
在步骤S462中,处理内容判定单元1121检测在步骤S461中获得的组的重心位置。
也就是说,例如,在图107中的情况下,形成组1151,并且从指定处理内容X的历史表上的所有位置中获得其重心位置。在图107中的情况下,从组1161内指定处理内容X的历史表上的所有位置中获得重心1161。
在步骤S463中,与历史表上存在于距该组的重心位置预定范围内的位置上的处理的内容相对应,处理内容判定单元1121将LUT上与各个像素的特征的组合相对应的格子的处理内容转换成历史表上与构成组的像素的特征的组合相对应的格子的处理内容,然后处理即告结束。也就是说,在图107中,LUT上与历史表的位置相对应的处理内容存在于范围1162内,并且被改变成构成组的处理内容X,其中,范围1162是中心在重心位置1161上、具有预定半径的圆的范围。
也就是说,例如,如图107所示,在LUT被配置成像图108所示的那样的状态生成历史表的情况下,在距重心1161预定距离内的范围1162内历史表上的(2,3)和(3,4)存储与如图107所示的、构成组的处理内容X不同的处理内容Y的历史信息,因此,LUT上与历史表上的(2,3)和(3,4)相对应的(2,3)和(3,4)的处理内容被改变成X。于是,在LUT被配置成如图108所示那样的情况下,LUT上(2,3)的处理内容是Y,因此,如图109所示,处理内容判定单元1121把LUT上(2,3)的处理内容改变成X。此外,在图108中的情况下,LUT上(3,4)的处理内容是X,因此,处理内容判定单元1121保持这个状态。
由于这种处理,LUT上的处理内容(格子信息)自动改变。请注意,这种处理不局限于在用户指令LUT的改变处理的时候执行,而是可以每隔预定时间间隔重复执行。
现在,让我们回到图91中的流程图的描述。
在步骤S434中做出没有指令改变LUT的判断的情况下,即在用户自己利用显示单元403的图像显示,判断生成适于用户偏爱的图像的情况下,处理即告结束。
通过上面的处理按照用户操作重复改变LUT,改变了登记在LUT上每个格子中的处理内容,从而能够生成适合用户偏爱的图像。
在上文中,LUT上的处理内容随用户的操作而改变,因此,可以认为,“处理的内容”发生了改变。此外,使改变成为如下的一种:根据组的重心位置改变那个LUT的处理内容的处理系统;或按照LUT上的指定位置上的处理内容,像图101到图104那样改变LUT上的另一个位置上的有关LUT的处理内容的处理系统;取决于是否根据用户进行的处理,为每个处理内容获得一个组。也就是说,改变用于LUT的改变算法,因此,也可以认为“处理的内容”的“处理的结构”随用户的操作而改变。
接着,参照图110,描述取代如图89所示的那种优化设备1101的处理判定单元1112而配备了处理判定单元1181和新配备了内部信息生成单元1182的优化设备1101的另一个配置例。在图110中,除了处理判定单元1181和新配备的内部信息生成单元1182之外,其配置与如图89所示的优化设备1101的配置相同。
处理判定单元1181存储更新存储在处理内容数据库1191(图111)中的LUT的历史信息,并且与历史信息相对应地改变LUT,同时把存储在处理内容数据库1191中的LUT供应给内部信息生成单元1182。
内部信息生成单元1182读出存储在处理内容数据库1191中的LUT,将其转换成可以显示在显示单元403上的信息,将其输出到显示单元403,并且显示它们。
接着,参照图111描述处理判定单元1181的配置。除了配备了处理内容数据库1191取代如图90所示的处理内容数据库433之外,图111中的处理判定单元1181具有与处理判定单元1112相同的配置。
处理内容数据库1191存储LUT,并且在必要的时候,还将LUT的信息供应给内部信息生成单元1182。其它功能与如图90所示的处理内容数据库433的那些功能相同。
接着,参照如图112所示的流程图,描述如图110所示的优化设备1101进行的telop提取优化处理。现在,图112中的telop提取优化处理基本上与参照图91中的流程图所述的处理相同,其中,图112中步骤S471到S473和S475到S478中的处理是与图91中步骤S431到S437相对应的处理。在步骤S473中的处理之后,在步骤S474中,内部信息生成单元1182读出处理判定单元1181的处理内容数据库1191的LUT,将其转换成可以显示在显示单元403上的图像信号,将其输出到显示单元403,显示(呈现)它,然后转到步骤S475,重复随后的处理。
由于这样的处理,使LUT得到显示(呈现),从而在从显示在显示单元403上的图像中识别对作为输入信号的图像信号进行的处理和LUT的改变的时候可以改变LUT。
到目前为止,已经描述了在手动LUT改变处理中,通过指定显示在显示单元403上的、利用登记在LUT中的处理内容而处理的图像上的像素和它们的处理内容来改变LUT的例子,但是,也可以做出这样的安排,即内部信息生成单元1182读出存储在处理内容数据库1191中的LUT,并且例如在操作单元1102可直接操作的状态,在显示单元403上显示LUT上的处理内容,以便可以直接改变LUT上的处理内容。
现在,参照图113中的流程图,描述图110中的优化设备1101直接改变上述LUT的值的手动LUT改变处理。
在步骤S481中,处理内容判定单元1121判定是否已经在LUT上指定了位置,并且重复该处理,直到指定为止。例如,如图114所示,在指定了作为处理内容被设置成Y的位置的、显示在显示单元403上的LUT上的位置(5,3)的情况下,做出在LUT上已经指定了位置的判断,然后处理流程转到步骤S482。
在步骤S482中,内部信息生成单元1182在显示单元403上显示,表示已经指定的LUT上的位置。也就是说,在图114中的情况下,在指定的(5,3)上显示位置得到显示的帧1192。
在步骤S483中,处理内容判定单元1121判定是否已经指定了处理内容,并且重复该处理,直到指定了处理内容为止。例如,如图114所示,通过在操作指针1191的位置显示下拉列表1193来指定(例如,通过右击用作操作单元1102的鼠标),和通过用户操作操作单元1102选择处理内容X、Y和Z之一,做出已经指定处理内容的判断,然后处理流程转到步骤S484。
在步骤S484中,处理内容判定单元1121把处理内容改变成指定的处理内容,并且结束处理。也就是说,在图114的情况下,选择了显示在下拉列表1193中的“X”,因此,如图115所示,LUT上的(5,3)的处理内容从Y改变成X。
由于上面的处理,可以直接改变在LUT上设置的处理内容,并且在观看通过登记在LUT上的处理内容处理的图像的同时,可以操作LUT,从而,可以容易地设置适合用户偏爱的处理内容。
对于图110中的优化设备1101,在手动LUT改变处理中改变通过用户操作指定的LUT上的格子上的处理内容,因此,可以认为,“处理的内容”通过用户的操作得到改变。此外,一旦存储在历史存储器1122中的改变历史积累到一定程度,和检测到一个组,就把改变LUT的算法从手动LUT改变处理改变成自动LUT改变处理,因此,“处理的结构”也发生改变。
并且,显示的LUT是与处理判定单元1112的处理有关的内部信息,同时,可以一边观看显示的LUT,一边改变LUT的处理内容,因此,用户可以识别LUT上的内容和显示在显示单元403上的图像之间的关联关系。
接着,参照图116描述作为另一个实施例,取代如图55所示的优化设备401的特征检测单元411和处理单元413,配备了特征检测单元1111和处理单元413的优化设备1201的配置。
特征检测单元1111与图89中的优化设备1101的配置中的那个相同。
处理单元1211利用例如根据从处理判定单元413输入的处理内容的信息,通过学习获得的系数组,使从缓冲器421读出的输入信号经受映射处理,将其输出到显示单元403,并且显示它。处理判定单元413根据来自操作单元1202的操作信号,改变学习系数组的方法。现在,操作单元1202与操作单元402相同。
接着,参照图117描述处理单元1211的配置。
学习设备1221基于从特征检测单元1111的缓冲器421读出的作为输入信号的图像信号,通过最小N次方误差法、学习映射处理单元1222针对每个处理内容的映射处理所需的系数组,并且将其存储在系数存储器1237中。此外,学习设备1221根据从操作单元1202输入的操作信号,通过改变最小N次方误差法中的指数N的值,学习系数组。
映射处理单元1222根据从处理判定单元412输入的处理内容,从学习设备1221的系数存储器1237读出相应系数组,对从特征检测单元1111的缓冲器421读出的作为输入信号的图像信号进行映射处理,将其输出到显示单元403,并且显示它们。
接着,参照图118描述学习设备1221的详细配置。教师数据生成单元1231与如图30所示的教师数据生成单元231相同,它从作为学习数据的输入信号中生成教师数据,并且将其输出到最小N次方误差系数计算单元1236。学生数据生成单元1232与如图30所示的学生数据生成单元232相同,它从用作学习数据的输入信号中生成学生数据,并且将其输出到特征提取单元1233和预测抽头提取单元1235。
特征提取单元1233与特征检测单元1111的特征提取单元422相同,它从学生数据中提取特征,并且将其输出到处理判定单元1234。处理判定单元1234与处理判定单元412相同,它根据从特征提取单元1233输入的特征,判断处理内容,并且将其输出到最小N次方误差系数计算单元1236。预测抽头提取单元1235与预测抽头提取单元233相同,它利用依次作为感兴趣像素的教师数据,从学生数据中提取用作与感兴趣像素有关的预测抽头的像素,并且将其输出到最小N次方误差系数计算单元1236。
就基本配置和处理内容而言,最小N次方误差系数计算单元1236与如图30所示的最小N次方误差系数计算单元234相同,它根据从操作单元1202输入的、指定最小N次方误差系数计算处理所需的指数N的信息,通过最小N次方误差法从教师数据和从预测抽头提取单元1235输入的预测抽头中计算系数组,并且将其输出到将其覆盖的系数存储器1237。但是,最小N次方误差系数计算单元1236与如图30所示的最小N次方误差系数计算单元234的不同之处在于,为从处理判定单元1234输入的每个处理内容生成系数组。系数存储器1237为每个处理内容存储对于每个处理内容、从最小N次方误差系数计算单元1236输出的系数组。图118显示了为每个处理内容存储的系数组A到N。
接着,参照图119描述映射处理单元1222的配置。抽头提取单元251与图31中的映射处理单元222相同,它从缓冲器421供应的输入信号中提取与感兴趣像素有关的预测抽头,并且将其输出到乘积之和计算单元1251。乘积之和计算单元1251与如图31所示的乘积之和计算单元252相同,它根据来自预测抽头提取单元251的输入,利用提取的预测抽头(像素)的值和存储在学习单元1221的系数存储器1237中的系数组,进行乘积之和计算处理,生成感兴趣像素,对所有像素进行这种处理,并且将它们作为输出信号输出到显示单元403并且显示。但是,请注意,在乘积之和计算处理中,乘积之和计算单元1251使用存储在系数存储器1237中的系数组A到N当中、与处理判定单元412供应的处理内容相对应的系数组。
接着,参照图120中的流程图,描述如图116所示的优化设备1201进行的图像优化处理的学习处理。
在步骤S501中,对用户是否已经操作了操作单元202做出判断,并且在做出还没有操作这个操作单元202的判断的情况下,流程返回到步骤S501。此外,在步骤S501中做出已经操作了操作单元1202的情况下,流程转到步骤S502。
在步骤S502中,学习设备1221的教师数据生成单元1231从输入信号中生成教师数据,并且将其输出到最小N次方误差系数计算单元1236,而学生数据生成单元1232从输入信号中生成学生数据,并且将其输出到特征提取单元1233和预测抽头提取单元1235,然后流程转到步骤S503。
现在,关于用于生成学生数据和教师数据的数据(下文可以称之为学习数据),可以应用例如从当前点算起往回预定时间量那一点输入的输入信号。此外,对于学习数据,可以事先存储专用数据,而不是使用输入信号。
在步骤S503中,特征提取单元1233在与感兴趣像素(教师数据)相对应的位置上从学生数据中提取特征,并且将其输出到处理判定单元1234。
在步骤S504中,处理判定单元1234根据从特征提取单元1233输入的特征,为感兴趣像素判定处理内容,并且将其输出到最小N次方误差系数计算单元1236。例如,处理判定单元1234可以对来自特征提取单元1233的一个或多个特征进行矢量量化,并且把其量化结果用作处理内容的信息。但是,在这种情况下,与图89中的处理判定单元1112那样,没有存储的LUT等。
在步骤S505中,预测抽头提取单元1235把每段教师数据取作感兴趣像素,从学生数据生成单元1232输入的学生数据中生成与每个感兴趣像素有关的预测抽头,并且将其输出到最小N次方误差系数计算单元1234,然后流程转到步骤S506。
在步骤S506中,最小N次方误差系数计算单元1236判断是否从操作单元202已经输入了指定借助于递归方法(第2种方法)、通过最小N次方误差对系数组的计算的操作信号,并且在做出例如用户已经操作了操作单元202,没有指定递归方法,即直接方法(第1种方法)的判断的情况下,流程转到步骤S507,对是否已经输入指定表达式(50)中的权重αs(指定指数N)的系数a、b和c做出判断,重复该处理,直到输入它们为止,并且在做出例如用户已经操作了操作单元1202和已经输入指定系数a、b和c的值的判断的情况下,流程转到步骤S507。
在步骤S507中,最小N次方误差系数计算单元1236在输入权重αs的系数a、b和c的状态下,主要通过最小平方误差法,求解使上述表达式(48)达到最小的问题,从而获得预测系数w1,w2,w3,...,wM,即对于从处理判定单元1234输入的每个处理内容,通过最小N次方误差法对与权重αs相对应的指数N求解的系数组,将其存储在系数存储器1237中,然后流程返回到步骤S501。
另一方面,在步骤S506中做出选择了递归方法的判断的情况下,处理流程转到步骤S509。
在步骤S509中,最小N次方误差系数计算单元1236判断是否已经输入指定指数N的信息,重复该处理,直到输入指数N为止,并且在对例如用户通过操作操作单元1202已经输入指定指数N的信息做出判断的情况下,处理流程转到步骤S510。
在步骤S510中,最小N次方误差系数计算单元1236获取作为基的、通过最小N次方误差法求解的系数组。在步骤S511中,最小平方误差系数计算单元1236对于从处理判定单元1234输入的每个处理内容,利用从通过最小平方误差获得的系数组中获得的预测值,像参照表达式(51)到表达式(54)所述的那样对于指数N以递归方式,通过与来自操作单元1202的输入相对应的最小N次方误差法获得系数组,将其存储在系数存储器1237中,然后流程返回到步骤S501。
由于上面的处理,对于每个处理内容,在系数存储器1237中学习系数组。
接着,参照图121中的流程图,描述利用如图116所示的优化设备1201进行的图像优化处理中的映射处理。
在步骤S521中,特征检测单元1111从作为输入信号的图像信号中检测输入信号在与感兴趣像素(输出信号)相对应的位置上的像素的特征,并且把检测的特征输出到处理判定单元412。
在步骤S522中,处理判定单元412根据从特征检测单元1111输入的特征,判定处理内容,并且将其输出到处理单元1211。处理判定单元412的处理通过进行与图118的处理判定单元1234相同的处理判定处理内容。因此,如上所述,在处理判定单元1234对来自特征提取单元1233的一个或多个特征进行矢量量化和把其量化结果取作如上所述的、与处理内容有关的信息的情况下,与图89中的处理判定单元1112一样,没有存储在如图116所示的处理单元412中的LUT等。
在步骤S523中,对于作为感兴趣帧、与用作当前输入信号的图像帧相对应的用作输出信号的图像帧,处理单元1211的映射处理单元1222的抽头提取单元251按例如光栅扫描次序,从那个感兴趣帧的像素中取出还没有成为感兴趣像素的那些像素,作为感兴趣像素,从输入信号中提取与感兴趣像素有关的预测抽头,并且将其输出到乘积之和计算单元1251。
在步骤S524中,映射处理单元1222的乘积之和计算单元1251从学习设备1221的系数存储器1237中,读出与从处理判定单元412输入的处理内容相对应的系数组。
然后在步骤S525中,乘积之和计算单元1251利用从学习设备1221的系数存储器1237读出的、与处理内容相对应的预测系数,并且按照表达式(39),利用从抽头提取单元251输入的预测抽头和从系数存储器1237读出的系数组进行乘积之和计算处理。因此,乘积之和计算单元1251获取感兴趣像素的像素值(预测值)。随后,流程转到步骤S526,在步骤S526中,抽头提取单元251判断是否已经使感兴趣帧中的所有像素都成为感兴趣像素,并且在做出相反判断的情况下,流程返回到步骤S521,以感兴趣帧的光栅扫描次序,把还没有成为感兴趣像素的像素取作新的感兴趣像素,随后,重复相同的处理。
此外,在步骤S526中做出使感兴趣帧中的所有像素都已成为感兴趣像素的判断的情况下,流程转到步骤S527,在步骤S527中,显示单元403显示由通过乘积之和计算单元1251获得的像素组成的感兴趣帧。
然后流程返回到步骤S521,特征检测单元1111从作为输入信号的图像信号中检测输入信号在与感兴趣像素(输出信号)相对应的位置上的像素的特征,把下一个帧取作新感兴趣帧,随后,重复相同的处理。
请注意,对于图116中的优化设备1201,指数N通过用户操作操作单元1202来改变(在直接方法中,改变指定指数N的系数a、b和c,而在递归方法中,改变指数N本身),从而设置指数N的哪一种要用于最小N次方误差法,作为预测系数(系数组)的学习标准(学习系统)。也就是说,改变获取系数的学习算法。因此,可以认为,“处理的结构”发生改变,以便获得适合用户偏爱的图像。
接着,参照图122,描述把内部信息生成单元1312配备到如图116所示的优化设备1201的优化设备1301的配置。
除了通过配备内部信息生成单元1312,配备了处理单元1311来取代处理单元1211之外,图122中的优化设3101与图116中的优化设备1201相同。
内部信息生成单元1312从例如处理单元1311中的系数存储器1321中读出为每个处理内容存储的系数组信息,作为内部信息,将其转换成可以显示在显示单元403上的信息,并且显示它。
接着,参照图123,描述处理单元1311的配置。基本配置是相同的,但是配备了系数存储器1321来取代系数存储器1237,并且对于这种配置,在其功能也相同的同时,使其与内部信息生成单元1312相连接,以便读出为每个处理内容存储的系数组。
接着,参照图124中的流程图,描述利用图122中的优化设备1301进行的图像优化处理。图122中的优化设备1301以与图116中的优化设备1201相同的方式,也由学习处理和映射处理组成。对于学习处理,在步骤S541到S551中进行与图120中的步骤S501到S511相同的处理。
并且,对于学习处理,在步骤S541和S551中的处理之后,流程转到步骤S552,内部信息生成单元1312读取存储在系数存储器1321中的系数组,作为内部信息,并且根据包含在系数组中的值,生成可以显示的图像信号,将其输出到显示单元403,和显示它们。
此时,如上所述,由内部信息生成单元1312生成和显示在显示单元403上的图像可具有如图39所示的三维分布或如图40所示的二维分布的形式。
现在,让我们回到图124中的流程图的描述。
在步骤S552中的处理之后,流程返回到步骤S541,随后,重复所述的处理。
另一方面,对于如图125中的流程图所示的映射处理,在步骤S571到S577中,分别进行与图121中的步骤S521到S527中的处理相同的处理。
由于上面的处理,存储在处理单元1311的系数存储器1321中的系数组的值(系数值)被显示(呈现)成与处理有关的内部信息,因此,用户一边观看系数组分布和作为输出信号的处理单元1311的处理结果,一边操作操作单元1202,以便获得适合他/她自己的偏爱的作为输出信号的图像,从而,通过改变指数N改变获取系数组的学习算法。因此,可以认为,使“处理的结构”发生改变,以便获得适合用户偏爱的图像。此外,虽然在上例中显示了系数组,但是,也可以做出这样的安排,即显示例如当前最小N次方误差法是直接方法还是递归方法的、与处理有关的内部信息。
接着,参照图126,描述具有配备了处理单元1411取代图116中的优化设备1201的处理单元1211的配置的优化设备1401。
处理单元1411的配置基本上与图41中优化设备301的处理单元311的配置相同,它根据从操作单元1202输入的操作信号和从处理判定单元412输入的处理内容,优化输入信号,并且在显示单元403上显示它们。
接着,参照图127,描述处理单元1411的配置。在系数存储器1421中为每个处理内容存储数个系数组,以及存储映射处理单元1222进行映射处理所需的系数组。该图表示存储了系数组A到N。这些系数组是利用图128中的学习设备1441,通过学习事先生成的。
现在,参照图128描述生成这些系数组的学习设备1441的配置。
学习设备1441的教师数据生成单元1451、学生数据生成单元1452、特征提取单元1453、处理判定单元1454和预测抽头提取单元1455分别对应于如图118所示的学习设备1221的教师数据生成单元1231、学生数据生成单元1232、特征提取单元1233、处理判定单元1234和预测抽头提取单元1235,因此,省略对它们的描述。
正规方程生成单元1456与如图43所示的正规方程生成单元354相同,它根据从教师数据生成单元351输入的教师数据和预测抽头,生成正规方程,并且将其输出到系数判定单元1457,但是,不同之处在于,此时,为从处理判定单元1454输入的每段处理内容信息生成和输出正规方程。
系数判定单元1457与图43中的系数判定单元355相同,它求解输入的正规方程,以生成系数组,此时,它生成与每段处理内容信息相关联的系数组。
接着,参照图129中的流程图,描述利用图128中的学习设备1441进行的系数判定处理(学习处理)。在步骤S591中,教师数据生成单元1451从学习数据中生成教师数据,并且将其输出到正规方程生成单元1456,而学生数据生成单元1452从学习数据中生成学生数据,并且将其输出到特征提取单元1453和预测抽头提取单元1455,然后流程转到步骤S592。
在步骤S592中,预测抽头提取单元1455从学生数据中提取与每个感兴趣数据有关的预测抽头,把每段教师数据依次取作感兴趣像素,并且将其输出到正规方程生成单元1456,然后流程转到步骤S593。
在步骤S593中,特征提取单元1453提取与处在与感兴趣像素(教师数据)相对应的位置上的学生数据(像素)有关的特征,并且将其输出到处理判定单元1454。
在步骤S594中,处理判定单元1454根据特征提取单元1453提取的特征,为每个像素判定处理内容,并且把判定的处理内容信息输出到正规方程生成单元1456。例如,处理判定单元1454可以让一个或多个特征经受矢量量化,并且把量化结果取作处理内容的信息。因此,在处理判定单元1456中没有存储的LUT。
在步骤S595中,正规方程生成单元1456利用教师数据和预测抽头组计算这个在表达式(46)左侧的矩阵的分量之和(∑)和在其右侧的矢量的分量之和(∑),从而为每段处理内容信息生成从处理判定单元1454输入的正规方程,并且将其输出到系数判定单元1457。
然后流程转到步骤S596,在步骤S596中,系数判定单元1457为每段处理内容信息求解从正规方程生成单元1456输入的正规方程,并且通过所谓的最小平方误差法为每段处理内容信息获得在步骤S597中存储在系数存储器1421中的系数组。
由于上面的处理,对于每段处理内容信息,基本系数组(用作初始值的系数组)被存储在系数存储器1421中。现在,虽然上面的描述给出了通过最小平方误差法获得的系数组,但是,这可以是通过其它方法获得的系数组,和可以是通过如上所述的最小N次方误差法获得的系数组。
接着,参照图130中的流程图,描述如图126所示的优化设备1401的图像优化处理。这个图像优化处理由系数改变处理和映射处理组成,但是,映射处理与参照图121和图125所述的映射处理相同,因此,这里只描述系数改变处理。
在步骤S611中,系数改变单元322的改变处理单元332判断操作系数值的操作信号是否已经从操作单元1202输入。也就是说,在用户观看显示在显示单元403上的图像,并且认为这适合他/她自己的偏爱的情况下,对存储在系数存储器1421中的每段处理内容信息的系数组执行映射处理,但是,在这不适合用户的偏爱的情况下,进行改变用于映射处理的、存储在系数存储器1421中的系数组的操作。
例如,在步骤S611中,在做出已经输入用于操作系数的操作信号的判断的情况下,即在已经操作了操作单元1202以便改变存储在系数存储器1421中的系数的系数值之一的情况下,流程转到步骤S612。
在步骤S612中,改变处理单元332控制系数读/写单元331读出存储在系数存储器321中的系数组,然后流程转到步骤S613。在步骤S613中,改变处理单元332对与事先包含在系数组中的值相比较、作为操作信号输入的系数值的改变是否大于或等于预定阈值S11做出判断。在例如在步骤S613中做出相对于存储在系数存储器1421中的系数组值、作为操作信号输入的系数值的改变大于等于预定阈值S11的情况下,处理流程转到步骤S614。
在步骤S614中,改变处理单元332利用如图50所示的弹簧模型,改变包含在系数组中的系数的值,然后处理流程转到步骤S615。
另一方面,在步骤S613中做出作为操作信号输入的值与存储在系数存储器1421中的系数组的值之间的变化不大于等于阈值S11的情况下,处理流程转到步骤S615。
在步骤S615中,改变处理单元332利用如图51所示的平衡模型,改变包含在系数组中的系数的值,然后处理流程转到步骤S616。
在步骤S616中,改变处理单元332控制系数读/写单元331通过覆盖把改变的系数组值存储在系数存储器1421中,处理流程返回到步骤S611,重复随后的处理。
然后在步骤S611中做出没有操作系数值的判断的情况下,即在用户判断显示在显示单元403上的图像是适合用户偏爱的图像的情况下,处理流程返回到步骤S611,随后,重复相同的处理。
由于上面的系数改变处理,用户可以改变用于映射处理的、为每段处理内容信息存储的系数组,并且执行最适合用户的处理。现在,改变系数组中的系数的值意味着利用映射处理单元311进行的映射处理的“处理的内容”发生改变。
此外,对于图130中的系数改变处理,在系数的改变幅度大于等于预定阈值S11的情况下,根据操作的系数的值,利用弹簧模型改变系数组中的所有系数值,而在这个改变幅度小于阈值S11的情况下,利用平衡模型改变系数组中的所有系数值,因此,改变系数组的系数组改变算法发生改变。于是,对于图126中的优化设备1401的处理单元1411,也可以认为,“处理的内容”,以及“处理的结构”也随用户的操作而改变,从而进行最适合用户的信号处理。
此外,在如上所述,通过最小N次方功率误差法获得存储在系数存储器1421中的系数组的情况下,也可以做出这样的安排,即例如事先把与数个指数N相对应的系数组存储在系数存储器1421中,和系数改变单元322在根据用户所作的操作从操作单元1202输入操作信号之后,将其改变成与指定的指数N相对应的系数组。在这种情况下,存储在系数存储器1421中的系数组被改变成通过与根据用户的操作从操作单元1202输入的指数N相对应的最小N次方误差法生成的那些系数组。也就是说,获取与指数N相对应的系数组的学习算法发生改变,因此,可以认为,“处理的结构”发生改变。
接着,参照图131描述把内部信息生成单元1521配备在如图126所示的优化设备1401上形成的优化设备1501的配置。对于图131中的优化设备1501,除了配备内部信息生成单元1521,和配备处理单元1511取代处理单元1411之外,其它配置与图126中的优化处理单元1521相同。
内部信息生成单元1521读出例如存储在处理单元1511的系数存储器1531中的、为每段处理内容信息存储的系数组,作为内部信息,将其转换成可以显示在显示单元403上的图像信号,将其输出到显示单元403,并且显示它们。
接着,参照图132描述处理单元1521的配置。除了配备系数存储器1531取代系数存储器1421之外,这基本上与图126中处理单元1411的配置相同。系数存储器1531在功能上几乎与系数存储器1421相同,但是,不同之处在于,它与内部信息生成单元1521连接,并且具有在适当的时候读出系数组的配置。
接着,参照图133中的流程图,描述如图131所示的优化设备1501进行的图像优化处理。与如图126所示的优化设备1401进行的图像优化处理相同,这个图像优化处理由系数改变处理和映射处理组成,但是,映射处理与参照图121和图125所述的映射处理相同,因此,这里只描述系数改变处理。
对于系数改变处理,在步骤S631到S636中分别进行与图130中的步骤S611到S616中的处理相同的处理。
然后在步骤S636中,与图130中的步骤S616中一样,在将改变后系数组存储在系数存储器1521中之后,流程转到步骤S637,在步骤S637中,内部信息生成单元1521读出存储在系数存储器1531中的系数组的系数值,将这些值转换成可以显示在显示单元403上的图像信号,输出到显示单元403并且显示(呈现)它们。此时,如上所述,显示(呈现)在显示单元403上的系数组的系数值可以具有例如如图39所示的三维分布或如图40所示的二维分布的形式。
在步骤S637中的处理之后,流程返回到步骤S631,随后,重复相同的处理。
根据图133中的系数改变处理,为每段处理内容信息存储在系数存储器1531中的系数组的值被显示成内部信息,因此,用户可以一边观看这些系数组,一边操作操作单元1202,从而获得执行最适合用户的处理的系数组。
此外,对于映射处理单元1222的乘积之和计算单元1251,取代表达式(39)中的线性表达式,可以通过计算二阶或更高阶的高阶表达式获得输出信号。
接着,上述的一系列处理可以通过硬件来实现,或可以通过软件来实现。在一系列处理可以通过软件来实现的情况下,将构成软件的程序安装在通用计算机等中。
现在,图134显示了安装执行上述一系列处理的程序的计算机的第1实施例的配置例。
可以将程序事先存储在内置在计算机中用作记录媒体的硬盘2105或ROM(只读存储器)2103中。
或者,可以将程序暂时或永久地存储(记录)在可去除记录媒体2111上,譬如,软盘、CD-ROM(只读光盘存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘和半导体存储器等。这样的可去除记录媒体2111可以以所谓的套装软件的形式提供。
此外,除了将程序从这样的可去除记录媒体2111安装到计算机中之外,也可以通过经由用于数字卫星广播的卫星的无线装置或者通过经由诸如LAN(局域网)或因特网之类的网络的电缆、将程序从下载网站传送到计算机,计算机通过通信单元2108接收如此传送的程序,并且将程序安装在内置硬盘2105中。
计算机含有内置CPU(中央处理单元)2102。输入/输出接口2110通过总线2101与CPU 2102相连接,并且一旦通过用户操作由键盘、鼠标和麦克风等组成的输入单元2107、经由输入/输出接口2110输入命令,CPU 2102据此执行存储在ROM 2103中的程序。或者,CPU 2102向RAM(随机访问存储器)2104装载和执行存储在硬盘2105中的程序、从卫星或网络传输、利用通信单元2108接收和安装在硬盘2105中的程序、或者从安装到驱动器2109的可去除记录媒体21111读出和被安装到硬盘2105的程序。因此,CPU 2102执行按照上述流程图的处理或通过上述方块图的配置实现的处理。CPU 2102例如在必要的时候,经由输入/输出接口2110从由LCD(液晶显示器)或扬声器等组成的输出单元2106输出处理结果,或者从通信单元2108发送,并且对硬盘2105进行记录等。
现在,在说明书中,描述使计算机执行各种类型的处理的处理步骤不必需要按照流程图中所述的次序按时间序列执行,而且本发明包括并行执行或独立处理(例如,并行处理或按对象处理)。
此外,程序可以由一台计算机来处理,或者,可以由多台计算机分担和由它们来处理。并且,可以把程序传送到远程计算机来执行。
尽管上方已经对将本发明应用于从输入信号中消除噪声或自动驱动作了描述,但是,本发明广泛应用于除了噪声消除或自动驱动之外的其它应用,例如信号频率特征的转换等。
工业可应用性
如上所述,根据本发明,处理的内容,以及处理的结构随用户的操作而改变,从而可以进行最适合那个用户的处理。
对于本实施例,内部信息如输出信号那样被显示在同一显示单元上,但是,内部信息也可以被显示在与显示输出信号的显示单元分离的显示单元上。

Claims (37)

1.一种信号处理设备,包括:
信号处理装置,用于对输入信号进行信号处理;和
呈现装置,用于呈现所述信号处理装置的信号处理结果和所述信号处理装置的内部信息;
其中,所述信号处理装置的处理的结构随根据用户操作供应的操作信号而改变。
2.根据权利要求1所述的信号处理设备,所述信号处理装置包括输出信号生成装置,用于通过线性组合所述输入信号和预定预测系数生成输出信号;
其中,所述呈现装置把所述预测系数呈现成所述信号处理装置的内部信息;和
其中,所述信号处理装置的处理的结构通过随所述操作信号而改变的所述预测系数来改变。
3.根据权利要求2所述的信号处理设备,所述信号处理装置还包括:
教师数据生成装置,用于从预定学习数据中生成教师数据;
学生数据生成装置,用于从所述学习数据中生成学生数据;和
学习装置,用于学习通过线性组合所述学生数据和所述预测系数获得的所述教师数据的预测值以及利用教师数据使误差达到最小的所述预测系数;
其中,所述输出信号生成装置利用所述学习装置通过学习获得的所述预测系数,生成所述输出信号。
4.根据权利要求3所述的信号处理设备,其中,所述学习装置通过最小N次方误差学习所述预测系数,该最小N次方误差统计地使作为所述误差的N次方的N次方误差达到最小;和
其中,所述信号处理装置的处理的结构通过随所述操作信号而改变的所述误差的N次方来改变。
5.根据权利要求2所述的信号处理设备,其中,所述信号处理装置还包括存储装置,用于存储通过预定学习事先获得的所述预测系数。
6.根据权利要求5所述的信号处理设备,其中,所述存储装置存储数组所述预测系数。
7.根据权利要求6所述的信号处理设备,其中,所述预测系数通过进行学习而获得,以使通过线性组合用作学习的学生的学生数据和预测系数而获得的、用作学习的教师的教师数据的预测值与教师数据之间的误差达到最小;
并且其中,存储在所述存储装置中的所述数组预测系数包含:利用统计地使所述误差的N次方的N次方误差达到最小的最小N次方误差法、通过学习而获得的一组预测系数,以及利用统计地使不同于N的N次方误差达到最小的最小N次方误差法、通过学习而获得的一组预测系数。
8.一种信号处理方法,包括:
信号处理步骤,用于对输入信号进行信号处理;和
呈现步骤,用于呈现在所述信号处理步骤中处理的信号处理结果和在所述信号处理步骤中处理的内部信息;
其中,所述信号处理步骤的处理的结构随根据用户操作供应的操作信号而改变。
9.一种存储计算机可读程序的记录媒体,所述程序包括:
信号处理控制步骤,用于控制对输入信号的信号处理;和
呈现控制步骤,用于控制在所述信号处理控制步骤中处理的信号处理结果和在所述信号处理控制步骤中处理的内部信息的呈现;
其中,所述信号处理控制步骤的处理的结构随根据用户操作供应的操作信号而改变。
10.一种使计算机执行如下步骤的程序:
信号处理控制步骤,用于控制对输入信号的信号处理;和
呈现控制步骤,用于控制在所述信号处理控制步骤中处理的信号处理结果和在所述信号处理控制步骤中处理的内部信息的呈现;
其中,所述信号处理控制步骤的处理的结构随根据用户操作供应的操作信号而改变。
11.一种信号处理设备,包括:
特征检测装置,用于从输入信号中检测特征;
处理判定装置,用于根据所述特征检测装置检测的特征,判定与所述输入信号有关的处理的内容;
处理执行装置,用于按照所述处理判定装置判定的所述处理内容,执行对所述输入信号的处理;和
呈现装置,用于呈现所述特征检测装置、所述处理判定装置和所述处理执行装置的内部信息的至少一个;
其中,所述特征检测装置、所述处理判定装置和所述处理执行装置的至少一个的处理内容随根据用户操作供应的操作信号而改变。
12.根据权利要求11所述的信号处理设备,其中,所述特征检测装置的处理的内容随所述操作信号而改变。
13.根据权利要求12所述的信号处理设备,其中,所述操作信号是在数种类型的特征当中、指定预定数量类型的特征的信号;
并且其中,所述特征检测装置改变其处理的内容,以便检测所述预定数量类型的特征。
14.根据权利要求13所述的信号处理设备,其中,所述特征检测装置从所述输入信号中检测所述预定数量类型的特征;
并且其中,所述处理判定装置根据所述特征检测装置从所述输入信号中检测的所述预定数量类型的特征,判定在所述处理执行装置上对所述输入信号的处理的内容。
15.根据权利要求11所述的信号处理设备,其中,所述操作信号是指定所述输入信号是第1或第2处理对象的哪一个的信号;
并且其中,所述呈现装置呈现作为所述内部信息、用作所述第1和第2处理对象的所述输入信号的特征的分布。
16.根据权利要求15所述的信号处理设备,其中,在对于所述呈现装置所呈现的所述分布、存在指定所述输入信号是第1或第2处理对象的哪一个的所述操作信号的输入的情况下,对所述输入信号进行的处理的内容随操作信号而改变。
17.根据权利要求14所述的信号处理设备,其中,所述输入信号是图像信号;
并且其中,所述处理判定装置根据所述特征检测装置从所述输入信号中检测的所述预定数量类型的特征,判定是否像与所述输入信号有关的所述处理内容那样、没有改变地输出所述输入信号;
而且其中,所述处理执行装置通过按照所述处理判定装置所作的判定、有选择地输出所述输入信号,来检测作为所述输入信号的图像信号内的telop。
18.根据权利要求11所述的信号处理设备,其中,所述处理判定装置的处理内容随所述操作信号而改变。
19.根据权利要求18所述的信号处理设备,其中,所述处理判定装置包括存储装置,用于存储指示所述特征和与具有所述特征的所述输入信号有关的所述处理内容之间的关联关系的表格;
并且其中,所述处理判定装置判定在所述表格上与所述特征检测装置检测的所述输入信号的特征关联的所述处理内容,作为对所述输入信号的处理内容;
并且其中,所述呈现装置呈现作为所述处理判定装置的内部信息的所述表格。
20.根据权利要求19所述的信号处理设备,其中,所述处理判定装置通过根据所述操作信号改变所述表格中的所述处理内容,来改变自身的处理内容。
21.根据权利要求19所述的信号处理设备,其中,输出第1值的输出信号的处理,和输出第2值的输出信号的处理,像与所述输入信号有关的处理内容那样,存在于所述表格之中;
并且其中,所述处理执行装置按照所述处理判定装置的判定,把所述输入信号二进制化成所述第1和第2值。
22.根据权利要求11所述的信号处理设备,其中,所述处理执行装置的处理内容随所述操作信号而改变。
23.根据权利要求22所述的信号处理设备,其中,所述处理执行装置通过线性组合所述输入信号和预定预测系数,生成输出信号;
并且通过根据所述操作信号改变所述预测系数,来改变其处理的内容。
24.根据权利要求23所述的信号处理设备,其中,与所述输入信号线性组合的所述预测系数是这样改变的,使其和是1。
25.根据权利要求23所述的信号处理设备,其中,在与所述输入信号线性组合的一系列预测系数中除了随所述操作信号而改变的预测系数之外的预测系数当中,与随所述操作信号而改变的预测系数接近的那些预测系数在与随所述操作信号而改变的预测系数相同的方向改变,而远离随所述操作信号而改变的预测系数的那些预测系数在与随所述操作信号而改变的预测系数相反的方向改变。
26.根据权利要求23所述的信号处理设备,其中,在与所述输入信号线性组合的一系列预测系数中除了随所述操作信号而改变的预测系数之外的预测系数当中,含有其极性与随所述操作信号而改变的预测系数相同的极值的那些预测系数、在与随所述操作信号而改变的预测系数相同的方向改变,而含有其极性与随所述操作信号而改变的预测系数不同的极值的那些预测系数、在与随所述操作信号而改变的预测系数相反的方向改变。
27.一种信号处理方法,包括:
特征检测步骤,用于从输入信号中检测特征;
处理判定步骤,用于根据在所述特征检测步骤中检测的特征,判定与所述输入信号有关的处理的内容;
处理执行步骤,用于按照在所述处理判定步骤中判定的所述处理内容,执行与所述输入信号有关的处理;和
呈现步骤,用于呈现在所述特征检测步骤中的处理、在所述处理判定步骤中的处理和在所述处理执行步骤中的处理的内部信息的至少一个;
其中,在所述特征检测步骤中的处理、在所述处理判定步骤中的处理和在所述处理执行步骤中的处理的至少一个的处理内容,随根据用户操作供应的操作信号而改变。
28.一种存储计算机可读程序的记录媒体,所述程序包括:
特征检测控制步骤,用于控制从输入信号的特征检测;
处理判定控制步骤,用于控制根据在所述特征检测控制步骤中的处理检测的特征,对与所述输入信号有关的处理的内容的判定;
处理执行控制步骤,用于控制按照在所述处理判定控制步骤中的处理判定的所述处理内容,对所述输入信号的处理的执行;和
呈现控制步骤,用于控制在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的内部信息的至少一个的呈现;
其中,在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的至少一个的处理内容,随根据用户操作供应的操作信号而改变。
29.一种使计算机执行如下步骤的程序:
特征检测控制步骤,用于控制从输入信号的特征检测;
处理判定控制步骤,用于控制根据在所述特征检测控制步骤中的处理检测的特征,对与所述输入信号有关的处理的内容的判定;
处理执行控制步骤,用于控制按照在所述处理判定控制步骤中的处理判定的所述处理内容,对所述输入信号的处理的执行;和
呈现控制步骤,用于控制在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的内部信息的至少一个的呈现;
其中,在所述特征检测控制步骤中的处理、在所述处理判定控制步骤中的处理和在所述处理执行控制步骤中的处理的至少一个的处理内容,随根据用户操作供应的操作信号而改变。
30.一种信号处理设备,包括:
输出值生成装置,用于通过线性组合输入信号和事先存储的数个系数,生成输出值;和
呈现装置,用于呈现所述输出值和所述数个系数;
其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
31.根据权利要求30所述的信号处理设备,其中,与所述输入信号线性组合的所述系数是这样改变的,使其和是1。
32.根据权利要求30所述的信号处理设备,其中,在所述数个系数之一随所述操作信号而改变的情况下,在一系列的所述数个系数中除了随所述操作信号而改变的系数之外的系数当中,与随所述操作信号而改变的系数接近的那些系数、在与随所述操作信号而改变的系数相同的方向改变,而远离随所述操作信号而改变的系数的那些系数、在与随所述操作信号而改变的系数相反的方向改变。
33.根据权利要求30所述的信号处理设备,其中,在所述数个系数之一随所述操作信号而改变的情况下,在一系列的所述数个系数中除了随所述操作信号而改变的系数之外的系数当中,含有其极性与随所述操作信号而改变的系数相同的极值的那些系数、在与随所述操作信号而改变的系数相同的方向改变,而含有其极性与随所述操作信号而改变的系数不同的极值的那些系数、在与随所述操作信号而改变的系数相反的方向改变。
34.根据权利要求30所述的信号处理设备,其中,所述数个系数通过进行学习获得,在学习中使通过线性组合用作学习的学生的学生数据和所述数个系数获得的、用作学习的教师的教师数据的预测值与其教师数据之间的误差达到最小。
35.一种信号处理方法,包括:
输出值生成步骤,用于通过线性组合输入信号和事先存储的数个系数,生成输出值;和
呈现步骤,用于呈现所述输出值和所述数个系数;
其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
36.一种存储计算机可读程序的记录媒体,所述程序包括:
输出值生成控制步骤,用于控制通过线性组合输入信号和事先存储的数个系数而生成输出值;和
呈现控制步骤,用于控制所述输出值和所述数个系数的呈现;
其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
37.一种使计算机执行如下步骤的程序:
输出值生成控制步骤,用于控制通过线性组合输入信号和事先存储的数个系数而生成输出值;和
呈现控制步骤,用于控制所述输出值和所述数个系数的呈现;
其中,所述数个系数的一个或多个随根据用户操作供应的操作信号而改变。
CNB028144155A 2002-02-21 2002-02-21 信号处理设备 Expired - Fee Related CN100530230C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2002/001543 WO2003071479A1 (fr) 2002-02-21 2002-02-21 Processeur de signaux

Publications (2)

Publication Number Publication Date
CN1533551A true CN1533551A (zh) 2004-09-29
CN100530230C CN100530230C (zh) 2009-08-19

Family

ID=27742296

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028144155A Expired - Fee Related CN100530230C (zh) 2002-02-21 2002-02-21 信号处理设备

Country Status (7)

Country Link
US (1) US7499895B2 (zh)
EP (2) EP1887514B1 (zh)
JP (1) JP4296935B2 (zh)
KR (1) KR100852042B1 (zh)
CN (1) CN100530230C (zh)
DE (2) DE60232831D1 (zh)
WO (1) WO2003071479A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518221A (zh) * 2011-05-11 2014-01-15 I<sup>3</sup>研究所股份有限公司 图像处理装置、图像处理方法、及具有记录程序的记录媒体
CN111246056A (zh) * 2018-11-29 2020-06-05 佳能株式会社 信息处理设备及其控制方法、摄像设备和存储介质
CN116504031A (zh) * 2023-06-27 2023-07-28 西北大学 一种用于山体滑坡的监测数据处理方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4144377B2 (ja) * 2003-02-28 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20060262210A1 (en) * 2005-05-19 2006-11-23 Micron Technology, Inc. Method and apparatus for column-wise suppression of noise in an imager
JP4351658B2 (ja) * 2005-07-21 2009-10-28 マイクロン テクノロジー, インク. メモリ容量低減化方法、メモリ容量低減化雑音低減化回路及びメモリ容量低減化装置
JP5217250B2 (ja) * 2007-05-28 2013-06-19 ソニー株式会社 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
JP4591566B2 (ja) * 2008-07-14 2010-12-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5390159B2 (ja) * 2008-10-08 2014-01-15 株式会社東芝 医療画像処理装置、医療画像処理プログラムおよび医療撮影装置
US8175377B2 (en) * 2009-06-30 2012-05-08 Xerox Corporation Method and system for training classification and extraction engine in an imaging solution
WO2011144499A1 (en) * 2010-05-21 2011-11-24 Bang & Olufsen A/S Circular loudspeaker array with controllable directivity
BR112013028782A2 (pt) 2011-05-11 2017-01-31 I-Cubed Res Center Inc aparelho de processamento de imagem, método de processamento de imagem, e meio de armazenamento onde um programa é armazenado
US20130235399A1 (en) * 2012-03-09 2013-09-12 Xerox Corporation Systems and methods for employing declarative programming to optimize dynamic operations in complex image forming and media handling devices
TWI586180B (zh) * 2012-08-17 2017-06-01 I-Cubed Res Center Inc An image processing apparatus, an image processing method, and a storage medium for storing a program
US10019983B2 (en) * 2012-08-30 2018-07-10 Aravind Ganapathiraju Method and system for predicting speech recognition performance using accuracy scores
GB2514557A (en) * 2013-05-28 2014-12-03 Snell Ltd Image processing
JP6347190B2 (ja) 2013-12-20 2018-06-27 富士通株式会社 情報処理装置、プログラム及び方法
US20150193699A1 (en) * 2014-01-08 2015-07-09 Civitas Learning, Inc. Data-adaptive insight and action platform for higher education
WO2017061189A1 (ja) * 2015-10-05 2017-04-13 シャープ株式会社 画像復号装置または画像符号化装置のための画像予測装置
JP6833660B2 (ja) * 2017-11-08 2021-02-24 株式会社東芝 信頼度監視システム、信頼度評価方法、及びプログラム
KR102111766B1 (ko) * 2018-08-29 2020-05-15 한국과학기술원 적응 제어 알고리즘을 위한 중앙처리장치-병렬처리장치 구조 기반의 데이터 처리 장치 및 그 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH083842B2 (ja) * 1987-01-13 1996-01-17 オリンパス光学工業株式会社 画像処理方法
US6259824B1 (en) * 1991-03-12 2001-07-10 Canon Kabushiki Kaisha Image processing apparatus utilizing a neural network to improve printed image quality
JPH05183389A (ja) 1991-12-27 1993-07-23 Casio Comput Co Ltd デジタルフィルタの入力装置
JPH0997319A (ja) * 1995-09-28 1997-04-08 Fujitsu Ltd 色空間画像を補正する画像処理装置および方法
JP3975530B2 (ja) 1996-12-27 2007-09-12 富士ゼロックス株式会社 画像処理装置
JPH1139369A (ja) 1997-07-23 1999-02-12 Omron Corp フィルタ設計支援装置及びその方法
JP4168490B2 (ja) * 1998-09-03 2008-10-22 ソニー株式会社 動き判定装置、その方法および画像情報変換装置
KR100615839B1 (ko) * 1998-10-26 2006-08-25 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 학습 장치 및 학습 방법
JP4517409B2 (ja) * 1998-11-09 2010-08-04 ソニー株式会社 データ処理装置およびデータ処理方法
JP4258045B2 (ja) * 1998-11-09 2009-04-30 ソニー株式会社 ノイズ低減装置、ノイズ低減方法、および記録媒体
JP2001218210A (ja) * 2000-02-02 2001-08-10 Sony Corp ノイズ検出方法、ノイズ検出装置、画像データ処理装置、記録媒体
EP1124384A1 (en) * 2000-02-10 2001-08-16 Sony Corporation Information processing apparatus for compressed image data using class-classification adaptive processing
WO2001059751A1 (en) * 2000-02-10 2001-08-16 Sony Corporation Image processing device and method, and recording medium
JP2001238185A (ja) 2000-02-24 2001-08-31 Sony Corp 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法
JP2001319228A (ja) * 2000-02-28 2001-11-16 Sharp Corp 画像処理装置および画像処理システム
JP2002044572A (ja) * 2000-07-21 2002-02-08 Sony Corp 情報信号処理装置及び情報信号処理方法および情報信号記録装置
KR100877457B1 (ko) * 2001-02-21 2009-01-07 소니 가부시끼 가이샤 신호 처리 장치 및 방법과 신호 처리 프로그램을 기록한 기록매체

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518221A (zh) * 2011-05-11 2014-01-15 I<sup>3</sup>研究所股份有限公司 图像处理装置、图像处理方法、及具有记录程序的记录媒体
US9826194B2 (en) 2011-05-11 2017-11-21 I-Cubed Research Center Inc. Image processing apparatus with a look-up table and a mapping unit, image processing method using a look-up table and a mapping unit, and storage medium in which program using a look-up table and a mapping unit is stored
CN111246056A (zh) * 2018-11-29 2020-06-05 佳能株式会社 信息处理设备及其控制方法、摄像设备和存储介质
US11165952B2 (en) 2018-11-29 2021-11-02 Canon Kabushiki Kaisha Information processing apparatus, image capturing apparatus, method for controlling information processing apparatus, and non-transitory storage medium
CN111246056B (zh) * 2018-11-29 2022-05-17 佳能株式会社 信息处理设备及其控制方法、摄像设备和存储介质
CN116504031A (zh) * 2023-06-27 2023-07-28 西北大学 一种用于山体滑坡的监测数据处理方法
CN116504031B (zh) * 2023-06-27 2023-08-29 西北大学 一种用于山体滑坡的监测数据处理方法

Also Published As

Publication number Publication date
EP1477929B1 (en) 2010-04-07
JPWO2003071479A1 (ja) 2005-06-16
US7499895B2 (en) 2009-03-03
EP1887514B1 (en) 2009-07-01
CN100530230C (zh) 2009-08-19
DE60232831D1 (de) 2009-08-13
EP1887514A1 (en) 2008-02-13
KR100852042B1 (ko) 2008-08-13
EP1477929A4 (en) 2006-12-27
JP4296935B2 (ja) 2009-07-15
DE60235920D1 (de) 2010-05-20
KR20040092372A (ko) 2004-11-03
EP1477929A1 (en) 2004-11-17
WO2003071479A1 (fr) 2003-08-28
US20050007159A1 (en) 2005-01-13

Similar Documents

Publication Publication Date Title
CN1253830C (zh) 信号处理装置
CN1533551A (zh) 信号处理设备
CN1260958C (zh) 数据处理设备、数据处理方法和数据处理系统
CN1213592C (zh) 采用自适应二值化的图象处理方法和设备
CN1271568C (zh) 信息变换系统
CN1208970C (zh) 图像处理装置
CN1175542C (zh) 系统显示装置
CN1197351C (zh) 图像合成装置
CN1281064C (zh) 利用与像素块分类信息对应的映射系数的图像编码和解码
CN1190963C (zh) 数据处理装置和方法,学习装置和方法
CN1902911A (zh) 节目推荐装置、节目推荐装置的节目推荐方法以及计算机程序
CN1940912A (zh) 文件作成系统、文件作成方法、程序以及存储介质
CN1624696A (zh) 信息处理设备、方法及其程序、信息处理系统及其方法
CN1926575A (zh) 图像相似度计算系统、图像搜索系统、图像相似度计算方法和图像相似度计算程序
CN1754384A (zh) 图像处理装置和方法、学习装置和方法、记录介质以及程序
CN1940965A (zh) 信息处理设备及其控制方法
CN1322445A (zh) 发送、接收及发送和接收的设备及方法、记录介质和信号
CN1816825A (zh) 信号处理设备和信号处理方法、以及程序和记录介质
CN1526116A (zh) 改进图象质量的方法和系统
CN1961338A (zh) 图像处理设备和方法、记录介质以及程序
CN1910601A (zh) 限制条件解决方法、限制条件解决装置、以及限制条件解决系统
CN1801183A (zh) 信息处理装置和方法以及程序
CN1910900A (zh) 防止擅自复制的设备、方法和程序
CN1681287A (zh) 数字照相机、像簿管理方法、像簿管理程序产品、以及像簿管理程序传送介质
CN1991863A (zh) 介质处理设备、介质处理方法及介质处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090819

Termination date: 20140221