CN102982336B - 识别模型生成方法和系统 - Google Patents

Abstract

本发明提出了一种识别模型生成方法和系统，该识别模型生成方法包括：接收对比样本；通过第一传感器采集所述对比样本来生成第一传感器数据，其中，第一传感器对应于第一识别模型；通过第二传感器采集所述对比样本来生成第二传感器数据，其中，第二传感器对应于第二识别模型；通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系；以及根据所述关联关系，生成第二传感器所对应的第二识别模型。和重新采集新的训练数据生成相对应的新识别模型相比，本公开可以获得同样出色的识别结果，同时节省了大量的样本采集和训练的时间和工作。

Description

识别模型生成方法和系统

技术领域

本发明涉及一种识别模型生成方法和系统，更具体地，涉及一种基于不同传感器之间的关联关系来生成新的识别模型的方法和系统。

背景技术

模式识别是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析，以对事物或现象进行描述、辨认、识别和解释的过程，是信息科学和人工智能的重要组成部分。在模式识别领域，训练数据和测试数据在学习和识别过程中扮演着十分重要的角色。通过不同硬件设备对训练样本所采集生成的训练数据一般对设备也有一定的依赖和关联性，这就一定程度上影响了一个设备的训练数据的适用范围。也就是说，在一个硬件设备上采集生成的训练数据只适用于学习和训练得到该设备的模式识别模型。而针对另一不同的硬件设备，则需要对训练样本重新采集训练数据，并学习和训练得到该另一设备的模式识别模型。

随着诸如图像、音频和视频等的多媒体设备的广泛应用，例如，在诸如照相机等的图像设备中可能添加诸如场景识别、人物识别等的识别模块，在诸如麦克风等的音频设备中可能添加诸如语音识别的识别模块，在诸如摄像机等的视频设备中可能添加诸如场景识别、人物识别、动作识别、物体跟踪等的模式识别模块。因此，可以在模式识别模块识别了该图像、音频或视频的模式之后，对该图像、音频或视频数据进行进一步的操作，例如照相机照片的白平衡调整、曝光度调整、对焦调整、语音识别，安检控制，安全预警，动作指令控制，跟踪操作等等。

以照相机的场景识别模块为例，在基于机器学习的照相机场景识别的方法中，需要用照相机对训练样本而拍到的照片生成训练数据，并通过训练数据来训练所对应的该照相机的场景识别模块，然后用该得到的场景识别模块对其他拍摄的图像进行场景识别。但是，不同型号的照相机的硬件设备不一样，例如其图像传感器不一样，如图8所示，图8左侧和右侧的图像传感器是不同的，因此其硬件参数也可能是不同的。如此，即使针对同一场景，使用例如图8左侧和右侧的图像传感器的两个照相机所拍到的照片的图像的特征和参数(作为训练数据)也是不同的，这导致使用多个场景所训练出来的场景识别模块的模型只能应用到特定的同一类(例如，同一型号的)照相机中，而无法简单地移植到其它类(例如，其它型号的)的照相机中。如图9所示，图9左侧是一类照相机所拍摄的图像，图9右侧是另一类照相机所拍摄的图像，显然，由于两类照相机的硬件(例如图像传感器)等的参数有所不同，因此，图9右侧的另一类照相机所拍摄的图像与图9左侧中的该一类照相机所拍摄的图像在亮度、颜色、曝光度(和/或其它图像参数)上存在不同。因此，如果使用针对该图9左侧的一类照相机的训练数据来训练生成该一类照相机的场景识别模型的模型，且将该场景识别模块的模型直接应用于该图9右侧的另一类照相机中，则可能导致例如识别结果错误。

不同照相机的图像传感器的型号不同，对应的参数也就不同，每次对于新的照相机的场景识别模块的识别模型，都需要用新的照相机的传感器重新采集训练样本来生成新的训练数据并进行新的模型训练，这样的工作耗时而繁琐。因此，在有大量不同型号的照相机的情况下，为不同型号的照相机生成不同的场景识别模块的识别模型的工作变得非常复杂且耗时。

在现有技术中，提出了一些试图解决上述问题的现有技术方案。

在KaiYu等人的2009年6月4日公开的美国专利申请公开US2009/0141969A1，“TransferLearningMethodsandSystemsforFeed-ForwardVisualRecognitionSystems”(《基于前馈视觉识别系统的转换学习方法和系统》)(以下称为现有技术1)中，提出了一种针对视觉识别系统的神经网络的训练方法。其通过提取图片或者视频帧的特征，同时估计神经网络的特征，并测量所提取的特征与所估计的特征之间的误差，来调整神经网络的参数以尽可能减小两者的误差。也就是说，该现有技术1仅是针对如何更准确地生成同一神经网络的模型。但是，该现有技术1不涉及如何基于该神经网络的训练数据或模型而移植到另一不同的神经网络中，以生成另一不同神经网络的模型。

在Berestov等人的美国专利US7,847,822B2(公告日是2010年12月7日)，“SequentialRegressionforCalibrationfromResidues”(《基于逐次回归的参数校准方法》)(以下称为现有技术2)中，公开了对成像设备进行校准的系统。通过对大量色彩丰富、并且由不同成像设备生成的图片，进行递归线性回归计算获得校准的显示参数；然后使用得到的校准显示参数来校准不同的成像设备，目的是使得通过不同成像新设备捕获的图像在显示设备上呈现相同的颜色。也就是说，现有技术2仅应用了递归线性回归对不同成像设备的颜色进行了参数校准，使得不同成像设备显示得相同，但并不涉及基于一个成像设备的训练数据或识别模型，移植到另一成像设备中，以生成另一不同的成像设备的识别模型。

在VincentWenchenZhaneg等人的论文“TransferringMulti-deviceLocalizationModelsusingLatentMulti-taskLearning”(《基于隐藏多任务学习方法的多设备定位模型转换》)(Proceedingsofthe23rdnationalconferenceonArtificialintelligence，2008)(以下称为现有技术3)中，提出了一种基于WiFi的室内定位方法，目标是用从多个接入点获得的信号来检测并定位不同的客户端设备。其采用的方法是多任务学习算法，即，现有技术3假设在特征空间具有相似性，基于之前在其他多个设备上采集的数据，来通过多任务学习算法校准新设备，来节省重新采集数据的精力。但是，首先，现有技术3假设在特征空间具有相似性，但是实际情况特征空间是很不同的。其次，现有技术3仅对在其他多个设备上采集的数据进行多任务学习算法来获得，预测新设备的定位模型，但并不考虑该新设备的硬件性能和参数。第三，现有技术3的多任务学习算法繁复耗时，并不能达到简化算法的目的。

以上现有技术均无法容易地、简单地基于不同设备之间的硬件差别来生成新设备的新识别模型。

发明内容

为了解决以上问题，本公开提出了一种基于不同设备之间的关联关系来生成新的识别模型的方法和系统。

根据本发明的第一方面，提供一种识别模型生成方法，包括：接收对比样本；通过第一传感器采集所述对比样本来生成第一传感器数据，其中，第一传感器对应于第一识别模型；通过第二传感器采集所述对比样本来生成第二传感器数据，其中，第二传感器对应于第二识别模型；通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系；以及根据所述关联关系，生成第二传感器所对应的第二识别模型。

优选地，根据所述关联关系，生成第二传感器所对应的第二识别模型的步骤可以包括：通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；根据所述关联关系，将所述第一训练数据转换为用于训练第二识别模型的第二训练数据；以及通过所述第二训练数据，来训练得到所述第二识别模型。

优选地，根据所述关联关系，生成第二传感器所对应的第二识别模型的步骤可以包括：通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；通过所述第一训练数据来训练得到所述第一识别模型；以及根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

优选地，通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系的步骤可以包括：使用所述第一传感器数据和所述第二传感器数据，通过拟合处理来生成第一传感器与第二传感器之间的拟合函数作为所述关联关系。

优选地，所述第一识别模型是第一训练数据x的第一函数f1(x)，且所述第二识别模型是用于训练第二识别模型的第二训练数据y的第二函数f2(y)，所述第一函数f1(x)是x与一个或多个第一参数的第一运算式，且所述第二函数f2(y)是y与一个或多个第二参数的第二运算式，其中，根据所述关联关系，将所述第一识别模型转换为所述第二识别模型的步骤可以包括：根据所述关联关系，获得第一训练数据x与第二训练数据y的函数关系yh(x)；根据所述函数关系y＝h(x)，获得所述第二函数f2(y)＝f2(h(x))；以及通过使得第一函数f1(x)与第二函数f2(h(x))在x取所有值的情况下都相等，来计算第二识别模型的第二函数f2(y)的一个或多个第二参数，从而获得第二函数f2(y)的第二运算式作为第二识别模型。

根据本发明的第二方面，提供一种识别模型生成系统，包括：接收装置，用于接收对比样本；第一传感器数据生成装置，用于通过第一传感器采集所述对比样本来生成第一传感器数据，其中，第一传感器对应于第一识别模型；第二传感器数据生成装置，用于通过第二传感器采集所述对比样本来生成第二传感器数据，其中，第二传感器对应于第二识别模型；关联关系生成装置，用于通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系；以及第二识别模型生成装置，用于根据所述关联关系，生成第二传感器所对应的第二识别模型。

优选地，第二识别模型生成装置可以包括：第一训练数据生成装置，用于通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；第二训练数据转换装置，用于根据所述关联关系，将所述第一训练数据转换为用于训练第二识别模型的第二训练数据；以及第二识别模型训练装置，通过所述第二训练数据，来训练得到所述第二识别模型。

优选地，第二识别模型生成装置可以包括：第一训练数据生成装置，用于通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；第一识别模型训练装置，用于通过所述第一训练数据来训练得到所述第一识别模型；以及第二识别模型转换装置，用于根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

优选地，所述关联关系生成装置可以包括：使用所述第一传感器数据和所述第二传感器数据，通过拟合处理来生成第一传感器与第二传感器之间的拟合函数作为所述关联关系的装置。

优选地，所述第一识别模型是第一训练数据x的第一函数f1(x)，且所述第二识别模型是用于训练第二识别模型的第二训练数据y的第二函数f2(y)，所述第一函数f1(x)是x与一个或多个第一参数的第一运算式，所述第二函数f2(y)是y与一个或多个第二参数的第二运算式，其中，所述第二识别模型转换装置可以包括：根据所述关联关系，获得第一训练数据x与第二训练数据y的函数关系y＝h(x)的装置；根据所述函数关系y＝h(x)，获得所述第二函数f2(y)＝f2(h(x))的装置；以及通过使得第一函数f1(x)与第二函数f2(h(x))在x取所有值的情况下都相等，来计算第二识别模型的第二函数f2(y)的一个或多个第二参数，从而获得第二函数f2(y)的第二运算式作为第二识别模型的装置。

根据本公开的技术方案，可以容易地、简单地基于不同设备之间的硬件的关联关系来生成新的识别模型。例如，在照相机的场景识别模块的情况下，通过比较不同类型(或型号)的照相机的图像传感器对一个或一小组相同画面(例如，色彩信息丰富的调色板)拍照得到的照片效果之间的不同，得到不同照相机的图像传感器之间的硬件的关联关系，通过该关联关系，一方面可以实现不同图像传感器之间的照片数据的转换，另一方面也可以实现不同图像传感器之间的场景识别模型的参数转换，来容易地、简单地实现照片和场景识别模块的可移植性。和重新采集新的训练数据生成相对应的新识别模型相比，本公开可以获得同样出色的识别结果，同时节省了大量的样本采集和训练的时间和工作。

附图说明

通过对附图中本发明示例实施例方式的更详细描述，本发明的上述、以及其它目的、特征和优势将变得更加明显。

图1是可以应用本发明的实施例的带有识别模块和识别模型生成系统的示例设备的示例框图。

图2是根据本发明的一个实施例的识别模型生成系统的示例框图。

图3是根据本发明的识别模型生成系统的识别模型生成装置的示例框图。

图4是根据本发明的识别模型生成系统的识别模型生成装置的示例框图。

图5是根据本发明的另一实施例的识别模型生成方法的示例流程图。

图6A是根据本发明的识别模型生成方法的识别模型生成步骤的示例框图。

图6B是根据本发明的识别模型生成方法的识别模型生成步骤的示例框图。

图7是可以应用本发明的实施例的具体示例的图像识别模块的训练和识别的示例流程图。

图8是可以应用本发明的实施例的两个不同图像传感器的示例图。

图9是图8所示的两个不同图像传感器在不同拍摄环境下获得的同一对比样本的示例照片。

图10是当作为关联关系的线性函数为y＝ax时，两个图像传感器的RGB各颜色通道的示例拟合结果。

图11是当作为关联关系的线性函数为y＝ax+b时，两个图像传感器的RGB各颜色通道的示例拟合结果。

图12A是在一个图像传感器的识别模型直接被用于另一图像传感器的情况下的示例场景识别结果。

图12B是根据本发明的实施例的、在基于关联关系来生成该另一图像传感器的识别模型的情况下的示例场景识别结果。

具体实施方式

下面将参考附图说明本发明的示意性实施例。

图1是可以应用本发明的实施例的带有识别模块120和识别模型生成系统121的示例设备100的示例框图。

该示例设备100包括：传感器110，用于对输入对象进行传感以得到传感器数据；识别模块120，用于接收传感器数据，并进行识别处理，以得到识别结果；处理器130，用于根据该识别结果，对传感器数据进行处理；存储器140，用于保存处理后的传感器数据。

其中，传感器数据可以是从经过传感器采集输入对象得到的采集数据中生成的代表采集数据的特征的值，即，可用于训练得到识别模型和进行识别处理的数据。

如果识别模块120还没有识别模型，则识别模型生成系统121可以生成识别模型，并将生成的识别模型输入到识别模块120中。

系统100中的处理器130和存储器140都是可选的装置。如果通过存储器140保存处理后的传感器数据，可以将其输出给例如显示器150、扬声器160等等的输出设备。但是，输出设备不限于显示器150、扬声器160等，输入对象也不限于景物、声音，而可以是其它对象等，传感器110也不限于图像传感器、音频传感器等等。其他识别模型(例如，利用温度传感器、湿度传感器、红外传感器等等的其他传感器的温度识别、湿度识别、动物识别等)也是可能的，甚至可以包括未来开发的模式识别模型。

图2是根据本发明的一个实施例的识别模型生成系统121的示例框图。

该识别模型生成系统121包括：接收装置201，用于接收对比样本；第一传感器数据生成装置202，用于通过第一传感器采集所述对比样本来生成第一传感器数据，其中，第一传感器对应于第一识别模型；第二传感器数据生成装置203，用于通过第二传感器采集所述对比样本来生成第二传感器数据，其中，第二传感器对应于第二识别模型；关联关系生成装置204，用于通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系；以及第二识别模型生成装置205，用于根据所述关联关系，生成第二传感器所对应的第二识别模型。

通常，第一和第二传感器从相同的对比样本获得的第一传感器数据和第二传感器数据之间的关系可以表示第一传感器和第二传感器的硬件特性之间的关联关系。

同理，该对比样本也不限于景物、声音，而可以是其它对象等。通常，在对比样本是景物的情况下，该景物可以是一个固定场景、拍摄对象、调色板数据等具有丰富颜色的图像。通常，设计第一和第二传感器采集相同的对比样本，例如同一调色板。同样，在对比样本是景物的情况下，第一传感器数据和第二传感器数据之间的关系可以表示第一图像传感器和第二图像传感器的硬件特性之间的关联关系。

优选地，该关联关系生成装置204可以包括：使用所述第一传感器数据和所述第二传感器数据，通过拟合处理来生成第一传感器与第二传感器之间的拟合函数作为所述关联关系的装置。例如，可以通过拟合第一传感器数据中的一个或多个和第二传感器数据中对应的一个或多个，来得到线性或非线性的拟合函数，作为关联关系。当然，也可以通过除了拟合方法以外的其他方法来得到第一传感器数据和第二传感器数据之间的关系。

在获得了关联关系(例如，拟合函数)的情况下，可以通过除本公开中举例的方法以外的各种方法，根据关联关系来容易地生成第二传感器所对应的第二识别模型。如此，可以在不进行两次训练过程的情况下得到第二识别模型。

图3是根据本发明的识别模型生成系统121中的第二识别模型生成装置204的第一实施例的示例框图。

在该实施例中，第二识别模型生成装置204可以包括：第一训练数据生成装置2041，用于通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；第二训练数据转换装置2042，用于根据所述关联关系，将所述第一训练数据转换为用于训练第二识别模型的第二训练数据；以及第二识别模型训练装置2043，通过所述第二训练数据，来训练得到所述第二识别模型。

注意，以上提到的第一和第二训练数据与图2中的第一传感器数据和第二传感器数据可以相同也可以不同。图2中的第一传感器数据和第二传感器数据是传感器采集通常是相同的对比样本、例如一个景物、一个声音、一个对象等而得到的采集数据的特征值。但是，为了训练识别模型，通常，需要大量的训练样本。也就是说，可能需要由传感器采集多个景物、多个声音或多个对象等来得到传感器的训练数据(例如，上述的第一训练数据和第二训练数据)。也就是说，训练样本的数量通常比对比样本的数量多。在训练样本是景物的情况下，训练样本可以是多样的，包括不同的场景种类、天气条件、时间变化、季节变化、取景构图等等。场景丰富的训练样本能有助于训练出识别效果好、通用性强的识别模型。识别模型的训练方案通常是已知的方案，以下将详细描述。

也就是说，基于表示第一传感器和第二传感器的硬件特性之间的关联关系(例如，拟合函数)，可以将第一传感器采集得到的第一训练数据直接转换成第二传感器可能采集得到的第二训练数据，然后通过该第二训练数据来训练得到第二识别模型。如此，可以减少训练数据的采集的工作量。

图4是根据本发明的识别模型生成系统121的识别模型生成装置204的第二实施例的示例框图。

在该实施例中，该第二识别模型生成装置204包括：第一训练数据生成装置2041’，用于通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；第一识别模型训练装置2042’，用于通过所述第一训练数据来训练得到所述第一识别模型；以及第二识别模型转换装置2043’，用于根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

该第一训练数据生成装置2041’与图3中的第一训练数据生成装置2041基本相同，都是用于通过第一传感器采集训练样本来生成用于训练第一识别模型的第一训练数据。

与图3的实施例不同的是，第一识别模型训练装置2042’可以通过所述第一训练数据来训练得到所述第一识别模型，第二识别模型转换装置2043’可以根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

也就是说，通过表示第一传感器和第二传感器的硬件特性之间的关联关系(例如，拟合函数)，可以将已训练得出的第一识别模型直接转换为所述第二识别模型。如此，减少了大量的新的训练数据的采集和训练过程的工作量。

优选地，所述第一识别模型是第一训练数据x的第一函数f1(x)，且所述第二识别模型是用于训练第二识别模型的第二训练数据y的第二函数f2(y)，所述第一函数f1(x)是x与一个或多个第一参数的第一运算式，所述第二函数f2(y)是y与一个或多个第二参数的第二运算式，其中，所述第二识别模型转换装置可以包括：根据所述关联关系，获得第一训练数据x与第二训练数据y的函数关系y＝h(x)的装置；根据所述函数关系y＝h(x)，获得所述第二函数f2(y)＝f2(h(x))的装置；以及通过使得第一函数f1(x)与第二函数f2(h(x))在x取所有值的情况下都相等，来计算第二识别模型的第二函数f2(y)的一个或多个第二参数，从而获得第二函数f2(y)的第二运算式作为第二识别模型的装置。

根据本公开的系统，可以容易地、简单地基于不同设备之间的硬件的关联关系来生成新的识别模型，同时可以减小大量的训练工作量。

图5是根据本发明的另一实施例的识别模型生成方法500的示例流程图。

该识别模型生成方法500包括以下步骤：接收对比样本(S501)；通过第一传感器采集所述对比样本来生成第一传感器数据(S502)，其中，第一传感器对应于第一识别模型；通过第二传感器采集所述对比样本来生成第二传感器数据(S503)，其中，第二传感器对应于第二识别模型；通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系(S504)；以及根据所述关联关系，生成第二传感器所对应的第二识别模型(S505)。

优选地，步骤S504可以包括：使用所述第一传感器数据和所述第二传感器数据，通过拟合处理来生成第一传感器与第二传感器之间的拟合函数作为所述关联关系。

这些步骤的细节与上述图2-4的描述类似，在此不赘述。

在获得了关联关系(例如，拟合函数)的情况下，可以通过除本公开中举例的方法以外的各种方法，根据关联关系来生成第二传感器所对应的第二识别模型。如此，可以在不进行两次训练过程的情况下得到第二识别模型。

图6A是根据本发明的识别模型生成方法500的识别模型生成步骤505的第一实施例的示例框图。

在该实施例中，识别模型生成步骤505可以包括：通过第一传感器采集来生成用于训练第一识别模型的第一训练数据(S5051)；根据所述关联关系，将所述第一训练数据转换为用于训练第二识别模型的第二训练数据(S5052)；以及通过所述第二训练数据，来训练得到所述第二识别模型(S5053)。

也就是说，基于表示第一传感器和第二传感器的硬件特性之间的关联关系(例如，拟合函数)，可以将第一传感器采集得到的第一训练数据直接转换成第二传感器可能采集得到的第二训练数据，然后通过该第二训练数据来训练得到第二识别模型。如此，可以减小大量的新的训练数据采集的工作量。

图6B是根据本发明的识别模型生成方法500的识别模型生成步骤505的第二实施例的示例框图。

在该实施例中，步骤505可以包括：通过第一传感器采集来生成用于训练第一识别模型的第一训练数据(S5051’)；通过所述第一训练数据来训练得到所述第一识别模型(S5052’)；以及根据所述关联关系，将所述第一识别模型转换为所述第二识别模型(S5053’)。

该第一训练数据生成步骤S5051’与图6A中的第一训练数据生成步骤S5051基本相同，都是用于通过第一传感器采集训练样本来生成用于训练第一识别模型的第一训练数据。

与图6A的实施例不同的是，第一识别模型训练步骤S5051’可以通过所述第一训练数据来训练得到所述第一识别模型，第二识别模型转换步骤S5053’可以根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

也就是说，通过表示第一传感器和第二传感器的硬件特性之间的关联关系(例如，拟合函数)，可以将已训练的第一识别模型直接转换为所述第二识别模型。如此，可以减少了大量的新的训练数据的采集和训练过程的工作量。

优选地，所述第一识别模型是第一训练数据x的第一函数f1(x)，且所述第二识别模型是用于训练第二识别模型的第二训练数据y的第二函数f2(y)，所述第一函数f1(x)是x与一个或多个第一参数的第一运算式，且所述第二函数f2(y)是y与一个或多个第二参数的第二运算式，其中，第二识别模型转换步骤S5053’可以包括：根据所述关联关系，获得第一训练数据x与第二训练数据y的函数关系y＝h(x)；根据所述函数关系y＝h(x)，获得所述第二函数f2(y)＝f2(h(x))；以及通过使得第一函数f1(x)与第二函数f2(h(x))在x取所有值的情况下都相等，来计算第二识别模型的第二函数f2(y)的一个或多个第二参数，从而获得第二函数f2(y)的第二运算式作为第二识别模型。

根据本公开的方法，可以容易地、简单地基于不同设备之间的硬件的关联关系来生成新的识别模型，同时可以减小大量的新的训练数据的采集和训练过程的工作量。

下面，以图像识别模型中的场景识别模型为例，对本公开的具体实施例进行进一步的非限制性描述。

图7是可以应用本发明的实施例的具体示例的图像识别模块的训练和识别的示例流程图。

在场景识别模块的模型的一般训练过程中，在图7中的701处，提取训练样本的传感器采集结果的图像特征，例如，图像的颜色相关值。图像特征的一个具体例子是图像处理器厂商(ImageProcessingProcessorMaker)所定义的自动测量(AutomaticMeasurement，AM)特征值，其包括Draft_R，Draft_Gr，Draft_Gb，Draft_B以及Draft_AEValue，其具体定义和算法是已知的，在此不赘述。当然，图像特征的例子不限于此，其它图像特征定义方法是可行的。

在702处，提取训练样本的传感器采集结果的图像参数。图像参数的一个具体例子是由日本电子工业发展协会(JEIDA-JapanElectronicIndustryDevelopmentAssociation)定义的可交换图像文件(ExchangeableImageFile，EXTF)照片参数，包括例如，曝光时间和手持方向等信息。当然，图像参数的例子不限于此，本领域公知的其它图像参数定义方法是可行的。

在703处，标注训练样本的实际场景识别、即图像识别的正确结果。例如，训练样本照片的实际场景是蓝天等等。换句话说，为了训练识别模型，首先需要有已知的训练样本和已知的正确识别结果(例如，蓝天)，如此，才能在建立识别模型时判断该识别模型识别的结果是否与正确识别结果相同，如果不相同，则要调整场景识别模型。这是本领域公知的训练过程。

在704处，提取照相机的传感器的相关参数，诸如与曝光时间有关的快门速度(TV)、与曝光量有关的数字光圈(AV)以及自动增益控制(AutomaticGainControl，AGC)等；然后将从701，702，703和704收集来的所有特征和参数输入705，即场景识别模型的训练模块。其中，传感器的相关参数是本领域公知可得的。

在705处，以上所提取的各种特征和参数可以经过运算、整合等生成用于训练场景识别模型的训练数据。可以通过公知的支持向量机(SupportVectorMachine，SVM)方法用以上得到的训练数据来训练生成场景识别模型。当然，也可以使用本领域公知的其他方法来训练场景识别模型。

在场景识别模块是由SVM机器学习的算法通过大量的照片训练生成的场景识别模块的情况下，训练而成的场景识别模块是一个线性判别函数：

y′＝sgn(wx’+b)......(1)

其中y’是场景分类结果，1表示是此场景，-1表示不是此场景；w是1×n(n是正整数，在该示例中，n＝4)维向量，是由训练过程生成的；x’是n×1(n是正整数，在该示例中，n＝4)维的照片特征参数，是由照片的AM特征矩阵中的颜色特征值：Draft_R、Draft_Gr&Draft_Gb，Draft_B、和Draft_AEValue中的一个或多个(这些特征值在公知AM规范中定义了，在此不赘述)、与传感器相关参数、包括TV，AV和AGC(其由EXTF规范定义，在此不赘述)中的一个或多个的值、和照片参数例如曝光时间和手持方向等等中的一个或多个经过运算、整合等生成的场景特征值，作为训练数据。

x’的例如4维的向量结构可以被定义为例如：

x’＝[f(Draft_R)；f((Draft_Gr+Draft_Gb)/2)；f(Draft_B)；f(Draft_AEValue)]

......(2)

其中f是根据传感器参数TV，AV，AGC中的一个或多个和照片参数曝光时间和手持方向信息中的一个或多个的一个线性变换函数。例如，f的一个例子是

f(Draft_R)＝F×(Draft_R)+B×(rate)......(3)

其中，

$\mathrm{rate}=\frac{C}{\mathrm{TV}}\×\frac{D}{\mathrm{AGC}}\×\mathrm{AV}\×E...\left(4\right)$

其中，F、B、C、D、E均为常数。

显然，这些公式均为举例，事实上，其它公式也是可能的。

在用1×n维的w乘n×1维的x’之后，可以得到一个数值。b是训练产生的识别函数偏移量。而sgn是符号函数，当(wx’+b)的值大于零时取1，当(wx’+b)的值小于零时取-1。

一种示例的具体训练过程可以包括：将得到的传感器数据照片分割成例如M×N(在该例子中，32x27)的小块，每个小块作为一个单元，如图12A和12B所示；手工标定样本所属的正确场景类别，例如，一个单元的场景类别是不是蓝天；接着，提取照片中每个小块内的例如AM特征值，包括：例如Draft_R，Draft_Gr&Draft_Gb，Draft_B，和Draft_AEValue中的一个或多个；然后，获得照相机的传感器参数，包括例如TV，AV和AGC；之后，提取照片参数，像曝光时间和手持方向信息；最后，把样本特征值、传感器参数和照片参数经过函数(例如，如上所述的公式(3)和(4))计算生成场景识别模型的SVM训练模型的训练数据，作为输入x’，把样本标注信息(正确的场景类别)作为y’，经过大量样本的训练之后，求得场景识别模型的判别函数y′＝sgn(wx’+b)中的参数w和b，从而训练获得图像传感器对应的场景识别模型y′＝sgn(wx’+b)。

在708处，训练过程结束并且生成场景识别模型。接下来，将生成的场景识别模型输入到710的场景识别模块中。

相似地，在710的场景识别模块的应用过程中，在706处，提取需要识别的照片的AM特征值，在707处提取需要识别的照片的EXTF参数，在709处提取照相机的传感器的相关参数，例如TV、AV、AGC等。

然后在710处，场景识别模块将在706，707，708和709收集的特征和参数作为输入，来生成要识别的照片的场景类型的识别结果。

在711处，获得识别结果，且场景识别过程结束。

当然，此处举例的场景识别模型是图像识别模型的一种，显然，本发明的识别模型不限于此。

图8是可以应用本发明的实施例的两个不同图像传感器的示例图。

图8左侧和右侧的图像传感器是不同的，因此其硬件参数也是不同的。如此，即时针对同一场景，使用例如图8左侧和右侧的图像传感器的两个照相机所拍到的照片的图像特征和参数也是不同的，这导致使用多个场景所训练出来的场景识别模块的模型只能应用到特定的同一类(例如包括图8左侧的传感器的)照相机中，而无法简单地移植到其它类(例如包括图8右侧的传感器的)的照相机中。

以下，通过图8所示的两个图像传感器来实验性地进行本发明的实施例。

图9是图8所示的两个不同图像传感器在不同拍摄环境下获得的同一对比样本的示例照片。

该对比样本是一个调色板，包括各种颜色，如此可以得到两个图像传感器对相同颜色的传感的差别。图9的左侧上部是用图8的左侧的图像传感器在室外采集的照片，图9的左侧下部是用图8的左侧的图像传感器在室内采集的照片，图9的右侧上部是用图8的右侧的图像传感器在室外采集的照片，图9的右侧下部是用图8的右侧的图像传感器在室内采集的照片。对同一对比样本分别进行室内和室外的不同光照条件下的两次采集仅是为了更准确地获得两个图像传感器对相同颜色的传感差别。

通过两个图像传感器采集同一对比样本来生成第一传感器数据和第二传感器数据，例如图9左侧和右侧的照片。(在本公开中，为了示例而非限制，将没有经过图像传感器的景物称为样本，而经过图像传感器成像处理之后的称为照片，计算照片的颜色特征值等作为传感器数据。)通过一一对应地观察第一传感器数据和第二传感器数据，即图9左侧和右侧的照片，可以获得图9左侧和右侧的照片中每个像素点之间的颜色特征关系，作为图8中的第一传感器和第二传感器之间的硬件关联关系。

获得第一传感器和第二传感器之间的硬件关联关系的一个实例的方法是利用拟合。拟合方法是本领域公知的技术。为了简化计算，例如，采用线性拟合来得到第一传感器和第二传感器之间的关联关系。当然，除了线性拟合以外的曲线拟合等方法也是可能的，例如y＝h(x)，h(x)可以是线性函数，也可以是曲线函数或其它函数，只要可以得知第一传感器和第二传感器之间的硬件关联关系。公知地，拟合的过程实际上是使得各个分布点离拟合函数y＝h(x)的各个距离的和最小，也就是说，该拟合函数最能体现各个分布点的关系。拟合过程是公知的技术，在此不赘述。

在使用线性拟合来得到第一传感器和第二传感器之间的关联关系的情况下，首先，提取相同拍摄条件下的照片对的多个(此例中为3个，当然还可以为4个)AM特征值，然后用线性回归拟合相应的各个AM特征通道(R，G，B三通道，当然也可以是4通道)的线性函数。线性函数模型可以采用

y＝ax......(5)

和

y＝ax+c......(6)

其中，a和c均为常数。

当对比样本是在相同的光照条件下获得时，除了对于不同照相机的图像传感器之外，他们的R，G，B颜色值可以拟合成独立的各函数作为关联关系。从第一图像传感器到第二图像传感器的R，G，B三颜色通道的拟合结果如图10和图11所示。

图10是当作为关联关系的线性函数为y＝ax时，两个图像传感器的RGB各颜色通道的示例拟合结果。图11是当作为关联关系的线性函数为y＝ax+c时，两个图像传感器的RGB各颜色通道的示例拟合结果。

分别在图10和11中的三幅图中的各个点分别绘出了使用第一传感器和第二传感器的3个AM特征值分布。图10和11中的横轴、x轴表示第一图像传感器的第一传感器图像的AM特征值，纵轴、y轴表示第二图像传感器的第二传感器图像的相应AM特征值。当线性模型为公式(5)时，AM特征值中的R，G，B三通道的拟合结果如图10所示的直线所示，当线性模型为公式(6)时，对应的拟合结果如图11所示的直线所示。

在生成了第一图像传感器和第二图像传感器之间的关联关系(在本例中，是线性拟合函数)之后，可以采用至少两种方式来根据该关联关系，生成第二传感器所对应的第二识别模型。当然，实践中，根据该关联关系，生成第二传感器所对应的第二识别模型的方式不限于以下详细描述的两种方式。

第一种方式是，通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；根据所述关联关系，将所述第一训练数据转换为用于训练第二识别模型的第二训练数据；以及通过所述第二训练数据，来训练得到所述第二识别模型。

具体地，首先，通过用第一图像传感器采集训练样本，来得到用于训练第一场景识别模型的第一训练数据。其次，通过该线性拟合函数，把第一图像传感器对应的训练数据(例如，线性拟合函数中的x)转换成第二训练数据(例如，线性拟合函数中的y)，而这些转换后的第二训练数据可以近似成为第二图像传感器对应的训练数据。这些生成的第二训练数据将被用来训练第二图像传感器对应的场景识别模型。

因此，大大减少了对第二图像传感器进行重新采集和训练的大量训练工作量。

第二种方式是，通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；通过所述第一训练数据来训练得到所述第一识别模型；以及根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

具体地，首先，通过用第一图像传感器采集训练样本，来得到用于训练第一场景识别模型的第一训练数据x’₁。其次，通过第一训练数据x’₁，以及标注的样本的场景识别正确结果y’₁(如之前所述)，通过训练方法例如SVM来训练出第一图像传感器对应的场景识别模型以及相应的线性判别函数y’₁＝sgn(w₁x’₁+b₁)，。接下来，根据作为关联关系的线性拟合函数y＝ax或y＝ax+c，将已知的第一识别模型y’₁＝sgn(w₁x’₁+b₁)转换为所述第二识别模型y’₂＝sgn(w₂x’₂+b₂)。

接下来，详细描述将已知的第一识别模型y’₁＝sgn(w₁x’₁+b₁)转换为所述第二识别模型y’₂＝sgn(w₂x’₂+b₂)的具体计算步骤(即，已知y’₁＝sgn(w₁x’₁+b₁)，需要求出第二识别模型的参数w₂和b₂)：

已经训练出了第一图像传感器对应的场景分类判别函数是

y’₁＝sgn(w₁x’₁+b₁)

其中x’₁和y’₁分别代表第一图像传感器所拍摄的照片的四个不同颜色通道的特征值和对应的场景判别结果，且 ${x^{,}}_1=\left[\begin{array}{c}{x^{,}}_{11}\\ {x^{,}}_{12}\\ {x^{,}}_{13}\\ {x^{,}}_{14}\end{array}\right];$ 从而已知了参数w₁＝[w₁₁，w₁₂，w₁₃，w₁₄]和b₁。

假设第二图像传感器对应的场景分类判别函数是

y’₂＝sgn(w₂x’₂+b₂)

其中x’₂和y’₂分别代表第二图像传感器所拍摄照片的四个不同颜色通道的特征值和对应的场景判别结果，且 ${x^{,}}_2=\left[\begin{array}{c}{x^{,}}_{21}\\ {x^{,}}_{22}\\ {x^{,}}_{23}\\ {x^{,}}_{24}\end{array}\right];$ 从而需要计算参数w₂＝[w₂₁，w₂₂，w₂₃，w₂₄]和b₂。

(I)：假设求得的作为关联关系的线性拟合函数为y＝ax，则：

x’₂₁＝a₁x’₁₁，

x’₂₂＝a₂x’₁₂，

x’₂₃＝a₃x’₁₃，

x’₂₄＝a₄x’₁₄，......(7)

其中a₁，a₂，a₃，a₄为分别对于四个颜色通道的各拟合函数的系数；上面公式(7)还可以简写成

x’₂＝A·x’₁......(8)

其中A＝[a₁；a₂；a₃；a₄]，此处的乘号·代表点乘；

接下来，使得y’₁＝y’₂(因为，真实的场景判定结果应该是相同的)，可以得到等式：

w₁x’₁+b₁＝w₂x’₂+b₂......(9)

从而，上式(9)根据上述公式x’₂＝A·x’₁可以得到等式：

w₁x’₁+b₁＝w₂A·x’₁+b₂......(10)

上述公式可变换成

(w₁-w₂·A’)x’₁＝b₂-b₁......(11)

其中，A’是A的转置矩阵。为了不失一般性，需要让所有的x’₁都满足等式，只能是w₁-w₂·A’＝0并且b₂-b₁＝0。于是得到：w₂＝w₁./A’和b₂＝b₁，此处除号./代表点除。如此，就可以根据在第一图像传感器对应的场景识别模型的线性判别函数y’₁＝sgn(w₁x’₁+b₁)中的已知的参数w₁和b₁，就可以求出第二图像传感器对应的场景识别模型的线性判别函数中的参数w₂和b₂，得到了y’₂＝sgn(w₂x’₂+b₂)的解。

(II)：假设求得的作为关联关系的线性拟合函数为y＝ax+c，则：

x’₂₁＝a₁x’₁₁+c₁

x’₂₂＝a₂x’₁₂+c₂

x’₂₃＝a₃x’₁₃+c₃

x’₂₄＝a₄x’₁₄+c₄，......(12)

其中a₁，a₂，a₃，a₄为分别对于四个颜色通道的各拟合函数的系数；上面公式(12)还可以简写成

x’₂＝A·x’₁+C......(13)

其中A＝[a₁；a₂；a₃；a₄]，C＝[c₁；c₂；c₃；c₄]；

接下来，使得y’₁＝y’₂，可以得到等式

w₁x’₁+b₁＝w₂x’₂+b₂......(14)

将x’₂＝A·x’₁+C代入上述公式(14)，

w₁x’₁+b₁＝w₂(A·x’₁+C)+b₂......(15)

上述公式(15)可变换成：

(w₁-w₂·A’)x’₁＝b₂+w₂C-b₁；......(16)

其中，A’是A的转置矩阵。为了不失一般性，让所有x’₁都满足等式，只能是w₁-w₂·A’＝0并且b₂+w₂C-b₁＝0。于是我们得到：w₂＝w₁./A’和b₂＝(w₁./A’)C-b₁；如此，就可以根据在第一图像传感器对应的场景识别模型的线性判别函数y’₁＝sgn(w₁x’₁+b₁)中的已知的参数w₁和b₁，就可以求出第二图像传感器对应的场景识别模型的线性判别函数中的参数w₂和b₂，得到了y’₂＝sgn(w₂x’₂+b₂)的解。

类似地，如果作为关联关系的函数是其它类型的函数，本领域技术人员也可以通过本公开的教导来求得第二图像传感器对应的图像识别模型的函数。

于是，根据本发明的实施例，一方面，可以将有第一图像传感器采集生成的训练数据转换成第二图像传感器对应的训练数据，从而用来训练第二图像传感器对应的识别模型；另一方面，也可以直接将第一图像传感器对应的识别模型直接转换第二图像传感器对应的识别模型。如此，可以成功地实现训练数据之间和识别模型之间的相互转换。和新的训练数据生成相对应的新识别模型相比，本公开可以获得同样出色的识别结果，同时节省了大量的样本采集和训练的时间和工作。

以下描述应用本公开的实施例来获得不同图像传感器的识别模型的实例效果。

图12A是在一个图像传感器的识别模型直接被用于另一图像传感器的情况下的示例场景识别结果。

从图示可以看出，在一个图像传感器的识别模型直接被用于另一图像传感器的情况下，该另一图像传感器的识别模型无法识别出蓝天的场景。

图12B是根据本发明的实施例的、在基于关联关系来生成该另一图像传感器的识别模型的情况下的示例场景识别结果。

从图示可以看出，在根据本发明的实施例的基于关联关系来生成该另一图像传感器的识别模型的情况下，该另一图像传感器的识别模型可以容易地识别出蓝天的场景。

可见，使用本公开的技术来生成另一图像传感器的识别模型是可靠且省时省力的。

因此，本公开使用很少量的对比样本(例如调色板)来生成不同传感器之间的关联关系，避免了用新的传感器再次进行大量采集。而且一方面，可以将有第一图像传感器采集生成的训练数据转换成第二图像传感器对应的训练数据，从而用来训练第二图像传感器对应的识别模型；另一方面，也可以直接将第一图像传感器对应的识别模型直接转换第二图像传感器对应的识别模型。如此，可以成功地实现训练数据之间和识别模型之间的相互转换。和新的训练数据生成相对应的新识别模型相比，本公开可以获得同样出色的识别结果，同时节省了大量的样本采集和训练的时间和工作。

显然，以上例示的具体公式、参数、硬件、数值均为示例，本领域技术人员可以根据本公开的教导来得到其他公式、参数、硬件、数值来实现本发明。另外，以上通过图像识别模型中的场景识别模型作为例子来详细描述了本发明的实施例的具体细节，但是，本发明可应用的识别模型不限于此，本发明可以应用于除了图像领域以外的其他模式识别领域。

在前的描述仅公开了本发明的示例实施例。本领域技术人员应该理解，在所附权利要求或其等同物的范围内，可以根据设计需要和其他因素进行各种修改、组合、子组合和变更。

Claims (6)

1.一种识别模型生成方法，包括：

接收对比样本；

通过第一传感器采集所述对比样本来生成第一传感器数据，其中，第一传感器对应于第一识别模型；

通过第二传感器采集所述对比样本来生成第二传感器数据，其中，第二传感器对应于第二识别模型；

通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系；以及

根据所述关联关系，生成第二传感器所对应的第二识别模型，

其中，根据所述关联关系，生成第二传感器所对应的第二识别模型的步骤包括如下中的一种：

通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；

根据所述关联关系，将所述第一训练数据转换为用于训练第二识别模型的第二训练数据；以及

通过所述第二训练数据，来训练得到所述第二识别模型；

或者

通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；

通过所述第一训练数据来训练得到所述第一识别模型；以及

根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

2.根据权利要求1所述的方法，其中，通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系的步骤包括：

使用所述第一传感器数据和所述第二传感器数据，通过拟合处理来生成第一传感器与第二传感器之间的拟合函数作为所述关联关系。

3.根据权利要求1所述的方法，其中，所述第一识别模型是第一训练数据x的第一函数f1(x)，且所述第二识别模型是用于训练第二识别模型的第二训练数据y的第二函数f2(y)，所述第一函数f1(x)是x与一个或多个第一参数的第一运算式，且所述第二函数f2(y)是y与一个或多个第二参数的第二运算式，

其中，根据所述关联关系，将所述第一识别模型转换为所述第二识别模型的步骤包括：

根据所述关联关系，获得第一训练数据x与第二训练数据y的函数关系y＝h(x)；

根据所述函数关系y＝h(x)，获得所述第二函数f2(y)＝f2(h(x))；以及

通过使得第一函数f1(x)与第二函数f2(h(x))在x取所有值的情况下都相等，来计算第二识别模型的第二函数f2(y)的一个或多个第二参数，从而获得第二函数f2(y)的第二运算式作为第二识别模型。

4.一种识别模型生成系统，包括：

接收装置，用于接收对比样本；

第一传感器数据生成装置，用于通过第一传感器采集所述对比样本来生成第一传感器数据，其中，第一传感器对应于第一识别模型；

第二传感器数据生成装置，用于通过第二传感器采集所述对比样本来生成第二传感器数据，其中，第二传感器对应于第二识别模型；

关联关系生成装置，用于通过所述第一传感器数据和所述第二传感器数据生成第一传感器与第二传感器之间的关联关系；以及

第二识别模型生成装置，用于根据所述关联关系，生成第二传感器所对应的第二识别模型，

其中，所述第二识别模型生成装置包括：

第一训练数据生成装置，用于通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；

第二训练数据转换装置，用于根据所述关联关系，将所述第一训练数据转换为用于训练第二识别模型的第二训练数据；以及

第二识别模型训练装置，通过所述第二训练数据，来训练得到所述第二识别模型；

或者，

第二识别模型生成装置包括：

第一训练数据生成装置，用于通过第一传感器采集来生成用于训练第一识别模型的第一训练数据；

第一识别模型训练装置，用于通过所述第一训练数据来训练得到所述第一识别模型；以及

第二识别模型转换装置，用于根据所述关联关系，将所述第一识别模型转换为所述第二识别模型。

5.根据权利要求4所述的系统，其中，所述关联关系生成装置包括：

使用所述第一传感器数据和所述第二传感器数据，通过拟合处理来生成第一传感器与第二传感器之间的拟合函数作为所述关联关系的装置。

6.根据权利要求4所述的系统，其中，所述第一识别模型是第一训练数据x的第一函数f1(x)，且所述第二识别模型是用于训练第二识别模型的第二训练数据y的第二函数f2(y)，所述第一函数f1(x)是x与一个或多个第一参数的第一运算式，且所述第二函数f2(y)是y与一个或多个第二参数的第二运算式，

其中，所述第二识别模型转换装置包括：

根据所述关联关系，获得第一训练数据x与第二训练数据y的函数关系y＝h(x)的装置；

根据所述函数关系y＝h(x)，获得所述第二函数f2(y)＝f2(h(x))的装置；以及

通过使得第一函数f1(x)与第二函数f2(h(x))在x取所有值的情况下都相等，来计算第二识别模型的第二函数f2(y)的一个或多个第二参数，从而获得第二函数f2(y)的第二运算式作为第二识别模型的装置。