CN102591892A - 数据分段设备和方法 - Google Patents

Abstract

本公开提供了数据分段设备和方法。一种对输入数据序列进行分段的设备包括：分割点搜索装置，用于在输入数据序列中搜索一个或更多个候选分割点，这些候选分割点的不同组合构成一个或更多个候选分割方案；评估装置，用于评估利用候选分割方案中的候选分割点进行数据分割的分割损失，作为该候选分割点的评估值，并根据该评估值来判断该候选分割点在该候选分割方案中是否有效，该评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系，且每对非相邻数据段包括分别位于该候选分割点两侧的两个非相邻的数据段。

Description

数据分段设备和方法

技术领域

本公开涉及电子设备数据处理与分析领域，具体地，涉及一种对输入数据序列进行自动分段的设备和方法。

背景技术

在电子设备数据处理与分析领域，如何对数据进行自动分段是一个备受关注的问题。数据分段的结果将直接影响到后续数据处理的效果。例如，在视频数据的情况下，视频数据分段是视频摘要和浏览中的一个最基本的步骤。如果视频数据分段结果不正确，会导致后续的视频内容摘要不准确和浏览的效率降低。

发明内容

在下文中给出关于本公开的一些方面的简要概述，以便提供对于本公开的基本理解。应当理解，这个概述并不是对本公开的穷举性概述。该概述也并非意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本公开的一个方面，提供了一种对输入数据序列进行分段的设备，该设备可以包括：分割点搜索装置，用于在输入数据序列中搜索一个或更多个候选分割点，这些候选分割点的不同组合构成一个或更多个候选分割方案；以及评估装置，用于评估利用候选分割方案中的候选分割点进行数据分割的分割损失，作为该候选分割点的评估值，并根据该评估值来判断该候选分割点在该候选分割方案中是否有效，该评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系，且每对非相邻数据段包括分别位于该候选分割点两侧的两个非相邻的数据段。

根据本公开的另一方面，提供了一种对输入数据序列进行分段的方法，该方法可以包括：在输入数据序列中搜索一个或更多个候选分割点，这些候选分割点的不同组合构成一个或更多个候选分割方案；对于某个候选分割方案中的候选分割点，评估在该候选分割方案中使用该候选分割点进行数据分割的分割损失，作为该候选分割点的评估值，该评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系，且每对非相邻数据段包括分别位于该候选分割点两侧的两个非相邻的数据段；以及根据所述评估值来判断该候选分割点在该候选分割方案中是否有效。

根据本发明的另一方面，提供了一种计算机实施的数据分段设备。该计算机实施的数据分段设备包括：输入装置，用于接收输入到该设备的输入数据序列；处理装置，该处理装置与所述输入装置耦接并且包括：分割点搜索装置，用于在所述输入装置接收到的输入数据序列中搜索一个或更多个候选分割点，这些候选分割点的不同组合构成一个或更多个候选分割方案；以及评估装置，用于评估利用候选分割方案中的候选分割点进行数据分割的分割损失，作为该候选分割点的评估值，并根据该评估值来判断该候选分割点在该候选分割方案中是否有效，该评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系，且每对非相邻数据段包括分别位于该候选分割点两侧的两个非相邻的数据段。

另外，本公开的实施例还提供了用于实现上述方法的计算机程序。

此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。

附图说明

参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。附图中的部件只是为了示出本公开的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出了一个实施例的数据分段设备的结构的示意性框图；

图2是示出了根据该实施例的数据分段方法的示意性流程图；

图3是示出了数据序列的一个示例的示意图；

图4是示出了根据一个具体实施例的对候选分割方案中的候选分割点进行评估的评估装置的结构的示意性框图；

图5(A)是示出了对候选分割方案中的候选分割点进行评估的方法的一个示例的示意性流程图；

图5(B)是示出了对候选分割方案中的候选分割点进行评估的方法的另一示例的示意性流程图；

图6是示出了根据一个实施例的数据分段设备的结构的示意性框图；

图7(A)是示出了根据一个具体实施例的搜索最佳数据分割方案的方法的示意性流程图；

图7(B)是示出了根据另一具体实施例的搜索最佳数据分割方案的方法的示意性流程图；

图8是示出了根据另一具体实施例的搜索最佳数据分割方案的方法的示意性流程图；

图9是示出了动态规划搜索树的一个示例的示意图；

图10是示出了利用动态规划方法来搜索最优前继分割点序列的一个具体示例；

图11是示出了利用训练样本的统计结果来确定用于分割点评估的随机阈值的示意图；

图12是示出了利用多次动态规划步骤对候选分割点进行投票的结果的示意图；以及

图13是示出用于实现本公开的计算机的结构的示例性框图。

具体实施方式

下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本公开的一些实施例提供了用于对输入数据序列进行分段的设备和方法。在本公开中所述的数据序列是指包括按照时间和/或空间等顺序排列的一个或更多个数据段的序列。这些数据序列可以是标量序列、矢量序列、文本、音频、图像或视频(运动图像)等或者其任意组合。在下文的一些实施例和/或示例中，为了便于描述，将视频数据作为数据序列的示例。应理解，这些示例均是示例性的，本公开所述的数据序列不局限于这些具体示例。

图1是示出根据一个实施例的数据分段设备的结构的示意性框图，图2是示出根据该实施例的数据分段方法的示意性流程图。在该实施例中，首先初步搜索数据序列的候选分割点，然后对候选分割点进行评估；对候选分割点的评估不仅考虑与该候选分割点紧邻的一对相邻数据段之间的关联，还考虑一对或多对非相邻数据段的关联关系。

如图1所示，数据分段设备100可以包括分割点搜索装置101和评估装置103。数据分段设备100可以采用如图2所示的方法。下面参考图2所示的方法流程来描述数据分段设备100中的各个装置的功能。

分割点搜索装置101用于在输入数据序列中搜索一个或更多个候选分割点(Candidate Boundary)(步骤202)。分割点搜索装置101搜索到的候选分割点的不同组合可以构成不同的候选分割方案。

分割点搜索装置101可以采用任何适当的方法来搜索候选分割点，例如，分割点搜索装置101可以采用遍历、等间隔采样、滑动窗口预分割(仅选窗口前半和后半部分差异较明显的位置)等方法来搜索候选分割点，这里不一一列举。作为一个具体示例，在输入的数据序列为视频数据的情况下，(分割点搜索装置101)可以将各个镜头(shot，每个镜头可以包括一个或更多个图像帧)之间的边界作为候选分割点；在输入的数据序列为音频数据的情况下，可以将音频中的每个静音或停顿处作为候选分割点；在输入的数据序列为文本数据的情况下，可以将其中出现特殊字符(如句号、换行或分页等)处作为候选分割点。

图3示出了数据序列的一个示例。在图3所示的示例中，整个数据序列包括n个数据单元s₁，s₂，...，s_n，其中，n表示数据序列中数据单元的个数，在该示例中，n＝10。如图中所示，b₀，b₁，b₂，...，b_n表示各个数据单元之间的边界。假设分割点搜索装置101通过步骤202的搜索后，将b₄，b₆，b₉这几个边界作为候选分割点。另外，b₀和b₁₀分别是数据序列的起始和结束点，是每个候选分割方案中必选的分割点。这些候选分割点与起始和结束点(b₀，b₄，b₆，b₉，b₁₀)的不同组合可以形成多个不同的候选分割方案。为了便于说明，图中仅示出了包括所有候选分割点的候选分割方案(b₀，b₄，b₆，b₉，b₁₀)，如图中所示，该候选分割方案将数据序列分割成a、b、c、d这几个数据段。每个数据段可以包括至少一个数据单元。以所示数据序列为视频为例，数据单元s_i(1≤i≤n)可以是一个镜头(shot，每个镜头可以包括一个或更多个图像帧)；而数据段可以是包括多个连续镜头的场景。以图3所示的包括所有候选分割点的候选分割方案(b₀，b₄，b₆，b₉，b₁₀)为例，数据段a包括数据单元s₁，s₂，s₃，s₄；数据段b包括数据单元s₅，s₆；数据段c包括数据单元s₇，s₈，s₉；而数据段d包括数据单元s10。

分割点搜索装置101将搜索结果输出到评估装置103。评估装置103用于计算候选分割点在候选分割方案中的评估值(步骤204)。具体地，对于某个候选分割方案中的某个候选分割点，评估装置103根据与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系来评估使用该候选分割点进行数据分割的分割损失，作为该候选分割点的评估值。也就是说，候选分割点的评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系。这里所述的每对非相邻数据段是指分别位于该候选分割点两侧的两个非相邻的数据段。两个数据段之间的关联关系可以为表示这两个数据段在某个或某些特征上的相似度的特征值。所述特征可以为用于表征数据序列的一个或更多个特性的任何特征，这里不作限定。以输入数据序列为视频为例，所述特征可以为颜色、纹理和/或内容等；以输入数据序列为文本为例，所述特征可以是关键词和/或内容等；以输入数据序列为音频数据为例，所述特征可以为频谱和/或内容等等；可以根据实际应用场景来选择适当的特征，这里不一一列举。

作为一个示例，假设对某个候选分割方案中的候选分割点Δ进行评估，则可用下式表示根据该实施例的评估装置103计算得到的评估值(即采用该分割点进行数据分割的分割损失)：

$E\left(\mathrm{\Δ}\right)=\underset{\mathrm{\α}\→\mathrm{\Δ}\→\mathrm{\β}}{\mathrm{\Σ}}F[A(\mathrm{\α},\mathrm{\β}),A(\mathrm{\α},\mathrm{\α}),A(\mathrm{\β},\mathrm{\β})]---\left(1\right)$

上式的评估值也可定义为：

$E\left(\mathrm{\Δ}\right)=\underset{\mathrm{\α}\→\mathrm{\Δ}\→\mathrm{\β}}{\mathrm{\Σ}}F[A(\mathrm{\α},\mathrm{\β}),A(\mathrm{\α},\mathrm{\α}\∪\mathrm{\β}),A(\mathrm{\β},\mathrm{\α}\∪\mathrm{\β})]---\left(1a\right)$

在上式(1)和(1a)中，E(Δ)表示在候选分割点Δ处进行数据序列分割的损失函数(即对该分割点的评估)；α→Δ→β表示按照数据序列中数据的排列顺序位于该分割点Δ之前和之后的两个数据段，其中，α和β二者表示数据序列中分别位于分割点Δ两侧的数据段对(α位于分割点Δ之前，而β位于分割点Δ之后)。另外，应注意，上式的累加符号中不必包含所有满足α→Δ→β条件的数据段对，但是至少包括紧邻Δ的一对相邻的数据段以及至少一对非相邻的数据段(该对非相邻的数据段分别位于Δ两侧，但彼此不相邻)。F(·)是三自变量函数，且满足

F[A(α，β)，A(α，α)，A(β，β)]或F[A(α，β)，A(α，α∪β)，A(β，α∪β)]表示数据段对α和β之间的关联关系；A(α，β)表示数据段α和β之间的在某个或某些特征上相似度，A(α，α)表示数据段α内部数据(各数据单元)之间的在某个或某些特征上相似度，而A(β，β)表示数据段β内部数据(各数据单元)之间的在某个或某些特征上相似度。

以图3所示的候选分割方案中的候选分割点b₆为例，与该分割点紧邻的一对数据段为数据段b和c，而分别位于该分割点两侧的非相邻的数据段对包括数据段a和c、b和d、a和d。因此，评估装置103可以根据上述4个数据段对的关联关系来计算该分割点b₆的评估值，而不是仅仅考虑与其紧邻的数据段对b和c的关联关系。

然后，评估装置103根据评估值来判断该候选分割点是否有效(步骤206)。

作为一个具体示例，评估装置103可以判断候选分割点的评估值与某个阈值之间是否满足预定的关系(如是否优于该阈值)，若是，则判断该候选分割点有效，否则，则确定该候选分割点无效。应理解，这里所述的阈值是根据实际的应用场景来确定的，例如，可以是预先确定的理论值或经验值，或者还可以是根据数据训练样本训练得到的值。这里不限定其具体数值。

利用上述实施例的方法或设备，可以将输入数据序列分割成一个或更多个数据段，使得处于同一数据段中的数据在某些特征上比较相似，而同一数据段内的数据与相邻的其他数据段内的数据在相应特征上具有比较明显的区别。图1和图2所示的设备和方法在对候选分割点的分割损失进行评估时，不仅考虑与该候选分割点紧邻的一对相邻数据段之间的关联关系，还考虑了一对或多对非相邻数据段的关联关系，因此，与仅考虑与分割点紧邻的一对数据段间的关联关系来评估分割点的方法相比，图1和图2所示的方案能够更好地评价分割点的有效性，从而使得到的数据分割方案更合理。

图4是示出了根据一个具体实施例的评估装置103的结构的示意性框图，图5(A)和5(B)是分别示出了根据该具体实施例的图2所示的步骤204的两个具体示例的示意性流程图。如图4所示，评估装置103可以包括关联估计装置103-1、损失计算装置103-2和有效性判断装置103-3。评估装置103可以采用图5(A)或5(B)所示的方法来评估候选分割点。

在图5(A)所示的方法中，关联估计装置103-1计算与该候选分割点紧邻的一对相邻数据段之间的关联关系，并计算一对或更多对非相邻数据段中的每对间的关联关系(步骤204-1A)，并将所计算的关联关系输出到损失计算装置103-2。损失计算装置103-2根据所述关联关系来估算候选分割点的分割损失，作为其评估值(步骤204-3A)。有效性判断装置103-3根据损失计算装置103-2得到的评估值来判断该候选分割点是否有效(步骤206)。作为一个具体示例，有效性判断装置103-3可以判断候选分割点的评估值与某个阈值之间是否满足预定的关系(如是否优于该阈值)，若是，则判断该候选分割点有效，否则，则确定该候选分割点无效。

例如，以图3所示的候选分割方案中的候选分割点b₆为例，评估装置103(损失计算装置103-2)可以利用下式来得到对该分割点的评估：

$\stackrel{\→}{E}(b,c)=[C(b,c),C(a,c),C(b,d),C(a,d)]---\left(2\right)$

在上式中，

表示对位于数据段b和c之间的候选分割点b₆的评估；C(b，c)表示与待评估的候选分割点b₆紧邻的一对相邻数据段b和c之间的关联关系，C(a，c)、C(b，d)、C(a，d)分别表示非相邻数据段对a和c之间、b和d之间、a和d之间的关联关系。

评估装置103的关联估计装置103-1可以采用任何适当的方式来估算两个数据段之间的关联关系。在该示例中，采用图割(graph cut)函数C()来计算所述关联关系，即候选分割点b₆的评估值可以基于位于分割点两侧的多个数据对之间的多个图割函数值，也就是说，

为串接的多个图割函数值构成的特征向量，用来表示位于数据段b和c之间的候选分割点b₆的评估值。

作为一个具体示例，评估装置103的关联估计装置103-1可以基于两个数据段之间的相似度以及这两个数据段中的每个数据段内的数据单元之间的相似度来计算这两个数据段之间的关联关系。以图3所示的数据段a和d为例，这两个数据段之间的关联关系可以采用下式来计算：

$C(a,d)=\frac{A(a,d)}{A(a,a)}+\frac{A(a,d)}{A(d,d)}---\left(3\right)$

其中，A(a，d)表示数据段a和d之间在某个或某些特征(如上文所述，这里不作重复)的相似度，A(a，a)表示数据段a内部数据(各数据单元之间)的相似度，而A(d，d)表示数据段d内部数据(各数据单元之间)的相似度。

作为一个具体示例，关联估计装置103-1可以通过计算分别位于两个数据段中的不同数据段内的数据单元之间的相似度来得到两个数据段之间的相似度。另外，关联估计装置103-1可以通过计算位于单个数据段内的数据单元之间的相似度来得到单个数据段内部数据的相似度。例如，下式(4)给出了计算两个数据段a和d之间的相似度的具体示例：

$A(a,d)=\underset{s_i\∈a}{\mathrm{\Σ}}\underset{s_j\∈d}{\mathrm{\Σ}}S(s_i,s_j)---\left(4\right)$

上式(4)也可以用于计算单个数据段内部数据的相似度，如A(a，a)和A(d，d)。

作为另一具体示例，关联估计装置103-1可以利用两个数据段内数据单元的长度对分别位于这两个数据段中的不同数据段内的两个数据单元之间的相似度进行加权，即利用两个数据段内数据单元的长度来计算两个数据段之间的加权平均相似度(或利用长度归一化的平均相似度)，作为两个数据段之间的相似度；并且关联估计装置103-1可以利用单个数据段内数据单元的长度对该数据段内的数据单元之间的相似度进行加权，即利用该数据段内数据单元的长度来计算该数据段内部数据的加权平均相似度(或利用长度归一化的平均相似度)，作为该数据段内部数据的相似度。作为一个具体示例，可以采用下式来计算两个数据段a和d之间的相似度：

$A(a,d)=\frac{\underset{s_i\∈a}{\mathrm{\Σ}}\underset{s_j\∈d}{\mathrm{\Σ}}S(s_i,s_j)\·L\left(s_i\right)\·L\left(s_j\right)}{\underset{s_i\∈a}{\mathrm{\Σ}}\underset{s_j\∈d}{\mathrm{\Σ}}L\left(s_i\right)\·L\left(s_j\right)}---\left(4a\right)$

上式(4a)也可以用于计算单个数据段内部数据的相似度，如A(a，a)和A(d，d)。

在式(4)和4(a)中，s_i表示数据段a内的数据单元，s_j表示数据段d内的数据单元；S(s_i，s_j)表示s_i和s_j之间在某个或某些特征(以视频或图像序列为例，例如该特征可以是颜色、纹理和/或内容等)上的相似度。另外，L(s_i)表示数据单元s_i的长度，L(s_j)表示数据单元s_j的长度。

关联估计装置103-1可以根据实际应用场景采用任何适当的特征及任何适当的方法来计算两个数据单元之间的相似度S(·)。以输入数据序列为视频序列为例，可以采用下式来计算两个数据单元之间的相似度：

$S_C(s_i,s_j)=I\left({\mathrm{mean}}_{f_m\∈s_i}\right[H_C\left(f_m\right)],{\mathrm{mean}}_{f_n\∈s_j}[H_C\left(f_n\right)\left]\right)---\left(5\right)$

其中，S_C(s_i，s_j)表示两个数据单元在色彩上的相似度；f_m表示s_i中的帧，f_n表示s_j中的帧；H_C(·)表示帧的HSV直方图(如64格的HSV，其中，每个通道对应两个比特，共6比特)；mean(·)表示均值函数；I(·)表示直方图的交(intersection，即两个直方图重迭的比例)。

图5(B)所示的方法与图5(A)相似，不同之处在于，在图5(B)中，关联估计装置103-1在采用步骤204-1B计算了各个相关数据段对的关联关系(该步骤204-1B与步骤204-1A相似)之后，损失计算装置103-2根据每对数据段之间的距离对相应的关联关系进行加权(步骤204-2B)，并利用经过加权的关联关系来估算候选分割点的分割损失，作为其评估值(步骤204-3B)。这里，加权值与距离成反比，即两个数据段之间的距离越大，则与其关联关系相应的加权值越小。有效性判断装置103-3根据损失计算装置103-2得到的评估值来判断该候选分割点是否有效(步骤206)。作为一个具体示例，有效性判断装置103-3可以判断候选分割点的评估值与某个阈值之间是否满足预定的关系(如是否优于该阈值)，若是，则判断该候选分割点有效，否则，则确定该候选分割点无效。

以式(1)示例，可以采用下式的加权函数来计算候选分割点Δ的评估值：

$E^{\′}\left(\mathrm{\Δ}\right)=\underset{\mathrm{\α}\→\mathrm{\Δ}\→\mathrm{\β}}{\mathrm{\Σ}}{D}_d(\mathrm{\α},\mathrm{\β})\·F[A(\mathrm{\α},\mathrm{\β}),A(\mathrm{\α},\mathrm{\α}),A(\mathrm{\β},\mathrm{\β})]---\left(6\right)$

以式(1a)示例，可以采用下式的加权函数来计算候选分割点Δ的评估值：

$E^{\′}\left(\mathrm{\Δ}\right)=\underset{\mathrm{\α}\→\mathrm{\Δ}\→\mathrm{\β}}{\mathrm{\Σ}}{D}_d(\mathrm{\α},\mathrm{\β})\·F[A(\mathrm{\α},\mathrm{\β}),A(\mathrm{\α},\mathrm{\α}\∪\mathrm{\β}),A(\mathrm{\β},\mathrm{\α}\∪\mathrm{\β})]---\left(6a\right)$

在式(6)和(6a)中，E′(Δ)表示候选分割点Δ的距离加权的评估值；D_d(α，β)表示随着数据段α和β之间的距离单调衰减的衰减函数。与式(1)相似，式(6)和(6a)的累加符号中不必包含所有满足α→Δ→β条件的数据段对，但是至少包括紧邻候选分割点Δ的一对相邻的数据段以及至少一对非相邻的数据段(该对非相邻的数据段分别位于Δ两侧)。

作为一个具体示例，可以采用下式(7)对利用式(3)计算的关联关系进行加权：

$C^{\′}(a,d)=(\frac{A(a,d)}{A(a,a)}+\frac{A(a,d)}{A(d,d)})\·\exp [-v\·D(d,d)]---\left(7\right)$

其中，C′(a，d)表示两个数据段a和d之间的加权的关联关系；D(a，d)表示两个数据段a和d之间的距离；v表示预定的常数。另外，式(7)中的exp[- v·D(a，d)]为随两个数据段a和d之间的距离单调衰减的衰减函数的一个具体示例，应理解，还可以采用其他适当形式的衰减函数，这里不一一列举。

可以采用任何适当的方法来计算两个数据段之间的距离，例如，两个数据段之间的距离可以为位于这两个数据段之间的数据段的个数；又如，两个数据段之间的距离可以为位于两个数据段之间的数据单元的个数；再如，两个数据段之间的距离可以为位于两个数据段之间的数据单元的总长度(例如可以用帧数或时间等来表示)；这里不一一列举。

常数v为可以根据实际的应用场景来预先确定的经验值或实验值，例如，在视频数据序列的情况下，v的值可以在0.02到0.1之间，优选地，v的值可以为0.05(秒分之一)等。当然，上述取值仅仅是示例性的，在不同的应用场景下，v可以采用其他适当的值，这里不作具体限定。

与图5(A)所示的方法相比，图5(B)所示的方法利用数据段之间的距离对各个数据段对的关联关系进行加权。由于相距较远的数据段对的关联关系所对应的加权值较小，因此，其对所得到的评估值的影响也较弱。这样，如果数据序列中介于两个相距较远的数据段之间的其他数据段与其有明显区别(即相似度不高)，那么，即使这两个数据段之间的关联关系较大(即相似度较高)，也会将这两个数据段分割开来。利用这种方法，能够使对候选分割点的评估更加合理，使数据分割方案更优。

仍以图3所示的数据分割方案中的候选分割点b₆为例，评估装置103(如有效性判断装置103-3)可以采用下式(8)将利用式(2)得到的串接的图割值

转换成用于分类的评估值：

$E(b,c)=\stackrel{\→}{E}(b,c)\·\stackrel{\→}{p}---\left(8\right)$

在上式(8)中，p表示能够将正确分割点与错误分割点区分开的投影，E(b，c)表示经过转换(投影)得到的对分割点b₆的评估值。

作为一个具体示例，评估装置103(如有效性判断装置103-3)可以判断对候选分割点的评估值(如利用式(8)得到的E(b，c))与某个阈值之间是否满足预定的关系(如是否优于该阈值)，若是，则判断该候选分割点有效，否则，则确定该候选分割点无效。该阈值可以是根据实际应用场景而预先确定的理论值或经验值等，这里不作详述。

另外，式(8)中的投影p可以利用线性鉴别分析(Linear DiscriminantAnalysis，LDA)方法、通过对训练样本进行训练而得到。例如，根据费舍准则(Fisher Criterion)，投影可用下式来获得：

$\stackrel{\→}{p}{=({\mathrm{\Σ}}_{+}+{\mathrm{\Σ}}_{-})}^{-1}*({\stackrel{\→}{\mathrm{\μ}}}_{-}-{\stackrel{\→}{\mathrm{\μ}}}_{+})---\left(9\right)$

其中，μ₊和∑₊分别表示正训练样本的特征向量的均值和协方差，μ_-和∑_-分别表示负训练样本的特征向量的均值和协方差；正训练样本可以是利用正确分割点来生成的样本，而负训练样本可以是利用错误分割点(如随机选择的错误分割点)来生成的样本。应理解，上述生成投影p的方法是示例性的，在其他示例中还可以采用其他适当的方法(如支持向量机)来获得投影p，这里不一一列举。

图6是示出根据另一实施例的数据分段设备的结构的示意性框图。与图1所示的数据分段设备100的结构相似，数据分段设备600包括用于对候选分割点进行评估的分割点搜索装置601和评估装置603。不同之处在于，数据分段设备600还包括方案选择装置607。

作为一个具体实施例，数据分段设备600中的分割点搜索装置601和评估装置603可以采用上文参考图2和图4等描述的实施例/示例的方法对候选分割点进行评估，即可以分别具有与上文参考图1和图3等描述的实施例/示例中的分割点搜索装置101和评估装置103相似的结构和功能，这里不再重复。

方案选择装置607用于根据评估装置603对每个候选分割方案中的候选分割点的评估(每个候选分割点的有效性和评估值)，从分割点搜索装置601搜索到的一个或更多个候选分割点所形成的一个或更多个候选分割方案中选择最佳候选分割方案。

作为一个具体实施例，方案选择装置607可以采用如图7(A)或7(B)所示的方法来搜索最佳分割方案。下面参考图7(A)来描述根据该实施例的方案选择装置607。

在图7(A)所示的实施例中，方案选择装置607可以首先根据每个候选分割方案中的各个候选分割点的有效性，从一个或更多个候选分割方案中剔除包含无效分割点的一个或更多个分割方案(步骤708A)；然后，计算每个剩余的候选分割方案所包括的所有候选分割点的评估值的平均值或加权平均值等，作为每个剩余的候选分割方案的评估值(步骤710A)，并根据每个剩余的候选分割方案的评估值，从剩余的候选分割方案中选择评估值最好的一个，作为最佳候选分割方案(步骤712A)。

在图7(B)所示的实施例中，方案选择装置607可以首先根据每个候选分割方案中的各个候选分割点的有效性，从一个或更多个候选分割方案中剔除包含无效分割点的一个或更多个分割方案(步骤708B)；计算每个剩余的候选分割方案所包括的分割点的个数(步骤714B)；然后，判断是否存在分割点的个数并列最多的多个候选分割方案(步骤716B)；如果不存在，则将分割点的个数最多的那一个候选分割方案作为最佳分割方案(步骤718B)。如果有多个候选分割方案的分割点的个数并列最多，则方案选择装置607计算并列最多的多个候选分割方案中的每个所包括的所有候选分割点的评估值的平均值或加权平均值等，作为每个候选分割方案的评估值(步骤710B)，并根据每个剩余的候选分割方案的评估值，从分割点个数并列最多的多个候选分割方案中选择评估值最好的一个，作为最佳候选分割方案(步骤712B)。

在另一具体实施例中，方案选择装置607可以基于动态规划(DynamicProgramming，DP)方法来进行分割方案的选择。动态规划方法将寻找最优分割点序列的问题分解成递归性的搜索步骤。在每个DP步骤中，搜索候选的前继分割点序列，而不是搜索单个的邻居分割点。

例如，方案选择装置607可以通过迭代执行如图8所示的动态规划方法步骤来搜索最佳分割方案。图8示出了根据一个实施例在候选分割点中搜索最佳分割方案的动态规划方法步骤。如上所述，候选分割点的不同组合形成不同的候选分割方案。在图8所示的实施例中，利用预定的准则在候选分割方案中选择性能最好的一个。具体地，对于某个候选分割点或候选分割点序列片段(包括至少一个候选分割点)，从其若干候选前继分割点序列中选取一个最优的。对不同的候选分割点或候选分割点序列片段迭代执行上述步骤，直至形成完整的数据分割方案。

对于某个包括至少一个候选分割点的候选分割点序列片段，其候选前继分割点序列为包括按照处理所述输入数据序列的顺序位于该候选分割点序列片段之前的至少一个候选分割点、且不包括按照处理所述输入数据序列的顺序位于该候选分割点序列片段之后的候选分割点的分割点序列，该候选前继分割点序列中的每个候选分割点均被判断(例如由评估装置103/603)为有效。所谓的处理所述输入数据序列的顺序可以是指按照从起始位置到结束位置而顺序地搜索输入数据序列的顺序(以图3所示的数据序列为例，即从b₀到b₁₀的顺序)，也可以是指按照从结束位置到起始位置逆序地搜索输入数据序列的顺序(以图3所示的数据序列为例，即从b₁₀到b₀的顺序)。在顺序处理所述输入数据序列的情况下，每个候选前继分割点序列为包括按照所述输入数据序列的排列顺序位于该候选分割点序列片段之前的至少一个候选分割点、且不包括按照输入数据序列的排列顺序位于该候选分割点序列片段之后的候选分割点的分割点序列；若从输入数据序列的起始位置开始处理，则每个候选前继分割点序列的起始分割点为输入数据序列的起始位置。在逆序处理所述输入数据序列的情况下，每个候选前继分割点序列为包括按照所述输入数据序列的排列顺序位于该候选分割点序列片段之后的至少一个候选分割点、且不包括按照输入数据序列的顺序位于该候选分割点序列片段之前的候选分割点的分割点序列；若从输入数据序列的结束位置开始处理，则每个候选前继分割点序列的起始分割点为输入数据序列的结束位置。

如图8所示，在步骤820中，对于某个候选分割点序列片段，方案选择装置607找到与该候选分割点序列片段对应的一个或更多个候选前继分割点序列。然后，在步骤822中，方案选择装置607基于预定的选择准则在所述候选前继分割点序列中选择一个，作为该候选分割点序列片段的前继分割点序列。该前继分割点序列与该候选分割点序列片段构成后续步骤中的待处理的候选分割点序列片段的候选前继分割点序列，方案选择装置607可以将其保存在存储装置(图中未示出，该存储装置可以是设置于数据分段设备内的存储器，也可以是设置于数据分段设备外部且可被该数据分段设备的各个部件访问的存储器)中，用于后续的DP步骤。

所述选择准则为：

1.选择所包含的分割点的个数最多的候选前继分割点序列，或者

2.在存在分割点的个数并列最多的多个候选前继分割点序列的情况下，选择分割点的评估值综合最优的一个(如评估值之平均值或评估值加权平均值最优的一个)。

方案选择装置607可以重复执行步骤820和822，直到形成完整的数据分割方案。

在图8所示的实施例中，对于某个候选分割点序列片段，搜索其可能的(候选)前继分割点序列，而不是搜索单个的邻居分割点；然后从多个可能的前继分割点序列中选择一个。与图7所示的方法相比，能够加快搜索的速度，因此，更加适用于大数据量的搜索。

下面参考图9所示的一个具体示例来进一步说明基于动态规划方法的搜索。图9示出了DP搜索树的一个示例。在该示例中，假设在输入数据序列中搜索到6个候选分割点(图中分别用0，1，2，3，4，5来表示)。图9示出了这6个候选分割点的不同组合形成的不同的候选分割方案。在图9所示的搜索空间中，总共有16个候选分割方案。例如，假设在某个DP步骤中，考察候选分割点序列(2，3，5)。从图中可以看出，该候选分割点序列的一个可能的前继分割点序列为(0，2，3)。将这两个分割点序列组合在一起，即构成一个完整的数据分割方案(0，2，3，5)。每个DP步骤的目标是基于上述选择准则来选择一个最佳前继分割点序列，该最佳前继分割点序列中的分割点个数最多或其分割点的评估值综合最优。

图10示出了DP方法的搜索步骤的一个具体示例。

如图10所示，假设当前处理的分割点序列为(b_p，b_c，b_n)，其中，b_p，b_c，b_n表示该序列中的分割点。

在步骤1020中，搜索(b_p，b_c，b_n)的一个候选前继分割点序列，用(b_f，b_p，b_c)表示，其中b_f表示按照数据序列的顺序位于该序列(b_p，b_c，b_n)之前的候选分割点。

然后，在步骤1022中，计算候选分割点b_p在序列(...，b_f，b_p，b_c，b_n)中的评估值，并在步骤1024中，判断该评估值与某个阈值之间是否满足预定的关系(如小于该阈值)，若是，则确定候选分割点b_p在序列(b_f，b_p，b_c，b_n)中有效，处理进行下一步骤1026；否则，则确定候选分割点b_p在序列(...，b_f，b_p，b_c，b_n)中无效，返回步骤1020，以搜索另一候选前继分割点序列。

在步骤1026中，判断在之前的DP步骤中是否已找到(b_p，b_c，b_n)的当前前继分割点序列，若是，则进行到步骤1030；若否，则在步骤1028中，将(b_f，b_p，b_c)设置为(b_p，b_c，b_n)的当前前继分割点序列，然后返回步骤1020以继续处理另一候选前继分割点序列。

在步骤1030中，根据每个候选分割点的评估值，比较(b_f，b_p，b_c)与当前前继分割点序列二者的综合评估值。若(b_f，b_p，b_c)的综合评估值优于当前前继分割点序列，则将(b_f，b_p，b_c)设置为新的当前前继分割点序列(即用(b_f，b_p，b_c)替换原当前前继分割点序列)；否则，则返回步骤1020以处理另一候选前继分割点序列。作为具体示例，分割点序列的综合评估值可以为其中各个分割点的评估值之平均值或加权平均值等。

可以采用蒙特卡洛(Monte Carlo)方法，将上述DP方法(迭代执行DP步骤，直至形成完整的数据分割方案)执行多轮，在每一轮DP方法结束后，可以为有效分割点序列中的分割点投票。在结束多轮DP方法之后，可以根据每个候选分割点得到的投票的数量来选择数据分割方案。例如，可以将投票数量超过某个阈值(该阈值可以根据实际应用场景来确定，这里不作限定)的候选分割点视为正确的分割点，作为最后的数据分割方案中的一个分割点。图12示出了执行多轮DP方法后对分割点进行投票的结果的一个示例。在图12中，横轴表示数据序列，其中0，1，...，15表示候选分割点的序号，位于每个候选分割点上方的深色方块表示每个分割点的得票数量，方块越高，则表示得票数量越多。可以选择得票最多的一个或多个候选分割点作为正确的分割点，例如候选分割点6，10的得票最多，因此可以作为正确的分割点，最后的数据分割方案则可以为(0，6，10，15)。

当执行多轮DP方法时，各个DP步骤采用不同的阈值来评估分割点的有效性。作为一个优选示例，各个DP步骤所采用的阈值可以是根据对多个训练样本的统计结果而得到的随机值。作为一个具体示例，可以对训练样本进行统计处理，从而得出正态分布模型N(μ，σ)，并生成符合该模型的随机阈值，具体地，可以采用下式来计算：

$\mathrm{\μ}=({\stackrel{\→}{\mathrm{\μ}}}_{-}+{\stackrel{\→}{\mathrm{\μ}}}_{+})\·\stackrel{\→}{p}/2---\left(10\right)$

其中，μ表示随机阈值的期望值；μ₊表示正训练样本的特征向量的均值，μ_-表示负训练样本的特征向量的均值；p表示能够将正确分割点与错误分割点区分开的投影。正训练样本可以是利用正确分割点来生成的样本，而负训练样本可以是利用错误分割点(如随机选择的错误分割点)来生成的样本。式(10)中的符号与上文描述的式(9)中的符号相同，这里不再重复。

图11是示出了确定随机阈值的分布的方差的示意图。其中，曲线C1表示正训练样本经投影后的分布，曲线C2表示负训练样本经投影后的分布。从图中可以看出，方差的选择要保证绝大多数正样本有优于阈值的可能。采用这样的随机阈值分布可以有效地区分正确分割点和错误分割点。

在该示例中，在每个DP步骤均采用不同的阈值，使得DP搜索过程更加稳定。

作为一个示例，在采用动态规划方法进行方案搜索时，还可以利用启发式搜索(heuristic search)方案来加快搜索的速度。例如，对于每个候选分割点，可以通过比较包含它且以它为端点的所有有效候选分割点序列来找到一个临时的最佳分割方案。随着DP搜索的进展，会得到多个临时的最佳分割方案。对于每个候选分割点，统计其在这些临时的最佳分割方案中出现的次数，当该次数超过一阈值(该阈值也是根据实际应用场景来预先确定的值，这里不作限定)时，则启发性地将该候选分割点认定为正确的分割点，这样在后续的DP步骤中，可以跳过不包括该候选分割点的序列以及在其中该候选分割点被评估为无效的候选分割点序列。例如，在图9所示的示例中，如果候选分割点1被启发性地视为正确分割点，那么，由于图中左半部分(阴影部分)所示的候选方案中均不包括该候选分割点1，因此，可以跳过左半部分(阴影部分)所示的候选方案。利用这种启发式搜索，可以大大加快搜索的速度。

应理解，上述实施例和示例是示例性的，而不是穷举性的，本公开不应被视为局限于任何具体的实施例或示例。例如，上述实施例/示例的数据分段设备(或方法)可包括用于接收输入数据序列的输入装置(或输入步骤)等，这里不作详述。

根据本公开的实施例/示例的数据分段方法或设备可应用于对各种电子数据(如视频、音频、文本、静止图像或其任意组合)进行处理的应用场景。例如，根据本公开的实施例的数据分段方法或设备可以应用于数字照相机、数字摄像机、数字录像机、视频服务器、视频监控系统等各种视频处理设备或系统，还可以应用于数据(包括视频、音频、文本等)浏览、摘要、检索、存储等处理设备或系统中。这里不一一列举。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或装置可以实施为软件、固件、硬件或其组合。上述数据分段设备可以作为组成部分合并于其他数据处理设备或系统中，也可以作为单独的设备，并可与其他数据处理设备或系统相连接。

作为一个示例，在通过软件或固件实现的情况下，可以从存储介质或网络向具有专用硬件结构的计算机(例如图13所示的通用计算机1300)安装构成用于实施上述方法的软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图13中，中央处理单元(CPU)1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU 1301执行各种处理等等时所需的数据。CPU 1301、ROM 1302和RAM 1303经由总线1304彼此链路。输入/输出接口1305也链路到总线1304。

下述部件链路到输入/输出接口1305：输入部分1306(包括键盘、鼠标等等)、输出部分1307(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1308(包括硬盘等)、通信部分1309(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1309经由网络比如因特网执行通信处理。根据需要，驱动器1310也可链路到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图13所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本公开还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本公开的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以用相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本公开的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

Claims (20)

1.一种对输入数据序列进行分段的设备，包括：

分割点搜索装置，用于在输入数据序列中搜索一个或更多个候选分割点，这些候选分割点的不同组合构成一个或更多个候选分割方案；以及

评估装置，用于评估利用候选分割方案中的候选分割点进行数据分割的分割损失，作为该候选分割点的评估值，并根据该评估值来判断该候选分割点在该候选分割方案中是否有效，该评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系，且每对非相邻数据段包括分别位于该候选分割点两侧的两个非相邻的数据段。

2.根据权利要求1所述的设备，其中，所述评估装置包括：

关联估计装置，用于估算与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系；

损失计算装置，用于根据每对数据段间的距离，对所估算的每对数据段间的关联关系进行加权，并根据加权的关联关系来计算所述分割损失，作为该候选分割点的评估值，其中，距离越大，则相应的加权值越小；以及

有效性判断装置，用于根据所述评估值来判断该候选分割点在相应的候选分割方案中的有效性。

3.根据权利要求2所述的设备，其中，所述关联估计装置被配置为通过以下来估算每对数据段之间的关联关系包括：

基于两个数据段之间的相似度以及这两个数据段中的每个数据段内部数据的相似度来估算该每对数据段之间的关联关系，其中，两个数据段之间的相似度是基于分别位于这两个数据段中的不同数据段内的数据单元之间的相似度来计算的。

4.根据权利要求3所述的设备，其中，所述关联估计装置还被配置为：

利用两个数据段内的数据单元的长度对分别位于这两个数据段中的不同数据段内的数据单元之间的相似度进行加权，并利用归一化的平均相似度作为这两个数据段之间的相似度；以及

利用单个数据段内的数据单元的长度对该数据段内的数据单元之间的相似度进行加权，并利用归一化的平均相似度作为该数据段内部数据的相似度。

5.根据权利要求2所述的设备，其中，每对数据段间的距离为位于该对数据段之间的数据段的个数、或位于该对数据段之间的数据单元的个数、或位于该对数据段之间的数据的总长度。

6.根据权利要求1所述的设备，还包括：

方案选择装置，用于基于所述评估装置对候选分割点的评估，从所述一个或更多个候选分割方案中搜索最佳分割方案。

7.根据权利要求6所述的设备，其中，所述方案选择装置被配置为通过迭代执行以下动态规划方法步骤来搜索最佳分割方案：

对于包括至少一个候选分割点的候选分割点序列片段，找到与该候选分割点序列片段对应的一个或更多个候选前继分割点序列，其中，候选前继分割点序列为包括按照处理所述输入数据序列的顺序位于该候选分割点序列片段之前的至少一个候选分割点、且不包括按照处理所述输入数据序列的顺序位于该候选分割点序列片段之后的候选分割点的分割点序列，并且每个候选前继分割点序列中的每个分割点均被判断为有效；以及

在所述一个或更多个候选前继分割点序列中选择分割点的个数最多或者分割点的评估值综合最优的一个，作为该候选分割点序列片段的前继分割点序列，该前继分割点序列与该候选分割点序列片段构成后续待处理的候选分割点序列片段的一个候选前继分割点序列。

8.根据权利要求7所述的设备，其中，所述评估装置被配置为通过以下来判断该候选分割点在候选分割方案中是否有效：

判断所述评估装置得到的评估值与阈值之间是否满足预定的关系，若是，则判断该候选分割点为有效。

9.根据权利要求8所述的设备，其中，在每个动态规划方法步骤中，所述评估装置采用不同的阈值来判断候选分割点在相应的候选分割方案中是否有效；并且

其中，所述阈值为通过对多个训练样本进行统计而生成的随机阈值。

10.根据权利要求6所述的设备，其中，所述方案选择装置被进一步配置为基于利用启发式算法的动态规划方法来搜索最佳分割方案。

11.一种对输入数据序列进行分段的方法，包括：

在输入数据序列中搜索一个或更多个候选分割点，这些候选分割点的不同组合构成一个或更多个候选分割方案；

对于某个候选分割方案中的候选分割点，评估在该候选分割方案中使用该候选分割点进行数据分割的分割损失，作为该候选分割点的评估值，该评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系，且每对非相邻数据段包括分别位于该候选分割点两侧的两个非相邻的数据段；以及

根据所述评估值来判断该候选分割点在该候选分割方案中是否有效。

12.根据权利要求11所述的方法，其中，评估所述分割损失作为该候选分割点的评估值包括：

估算与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系；

根据每对数据段间的距离，对所估算的每对数据段间的关联关系进行加权，其中，距离越大，则相应的加权值越小；以及

根据加权的关联关系来评估所述分割损失，作为该候选分割点的评估值。

13.根据权利要求12所述的方法，其中，估算每对数据段之间的关联关系包括：

基于两个数据段之间的相似度以及这两个数据段中的每个数据段内部数据的相似度来估算该每对数据段之间的关联关系，其中，两个数据段之间的相似度是基于分别位于这两个数据段中的不同数据段内的数据单元之间的相似度来计算的。

14.根据权利要求13所述的方法，其中，估算每对数据段之间的关联关系还包括：

利用两个数据段内的数据单元的长度对分别位于这两个数据段中的不同数据段内的数据单元之间的相似度进行加权，并利用归一化的平均相似度来作为这两个数据段之间的相似度；以及

利用单个数据段内的数据单元的长度对该数据段内的数据单元之间的相似度进行加权，并利用归一化的平均相似度作为该数据段内部数据的相似度。

15.根据权利要求12所述的方法，其中，每对数据段间的距离为位于该对数据段之间的数据段的个数、或位于该对数据段之间的数据单元的个数、或位于该对数据段之间的数据的总长度。

16.根据权利要求11所述的方法，还包括：基于对所述候选分割方案中的候选分割点的评估，从所述一个或更多个候选分割方案中搜索最佳分割方案。

17.根据权利要求16所述的方法，其中，从所述一个或更多个候选分割方案中搜索最佳分割方案包括迭代执行以下动态规划方法步骤：

对于包括至少一个候选分割点的候选分割点序列片段，找到与该候选分割点序列片段对应的一个或更多个候选前继分割点序列，其中，候选前继分割点序列为包括按照处理所述输入数据序列的顺序位于该候选分割点序列片段之前的至少一个候选分割点、且不包括按照处理所述输入数据序列的顺序位于该候选分割点序列片段之后的候选分割点的分割点序列，并且每个候选前继分割点序列中的每个分割点均被判断为有效；

在所述一个或更多个候选前继分割点序列中选择分割点的个数最多或者分割点的评估值综合最优的一个，作为该候选分割点序列片段的前继分割点序列，该前继分割点序列与该候选分割点序列片段构成后续待处理的候选分割点序列片段的候选前继分割点序列。

18.根据权利要求17所述的方法，其中，根据候选分割点的评估值来判断该候选分割点在候选分割方案中是否有效包括：

判断所述评估值与阈值之间是否满足预定的关系，若是，则该候选分割点为有效。

19.根据权利要求18所述的方法，其中，在每个动态规划方法步骤中，用于判断候选分割点在相应候选分割方案中是否有效的阈值是不同的，并且

其中，所述阈值为通过对多个训练样本进行统计而得到的随机阈值。

20.一种计算机实施的数据分段设备，包括：

输入装置，用于接收输入到该设备的输入数据序列；

处理装置，该处理装置与所述输入装置耦接并且包括：

分割点搜索装置，用于在所述输入装置接收到的输入数据序列中搜索一个或更多个候选分割点，这些候选分割点的不同组合构成一个或更多个候选分割方案；以及

评估装置，用于评估利用候选分割方案中的候选分割点进行数据分割的分割损失，作为该候选分割点的评估值，并根据该评估值来判断该候选分割点在该候选分割方案中是否有效，该评估值反映与该候选分割点紧邻的一对相邻数据段之间的关联关系以及一对或更多对非相邻数据段中的每对间的关联关系，且每对非相邻数据段包括分别位于该候选分割点两侧的两个非相邻的数据段。

Images