CN1658663A - 用于对多个帧进行摘录的方法和设备 - Google Patents

用于对多个帧进行摘录的方法和设备 Download PDF

Info

Publication number
CN1658663A
CN1658663A CN2004100819353A CN200410081935A CN1658663A CN 1658663 A CN1658663 A CN 1658663A CN 2004100819353 A CN2004100819353 A CN 2004100819353A CN 200410081935 A CN200410081935 A CN 200410081935A CN 1658663 A CN1658663 A CN 1658663A
Authority
CN
China
Prior art keywords
frame
rest image
node
representative frame
representative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2004100819353A
Other languages
English (en)
Inventor
许永植
金智渊
金相均
黄斗善
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1658663A publication Critical patent/CN1658663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)

Abstract

提供一种图像再现系统中的用于对多个数据进行摘录的方法和设备，其从多个帧中选择代表帧并对该代表帧进行摘录。该方法包括：接收视频流并提取每个镜头的关键帧；从与镜头相对应的关键帧中选择预定数目的代表帧；以及使用该代表帧来输出帧摘要，并且包括：接收静止图像并选择预定数目的代表帧；以及使用所选择的代表帧来输出帧摘要。该设备包括：代表帧选择器，其接收视频流并选择代表帧；和帧摘要生成器，其使用所选择的代表帧来对视频流进行摘录，并输出帧摘要和帧信息，并且包括：代表静止图像选择器，其接收静止图像并选择预定数目的代表帧；和静止图像摘要生成器，其使用所选择的代表帧来对静止图像进行摘录，并输出帧摘要和帧信息。

Description

用于对多个帧进行摘录的方法和设备
技术领域
本发明涉及一种图像再现方法和设备，特别涉及一种用于对多个帧进行摘录的方法和设备，其将多个帧分类，并通过从分类后的帧中选择代表帧来输出帧摘要。
背景技术
通常，为用户回放存储在存储介质中的静止图像或视频流、以通过显示装置来观看的图像再现设备具有将加密的图像数据解码并输出解码后的图像数据的功能。近来，网络、数字存储介质、以及图像压缩/解压缩技术已得到了发展。因此，将数字图像存储在存储介质中并再现该数字图像的设备变得普及。
当将很多数字视频流或静止图像存储在大容量存储介质中时，在存储的图像中容易且快速地选择用户期望观看或感兴趣的图像并再现该图像、或者容易且快速地仅选择视频中感兴趣或期望的部分并再现和编辑该部分的功能是非常必要的。允许用户容易且快速地了解视频流的内容的功能被称为“视频摘录”。
对多个帧进行摘录的一种方法为，从所述多个帧中选择代表帧、并浏览该代表帧，或者查看视频流中包括代表帧的镜头(shot)(“镜头”意思是包括相同场景的区段)。所选择的代表帧的数目或者浏览代表帧的方法可根据详细应用而变化。通常，为选择代表帧，将所选视频流分为与场景改变相对应的多个镜头，并从每个镜头中选择一个或多个关键帧。由于视频流中存在很多镜头，并且从镜头中获得的关键帧的数目非常大，所以使用关键帧来进行视频摘录是不适合的。因此，通过根据帧之间的相似性来将关键帧分类而形成群(cluster)，并从每个群中选择代表帧，并且，最后生成视频流的帧摘要。这是通常的代表帧选择方法。为形成群，公开了各种集群方法。在连续帧之间施加Linde-Buzo-Gray方法的情况中(参照美国专利第5995095号)，由于当具有低相似性的一对关键帧重复时，具有低相似性的帧被分类到同一群中，因此将结果施加到视频摘录可能是不适合的。在将最近相邻方法施加到群生成上的情况中(参照美国专利第6278446号)，难以随意控制最终输出群的数目，并且，由于利用特殊阈值来确定帧是否包括在群中，因此必须为每个输入视频流设置适当的阈值。存在将分级方法施加到群生成上的情况(参照美国专利第5821945和6535639号，以及美国公告第20030058268号)。然而，由于该情况简单采用通常分级方法或采用根据Bayesian(贝叶斯)模型设置的方法，因此，会产生视频流的长度较长而所需群的数目较小的情况、未施加设置模型的视频流的情况、或将具有高相似性的帧分类到不同群的情况。具体地说，如果在所需的代表帧的数目非常小的情况中产生了后面的问题，那么，由于摘要中可包括多个相似帧，所以用户不能信赖所提供的视频摘录功能。
发明内容
本发明提供一种用于对多个帧进行摘录的方法和设备，其根据帧的相似性来将所述多个帧分类，并通过从分类后的帧中选择代表帧来输出帧摘要，以便通过执行将多个静止图像或视频流概括为某个数目的帧的功能，来解决传统问题并为图像再现设备的用户提供便利。
根据本发明的一个方面，提供了对视频流进行摘录的方法，该方法包括：(a)接收视频流并提取每个镜头的关键帧；(b)从与镜头相对应的关键帧中选择预定数目的代表帧；以及(c)使用代表帧输出帧摘要。
步骤(a)可包括：(a1)将输入视频流分为多个镜头；以及(a2)提取每个镜头的关键帧。
步骤(b)可包括：(b1)将与镜头相对应的多个关键帧分为与代表帧的预定数目相同的多个群；以及(b2)从每个群中提取代表帧。步骤(b1)可包括：为所述多个关键帧中的每个关键帧组成具有0深度(深度信息)的节点，并计算关键帧的特征值以及关键帧的特征值之间的差；选择特征值之间具有最小差的两个最高节点，将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点，并计算新节点的特征值，直到最高节点的数目等于代表帧的预定数目为止；以及，移除各自包括比预定值(MIN)少的数目的关键帧的最高节点、和该最高节点的子节点，并移除剩余最高节点中具有最大深度的最高节点，直到各自包括比预定值(MIN)多的数目的关键帧的最高节点的数目等于代表帧的预定数目为止。步骤(b2)可包括：计算每个群中包括的关键帧的特征值的平均值；计算该平均值和关键帧的特征值之间的差；以及选择具有最小差值的关键帧作为代表帧。步骤(b2)可包括：计算每个群中包括的关键帧的特征值的平均值；计算该平均值和关键帧的特征值之间的差；选择具有最小差值的两个关键帧；以及从所选择的这两个关键帧中选择满足预定条件的关键帧作为代表帧。
步骤(c)可包括：使用所选择的代表帧和所选择的代表帧的信息来对视频流进行摘录；以及输出帧摘要和帧信息，或者包括：使用所选择的代表帧的信息来以时间顺序排列所选择的代表帧；输出帧摘要和帧信息；并且，如果重新指定了代表帧的数目，则通过以时间顺序排列根据重新指定的代表帧数目而选择的代表帧，来输出帧摘要和帧信息。步骤(c)可包括：增加代表帧的数目，直到包括所选择的代表帧的每个镜头的持续时间总和大于预定时间为止；以及计算包括通过除去每个代表帧而剩余的代表帧的镜头之间的时间差的标准偏差，并且，移除当除去代表帧时具有最小标准偏差的代表帧，直到包括所选择的代表帧的每个镜头的持续时间总和小于预定时间为止。
根据本发明的另一方面，提供了对多个静止图像进行摘录的方法，该方法包括：(d)接收静止图像并选择预定数目的代表帧；以及(e)使用所选择的代表帧来输出帧摘要。
步骤(d)可包括：(d1)将多个静止图像分为与代表帧的预定数目相同的多个群；以及(d2)提取每个群的每个代表帧。
步骤(d1)可包括：为每个静止图像组成具有0深度(深度信息)的节点，并计算静止图像的特征值和静止图像的特征值之间的差；选择特征值之间具有最小差的两个最高节点，将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点，并计算该新节点的特征值，直到最高节点的数目等于代表帧的预定数目为止；以及，移除各自包括比预定值(MIN)少的数目的静止图像的最高节点、和该最高节点的子节点，并移除剩余最高节点中具有最大深度的最高节点，直到各自包括比预定值(MIN)多的数目的静止图像的最高节点的数目等于代表帧的预定数目为止。
步骤(d2)可包括：计算每个群中包括的静止图像的特征值的平均值；计算该平均值和静止图像的特征值之间的差；以及选择具有最小差值的静止图像作为代表帧。
步骤(d2)可包括：计算每个群中包括的静止图像的特征值的平均值；计算该平均值和静止图像的特征值之间的差；选择具有最小差值的两个静止图像；以及从所选择的这两个静止图像中选择满足预定条件的静止图像作为代表帧。
根据本发明的另一方面，提供了一种用于对视频流进行摘录的设备，该设备包括：代表帧选择器，其接收视频流并选择代表帧；以及帧摘要生成器，其使用所选择的代表帧来对视频流进行摘录，并输出帧摘要和帧信息。
代表帧选择器可包括：关键帧提取器，其接收视频流，提取每个镜头的关键帧，并输出与镜头相对应的关键帧；帧分割单元，其接收与镜头相对应的关键帧，并将与镜头相对应的关键帧分为与代表帧的预定数目相同的多个群；以及群代表帧提取器，其从每个群中包括的与镜头相对应的关键帧中选择一个代表帧，并输出该代表帧。
帧分割单元可包括：基本节点组成单元，其接收与镜头相对应的关键帧，并为每个关键帧组成具有0深度的节点；特征值计算器，其计算节点的关键帧的特征值以及特征值之间的差；以及最高节点组成单元，其选择特征值之间具有最小差的两个最高节点，并将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点。
最高节点组成单元还可包括：次级群移除单元，其移除各自包括比预定值(MIN)少的数目的关键帧的最高节点、和该最高节点的子节点；以及群分割单元，其移除剩余最高节点中具有最大深度的最高节点。
根据本发明的另一方面，提供了一种用于对静止图像进行摘录的设备，该设备包括：代表静止图像选择器，其接收静止图像并选择预定数目的代表帧；以及静止图像摘要生成器，其使用所选择的代表帧来对静止图像进行摘录，并输出帧摘要和帧信息。
代表静止图像选择器可包括：静止图像分割单元，其接收静止图像，并将该静止图像分为与代表帧的预定数目相同的多个群；以及群代表静止图像提取器，其在每个群中包括的静止图像中选择一个代表帧，并输出该代表帧。
静止图像分割单元可包括：静止图像基本节点组成单元，其接收静止图像，并为每个静止图像组成具有0深度的节点；静止图像特征值计算器，其计算节点的静止图像的特征值以及特征值之间的差；以及静止图像最高节点组成单元，其选择在所计算的特征值之间具有最小差的两个最高节点，并将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点。
静止图像最高节点组成单元还可包括：静止图像次级群移除单元，其移除各自包括比预定值(MIN)少的数目的静止图像的最高节点、和该最高节点的子节点；以及静止图像群分割单元，其移除剩余最高节点中具有最大深度的最高节点。
附图说明
通过参照附图来详细地描述本发明的示例实施例，本发明的上面和其它特征及优点将变得更加清楚，其中：
图1为根据本发明的实施例的用于对多个帧进行摘录的设备的方框图，该设备可对视频流进行摘录；
图2为图1的代表帧选择器的详细方框图；
图3为图2的帧分割单元的详细方框图；
图4为图示添加到图3的最高节点组成单元的组件配置的方框图；
图5为根据本发明的实施例的用于对多个帧进行摘录的设备的方框图，该设备可对静止图像进行摘录；
图6为图5的代表静止图像选择器的详细方框图；
图7为图6的静止图像分割单元的详细方框图；
图8为图示添加到图7的静止图像最高节点组成单元的组件配置的方框图；
图9为图示根据本发明的实施例的用于对多个帧进行摘录的设备的全部操作的流程图；
图10为图示接收视频流和提取每个镜头的关键帧的过程的流程图；
图11为图示从与镜头相对应的关键帧中选择代表帧的过程的流程图；
图12为图示将与镜头相对应的多个关键帧分为与代表帧的预定数目相同的多个群的过程的流程图；
图13为图示从每个群中提取代表帧的过程的流程图；
图14为图示从每个群中提取代表帧的另一过程的流程图；
图15为图示使用所选择的代表帧来输出帧摘要的过程的流程图；
图16为帧摘要类型之一——视频标签的实施例的示例；
图17为图示使用所选择的代表帧来输出帧摘要的另一过程的流程图；
图18为帧摘要类型之一——故事板(story board)的实施例的示例；
图19为图示使用所选择的代表帧来输出帧摘要的另一过程的流程图；以及
图20为图示根据本发明的实施例的用于对多个静止图像进行摘录的设备的全部操作的流程图。
具体实施方式
在下文中，现在将通过参照附图来更为全面地描述本发明，其中示出了本发明的实施例。
图1为根据本发明的实施例的用于对多个帧进行摘录的设备的方框图，该设备可对视频流进行摘录。参照图1，该设备包括代表帧选择器10、帧摘要生成器20、用户接口单元30、视频流解码器40、视频存储单元50、以及显示单元60。
代表帧选择器10从视频流解码器40接收解码后的视频流，并选择与从帧摘要生成器20提供的代表帧的预定数目相等数目的代表帧。帧摘要生成器20将用户指定的代表帧的预定数目提供给代表帧选择器10，接收代表帧选择器10选择的代表帧并将具有用户期望格式的帧摘要输出到显示单元60。
用户接口单元30将由用户操作生成的数据提供给帧摘要生成器20。视频流解码器40将存储在视频存储单元50中的加密的视频流解码，并将解码后的视频流提供给代表帧选择器10。视频存储单元50存储加密的视频流。显示单元60从帧摘要生成器20接收响应于用户命令而摘录的帧，并显示帧摘要，使得用户可以查看该帧摘要。
图2为图1的代表帧选择器10的详细方框图。参照图2，代表帧选择器10包括关键帧提取器100、帧分割单元110、以及群代表帧提取器120。
关键帧提取器100从视频解码器40接收视频流，提取每个镜头的关键帧，并将与镜头相对应的关键帧输出到帧分割单元110。帧分割单元110从关键帧提取器100接收与镜头相对应的关键帧，并将与镜头相对应的关键帧分为与帧摘要生成器20提供的代表帧的预定数目相同的多个群。群代表帧提取器120从帧分割单元110接收与镜头相对应的分割后的关键帧，从每个群中包括的与镜头相对应的关键帧中选择一个代表帧，并将该代表帧输出到帧摘要生成器20。
图3为图2的帧分割单元110的详细方框图。参照图3，帧分割单元110包括基本节点组成单元130、特征值计算器140、以及最高节点组成单元150。
基本节点组成单元130从关键帧提取器100接收与镜头相对应的关键帧，并为每个关键帧组成具有0深度(深度信息)的基本节点。特征值计算器140计算最高节点中包括的基本节点的关键帧的特征值以及特征值之间的差。最高节点组成单元150选择在所计算的特征值之间具有最小差即最高相似性的两个最高节点，并将所选择的这两个节点连接到具有增加了1的深度的新最高节点。
图4为图示添加到图3的最高节点组成单元150上的组件配置的方框图。参照图4，最高节点组成单元150还包括次级群移除单元160和群分割单元170。
次级群移除单元160在从最高节点组成单元150接收的最高节点中移除各自包括比预定值(MIN)少的数目的关键帧的最高节点、和该最高节点的子节点。群分割单元170移除剩余最高节点中具有最大深度的最高节点。
图5为根据本发明的实施例的用于对多个帧进行摘录的设备的方框图，该设备可对静止图像进行摘录。参照图5，该设备包括代表静止图像选择器200、静止图像摘要生成器210、静止图像用户接口单元220、静止图像存储单元230、以及显示单元235。
代表静止图像选择器200从静止图像存储单元230接收静止图像，并根据从静止图像摘要生成器210提供的代表帧的预定数目来选择代表帧。静止图像摘要生成器210将用户指定的代表帧的预定数目提供给代表静止图像选择器200，接收代表静止图像选择器200选择的代表帧，并将帧摘要输出到显示单元235。
静止图像用户接口单元220将由用户操作生成的数据提供给静止图像摘要生成器210。静止图像存储单元230存储静止图像。显示单元235从静止图像摘要生成器210接收帧摘要，并显示该帧摘要，使得用户可以查看该帧摘要。
图6为图5的代表静止图像选择器200的详细方框图。参照图6，代表静止图像选择器200包括静止图像分割单元240、以及群代表静止图像提取器250。
静止图像分割单元240从静止图像存储单元230接收静止图像，并将该静止图像分为与静止图像摘要生成器210提供的代表帧的预定数目相同的多个群。群代表静止图像提取器250从静止图像分割单元240接收分割后的静止图像，从每个群中包括的静止图像中选择一个代表帧，并将该代表帧输出到静止图像摘要生成器210。
图7为图6的静止图像分割单元240的详细方框图。参照图7，静止图像分割单元240包括静止图像基本节点组成单元255、静止图像特征值计算器260、以及静止图像最高节点组成单元265。
静止图像基本节点组成单元255从静止图像存储单元230接收静止图像，并为每个静止图像组成具有0深度(深度信息)的基本节点。静止图像特征值计算器260计算最高节点中包括的静止图像的特征值以及特征值之间的差。静止图像最高节点组成单元265从所计算的特征值中选择具有最小差即最高相似性的两个最高节点，并将所选择的这两个节点连接到具有增加了1的深度的新最高节点。
图8为图示添加到图7的静止图像最高节点组成单元265上的组件配置的方框图。参照图8，静止图像最高节点组成单元265还包括静止图像次级群移除单元270和静止图像群分割单元275。
静止图像次级群移除单元270在从静止图像最高节点组成单元265接收的最高节点中移除各自包括比预定值(MIN)少的数目的静止图像的最高节点、和该最高节点的子节点。静止图像群分割单元275移除剩余最高节点中具有最大深度的最高节点。
现在，将参照图9到20来描述根据本发明的实施例的用于对多个帧进行摘录的设备的操作。
图9为图示根据本发明的实施例的用于对多个帧进行摘录的设备的全部操作的流程图。
参照图9，首先，在步骤290中，从视频流解码器40接收解码后的视频流，并提取每个镜头(包括相同场景的区段)的关键帧。在步骤300中，在所提取的镜头的关键帧中选择用户指定的预定数目的代表帧。在步骤310中，使用所选择的代表帧来输出帧摘要。
图10为图示接收视频流和提取每个镜头的关键帧的过程的流程图。
参照图10，首先，在步骤320中，通过检测所接收的视频流的场景改变、并得到由场景改变边界划分的相同场景区段的时间信息，来将所接收的视频流分为镜头。在步骤330中提取每个镜头的关键帧。提取每个镜头的关键帧的方法包括选择每个镜头的固定位置的帧，例如每个镜头的第一帧、每个镜头的最后一帧、或每个镜头的中间帧，的方法，以及选择具有最小运动的帧、清晰帧、或具有清楚的脸部(face)的帧的方法。
图11为图示从与镜头相对应的关键帧中选择代表帧的过程的流程图。
参照图11，首先，在步骤340中，将与镜头相对应的多个关键帧分为与帧摘要生成器20提供的、由用户指定的代表帧的预定数目相同的多个群。在步骤350中，从每个群中选择代表帧。
图12为图示将与镜头相对应的多个关键帧分为与代表帧的预定数目相同的多个群的过程的流程图。
参照图12，首先，在步骤360中，由关键帧提取器100提取的、与镜头相对应的关键帧成为节点，并且，在步骤370中，将第一节点的深度(深度信息)设置为0。在步骤380中，使用标量或矢量来表示每个关键帧的特征值，并计算关键帧的特征值之间的差。可通过每个关键帧的颜色直方图(colorhistogram)矢量来定义每个关键帧的特征值。在步骤390中，选择在特征值之间具有最小差的两个节点，并且，在步骤400中，添加连接到所选择的这两个节点的新节点。在步骤410中，将新节点的深度信息设置为通过将现有节点的深度值中的最大深度值加1而得到的值。在步骤420中，计算新添加的节点的特征值。比较包括所添加的节点的最高节点的数目是否等于用户指定的代表帧的预定数目，并且，如果最高节点的数目不等于代表帧的预定数目，则重复步骤390到420。如果最高节点的数目等于代表帧的预定数目，则在步骤440中，确定每个最高节点中包括的与镜头相对应的关键帧的数目M(N)是否大于帧的预定最小数目MIN。通过将0与1之间的预定值和通过将与镜头相对应的关键帧的数目除以最高节点的数目而得到的值相乘，来得到帧的最小数目M1N。如果即使一个最高节点也不满足上述条件，则在步骤450中，移除不能满足条件的最高节点和该最高节点的子节点，并且，在步骤460中，移除剩余最高节点中具有最大深度的最高节点。在步骤470中，移除剩余最高节点中具有最大深度的最高节点，直到最高节点的数目等于代表帧的预定数目为止。重复步骤440到470，直到每个最高节点中包括的与镜头相对应的关键帧的数目M(N)大于帧的预定最小数目MIN为止。
图13和14为图示提取每个群的代表帧的过程的流程图。
参照图13，首先，在步骤500中，计算每个群中包括的与镜头相对应的关键帧的特征值的平均值，在步骤510中，计算该平均值和关键帧的特征值之间的差，并且，在步骤520中，选择具有最小差值的关键帧作为代表帧。
此外，参照图14，首先，在步骤530中，计算每个群中包括的与镜头相对应的关键帧的特征值的平均值，在步骤540中，计算该平均值和关键帧的特征值之间的差，在步骤550中，选择具有最小差值的两个关键帧，并且，在步骤560中，选择所选择的这两个关键帧中满足预定条件的关键帧，例如具有最小运动的帧或具有清楚脸部的帧，作为代表帧。
图15为图示使用所选择的代表帧来输出帧摘要的过程的流程图。
参照图15，在步骤600中，帧摘要生成器20将用户指定的代表帧的预定数目提供给代表帧选择器10，在步骤610中，从代表帧选择器10接收所选择的代表帧和帧信息，在步骤620中，对代表帧进行摘录，并且，在步骤630中，将帧摘要和帧信息提供给显示单元60。
图16为帧摘要类型之一——视频标签的实施例的示例。
图17为图示使用所选择的代表帧来输出帧摘要的另一过程的流程图。
参照图17，在步骤640中，帧摘要生成器20将用户指定的代表帧的预定数目提供给代表帧选择器10，在步骤650中，从代表帧选择器10接收所选择的代表帧和帧信息，在步骤660中，使用帧信息中包括的时间信息、以时间顺序来排列所选择的代表帧，并且，在步骤670中，将帧摘要和帧信息提供给显示单元60。如果在步骤680中用户重新指定代表帧的数目，则重复步骤640到670。
图18为帧摘要类型之一——故事板的实施例的示例。
图19为图示使用所选择的代表帧来输出帧摘要的另一过程的流程图。
参照图19，在步骤690中，帧摘要生成器20将用户指定的代表帧的预定数目提供给代表帧选择器10，在步骤700中，从代表帧选择器10接收所选择的代表帧和帧信息，并且，在步骤710中，计算所选择的代表帧中包括的每个镜头的持续时间的总和Ts。如果在步骤720中，每个镜头的持续时间的总和Ts等于或小于用户设置的预定时间Td，则在步骤730中，帧摘要生成器20增加代表帧的数目，并重复步骤690到710。在步骤740中，帧摘要生成器20计算包括通过除去每个代表帧而剩余的代表帧的镜头之间的时间差的标准偏差D，在步骤750中，移除包括当除去代表帧时具有最小标准偏差的代表帧的镜头，并且，在步骤760中，计算剩余镜头的持续时间的总和Ts。重复步骤740到760，直到在步骤770中每个镜头的持续时间的总和Ts短于用户设置的预定时间Td为止。
图20为图示根据本发明的实施例的用于对多个静止图像进行摘录的设备的全部操作的流程图。
参照图20，在步骤800中，代表静止图像选择器200从静止图像存储单元230接收静止图像，并根据从静止图像摘要生成器210提供的、用户指定的代表帧的预定数目来选择代表帧。在步骤810中，静止图像摘要生成器210最后使用所选择的代表帧来将帧摘要输出到显示单元235。
由于根据代表帧的预定数目而从静止图像提取代表帧的过程是这样的过程，其中在参照图11到14而描述的从视频流提取代表帧的过程中，由静止图像来替换与镜头相对应的关键帧，因此，省略提取代表帧的过程。
如上所述，根据依照本发明的实施例的用于对多个帧进行摘录的方法和设备，由于视频摘录自适应地响应用户要求的群的数目，因此各种视频摘录类型都是有可能的，并且用户可以容易且快速地了解视频流的内容，并进行诸如选择、存储、编辑和管理的活动。此外，由于从包括与具有高出现频率的场景相对应的帧的群中选择代表帧，因此，可以从视频摘录中除去内容不可区分或出现频率低的帧，并且，所选择的帧对应不同场景的概率更高。因此，用户对于帧摘要的可信赖性可以更高，并且，由于独立地设计视频格式、解码器特性、镜头区分方法的特性、以及镜头相似性功能的特性，因此，可将该方法和设备施加到各种应用环境。
尽管参照示例实施例具体示出并描述了本发明，但本领域普通技术人员将理解的是，在不脱离如所附权利要求限定的本发明的精神和范围的情况下，可以在其中进行各种形式和细节上的改变。

Claims (25)

1、一种对视频流进行摘录的方法，该方法包括：
(a)接收视频流并提取每个镜头的关键帧；
(b)从与镜头相对应的关键帧中选择预定数目的代表帧；以及
(c)使用该代表帧来输出帧摘要。
2、如权利要求1所述的方法，其中，步骤(b)包括：
(b1)将与镜头相对应的关键帧分为与代表帧的预定数目相同的多个群；以及
(b2)从每个群中提取代表帧。
3、如权利要求2所述的方法，其中，步骤(b1)包括：
(bb1)为所述多个关键帧中的每个关键帧组成具有0深度(深度信息)的节点，并计算关键帧的特征值以及关键帧的特征值之间的差；
(bb2)选择在特征值之间具有最小差的两个最高节点；
(bb3)将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点，并计算该新节点的特征值；以及
(bb4)重复步骤(bb2)和(bb3)，直到最高节点的数目等于代表帧的预定数目为止。
4、如权利要求3所述的方法，还包括：
(bb5)将每个最高节点中包括的与镜头相对应的关键帧的数目与预定值(MIN)相比较；
(bb6)如果存在各自包括比预定值(MIN)少的数目的关键帧的最高节点，则移除该最高节点和该最高节点的子节点；
(bb7)移除剩余最高节点中具有最大深度的最高节点；
(bb8)重复步骤(bb7)，直到最高节点的数目等于代表帧的预定数目为止；以及
(bb9)重复步骤(bb6)到(bb8)，直到每个最高节点中包括的与镜头相对应的关键帧的数目大于预定值(MIN)为止。
5、如权利要求2所述的方法，其中，步骤(b2)包括：
计算每个群中包括的关键帧的特征值的平均值；
计算该平均值和关键帧的特征值之间的差；以及
选择具有最小差值的关键帧作为代表帧。
6、如权利要求2所述的方法，其中，步骤(b2)包括：
计算每个群中包括的关键帧的特征值的平均值；
计算该平均值和关键帧的特征值之间的差；
选择具有最小差值的两个关键帧；以及
从所选择的这两个关键帧中选择满足预定条件的关键帧作为代表帧。
7、如权利要求1所述的方法，其中，步骤(c)包括：
使用所选择的代表帧的信息来以时间顺序排列所选择的代表帧；
输出帧摘要和帧信息；以及
如果重新指定了代表帧的数目，则通过以时间顺序排列根据重新指定的代表帧数目而选择的代表帧，来输出帧摘要和帧信息。
8、如权利要求1所述的方法，其中，步骤(c)包括：
(c1)增加代表帧的数目，直到包括所选择的代表帧的每个镜头的持续时间总和大于预定时间为止；
(c2)计算包括通过除去每个代表帧而剩余的代表帧的镜头之间的时间差的标准偏差；
(c3)移除当除去代表帧时具有最小标准偏差的代表帧；
(c4)重复步骤(c2)和(c3)，直到包括剩余代表帧的每个镜头的持续时间总和短于预定时间为止。
9、一种对静止图像进行摘录的方法，该方法包括：
(x)将多个静止图像分为与代表帧的预定数目相同的多个群；
(y)提取每个群的代表帧；以及
(z)使用所选择的代表帧来生成帧摘要。
10、如权利要求9所述的方法，其中，步骤(x)包括：
(x1)为每个静止图像组成具有0深度的节点，并计算静止图像的特征值以及静止图像的特征值之间的差；
(x2)选择特征值之间具有最小差的两个最高节点；
(x3)将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点，并计算该新节点的特征值；以及
(x4)重复步骤(x2)和(x3)，直到最高节点的数目等于代表帧的预定数目为止。
11、如权利要求10所述的方法，还包括：
(x5)将每个最高节点中包括的静止图像的数目与预定值(MIN)相比较；
(x6)如果存在各自包括比预定值(MIN)少的数目的静止图像的最高节点，则移除该最高节点和该最高节点的子节点；
(x7)移除剩余最高节点中具有最大深度的最高节点；
(x8)重复步骤(x7)，直到最高节点的数目等于代表帧的预定数目为止；以及
(x9)重复步骤(x6)到(x8)，直到每个最高节点中包括的静止图像的数目大于预定值(MIN)为止。
12、如权利要求9所述的方法，其中，步骤(y)包括：
计算每个群中包括的静止图像的特征值的平均值；
计算该平均值和静止图像的特征值之间的差；以及
选择具有最小差值的静止图像作为代表帧。
13、如权利要求9所述的方法，其中，步骤(y)包括：
计算每个群中包括的静止图像的特征值的平均值；
计算该平均值和静止图像的特征值之间的差；
选择具有最小差值的两个静止图像；以及
从所选择的这两个静止图像中选择满足预定条件的静止图像作为代表帧。
14、一种用于对视频流进行摘录的设备，该设备包括：
代表帧选择器，接收视频流并选择代表帧；以及
帧摘要生成器，使用所选择的代表帧来对视频流进行摘录，并输出帧摘要和帧信息。
15、如权利要求14所述的设备，其中，代表帧选择器包括：
关键帧提取器，接收视频流，提取每个镜头的关键帧，并输出与镜头相对应的关键帧；
帧分割单元，接收与镜头相对应的关键帧，并将与镜头相对应的关键帧分为与代表帧的预定数目相同的多个群；以及
群代表帧提取器，从每个群中包括的与镜头相对应的关键帧中选择一个代表帧，并输出该代表帧。
16、如权利要求15所述的设备，其中，帧分割单元包括：
基本节点组成单元，接收与镜头相对应的关键帧，并为每个关键帧组成具有0深度的节点；
特征值计算器，计算节点的关键帧的特征值以及特征值之间的差；以及
最高节点组成单元，选择在特征值之间具有最小差的两个最高节点，并将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点。
17、如权利要求16所述的设备，还包括：
次级群移除单元，移除各自包括比预定值(MIN)少的数目的关键帧的最高节点、和该最高节点的子节点；以及
群分割单元，移除剩余最高节点中具有最大深度的最高节点。
18、如权利要求15所述的设备，其中，群代表帧提取器计算每个群中包括的关键帧的特征值的平均值、以及该平均值和关键帧的特征值之间的差，并选择具有最小差值的关键帧作为代表帧。
19、如权利要求15所述的设备，其中，群代表帧提取器计算每个群中包括的关键帧的特征值的平均值、以及该平均值和关键帧的特征值之间的差，选择具有最小差值的两个关键帧，并从所选择的这两个关键帧中选择满足预定条件的关键帧作为代表帧。
20、一种用于对静止图像进行摘录的设备，该设备包括：
代表静止图像选择器，接收静止图像并选择预定数目的代表帧；以及
静止图像摘要生成器，使用所选择的代表帧来对静止图像进行摘录，并输出帧摘要和帧信息。
21、如权利要求20所述的设备，其中，代表静止图像选择器包括：
静止图像分割单元，接收静止图像，并将该静止图像分为与代表帧的预定数目相同的多个群；以及
群代表静止图像提取器，在每个群中包括的静止图像中选择一个代表帧，并输出该代表帧。
22、如权利要求21所述的设备，其中，静止图像分割单元包括：
静止图像基本节点组成单元，接收静止图像，并为每个静止图像组成具有0深度的节点；
静止图像特征值计算器，计算节点的静止图像的特征值以及特征值之间的差；以及
静止图像最高节点组成单元，选择在所计算的特征值之间具有最小差的两个最高节点，并将所选择的这两个节点连接到具有通过将最高节点的深度最大值加1而得到的深度的新节点。
23、如权利要求22所述的设备，还包括：
静止图像次级群移除单元，移除各自包括比预定值(MIN)少的数目的静止图像的最高节点、和该最高节点的子节点；以及
静止图像群分割单元，移除剩余最高节点中具有最大深度的最高节点。
24、如权利要求21所述的设备，其中，群代表静止图像提取器计算每个群中包括的静止图像的特征值的平均值、以及该平均值和静止图像的特征值之间的差，并选择具有最小差值的静止图像作为代表帧。
25、如权利要求21所述的设备，其中，群代表静止图像提取器计算每个群中包括的静止图像的特征值的平均值、以及该平均值和静止图像的特征值之间的差，选择具有最小差值的两个静止图像，并从所选择的这两个静止图像中选择满足预定条件的静止图像作为代表帧。
CN2004100819353A 2004-02-18 2004-12-16 用于对多个帧进行摘录的方法和设备 Pending CN1658663A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040010820A KR100590537B1 (ko) 2004-02-18 2004-02-18 복수 영상의 요약 방법 및 장치
KR10820/2004 2004-02-18

Publications (1)

Publication Number Publication Date
CN1658663A true CN1658663A (zh) 2005-08-24

Family

ID=34709345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004100819353A Pending CN1658663A (zh) 2004-02-18 2004-12-16 用于对多个帧进行摘录的方法和设备

Country Status (5)

Country Link
US (1) US20050180730A1 (zh)
EP (1) EP1566808A1 (zh)
JP (1) JP2005236993A (zh)
KR (1) KR100590537B1 (zh)
CN (1) CN1658663A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101778257A (zh) * 2010-03-05 2010-07-14 北京邮电大学 用于数字视频点播中的视频摘要片断的生成方法
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence
CN102763407A (zh) * 2009-11-13 2012-10-31 Jvc建伍株式会社 视频处理装置、视频处理方法及视频处理程序
CN102906745A (zh) * 2010-05-25 2013-01-30 伊斯曼柯达公司 使用选择准则确定关键视频片段以形成视频概要
US8478004B2 (en) 2007-06-22 2013-07-02 Samsung Electronics Co., Ltd. Method of controlling digital image processing apparatus for performing moving picture photographing mode, and digital image processing apparatus using the method
CN104239388A (zh) * 2013-06-10 2014-12-24 宏达国际电子股份有限公司 媒体文件管理方法及系统
CN104917666A (zh) * 2014-03-13 2015-09-16 腾讯科技（深圳）有限公司 一种制作个性化动态表情的方法和装置
CN106060629A (zh) * 2016-07-25 2016-10-26 北京金山安全软件有限公司 一种画面的提取方法及终端
CN106210878A (zh) * 2016-07-25 2016-12-07 北京金山安全软件有限公司 一种画面的提取方法及终端
CN106331833A (zh) * 2016-09-29 2017-01-11 维沃移动通信有限公司 一种视频显示方法及移动终端
CN108810622A (zh) * 2018-07-09 2018-11-13 腾讯科技（深圳）有限公司 视频帧的提取方法、装置、计算机可读介质及电子设备
CN113302915A (zh) * 2019-01-14 2021-08-24 杜比实验室特许公司 在视频会议中共享物理书写表面
CN115330657A (zh) * 2022-10-14 2022-11-11 威海凯思信息科技有限公司 一种海洋探测图像的处理方法、装置和服务器

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100754529B1 (ko) * 2005-11-28 2007-09-03 삼성전자주식회사 동영상 요약 서비스 장치 및 그 방법
WO2007091587A1 (ja) * 2006-02-08 2007-08-16 Nec Corporation 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム
KR100771244B1 (ko) * 2006-06-12 2007-10-29 삼성전자주식회사 동영상 데이터 처리 방법 및 장치
KR100776415B1 (ko) * 2006-07-18 2007-11-16 삼성전자주식회사 동영상 재생 방법 및 그 시스템
US8000533B2 (en) * 2006-11-14 2011-08-16 Microsoft Corporation Space-time video montage
CN101743596B (zh) * 2007-06-15 2012-05-30 皇家飞利浦电子股份有限公司 用于自动生成多媒体文件概要的方法和设备
JP5173337B2 (ja) * 2007-09-18 2013-04-03 Ｋｄｄｉ株式会社 要約コンテンツ生成装置およびコンピュータプログラム
KR101435140B1 (ko) 2007-10-16 2014-09-02 삼성전자 주식회사 영상 표시 장치 및 방법
JP5220705B2 (ja) 2009-07-23 2013-06-26 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US8135222B2 (en) * 2009-08-20 2012-03-13 Xerox Corporation Generation of video content from image sets
KR20110062982A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 실시간 방송 컨텐츠의 방송 요약 정보 생성 방법 및 장치와, 그 제공방법 및 방송 수신 장치
US9443147B2 (en) * 2010-04-26 2016-09-13 Microsoft Technology Licensing, Llc Enriching online videos by content detection, searching, and information aggregation
US8446490B2 (en) * 2010-05-25 2013-05-21 Intellectual Ventures Fund 83 Llc Video capture system producing a video summary
CN102402536A (zh) * 2010-09-13 2012-04-04 索尼公司 从视频中提取关键帧的方法和设备
JP5621675B2 (ja) * 2011-03-18 2014-11-12 富士通株式会社 署名装置、署名方法、および署名プログラム
US9870376B2 (en) * 2011-04-01 2018-01-16 Excalibur Ip, Llc Method and system for concept summarization
US8643746B2 (en) 2011-05-18 2014-02-04 Intellectual Ventures Fund 83 Llc Video summary including a particular person
JP2013025748A (ja) * 2011-07-26 2013-02-04 Sony Corp 情報処理装置、動画要約方法、及びプログラム
US9020244B2 (en) * 2011-12-06 2015-04-28 Yahoo! Inc. Ranking and selecting representative video images
KR102247184B1 (ko) * 2014-10-17 2021-05-03 주식회사 케이티 동영상 썸네일 추출 방법, 장치 및 동영상 제공 시스템
CN104683885A (zh) * 2015-02-04 2015-06-03 浙江大学 一种基于近邻保持重构的视频关键帧摘要提取方法
KR102375864B1 (ko) 2015-02-10 2022-03-18 한화테크윈 주식회사 요약 영상 브라우징 시스템 및 방법
CN105025392B (zh) * 2015-06-25 2017-12-19 西北工业大学 基于摘要空间特征学习的视频摘要关键帧提取方法
CN105306961B (zh) * 2015-10-23 2018-11-20 无锡天脉聚源传媒科技有限公司 一种抽帧的方法及装置
KR20170098079A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 전자 장치에서의 비디오 녹화 방법
US10268897B2 (en) 2017-03-24 2019-04-23 International Business Machines Corporation Determining most representative still image of a video for specific user
JP7192792B2 (ja) * 2017-12-22 2022-12-20 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN108966042B (zh) * 2018-09-10 2020-12-18 合肥工业大学 一种基于最短路径的视频摘要生成方法及装置
CN109920518B (zh) * 2019-03-08 2021-11-16 腾讯科技（深圳）有限公司 医学影像分析方法、装置、计算机设备和存储介质
CN110505495B (zh) * 2019-08-23 2021-12-07 北京达佳互联信息技术有限公司 多媒体资源抽帧方法、装置、服务器及存储介质
CN112016437B (zh) * 2020-08-26 2023-02-10 中国科学院重庆绿色智能技术研究院 一种基于人脸视频关键帧的活体检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
US5821945A (en) * 1995-02-03 1998-10-13 The Trustees Of Princeton University Method and apparatus for video browsing based on content and structure
US5956026A (en) * 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6278446B1 (en) * 1998-02-23 2001-08-21 Siemens Corporate Research, Inc. System for interactive organization and browsing of video
US6535639B1 (en) * 1999-03-12 2003-03-18 Fuji Xerox Co., Ltd. Automatic video summarization using a measure of shot importance and a frame-packing method
US7296231B2 (en) * 2001-08-09 2007-11-13 Eastman Kodak Company Video structuring by probabilistic merging of video segments

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8478004B2 (en) 2007-06-22 2013-07-02 Samsung Electronics Co., Ltd. Method of controlling digital image processing apparatus for performing moving picture photographing mode, and digital image processing apparatus using the method
CN101330572B (zh) * 2007-06-22 2014-11-12 三星电子株式会社 控制数字图像处理装置的方法和数字图像处理装置
CN102763407A (zh) * 2009-11-13 2012-10-31 Jvc建伍株式会社 视频处理装置、视频处理方法及视频处理程序
CN101778257A (zh) * 2010-03-05 2010-07-14 北京邮电大学 用于数字视频点播中的视频摘要片断的生成方法
CN102906745B (zh) * 2010-05-25 2017-03-08 高智83基金会有限责任公司 使用选择准则确定关键视频片段以形成视频概要
CN102906745A (zh) * 2010-05-25 2013-01-30 伊斯曼柯达公司 使用选择准则确定关键视频片段以形成视频概要
WO2012037715A1 (en) * 2010-09-20 2012-03-29 Nokia Corporation Identifying a key frame from a video sequence
CN104239388B (zh) * 2013-06-10 2018-04-24 宏达国际电子股份有限公司 媒体文件管理方法及系统
CN104239388A (zh) * 2013-06-10 2014-12-24 宏达国际电子股份有限公司 媒体文件管理方法及系统
CN104917666A (zh) * 2014-03-13 2015-09-16 腾讯科技（深圳）有限公司 一种制作个性化动态表情的方法和装置
CN104917666B (zh) * 2014-03-13 2019-08-06 腾讯科技（深圳）有限公司 一种制作个性化动态表情的方法和装置
CN106060629A (zh) * 2016-07-25 2016-10-26 北京金山安全软件有限公司 一种画面的提取方法及终端
CN106210878A (zh) * 2016-07-25 2016-12-07 北京金山安全软件有限公司 一种画面的提取方法及终端
CN106331833A (zh) * 2016-09-29 2017-01-11 维沃移动通信有限公司 一种视频显示方法及移动终端
CN108810622A (zh) * 2018-07-09 2018-11-13 腾讯科技（深圳）有限公司 视频帧的提取方法、装置、计算机可读介质及电子设备
US11200426B2 (en) 2018-07-09 2021-12-14 Tencent Technology (Shenzhen) Company Limited Video frame extraction method and apparatus, computer-readable medium
CN113302915A (zh) * 2019-01-14 2021-08-24 杜比实验室特许公司 在视频会议中共享物理书写表面
CN115330657A (zh) * 2022-10-14 2022-11-11 威海凯思信息科技有限公司 一种海洋探测图像的处理方法、装置和服务器
CN115330657B (zh) * 2022-10-14 2023-01-31 威海凯思信息科技有限公司 一种海洋探测图像的处理方法、装置和服务器

Also Published As

Publication number Publication date
JP2005236993A (ja) 2005-09-02
KR100590537B1 (ko) 2006-06-15
US20050180730A1 (en) 2005-08-18
EP1566808A1 (en) 2005-08-24
KR20050082378A (ko) 2005-08-23

Similar Documents

Publication Publication Date Title
CN1658663A (zh) 用于对多个帧进行摘录的方法和设备
US8467610B2 (en) Video summarization using sparse basis function combination
US9628673B2 (en) Near-lossless video summarization
US7394969B2 (en) System and method to compose a slide show
Han et al. An integrated baseball digest system using maximum entropy method
US8169497B2 (en) Method of segmenting videos into a hierarchy of segments
CN1118767C (zh) 用于在显示屏幕上显示多个图像的方法和系统以及使用该方法的服务器和远程监控系统
CN1107408C (zh) 从数字移动图像产生数字静止图像文件的装置和方法
KR101345284B1 (ko) 멀티미디어 컨텐츠 부호화/재생 방법 및 장치
CN1538351A (zh) 视觉上代表性的视频缩略图的生成
CN1647528A (zh) 元数据编辑装置、元数据再生装置、元数据分发装置、元数据检索装置、元数据再生成条件设定装置和元数据分发方法
Takahashi et al. Video summarization for large sports video archives
CN1713712B (zh) 图像压缩及展开装置及其方法、图像处理系统
CN1713710A (zh) 图像处理装置和图像处理方法
CN1237793C (zh) 用于对运动图像数据的进行编码的方法
CN1705366A (zh) 图像处理装置
CN1765128A (zh) 数据处理装置
CN1497945A (zh) 图像生成设备和图像生成方法
CN1722816A (zh) 用于数字再现的画面搜索方法和设备
CN104184980A (zh) 一种数据处理方法及电子设备
JP6168453B2 (ja) 信号記録装置、カメラレコーダおよび信号処理装置
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
CN1507746A (zh) 信息处理设备和方法
Lie et al. News video summarization based on spatial and motion feature analysis
CN1692373A (zh) 图像系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned