CN102842327A - 一种多媒体数据流的剪辑方法及系统 - Google Patents
一种多媒体数据流的剪辑方法及系统 Download PDFInfo
- Publication number
- CN102842327A CN102842327A CN2012103217139A CN201210321713A CN102842327A CN 102842327 A CN102842327 A CN 102842327A CN 2012103217139 A CN2012103217139 A CN 2012103217139A CN 201210321713 A CN201210321713 A CN 201210321713A CN 102842327 A CN102842327 A CN 102842327A
- Authority
- CN
- China
- Prior art keywords
- facial expression
- data stream
- multimedia data
- intercepting
- spectators
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种多媒体数据流的剪辑方法及系统，该方法包括对观众在观看多媒体数据流过程中所产生的面部表情进行监控；根据观众的面部表情从所述多媒体数据流中截取至少一个片段；将截取的片段进行组接完成剪辑。本发明通过以上技术方案，提供一种更加完善的多媒体数据流的剪辑方法及系统。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种多媒体数据流的剪辑方法及系统。
背景技术
电影、电视剧、音乐作品等通常都需要制作音/视频剪辑来进行宣传。为了达到好的宣传效果，需要保留能够带给观众好的观看感受的片段，而不是相对平淡的片段。现有方法通过人工剪辑方式来实现，导演和剪辑人员根据经验来判断保留哪些片段作为剪辑。此方法有以下缺陷：增加了人的工作量，所保留的片段可能不是最能够带给观众好的观看感受的片段。
发明内容
本发明提供一种更加完善的多媒体数据流的剪辑方法及系统。
为了提供一种更加完善的多媒体数据流的剪辑方法及系统，本发明采取以下技术方案。
一种多媒体数据流的剪辑方法，包括：对观众在观看多媒体数据流过程中所产生的面部表情进行监控；根据观众的面部表情从所述多媒体数据流中截取至少一个片段；将截取的片段进行组接完成剪辑。
进一步地，根据观众的面部表情从所述多媒体数据流中截取至少一个片段的方法包括：根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情；从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段。
进一步地，从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段的方法包括：记录观众产生所述符合要求的面部表情时所观看的多媒体数据流的时间点；从所述时间点之前的时间长度T1开始，到所述时间点之后的时间长度T2结束，截取这段时间内的片段。
进一步地，根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情的方法具体为：根据预设的正面表情样本和/或负面表情样本，对所监控到的面部表情进行筛选，筛选出至少一个符合要求的面部表情。
进一步地，所述正面表情样本包括人在高兴、激动、恐惧和/或惊讶时的标准表情样本；所述负面表情样本包括人在睡觉、打盹和/或聊天时的标准表情样本。
进一步地，根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情的方法具体为：对所监控到的各个面部表情进行量化，得到与各个面部表情对应的体验度数量值；选择体验度数量值排名靠前的至少一个面部表情作为符合要求的面部表情。
进一步地，所述多媒体数据流为视频数据流和/或音频数据流。
一种多媒体数据流的剪辑系统，包括监控单元和截取处理单元和剪辑处理单元：所述监控单元用于对观众在观看多媒体数据流过程中所产生的面部表情进行监控；所述截取处理单元用于根据观众的面部表情从所述多媒体数据流中截取至少一个片段；所述剪辑处理单元用于将截取的片段进行组接完成剪辑。
进一步地，所述截取处理单元包括选择单元和截取单元：所述选择单元用于根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情；所述截取单元用于从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段。
进一步地，所述截取单元包括记录子单元和截取子单元：所述记录子单元用于记录观众产生所述符合要求的面部表情时所观看的多媒体数据流的时间点；所述截取子单元用于从所述时间点之前的时间长度T1开始，到所述时间点之后的时间长度T2结束，截取这段时间内的片段。
进一步地，所述选择单元包括量化处理单元和第一选择子单元，其中，所述量化处理单元用于对所监控到的各个面部表情进行量化，得到与各个面部表情对应的体验度数量值，所述第一选择子单元用于选择体验度数量值排名靠前的至少一个面部表情作为符合要求的面部表情；或者所述选择单元具体为第二选择子单元，用于根据预设的正面表情样本和/或负面表情样本，对所监控到的面部表情进行筛选，筛选出至少一个符合要求的面部表情。
本发明的有益效果是：通过对观众在观看多媒体数据流过程中所产生的面部表情的监控，根据观众的面部表情从多媒体数据流中截取片段完成剪辑，相对于现有的剪辑方式而言，减少了人的工作量，而且剪辑中所保留的片段均是能够带给观众好的观看感受的片段。
附图说明
图1为本发明一实施例提供的多媒体数据流的剪辑方法的流程图；
图2为本发明一实施例提供的多媒体数据流的剪辑系统的示意图。
具体实施方式
本发明的主要构思是，选择一些观众对多媒体数据流进行预先观看，根据这些观众在观看多媒体数据流过程中所产生的面部表情截取片段，完成剪辑。其中，多媒体数据流为视频数据流和/或音频数据流。
图1为本发明一实施例提供的多媒体数据流的剪辑方法的流程图，如图1所示，该多媒体数据流的剪辑方法包括如下步骤：
S101、对观众在观看多媒体数据流过程中所产生的面部表情进行监控。
优选的，选择n（n≥1）个观众对多媒体数据流进行预先观看，监控这n个观众在观看多媒体数据流过程中所产生的面部表情，并记录各观众的各个面部表情与产生该面部表情时观众所观看的多媒体数据流的时间点，建立各观众的各个面部表情与多媒体数据流的时间点的对应关系。将各观众的各个面部表情、时间点及该对应关系保存至存储空间。
S102、根据观众的面部表情从所述多媒体数据流中截取至少一个片段。
优选的，步骤S102可以进一步包括以下步骤：
步骤S102a、根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情。当观众人数大于1时，对每个观众，分别选择至少一个符合要求的面部表情。步骤S102a的实现方式包括但不局限于以下两种：
其一、根据预设的正面表情样本和/或负面表情样本，对所监控到的面部表情进行筛选，筛选出至少一个符合要求的面部表情。优选的，正面表情样本包括人在高兴、激动、恐惧和/或惊讶时的标准表情样本；负面表情样本包括人在睡觉、打盹和/或聊天时的标准表情样本。
根据预设的正面表情样本，对所监控到的面部表情进行筛选的可以是：将所监控到的面部表情与正面表情样本对比，将与正面表情样本匹配的面部表情筛选出来，作为符合要求的面部表情。
根据预设的负面表情样本，对所监控到的面部表情进行筛选的可以是：将所监控到的面部表情与负面表情样本对比，将与负面表情样本匹配的面部表情筛选出去，将剩余的面部表情作为符合要求的面部表情。
其二、对所监控到的各个面部表情进行量化，得到与各个面部表情对应的体验度数量值；选择体验度数量值排名靠前的至少一个面部表情作为符合要求的面部表情。
步骤S102b、从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段。步骤S102b的实现方式包括但不局限于以下所列举的：
步骤b1、记录观众产生所述符合要求的面部表情时所观看的多媒体数据流的时间点，进入步骤b2。如果在步骤S101中，已经记录了各观众的各个面部表情与产生该面部表情时观众所观看的多媒体数据流的时间点，建立各观众的各个面部表情与多媒体数据流的时间点的对应关系。那么步骤b1中，只需要根据所述符合要求的面部表情从该对应关系中查找出对应的时间点即可，不需要重复记录时间点。
步骤b2、将所述符合要求的面部表情所对应的多媒体数据流的时间点作为基点，从该时间点之前的时间长度T1开始，到该时间点之后的时间长度T2结束，截取这段时间内的片段。T1等于或不等于T2。截取这段时间内的片段之后，对于该时间点之前的时间长度T1以内和/或该时间点之后的时间长度T2以内所监控到的面部表情可以直接删除，不做表情样本的比对或量化处理，以节省时间和简化操作。
S103、将截取的片段进行组接完成剪辑。
图2为本发明一实施例提供的多媒体数据流的剪辑系统的示意图，如图2所示，多媒体数据流的剪辑系统包括监控单元1和截取处理单元2和剪辑处理单元3，其中，选择n（n≥1）个观众对多媒体数据流进行预先观看，监控单元1用于对这n个观众在观看多媒体数据流过程中所产生的面部表情进行监控；并记录各观众的各个面部表情与产生该面部表情时观众所观看的多媒体数据流的时间点，建立各观众的各个面部表情与多媒体数据流的时间点的对应关系，将各观众的各个面部表情、时间点及该对应关系保存至存储空间。截取处理单元2用于根据监控单元1所监控到的观众的面部表情从多媒体数据流中截取至少一个片段。剪辑处理单元3用于将截取的片段进行组接完成剪辑。
进一步地，截取处理单元2包括选择单元21和截取单元22；选择单元21用于根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情；截取单元22用于从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段。
进一步地，选择单元21包括量化处理单元211和第一选择子单元212，其中，量化处理单元211用于对所监控到的各个面部表情进行量化，得到与各个面部表情对应的体验度数量值；第一选择子单元212用于选择体验度数量值排名靠前的至少一个面部表情作为符合要求的面部表情。
或者选择单元21具体为第二选择子单元，用于根据预设的正面表情样本和/或负面表情样本，对所监控到的面部表情进行筛选，筛选出至少一个符合要求的面部表情；预设的正面表情样本和/或负面表情样本可以保存在存储空间中。
进一步地，截取单元22包括记录子单元221和截取子单元222；记录子单元221用于记录观众产生所述符合要求的面部表情时所观看的多媒体数据流的时间点；截取子单元222用于从所述时间点之前的时间长度T1开始，到所述时间点之后的时间长度T2结束，截取这段时间内的片段。
本发明通过选择一些观众对多媒体数据流进行预先观看，根据这些观众在观看多媒体数据流过程中所产生的面部表情，从多媒体数据流中截取片段完成剪辑，相对于现有的剪辑方式而言，减少了人的工作量，而且剪辑中所保留的片段均是能够带给观众好的观看感受的片段。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (11)
1.一种多媒体数据流的剪辑方法，其特征在于，包括：
对观众在观看多媒体数据流过程中所产生的面部表情进行监控；
根据观众的面部表情从所述多媒体数据流中截取至少一个片段；
将截取的片段进行组接完成剪辑。
2.如权利要求1所述的多媒体数据流的剪辑方法，其特征在于，根据观众的面部表情从所述多媒体数据流中截取至少一个片段的方法包括：
根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情；
从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段。
3.如权利要求2所述的多媒体数据流的剪辑方法，其特征在于，从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段的方法包括：
记录观众产生所述符合要求的面部表情时所观看的多媒体数据流的时间点；
从所述时间点之前的时间长度T1开始，到所述时间点之后的时间长度T2结束，截取这段时间内的片段。
4.如权利要求2所述的多媒体数据流的剪辑方法，其特征在于，根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情的方法具体为：根据预设的正面表情样本和/或负面表情样本，对所监控到的面部表情进行筛选，筛选出至少一个符合要求的面部表情。
5.如权利要求1所述的多媒体数据流的剪辑方法，其特征在于，所述正面表情样本包括人在高兴、激动、恐惧和/或惊讶时的标准表情样本；所述负面表情样本包括人在睡觉、打盹和/或聊天时的标准表情样本。
6.如权利要求3所述的多媒体数据流的剪辑方法，其特征在于，根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情的方法具体为：
对所监控到的各个面部表情进行量化，得到与各个面部表情对应的体验度数量值；
选择体验度数量值排名靠前的至少一个面部表情作为符合要求的面部表情。
7.如权利要求1至6任一项所述的多媒体数据流的剪辑方法，其特征在于，所述多媒体数据流为视频数据流和/或音频数据流。
8.一种多媒体数据流的剪辑系统，其特征在于，包括监控单元和截取处理单元和剪辑处理单元：
所述监控单元用于对观众在观看多媒体数据流过程中所产生的面部表情进行监控；
所述截取处理单元用于根据观众的面部表情从所述多媒体数据流中截取至少一个片段；
所述剪辑处理单元用于将截取的片段进行组接完成剪辑。
9.如权利要求8所述的多媒体数据流的剪辑系统，其特征在于，所述截取处理单元包括选择单元和截取单元：
所述选择单元用于根据预设原则从所监控到的面部表情中选择至少一个符合要求的面部表情；
所述截取单元用于从所述多媒体数据流中截取观众产生所述符合要求的面部表情时所观看的片段。
10.如权利要求9所述的多媒体数据流的剪辑系统，其特征在于，所述截取单元包括记录子单元和截取子单元：
所述记录子单元用于记录观众产生所述符合要求的面部表情时所观看的多媒体数据流的时间点；
所述截取子单元用于从所述时间点之前的时间长度T1开始，到所述时间点之后的时间长度T2结束，截取这段时间内的片段。
11.如权利要求9所述的多媒体数据流的剪辑系统，其特征在于，所述选择单元包括量化处理单元和第一选择子单元，其中，所述量化处理单元用于对所监控到的各个面部表情进行量化，得到与各个面部表情对应的体验度数量值，所述第一选择子单元用于选择体验度数量值排名靠前的至少一个面部表情作为符合要求的面部表情；或者所述选择单元具体为第二选择子单元，用于根据预设的正面表情样本和/或负面表情样本，对所监控到的面部表情进行筛选，筛选出至少一个符合要求的面部表情。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103217139A CN102842327A (zh) | 2012-09-03 | 2012-09-03 | 一种多媒体数据流的剪辑方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103217139A CN102842327A (zh) | 2012-09-03 | 2012-09-03 | 一种多媒体数据流的剪辑方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102842327A true CN102842327A (zh) | 2012-12-26 |
Family
ID=47369606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012103217139A Pending CN102842327A (zh) | 2012-09-03 | 2012-09-03 | 一种多媒体数据流的剪辑方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102842327A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104837059A (zh) * | 2014-04-15 | 2015-08-12 | 腾讯科技（北京）有限公司 | 视频处理方法、装置和系统 |
| CN104994409A (zh) * | 2015-06-30 | 2015-10-21 | 北京奇艺世纪科技有限公司 | 一种媒体数据的剪辑方法和装置 |
| CN105829995A (zh) * | 2013-10-22 | 2016-08-03 | 谷歌公司 | 根据观看者表情捕捉媒体内容 |
| CN106341712A (zh) * | 2016-09-30 | 2017-01-18 | 北京小米移动软件有限公司 | 多媒体数据的处理方法及装置 |
| CN107968961A (zh) * | 2017-12-05 | 2018-04-27 | 吕庆祥 | 基于情感曲线剪辑视频的方法及装置 |
| CN108540854A (zh) * | 2018-03-29 | 2018-09-14 | 努比亚技术有限公司 | 直播视频剪辑方法、终端及计算机可读存储介质 |
| TWI688269B (zh) * | 2018-12-06 | 2020-03-11 | 宏碁股份有限公司 | 影片擷取方法與使用此方法的電子裝置 |
| CN113642696A (zh) * | 2020-05-11 | 2021-11-12 | 辉达公司 | 使用一个或更多个神经网络进行精彩片段确定 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1942970A (zh) * | 2004-04-15 | 2007-04-04 | 皇家飞利浦电子股份有限公司 | 生成对用户具有特定情绪影响的内容项的方法 |
| CN101420579A (zh) * | 2007-10-22 | 2009-04-29 | 皇家飞利浦电子股份有限公司 | 检测精彩片断的方法、装置和系统 |
| JP2010028705A (ja) * | 2008-07-24 | 2010-02-04 | Nippon Telegr & Teleph Corp <Ntt> | 映像要約装置および映像要約プログラム |
| CN102473264A (zh) * | 2009-06-30 | 2012-05-23 | 伊斯曼柯达公司 | 根据观看者因素和反应进行图像显示控制的方法和装置 |
-
2012
- 2012-09-03 CN CN2012103217139A patent/CN102842327A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1942970A (zh) * | 2004-04-15 | 2007-04-04 | 皇家飞利浦电子股份有限公司 | 生成对用户具有特定情绪影响的内容项的方法 |
| CN101420579A (zh) * | 2007-10-22 | 2009-04-29 | 皇家飞利浦电子股份有限公司 | 检测精彩片断的方法、装置和系统 |
| JP2010028705A (ja) * | 2008-07-24 | 2010-02-04 | Nippon Telegr & Teleph Corp <Ntt> | 映像要約装置および映像要約プログラム |
| CN102473264A (zh) * | 2009-06-30 | 2012-05-23 | 伊斯曼柯达公司 | 根据观看者因素和反应进行图像显示控制的方法和装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105829995A (zh) * | 2013-10-22 | 2016-08-03 | 谷歌公司 | 根据观看者表情捕捉媒体内容 |
| CN111522432A (zh) * | 2013-10-22 | 2020-08-11 | 谷歌有限责任公司 | 根据观看者表情捕捉媒体内容 |
| CN104837059A (zh) * | 2014-04-15 | 2015-08-12 | 腾讯科技（北京）有限公司 | 视频处理方法、装置和系统 |
| CN104994409A (zh) * | 2015-06-30 | 2015-10-21 | 北京奇艺世纪科技有限公司 | 一种媒体数据的剪辑方法和装置 |
| CN106341712A (zh) * | 2016-09-30 | 2017-01-18 | 北京小米移动软件有限公司 | 多媒体数据的处理方法及装置 |
| CN107968961A (zh) * | 2017-12-05 | 2018-04-27 | 吕庆祥 | 基于情感曲线剪辑视频的方法及装置 |
| CN108540854A (zh) * | 2018-03-29 | 2018-09-14 | 努比亚技术有限公司 | 直播视频剪辑方法、终端及计算机可读存储介质 |
| TWI688269B (zh) * | 2018-12-06 | 2020-03-11 | 宏碁股份有限公司 | 影片擷取方法與使用此方法的電子裝置 |
| CN113642696A (zh) * | 2020-05-11 | 2021-11-12 | 辉达公司 | 使用一个或更多个神经网络进行精彩片段确定 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102842327A (zh) | 一种多媒体数据流的剪辑方法及系统 | |
| CN105872773B (zh) | 视频直播的监控方法及监控装置 | |
| US9351030B2 (en) | Automatic creation of frame accurate program/commercial triggers for live/automated television programs | |
| EP3901785A1 (en) | Content filtering in media playing devices | |
| US8099315B2 (en) | Interest profiles for audio and/or video streams | |
| US9788034B1 (en) | Systems and methods for processing a traffic log having an optional-promotion log entry | |
| CN102664032B (zh) | 一种直播时移的播放进度调节条及其控制方法 | |
| CN105763926A (zh) | 屏幕录制的方法及装置 | |
| CA3158720A1 (en) | Content segment detection and replacement | |
| US10045059B2 (en) | Channel change server allocation | |
| TW200630843A (en) | System and method of broadcasting full-screen video | |
| KR20100082344A (ko) | 비디오 데이터를 저장하는 장치 및 방법 | |
| US10455258B2 (en) | Video-broadcast system with DVE-related alert feature | |
| CN106303379A (zh) | 一种视频文件逆序播放方法及系统 | |
| US8295684B2 (en) | Method and system for scaling content for playback with variable duration | |
| WO2017059771A1 (zh) | 机顶盒和直播提醒方法、装置 | |
| US9094618B1 (en) | Systems and methods for causing a stunt switcher to run a bug-overlay DVE with absolute timing restrictions | |
| US9570112B2 (en) | Multiple views recording | |
| CN103716588A (zh) | 一种基于视频监控的多画面轮巡的方法 | |
| WO2020016891A1 (en) | System and method for content-layer based video compression | |
| US10455257B1 (en) | System and corresponding method for facilitating application of a digital video-effect to a temporal portion of a video segment | |
| JP2012507926A5 (zh) | ||
| US9219933B1 (en) | Systems and methods for enabling functionality of a trigger mechanism based on log entries in a traffic log | |
| CN104954870B (zh) | 一种机顶盒快速更新马赛克节目数据的方法及系统 | |
| DE112013001880T5 (de) | Vorrichtung und Verfahren zum Verteilen digitaler Daten, Vorrichtung und Verfahren zur Wiedergabe digitaler Daten, synchronisiertes Wiedergabesystem, Programm und Aufzeichnungsmedium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili town tea light road on the south side of Shenzhen integrated circuit design and application of Industrial Park 306-1, 307, 407, 409. Applicant after: Shenzhen Dvision Video Telecommunication Co., Ltd. Address before: 518057, No. 2, No. 2, No. 402-406, No. fourth, No. fifth, No. 501-503, West West Road, North West Zone, Shenzhen hi tech Zone, Guangdong Applicant before: Shenzhen Dvision Video Telecommunication Co., Ltd. |
|
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20121226 |