CN113784171A - 视频数据处理方法、装置、计算机系统及可读存储介质 - Google Patents

视频数据处理方法、装置、计算机系统及可读存储介质 Download PDF

Info

Publication number
CN113784171A
CN113784171A CN202110065498.XA CN202110065498A CN113784171A CN 113784171 A CN113784171 A CN 113784171A CN 202110065498 A CN202110065498 A CN 202110065498A CN 113784171 A CN113784171 A CN 113784171A
Authority
CN
China
Prior art keywords
video
frame
video frame
video frames
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110065498.XA
Other languages
English (en)
Other versions
CN113784171B (zh
Inventor
左鑫孟
赖荣凤
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202110065498.XA priority Critical patent/CN113784171B/zh
Publication of CN113784171A publication Critical patent/CN113784171A/zh
Application granted granted Critical
Publication of CN113784171B publication Critical patent/CN113784171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种视频数据处理方法，包括：获取待处理的厨艺视频数据，其中，待处理的厨艺视频数据包括多个视频帧；对待处理的厨艺视频数据中的多个视频帧进行处理，提取多个视频帧中的关键视频帧，其中，关键视频帧满足预设图像质量条件；利用物体识别模型对关键视频帧进行识别，得到关键视频帧中的目标对象；获取与关键视频帧中的目标对象相匹配的目标文本信息；以及根据关键视频帧和目标文本信息生成厨艺教程。本公开还提供了一种视频数据处理装置、计算机系统、可读存储介质及计算机程序产品。

Description

视频数据处理方法、装置、计算机系统及可读存储介质
技术领域
本公开涉及计算机技术领域和互联网技术领域，更具体地，涉及一种视频数据处理方法、装置、计算机系统、可读存储介质及计算机程序产品。
背景技术
随着计算机技术、网络传输技术的发展，直播及短视频的流行，人人皆可成为自媒体的时代已经到来，网络视频数量迎来进一步增长。在这个时代里，任何人都可以利用简单的设备以及视频编辑软件，制作出精良的影片。越来越多的人从网络看视频的观众转变为发布视频的分享者。而这离不开视频编辑软件的创建与优化。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：现有视频信息处理方法，难以基于录制的视频信息智能制作出高质量关键视频帧以及通过高质量关键视频帧得到相互匹配的图文信息。
发明内容
有鉴于此，本公开提供了一种视频数据处理方法、装置、计算机系统、可读存储介质及计算机程序产品。
本公开的一个方面提供了一种视频数据处理方法，包括：
获取待处理的厨艺视频数据，其中，上述待处理的厨艺视频数据包括多个视频帧；
对上述待处理的厨艺视频数据中的多个视频帧进行处理，提取上述多个视频帧中的关键视频帧，其中，上述关键视频帧满足预设图像质量条件；
利用物体识别模型对上述关键视频帧进行识别，得到上述关键视频帧中的目标对象；
获取与上述关键视频帧中的目标对象相匹配的目标文本信息；以及
根据上述关键视频帧和上述目标文本信息生成厨艺教程。
根据本公开的实施例，上述获取与上述关键视频帧中的目标对象相匹配的目标文本信息包括：
获取与上述关键视频帧中的目标对象相匹配的模板文本信息；
获取与上述关键视频帧中的目标对象相关联的目标对象属性信息；以及
根据上述模板文本信息和上述目标对象属性信息，生成上述目标文本信息。
根据本公开的实施例，获取待处理的厨艺视频数据包括：
将上述待处理的厨艺视频数据转换为直方图，得到直方图帧间差的数据；
基于上述直方图帧间差的数据，确定上述直方图帧间差的数据中的帧间差极大值；以及
基于上述帧间差极大值，将上述待处理的厨艺视频数据切分为多段视频片段，其中，每个上述视频片段包括至少一帧视频帧。
根据本公开的实施例，获取待处理的厨艺视频数据包括：
将上述待处理的厨艺视频数据转换为视频序列；
按照时间顺序对上述视频序列进行截取，得到多组视频帧；
将上述多组视频帧中的每组视频帧输入至二分类模型，得到二分类输出结果，其中，上述二分类模型用于区分上述每组视频帧中的各个视频帧是否为同一组类别；以及
基于上述二分类输出结果，将上述待处理的厨艺视频数据切分为多段视频片段，每个上述视频片段包括至少一帧视频帧。
根据本公开的实施例，其中，上述预设图像质量条件包括图像明暗度质量；
对上述待处理的厨艺视频数据中的多个视频帧进行处理，提取上述多个视频帧中的关键视频帧包括：
将上述多个视频帧中的每个视频帧转换为与上述视频帧对应的RGB通道图；
基于上述RGB通道图，确定上述视频帧的明暗度；
在上述视频帧的明暗度大于图像明暗度质量阈值的情况下，确定上述视频帧满足上述图像明暗度质量条件；以及
将满足上述图像明暗度质量条件的视频帧，确定为上述关键视频帧。
根据本公开的实施例，其中，上述预设图像质量条件还包括图像清晰度质量；
在将满足上述图像明暗度质量条件的视频帧确定为上述关键视频帧之后，上述方法还包括：将满足上述图像明暗度质量条件的视频帧中的每个视频帧转换为与上述视频帧对应的灰度图；
确定上述灰度图中每个像素点的梯度值；
基于上述灰度图中每个像素点的梯度值，确定上述视频帧的模糊程度值；
在上述视频帧的模糊程度值大于图像模糊度质量阈值的情况下，确定上述视频帧满足上述图像清晰度质量条件；以及
将满足上述图像清晰度质量条件的视频帧，确定为上述关键视频帧。
本公开的另一方面提供了一种视频数据处理装置，包括：
第一获取模块，用于获取待处理的厨艺视频数据，其中，上述待处理的厨艺视频数据包括多个视频帧；
提取模块，用于对上述待处理的厨艺视频数据中的多个视频帧进行处理，提取上述多个视频帧中的关键视频帧，其中，上述关键视频帧满足预设图像质量条件；
识别模块，用于利用物体识别模型对上述关键视频帧进行识别，得到上述关键视频帧中的目标对象；
第二获取模块，用于获取与上述关键视频帧中的目标对象相匹配的目标文本信息；以及
生成模块，用于根据上述关键视频帧和上述目标文本信息生成厨艺教程。
本公开的再一方面提供了一种计算机系统，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现上述的方法。
本公开的再一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现上述的方法。
本公开的再一方面提供了一种计算机程序产品，上述计算机程序产品包括计算机可执行指令，上述指令在被执行时用于实现上述的方法。
根据本公开的实施例，因为采用了一种视频数据处理方法，包括：获取待处理的厨艺视频数据，其中，上述待处理的厨艺视频数据包括多个视频帧；对上述待处理的厨艺视频数据中的多个视频帧进行处理，提取上述多个视频帧中的关键视频帧，其中，上述关键视频帧满足预设图像质量条件；利用物体识别模型对上述关键视频帧进行识别，得到上述关键视频帧中的目标对象；获取与上述关键视频帧中的目标对象相匹配的目标文本信息；以及根据上述关键视频帧和上述目标文本信息生成厨艺教程的技术手段，提取的关键视频帧满足图像质量条件，利用物体识别模型从关键视频帧中识别出目标对象，最终生成的目标文本信息简单可靠，与关键视频帧结合，适宜生成厨艺教程。所以至少部分地克服了现有视频编辑软件制作厨艺教程困难的技术问题，进而达到了提升厨艺教程制作效率、降低制作难度的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了可以应用本公开的视频数据处理方法及装置的示例性系统架构；
图2示意性示出了根据本公开实施例的视频数据处理方法的应用场景；
图3示意性示出了根据本公开实施例的视频数据处理方法的流程图；
图4示意性示出了根据本公开另一实施例的视频数据处理方法的流程图；
图5示意性示出了根据本公开另一实施例的视频数据处理方法的流程图；
图6示意性示出了根据本公开另一实施例的视频数据处理方法的流程图；
图7示意性示出了根据本公开实施例的关键视频帧的提取的流程图；
图8示意性示出了根据本公开另一实施例的关键视频帧的提取的流程图；
图9示意性示出了根据本公开实施例的视频数据处理装置的框图；以及
图10示意性示出了根据本公开实施例的适于实现视频数据处理方法的计算机系统的框图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
本公开的实施例提供了一种视频数据处理方法。该方法包括获取待处理的厨艺视频数据，其中，待处理的厨艺视频数据包括多个视频帧；对待处理的厨艺视频数据中的多个视频帧进行处理，提取多个视频帧中的关键视频帧，其中，关键视频帧满足预设图像质量条件；利用物体识别模型对关键视频帧进行识别，得到关键视频帧中的目标对象；获取与关键视频帧中的目标对象相匹配的目标文本信息；以及根据关键视频帧和目标文本信息生成厨艺教程。
图1示意性示出了根据本公开实施例的可以应用视频数据处理方法及装置的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频数据处理类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等厨艺视频数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的视频数据处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的视频数据处理装置一般可以设置于服务器105中。本公开实施例所提供的视频数据处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的视频数据处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
例如，待处理厨艺视频数据可以原本存储在终端设备101、102、或103中的任意一个(例如，终端设备101，但不限于此)之中，或者存储在外部存储设备上并可以导入到终端设备101中。然后，终端设备101可以将待处理厨艺视频数据发送到其他服务器、或服务器集群，并由接收该待处理厨艺视频数据的其他服务器、或服务器集群来执行本公开实施例所提供的图像处理方法。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
随着计算机技术、网络传输技术的发展，直播及短视频的流行，人人皆可成为自媒体的时代已经到来，网络视频数量迎来进一步增长。
图2示意性示出了根据本公开实施例的视频数据处理方法的应用场景。
如图2所示，厨艺相关视频作为各视频分享平台中的主流类别之一，越来越多的人从看视频的厨艺学习者变为发布自己厨艺视频和教程的分享者。
利用本公开实施例的视频数据处理方法可以制作图文封面，并且可以方便厨艺视频分享者进行视频剪辑及分步骤教程的制作。
图3示意性示出了根据本公开实施例的视频数据处理方法的流程图。
如图3所示，该方法包括操作S310～S350。
在操作S310，获取待处理的厨艺视频数据，其中，待处理的厨艺视频数据包括多个视频帧。
根据本公开的实施例，待处理的厨艺视频数据，可以为用户针对某个菜品的制作过程拍摄的视频数据。
在操作S320，对待处理的厨艺视频数据中的多个视频帧进行处理，提取多个视频帧中的关键视频帧，其中，关键视频帧满足预设图像质量条件。
根据本公开的实施例，厨艺视频数据相比图像，具有数据量大、信息更加丰富、冗余度高等特点。即使简单的视频操作如浏览与检索也需要大量的时间和复杂的运算。
根据本公开的实施例，对待处理的厨艺视频数据中的多个视频帧进行处理，提取多个视频帧中的关键视频帧，能够大大减少视频数据的处理数量，同时也给基于内容的视频分析提供了一个有效的处理手段。
在操作S330，利用物体识别模型对关键视频帧进行识别，得到关键视频帧中的目标对象。
根据本公开的实施例，物体识别模型可以利用yoloV5s的单阶段物体检测模型训练得到。其中，本公开实施例的物体识别模型的损失函数Loss可以是GIOUloss。
根据本公开的实施例，关键视频帧中的目标对象可以是厨房用品，例如锅、铲等；还可以是食材，例如西红柿、鸡蛋、鸡肉、鱼等。
根据本公开的实施例，物体识别模型的训练样本集，可以包括带有厨房用品和/或食材图像的训练样本。
根据本公开的实施例，可以将训练样本集中的训练样本输入到yoloV5s的单阶段物体检测模型中，得到输出结果，利用损失函数对模型中的参数进行调整，直到损失函数收敛，将损失函数收敛时对应的模型确定为物体识别模型。
根据本公开的实施例，可以利用物体识别模型对关键视频帧中的厨房用品以及食材等进行识别，得到关键视频帧中的目标对象。
在操作S340，获取与关键视频帧中的目标对象相匹配的目标文本信息。
根据本公开的实施例，可以通过目标对象获取与目标对象相匹配的的目标文本信息，其中，目标对象可以是厨房用品和/或食材；与目标对象相匹配的目标文本信息可以是例如包含有目标对象的用于描述烹饪的教程说明。
在操作S350，根据关键视频帧和目标文本信息生成厨艺教程。
根据本公开的实施例，可以将目标文本信息作为字幕，与关键视频帧结合，生成厨艺教程。
根据本公开的实施例，厨艺教程可以为图文结合后生成的视频数据或视频文件，还可以是图文并茂的文本信息。
根据本公开的实施例，在生成厨艺教程之前，用户还可以采用人机交互的方式，对生成的目标文本信息以及关键视频帧进行二次编辑和确认，然后再基于用户确认的目标文本信息和关键视频帧或者目标文本信息和由关键视频帧得到的视频镜头生成厨艺教程。
根据本公开的实施例，利用视频数据处理方法能够智能地完成图文并茂的烹饪教程的制作。该视频数据处理方法角度新颖，有效降低了烹饪教程剪辑编排的门槛，在网络视频红利时代，利用智能技术实现人人都可以是烹饪教学专家的效果。
下面参考图4～图8，结合具体实施例对图3所示的方法做进一步说明。
图4示意性示出了根据本公开另一实施例的视频数据处理方法的流程图。
如图4所示，获取与关键视频帧中的目标对象相匹配的目标文本信息包括操作S410～S430。
在操作S410，获取与关键视频帧中的目标对象相匹配的模板文本信息。
根据本公开的实施例，可以预先在数据库中存放一些常见菜品制作说明的相关模板文本信息，基于目标对象可以从数据库中检索匹配到涉及目标对象的菜或者相关菜的烹饪描述。
根据本公开的实施例，获取关键视频帧中的目标对象，得到用于描述目标对象的关键词，例如“锅”、“铲”、“西红柿”和“鸡蛋”等。利用关键词匹配的方法，从数据库中获取与目标对象相匹配的模板文本信息。例如，鸡蛋需要翻炒____分钟，该道菜一共需要____时间完成。
在操作S420，获取与关键视频帧中的目标对象相关联的目标对象属性信息。
根据本公开的实施例，目标对象属性信息，可以为目标对象的烹饪时间信息。
根据本公开的实施例，目标对象的烹饪时间信息，可以通过获取待处理厨艺视频数据中目标对象例如“鸡蛋”在锅内的翻炒的镜头，获取到该目标对象在镜头中出现的始末位置，进而预估目标对象例如“鸡蛋”在锅内的翻炒时间信息。
在操作S430，根据模板文本信息和目标对象属性信息，生成目标文本信息。
根据本公开的实施例，基于模板文本信息和目标对象属性信息，能够生成完整版的烹饪文本信息。例如，模板文本信息为，“鸡蛋需要翻炒分钟”，目标对象属性信息为“翻炒时间为5分钟”。两者结合得到完整的目标文本信息，“鸡蛋需要翻炒5分钟”。
根据本公开的实施例，通过目标对象属性信息对模板文本信息的修正与补充，使目标文本信息的生成更灵活，且更加贴近用户实际需求与真实表达。
图5示意性示出了根据本公开另一实施例的视频数据处理方法的流程图。
如图5所示，获取待处理的厨艺视频数据包括操作S510～S530。
在操作S510，将待处理的厨艺视频数据转换为直方图，得到直方图帧间差的数据。
根据本公开的实施例，因待处理的厨艺视频数据数据量大，且存在多个制作步骤，可以根据将待处理的厨艺视频数据进行镜头切分，以简化后续的处理。
根据本公开的实施例，场景亮度或者颜色的改变、目标或背景的运动以及边缘轮廓的变化都会造成图像特征的改变，这些改变可以通过直方图帧间差的数据来体现。
根据本公开的实施例，可以根据直方图帧间差来将待处理的厨艺视频数据进行切分。
在操作S520，基于直方图帧间差的数据，确定直方图帧间差的数据中的帧间差极大值。
根据本公开的实施例，直方图帧间差可以通过计算相邻视频帧的视频帧直方图的差值得到直方图帧间差；直方图帧间差的数据在突变时表现为峰值；在本公开的实施例中，可以将峰值的绝对值作为直方图帧间差的数据中的帧间差极大值。
在操作S530，基于帧间差极大值，将待处理的厨艺视频数据切分为多段视频片段，其中，每个视频片段包括至少一帧视频帧。
根据本公开的实施例，可以通过帧间差极大值获取得到待处理的厨艺视频数据的突变点，其中，帧间差极大值可以为多个，基于多个帧间差极大值可以将待处理的厨艺视频数据切分为多段视频片段数据。
根据本公开的实施例，利用直方图帧间差的数据的帧间差极大值可以简单又有效的进行镜头切分，简化后续处理步骤。
图6示意性示出了根据本公开另一实施例的视频数据处理方法的流程图。
如图6所示，获取待处理的厨艺视频数据包括操作S610～S640。
在操作S610，将待处理的厨艺视频数据转换为视频序列。
在操作S620，按照时间顺序对视频序列进行截取，得到多组视频帧。
在操作S630，将多组视频帧中的每组视频帧输入至二分类模型，得到二分类输出结果，其中，二分类模型用于区分每组视频帧中的各个视频帧是否为同一组类别。
在操作S640，基于二分类输出结果，将待处理的厨艺视频数据切分为多段视频片段，每个视频片段包括至少一帧视频帧。
根据本公开的实施例，视频序列为通过待处理的厨艺视频数据转换得到，视频序列可以为按照一定顺序排列的多个视频帧，也可以为对多个视频帧进行编码所形成的视频帧。在本公开的实施例中，一定顺序可以为时间顺序。
根据本公开的实施例，可以首先将待处理的厨艺视频数据分割转换为一个多输入图片的二分类问题。在本公开的实施例中，将视频序列按一定步长截取视频帧后，例如8帧视频帧为一组。将按一定步长的多帧视频帧输入至二分类模型。输出的结果即为视频帧是一组或两组。例如：输入视频帧8帧，输出的结果是[0，0，0，1，1，1，1，1]，那么可以认为前三帧视频帧是一组镜头，后两帧视频帧是一组镜头。进行下一次输入的话，同样取8帧视频帧，不过时间轴上要向前移动两帧。这样可以保证视频流镜头判断的连续性。在本公开的实施例中，依次类推，经过多次输入、输出判断，即可得到所有视频序列的分类结果，实现对待处理的厨艺视频数据切分。
根据本公开的实施例，该二分类模型可以通过以下方法训练得到。(1)获取训练样本集，对视频流进行时序的镜头标注。例如一个视频流的标注结果如下[0，0，0，0，0，1，1，1，1，1，0，0，0，1，1，1，1，1]，那么确定为四组不同的镜头。(2)在进行模型训练的时候，同样要规定输入的步长，如8帧视频帧一组输入。然后按照模型分类的思想，对每帧视频帧做分组预测。组别为2组，即为二分类。在本公开的实施例中，视频可以是24pfs。(3)得到预测结果。根据预测结果和标注结果，利用损失函数调整模型参数，直至损失函数收敛，将损失函数收敛时的模型作为本实施例中的二分类模型。
根据本公开的实施例，利用二分类模型的切分方法，可以进行精确切分。
图7示意性示出了根据本公开实施例的关键视频帧提取的流程图。
如图7所示，对待处理的厨艺视频数据中的多个视频帧进行处理，提取多个视频帧中的关键视频帧包括操作S710～S740。
在操作S710，将多个视频帧中的每个视频帧转换为与视频帧对应的RGB通道图。
根据本公开的实施例，视频帧包括RGB(红色、绿色、蓝色)三通道；可以将多个视频帧中的每个视频帧的原始图像分解为R通道图、G通道图和B通道图。
在操作S720，基于RGB通道图，确定视频帧的明暗度。
根据本公开的实施例，针对RGB通道图中每个通道图的相关程度赋予不同的权重，得到视频帧质量明暗图后，对每个明暗图的像素点进行归一化操作，并取平均值，即可得到视频帧的明暗度。
根据本公开的实施例，视频帧的明暗度可以根据如下公式(1)计算得到。
Figure BDA0002903097110000131
其中，i，j分别表示图片的横坐标和纵坐标的像素点；m，n分别表示图片的宽与高；Ir，Ig，Ib分别表示红色通道图、绿色通道图、蓝色通道图；Wr、Wg、Wb分别为红色通道图的权重、绿色通道图的权重、蓝色通道图的权重；y1表示视频帧的明暗度。
根据本公开的实施例，可以针对每个通道图的相关程度赋予不同的权重，例如红色通道图的权重Wr可以为0.2，绿色通道图的权重Wg可以为0.7，蓝色通道图的权重Wb可以为0.1。视频帧的明暗度可以根据如下公式(2)计算得到。
Figure BDA0002903097110000141
其中，i，j分别表示图片的横坐标和纵坐标的像素点；m，n分别表示图片的宽与高；Ir，Ig，Ib分别表示红色通道图、绿色通道图、蓝色通道图；y1表示视频帧的明暗度。
在操作S730，在视频帧的明暗度大于图像明暗度质量阈值的情况下，确定视频帧满足图像明暗度质量条件。
根据本公开的实施例，视频帧的明暗度数值范围在[0，1]，视频帧的明暗度数值越大，视频帧越明亮。
根据本公开的实施例，在视频帧的明暗度大于图像明暗度质量阈值T1的情况下，确定视频帧满足图像明暗度质量条件。
根据本公开的实施例，图像明暗度质量阈值T1可以为超参数，实际设定为0.08。
在操作S740，将满足图像明暗度质量条件的视频帧，确定为关键视频帧。
根据本公开的实施例，可以将图像明暗度质量条件确定为预设图像质量条件。将满足图像明暗度质量条件的视频帧，确定为关键视频帧。在本公开中，将明暗度小于或等于T1的视频帧过滤，保留明暗度数值大于T1的视频帧作为关键视频帧。
根据本公开的实施例，通过预设图像质量条件对视频帧进行关键帧的筛选提取，不仅可实现镜头中高质量视频帧的输出，而且减少冗余帧的算法判断，提高处理速度和效率，增加其用户观感体验。
根据本公开的可选实施例，关键视频帧的提取，可以将图像明暗度质量条件确定为预设图像质量条件。但是并不局限于此，还可以将图像清晰度质量条件确定为预设图像质量条件。另外，还可以将图像明暗度质量条件和图像清晰度质量条件结合确定为预设图像质量条件。
根据本公开的实施例，将图像明暗度质量条件和图像清晰度质量条件结合确定为预设图像质量条件。不仅能够将厨艺视频数据中的较暗的视频帧筛选出来，还能将模糊的视频帧过滤掉，最后保留高质量的关键视频帧作为输出，提高关键视频帧的综合质量。
图8示意性示出了根据本公开另一实施例的关键视频帧提取的流程图。
如图8所示，对待处理的厨艺视频数据中的多个视频帧进行处理，提取多个视频帧中的关键视频帧包括操作S810～S880。
在操作S810，将多个视频帧中的每个视频帧转换为与视频帧对应的RGB通道图。
在操作S820，基于RGB通道图，确定视频帧的明暗度。
在操作S830，在视频帧的明暗度大于图像明暗度质量阈值的情况下，确定视频帧满足图像明暗度质量条件。
在操作S840，将满足图像明暗度质量条件的视频帧中的每个视频帧转换为与视频帧对应的灰度图。
根据本公开的实施例，可以将满足图像明暗度质量条件的视频帧直接转换为对应的灰度图，但是并不局限于此，还可以将满足图像明暗度质量条件的视频帧的RGB通道图转换为对应的灰度图。
根据本公开的实施例，在视频帧的明暗度大于图像明暗度质量阈值的情况下，可以根据视频帧中内容的模糊程度进行再次过滤，对于模糊的视频帧的判断，可以减弱颜色信息，使用灰度图来进行判别。
在操作S850，确定灰度图中每个像素点的梯度值。
在操作S860，基于灰度图中每个像素点的梯度值，确定视频帧的模糊程度值。
根据本公开的实施例，基于视频帧的图片内容来比较，视频帧中内容的锐度越高，说明细节对比度越高，视频帧中的内容看起来越清晰。反之，模糊的视频帧的对比度较低，相应锐度值也越低。
根据本公开的实施例，将锐度值计算引入梯度值作为灰度图的乘性因子来计算视频帧的模糊程度值。视频帧的模糊程度值可以根据如下公式(3)计算得到。
Figure BDA0002903097110000161
其中，i，j分别表示图片的横坐标和纵坐标的像素点；m，n分别表示图片的宽与高；Igray(i，j)表示图片的灰度；Δx、Δy分别为像素点的横向、纵向的梯度；y2为视频帧的模糊程度值。
根据本公开的可选实施例，为了提升算法的计算速度，上式(3)还可简化为下式(4)。
Figure BDA0002903097110000162
其中，i，j分别表示图片的横坐标和纵坐标的像素点；m，n分别表示图片的宽与高；Igray(i，j)表示图片的灰度；Δx、Δy分别为像素点的横向、纵向的梯度；y2为视频帧的模糊程度值。
在操作S870，在视频帧的模糊程度值大于图像模糊度质量阈值的情况下，确定视频帧满足图像清晰度质量条件。
根据本公开的实施例，视频帧的模糊程度值数值范围在[0，1]，视频帧的模糊程度值数值越小，视频帧越模糊。
根据本公开的实施例，在视频帧的模糊程度值大于图像清晰度质量阈值T2的情况下，确定视频帧满足图像清晰度质量条件。
根据本公开的实施例，图像清晰度质量阈值T2可以为超参数，实际设定为0.1。
在操作S880，将满足图像清晰度质量条件的视频帧，确定为关键视频帧。
根据本公开的实施例，可以将同时满足图像清晰度质量条件和满足图像明暗度质量条件确定为预设图像质量条件。在本公开中，将明暗度小于或等于T1的视频帧过滤，并且将模糊程度值小于或等于T2的视频帧过滤，进而保留的视频帧则确定为关键视频帧。
根据本公开的实施例，将同时满足图像清晰度质量条件和满足图像明暗度质量条件确定为预设图像质量条件，以便对视频帧进行关键视频帧的筛选提取，可实现较为模糊的视频帧以及较暗的视频帧的双重剔除与筛选，保证关键视频帧的高质量提取。
根据本公开的其他实施例，对关键视频帧的提取方法还可以基于图像的传统手工特征，如纹理特征、形状特征等。但这种提取方法通常只考虑视频帧的相邻帧之间的关系从而忽略了距离较远视频帧的前后运动特征的依赖分析，容易出现漏帧的现象。
根据本公开的其他实施例，还可以采用运动特征来提取关键视频帧，如通过分析视频帧的光流场，进而根据运动场的变化提取运动特征，虽然相对颜色等特征，这种方法提高了准确度，但光流场特征的提取通常比较复杂。
根据本公开的实施例，关键视频帧提取是视频高效处理的基础，算法质量的好坏对基于内容的视频分析至关重要。本公开的关键视频帧提取方法成功应用到厨艺视频数据的后期封面、概要及操作步骤提取及制作中，实现智能编辑和一键分享。
图9示意性示出了根据本公开的实施例的视频数据处理装置的框图。
如图9所示，视频数据处理装置900，包括第一获取模块910、提取模块920、识别模块930、第二获取模块940以及生成模块950。
第一获取模块910，用于获取待处理的厨艺视频数据，其中，待处理的厨艺视频数据包括多个视频帧；
提取模块920，用于对待处理的厨艺视频数据中的多个视频帧进行处理，提取多个视频帧中的关键视频帧，其中，关键视频帧满足预设图像质量条件；
识别模块930，用于利用物体识别模型对关键视频帧进行识别，得到关键视频帧中的目标对象；
第二获取模块940，用于获取与关键视频帧中的目标对象相匹配的目标文本信息；以及
生成模块950，用于根据关键视频帧和目标文本信息生成厨艺教程。
根据本公开的实施例，第二获取模块包括第一获取单元、第二获取单元、以及生成单元。
第一获取单元，用于获取与关键视频帧中的目标对象相匹配的模板文本信息；
第二获取单元，用于获取与关键视频帧中的目标对象相关联的目标对象属性信息；以及
生成单元，用于根据模板文本信息和目标对象属性信息，生成目标文本信息。
根据本公开的实施例，第一获取模块包括第一直方图转换单元、极大值确定单元、以及第一切分单元。
第一直方图转换单元，用于将待处理的厨艺视频数据转换为直方图，得到直方图帧间差的数据；
极大值确定单元，用于基于直方图帧间差的数据，确定直方图帧间差的数据中的帧间差极大值；以及
第一切分单元，用于基于帧间差极大值，将待处理的视频数据切分为多段视频片段，其中，每个视频片段包括至少一帧视频帧。
根据本公开的其他实施例，第一获取模块包括序列转换单元、截取单元、类别区分单元、以及第二切分单元。
序列转换单元，用于将待处理的厨艺视频数据转换为视频序列；
截取单元，用于按照时间顺序对视频序列进行截取，得到多组视频帧；
类别区分单元，用于将多组视频帧中的每组视频帧输入至二分类模型，得到二分类输出结果，其中，二分类模型用于区分每组视频帧中的各个视频帧是否为同一组类别；以及
第二切分单元，用于基于二分类输出结果，将待处理的厨艺视频数据切分为多段视频片段，每个视频片段包括至少一帧视频帧。
根据本公开的实施例，其中，预设图像质量条件包括图像明暗度质量。
根据本公开的实施例，提取模块包括第二通道图转换单元、明暗度确定单元、质量条件确定单元以及关键视频帧确定单元。
通道图转换单元，用于将多个视频帧中的每个视频帧转换为与视频帧对应的RGB通道图；
明暗度确定单元，用于基于RGB通道图，确定视频帧的明暗度；
质量条件确定单元，用于在视频帧的明暗度大于图像明暗度质量阈值的情况下，确定视频帧满足图像明暗度质量条件；以及
关键视频帧确定单元，用于将满足图像明暗度质量条件的视频帧，确定为关键视频帧。
根据本公开的实施例，其中，预设图像质量条件还包括图像清晰度质量。
根据本公开的实施例，视频数据处理装置还包括第二提取模块，用于在将满足图像明暗度质量条件的视频帧确定为关键视频帧之后，将满足图像明暗度质量条件的视频帧中的每个视频帧转换为与视频帧对应的灰度图；确定灰度图中每个像素点的梯度值；基于灰度图中每个像素点的梯度值，确定视频帧的模糊程度值；在视频帧的模糊程度值大于图像模糊度质量阈值的情况下，确定视频帧满足图像清晰度质量条件；以及将满足图像清晰度质量条件的视频帧，确定为关键视频帧。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，第一获取模块910、提取模块920、识别模块930、第二获取模块940以及生成模块950中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本公开的实施例，第一获取模块910、提取模块920、识别模块930、第二获取模块940以及生成模块950中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块910、提取模块920、识别模块930、第二获取模块940以及生成模块950中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本公开的实施例中视频数据处理装置部分与本公开的实施例中视频数据处理方法部分是相对应的，视频数据处理装置部分的描述具体参考视频数据处理方法部分，在此不再赘述。
图10示意性示出了根据本公开实施例的适于实现上文描述的方法的计算机系统的框图。图10示出的计算机系统仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，根据本公开实施例的计算机系统1000包括处理器1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中，存储有系统1000操作所需的各种程序和数据。处理器1001、ROM1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM 1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例，系统1000还可以包括输入/输出(I/O)接口1005，输入/输出(I/O)接口1005也连接至总线1004。系统1000还可以包括连接至I/O接口1005的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的视频数据处理方法。
在该计算机程序被处理器1001执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1009被下载和安装，和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。电要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种视频数据处理方法，包括：
获取待处理的厨艺视频数据，其中，所述待处理的厨艺视频数据包括多个视频帧；
对所述待处理的厨艺视频数据中的多个视频帧进行处理，提取所述多个视频帧中的关键视频帧，其中，所述关键视频帧满足预设图像质量条件；
利用物体识别模型对所述关键视频帧进行识别，得到所述关键视频帧中的目标对象；
获取与所述关键视频帧中的目标对象相匹配的目标文本信息；以及
根据所述关键视频帧和所述目标文本信息生成厨艺教程。
2.根据权利要求1所述的方法，所述获取与所述关键视频帧中的目标对象相匹配的目标文本信息包括：
获取与所述关键视频帧中的目标对象相匹配的模板文本信息；
获取与所述关键视频帧中的目标对象相关联的目标对象属性信息；以及
根据所述模板文本信息和所述目标对象属性信息，生成所述目标文本信息。
3.根据权利要求1所述的方法，获取待处理的厨艺视频数据包括：
将所述待处理的厨艺视频数据转换为直方图，得到直方图帧间差的数据；
基于所述直方图帧间差的数据，确定所述直方图帧间差的数据中的帧间差极大值；以及
基于所述帧间差极大值，将所述待处理的厨艺视频数据切分为多段视频片段，其中，每个所述视频片段包括至少一帧视频帧。
4.根据权利要求1所述的方法，获取待处理的厨艺视频数据包括：
将所述待处理的厨艺视频数据转换为视频序列；
按照时间顺序对所述视频序列进行截取，得到多组视频帧；
将所述多组视频帧中的每组视频帧输入至二分类模型，得到二分类输出结果，其中，所述二分类模型用于区分所述每组视频帧中的各个视频帧是否为同一组类别；以及
基于所述二分类输出结果，将所述待处理的厨艺视频数据切分为多段视频片段，每个所述视频片段包括至少一帧视频帧。
5.根据权利要求1所述的方法，其中，所述预设图像质量条件包括图像明暗度质量；
对所述待处理的厨艺视频数据中的多个视频帧进行处理，提取所述多个视频帧中的关键视频帧包括：
将所述多个视频帧中的每个视频帧转换为与所述视频帧对应的RGB通道图；
基于所述RGB通道图，确定所述视频帧的明暗度；
在所述视频帧的明暗度大于图像明暗度质量阈值的情况下，确定所述视频帧满足所述图像明暗度质量条件；以及
将满足所述图像明暗度质量条件的视频帧，确定为所述关键视频帧。
6.根据权利要求5所述的方法，其中，所述预设图像质量条件还包括图像清晰度质量；
在将满足所述图像明暗度质量条件的视频帧确定为所述关键视频帧之后，所述方法还包括：将满足所述图像明暗度质量条件的视频帧中的每个视频帧转换为与所述视频帧对应的灰度图；
确定所述灰度图中每个像素点的梯度值；
基于所述灰度图中每个像素点的梯度值，确定所述视频帧的模糊程度值；
在所述视频帧的模糊程度值大于图像模糊度质量阈值的情况下，确定所述视频帧满足所述图像清晰度质量条件；以及
将满足所述图像清晰度质量条件的视频帧，确定为所述关键视频帧。
7.一种视频数据处理装置，包括：
第一获取模块，用于获取待处理的厨艺视频数据，其中，所述待处理的厨艺视频数据包括多个视频帧；
提取模块，用于对所述待处理的厨艺视频数据中的多个视频帧进行处理，提取所述多个视频帧中的关键视频帧，其中，所述关键视频帧满足预设图像质量条件；
识别模块，用于利用物体识别模型对所述关键视频帧进行识别，得到所述关键视频帧中的目标对象；
第二获取模块，用于获取与所述关键视频帧中的目标对象相匹配的目标文本信息；以及
生成模块，用于根据所述关键视频帧和所述目标文本信息生成厨艺教程。
8.一种计算机系统，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有可执行指令，所述指令被处理器执行时使处理器实现权利要求1至6中任一项所述的方法。
10.一种计算机程序产品，包括：
计算机可执行指令，所述指令在被执行时使用于实现权利要求1至6中任一项所述的方法。
CN202110065498.XA 2021-01-18 2021-01-18 视频数据处理方法、装置、计算机系统及可读存储介质 Active CN113784171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110065498.XA CN113784171B (zh) 2021-01-18 2021-01-18 视频数据处理方法、装置、计算机系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110065498.XA CN113784171B (zh) 2021-01-18 2021-01-18 视频数据处理方法、装置、计算机系统及可读存储介质

Publications (2)

Publication Number Publication Date
CN113784171A true CN113784171A (zh) 2021-12-10
CN113784171B CN113784171B (zh) 2024-05-17

Family

ID=78835507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110065498.XA Active CN113784171B (zh) 2021-01-18 2021-01-18 视频数据处理方法、装置、计算机系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN113784171B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114613355A (zh) * 2022-04-07 2022-06-10 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
CN114697761A (zh) * 2022-04-07 2022-07-01 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN115908280A (zh) * 2022-11-03 2023-04-04 广东科力新材料有限公司 基于数据处理的pvc钙锌稳定剂的性能确定方法及系统
WO2023241121A1 (zh) * 2022-06-13 2023-12-21 中兴通讯股份有限公司 数据处理方法、控制装置、电子设备、计算机可读介质
CN117544833A (zh) * 2023-11-17 2024-02-09 北京有竹居网络技术有限公司 用于生成视频的方法、装置、设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126143A1 (en) * 2001-03-09 2002-09-12 Lg Electronics, Inc. Article-based news video content summarizing method and browsing system
US20170169853A1 (en) * 2015-12-09 2017-06-15 Verizon Patent And Licensing Inc. Automatic Media Summary Creation Systems and Methods
CN108012034A (zh) * 2017-12-15 2018-05-08 维沃移动通信有限公司 计时事件的创建方法、装置及移动终端
CN109902759A (zh) * 2019-03-12 2019-06-18 上海云从企业发展有限公司 图片集描述方法及装置
CN110851622A (zh) * 2019-11-12 2020-02-28 北京搜狐互联网信息服务有限公司 文本生成方法和装置
WO2020098188A1 (en) * 2018-11-13 2020-05-22 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for prompting user
CN111343496A (zh) * 2020-02-21 2020-06-26 北京字节跳动网络技术有限公司 一种视频处理方法及装置
CN111861405A (zh) * 2020-07-24 2020-10-30 上海连尚网络科技有限公司 用于生成互动做菜教程的方法和设备
CN111857517A (zh) * 2020-07-28 2020-10-30 腾讯科技（深圳）有限公司 视频的信息处理方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020126143A1 (en) * 2001-03-09 2002-09-12 Lg Electronics, Inc. Article-based news video content summarizing method and browsing system
US20170169853A1 (en) * 2015-12-09 2017-06-15 Verizon Patent And Licensing Inc. Automatic Media Summary Creation Systems and Methods
CN108012034A (zh) * 2017-12-15 2018-05-08 维沃移动通信有限公司 计时事件的创建方法、装置及移动终端
WO2020098188A1 (en) * 2018-11-13 2020-05-22 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for prompting user
CN109902759A (zh) * 2019-03-12 2019-06-18 上海云从企业发展有限公司 图片集描述方法及装置
CN110851622A (zh) * 2019-11-12 2020-02-28 北京搜狐互联网信息服务有限公司 文本生成方法和装置
CN111343496A (zh) * 2020-02-21 2020-06-26 北京字节跳动网络技术有限公司 一种视频处理方法及装置
CN111861405A (zh) * 2020-07-24 2020-10-30 上海连尚网络科技有限公司 用于生成互动做菜教程的方法和设备
CN111857517A (zh) * 2020-07-28 2020-10-30 腾讯科技（深圳）有限公司 视频的信息处理方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫晓阳;陈纳新;张晓冬;李昕;: "网络化自动化字幕制播系统在播出线上的应用", 广播与电视技术, no. 12, 15 December 2008 (2008-12-15) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114613355A (zh) * 2022-04-07 2022-06-10 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
CN114697761A (zh) * 2022-04-07 2022-07-01 脸萌有限公司 一种处理方法、装置、终端设备及介质
US11676385B1 (en) 2022-04-07 2023-06-13 Lemon Inc. Processing method and apparatus, terminal device and medium
CN114697761B (zh) * 2022-04-07 2024-02-13 脸萌有限公司 一种处理方法、装置、终端设备及介质
WO2023241121A1 (zh) * 2022-06-13 2023-12-21 中兴通讯股份有限公司 数据处理方法、控制装置、电子设备、计算机可读介质
CN115908280A (zh) * 2022-11-03 2023-04-04 广东科力新材料有限公司 基于数据处理的pvc钙锌稳定剂的性能确定方法及系统
CN115908280B (zh) * 2022-11-03 2023-07-18 广东科力新材料有限公司 基于数据处理的pvc钙锌稳定剂的性能确定方法及系统
CN117544833A (zh) * 2023-11-17 2024-02-09 北京有竹居网络技术有限公司 用于生成视频的方法、装置、设备和介质

Also Published As

Publication number Publication date
CN113784171B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
US20210256320A1 (en) Machine learning artificialintelligence system for identifying vehicles
CN113784171B (zh) 视频数据处理方法、装置、计算机系统及可读存储介质
CN109151501B (zh) 一种视频关键帧提取方法、装置、终端设备及存储介质
US9721183B2 (en) Intelligent determination of aesthetic preferences based on user history and properties
US10074161B2 (en) Sky editing based on image composition
US10114532B2 (en) Editing options for image regions
CN109360028B (zh) 用于推送信息的方法和装置
CN111881913A (zh) 图像识别方法及装置、存储介质和处理器
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
WO2022041830A1 (zh) 行人重识别方法和装置
CN111523566A (zh) 目标视频片段定位方法和装置
EP2587826A1 (en) Extraction and association method and system for objects of interest in video
CN110163076A (zh) 一种图像数据处理方法和相关装置
US9256950B1 (en) Detecting and modifying facial features of persons in images
CN105373938A (zh) 识别视频图像中的商品和展示其信息的方法、装置及系统
CN104041063B (zh) 视频的关联信息库制作和视频播放的方法、平台及系统
CN105979366A (zh) 智能电视及其内容推荐的方法、装置
CN113569740B (zh) 视频识别模型训练方法与装置、视频识别方法与装置
WO2024131565A1 (zh) 服装图像提取方法及其装置、设备、介质、产品
US11948385B2 (en) Zero-footprint image capture by mobile device
CN113033677A (zh) 视频分类方法、装置、电子设备和存储介质
CN112084954A (zh) 视频目标的检测方法、装置、电子设备及存储介质
Liu et al. Enhanced image no‐reference quality assessment based on colour space distribution
US20170013309A1 (en) System and method for product placement
US11080549B1 (en) Automated cropping of images using a machine learning predictor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant