CN109360436A - 一种视频生成方法、终端及存储介质 - Google Patents

一种视频生成方法、终端及存储介质 Download PDF

Info

Publication number
CN109360436A
CN109360436A CN201811303089.3A CN201811303089A CN109360436A CN 109360436 A CN109360436 A CN 109360436A CN 201811303089 A CN201811303089 A CN 201811303089A CN 109360436 A CN109360436 A CN 109360436A
Authority
CN
China
Prior art keywords
video
model
automatic pilot
frame
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811303089.3A
Other languages
English (en)
Other versions
CN109360436B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811303089.3A priority Critical patent/CN109360436B/zh
Publication of CN109360436A publication Critical patent/CN109360436A/zh
Application granted granted Critical
Publication of CN109360436B publication Critical patent/CN109360436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Atmospheric Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种视频生成方法、终端及存储介质，该方法可以包括：获取待处理视频；将待处理视频输入预设视频生成模型，并通过预设视频生成模型进行处理，获得模型训练视频；其中，预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；通过模型训练视频，对预设视频生成模型进行训练，获得目标视频生成模型；通过目标视频生成模型对待处理视频进行处理，生成自动驾驶样本视频。

Description

一种视频生成方法、终端及存储介质
技术领域
本申请实施例涉及自动驾驶视频技术领域，尤其涉及一种视频生成方法、终端及存储介质。
背景技术
随着科技的不断发展，自动驾驶技术的出现不仅可以使驾驶员脱离出枯燥的驾驶工作，还可以有效降低由于疲劳驾驶导致的高事故率，为人们的生活做出了极大的贡献。
目前，通常获取大量自动驾驶样本视频用于进行自动驾驶训练。然而，采用现有技术，即通过摄像装置，如车辆上的摄像头，收集大量的交通视频，作为自动驾驶样本视频时，其中大部分视频并不能适合用于进行自动驾驶训练，因此，需要耗费大量的人工对这些大量的交通视频进行筛选和标注，获得自动驾驶样本视频，即获取自动驾驶样本视频难度较大。
发明内容
本申请实施例提供一种视频生成方法、终端及存储介质，能够基于较少的已获得的自动驾驶样本视频或路况视频，生成新的满足自动驾驶训练的自动驾驶样本视频，降低了获取自动驾驶样本视频的难度，提高了自动驾驶样本视频获取的智能性。
本申请实施例的技术方案是这样实现的：
本申请实施例提供了一种视频生成方法，应用于终端，所述方法包括：
获取待处理视频；
将所述待处理视频输入预设视频生成模型，并通过所述预设视频生成模型对所述待处理视频进行处理，获得模型训练视频；其中，所述预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；
通过所述模型训练视频，对所述预设视频生成模型进行训练，获得目标视频生成模型；
通过所述目标视频生成模型对所述待处理进行处理，生成自动驾驶样本视频。
在上述方案中，所述将所述待处理输入预设视频生成模型，并通过所述预设视频生成模型对所述待处理视频进行处理，获得模型训练视频，包括：
按照预设特征提取方式，提取所述待处理视频中每一帧对应的视频帧特征；
对所述视频帧特征进行特征修改，生成目标视频帧；
将所述目标视频帧输入预设长短期记忆网络，进行视频帧组合，获得所述模型训练视频。
在上述方案中，所述将所述目标视频帧输入预设长短期记忆网络，进行视频帧组合，获得所述模型训练视频，包括：
将所述目标视频帧输入所述预设长短期记忆网络，获得所述目标视频帧中每一帧对应的预测时间；
基于所述预测时间，将所述目标视频帧进行组合，获得所述模型训练视频。
在上述方案中，所述通过所述模型训练视频，对所述预设视频生成模型进行训练，获得目标视频生成模型，包括：
判断所述模型训练视频是否满足预设自动驾驶样本视频条件；
若所述模型训练视频不满足所述预设自动驾驶样本视频条件，对所述预设视频生成模型进行调整，获得所述目标视频生成模型。
在上述方案中，所述生成自动驾驶样本视频之后，所述方法还包括：
根据所述自动驾驶样本视频，进行自动驾驶训练，获得自动驾驶模型；其中，所述自动驾驶模型用于控制自动驾驶时对应的驾驶操作。
在上述方案中，所述判断所述模型训练视频是否满足预设自动驾驶样本视频条件之后，所述方法还包括：
若所述模型训练视频满足所述预设自动驾驶样本视频条件，将所述预设视频生成模型确定为所述目标视频生成模型。
本申请实施例提供了一种终端，所述终端包括：
获取单元，用于获取待处理视频；
第一生成单元，用于将所述待处理视频输入预设视频生成模型，并通过所述预设视频生成模型对所述待处理视频进行处理，获得模型训练视频；其中，所述预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；
模型训练单元，用于通过所述模型训练视频，对所述预设视频生成模型进行训练，获得目标视频生成模型；
第二生成单元，用于通过所述目标视频生成模型对所述待处理进行处理，生成自动驾驶样本视频。
在上述终端中，所述第一生成单元，具体用于按照预设特征提取方式，提取所述待处理视频中每一帧对应的视频帧特征；对所述视频帧特征进行特征修改，生成目标视频帧；将所述目标视频帧输入预设长短期记忆网络，进行视频帧组合，获得所述模型训练视频。
在上述终端中，所述第一生成单元，具体用于将所述目标视频帧输入所述预设长短期记忆网络，获得所述目标视频帧中每一帧对应的预测时间；基于所述预测时间，将所述目标视频帧进行组合，获得所述模型训练视频。
在上述终端中，所述模型训练单元，具体用于判断所述模型训练视频是否满足预设自动驾驶样本视频条件；若所述模型训练视频不满足所述预设自动驾驶样本视频条件，对所述预设视频生成模型进行调整，获得所述目标视频生成模型。
在上述终端中，所述模型训练单元，还用于若所述模型训练视频满足所述预设自动驾驶样本视频条件，将所述预设视频生成模型确定为所述目标视频生成模型。
在上述终端中，所述终端还包括：驾驶训练单元；
所述驾驶训练单元，用于根据所述自动驾驶样本视频，进行自动驾驶训练，获得自动驾驶模型；其中，所述自动驾驶模型用于控制自动驾驶操作。
本申请实施例提供了一种终端，处理器、存储器、自编码器和通信总线；
所述通信总线用于实现所述处理器、所述存储器和所述自编码器之间的通信连接；
所述处理器和所述自编码器用于执行所述存储器中存储的视频生成程序，以实现上述视频生成方法。
本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，应用于终端，该计算机程序被处理器和自编码器执行时实现上述视频生成方法。
本申请实施例提供了一种视频生成方法，终端获取待处理视频；将待处理视频输入预设视频生成模型，并通过预设视频生成模型对待处理视频进行处理，获得模型训练视频；其中，预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；基于模型训练视频，对预设视频生成模型进行训练，获得目标视频生成模型；通过目标视频生成模型对待处理视频进行处理，生成自动驾驶样本视频。也就是说，在本申请的实施例中，能够基于较少的已获得的自动驾驶样本视频或路况视频，生成新的满足自动驾驶训练的自动驾驶样本视频，降低了获取自动驾驶样本视频的难度，提高了自动驾驶样本视频获取的智能性。
附图说明
图1为本申请实施例提供的一种视频生成方法的流程示意图一；
图2为本申请实施例提供的一种示例性的视频帧对应的视频帧特征的示意图；
图3为本申请实施例提供的一种视频生成方法的流程示意图二；
图4为本申请实施例提供的一种示例性的自动驾驶的场景示意图；
图5为本申请实施例提供的一种终端的结构示意图一；
图6为本申请实施例提供的一种终端的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
实施例一
本申请实施例提供一种视频生成方法，应用于终端，图1为本申请实施例提供的一种视频生成方法的流程示意图一。如图1所示，该方法可以包括：
S101、获取待处理视频。
在本申请的实施例中，终端可以直接获取待处理视频。
需要说明的是，在本申请的实施例中，终端包括处理器、存储器、自编码器和通信总线，其中，通信总线用于实现处理器、存储器和自编码器之间的通信连接，处理器和自编码器用于执行存储器中存储的视频生成程序，以实现本申请提出的视频生成方法。
需要说明的是，在本申请的实施例中，终端可以为任何具备通信和存储功能的设备，例如：平板电脑、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备等设备，具体的根据实际情况进行选择，本申请实施例不作具体的限定。
需要说明的是，在本申请的实施例中，终端的存储器中可以预先存储有待处理视频，待处理视频为由人工对交通视频筛选后获得的，适合用于进行自动驾驶训练的视频，也可以为实时采集的路况视频。具体的待处理视频和待处理视频的帧数本申请实施例不作限定。
可以理解的是，在本申请的实施例中，由于自动驾驶训练主要在于训练车辆应对障碍物等特殊路况下自动处理的能力，因此，人工对交通视频进行筛选时，可以将视频中人、车和障碍物较多的视频筛选出来，同时，还可以关注视频的清晰度等方面进一步筛选，将筛选出的视频作为待处理视频。此外，如果视频中基本上大部分时间均处于畅通无阻，正常行驶的情况，不具备代表性，也可以将其去除，不作为待处理视频。当然，通常路况视频中也包含一些障碍物，也可以反映路况信息，因此同样可以直接实时采集一些路况视频，不将采集的路况视频确定为待处理视频。
具体的，在本申请的实施例中，终端的处理器可以直接从存储器中获取待处理视频，或者，还可以实时进行采集待处理视频。
S102、将待处理视频输入预设视频生成模型，并通过预设视频生成模型对待处理视频进行处理，获得模型训练视频；其中，预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型。
在本申请的实施例中，终端在获取到待处理视频之后，可以将待处理视频输入预设视频生成模型，通过预设视频生成模型对待处理视频进行处理，获得模型训练视频。
需要说明的是，在本申请的实施例中，预设视频生成模型可以为根据经验预先设置在终端的一个视频生成模型，终端可以对预设视频生成模型进行训练，训练成具备生成自动驾驶样本视频功能的模型，从而用于自动生成自动驾驶样本视频，而不需要消耗大量人工进行视频筛选或采集等步骤。
具体的，在本申请的实施例中，终端将待处理视频输入预设视频生成模型，通过预设视频生成模型对待处理视频进行处理，获得模型训练视频，包括：自编码器中的编码器按照预设特征提取方式，提取待处理视频中每一帧对应的视频帧特征；处理器对视频帧特征进行特征修改，送入自编码器的解码器生成目标视频帧；处理器将目标视频帧输入预设长短期记忆网络(Long Short-Term Memory，LSTM)，进行视频帧组合，获得模型训练视频。
需要说明的是，在本申请的实施例中，自编码器包括：编码器和解码器，其中，编码器用于进行特征提取，解码器用于进行视频帧生成。
可以理解的是，在本申请的实施例中，自编码器是一种神经网络模型，可以学习到输入数据的特征，即只要对自编码器输入一定的自动驾驶样本视频，就能够学习到其中的特征，从而自编码器的编码器可以根据学习到的特征，对输入的待处理视频的每一帧进行视频帧特征提取。
可以理解的是，在本申请的实施例中，待处理视频是由多个视频帧组成的，自编码器中的编码器是对组成待处理视频的每一个视频帧进行特征提取，获得每一个视频帧对应的视频帧特征。
需要说明的是，在本申请的实施例中，自编码器中的编码器提取的待处理视频的每一个视频帧对应的视频帧特征，可以为每一个视频帧中的车、人或障碍物。具体的视频帧特征本申请实施例不作限定。
需要说明的是，在本申请的实施例中，自编码器中的编码器可以采用预设的提取算法来提取待处理视频的每一个视频帧对应的视频帧特征，例如，自编码器的编码器可以采用全卷积网络(Fully Convolutional Networks，FCN)算法进行视频帧特征提取。具体的提取算法本申请实施例不作限定。
图2为本申请实施例提供的一种示例性的视频帧对应的视频帧特征的示意图。如图2所示，自编码器的编码器可以将视频帧中的车、人和障碍物全部提取出来，即为视频帧对应的视频帧特征，具体包括图中的1、2、3和4。
需要说明的是，在本申请的实施例中，自编码器的编码器提取的待处理视频的每一个视频帧对应的视频帧特征，可以通过权重来进行表示，因此，处理器对视频帧特征进行修改，可以直接修改权重，即实现视频帧特征的修改，从而送入自编码器的解码器，生成目标视频帧，其中，目标视频帧即为待处理视频的每一个视频帧修改特征后的视频帧，处理器可以随机对视频帧特征进行修改，具体的修改方式本申请实施例不作限定。
示例性的，在本申请的实施例中，权重A1对应的视频帧特征B1，权重A2对应的视频帧特征B2，权重A3对应的视频帧特征B3，权重A4对应的视频帧特征B4。自编码器的编码器提取待处理视频的每一个视频帧对应的视频帧特征，其中，提取出待处理视频的第一帧对应的视频帧包括：B1和B2，因此，处理器可以对视频帧特征B1和视频帧特征B2进行修改，随机将第一帧中的权重A1修改为权重A3，将第一帧中的权重A2修改为权重A4，从而得到修改特征后的第一帧。
可以理解的是，在本申请的实施例中，目标视频帧实际上就是对待处理视频的每一个视频帧的特征进行修改后生成的视频帧，因此，目标视频帧的帧数与待处理视频的帧数相同。
需要说明的是，在本申请的实施例中，自编码器的解码器实际上获得的是修改后的待处理视频的每一个视频帧对应的视频帧特征进行修改后的特征对应的权重，基于这些权重，自编码器的解码器将权重这一抽象的数据，解码成图像数据，从而获得目标视频帧。
可以理解的是，在本申请的实施例中，若待处理视频包括N个视频帧，N为大于等于1的自然数，终端的处理器将待处理视频输入预设视频生成模型，进行特征提取、特征修改和视频帧连接处理，实际上是将待处理视频的每一帧依次输入到预设视频生成模型，进行特征提取和特征修改，从而获得修改后的每一帧，即目标视频帧，再将目标视频帧进行组合，获得模型训练视频，模型训练视频即也包括N帧，与待处理视频包括的帧数相同。
需要说明的是，在本申请的实施例中，终端存储有预设LSTM，用于对输入的目标视频帧中每一帧的时间进行预测，并进一步进行组合。
需要说明的是，在本申请的实施例中，LSTM实际上是一种时间递归神经网络，可以针对输入的序列，即目标视频帧，进行时间上的预测。在LSTM中存储有预设预测规则，当目标视频帧输入LSTM之后，根据预设预测规则将进行判断，以确定时间顺序，从而实现目标视频帧的组合。具体的LSTM中的预设预测规则本申请不作限定。
具体的，在本申请的实施例中，终端的处理器将目标视频帧输入预设长短期记忆网络，进行视频帧组合，获得模型训练视频，包括：将目标视频帧输入预设长短期记忆网络，获得目标视频帧中每一帧对应的预测时间；基于预测时间，将目标视频帧进行组合，获得模型训练视频。
示例性的，在本申请的实施例中，目标视频帧包括：第一视频帧、第二视频帧、第三视频帧、第四视频帧、第五视频帧和第六视频帧，终端的处理器将六个视频帧输入预设LSTM，从而基于预设LSTM，获得目标视频帧中每一帧对应的预测时间，其中，第一视频帧对应的预测时间为第一时间，第三视频帧对应的预测时间为第二时间，第四视频帧对应的预测时间为第三时间，第六视频帧对应的预测时间为第四时间，第二视频帧对应的预测时间为第五时间，第五视频帧对应的预测时间为第六时间，第一时间早于第二时间，第二时间早于第三时间，第三时间早于第四时间，第四时间早于第五时间，第五时间早于第六时间，因此，将六个视频帧按照：第一视频帧、第一视频帧、第四视频帧、第六视频帧、第二视频帧和第五视频帧的顺序组合起来，获得模型训练视频。
可以理解的是，在本申请的实施例中，终端可以获取到多个待处理视频，对每一个待处理视频执行步骤S102，从而可以获得对应的多个模型训练视频，用于对预设视频生成模型进行训练。
S103、通过模型训练视频，对预设视频生成模型进行训练，获得目标视频生成模型。
在本申请的实施例中，终端在获得模型训练视频之后，可以通过模型训练视频，对预设视频生成模型进行训练，获得目标视频生成模型，其中，目标视频生成模型能够较为准确的生成适用于训练自动驾驶的自动驾驶样本视频。
具体的，在本申请的实施例中，终端的处理器通过模型训练视频，对预设视频生成模型进行训练，获得目标视频生成模型，包括：判断模型训练视频是否满足预设自动驾驶样本视频条件；若模型训练视频不满足预设自动驾驶样本视频条件，对预设视频生成模型进行调整，获得目标视频生成模型；若模型训练视频满足预设自动驾驶样本视频条件，将预设视频生成模型确定为目标视频生成模型。
需要说明的是，在本申请的实施例中，终端中存储有预设自动驾驶样本视频条件，作为判断一个视频能否作为自动驾驶训练时使用的视频的标准，预设自动驾驶样本视频条件可以为根据实际需求设置的，也可以为根据经验进行设置的。具体的预设自动驾驶样本视频条件本申请实施例不作限定。
示例性的，在本申请的实施例中，预设自动驾驶样本视频条件为：视频中特征的变化符合预设逻辑，即在视频中，随着时间的推移，越靠近特征时，例如，路上的人，显示出的人越大，越远离人，显示出的人越小。因此，终端的处理器判断获得的模型训练视频是否满足预设自动驾驶样本视频条件，若满足，即说明基于预设视频生成模型获得的模型训练视频适用于训练自动驾驶，因此，可以直接将预设视频生成模型确定为目标视频生成模型，用于生成自动驾驶样本视频，若不满足，即说明基于预设视频生成模型获得的模型训练视频不适用于训练自动驾驶，因此，需要对预设视频生成模型进行调整，使调整后的预设视频生成模型能够生成适用于训练自动驾驶的视频，调整获得的预设视频生成模型即为目标视频生成模型。具体的，若终端的处理器判断获得的模型训练视频不满足预设自动驾驶样本视频条件，即说明模型训练视频中特征的变化不合预设逻辑，实际上就是对目标视频帧组合不准确，因此，可以针对将目标视频帧基于预测时间进行组合的预设LSTM中的预设预测规则等进行调整。
示例性的，在本申请的实施例中，预设自动驾驶样本视频条件为：与待处理视频相比，相同位置相同特征的数量大于N，即在视频中，出现的特征，包括：人、车和障碍物，对应的数量大于N。因此，终端的处理器判断模型训练视频是否满足预设自动驾驶样本视频条件，若满足，即说明基于预设视频生成模型获得的模型训练视频适用于训练自动驾驶，因此，可以直接将预设视频生成模型确定为目标视频生成模型，用于生成自动驾驶样本视频，若不满足，即说明基于预设视频生成模型获得的模型训练视频不适用于训练自动驾驶，因此，需要对预设视频生成模型进行调整，使调整后的预设视频生成模型能够生成适用于训练自动驾驶的视频，调整获得的预设视频生成模型即为目标视频生成模型。具体的，若终端的处理器判断获得的模型训练视频不满足预设自动驾驶样本视频条件，即说明模型训练视频与待处理视频相比，相同位置相同特征的数量较多，自编码器的解码器没有完全提取出待处理视频中每一视频帧对应的视频帧特征，即没有完全对视频帧特征进行修改，因此，可以更换自编码器中的编码器的提取算法或对算法中的相关参数进行调整。
可以理解的是，在本申请的实施例中，待处理视频可以为多个，因此，终端最终生成的模型训练视频也可以为多个，终端可以根据一定数量的模型训练视频，对预设视频生成模型进行调整，以保证获得的目标视频生成模型的准确性，即可以准确生成适用于自动驾驶训练的视频。
示例性的，在本申请的实施例中，待处理视频为M个，终端的处理器和自编码器对待处理视频按照预设视频生成模型进行特征提取、特征修改和视频帧连接处理，可以获得M个模型训练视频，之后，处理器可以分别判断这M个模型训练视频是否均满足预设自动驾驶样本视频条件，根据判断结果，相应的对预设视频生成模型进行调整，例如，调整自编码器的编码器提取视频帧时使用的算法，或者，修改LSTM预测时间的预设预测规则，以获得目标视频生成模型。
可以理解的是，在本申请的实施例中，终端根据待处理视频和预设视频生成模型，可以获得模型训练视频，基于模型训练是否是满足预设自动驾驶样本视频条件，进一步对预设视频生成模型进行训练，即对编码器或预设LSTM进行调整，获得能够生成适用于自动驾驶训练的自动驾驶样本视频的目标视频生成模型，从而不再需要大量人工对交通视频进行筛选，只需要人工获取少量的自动驾驶样本视频，输入目标视频生成模型，即可自动获得新的自动驾驶样本视频。
S104、通过目标视频生成模型对待处理视频进行处理，生成自动驾驶样本视频。
在本申请的实施例中，终端在获得目标视频生成模型之后，即可通过目标视频生成模型对待处理视频进行处理，生成自动驾驶样本视频。
可以理解的是，在本申请的实施例中，终端的处理器将待处理视频输入目标视频生成模型，通过目标视频生成模型对待处理视频进行处理，生成自动驾驶样本视频，即为适用于进行自动驾驶训练的视频。
可以理解的是，在本申请的实施例中，终端在生成自动驾驶样本视频之后，还可以将自动驾驶样本视频输入目标视频生成模型，继续生成新的自动驾驶样本视频，因此，仅需要人工筛选出少量的自动驾驶样本视频或采集较少的路况视频，即可基于目标视频生成模型，生成大量适用于进行自动驾驶训练的视频。
需要说明的是，在本申请的实施例中，终端在获得目标视频模型之后，重复执行步骤S104，即可获得大量的自动驾驶样本视频，并根据这些自动驾驶样本视频，进行自动驾驶训练。
图3为本申请实施例提供的一种视频生成方法的流程示意图二。如图3所示，步骤S104之后，还可以包括步骤S105，具体步骤如下：
S105、根据自动驾驶样本视频，进行自动驾驶训练，获得自动驾驶模型；其中，自动驾驶模型用于控制自动驾驶时对应的驾驶操作。
在本申请的实施例中，终端在获取到自动驾驶样本视频之后，可以根据待自动驾驶样本视频，进行自动驾驶训练，获得自动驾驶模型。
可以理解的是，在本申请的实施例中，待处理视频可以为多个，生成的自动驾驶视频也可以为多个，并且，若待处理视频本身属于自动驾驶时候，还可以作为输入，输入到目标视频生成模型，通过目标视频生成模型再生成新的自动驾驶视频，因此，终端实际上获得了大量的自动驾驶样本视频，用于进行自动驾驶训练。
需要说明的是，在本申请的实施例中，终端根据自动驾驶样本视频进行自动驾驶训练，实际上就是根据大量的自动驾驶样本视频，识别出针对不同路况下，进行的驾驶操作处理，也就是说，自动驾驶模型，其中包括了不同路况下对应的驾驶操作，在自动驾驶时，终端可以通过摄像头实时获取到路况，根据自动驾驶模型，确定对应的驾驶操作，自动控制进行相应的驾驶操作。
图4为本申请实施例提供的一种示例性的自动驾驶的场景示意图。如图4所示，终端为车辆A，车辆A在切换到自动驾驶时，车辆A的前置摄像头可以实时获取到当前的路况图像，并进行特征识别，其中，当前时刻下，路况图像中包括的特征为：行人、车辆B、车辆C和车辆D，车辆A根据自动驾驶模型，可以判断出该路况图像下，行人与车辆A距离较近，车辆A需要对行人进行避让，避免出现交通事故，因此，车辆A自动沿箭头a所指示的方向驶向车道1，避免驶向车道2。
本申请实施例提供了一种视频生成方法，终端获取待处理视频；将待处理视频输入预设视频生成模型，并通过预设视频生成模型对待处理视频进行处理，获得模型训练视频；其中，预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；通过模型训练视频，对预设视频生成模型进行训练，获得目标视频生成模型；通过目标视频生成模型对待处理视频进行处理，生成自动驾驶样本视频。也就是说，在本申请的实施例中，能够基于较少的已获得的自动驾驶样本视频或路况视频，生成新的满足自动驾驶训练的自动驾驶样本视频，降低了获取自动驾驶样本视频的难度，提高了自动驾驶样本视频获取的智能性。
实施例二
本申请实施例提供了一种终端，图5为本申请实施例提供的一种终端的结构示意图一。如图5所示，所述终端包括：
获取单元501，用于获取待处理视频；
第一生成单元502，用于将所述待处理视频输入预设视频生成模型，并通过所述预设视频生成模型对所述待处理视频进行处理，获得模型训练视频；其中，所述预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；
模型训练单元503，用于通过所述模型训练视频，对所述预设视频生成模型进行训练，获得目标视频生成模型；
第二生成单元504，用于将通过所述目标视频生成模型对所述待处理视频进行处理，获得自动驾驶样本视频。
可选的，所述第一生成单元502，具体用于按照预设特征提取方式，提取所述待处理视频中每一帧对应的视频帧特征；对所述视频帧特征进行特征修改，生成目标视频帧；将所述目标视频帧输入预设长短期记忆网络，进行视频帧组合，生成所述模型训练视频。
可选的，所述第一生成单元502，具体用于将所述目标视频帧输入所述预设长短期记忆网络，获得所述目标视频帧中每一帧对应的预测时间；基于所述预测时间，将所述目标视频帧进行组合，获得所述模型训练视频。
可选的，所述模型训练单元503，具体用于判断所述模型训练视频是否满足预设自动驾驶样本视频条件；若所述模型训练视频不满足所述预设自动驾驶样本视频条件，对所述预设视频生成模型进行调整，获得所述目标视频生成模型。
可选的，所述模型训练单元503，还用于若所述模型训练视频满足所述预设自动驾驶样本视频条件，将所述预设视频生成模型确定为所述目标视频生成模型。
可选的，所述终端还包括：驾驶训练单元505；
所述驾驶训练单元305，用于根据所述自动驾驶样本视频，进行自动驾驶训练，获得自动驾驶模型；其中，所述自动驾驶模型用于控制自动驾驶操作。
图6为本申请实施例提供的一种终端的结构示意图二。如图6所示，所述终端包括：处理器601、存储器602、自编码器403和通信总线604；
所述通信总线604用于实现所述处理器601、所述存储器602和所述自编码器603之间的通信连接；
所述处理器601和所述自编码器603用于执行所述存储器602中存储的视频生成程序，以实现上述视频生成方法。
本申请实施例提供了一种终端，获取待处理视频；将待处理视频输入预设视频生成模型，通过预设视频生成模型对待处理视频进行处理，获得模型训练视频；其中，预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；通过模型训练视频，对预设视频生成模型进行训练，获得目标视频生成模型；通过目标视频生成模型对待处理视频进行处理，生成自动驾驶样本视频。也就是说，本申请提出的终端，能够基于较少的已获得的自动驾驶样本视频或路况视频，生成新的满足自动驾驶训练的自动驾驶样本视频，降低了获取自动驾驶样本视频的难度，提高了自动驾驶样本视频获取的智能性。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器和自编码器执行时实现上述视频生成方法。计算机可读存储介质可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；也可以是包括上述存储器之一或任意组合的各自设备，如移动电话、计算机、平板设备、个人数字助理等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (14)

1.一种视频生成方法，应用于终端，其特征在于，所述方法包括：
获取待处理视频；
将所述待处理视频输入预设视频生成模型，并通过所述预设视频生成模型对所述待处理视频进行处理，获得模型训练视频；其中，所述预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；
通过所述模型训练视频，对所述预设视频生成模型进行训练，获得目标视频生成模型；
通过所述目标视频生成模型对所述待处理视频进行处理，生成自动驾驶样本视频。
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理视频输入预设视频生成模型，并通过所述预设视频生成模型对所述待处理视频进行处理，获得模型训练视频，包括：
按照预设特征提取方式，提取所述待处理视频中每一帧对应的视频帧特征；
对所述视频帧特征进行特征修改，生成目标视频帧；
将所述目标视频帧输入预设长短期记忆网络，进行视频帧组合，获得所述模型训练视频。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标视频帧输入预设长短期记忆网络，进行视频帧组合，获得所述模型训练视频，包括：
将所述目标视频帧输入所述预设长短期记忆网络，获得所述目标视频帧中每一帧对应的预测时间；
基于所述预测时间，将所述目标视频帧进行组合，获得所述模型训练视频。
4.根据权利要求1所述的方法，其特征在于，所述通过所述模型训练视频，对所述预设视频生成模型进行训练，获得目标视频生成模型，包括：
判断所述模型训练视频是否满足预设自动驾驶样本视频条件；
若所述模型训练视频不满足所述预设自动驾驶样本视频条件，对所述预设视频生成模型进行调整，获得所述目标视频生成模型。
5.根据权利要求4所述的方法，其特征在于，所述判断所述模型训练视频是否满足预设自动驾驶样本视频条件之后，所述方法还包括：
若所述模型训练视频满足所述预设自动驾驶样本视频条件，将所述预设视频生成模型确定为所述目标视频生成模型。
6.根据权利要求1所述的方法，其特征在于，所述生成自动驾驶样本视频之后，所述方法还包括：
根据所述自动驾驶样本视频，进行自动驾驶训练，获得自动驾驶模型；其中，所述自动驾驶模型用于控制自动驾驶时对应的驾驶操作。
7.一种终端，其特征在于，所述终端包括：
获取单元，用于获取待处理视频；
第一生成单元，用于将所述待处理视频输入预设视频生成模型，并通过所述预设视频生成模型对所述待处理视频进行处理，获得模型训练视频；其中，所述预设视频生成模型为待训练成具备生成自动驾驶样本视频功能的模型；
模型训练单元，用于通过所述模型训练视频，对所述预设视频生成模型进行训练，获得目标视频生成模型；
第二生成单元，用于通过所述目标视频生成模型对所述待处理视频进行处理，生成自动驾驶样本视频。
8.根据权利要求7所述的终端，其特征在于，
所述第一生成单元，具体用于按照预设特征提取方式，提取所述待处理视频中每一帧对应的视频帧特征；对所述视频帧特征进行特征修改，生成目标视频帧；将所述目标视频帧输入预设长短期记忆网络，进行视频帧组合，生成所述模型训练视频。
9.根据权利要求8所述的终端，其特征在于，
所述第一生成单元，具体用于将所述目标视频帧输入所述预设长短期记忆网络，获得所述目标视频帧中每一帧对应的预测时间；基于所述预测时间，将所述目标视频帧进行组合，获得所述模型训练视频。
10.根据权利要求7所述的终端，其特征在于，
所述模型训练单元，具体用于判断所述模型训练视频是否满足预设自动驾驶样本视频条件；若所述模型训练视频不满足所述预设自动驾驶样本视频条件，对所述预设视频生成模型进行调整，获得所述目标视频生成模型。
11.根据权利要求10所述的终端，其特征在于，
所述模型训练单元，还用于若所述模型训练视频满足所述预设自动驾驶样本视频条件，将所述预设视频生成模型确定为所述目标视频生成模型。
12.根据权利要求7所述的终端，其特征在于，所述终端还包括：驾驶训练单元；
所述驾驶训练单元，用于根据所述自动驾驶样本视频，进行自动驾驶训练，获得自动驾驶模型；其中，所述自动驾驶模型用于控制自动驾驶操作。
13.一种终端，其特征在于，所述终端包括：处理器、存储器、自编码器和通信总线；
所述通信总线用于实现所述处理器、所述存储器和所述自编码器之间的通信连接；
所述处理器和所述自编码器用于执行所述存储器中存储的视频生成程序，以实现权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，应用于终端，其特征在于，该计算机程序被处理器和自编码器执行时实现如权利要求1-6任一项所述的方法。
CN201811303089.3A 2018-11-02 2018-11-02 一种视频生成方法、终端及存储介质 Active CN109360436B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811303089.3A CN109360436B (zh) 2018-11-02 2018-11-02 一种视频生成方法、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811303089.3A CN109360436B (zh) 2018-11-02 2018-11-02 一种视频生成方法、终端及存储介质

Publications (2)

Publication Number Publication Date
CN109360436A true CN109360436A (zh) 2019-02-19
CN109360436B CN109360436B (zh) 2021-01-08

Family

ID=65343987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811303089.3A Active CN109360436B (zh) 2018-11-02 2018-11-02 一种视频生成方法、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109360436B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112165582A (zh) * 2020-08-31 2021-01-01 北京小米松果电子有限公司 生成视频的方法、装置、存储介质及电子设备
CN113392809A (zh) * 2019-02-21 2021-09-14 百度在线网络技术（北京）有限公司 一种自动驾驶信息处理方法、装置及存储介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655189A (zh) * 2004-02-10 2005-08-17 文化传信科技（澳门）有限公司 图像生成系统及方法
CN201247528Y (zh) * 2008-07-01 2009-05-27 上海高德威智能交通系统有限公司 图像获取和处理装置
CN102254161A (zh) * 2011-07-15 2011-11-23 王世峰 基于路面轮廓及路面图像特征的路面类型识别方法及装置
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
US20130286208A1 (en) * 2012-04-30 2013-10-31 Xerox Corporation Method and system for automatically detecting multi-object anomalies utilizing joint sparse reconstruction model
US20140270381A1 (en) * 2013-03-15 2014-09-18 Xerox Corporation Methods and system for automated in-field hierarchical training of a vehicle detection system
CN104113789A (zh) * 2014-07-10 2014-10-22 杭州电子科技大学 一种基于深度学习的视频摘要在线生成方法
CN106686472A (zh) * 2016-12-29 2017-05-17 华中科技大学 一种基于深度学习的高帧率视频生成方法及系统
CN106791862A (zh) * 2015-11-19 2017-05-31 掌赢信息科技（上海）有限公司 一种视频编码方法和设备
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107360383A (zh) * 2017-07-26 2017-11-17 北京百思科技有限公司 一种自动生成视频的方法及系统
CN107391646A (zh) * 2017-07-13 2017-11-24 清华大学 一种视频图像的语义信息提取方法及装置
WO2018006825A1 (zh) * 2016-07-08 2018-01-11 腾讯科技（深圳）有限公司 视频编码方法和装置
CN107844777A (zh) * 2017-11-16 2018-03-27 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN107968962A (zh) * 2017-12-12 2018-04-27 华中科技大学 一种基于深度学习的两帧不相邻图像的视频生成方法
CN108388876A (zh) * 2018-03-13 2018-08-10 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108419145A (zh) * 2018-05-04 2018-08-17 腾讯科技（深圳）有限公司 一种视频摘要的生成方法和装置以及计算机可读存储介质
CN108600781A (zh) * 2018-05-21 2018-09-28 腾讯科技（深圳）有限公司 一种视频封面生成的方法以及服务器
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108702447A (zh) * 2017-09-29 2018-10-23 深圳市大疆创新科技有限公司 一种视频处理方法、设备、无人机及系统

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1655189A (zh) * 2004-02-10 2005-08-17 文化传信科技（澳门）有限公司 图像生成系统及方法
CN201247528Y (zh) * 2008-07-01 2009-05-27 上海高德威智能交通系统有限公司 图像获取和处理装置
CN102254161A (zh) * 2011-07-15 2011-11-23 王世峰 基于路面轮廓及路面图像特征的路面类型识别方法及装置
CN102426705A (zh) * 2011-09-30 2012-04-25 北京航空航天大学 一种视频场景行为拼接方法
US20130286208A1 (en) * 2012-04-30 2013-10-31 Xerox Corporation Method and system for automatically detecting multi-object anomalies utilizing joint sparse reconstruction model
US20140270381A1 (en) * 2013-03-15 2014-09-18 Xerox Corporation Methods and system for automated in-field hierarchical training of a vehicle detection system
CN104113789A (zh) * 2014-07-10 2014-10-22 杭州电子科技大学 一种基于深度学习的视频摘要在线生成方法
CN106791862A (zh) * 2015-11-19 2017-05-31 掌赢信息科技（上海）有限公司 一种视频编码方法和设备
WO2018006825A1 (zh) * 2016-07-08 2018-01-11 腾讯科技（深圳）有限公司 视频编码方法和装置
CN106686472A (zh) * 2016-12-29 2017-05-17 华中科技大学 一种基于深度学习的高帧率视频生成方法及系统
CN106911930A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN107220600A (zh) * 2017-05-17 2017-09-29 清华大学深圳研究生院 一种基于深度学习的图片生成方法及生成对抗网络
CN107391646A (zh) * 2017-07-13 2017-11-24 清华大学 一种视频图像的语义信息提取方法及装置
CN107360383A (zh) * 2017-07-26 2017-11-17 北京百思科技有限公司 一种自动生成视频的方法及系统
CN108702447A (zh) * 2017-09-29 2018-10-23 深圳市大疆创新科技有限公司 一种视频处理方法、设备、无人机及系统
CN107844777A (zh) * 2017-11-16 2018-03-27 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
CN107968962A (zh) * 2017-12-12 2018-04-27 华中科技大学 一种基于深度学习的两帧不相邻图像的视频生成方法
CN108388876A (zh) * 2018-03-13 2018-08-10 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108419145A (zh) * 2018-05-04 2018-08-17 腾讯科技（深圳）有限公司 一种视频摘要的生成方法和装置以及计算机可读存储介质
CN108600781A (zh) * 2018-05-21 2018-09-28 腾讯科技（深圳）有限公司 一种视频封面生成的方法以及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI YAO: "《2015 IEEE International Conference on Computer Vision (ICCV)》", 18 February 2016 *
袁帅: "应用残差生成对抗网络的路况视频帧预测模型", 《西安交通大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392809A (zh) * 2019-02-21 2021-09-14 百度在线网络技术（北京）有限公司 一种自动驾驶信息处理方法、装置及存储介质
CN113392809B (zh) * 2019-02-21 2023-08-15 百度在线网络技术（北京）有限公司 一种自动驾驶信息处理方法、装置及存储介质
CN112165582A (zh) * 2020-08-31 2021-01-01 北京小米松果电子有限公司 生成视频的方法、装置、存储介质及电子设备
CN112165582B (zh) * 2020-08-31 2023-02-21 北京小米松果电子有限公司 生成视频的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN109360436B (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN107566781B (zh) 视频监控方法和视频监控设备
CN105528587B (zh) 目标检测的方法及装置
CN110738860A (zh) 基于强化学习模型的信息控制方法、装置和计算机设备
CN109558901B (zh) 一种语义分割训练方法及装置、电子设备、存储介质
CN112367518B (zh) 一种输电线路无人机巡检图像质量评价方法
CN113191318B (zh) 目标检测方法、装置、电子设备及存储介质
CN109685847B (zh) 一种视觉目标检测模型的训练方法和装置
CN109360436A (zh) 一种视频生成方法、终端及存储介质
CN113420871B (zh) 图像质量的评估方法、装置、存储介质及电子装置
CN110378916B (zh) 一种基于多任务深度学习的tbm图像出渣分割方法
CN114445780A (zh) 裸土苫盖的检测方法及装置、识别模型的训练方法及装置
CN110149476A (zh) 一种延时摄影方法、装置、系统及终端设备
CN110610610A (zh) 一种车辆出入管理方法、装置以及存储介质
CN112364898A (zh) 图像识别自动标注方法、装置、设备及存储介质
CN109685805A (zh) 一种图像分割方法及装置
CN112163544A (zh) 一种非机动车辆乱摆放的判断方法及系统
CN117808374B (zh) 一种建筑工程质量智能验收管理方法及系统
CN116129522A (zh) 一种行为识别方法、装置、电子设备及计算机存储介质
CN115641519A (zh) 输电线路检查方法、装置及非易失性存储介质
CN110478911A (zh) 基于机器学习的智能游戏车无人驾驶方法及智能车、设备
CN114155551A (zh) 基于YOLOv3改进的复杂环境下的行人检测方法及装置
CN110913246B (zh) 图像处理方法及装置、电子设备和存储介质
CN116977784A (zh) 一种目标检测方法、装置、设备及介质
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
CN113591885A (zh) 目标检测模型训练方法、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant