CN112699258A - 作品生成和编辑方法、装置、终端、服务器和系统 - Google Patents
作品生成和编辑方法、装置、终端、服务器和系统 Download PDFInfo
- Publication number
- CN112699258A CN112699258A CN202110045091.0A CN202110045091A CN112699258A CN 112699258 A CN112699258 A CN 112699258A CN 202110045091 A CN202110045091 A CN 202110045091A CN 112699258 A CN112699258 A CN 112699258A
- Authority
- CN
- China
- Prior art keywords
- work
- creation
- authoring
- cloud
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 139
- 238000010422 painting Methods 0.000 claims abstract description 17
- 239000000463 material Substances 0.000 claims description 81
- 230000015654 memory Effects 0.000 claims description 33
- 239000000203 mixture Substances 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 17
- 230000002996 emotional effect Effects 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 12
- 238000007654 immersion Methods 0.000 claims description 10
- 230000001815 facial effect Effects 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 19
- 238000007726 management method Methods 0.000 description 13
- 238000003058 natural language processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000035943 smell Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000012092 media component Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9554—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL] by using bar codes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提出一种作品生成和编辑方法、装置、终端、服务器和系统,该作品生成方法包括:检测车机端所处的场景条件;根据场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求,作品创作请求中包括创作参数,以使云端请求作品创作模块根据创作参数创作对应的创作作品;接收云端返回的与作品创作请求相对应的创作任务ID;向云端发送第一查询请求,第一查询请求中包括创作任务ID,以使云端查询与创作任务ID对应的创作作品;接收并在车机端展示与创作任务ID对应的创作作品。本申请实施例通过车机端和云端的通讯,为用户提供车机端的作品创作服务,可以为用户提供诗歌、绘画、音乐、视频剪辑等创作作品。
Description
本申请是在先申请(发明名称:作品生成和编辑方法、装置、终端、服务器和系统;申请日:2020年06月04日;申请号:202010497041.1)的分案申请。
技术领域
本申请涉及人工智能技术,尤其涉及一种作品生成和编辑方法、装置、终端、服务器和系统。
背景技术
车机端是指安装在车辆里面的车载信息娱乐产品的简称,在功能上能够实现人与车,车与外界(如车与车)的信息通讯。目前车机端大多为用户提供多媒体服务和导航服务,服务形式比较单一。然而随着车辆的逐渐普及,用户期望车机端可以提供多样化的服务。
发明内容
本申请实施例提供一种作品生成和编辑方法、装置、终端、服务器和系统,以解决相关技术存在的问题,技术方案如下:
第一方面,本申请实施例提供了一种作品生成方法,包括:
检测该车机端所处的场景条件;
根据该场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求,该作品创作请求中包括与该多媒体资源对应的创作参数,以使该云端请求作品创作模块根据该创作参数创作对应的创作作品;
接收该云端返回的与该作品创作请求相对应的创作任务ID;
向该云端发送第一查询请求,该第一查询请求中包括该创作任务ID,以使该云端查询与该创作任务ID对应的创作作品;该创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
接收并在该车机端展示与该创作任务ID对应的创作作品。
第二方面,本申请实施例提供了一种作品生成方法,应用于云端,包括:
接收车机端发送的作品创作请求,该作品创作请求中包括与多媒体资源对应的创作参数;该多媒体资源为根据车机端所处的场景条件控制对应的车载多媒体组件采集得到的;
生成与该作品创作请求相对应的创作任务ID;
将该创作任务ID发送给该车机端;
请求作品创作模块根据该创作参数创作对应的创作作品;该创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
接收该车机端发送的第一查询请求,该第一查询请求中包括该创作任务ID;
查询与该创作任务ID对应的创作作品;
将与该创作任务ID对应的创作作品发送给该车机端。
第三方面,本申请实施例提供了一种作品生成方法,应用于车机端,包括:
对语音指令进行语义识别,得到第一识别结果;
根据目标识别结果触发该车机端执行上述任一方面的作品生成方法,该目标识别结果包括该第一识别结果。
在一种实施方式中,该方法还包括:
将该语音指令发送给云端,以使该云端根据该语音指令生成第二识别结果;
接收该云端返回的该第二识别结果;
根据预设的仲裁规则,从该第一识别结果和该第二识别结果中确定出该目标识别结果。
第四方面,本申请实施例提供一种作品编辑方法,应用于移动终端,该方法包括:
识别车机端展示的作品编辑标识;
根据作品编辑标识确定创作作品在云端的地址,创作作品根据以上任一作品生成方法生成;
根据地址从云端获取创作作品;
在移动终端展示创作作品。
第五方面,本申请实施例提供了一种作品生成装置,包括:
作品创作请求发送模块,用于检测车机端所处的场景条件,根据该场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求,该作品创作请求中包括与该多媒体资源对应的创作参数,以使该云端请求作品创作模块根据该创作参数创作对应的创作作品;该创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
创作任务ID接收模块,用于接收该云端返回的与该作品创作请求相对应的创作任务ID;
第一查询请求发送模块,用于向该云端发送第一查询请求,该第一查询请求中包括该创作任务ID,以使该云端查询与该创作任务ID对应的创作作品;
作品展示模块,用于接收并在车机端展示该云端返回的与该创作任务ID对应的创作作品。
第六方面,本申请实施例提供了一种作品生成装置,包括:
作品创作请求接收模块,用于接收车机端发送的作品创作请求,该作品创作请求中包括与多媒体资源对应的创作参数;该多媒体资源为根据该车机端所处的场景条件控制对应的车载多媒体组件采集得到的;创作任务ID生成发送模块,用于生成与该作品创作请求相对应的创作任务ID,并将该创作任务ID发送给该车机端;
请求模块,用于请求作品创作模块根据该创作参数创作对应的创作作品;该创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
第一查询请求接收模块,用于接收该车机端发送的第一查询请求,该第一查询请求中包括该创作任务ID;
作品查询模块,用于查询与该创作任务ID对应的创作作品;
作品发送模块,用于将与该创作任务ID对应的创作作品发送给该车机端。
第七方面,本申请实施例提供了一种作品生成装置,包括:
语义识别模块,用于对语音指令进行语义识别,得到第一识别结果;
触发执行模块,用于根据目标识别结果触发该车机端执行上述任一方面的作品生成方法,该目标识别结果包括该第一识别结果。
在一种实施方式中,该装置还包括:
语音指令发送模块,用于将该语音指令发送给云端,以使该云端根据该语音指令生成第二识别结果;
识别结果接收模块,用于接收该云端返回的该第二识别结果;
仲裁模块,用于根据预设的仲裁规则,从该第一识别结果和该第二识别结果中确定出该目标识别结果。
第八方面,本申请实施例提供一种作品编辑装置,包括:
标识识别模块,用于识别车机端展示的作品编辑标识;
地址确定模块,用于根据作品编辑标识确定创作作品在云端的地址,创作作品根据以上任一作品生成方法生成;
作品获取展示模块,用于根据地址从云端获取创作作品并展示于移动终端。
第九方面,本申请实施例提供了一种车机端终端,包括:
至少一个第一处理器;以及
与该至少一个第一处理器通信连接的第一存储器;其中,
该第一存储器存储有可被该至少一个第一处理器执行的指令,该指令被该至少一个第一处理器执行,以使该至少一个第一处理器能够执行以上任一种车机端的作品生成方法。
第十方面,本申请实施例提供了一种服务器,包括:
至少一个第二处理器;以及
与该至少一个第二处理器通信连接的第二存储器;其中,
该第二存储器存储有可被该至少一个第二处理器执行的指令,该指令被该至少一个第二处理器执行,以使该至少一个第二处理器能够执行上述任一方面的作品生成方法。
第十一方面,本申请实施例提供了一种移动终端,包括:
至少一个第二处理器;以及
与该至少一个第二处理器通信连接的第二存储器;其中,
该第二存储器存储有可被该至少一个第二处理器执行的指令,该指令被该至少一个第二处理器执行,以使该至少一个第二处理器能够执行上述任一方面的作品编辑方法。
第十二方面,本申请实施例提供了一种作品生成系统,包括以上任一方面该的车机端和以上任一方面该的云端服务器。
第十三方面,本申请实施例提供一种作品生成系统,包括车机端和云端,车机端包括作品生成模块,云端包括创作服务模块、作品创作模块和API网关;
该作品生成模块包括:用于检测该车机端所处的场景条件,根据该场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求的创作接口;用于向该云端发送第一查询请求的展示接口;其中,该作品创作请求中包括与该多媒体资源对应的创作参数,该第一查询请求中包括该云端返回的与该作品创作请求对应的创作任务ID;该创作服务模块包括:用于请求该作品创作模块根据该创作参数创作对应的创作作品的创作接口;用于查询并向该车机端返回与该创作任务ID对应的创作作品的展示接口;该创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;其中,该云端通过该API网关解析该作品创作请求,以调用该创作服务模块的创作接口,该云端通过该API网关解析该第一查询请求,以调用该创作服务模块的创作接口。
第十四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机指令,该计算机指令被处理器执行时实现上述任一方面的作品生成方法。
上述技术方案中的优点或有益效果至少包括:通过车机端和云端的通讯,为用户提供车机端的作品创作服务,可以利用车机端摄像头拍摄的照片或视频、音乐等创作素材,为用户提供诗歌、绘画、音乐、视频剪辑等创作作品。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本申请公开的一些实施方式,而不应将其视为是对本申请范围的限制。
图1为根据本申请实施例一种实施方式的作品生成方法的示意图;
图2为根据本申请实施例另一种实施方式的作品生成方法的示意图;
图3为根据本申请实施例又一种实施方式的作品生成方法的示意图;
图4为根据本申请实施例再一种实施方式的作品生成方法的示意图;
图5为根据本申请实施例一种实施方式的车机端和云端的通讯示意图;
图6为根据本申请实施例一种实施方式的作品生成方法的示意图;
图7为根据本申请实施例另一种实施方式的车机端和云端的通讯示意图;
图8为根据本申请实施例一种实施方式的作品生成方法的示意图;
图9为根据本申请实施例又一种实施方式的车机端和云端的通讯示意图;
图10、图11-1至11-4为本申请实施例的作品创作系统的不同示例;
图12为本申请实施例一种实施方式的作品生成方法的示意图;
图13为根据本申请实施例另一种实施方式的作品生成方法的示意图;
图14为本申请实施例的作品创作系统的一个示例;
图15为根据本申请实施例的车机端的作品生成装置的示意图;
图16为根据本申请实施例的云端的作品生成装置的示意图;
图17为根据本申请另一实施例的车机端的作品生成装置的示意图;
图18是可以实现本申请实施例的终端或服务器的框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本申请的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
本申请实施例提供一种作品生成系统,包括车机端和云端,通过车机端和云端的通讯可以实现作品的人工智能创作。在一个示例中,车机端可以提供作品生成模块,如人工智能创作(Artificial Intelligence Creation,AIC)应用(Application,APP),AIC APP用于实现车机端的作品生成方法。
实施例一
图1示出根据本申请实施例一的作品生成方法的流程图。该作品生成方法可以应用于车机端,即可以由车机端实现。
如图1所示,该作品生成方法可以包括:
步骤S101、向云端发送作品创作请求,该作品创作请求中包括创作参数,以使云端请求作品创作模块根据创作参数创作对应的作品。
例如,用户可以利用车机端提供的输入创作指令,并选择合适的创作素材,如图片、视频、音频等。车机端根据创作指令向云端发送作品创作请求。其中,创作素材可以为车载多媒体组件采集的多媒体资源,如车载麦克风多媒体组件采集的音频、车载摄像头多媒体组件采集的图像数据等,图像数据包括图片和视频。
在一个示例中,创作素材文件较小,如图片。可将创作素材随作品创作请求一起发送给云端。但对于创作素材较大的情况,如果直接发送,将影响通讯效率。因此,可以将创作素材发送(上传,upload)至云端,云端在接收到创作素材后,可以将其保存至云端,并将该创作素材的地址返回给车机端。在一个示例中,用户上传的创作素材可以保存至网盘,如云端的联机商用系统(On-line Business Systems,OBS)。进而,该创作素材的地址可以为统一资源定位系统(Uniform Resource Locator,URL)地址。车机端可以接收云端返回的与该创作素材对应的地址,并将该地址作为创作参数,随作品创作请求一起发送给云端。
在一个示例中,创作参数可以包括用户期望,如主题、风格、韵律等,用户可以通过AIC APP输入用户期望。
步骤S102、接收云端返回的与作品创作请求相对应的创作任务ID(IdentityDocument,身份标识号)。
云端在接收到车机端发送的作品创作请求后,可以请求作品创作模块根据创作参数创作对应的作品。在一个示例中,作品创作模块中可以包括智能(AI)创作模型,该AI创作模型可以通过大量的样本数据训练深度学习神经网络而得到。AI创作模型可以为多个,如AI诗歌创作模型、AI绘画创作模型、AI音乐创作模型、AI视频剪辑模型等,进而作品创作模块可以根据创作素材的不同选择对应的模型。
在一种实施方式中,创作参数为创作素材在云端的地址,如URL地址。作品创作模块可以根据该地址从网盘下载对应的创作素材。
在一个示例中,创作参数可以包括上述的用户期望,用户期望作为输入参数被作品创作模块输入对应的AI创作模型中,从而使最终创作的作品符合用户期望。
进一步地,由于作品创作比较耗时,云端不太可能立即将作品返回给车机端,因此,云端可以生成与作品创作请求相对应的创作任务ID,并将该创作任务ID发送给车机端。
步骤S103、向云端发送第一查询请求,第一查询请求中包括创作任务ID,以使云端查询与创作任务ID对应的作品。
车机端在收到创作任务ID后,可以根据该创作任务ID从云端查询对应的作品是否已完成。云端在接收到第一查询请求后,根据创作任务ID查询对应的作品。在一个示例中,当作品创作完成后会被存入云端的作品数据库(Data Base,DB)中,云端可以根据创作任务ID从作品数据库中查找对应的作品,并将查找到的作品发送给车机端。
在一种实施方式中,在步骤S103中可以包括:按照第一预设时间间隔,向云端发送所述第一查询请求。也就是说,车机端会多次轮询云端,查询创作作品是否已完成。云端每次根据第一查询请求从作品数据库中查询是否存在对应的创作作品,如果存在即说明创作作品已完成,进而云端可以将创作作品发送给车机端。
步骤S104、接收并在车机端展示云端返回的与创作任务ID对应的创作作品。
车机端在接收到云端返回的创作作品后,可通过车载多媒体组件进行展示。
根据本申请实施例的作品生成方法,可以根据用户提供的创作素材进行智能创作,并在车机端为用户展示。例如:以车载摄像头拍摄的照片和视频为创作素材,为用户创作个性化的AI诗歌、AI绘画、AI音乐、AI视频等创作作品。
在一种实施方式中,创作素材包括车载多媒体组件采集的多媒体资源,在步骤S101中可以包括:检测车机端所处的场景条件;根据场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求,创作请求中包括与多媒体资源对应的创作参数。
也就是说,车机端向云端发送作品创作请求可以是用户发起的,也可以是根据车机端(车辆)所处的场景条件自动发起的。当检测到车机端所处的场景条件满足预设条件时,车机端自动触发对应的车载对媒体组件采集对应的多媒体资源,并向云端发送作品创作请求。
在一个示例中,多媒体资源作为创作素材可以提前上传至云端,从而收到云端返回的地址(如多媒体资源在云端的网盘的地址),创作参数可以包括该地址,随作品创作请求一起发送至云端。当云端的创作服务模块请求作品创作模块创作作品时,可以通过该地址从网盘下载对应的多媒体资源。
在一种实施方式中,场景条件包括定位信息,根据场景条件控制对应的车载多媒体组件采集对应的多媒体资源,包括:在定位信息与目标旅途信息相对应的情况下,控制车载多媒体组件采集多媒体资源。
例如:目标旅途信息为某一景点,如果检测到车辆当前的定位信息与该景点相匹配,则车机端会自动触发车载多媒体组件,如摄像头多媒体组件或麦克风多媒体组件采集对应的音频、图像或视频,从而为用户记录旅途中的所见所闻,并基于这些所见所闻生成对应的AI创作作品,并在车机端展示。
在一种实施方式中,场景条件包括环境音频,根据场景条件控制对应的车载多媒体组件采集对应的多媒体资源,包括:控制麦克风多媒体组件采集环境音频;控制摄像头多媒体组件采集图像数据;多媒体资源包括环境音频和图像数据。
例如:车机端可以自动触发麦克风多媒体组件采集环境音频,触发摄像头多媒体组件采集图像数据,从而可以基于这些环境音频和图像数据生成对应的AI创作作品,并在车机端展示。其中,环境音频可以为车辆内部或周围的音频。
在一个示例中,车机端检测环境音频中是否包括预设的触发词,例如可以对环境音频进行语义识别得到对应的识别结果,并检测该识别结果是否与预设从触发词匹配。如果匹配,则触发麦克风多媒体组件继续采集环境音频,并触发摄像头多媒体组件采集图像数据。
在一种实施方式中,场景条件包括目标用户的面部图像,根据场景条件控制对应的车载多媒体组件采集对应的多媒体资源,包括:根据目标用户的面部图像确定目标用户的情绪状态;在目标用户的情绪状态与预设情绪状态相对应的情况下,控制车载多媒体组件采集多媒体资源。
其中,用户的面部图像中包括用户的脸部特征,根据脸部特征可以识别用户的情绪状态。例如,可以将脸部特征输入训练好的情绪识别模型,进而得到用户的情绪状态。如果识别到用户的情绪状态符合预设情绪状态(如高兴),则可以自动触发多媒体资源,记录用户在该情绪状态下的音频、图像或视频,并基于这些多媒体资源生成对应的AI创作作品,并在车机端展示。
根据本实施例的方法,用户在可以在车辆使用过程中,如旅途过程中,根据车辆的场景条件自动触发车载多媒体组件采集多媒体资源,记录用户行为、所见所闻等,并基于这些素材生成对应的AI创作作品在车机端展示。
在一种实施方式中,如图2所示,本申请实施例的车机端的作品生成方法还可以包括:步骤S201、向云端发送第二查询请求,以使云端从作品数据库中查询多个作品,该作品包括上述的创作作品;步骤S202、接收云端返回的多个作品;步骤S203、在车机端展示云端返回的多个作品。
基于此,用户可通过车机端的AIC APP,查询全量的AI创作的作品。例如:车机端向云端发送第二查询请求,云端在接收到所述第二查询请求后,从云端的作品数据库中查询多个作品,并返回给车机端。车机端在收到多个作品后,可以在车机端展示。
例如:利用车机端的多媒体组件以瀑布流的形式展示多个作品。展示形式本申请实施例不作限定,可根据用户需求进行任意设定。其中,作品数据库中的作品可以是由作品创作模块生成的,即通过以上任一实施方式的作品生成方法而得到,也可以是预存的。
在一种实施方式中,如图3所示,本申请实施例的车机端的作品生成方法还可以包括:步骤S301、向云端发送分享请求,分享请求中包括创作作品的作品ID,以使云端根据作品ID,查询创作作品在作品数据库中的地址;步骤S302、接收云端返回的创作作品的地址;步骤S303、根据创作作品的地址,生成对应的作品分享标识;步骤S304、在车机端展示作品分享标识。
基于此,用户可以将创作作品分享到微信、微博等社交媒体。例如:用户可通过车机端的AIC APP所提供的分享入口,触发创作作品的分享指令。车机端在收到分享指令后向云端发送分享请求,云端接收该分享请求后,根据创作作品的作品ID从云端的作品数据库中查询该创作作品的地址,如URL地址,并将该地址发送给车机端。车机端将该地址生成对应的作品分享标识,如二维码,并在车机端展示。用户可以使用手机等移动终端扫描二维码,分享作品卡片到社交媒体。其中,存入作品数据库中的每一个作品都对应有作品ID,该作品ID在作品创作阶段可以与创作任务ID相关联。
在一种实施方式中,在步骤S104中可以包括:根据用户的编辑指令编辑创作作品;在车机端展示编辑后的创作作品。
也就是说,云端返回AI创作作品后,用于可以在车机端对该作品进行编辑,例如添加一些文字或表情等,实现车机端的二次创作,并在车机端显示编辑(二次创作)后的创作作品。
在一种实施方式中,本实施例的作品生成方法还可以包括:将编辑后的创作作品发送至云端;向云端发送分享请求,分享请求中包括编辑后的创作作品的作品ID,以使云端根据作品ID,查询编辑后的创作作品在云端的地址;接收云端返回的编辑后的创作作品的地址;根据编辑后的创作作品的地址,生成对应的作品分享标识;在车机端展示作品分享标识。
也就是说,编辑后的创作作品可以在车机端进行分享,分享方法可参照步骤S301~步骤S304。具体地,编辑后的创作作品可以先从车机端上传至云端,云端可以将车机端编辑后的创作作品保存在作品数据库,该编辑后的创作作品也对应有作品ID。在车机端分享编辑后的创作作品时,车机端向云端发送的分享请求中包括的是编辑后的创作作品的作品ID,从而使云端根据该作品ID从云端(如作品数据库中)查询对应的编辑后的创作作品,以获得该编辑后的创作作品的地址,并将该地址返回给车机端。车机端收到该地址后,生成对应的分享标识。
在一种实施方式中,本申请实施例的方法可以包括:根据创作作品在云端的地址,生成作品编辑标识;在车机端展示作品编辑标识,以使移动终端根据作品编辑标识确定创作作品在云端的地址,并根据该地址从云端获取创作作品并展示于移动终端。
车机端可以生成作品编辑标识,如二维码,该作品编辑标识与待编辑的创作作品在云端的地址相对应。用户可通过移动终端扫描车机端的二维码,可以在移动终端展示该创作作品,并在移动终端提供相应的编辑页面供用户对该创作作品进行二次创作。其中,移动终端可以为手机、平板电脑等智能设备。进一步地,移动终端可以根据用户的编辑指令获取对应的编辑素材,并根据这些编辑素材编辑创作作品,实现移动端的二次创作。用户可以在移动终端将编辑(二次创作)后的创作作品分享到社交媒体。
图4示出根据本申请一种实施方式的作品生成方法的流程图。该作品生成方法可以应用于云端。如图4所示,该方法可以包括:
步骤S401、接收车机端发送的作品创作请求,作品创作请求中包括创作参数;
步骤S402、生成与作品创作请求相对应的创作任务ID;
步骤S403、将创作任务ID发送给车机端;
步骤S404、请求作品创作模块根据创作参数创作对应的创作作品;
步骤S405、接收车机端发送的第一查询请求,第一查询请求中包括创作任务ID;
步骤S406、查询与创作任务ID对应的创作作品;
步骤S407、将与创作任务ID对应的创作作品发送给车机端。
本申请实施的云端作品生成方法的一些具体实现方式,可结合图5并参见上述实施例中的对应描述,在此不再赘述。
在一种实施方式中,如图6所示,云端的作品生成方法可以包括:步骤S601、接收车机端发送的第二查询请求;步骤S602、根据第二查询请求,从作品数据库中查询多个作品,该作品包括上述的创作作品;步骤S603、将多个作品发送给车机端。具体地,可结合图7并参见上述实施例中的对应描述,在此不再赘述。
在一种实施方式中,如图8所示,云端的作品生成方法可以包括:步骤S801、接收车机端发送的分享请求,分享请求中包括创作作品的作品ID;步骤S802、根据作品ID,查询该创作作品在作品数据库中的地址;步骤S803、将该创作作品的地址发送给车机端。具体地,可结合图9并参见上述实施例中的对应描述,在此不再赘述。
本申请实施例还提供一种移动终端的作品编辑方法,包括:识别车机端展示的作品编辑标识;根据作品编辑标识确定创作作品在云端的地址,其中,创作作品可以根据以上任一实施方式中的作品生成方法生成;根据地址从云端获取创作作品;在移动终端展示创作作品。
在一种实施方式中,该作品编辑方法还可以包括:根据用户的编辑指令获取对应的编辑素材;根据编辑素材编辑创作作品;分享编辑后的创作作品。
具体实现方式可参见上述车机端的作品编辑方法的对应描述,在此不再赘述。
实施例二
图10示出本申请实施例中的作品生成系统的架构图。需要说明的是,该架构仅为一种实现方式的示例。其中,车机端包括作品生成模块(AIC APP),云端可以包括创作服务模块、作品创作模块和API(Application Programming Interface,应用程序接口)网关。进一步地,作品生成模块和创作服务模块均分别包括创作(create)接口和展示(pull)接口。
在一种实施方式中,根据实施例二的架构,在步骤S101中可以包括:通过调用车机端的创作接口,向云端发送作品创作请求,以使云端通过API网关调用创作服务模块的创作接口。在步骤S103中可包括:通过调用车机端的展示接口,向云端发送第一查询请求。相应地,在步骤S401中可以包括:接收车机端发送的作品创作请求的步骤可以包括:通过API网关解析作品创作请求,以调用创作服务模块的创作接口。在步骤S405和S406中可以包括:通过API网关解析第一查询请求,以调用创作服务模块的展示接口。
在一种实施方式中,车机端按照第一预设时间间隔调用作品生成模块的展示接口,云端按照第二预设时间间隔调用创作服务模块的展示接口,从而实现车机端和云端对创作作品的异步查询。
在一种实施方式中,创作参数包括创作素材在云端的地址,车机端还包括上传接口,云端包括网盘,车机端通过调用上传接口向网盘发送创作素材,地址为创作素材在网盘中的地址。进一步地,云端包括作品数据库,作品数据库中存储有多个作品。
在一种实施方式中,创作服务模块包括数据处理(Data Processing)子模块。数据处理子模块可以对从车机端接收到的数据(如创作参数对应的创作素材)进行数据处理,如建立车机端或用户的账号信息的匹配关系或对一些敏感词进行过滤。数据处理模块还可以对AI创作作品处理后存入作品数据库。数据处理模块可以为创作服务模块的附属子模块。创作服务模块可以通过运营中心进行管理。
在一种实施方式中,所述作品生成模块和所述创作服务模块均可以分别包括列表(list)接口和分享(share)接口。
在步骤S201中可以包括:通过调用车机端的列表(list)接口,向云端发送第二查询请求,以使云端通过API网关调用创作服务模块的列表接口。在步骤S301中可以包括:通过调用车机端的分享(share)接口,向云端发送分享请求,以使云端通过API网关调用创作服务模块的分享接口。
相应地,在步骤S601中可以包括:通过API网关解析第二查询请求,以调用创作服务模块的列表接口从作品数据库中查询多个作品。在步骤S801中可以包括:通过API网关解析分享请求,以调用创作服务模块的分享接口。
具体地,用户通过AIC APP选择创作后,AIC APP调用创作接口,从而向云端发送作品创作请求。云端通过API网关调用创作服务模块的创作接口,该接口调用作品创作模块中相对应的创作模型,进行AI创作作品创作。因创作过程较长,创作服务模块生成创作任务ID并返回给AIC APP。
AIC APP接收到创作任务ID后,根据创作任务ID调用展示接口,从而向云端发送第一查询请求,第一查询请求中携带有创作任务ID。相应地,云端通过API网关异步调用创作服务模块的展示接口,该展示接口从作品数据库中查询与创作任务ID相对应的作品,并在查询到存在该作品的情况下将该作品返回给AIC APP。
在一个示例中,用户可通过AIC APP,查询全量的作品,包括以上任一实施方式的作品生成方法所得到的作品,即AI创作结果。具体地,用户通过AIC APP输入全量查询指令,AIC APP调用列表接口,从而向云端发送第二查询请求,该第二查询请求用于请求查询多个作品。相应地,云端通过API网关调用创作服务模块的列表接口,从作品数据库中查询多个作品,并将结果返回给AIC APP。AIC APP在接收到多个作品后,可以将多个作品以瀑布流的形式展示。
在一个示例中,用户可通过AIC APP的分享入口,使用手机扫描二维码,分享创作作品的卡片到社交媒体。其中,该创作作品可以为以上任一实施方式的作品生成方法所得到的作品,即AI创作结果。具体地,AIC APP通过调用分享接口,向云端发送分享请求,该分享请求中携带有创作作品的ID。相应地,云端通过API网关调用创作服务模块的分享接口,从而根据作品ID查询创作作品在作品数据库中的地址,并将该地址发送给车机端。AIC APP在接收到该地址后生成相应的作品分享标识,如二维码,并在AIC APP展示。
通过本实施例的作品生成方法,可以基于车机端的创作素材,如车机端相册(可以由摄像头拍摄),实现对应的AI创作作品的创作,如AI诗歌、AI绘画、AI音乐、AI视频等,并在车机端对AI创作作品展示和分享。
实施例三
在本实施例中,云端的作品生成方法还可以包括:接收作品创作模块根据创作参数返回的结果查询ID;按照第二预设时间间隔,从作品创作模块查询与结果查询ID对应的作品是否已完成;在已完成的情况下,从作品创作模块获取与结果查询ID对应的作品。
由于作品创作模块进行作品创作比较耗时,因此作品创作模块可以先返回一个结果查询ID给创作服务模块。该结果查询ID与车机端提供的创作参数相关联,即与云端向车机端返回的创作任务ID相关联。创作服务模块可以按照第二预设时间间隔,利用结果查询ID不断轮询作品创作模块,直到获取到与该结果查询ID相对应的作品。也就是说,车机端对云端的作品结果轮询与云端的作品结果轮询是异步进行的。
在一个示例中,如图11-1所示,本申请实施例的作品生成方法可以应用于AI诗歌创作。具体的,该示例的方法可以包括:
(1)根据样本数据训练AI诗歌创作模型。
(2)用户通过车机端AIC APP的诗歌创作应用,从相册中选择素材。其中,图片素材通过上传接口上传到网盘并拿到素材的URL地址。用户选择创作,调用创作接口,该接口通过API网关调用创作服务模块的诗歌创作接口实现,该实现调用作品创作模块的AI诗歌创作模型。因AI诗歌创作耗时,创作服务模块生成创作任务ID并返回给车机端AIC APP。
(3)车机端AIC APP的诗歌创作应用拿到创作任务ID,根据创作任务ID调用展示接口,通过API网关异步调用创作服务模块的展示接口,从作品创作模块轮询AI诗歌创作结果(作品)。多次轮询,AI诗歌创作结果(作品),并返回给车机端AIC APP展示AI诗歌创作结果(作品)。
(4)用户可通过车机端AIC APP的诗歌创作应用,查询全量的AI诗歌创作结果(作品)。车机端AIC APP调用列表接口,该接口通过API网关调用创作服务模块的列表接口实现,该实现从作品数据库中查询多个AI诗歌创作结果(作品),并返回给车机端AIC APP做瀑布流展示。
(5)用户可通过车机端AIC APP的诗歌创作应用提供的分享入口,使用移动设备扫描二维码,分享AI诗歌创作结果(作品)的卡片到社交媒体。
在一个示例中,如图11-2所示,本申请实施例的作品生成方法可以应用于AI绘画创作。具体的,与AI诗歌创作方法的不同在于,AI绘画创作时利用的是创作素材用于创作绘画,车机端AIC APP调用的是绘画创作应用,基于的AI创作模型为绘画创作模型。
在一个示例中,如图11-3所示,本申请实施例的作品生成方法可以应用于AI音乐创作。具体的,与AI诗歌创作方法的不同在于,AI绘画创作时利用的是创作素材是音乐素材,如曲风、是否生成演唱等,因此,创作素材无需提前上传网盘。另外,车机端AIC APP调用的是音乐创作应用,基于的AI创作模型为音乐创作模型。
通过本实施例的作品生成方法,可以基于车机端的创作素材,实现对应的AI诗歌作品、AI绘画、AI音乐的创作,并在车机端对AI创作作品展示和分享。
实施例四
在本实施例中,创作素材为视频,云端的作品生成方法还可以包括:在作品创作模块完成与创作参数对应的作品的情况下,作品创作模块通过API网关调用创作服务模块的回调(callback)接口,以将与创作参数对应的作品保存至作品数据库。
在一个示例中,如图11-4所示,本申请实施例的作品生成方法可以应用于AI视频剪辑。具体的,该示例的方法可以包括:
(1)根据样本数据训练AI视频创作模型。
(2)用户通过车机端AIC APP的视频剪辑应用,从相册中选择视频素材,通过上传接口上传到网盘并拿到视频素材地址,如URL地址。
(3)用户选择创作,车机端AIC APP调用创作接口,从而将携带视频素材地址列表的创作请求发送到云端。云端通过API网关,调用创作服务模块的视频剪辑的创作接口,该接口携带视频素材URL地址的列表,请求作品创作模块的视频剪辑服务,该服务从网盘上下载所有的视频素材,并根据AI视频创作模型启动视频剪辑任务。因视频剪辑服务很耗时,创作服务模块将返回创作任务ID给车机端AIC APP的视频剪辑应用。
(4)视频剪辑任务完成后,即AI视频创作成后,作品创作模块通过API网关调用创作服务模块的回调接口,将视频剪辑结果(作品)存储到作品数据库。
(5)车机端AIC APP的视频剪辑应用拿到创作任务ID后,根据创作任务ID调用展示接口,云端通过API网关调用创作服务模块的展示接口,轮询与创作任务ID对应的视频剪辑结果(作品)。多次轮训,直到拿到视频剪辑结果(作品),并返回给车机端AIC APP的视频剪辑应用展示。
(6)用户可通过车机端AIC APP的视频剪辑应用,查询全量的视频剪辑结果(作品)。车机端AIC APP的视频剪辑应用调用列表接口,该接口通过API网关调用创作服务模块的列表接口实现,该实现从作品数据可中查询多个视频剪辑结果(作品),并返回给车机端AIC APP的视频剪辑应用做瀑布流展示。
(7)用户可通过车机端AIC APP的视频剪辑应用的分享入口,使用移动设备扫描二维码,分享视频剪辑结果(作品)的卡片到社交媒体。
通过本实施例的作品生成方法,可以基于车机端的视频创作素材(可以由摄像头拍摄),实现对应的AI视频剪辑作品的创作,并在车机端对AI视频剪辑作品展示和分享。
实施例五
如图12所示,本申请实施例提供一种车机端的作品生成方法,可以包括:
步骤S1201、对语音指令进行语义识别,得到第一识别结果;
步骤S1202、根据目标识别结果触发车机端执行如上任一实施例的作品生成方法,该目标识别结果包括第一识别结果。
车机端可以提供车载语音助手。例如:用于输入语音指令:“帮我作首诗歌”,“给我画一幅以夕阳为主题的画作”等。车载语音助手拿到语音指令的音频文件后做本地的语义识别,得到第一识别结果。并根据该第一识别结果调用车机端AIP APP进行对应AI创作作品的创作、展示、分享等。
在一种实施方式中,如图13所示,在步骤S1201中可以包括:
步骤S1301、将语音指令发送给云端,以使云端根据语音指令生成第二识别结果;
步骤S1302、接收云端返回的第二识别结果;
步骤S1303、根据预设的仲裁规则,从第一识别结果和第二识别结果中确定出目标识别结果。
车载语音助手拿到语音指令的音频后,会将该音频发送给云端。云端通过语音网关,传递音频给语音服务模块做ASR(Automatic Speech Recognition,自动语音识别技术)和NLU(Natural Language Processing,自然语言处理)识别。语音网关拿到该识别的结果,由云端的仲裁模块路由NLU结果到对话管理模块,以根据输入生成第二识别结果。语音网关拿到第二识别结果并返回给车载语音助手。车载语音助手拿到云端的第二识别结果和本地返回的第一识别结果,基于预设的仲裁规则,决定将其中一个作为目标识别结果。
其中,仲裁规则可以根据场景不同进行设定。例如:如果应用场景为本地会话场景,则优先使用第一识别结果;如果应用场景为云端会话场景,则优先使用第二识别结果;如果应用场景为混合场景,则以识别结果到达的先后顺序决定使用第一识别结果或第二识别结果。
通过本实施例的作品生成方法,可以基于用户与车机端的语音对话,利用车机端的创作素材,实现对应的AI创作作品的创作,并在车机端对AI创作作品展示和分享。
在一个示例中,如图14所示,车机端还包括第一对话管理模块(车载语音助手),用于对语音指令进行语义识别,得到第一识别结果;云端包括第二对话管理模块,用于从第一对话管理模块接收语音指令,并根据语音指令生成第二识别结果;第一对话管理模块还用于根据预设的仲裁规则,从第一识别结果和第二识别结果中确定出目标识别结果,并根据目标识别结果触发作品生成模块。
在一种实施方式中,第一对话管理模块包括第一协议编码器、第一协议解码器和第一对话引擎;第一协议编码器用于编码语音指令后发送给第二对话管理模块;第一协议解码器用于调用第一识别结果回调接口(ASR回调和NLU回调),将解码后的第一识别结果发送给第一对话引擎;第一协议解码器还用于调用第二识别结果回调接口,将解码后的第二识别结果发送给第一对话引擎;第一对话引擎用于根据预设的仲裁规则,从第一识别结果和第二识别结果中确定出目标识别结果,并触发作品生成模块。
在一种实施方式中,第二对话管理模块包括第二协议编码器、第二协议编码器、语音网关、语音服务模块和第二对话引擎;语音网关接收语音指令,并通过第二协议解码器解码语音指令后发送给第二协议编码器;第二协议编码器用于编码第二协议解码器输出的语音指令;语音服务模块对第二协议编码器输出的语音指令进行语义识别,得到初始识别结果;第二对话引擎根据初始识别结果生成第二识别结果;语音网关通过第二协议编码器编码第二识别结果后发送给第一对话管理模块。
在一个示例中,如图14所示,本实施例的作品生成方法可以包括:
(1)用户通过车载语音助手,输入语音指令,如:“帮我作首诗歌”,“给我画一幅以夕阳为主题的画作”等。车载语音助手拿到语音指令的音频,做本地识别,即通过语音能力接入SDK(软件开发工具包)进行语义识别,生成第一识别结果,同时车载语音助手上传音频到云端的语音网关。
(2)语音网关通过第二协议解码器解码音频,并通过第二协议编码器编码音频为语音服务模块期望的格式,并传递编码音频给语音服务模块做ASR识别和NLU识别。语音网关通过流式的方式从语音服务模块获取ASR识别和NLU识别的结果。
(3)语音网关的仲裁模块路由NLU识别的结果到第二对话管理模块,使第二对话管理模块基于NLU识别的结果生成第二识别结果。语音网关拿到第二识别结果,通过第二协议编码器编码后返回给车载语音助手。
(4)车载语音助手通过第二识别结果回调接口接收语音网关返回的第二识别结果,按照预设的仲裁策略,从第二识别结果和第一识别结果中选择一个作为目标识别结果。
(5)车载语音助手利用第一对话引擎(legA)根据目标识别结果,调用车机端AICAPP实现对应的服务。同时,通过TTS(Text To Speech,从文本到语音)引擎在车机端语音播报目标识别结果。
(6)车机端AIC APP可以为车载语音助手开放可点击即可说的接口,通过第一对话引擎(legA)输出的原子操作(目标识别结果),复用上述任一实施例中的AI诗歌创作、AI绘画创作、AI音乐创作和AI视频创作的方法。
需要说明的是,尽管以上述多个示例介绍了本申请实施例的作品生成系统的作品生成方法,但本领域技术人员能够理解,本申请应不限于此。事实上,用户完全可根据个人喜好和/或实际应用场景灵活设定各模块或各步骤的实现方法。
实施例六
图15示出根据本申请实施例的车机端的作品生成装置的结构框图。如图15所示,该装置可以包括:
作品创作请求发送模块1501,用于向云端发送作品创作请求,作品创作请求中包括创作参数,以使云端请求作品创作模块根据创作参数创作对应的创作作品;
创作任务ID接收模块1502,用于接收云端返回的与作品创作请求相对应的创作任务ID;
第一查询请求发送模块1503,用于向云端发送第一查询请求,第一查询请求中包括创作任务ID,以使云端查询与创作任务ID对应的创作作品;
作品展示模块1504,用于接收并在车机端展示云端返回的与创作任务ID对应的创作作品。
在一种实施方式中,第一查询请求发送模块1503用于按照第一预设时间间隔,向该云端发送该第一查询请求。
在一种实施方式中,该创作参数为创作素材在该云端的地址,该作品生成装置还包括:
创作素材发送模块,用于将该创作素材发送至该云端;
创作素材接收模块,用于接收该云端返回的与该创作素材对应的地址。
在一种实施方式中,作品创作请求发送模块包括:
检测单元,用于检测车机端所处的场景条件;
控制单元,用于根据场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求,创作请求中包括与多媒体资源对应的创作参数。
在一种实施方式中,场景条件包括定位信息,控制单元还用于:在定位信息与目标旅途信息相对应的情况下,控制车载多媒体组件采集多媒体资源。
在一种实施方式中,场景条件包括环境音频,控制单元还用于:控制麦克风多媒体组件采集环境音频;控制摄像头多媒体组件采集图像数据;多媒体资源包括环境音频和图像数据。
在一种实施方式中,场景条件包括目标用户的面部图像,控制单元还用于:根据目标用户的面部图像确定目标用户的情绪状态;在目标用户的情绪状态与预设情绪状态相对应的情况下,控制车载多媒体组件采集多媒体资源。
在一种实施方式中,该作品生成装置还包括:
第二查询请求发送模块,用于向该云端发送第二查询请求,以使该云端从作品数据库中查询多个作品;
作品接收模块1504还用于接收该云端返回的该多个作品;
作品展示模块,用于在该车机端展示该多个作品。
在一种实施方式中,该作品生成装置还包括:
分享请求发送模块,用于向该云端发送分享请求,该分享请求中包括创作作品的作品ID,以使该云端根据该作品ID,查询该创作作品在作品数据库中的地址;
地址接收模块,用于接收该云端返回的该创作作品的地址;
标识生成模块,用于根据该创作作品的地址,生成对应的作品分享标识;
标识展示模块,用于在该车机端展示该作品分享标识。
在一种实施方式中,该作品生成装置还包括:创作作品上传模块,用于将编辑后的创作作品发送至云端。进一步地,分享请求发送模块用于向该云端发送分享请求,该分享请求中包括编辑后的创作作品的作品ID,以使该云端根据该作品ID,查询该编辑后的创作作品在作品数据库中的地址;地址接收模块还用于接收该云端返回的该编辑后的创作作品的地址;标识生成模块还用于根据该编辑后的创作作品的地址,生成对应的作品分享标识。
在一种实施方式中,作品创作请求发送模块1501通过调用该车机端的创作接口,向该云端发送该作品创作请求,以使该云端通过API网关调用创作服务模块的创作接口。
在一种实施方式中,第一查询请求发送模块1503通过调用该车机端的展示接口,向该云端发送该第一查询请求。
在一种实施方式中,第二查询请求发送模块通过调用该车机端的列表接口,向该云端发送该第二查询请求,以使该云端通过API网关调用创作服务模块的列表接口。
在一种实施方式中,分享请求发送模块通过调用该车机端的分享接口,向该云端发送该分享请求,以使该云端通过API网关调用创作服务模块的分享接口。
在一种实施方式中,该作品生成装置还可以包括:
编辑标识生成模块,用于根据所述创作作品在所述云端的地址,生成作品编辑标识;
编辑标识展示模块,用于在所述车机端展示所述作品编辑标识,以使移动终端根据所述作品编辑标识确定所述创作作品在所述云端的地址,并根据所述地址从所述云端获取所述创作作品并展示于所述移动终端。
在一种实施方式中,编辑标识展示模块可以包括:
编辑单元,用于根据用户的编辑指令编辑所述创作作品;
在展示单元,用于所述车机端展示编辑后的创作作品。
图16示出根据本申请实施例的云端的作品生成装置的结构框图。如图16所示,该装置可以包括:
作品创作请求接收模块1601,用于接收车机端发送的作品创作请求,作品创作请求中包括创作参数;
创作任务ID生成发送模块1602,用于生成与作品创作请求相对应的创作任务ID,并将创作任务ID发送给车机端;
请求模块1603,用于请求作品创作模块根据创作参数创作对应的创作作品;
第一查询请求接收模块1604,用于接收车机端发送的第一查询请求,第一查询请求中包括创作任务ID;
作品查询模块1605,用于查询与创作任务ID对应的创作作品;
作品发送模块1606,用于将与创作任务ID对应的作品发送给车机端。
在一种实施方式中,该作品生成装置还包括:
结果查询ID接收模块,用于接收该作品创作模块根据该创作参数返回的结果查询ID;
作品状态查询模块,用于按照第二预设时间间隔,从该作品创作模块查询与该结果查询ID对应的创作作品是否已完成;
作品获取模块,用于在已完成的情况下,从该作品创作模块获取与该结果查询ID对应的创作作品。
在一种实施方式中,该创作参数相对应的创作素材为视频,该作品生成装置还包括:
作品保存模块,用于在该作品创作模块完成与该创作参数对应的作品的情况下,该作品创作模块通过API网关调用创作服务模块的回调接口,以将与该创作参数对应的作品保存至作品数据库。
在一种实施方式中,该创作参数为创作素材在该云端的地址,该作品生成装置还包括:
创作素材接收模块,用于接收并保存该车机端发送的创作素材;
创作素材发送模块,用于将与该创作素材对应的地址发送给该车机端。
在一种实施方式中,该作品生成装置还包括:
第二查询请求接收模块,用于接收该车机端发送的第二查询请求;
作品查询模块还用于根据该第二查询请求,从作品数据库中查询多个作品;
作品发送模块还用于将该多个作品发送给该车机端。
在一种实施方式中,该作品生成装置还包括:
分享请求接收模块,用于接收该车机端发送的分享请求,该分享请求中包括创作作品的作品ID;
地址查询模块,用于根据该作品ID,查询该创作作品在作品数据库中的地址;
地址发送模块,用于将该创作作品的地址发送给该车机端。
在一种实施方式中,该作品生成装置还包括创作作品接收模块,用于接收并保存该车机端编辑后的创作作品,该编辑后的创作作品对应有作品ID。进一步地,分享请求接收模块,用于接收该车机端发送的分享请求,该分享请求中包括该作品ID,以使该云端根据该作品ID,查询编辑后的创作作品在该云端的地址;地址查询模块,用于根据该作品ID,查询该创作作品在作品数据库中的地址;地址发送模块,用于将编辑后的创作作品在该云端的地址发送给该车机端。
在一种实施方式中,作品创作请求接收模块1601通过API网关解析该作品创作请求,以调用创作服务模块的创作接口。
在一种实施方式中,第一查询请求接收模块1604通过API网关解析该第一查询请求,以异步调用创作服务模块的展示接口。
在一种实施方式中,第二查询请求接收模块通过API网关解析该第二查询请求,以调用创作服务模块的列表接口从该作品数据库中查询多个作品。
在一种实施方式中,分享请求接收模块通过API网关解析该分享请求,以调用创作服务模块的分享接口。
图17示出根据本申请实施例的车机端的作品生成装置的结构框图。如图17所示,该装置可以包括:
语义识别模块1701,用于对语音指令进行语义识别,得到第一识别结果;
触发执行模块1702,用于根据目标识别结果触发车机端执行权利要求1至9任一项的方法,目标识别结果包括第一识别结果。
在一种实施方式中,如图17所示,语义识别模块1701可以包括:
语音指令发送模块1703,用于将语音指令发送给云端,以使云端根据语音指令生成第二识别结果;
识别结果接收模块1704,用于接收云端返回的第二识别结果;
仲裁模块1705,用于根据预设的仲裁规则,从第一识别结果和第二识别结果中确定出目标识别结果。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
本申请实施例提供一种作品编辑装置,包括:
标识识别模块,用于识别车机端展示的作品编辑标识;
地址确定模块,用于根据作品编辑标识确定创作作品在云端的地址,创作作品根据以上任一种作品生成方法生成;
作品获取展示模块,用于根据地址从云端获取创作作品并展示于移动终端。
在一种实施方式中,该作品编辑装置还包括:
编辑素材获取模块,用于根据用户的编辑指令获取对应的编辑素材;
编辑模块,用于根据编辑素材编辑创作作品;
分享模块,用于分享编辑后的创作作品。
图18示出根据本申请实施例的终端或服务器的结构框图。如图18所示,该终端或服务器包括:存储器1801和处理器1802,存储器1801内存储有可在处理器1802上运行的指令。处理器1802执行该指令时实现上述实施例中的任一种作品生成方法。存储器1801和处理器1802的数量可以为一个或多个。该终端或服务器旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。终端或服务器还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
该终端或服务器还可以包括通信接口1803,用于与外界设备进行通信,进行数据交互传输。各个设备利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器1802可以对在终端或服务器内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个终端或服务器,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图18中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器1801、处理器1802及通信接口1803集成在一块芯片上,则存储器1801、处理器1802及通信接口1803可以通过内部接口完成相互间的通信。
应理解的是,上述处理器可以是中央处理器(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Dignal Processing,DSP)、专用集成电路(Application Specific Sntegrated Circuit,ASIC)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是,处理器可以是支持进阶精简指令集机器(advanced RISC machines,ARM)架构的处理器。
本申请实施例提供了一种计算机可读存储介质(如上述的存储器1801),其存储有计算机指令,该程序被处理器执行时实现本申请实施例中提供的方法。
可选的,存储器1801可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据终端或服务器的使用所创建的数据等。此外,存储器1801可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1801可选包括相对于处理器1802远程设置的存储器,这些远程存储器可以通过网络连接至终端或服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
其中,处理器1802可以为第一处理器、第二处理器或第三处理器;存储器1801可以为第一存储器、第二存储器或第三存储器。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或多个(两个或两个以上)用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
应理解的是,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (58)
1.一种作品生成方法,应用于车机端,其特征在于,包括:
检测所述车机端所处的场景条件;
根据所述场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求,所述作品创作请求中包括与所述多媒体资源对应的创作参数,以使所述云端请求作品创作模块根据所述创作参数创作对应的创作作品;
接收所述云端返回的与所述作品创作请求相对应的创作任务ID;
向所述云端发送第一查询请求,所述第一查询请求中包括所述创作任务ID,以使所述云端查询与所述创作任务ID对应的创作作品;所述创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
接收并在所述车机端展示与所述创作任务ID对应的创作作品。
2.根据权利要求1所述的方法,其特征在于,向所述云端发送第一查询请求,包括:
按照第一预设时间间隔,向所述云端发送所述第一查询请求。
3.根据权利要求1所述的方法,其特征在于,所述创作参数包括创作素材在所述云端的地址,所述的向云端发送作品创作请求之前还包括:
将所述创作素材发送至所述云端;
接收所述云端返回的与所述创作素材对应的地址。
4.根据权利要求1所述的方法,其特征在于,所述作品创作模块包括至少一个AI创作模型,所述AI创作模型通过样本数据训练深度学习神经网络而得到。
5.根据权利要求4所述的方法,其特征在于,所述AI创作模型包括AI诗歌创作模型、AI绘画创作模型、AI音乐创作模型和AI视频创作模型,所述创作参数包括创作素材;所述根据所述创作参数创作对应的创作作品,包括:根据所述创作素材的不同选择与所述创作素材对应的AI创作模型。
6.根据权利要求5所述的方法,其特征在于,所述创作参数包括用户期望,所述根据所述创作参数创作对应的创作作品还包括:将所述用户期望作为输入参数输入对应的所述AI创作模型,以使对应的所述AI创作模型创作出的作品符合用户期望。
7.根据权利要求1所述的方法,其特征在于,所述场景条件包括定位信息,根据所述场景条件控制对应的车载多媒体组件采集对应的多媒体资源,包括:
在所述定位信息与目标旅途信息相对应的情况下,控制所述车载多媒体组件采集多媒体资源。
8.根据权利要求1所述的方法,其特征在于,所述场景条件包括环境音频,根据所述场景条件控制对应的车载多媒体组件采集对应的多媒体资源,包括:
控制麦克风多媒体组件采集所述环境音频;
控制摄像头多媒体组件采集图像数据;所述多媒体资源包括所述环境音频和所述图像数据。
9.根据权利要求1所述的方法,其特征在于,所述场景条件包括目标用户的面部图像,根据所述场景条件控制对应的车载多媒体组件采集对应的多媒体资源,包括:
根据所述目标用户的面部图像确定所述目标用户的情绪状态;
在所述目标用户的情绪状态与预设情绪状态相对应的情况下,控制所述车载多媒体组件采集多媒体资源。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向所述云端发送分享请求,所述分享请求中包括所述创作作品的作品ID,以使所述云端根据所述作品ID,查询所述创作作品在作品数据库中的地址;
接收所述云端返回的所述创作作品的地址;
根据所述创作作品的地址,生成对应的作品分享标识;
在所述车机端展示所述作品分享标识。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述创作作品在所述云端的地址,生成作品编辑标识;
在所述车机端展示所述作品编辑标识,以使移动终端根据所述作品编辑标识确定所述创作作品在所述云端的地址,并根据所述地址从所述云端获取所述创作作品并展示于所述移动终端。
12.根据权利要求1所述的方法,其特征在于,在所述车机端展示与所述创作任务ID对应的创作作品,包括:
根据用户的编辑指令编辑所述创作作品;
在所述车机端展示编辑后的创作作品。
13.根据权利要求12所述的方法,其特征在于,所述方法还包括:
将编辑后的创作作品发送至所述云端;
向所述云端发送分享请求,所述分享请求中包括编辑后的创作作品的作品ID,以使所述云端根据所述作品ID,查询编辑后的创作作品在所述云端的地址;
接收所述云端返回的编辑后的创作作品的地址;
根据编辑后的创作作品的地址,生成对应的作品分享标识;
在所述车机端展示所述作品分享标识。
14.根据权利要求10或13所述的方法,其特征在于,向所述云端发送分享请求,包括:
通过调用所述车机端的分享接口,向所述云端发送所述分享请求,以使所述云端通过API网关调用创作服务模块的分享接口。
15.根据权利要求1所述的方法,其特征在于,向云端发送作品创作请求,包括:
通过调用所述车机端的创作接口,向所述云端发送所述作品创作请求,以使所述云端通过API网关调用创作服务模块的创作接口。
16.根据权利要求1所述的方法,其特征在于,向所述云端发送所述第一查询请求,包括:
通过调用所述车机端的展示接口,向所述云端发送所述第一查询请求。
17.根据权利要求1所述的方法,其特征在于,所述方法还包括:
向所述云端发送第二查询请求,以使所述云端从作品数据库中查询多个作品,所述作品包括所述创作作品;
接收所述云端返回的多个作品;
在所述车机端展示所述云端返回的所述多个作品。
18.根据权利要求17所述的方法,其特征在于,向所述云端发送第二查询请求,包括:
通过调用所述车机端的列表接口,向所述云端发送所述第二查询请求,以使所述云端通过API网关调用创作服务模块的列表接口。
19.一种作品生成方法,应用于云端,其特征在于,包括:
接收车机端发送的作品创作请求,所述作品创作请求中包括与多媒体资源对应的创作参数;所述多媒体资源为根据车机端所处的场景条件控制对应的车载多媒体组件采集得到的;
生成与所述作品创作请求相对应的创作任务ID;
将所述创作任务ID发送给所述车机端;
请求作品创作模块根据所述创作参数创作对应的创作作品;所述创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
接收所述车机端发送的第一查询请求,所述第一查询请求中包括所述创作任务ID;
查询与所述创作任务ID对应的创作作品;
将与所述创作任务ID对应的创作作品发送给所述车机端。
20.根据权利要求19所述的方法,其特征在于,所述作品创作模块包括至少一个AI创作模型,所述AI创作模型通过样本数据训练深度学习神经网络而得到。
21.根据权利要求20所述的方法,其特征在于,所述AI创作模型包括AI诗歌创作模型、AI绘画创作模型、AI音乐创作模型和AI视频创作模型,所述创作参数包括创作素材;所述根据所述创作参数创作对应的创作作品,包括:根据所述创作素材的不同选择与所述创作素材对应的AI创作模型。
22.根据权利要求20所述的方法,其特征在于,所述创作参数包括用户期望,所述根据所述创作参数创作对应的创作作品还包括:将所述用户期望作为输入参数输入对应的所述AI创作模型,以使对应的所述AI创作模型创作出的作品符合用户期望。
23.根据权利要求19所述的方法,其特征在于,所述方法还包括:
接收所述作品创作模块根据所述创作参数返回的结果查询ID;
按照第二预设时间间隔,从所述作品创作模块查询与所述结果查询ID对应的创作作品是否已完成;
在已完成的情况下,从所述作品创作模块获取与所述结果查询ID对应的创作作品。
24.根据权利要求19所述的方法,其特征在于,所述创作参数相对应的创作素材为视频,所述方法还包括:
在所述作品创作模块完成与所述创作参数对应的创作作品的情况下,所述作品创作模块通过API网关调用创作服务模块的回调接口,以将与所述创作参数对应的创作作品保存至作品数据库。
25.根据权利要求19所述的方法,其特征在于,所述创作参数为创作素材在所述云端的地址,所述方法还包括:
接收并保存所述车机端发送的创作素材;
将与所述创作素材对应的地址发送给所述车机端。
26.根据权利要求19所述的方法,其特征在于,所述方法还包括:
接收所述车机端发送的第二查询请求;
根据所述第二查询请求,从作品数据库中查询多个作品,所述作品包括所述创作作品;
将查询到的多个作品发送给所述车机端。
27.根据权利要求19所述的方法,其特征在于,所述方法还包括:
接收所述车机端发送的分享请求,所述分享请求中包括所述创作作品的作品ID;
根据所述作品ID,查询所述创作作品在作品数据库中的地址;
将所述创作作品的地址发送给所述车机端。
28.根据权利要求19所述的方法,其特征在于,所述方法还包括:
接收并保存所述车机端编辑后的创作作品,所述编辑后的创作作品对应有作品ID;
接收所述车机端发送的分享请求,所述分享请求中包括所述作品ID,以使所述云端根据所述作品ID,查询编辑后的创作作品在所述云端的地址;
将编辑后的创作作品在所述云端的地址发送给所述车机端。
29.根据权利要求19所述的方法,其特征在于,接收车机端发送的作品创作请求,包括:
通过API网关解析所述作品创作请求,以调用创作服务模块的创作接口。
30.根据权利要求19所述的方法,其特征在于,接收所述车机端发送的第一查询请求,包括:
通过API网关解析所述第一查询请求,以调用创作服务模块的展示接口。
31.根据权利要求26所述的方法,其特征在于,接收所述车机端发送的第二查询请求,从作品数据库中查询多个作品,包括:
通过API网关解析所述第二查询请求,以调用创作服务模块的列表接口从所述作品数据库中查询多个作品。
32.根据权利要求27或28所述的方法,其特征在于,接收所述车机端发送的分享请求,包括:
通过API网关解析所述分享请求,以调用创作服务模块的分享接口。
33.一种作品生成方法,应用于车机端,其特征在于,包括:
对语音指令进行语义识别,得到第一识别结果;
根据目标识别结果触发所述车机端执行权利要求1至18任一项所述的方法,所述目标识别结果包括所述第一识别结果。
34.根据权利要求33所述的方法,其特征在于,所述方法还包括:
将所述语音指令发送给云端,以使所述云端根据所述语音指令生成第二识别结果;
接收所述云端返回的所述第二识别结果;
根据预设的仲裁规则,从所述第一识别结果和所述第二识别结果中确定出所述目标识别结果。
35.一种作品编辑方法,应用于移动终端,其特征在于,包括:
识别车机端展示的作品编辑标识;
根据所述作品编辑标识确定创作作品在云端的地址,所述创作作品根据权利要求1至34中任一项所述的方法生成;
根据所述地址从所述云端获取所述创作作品;
在所述移动终端展示所述创作作品。
36.根据权利要求35所述的方法,其特征在于,所述方法还包括:
根据用户的编辑指令获取对应的编辑素材;
根据所述编辑素材编辑所述创作作品;
分享编辑后的创作作品。
37.一种作品生成装置,其特征在于,包括:
作品创作请求发送模块,用于检测车机端所处的场景条件,根据所述场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求,所述作品创作请求中包括与所述多媒体资源对应的创作参数,以使所述云端请求作品创作模块根据所述创作参数创作对应的创作作品;所述创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
创作任务ID接收模块,用于接收所述云端返回的与所述作品创作请求相对应的创作任务ID;
第一查询请求发送模块,用于向所述云端发送第一查询请求,所述第一查询请求中包括所述创作任务ID,以使所述云端查询与所述创作任务ID对应的创作作品;
作品展示模块,用于接收并在车机端展示所述云端返回的与所述创作任务ID对应的创作作品。
38.一种作品生成装置,其特征在于,包括:
作品创作请求接收模块,用于接收车机端发送的作品创作请求,所述作品创作请求中包括与多媒体资源对应的创作参数;所述多媒体资源为根据所述车机端所处的场景条件控制对应的车载多媒体组件采集得到的;创作任务ID生成发送模块,用于生成与所述作品创作请求相对应的创作任务ID,并将所述创作任务ID发送给所述车机端;
请求模块,用于请求作品创作模块根据所述创作参数创作对应的创作作品;所述创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
第一查询请求接收模块,用于接收所述车机端发送的第一查询请求,所述第一查询请求中包括所述创作任务ID;
作品查询模块,用于查询与所述创作任务ID对应的创作作品;
作品发送模块,用于将与所述创作任务ID对应的创作作品发送给所述车机端。
39.一种作品生成装置,其特征在于,包括:
语义识别模块,用于对语音指令进行语义识别,得到第一识别结果;
触发执行模块,用于根据目标识别结果触发所述车机端执行权利要求1至17任一项所述的方法,所述目标识别结果包括所述第一识别结果。
40.根据权利要求39所述的装置,其特征在于,所述装置还包括:
语音指令发送模块,用于将所述语音指令发送给云端,以使所述云端根据所述语音指令生成第二识别结果;
识别结果接收模块,用于接收所述云端返回的所述第二识别结果;
仲裁模块,用于根据预设的仲裁规则,从所述第一识别结果和所述第二识别结果中确定出所述目标识别结果。
41.一种作品编辑装置,其特征在于,包括:
标识识别模块,用于识别车机端展示的作品编辑标识;
地址确定模块,用于根据所述作品编辑标识确定创作作品在云端的地址,所述创作作品根据权利要求1至34中任一项所述的方法生成;
作品获取展示模块,用于根据所述地址从所述云端获取所述创作作品并展示于移动终端。
42.一种车机端终端,其特征在于,包括:
至少一个第一处理器;以及
与所述至少一个第一处理器通信连接的第一存储器;其中,
所述第一存储器存储有可被所述至少一个第一处理器执行的指令,所述指令被所述至少一个第一处理器执行,以使所述至少一个第一处理器能够执行权利要求1至18、权利要求33以及权利要求34中任一项所述的方法。
43.一种服务器,其特征在于,包括:
至少一个第二处理器;以及
与所述至少一个第二处理器通信连接的第二存储器;其中,
所述第二存储器存储有可被所述至少一个第二处理器执行的指令,所述指令被所述至少一个第二处理器执行,以使所述至少一个第二处理器能够执行权利要求19至32中任一项所述的方法。
44.一种移动终端,其特征在于,包括:
至少一个第三处理器;以及
与所述至少一个第三处理器通信连接的第三存储器;其中,
所述第三存储器存储有可被所述至少一个第三处理器执行的指令,所述指令被所述至少一个第三处理器执行,以使所述至少一个第三处理器能够执行权利要求35或36所述的方法。
45.一种作品生成系统,其特征在于,包括权利要求42所述的车机端终端以及权利要求43所述的服务器。
46.根据权利要求45所述的系统,其特征在于,还包括权利要求44所述的移动终端。
47.一种作品生成系统,其特征在于,包括车机端和云端,所述车机端包括作品生成模块,所述云端包括创作服务模块、作品创作模块和API网关;
所述作品生成模块包括:用于检测所述车机端所处的场景条件,根据所述场景条件控制对应的车载多媒体组件采集对应的多媒体资源,并向云端发送作品创作请求的创作接口;用于向所述云端发送第一查询请求的展示接口;其中,所述作品创作请求中包括与所述多媒体资源对应的创作参数,所述第一查询请求中包括所述云端返回的与所述作品创作请求对应的创作任务ID;
所述创作服务模块包括:用于请求所述作品创作模块根据所述创作参数创作对应的创作作品的创作接口;用于查询并向所述车机端返回与所述创作任务ID对应的创作作品的展示接口;所述创作作品包括绘画、诗歌、音乐和视频中的至少两种的沉浸结合;
其中,所述云端通过所述API网关解析所述作品创作请求,以调用所述创作服务模块的创作接口,所述云端通过所述API网关解析所述第一查询请求,以调用所述创作服务模块的创作接口。
48.根据权利要求47所述的系统,其特征在于,所述车机端按照第一预设时间间隔调用所述作品生成模块的展示接口,所述云端按照第二预设时间间隔调用所述创作服务模块的展示接口。
49.根据权利要求47所述的系统,其特征在于,所述创作参数包括创作素材在所述云端的地址,所述车机端还包括上传接口,所述云端包括网盘,所述车机端通过调用所述上传接口向所述网盘发送所述创作素材,所述地址为所述创作素材在所述网盘中的地址。
50.根据权利要求47所述的系统,其特征在于,所述云端包括作品数据库,所述作品数据库中存储有多个作品,所述作品包括所述创作作品。
51.根据权利要求50所述的系统,其特征在于,所述作品生成模块包括用于向所述云端发送第二查询请求的列表接口,所述创作服务模块包括用于从所述作品数据库中查询多个所述作品的列表接口,其中,所述创作服务模块通过所述API网关解析所述第二查询请求,以调用所述创作服务模块的列表接口。
52.根据权利要求50所述的系统,其特征在于,所述作品生成模块包括用于向所述云端发送分享请求的分享接口,所述分享请求中包括创作作品的作品ID,所述创作服务模块包括用于根据所述作品ID,查询向所述车机端返回所述创作作品在所述作品数据库中的地址的分享接口,其中,所述创作服务模块通过所述API网关解析所述分享请求,以调用所述创作服务模块的分享接口。
53.根据权利要求50所述的系统,其特征在于,所述创作参数相对应的创作素材为视频,所述创作服务模块还包括回调接口,在所述作品创作模块完成与所述创作参数对应的作品的情况下,所述作品创作模块通过所述API网关调用所述创作服务模块的回调接口,以将与所述创作参数对应的作品保存至所述作品数据库。
54.根据权利要求47所述的系统,其特征在于,所述创作服务模块还包括数据处理子模块,用于对所述创作参数相对应的创作素材进行数据处理,所述数据处理包括敏感词过滤。
55.根据权利要求47至54任一项所述的系统,其特征在于,所述车机端还包括第一对话管理模块,用于对语音指令进行语义识别,得到第一识别结果;所述云端包括第二对话管理模块,用于从所述第一对话管理模块接收所述语音指令,并根据所述语音指令生成第二识别结果;所述第一对话管理模块还用于根据预设的仲裁规则,从所述第一识别结果和所述第二识别结果中确定出目标识别结果,并根据所述目标识别结果触发所述作品生成模块。
56.根据权利要求55所述的系统,其特征在于,所述第一对话管理模块包括第一协议编码器、第一协议解码器和第一对话引擎;
所述第一协议编码器用于编码所述语音指令后发送给所述第二对话管理模块;
所述第一协议解码器用于调用第一识别结果回调接口,将解码后的第一识别结果发送给所述第一对话引擎;所述第一协议解码器还用于调用第二识别结果回调接口,将解码后的第二识别结果发送给所述第一对话引擎;
所述第一对话引擎用于根据预设的仲裁规则,从所述第一识别结果和所述第二识别结果中确定出所述目标识别结果,并触发所述作品生成模块。
57.根据权利要求55所述的系统,其特征在于,所述第二对话管理模块包括第二协议编码器、第二协议编码器、语音网关、语音服务模块和第二对话引擎;
所述语音网关接收所述语音指令,并通过所述第二协议解码器解码所述语音指令后发送给所述第二协议编码器;
所述第二协议编码器用于编码所述第二协议解码器输出的语音指令;
所述语音服务模块对所述第二协议编码器输出的语音指令进行语义识别,得到初始识别结果;
所述第二对话引擎根据所述初始识别结果生成所述第二识别结果;
所述语音网关通过所述第二协议编码器编码所述第二识别结果后发送给所述第一对话管理模块。
58.一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求1至36中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110045091.0A CN112699258A (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010497041.1A CN111400518B (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
CN202110045091.0A CN112699258A (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010497041.1A Division CN111400518B (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112699258A true CN112699258A (zh) | 2021-04-23 |
Family
ID=71433839
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110044146.6A Pending CN112699257A (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
CN202010497041.1A Active CN111400518B (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
CN202110045091.0A Pending CN112699258A (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110044146.6A Pending CN112699257A (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
CN202010497041.1A Active CN111400518B (zh) | 2020-06-04 | 2020-06-04 | 作品生成和编辑方法、装置、终端、服务器和系统 |
Country Status (2)
Country | Link |
---|---|
CN (3) | CN112699257A (zh) |
WO (1) | WO2021244110A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112699257A (zh) * | 2020-06-04 | 2021-04-23 | 华人运通(上海)新能源驱动技术有限公司 | 作品生成和编辑方法、装置、终端、服务器和系统 |
CN114089826A (zh) * | 2020-07-30 | 2022-02-25 | 华人运通(上海)云计算科技有限公司 | 车端场景的生成方法、装置、车端和存储介质 |
CN112061058B (zh) * | 2020-09-07 | 2022-05-27 | 华人运通(上海)云计算科技有限公司 | 场景触发的方法、装置、设备和存储介质 |
CN113067854B (zh) * | 2021-03-12 | 2023-08-25 | 斑马网络技术有限公司 | 车载设备内容资源获取方法、装置、设备及存储介质 |
CN113628618A (zh) * | 2021-07-29 | 2021-11-09 | 中汽创智科技有限公司 | 一种基于智能座舱的多媒体文件生成方法、装置及终端 |
CN114157917B (zh) * | 2021-11-29 | 2024-04-16 | 北京百度网讯科技有限公司 | 视频剪辑方法、装置及终端设备 |
CN114584839A (zh) * | 2022-02-25 | 2022-06-03 | 智己汽车科技有限公司 | 拍摄车载视频的剪辑方法、装置、电子设备及存储介质 |
CN114999530A (zh) * | 2022-05-18 | 2022-09-02 | 北京飞象星球科技有限公司 | 音视频剪辑方法及装置 |
CN115410579B (zh) * | 2022-10-28 | 2023-03-31 | 广州小鹏汽车科技有限公司 | 语音交互方法、语音交互装置、车辆和可读存储介质 |
CN116630455A (zh) * | 2023-02-17 | 2023-08-22 | 深圳前海深蕾半导体有限公司 | 基于人工智能绘画的图像生成方法、显示设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018207385A (ja) * | 2017-06-08 | 2018-12-27 | 株式会社Jvcケンウッド | 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム |
CN109922290A (zh) * | 2018-12-27 | 2019-06-21 | 蔚来汽车有限公司 | 用于车辆的音视频合成方法、装置、系统、设备及车辆 |
CN110113540A (zh) * | 2019-06-13 | 2019-08-09 | 广州小鹏汽车科技有限公司 | 一种车辆拍摄方法、装置、车辆和可读介质 |
CN110298934A (zh) * | 2019-06-18 | 2019-10-01 | 重庆长安汽车股份有限公司 | 行车视频拍摄及分享方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101445222B1 (ko) * | 2012-07-03 | 2014-11-04 | (주)뉴인 | 멀티미디어 컨텐츠 저작 시스템 및 저작 도구가 기록된 컴퓨터로 읽을 수 있는 기록매체 |
GB201314636D0 (en) * | 2013-08-15 | 2013-10-02 | Realeyes Data Services Ltd | Method of collecting computer user data |
CN104468847B (zh) * | 2014-12-31 | 2017-12-15 | 山东赛维安讯信息科技有限公司 | 一种车辆的行程记录信息分享方法、设备、服务器及系统 |
CN107038548A (zh) * | 2016-01-29 | 2017-08-11 | 深圳市艾特大师网络科技有限公司 | 一种消息处理方法、装置及终端 |
CN110389676A (zh) * | 2018-04-20 | 2019-10-29 | 比亚迪股份有限公司 | 车载中控多媒体的操作界面确定方法 |
CN108965397A (zh) * | 2018-06-22 | 2018-12-07 | 中央电视台 | 云端视频编辑方法及装置、编辑设备及存储介质 |
CN111083155A (zh) * | 2019-12-25 | 2020-04-28 | 斑马网络技术有限公司 | 车机和云端交互方法及装置 |
CN112699257A (zh) * | 2020-06-04 | 2021-04-23 | 华人运通(上海)新能源驱动技术有限公司 | 作品生成和编辑方法、装置、终端、服务器和系统 |
-
2020
- 2020-06-04 CN CN202110044146.6A patent/CN112699257A/zh active Pending
- 2020-06-04 CN CN202010497041.1A patent/CN111400518B/zh active Active
- 2020-06-04 CN CN202110045091.0A patent/CN112699258A/zh active Pending
-
2021
- 2021-03-25 WO PCT/CN2021/082971 patent/WO2021244110A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018207385A (ja) * | 2017-06-08 | 2018-12-27 | 株式会社Jvcケンウッド | 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム |
CN109922290A (zh) * | 2018-12-27 | 2019-06-21 | 蔚来汽车有限公司 | 用于车辆的音视频合成方法、装置、系统、设备及车辆 |
CN110113540A (zh) * | 2019-06-13 | 2019-08-09 | 广州小鹏汽车科技有限公司 | 一种车辆拍摄方法、装置、车辆和可读介质 |
CN110298934A (zh) * | 2019-06-18 | 2019-10-01 | 重庆长安汽车股份有限公司 | 行车视频拍摄及分享方法 |
Non-Patent Citations (1)
Title |
---|
李德毅: "深度学习理论与实践", 30 September 2018, 中国科学技术出版社, pages: 129 * |
Also Published As
Publication number | Publication date |
---|---|
WO2021244110A1 (zh) | 2021-12-09 |
CN112699257A (zh) | 2021-04-23 |
CN111400518A (zh) | 2020-07-10 |
CN111400518B (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111400518B (zh) | 作品生成和编辑方法、装置、终端、服务器和系统 | |
US20220221959A1 (en) | Annotations in software applications for invoking dialog system functions | |
CN109165302B (zh) | 多媒体文件推荐方法及装置 | |
CN107463700B (zh) | 用于获取信息的方法、装置及设备 | |
US9177551B2 (en) | System and method of providing speech processing in user interface | |
CN111651231B (zh) | 作品生成方法、装置、车机端和移动终端 | |
CN109564530A (zh) | 提供具有可选择的可遍历的状态机的个人辅助模块 | |
CN105719649A (zh) | 语音识别方法及装置 | |
CN105224278A (zh) | 语音交互服务处理方法及装置 | |
CN110244941B (zh) | 任务开发方法、装置、电子设备及计算机可读存储介质 | |
CN109474843A (zh) | 语音操控终端的方法、客户端、服务器 | |
CN109036397A (zh) | 用于呈现内容的方法和装置 | |
CN112165647B (zh) | 音频数据的处理方法、装置、设备及存储介质 | |
CN111679811B (zh) | Web服务构建方法及装置 | |
CN111601161A (zh) | 视频作品生成方法、装置、终端、服务器和系统 | |
CN110968362B (zh) | 应用运行方法、装置及存储介质 | |
CN112330534A (zh) | 动物脸风格图像生成方法、模型训练方法、装置和设备 | |
CN111703278B (zh) | 香氛释放方法、装置、车端、云端、系统和存储介质 | |
JP2020529680A (ja) | 通話中の感情を認識し、認識された感情を活用する方法およびシステム | |
WO2016107278A1 (zh) | 一种用户信息标注的方法、装置及系统 | |
CN112818654A (zh) | 消息存储方法、消息生成方法、装置、电子设备及计算机可读介质 | |
CN117455430A (zh) | 基于ai的简历信息处理方法、装置、设备及存储介质 | |
US20200327888A1 (en) | Dialogue system, electronic apparatus and method for controlling the dialogue system | |
CN116450202A (zh) | 页面配置方法、装置、计算机设备及计算机可读存储介质 | |
US20200112755A1 (en) | Providing relevant and authentic channel content to users based on user persona and interest |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |