CN110708594A - 一种内容影像的生成方法及系统 - Google Patents

一种内容影像的生成方法及系统 Download PDF

Info

Publication number
CN110708594A
CN110708594A CN201910916449.5A CN201910916449A CN110708594A CN 110708594 A CN110708594 A CN 110708594A CN 201910916449 A CN201910916449 A CN 201910916449A CN 110708594 A CN110708594 A CN 110708594A
Authority
CN
China
Prior art keywords
content
neural network
image
network model
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910916449.5A
Other languages
English (en)
Other versions
CN110708594B (zh
Inventor
俞江
陈洁
陈有鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201910916449.5A priority Critical patent/CN110708594B/zh
Publication of CN110708594A publication Critical patent/CN110708594A/zh
Application granted granted Critical
Publication of CN110708594B publication Critical patent/CN110708594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种内容影像的生成方法及系统，本发明实施例按照用户设置的需求信息训练得到分析神经网络模型、内容生成神经网络模型及效果评分神经网络模型，将原始影像输入到分析神经网络模型中，输出得到原始影像的分析信息；然后将原始影像的分析信息输入到内容生成神经网络模型中，输出得到多个待选目的内容影像；将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。由于本发明实施例不需要人工进行内容影像的生成，而是采用训练好的神经网络自动生成内容影像，因此在降低成本且提高生成质量的前提下，进行内容影像的生成。

Description

一种内容影像的生成方法及系统
技术领域
本发明涉及计算机技术领域，特别涉及一种内容影像的生成方法及系统。
背景技术
目前，在对视频或图片的制作或创作过程中，都是在计算机中加载图像处理软件，由人工通过图像处理软件对视频或图片进行绘制或截取等操作。在这个过程中，需要耗费大量的人力物力，但是所得的结果仍然大多不尽人意，好的方案寥寥无几。比如，在制作电影海报的设计过程中，需要设计人员设计模板，挑选图片元素，进行拼接，再进行图片的美化工作。人工创作时间较长，需要相对较好的硬件环境和专业设计软件，且设计风格因人而异，通常需要不断地修改才能创作出较为满意的作品。又比如，当制作慢动作视频时采用拍摄方式，拍摄慢动作更需要专业的拍摄设备，价格昂贵且需要拍摄人员有较高的拍摄水平。再比如，在制作动态图片时同样需要有一定专业技术能力，通过专业的设计软件，才可以制作出想要表达的动图效果。
可以看出，在进行内容影像生成时，需要较好的计算机硬件环境及专业的软件平台，价格昂贵；需要制作人员具有相当高的专业技术，人力成本高；生成周期长且时间成本高；没有统一的评分标准，结果因人而异，不一定能让大多数人都喜欢。
因此，如何在降低成本且提高生成质量的前提下，如何进行内容影像的生成，成为了一个亟待解决的技术问题。
发明内容
有鉴于此，本发明实施例提供一种内容影像生成方法，该方法能够在降低成本且提高生成质量的前提下，进行内容影像的生成。
本发明实施例还提供一种内容影像生成系统，该系统能够在降低成本且提高生成质量的前提下，进行内容影像的生成。
本发明实施例是这样实现的：
一种内容影像的生成方法，该方法包括：
根据用户的需求信息训练得到分析神经网络模型、内容生成神经网络模型及效果评分神经网络模型；
将原始影像输入到分析神经网络模型中进行处理，输出得到原始影像的分析信息；
将原始影像的分析信息输入到内容生成神经网络模型中，以使内容生成神经网络模型对原始内容影像根据分析信息进行处理，输出得到多个待选目的内容影像；
将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。
所述分析神经网络模型中进行处理包括：对原始内容影像进行特征提取信息、内容分类信息或/和时机感知信息的过程；
所述分析信息为有偏向性的分析信息，包括特征提取信息、内容分类信息或/和时机感知信息。
所述内容生成神经网络模型对原始内容影像根据分析信息进行处理包括：
根据分析信息，对原始内容影像进行整合处理，包括图像分割、艺术风格转换、自动布局或/和视频插帧的处理过程。
对所述方法的实施进行控制，包括手动控制和自动控制。
一种内容影像的生成系统，包括：内容分析模块、内容处理模块及效果评级模块，其中，
内容分析模块，用于按照用户设置的需求信息训练得到分析神经网络模型，将原始影像输入到分析神经网络模型中进行处理，输出得到原始影像的分析信息；
内容处理模块，用于按照用户设置的需求信息训练得到内容生成神经网络模型，将原始影像的分析信息输入到内容生成神经网络模型中，以使内容生成神经网络模型对原始内容影像根据分析信息进行处理，输出得到待选目的内容影像；
效果评级模块，用于将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。
所述内容分析模块，还用于所述分析神经网络模型中进行处理包括：对原始内容影像进行特征提取信息、内容分类信息或/和时机感知信息的过程；所述分析信息为有偏向性的分析信息，包括特征提取信息、内容分类信息或/和时机感知信息。
所述内容处理模块，还用于所述内容生成神经网络模型对原始内容影像根据分析信息进行处理包括：根据分析信息，对原始内容影像进行整合处理，包括图像分割、艺术风格转换、自动布局或/和视频插帧的处理。
还包括系统控制模块，用于设置所述系统的控制功能。
如上所见，本发明实施例按照用户设置的需求信息训练得到分析神经网络模型、内容生成神经网络模型及效果评分神经网络模型，将原始影像输入到分析神经网络模型中，输出得到原始影像的分析信息；然后将原始影像的分析信息输入到内容生成神经网络模型中，输出得到多个待选目的内容影像；将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。由于本发明实施例不需要人工进行内容影像的生成，而是采用训练好的神经网络自动生成内容影像，因此在降低成本且提高生成质量的前提下，进行内容影像的生成。
附图说明
图1为本发明实施例提供的内容影像生成方法流程图；
图2为本发明实施例提供的内容影像生成方法系统架构图；
图3为本发明实施例提供的内容影像生成方法例子流程图；
图4为本发明实施例提供的海报生成方法流程图；
图5为本发明实施例提供的漫画生成方法流程图；
图6为本发明实施例提供的慢动作视频的生成方法流程图；
图7为本发明实施例提供的cinemagragh生成方法流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
从背景技术可以看出，造成在内容影像的生成过程中，成本比较高且生成质量不高的原因是在计算机中加载图像处理软件，由人工通过图像处理软件对视频或图片进行绘制或截取等操作，因此成本较高，且由于质量是基于设计人员的专业技术确定的，所以在质量上无法保证。因此，本发明实施例为了解决这个问题，按照用户设置的需求信息训练得到分析神经网络模型、内容生成神经网络模型及效果评分神经网络模型，将原始影像输入到分析神经网络模型中，输出得到原始影像的分析信息；然后将原始影像的分析信息输入到内容生成神经网络模型中，输出得到多个待选目的内容影像；将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。
由于本发明实施例不需要人工进行内容影像的生成，而是采用训练好的神经网络自动生成内容影像，因此在降低成本且提高生成质量的前提下，进行内容影像的生成。
也就是说，本发明实施例采用了人工智能领域中常用的神经网络技术，应用在正在飞速发展的内容影像处理过程中。从而可以实现各行各业都需要制作精美的影视资料，包括视频和图片，给人以更好的体验。例如当要制作海报去吸引观众；需要制作慢动作视频去凸显重要的画面情节；制作动态图片，去传达静态图片难以传达的故事。采用本发明实施例，提供想要表达内容的原始内容影像，根据设置的需求信息，就可以智能生成目的内容影像，比如可以生成静态图片、动态图片或视频片段等等，大大地节约了创作时间，节省了人力成本，提升了工作效率。
图1为本发明实施例提供的内容影像生成方法流程图，其具体步骤为：
步骤101、按照用户设置的需求信息训练得到分析神经网络模型、内容生成神经网络模型及效果评分神经网络模型；
步骤102、将原始影像输入到分析神经网络模型中进行处理，输出得到原始影像的分析信息；
步骤103、将原始影像的分析信息输入到内容生成神经网络模型中，以使内容生成神经网络模型对原始内容影像根据分析信息进行处理，输出得到多个待选目的内容影像；
步骤104、将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。
在该方法中，所述分析神经网络模型中进行处理包括：对原始内容影像进行特征提取信息、内容分类信息或/和时机感知信息等过程；所述分析信息为有偏向性的分析信息，包括特征提取信息、内容分类信息或/和时机感知信息等。
在本发明实施例中，所述内容生成神经网络模型对原始内容影像根据分析信息进行处理包括：
根据分析信息，对原始内容影像进行整合处理，包括图像分割、艺术风格转换、自动布局或/和视频插帧等的处理过程。
在该方法中，在步骤101之前，还包括：对该方法的实施进行控制，包括手动控制部分及自动控制部分，其中，手动控制部分包括输入控制、输出控制或内容影像下载升级控制等，自动控制部分包括方法流程控制或对设备检测等。
图2为本发明实施例提供的内容影像生成方法系统架构图，包括内容分析模块、内容处理模块及效果评级模块，其中，
内容分析模块，用于按照用户设置的需求信息训练得到分析神经网络模型，将原始影像输入到分析神经网络模型中进行处理，输出得到原始影像的分析信息；
内容处理模块，用于按照用户设置的需求信息训练得到内容生成神经网络模型，将原始影像的分析信息输入到内容生成神经网络模型中，以使内容生成神经网络模型对原始内容影像根据分析信息进行处理，输出得到待选目的内容影像；
效果评级模块，用于将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。
在该系统中，所述内容分析模块，还用于所述分析神经网络模型中进行处理包括：对原始内容影像进行特征提取信息、内容分类信息或/和时机感知信息等过程；所述分析信息为有偏向性的分析信息，包括特征提取信息、内容分类信息或/和时机感知信息等。
在该系统中，所述内容处理模块，还用于所述内容生成神经网络模型对原始内容影像根据分析信息进行处理包括：根据分析信息，对原始内容影像进行整合处理，包括图像分割、艺术风格转换、自动布局或/和视频插帧等的处理过程。
在该系统中，还包括系统控制模块，用于设置所述系统的控制功能，包括手动控制部分及自动控制部分，其中，手动控制部分包括输入控制、输出控制或内容影像下载升级控制等，自动控制部分包括方法流程控制或对设备检测等。
这样，采用本发明实施例提供的系统中的四个模块的相互处理，最终制作出目标影视资料，可以生成海报或慢动作视频等能够表达设计者意愿的内容影像。
目前电子设备已经非常普及，像电脑、电视或手机等多种电子设备都可以应用在本发明，只需要将本发明实施例提供的系统集成到电子设备的软件平台上，就可以实现内容影像的制作。普通配置的电子设备就可以使用，无需购买昂贵的设备，采用神经网络模型就可以生成内容影像，大大降低了创作难度，即使普通工作人员亦可以操作，可以降低人员成本；创作时间短及效果好。本发明实施例通过严谨的数据统计，生成内容影像符合大多数人的审美，可接受程度高。
图3为本发明实施例提供的内容影像生成方法例子流程图，其具体步骤为：
步骤301、将图2所述的系统安装到用户的电子设备上；
步骤302、电子设备上加载的所述系统自动识别电子设备的硬件系统平台及操作系统平台，进行相关的系统配置；
步骤303、选择所述系统的相应控制功能，所述系统适配控制功能；
步骤304、用户输入到原始内容影像；
步骤305、所述系统根据用户的需求信息，对原始内容影像进行视觉特征提取，包括颜色特征、纹理特征、形状特征及运动特征；
步骤306、通过提取的特征信息，进行内容分类，包括物体分类和场景分类；
步骤307、事件检测，对原始内容影像中的关键物体的运动帧进行检测和提取；
步骤308、图像分割，对原始内容影像中的元素，包括人、物和背景等进行分割提取；
步骤309、自动布局，根据提取出来的关键元素智能的进行排版布局；
步骤310、视频插帧，通过对原始内容影像中现有帧进行分析和预测，生成全新的图像，丰富影像关键镜头画面，展现影像细节；
步骤311、技术风格转换，包括颜色转换，对原始内容影像进行内容重建与风格重建，转换成特定艺术风格的影像；
步骤312、进行效果评价，通过大量的数据统计，对创作结果进行评分，包括色彩、布局和效果等；
步骤313、筛选出得分高的目的内容影像，输出结果资料。
举几个具体例子对本发明实施例进行说明
实施例一生成海报
当有新电影即将上映时，一般需要设计醒目且富有吸引力的海报。海报的风格需要切合电影主题，内容需要包含关键的电影情节、主演、上映时间或地点等。人工设计海报是相当负载且耗时的一件事。这时候采用本发明实施例解决这个问题。
图4为本发明实施例提供的海报生成方法流程图，其具体步骤为：
步骤401、用户在电视设备上适配本发明实施提供的所述系统，选择海报生成功能；
步骤402、所述系统对电影内容进行分析，自动挑选出极具代表性的关键帧图片，提取出背景、主演、时间和地点等信息；
步骤403、自动进行布局，生成全新的图片内容，并进行适当的艺术风格转换；
步骤404、生成海报，输出评分最高的海报供用户挑选。
实施例二生成漫画
当用户想要快速浏览电视剧情时，将电视剧集转换成漫画是一个非常好的选择。
图5为本发明实施例提供的漫画生成方法流程图，其具体步骤为：
步骤501、用户在电视设备上适配本发明实施提供的所述系统，选择漫画生成功能；
步骤502、所述系统自动分析并筛选出剧集中感觉的画面和情节内容；
步骤503、通过自动进行布局将关键的内容以恰当的顺序、排版组合在合适的页面中，以剪短的几页图片展示剧集的关键内容信息；
步骤504、通过艺术风格转换，生成漫画，提供给用户浏览。
实施例三生成慢动作视频
很多高端手机会配置慢动作拍摄功能，但是对设备的硬件要求较高。采用本发明实施例，可以在普通手机上智能生成慢动作视频。
图6为本发明实施例提供的慢动作视频的生成方法流程图，其具体步骤为：
步骤601、用户在手机上适配本发明实施提供的所述系统，选择慢动作视频生成功能；
步骤602、用户配置相关的参数信息，例如需要生成慢动作的场景或动作等；
步骤603、正常拍摄视频，在拍摄过程中，所述系统将自动进行事件检测，对关键画面进行插帧处理，增加运动帧数量及连贯程度，生成慢动作；
步骤604、用户手动加载视频，并指定需要生成慢动作的片段，在过程中可以进行插帧处理，增加运动画面帧；
步骤605、对生成的慢动作画面辅以一定程度的风格处理，比如背景模糊等特效，生成慢动作视频。
实施例四静态照片中神奇的细微运动技术影像(cinemagragh)
Cinemagragh是动态摄影和静态图片的结合，将静止的图片和视频结合在一起，“解冻”了尘封在图片中的某一个片刻。每张图总只有一个元素是动的，其他都是静态，采用本发明实施例就可以自动生成这种图片。
图7为本发明实施例提供的cinemagragh生成方法流程图，其具体步骤为：
步骤701、用户在手机上适配本发明实施提供的所述系统，选择cinemagragh生成功能；
步骤702、手机在预览或拍摄过程中，所述系统实时对获取的视频画面进行分析，进行事件检测，拍摄若干张拍照；
步骤703、在拍摄的图片基础上，进行图像分割，提取静态北京和单一运动元素，进行照片的组合拼接；
步骤704、对拼接之后的图片进行艺术风格转换，比如色彩转换等；
步骤705、将图片生成动图，输出cinemagragh。
可以看出，采用本发明实施例，可以极大程度的节约创作时间，节省人力成本，提升工作效率，使得内容影像的创作简单化，使人随时随地都可以进行艺术创作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (8)

1.一种内容影像的生成方法，其特征在于，该方法包括：
根据用户的需求信息训练得到分析神经网络模型、内容生成神经网络模型及效果评分神经网络模型；
将原始影像输入到分析神经网络模型中进行处理，输出得到原始影像的分析信息；
将原始影像的分析信息输入到内容生成神经网络模型中，以使内容生成神经网络模型对原始内容影像根据分析信息进行处理，输出得到多个待选目的内容影像；
将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。
2.如权利要求1所述的方法，其特征在于，所述分析神经网络模型中进行处理包括：对原始内容影像进行特征提取信息、内容分类信息或/和时机感知信息的过程；
所述分析信息为有偏向性的分析信息，包括特征提取信息、内容分类信息或/和时机感知信息。
3.如权利要求1所述的方法，其特征在于，所述内容生成神经网络模型对原始内容影像根据分析信息进行处理包括：
根据分析信息，对原始内容影像进行整合处理，包括图像分割、艺术风格转换、自动布局或/和视频插帧的处理过程。
4.如权利要求1所述的方法，其特征在于，对所述方法的实施进行控制，包括手动控制和自动控制。
5.一种内容影像的生成系统，其特征在于，包括：内容分析模块、内容处理模块及效果评级模块，其中，
内容分析模块，用于按照用户设置的需求信息训练得到分析神经网络模型，将原始影像输入到分析神经网络模型中进行处理，输出得到原始影像的分析信息；
内容处理模块，用于按照用户设置的需求信息训练得到内容生成神经网络模型，将原始影像的分析信息输入到内容生成神经网络模型中，以使内容生成神经网络模型对原始内容影像根据分析信息进行处理，输出得到待选目的内容影像；
效果评级模块，用于将多个目的内容影像输入到效果评分神经网络模型中，输出得到多个待选目的内容影像的评分，选取评分最高的待选目的内容影像作为目的内容影像。
6.如权利要求5所述的系统，其特征在于，所述内容分析模块，还用于所述分析神经网络模型中进行处理包括：对原始内容影像进行特征提取信息、内容分类信息或/和时机感知信息的过程；所述分析信息为有偏向性的分析信息，包括特征提取信息、内容分类信息或/和时机感知信息。
7.如权利要求5所述的系统，其特征在于，所述内容处理模块，还用于所述内容生成神经网络模型对原始内容影像根据分析信息进行处理包括：根据分析信息，对原始内容影像进行整合处理，包括图像分割、艺术风格转换、自动布局或/和视频插帧的处理。
8.如权利要求5所述的系统，其特征在于，还包括系统控制模块，用于设置所述系统的控制功能。
CN201910916449.5A 2019-09-26 2019-09-26 一种内容影像的生成方法及系统 Active CN110708594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910916449.5A CN110708594B (zh) 2019-09-26 2019-09-26 一种内容影像的生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910916449.5A CN110708594B (zh) 2019-09-26 2019-09-26 一种内容影像的生成方法及系统

Publications (2)

Publication Number Publication Date
CN110708594A true CN110708594A (zh) 2020-01-17
CN110708594B CN110708594B (zh) 2022-03-29

Family

ID=69196545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910916449.5A Active CN110708594B (zh) 2019-09-26 2019-09-26 一种内容影像的生成方法及系统

Country Status (1)

Country Link
CN (1) CN110708594B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993191A (zh) * 2017-11-30 2018-05-04 腾讯科技（深圳）有限公司 一种图像处理方法和装置
US20190075341A1 (en) * 2015-06-16 2019-03-07 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events
CN109584326A (zh) * 2018-11-07 2019-04-05 厦门欢乐逛科技股份有限公司 海报自动配色方法、介质、计算机设备及装置
WO2019069875A1 (ja) * 2017-10-02 2019-04-11 株式会社エイチアイ 移動体用画像生成記録表示装置及びプログラム
CN109816744A (zh) * 2018-12-20 2019-05-28 武汉西山艺创文化有限公司 一种基于神经网络的二维特效图片生成方法和装置
CN109993820A (zh) * 2019-03-29 2019-07-09 合肥工业大学 一种动画视频自动生成方法及其装置
CN110232722A (zh) * 2019-06-13 2019-09-13 腾讯科技（深圳）有限公司 一种图像处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190075341A1 (en) * 2015-06-16 2019-03-07 Microsoft Technology Licensing, Llc Automatic recognition of entities in media-captured events
WO2019069875A1 (ja) * 2017-10-02 2019-04-11 株式会社エイチアイ 移動体用画像生成記録表示装置及びプログラム
CN107993191A (zh) * 2017-11-30 2018-05-04 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN109584326A (zh) * 2018-11-07 2019-04-05 厦门欢乐逛科技股份有限公司 海报自动配色方法、介质、计算机设备及装置
CN109816744A (zh) * 2018-12-20 2019-05-28 武汉西山艺创文化有限公司 一种基于神经网络的二维特效图片生成方法和装置
CN109993820A (zh) * 2019-03-29 2019-07-09 合肥工业大学 一种动画视频自动生成方法及其装置
CN110232722A (zh) * 2019-06-13 2019-09-13 腾讯科技（深圳）有限公司 一种图像处理方法及装置

Also Published As

Publication number Publication date
CN110708594B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
US10685460B2 (en) Method and apparatus for generating photo-story based on visual context analysis of digital content
US11317139B2 (en) Control method and apparatus
US20130301918A1 (en) System, platform, application and method for automated video foreground and/or background replacement
CN111935528B (zh) 视频生成方法和装置
CN113542867A (zh) 媒体播放设备中的内容过滤
CN111930994A (zh) 视频编辑的处理方法、装置、电子设备及存储介质
US7194703B2 (en) System and method for creating screen saver
JP2007049387A (ja) 画像出力装置及び画像出力方法
US9692963B2 (en) Method and electronic apparatus for sharing photographing setting values, and sharing system
CN105657272A (zh) 一种终端设备及其拍摄方法
CN112543344B (zh) 直播控制方法、装置、计算机可读介质及电子设备
JP6601944B2 (ja) コンテンツ生成装置およびプログラム
US20180053531A1 (en) Real time video performance instrument
JP6900170B2 (ja) 情報処理システム、情報処理方法、およびプログラム
WO2015117681A1 (en) Live scene recognition allowing scene dependent image modification before image recording or display
JP5775814B2 (ja) 視聴覚システムを視聴者の注目度に合わせる装置及び方法
CN113194256B (zh) 拍摄方法、装置、电子设备和存储介质
CN108876866B (zh) 一种媒体数据处理方法、装置及存储介质
CN110708594B (zh) 一种内容影像的生成方法及系统
KR20140146592A (ko) 컬러 그레이딩 미리 보기 방법 및 장치
CN116389849A (zh) 视频生成方法、装置、设备及存储介质
KR20170077000A (ko) 콘텐츠 인식 기술 기반 콘텐츠 자동 생성 방법 및 시스템
CN108628920A (zh) 一种艺术设计互联网辅助拼图系统及设计方法
CN112399250A (zh) 基于图像识别的影视节目海报生成方法及装置
CN113489920A (zh) 一种视频合成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant