CN110490950A - 图像样本生成方法、装置、计算机设备和存储介质 - Google Patents

图像样本生成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110490950A
CN110490950A CN201910768854.7A CN201910768854A CN110490950A CN 110490950 A CN110490950 A CN 110490950A CN 201910768854 A CN201910768854 A CN 201910768854A CN 110490950 A CN110490950 A CN 110490950A
Authority
CN
China
Prior art keywords
image
shadow
scene
processed
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910768854.7A
Other languages
English (en)
Other versions
CN110490950B (zh
Inventor
鲁四喜
彭梅英
唐嘉龙
罗慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910768854.7A priority Critical patent/CN110490950B/zh
Publication of CN110490950A publication Critical patent/CN110490950A/zh
Application granted granted Critical
Publication of CN110490950B publication Critical patent/CN110490950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像样本生成方法、装置、计算机设备和存储介质,所述方法包括:获取待处理图像,待处理图像为实际拍摄获得的图像;获取待模拟场景的待模拟场景信息;根据待处理图像以及待模拟场景信息,生成待处理图像在待模拟场景下的合成图像,获得待处理图像在待模拟场景下的图像样本。本申请提供的方案可以获得相同场景下的图像样本,还可以快速生成各种不同场景下的图像样本。

Description

图像样本生成方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像样本生成方法、装置、计算机设备和存储介质。
背景技术
随着人工智能(AI)技术的发展,利用AI进行图像识别的应用越来越广泛。在AI图像识别应用领域,如身份证证件识别、人脸识别、活体检测等业务领域,需要收集在特定场景下的样本数据,用于训练及验证AI算法。
目前获取图像样本的方法依赖于人工采集,需要人工首先搭建采集环境,然后手动拍摄,由于该采集过程中存在难以避免的环境变化(如光线的自然变化)以及拍摄时人为引入的误差,导致难以收集到相同场景下的多个不同图像样本。
发明内容
基于此,有必要针对目前方法难以收集到相同场景下的多个不同图像样本的技术问题,提供一种图像样本生成方法、装置、计算机设备和存储介质。
一种图像样本生成方法,所述方法包括:
获取待处理图像,所述待处理图像为实际拍摄获得的图像;
获取待模拟场景的待模拟场景信息;
根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
一种图像样本生成装置,所述装置包括:
第一获取模块,用于获取待处理图像,所述待处理图像为实际拍摄获得的图像;
第二获取模块,用于获取待模拟场景的待模拟场景信息;
生成模块,用于根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
获取待处理图像,所述待处理图像为实际拍摄获得的图像;
获取待模拟场景的待模拟场景信息;
根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
获取待处理图像,所述待处理图像为实际拍摄获得的图像;
获取待模拟场景的待模拟场景信息;
根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
上述图像样本生成方法、装置、计算机可读存储介质和计算机设备,其是将待处理图像与待模拟场景进行合成,获得待处理图像在待模拟场景下的图像样本,当需要生成不同对象在同一场景下的图像样本时,将各对象的任一实际图像与该场景合成即可,避免人工采集不同对象在同一场景下的图像时,由于环境变化或人为误差引起的场景变化,可以确保各图像样本的场景相同,此外还可以快速生成各种不同场景下的图像样本。
附图说明
图1为一个实施例中图像样本生成方法的应用环境图;
图2为一个实施例中图像样本生成方法的流程示意图;
图3为一个实施例中训练获得已训练图像光影迁移算法模型的方法的流程示意图;
图4为一个实施例中训练获得已训练图像光影迁移算法模型的方法的流程示意图;
图5为一个实施例中基于图像样本生成方法的应用系统架构示意图;
图6为一个实施例中图像样本生成装置的结构框图;
图7为一个实施例中图像样本生成装置的结构框图;
图8为一个实施例中计算机设备的结构框图;
图9为一个实施例中计算机设备的结构框图。
具体实施方式
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请涉及人工智能中的计算机视觉技术,基于计算机视觉技术生成用于图像识别的图像样本。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中图像样本生成方法的应用环境图。如图1所示,该应用环境涉及终端110和服务器120,终端110和服务器120通过网络连接。用户可以通过终端110访问AI图像识别业务平台,服务器120可以是该AI图像识别业务平台所在的服务器。终端110或者服务器120,可以获取待处理图像以及待模拟场景的待模拟场景信息,并根据待处理图像以及待模拟场景信息,生成待处理图像在待模拟场景下的合成图像,生成待处理图像在待模拟场景下的图像样本。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示,在一个实施例中,提供了一种图像样本生成方法。本实施例主要以该方法应用于上述图1中的终端110或者服务器120来举例说明。参照图2,该图像样本生成方法具体包括如下步骤S202至步骤S206。
S202,获取待处理图像,待处理图像为实际拍摄获得的图像。
待处理图像为业务对象的真实图像,可以是线上业务收集的业务对象的真实图像。例如,对于人脸识别业务,待处理图像为收集到的真实人脸,比如室内通过手机拍摄的大头照。
S204,获取待模拟场景的待模拟场景信息。
场景为业务对象(比如用户或是用户证件)所在的环境,包括室内或室外、白天或黑夜、强灯光或弱灯光、晴天或阴天等各种不同场景,不同场景下的光线不同。在不同场景下对业务对象进行拍摄,由于光线不同,导致拍摄获得的图像的光影效果不同。例如,对于室外拍摄,在晴天拍摄的图像和在阴天拍摄的图像,其光影效果不同,对于室内拍摄,在强灯光下拍摄的图像和在弱灯光下拍摄的图像,其光影效果也不同。光影效果跟场景相关,主要包括阴影效果和明暗效果。
S206,根据待处理图像以及待模拟场景信息,生成待处理图像在待模拟场景下的合成图像,获得待处理图像在待模拟场景下的图像样本。
根据待处理图像以及待模拟场景信息,将待处理图像中与待模拟场景进行合成,获得的合成图像作为待处理图像在待模拟场景下的图像样本。
上述图像样本生成方法,其是将待处理图像与待模拟场景进行合成,获得待处理图像在待模拟场景下的图像样本,当需要生成不同对象在同一场景下的图像样本时,将各对象的任一实际图像与该场景合成即可,避免人工采集不同对象在同一场景下的图像时,由于环境变化或人为误差引起的场景变化,可以确保各图像样本的场景相同,此外还可以快速生成各种不同场景下的图像样本。
在一个实施例中,采用已训练图像光影迁移算法模型,对待处理图像以及待模拟场景信息进行处理,生成待处理图像在待模拟场景下的合成图像,获得待处理图像在待模拟场景下的图像样本。
通过图像光影迁移算法模型,可以学习各种场景下的图像的光影特征,训练好之后,能够对输入的待处理图像生成指定场景下的光影效果,输出添加了光影效果的合成图像。
如图3所示,在一个实施例中,训练获得已训练图像光影迁移算法模型的方法包括以下步骤S302至步骤S306。
S302,获取训练样本图像,以及训练样本图像在光影场景下的渲染样本,光影场景包括待模拟场景。
在一个实施例中,通过三维(3D)模型渲染,生成训练样本图像和渲染样本。具体地,获取初始三维模型,将初始三维模型放置于光影场景下,获得场景三维模型,将初始三维模型渲染为二维图像,获得训练样本图像,将场景三维模型渲染为二维图像,获得训练样本图像在光影场景下的渲染样本。
初始三维模型为没有添加光影场景的三维模型,可以通过现有的3D建模软件(如3D-Max)制作,也可以从在线的3D模型市场批量获取。获得的业务相关的初始三维模型可以保存于一个3D模型库中,通过遍历3D模型库中的各个模型,利用3D渲染引擎(如V-Ray)将3D模型渲染成二维图像,获得训练样本图像。
场景三维模型为添加了光影场景的三维模型,将初始三维模型放置于一定的光影场景下,如室内或室外、强光或弱光、黎明或正午或黄昏等,获得场景三维模型。光影场景中的元素包括灯光位置及强度、相机角度等,通过调整场景元素,可以获得各种不同的光影场景。获得的各种光影场景可以保存于一个渲染场景库中,通过遍历3D模型库中的各个模型,然后放置于渲染场景库中的各种光影场景下,利用3D渲染引擎(如V-Ray)将各种光影场景下的3D模型渲染成二维图像,获得训练样本图像在各种光影场景下的渲染样本。
在一个实施例中,获得训练样本图像和训练样本图像在光影场景下的渲染样本之后,可以将其保存于一个渲染图像库中,并记录各训练样本图像对应的模型信息(如渲染模型ID)以及各渲染样本对应的模型信息(如渲染模型ID)、场景信息(如场景ID)。其中,渲染模型ID用于标识图像对应的渲染模型,即标识该图像基于哪个3D模型渲染而成。场景ID用于标识标准图像对应的场景,即标识该标准图像对应的渲染模型置于哪个场景下。
S304,采用待训练图像光影迁移算法模型,对训练样本图像以及光影场景信息进行处理,生成训练样本图像在光影场景下的合成样本;光影场景信息与光影场景对应。
合成样本是训练过程输出的图像,对于输入的训练样本图像,训练目标为模型输出的图像要接近于该训练样本图像在光影场景下的渲染样本。
S306,根据合成样本与渲染样本的差异,调整待训练图像光影迁移算法模型后,返回步骤S304,直至满足训练结束条件,获得已训练图像光影迁移算法模型。
在一个实施例中,训练结束条件可以为达到预设迭代次数,也可以为合成样本与对应的渲染样本的相似度达到预设阈值。
上述实施例中,通过3D模型渲染可以获得光影场景下的图像,但因为渲染主体是3D模型,比如人像3D模型,和真实人像相比还是有差距,不能直接作为AI图像样本使用,而渲染出来的图像的光影特征是可以学习和使用的,通过图像光影迁移算法模型学习光影场景下对应的光影特征,并将这些光影特征应用到真实图像上,从而可以获得对应的光影场景下的AI图像样本。
在一个实施例中,已训练图像光影迁移算法模型包括各光影场景对应的图像光影迁移子模型,光影场景包括待模拟场景;采用待模拟场景对应的图像光影迁移子模型,对待处理图像以及待模拟场景信息进行处理,生成待处理图像在待模拟场景下的合成图像,获得待处理图像在待模拟场景下的图像样本。
如图4所示,在一个实施例中,训练获得已训练图像光影迁移算法模型的方法包括以下步骤S402至步骤S410。
S402,获取各初始三维模型,将各初始三维模型分别渲染为二维图像,获得各初始三维模型对应的训练样本图像。
S404,将各初始三维模型分别放置于各光影场景下,获得各不同的场景三维模型,并将各场景三维模型分别渲染为二维图像,获得各训练样本图像在不同光影场景下的渲染样本,并记录渲染样本的模型信息和光影场景信息,模型信息与初始三维模型对应,光影场景信息与光影场景对应,渲染样本通过模型信息与训练样本图像对应。
S406,根据渲染样本的光影场景信息,对渲染样本进行分类,获得各光影场景对应的渲染样本以及训练样本图像。
S408,分别对各光影场景对应的渲染样本以及训练样本图像进行训练,获得各光影场景对应的图像光影迁移子模型。
S410,对各光影场景对应的图像光影迁移子模型进行组合,获得已训练图像光影迁移算法模型。
上述实施例中,每个图像光影迁移子模型对应一种场景,采用训练好的各个图像光影迁移子模型分别对待处理图像进行处理,可以快速生成待处理图像在各种不同场景下的图像样本。
基于上述实施例的图像样本生成方法,其可以通过一个具体的应用系统来实现,在一个实施例中,如图5所示,提供了基于上述实施例的图像样本生成方法的应用系统架构图。该系统分为三个阶段:样本生成阶段、模型训练阶段和模型应用阶段。
样本生成阶段的目的是生成训练图像光影迁移算法模型所需的各种场景下的光影效果图像,涉及3D模型库、渲染场景库、渲染控制器、渲染农场和渲染图像库。
3D模型库用于存储业务相关的3D模型,这些3D模型可以通过现有的3D建模软件(如3D-Max)制作,也可以从在线的3D模型市场批量获取。
渲染场景库用于存储各种场景,如室内或室外、强光或弱光、黎明或正午或黄昏等场景,渲染场景库需要多样化,尽量覆盖业务涉及到的各种场景。
渲染控制器用于提交渲染任务到渲染农场,渲染控制器通过程序自动从3D模型库里遍历各个模型,然后将各个模型放置到渲染场景库的各个场景中,同时按照一定的策略调整灯光位置及强度、相机角度等,生成一批渲染任务,提交给渲染农场。
渲染农场(render farm)是一种分布式并行集群计算系统,由多台计算机组成,可以在每台机器上安装3D渲染引擎(用于将3D场景渲染成2D图像),共同完成渲染任务,可以大幅降低渲染的时间。在机器有限的情况下,一台机器也可以组成渲染农场,但渲染时间较长。
渲染图像库用于存储渲染农场渲染出来的图像,并记录每张图像的模型信息和/或场景信息,这些信息将用于对图像进行分类,比如将不同模型的相同场景下的所有图像提取出来,用于训练该场景对应的图像光影迁移算法模型。
模型训练阶段的目的是使得图像光影迁移算法模型能够对输入的图像生成指定场景下的光影效果,涉及图像光影迁移算法模型。
图像光影迁移算法模型用于学习渲染图像库中的图像在各种场景下的光影效果,并能够对输入的图像生成各种场景的光影效果。算法模型达到一定的预期效果后,会被部署到图像光影迁移服务引擎中,这里的预期效果可以理解为模型输出的图像光影效果接近于用3D渲染引擎渲染出来的图像光影效果。
模型应用阶段的目的是利用图像光影迁移算法模型对外提供服务能力,涉及真实图像库、图像光影迁移服务引擎、合成图像库和图像合成引擎。
真实图像库用于存储业务相关的真实样本图像,该真实样本图像包含线上业务自动收集的图像,还可以包含人工收集的图像。
图像光影迁移服务引擎用于通过接口对外提供服务,对输入的图像按照指定规则调用图像光影迁移算法模型生成有光影效果的图像。
合成图像库用于存储由图像合成引擎生成的合成图像。
图像合成引擎用于从真实图像库中依次取出图像,调用图像光影迁移服务引擎,生成具有光影效果的合成图像,并将这些合成图像存储到合成图像库中。这些合成图像可以作为图像样本,以供其他的图像识别算法使用。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图6所示,在一个实施例中,提供了一种图像样本生成装置600,包括:第一获取模块610、第二获取模块620和生成模块630。
第一获取模块610,用于获取待处理图像,待处理图像为实际拍摄获得的图像。
第二获取模块620,用于获取待模拟场景的待模拟场景信息。
生成模块630,用于根据待处理图像以及待模拟场景信息,生成待处理图像在待模拟场景下的合成图像,获得待处理图像在待模拟场景下的图像样本。
上述图像样本生成装置,其是将待处理图像与待模拟场景进行合成,获得待处理图像在待模拟场景下的图像样本,当需要生成不同对象在同一场景下的图像样本时,将各对象的任一实际图像与该场景合成即可,避免人工采集不同对象在同一场景下的图像时,由于环境变化或人为误差引起的场景变化,可以确保各图像样本的场景相同,此外还可以快速生成各种不同场景下的图像样本。
在一个实施例中,生成模块630,具体用于采用已训练图像光影迁移算法模型,对待处理图像以及待模拟场景信息进行处理,生成待处理图像在待模拟场景下的合成图像,获得待处理图像在待模拟场景下的图像样本。
如图7所示,在一个实施例中,图像样本生成装置600还包括训练模块640,用于训练获得已训练图像光影迁移算法模型。训练模块640包括:获取单元641和训练单元642。
获取单元641,用于获取训练样本图像,以及训练样本图像在光影场景下的渲染样本,光影场景包括待模拟场景。
训练单元642,用于采用待训练图像光影迁移算法模型,对训练样本图像以及光影场景信息进行处理,生成训练样本图像在光影场景下的合成样本,光影场景信息与光影场景对应;根据合成样本与渲染样本的差异,调整待训练图像光影迁移算法模型后,返回采用待训练图像光影迁移算法模型,对训练样本图像以及光影场景信息进行处理的步骤,直至满足训练结束条件,获得已训练图像光影迁移算法模型。
在一个实施例中,获取单元641包括第一获取子单元、第二获取子单元、第一渲染子单元和第二渲染子单元。第一获取子单元,用于获取初始三维模型;第二获取子单元,用于将初始三维模型放置于光影场景下,获得场景三维模型;第一渲染子单元,用于将初始三维模型渲染为二维图像,获得训练样本图像;第二渲染子单元,用于将场景三维模型渲染为二维图像,获得训练样本图像在光影场景下的渲染样本。
在一个实施例中,获取单元641还包括记录子单元,用于在获得训练样本图像在光影场景下的渲染样本之后,记录渲染样本的模型信息和光影场景信息,渲染样本通过模型信息与训练样本图像对应。
在一个实施例中,已训练图像光影迁移算法模型包括各光影场景对应的图像光影迁移子模型,光影场景包括待模拟场景,生成模块630,具体用于采用待模拟场景对应的图像光影迁移子模型,对待处理图像以及待模拟场景信息进行处理,生成待处理图像在待模拟场景下的合成图像,获得待处理图像在待模拟场景下的图像样本。
在一个实施例中,训练模块640还包括组合单元,获取单元641还包括分类子单元。
第一获取子单元,具体用于获取各初始三维模型。
第一渲染子单元,具体用于将各初始三维模型分别渲染为二维图像,获得各初始三维模型对应的训练样本图像。
第二获取子单元,具体用于将各初始三维模型分别放置于各光影场景下,获得各不同的场景三维模型。
第二渲染子单元,具体用于将各场景三维模型分别渲染为二维图像,获得各训练样本图像在不同光影场景下的渲染样本。
记录子单元,具体用于记录渲染样本的模型信息和光影场景信息,模型信息与初始三维模型对应,光影场景信息与光影场景对应,渲染样本通过模型信息与训练样本图像对应。
分类子单元,用于根据渲染样本的光影场景信息,对渲染样本进行分类,获得各光影场景对应的渲染样本以及训练样本图像。
训练单元642,具体用于分别对各光影场景对应的渲染样本以及训练样本图像进行训练,获得各光影场景对应的图像光影迁移子模型。
组合单元,用于对各光影场景对应的图像光影迁移子模型进行组合,获得已训练图像光影迁移算法模型。
关于图像样本生成装置的具体限定可以参见上文中对于图像样本生成方法的限定,在此不再赘述。上述图像样本生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图8所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像样本生成方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行图像样本生成方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图9所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现图像样本生成方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行图像样本生成方法。
本领域技术人员可以理解,图8或图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的图像样本生成装置可以实现为一种计算机程序的形式,计算机程序可在如图8或图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像样本生成装置的各个程序模块,比如,图6所示的第一获取模块、第二获取模块和生成模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像样本生成方法中的步骤。
例如,图8或图9所示的计算机设备可以通过如图6所示的图像样本生成装置中的第一获取模块执行步骤S202。计算机设备可通过第二获取模块执行步骤S204。计算机设备可通过生成模块执行步骤S206。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像样本生成方法的步骤。此处图像样本生成方法的步骤可以是上述各个实施例的图像样本生成方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述图像样本生成方法的步骤。此处图像样本生成方法的步骤可以是上述各个实施例的图像样本生成方法中的步骤。
需要理解的是,上述实施例中的术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像样本生成方法,包括:
获取待处理图像,所述待处理图像为实际拍摄获得的图像;
获取待模拟场景的待模拟场景信息;
根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
2.根据权利要求1所述的方法,其特征在于,根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本,包括:
采用已训练图像光影迁移算法模型,对所述待处理图像以及所述待模拟场景信息进行处理,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
3.根据权利要求2所述的方法,其特征在于,训练获得所述已训练图像光影迁移算法模型的方法包括:
获取训练样本图像,以及所述训练样本图像在光影场景下的渲染样本,所述光影场景包括所述待模拟场景;
采用待训练图像光影迁移算法模型,对所述训练样本图像以及光影场景信息进行处理,生成所述训练样本图像在所述光影场景下的合成样本;所述光影场景信息与所述光影场景对应;
根据所述合成样本与所述渲染样本的差异,调整所述待训练图像光影迁移算法模型后,返回采用待训练图像光影迁移算法模型,对所述训练样本图像以及光影场景信息进行处理的步骤,直至满足训练结束条件,获得所述已训练图像光影迁移算法模型。
4.根据权利要求3所述的方法,其特征在于,获取训练样本图像,以及所述训练样本图像在光影场景下的渲染样本,包括:
获取初始三维模型;
将所述初始三维模型放置于所述光影场景下,获得场景三维模型;
将所述初始三维模型渲染为二维图像,获得训练样本图像;
将所述场景三维模型渲染为二维图像,获得所述训练样本图像在所述光影场景下的渲染样本。
5.根据权利要求4所述的方法,其特征在于,在获得所述训练样本图像在光影场景下的渲染样本之后,还包括:
记录所述渲染样本的模型信息和光影场景信息,所述渲染样本通过所述模型信息与所述训练样本图像对应。
6.根据权利要求2所述的方法,其特征在于,所述已训练图像光影迁移算法模型包括各光影场景对应的图像光影迁移子模型,所述光影场景包括所述待模拟场景;
根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本,包括:
采用所述待模拟场景对应的图像光影迁移子模型,对所述待处理图像以及所述待模拟场景信息进行处理,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
7.根据权利要求6所述的方法,其特征在于,训练获得所述已训练图像光影迁移算法模型的方法包括:
获取各初始三维模型,将各所述初始三维模型分别渲染为二维图像,获得各所述初始三维模型对应的训练样本图像;
将各所述初始三维模型分别放置于各光影场景下,获得各不同的场景三维模型,并将各所述场景三维模型分别渲染为二维图像,获得各所述训练样本图像在不同光影场景下的渲染样本,并记录所述渲染样本的模型信息和光影场景信息,所述模型信息与所述初始三维模型对应,所述光影场景信息与所述光影场景对应,所述渲染样本通过所述模型信息与所述训练样本图像对应;
根据所述渲染样本的光影场景信息,对所述渲染样本进行分类,获得各光影场景对应的渲染样本以及训练样本图像;
分别对各光影场景对应的渲染样本以及训练样本图像进行训练,获得各光影场景对应的图像光影迁移子模型;
对各光影场景对应的图像光影迁移子模型进行组合,获得所述已训练图像光影迁移算法模型。
8.一种图像样本生成装置,其特征在于,所述装置包括:
第一获取模块,用于获取待处理图像,所述待处理图像为实际拍摄获得的图像;
第二获取模块,用于获取待模拟场景的待模拟场景信息;
生成模块,用于根据所述待处理图像以及所述待模拟场景信息,生成所述待处理图像在所述待模拟场景下的合成图像,获得所述待处理图像在所述待模拟场景下的图像样本。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN201910768854.7A 2019-08-20 2019-08-20 图像样本生成方法、装置、计算机设备和存储介质 Active CN110490950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910768854.7A CN110490950B (zh) 2019-08-20 2019-08-20 图像样本生成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910768854.7A CN110490950B (zh) 2019-08-20 2019-08-20 图像样本生成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110490950A true CN110490950A (zh) 2019-11-22
CN110490950B CN110490950B (zh) 2021-07-13

Family

ID=68552317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910768854.7A Active CN110490950B (zh) 2019-08-20 2019-08-20 图像样本生成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110490950B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401387A (zh) * 2020-03-10 2020-07-10 腾讯科技(深圳)有限公司 异常样本构建方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1251235A (zh) * 1997-03-18 2000-04-19 麦托福集团 实时数字修改代表原始图象的视频数据流的方法
JP2000184180A (ja) * 1998-12-18 2000-06-30 Konica Corp 撮影装置
CN101640754A (zh) * 2008-07-30 2010-02-03 夏普株式会社 图像压缩方法、图像压缩装置以及图像形成装置
CN101702236A (zh) * 2009-10-30 2010-05-05 无锡景象数字技术有限公司 一种多目标前景分割方法
CN102737251A (zh) * 2011-03-31 2012-10-17 索尼公司 图像处理设备、图像处理方法、程序和记录介质
US9860537B2 (en) * 2014-12-16 2018-01-02 Intel Corporation Multi-focus image data compression
CN109155078A (zh) * 2018-08-01 2019-01-04 深圳前海达闼云端智能科技有限公司 样本图像的集合的生成方法、装置、电子设备和存储介质
CN109191403A (zh) * 2018-09-07 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1251235A (zh) * 1997-03-18 2000-04-19 麦托福集团 实时数字修改代表原始图象的视频数据流的方法
JP2000184180A (ja) * 1998-12-18 2000-06-30 Konica Corp 撮影装置
CN101640754A (zh) * 2008-07-30 2010-02-03 夏普株式会社 图像压缩方法、图像压缩装置以及图像形成装置
CN101702236A (zh) * 2009-10-30 2010-05-05 无锡景象数字技术有限公司 一种多目标前景分割方法
CN102737251A (zh) * 2011-03-31 2012-10-17 索尼公司 图像处理设备、图像处理方法、程序和记录介质
US9860537B2 (en) * 2014-12-16 2018-01-02 Intel Corporation Multi-focus image data compression
CN109155078A (zh) * 2018-08-01 2019-01-04 深圳前海达闼云端智能科技有限公司 样本图像的集合的生成方法、装置、电子设备和存储介质
CN109191403A (zh) * 2018-09-07 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FELIX JUEFEI-XU 等: "Spartans: Single-Sample Periocular-Based Alignment-Robust Recognition Technique Applied to Non-Frontal Scenarios", 《IEEE TRANSACTIONS ON IMAGE PROCESSING ( VOLUME: 24, ISSUE: 12, DEC. 2015)》 *
沈沉 等: "基于图像的光照模型研究综述", 《计算机学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401387A (zh) * 2020-03-10 2020-07-10 腾讯科技(深圳)有限公司 异常样本构建方法、装置、计算机设备和存储介质
CN111401387B (zh) * 2020-03-10 2023-09-19 腾讯科技(深圳)有限公司 异常样本构建方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110490950B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
CN110428388B (zh) 一种图像数据生成方法及装置
Yang et al. Surfelgan: Synthesizing realistic sensor data for autonomous driving
US10854006B2 (en) AR-enabled labeling using aligned CAD models
Ehrhardt et al. RELATE: Physically plausible multi-object scene synthesis using structured latent spaces
JP2023545199A (ja) モデル訓練方法、人体姿勢検出方法、装置、デバイスおよび記憶媒体
CN112287820A (zh) 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN113450579B (zh) 速度信息的获取方法、装置、设备及介质
EP4118619A1 (en) Pose estimation method and apparatus
CN111797264A (zh) 图像增广与神经网络训练方法、装置、设备及存储介质
CN113256699B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
CN115131492A (zh) 目标对象的重光照方法、装置及存储介质和背景替换方法
CN113593001A (zh) 目标对象三维重建方法、装置、计算机设备和存储介质
KR102354681B1 (ko) 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램
CN117237547B (zh) 图像重建方法、重建模型的处理方法和装置
CN110490950A (zh) 图像样本生成方法、装置、计算机设备和存储介质
Wang et al. 3D object detection algorithm for panoramic images with multi-scale convolutional neural network
Chu et al. Semi-supervised 3d human pose estimation by jointly considering temporal and multiview information
Wang et al. SST-GAN: single sample-based realistic traffic image generation for parallel vision
Wang et al. Target detection based on simulated image domain migration
Yang et al. RSFace: subject agnostic face swapping with expression high fidelity
CN107403145A (zh) 图像特征点定位方法及装置
WO2020193972A1 (en) Facial analysis
Norberto et al. Automating the audit of the Brazilian electronic ballot operation: A new dataset for 6DoF pose estimation of the voter terminal based on domain randomization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant