CN110546687B - 图像处理装置及二维图像生成用程序 - Google Patents

图像处理装置及二维图像生成用程序 Download PDF

Info

Publication number
CN110546687B
CN110546687B CN201980002055.7A CN201980002055A CN110546687B CN 110546687 B CN110546687 B CN 110546687B CN 201980002055 A CN201980002055 A CN 201980002055A CN 110546687 B CN110546687 B CN 110546687B
Authority
CN
China
Prior art keywords
dimensional
evaluation value
image
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980002055.7A
Other languages
English (en)
Other versions
CN110546687A (zh
Inventor
吉田一星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Embodyme Inc
Original Assignee
Embodyme Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Embodyme Inc filed Critical Embodyme Inc
Publication of CN110546687A publication Critical patent/CN110546687A/zh
Application granted granted Critical
Publication of CN110546687B publication Critical patent/CN110546687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明提供图像处理装置及二维图像生成用程序，该图像处理装置具备：根据规定的二维转换算法从三维数据生成二维图像数据的二维图像生成部(13)和算出表示所生成的二维图像数据与作为正解图像使用的拍摄图像数据的近似性的评价值的评价值计算部(14)，并且，反复通过二维图像生成部(13)从三维数据生成二维图像数据，将高精度的拍摄图像数据作为正解图像，并学习二维转换算法以使每次针对二维图像数据算出的评价值最佳化，由此，即使不是高精度的三维模型的三维数据，也能够从三维模型生成高精度的二维图像。

Description

图像处理装置及二维图像生成用程序
技术领域
本发明涉及图像处理装置及二维图像生成用程序，尤其适用于从三维模型的三维数据生成二维图像数据的装置。
背景技术
目前，在计算机图形领域中，提供了多种从拍摄图像生成三维模型的技术。其中，也存在使用机器学习从二维图像推定三维形状的技术(例如参照专利文献1)。
反之，还已知有从三维模型生成二维图像的技术(例如参照专利文献2)。该专利文献2中公开了以包含三维模型的特征部的方式制作三维模型的缩略图像，以便提高三维模型数据的利用及管理的便利性。
还已知有一种双向进行从二维图像制作三维模型和从三维模型制作二维图像的技术(例如参照专利文献3)。该专利文献3中所述的图像处理装置的目的在于，在修正拍摄到的脸部图像时，能够容易地修正成自然的脸部形态，并且，在生成被拍摄物的三维模型，并将被拍摄物的拍摄图像映射至该生成的三维模型的表面上之后，对三维模型的形状进行变形。然后，将变形后的三维模型沿拍摄图像的映射方向进行投影，并将由此获得的二维平面图像作为处理结果图像。
专利文献1：WO06/049147号公报
专利文献2：日本专利特开2017-4065号公报
专利文献3：日本专利特开2006-4158号公报
发明内容
然而，由于专利文献2中所述的图像处理装置中制成的二维图像是包含三维模型的特征部的缩略图像，因此，高精度地生成该缩略图像本身的必要性并不是很高。相对于此，在专利文献3中所述的图像处理装置中，由于其目的在于得到被修正为自然的脸部形态的二维图像，因此，要求以一定水平以上的品质高精度地生成二维图像。除了专利文献3中所述的用例之外，还存在很多希望从三维模型生成高精度的二维图像这一需求。这里所说的高精度的二维图像是指不逊色于拍摄图像的二维图像。
然而，在从三维模型生成二维图像的情况下，为了高精度地生成该二维图像，以往必须高精度地生成三维模型本身。另外，还必须准确地进行拍摄图像相对于该三维模型的映射(粘贴)。进一步地，在将映射有拍摄图像的三维模型转换为二维图像时，如专利文献3那样仅进行简单的投影是无法得到高精度的二维图像。也就是说，必须如实模拟现实中的所有的光的物理现象，并且以反映该模拟结果的方式进行转换处理。然而，实际进行满足上述所有的处理很难，实际情况下无法从三维模型生成高精度的二维图像。
本发明是为了解决上述问题而完成的，其目的在于，能够从三维图像生成不逊色于拍摄图像的高精度的二维图像。
为了解决上述问题，本发明具备根据规定的二维转换算法从三维数据生成二维图像数据的二维图像生成部和算出表示所生成的二维图像数据与用作正解图像的拍摄图像数据的近似性的评价值的评价值计算部，并且，通过学习来改变二维图像生成部的二维转换算法，以使每次针对将三维数据输入二维图像生成部并反复进行处理时生成的二维图像数据算出的评价值最佳化。
(发明效果)
根据上述那样构成的本发明，在改变二维转换算法的同时反复通过二维图像生成部从三维数据生成二维图像数据。此时，将高精度的图像数据用作正解图像，并通过学习不断改变二维转换算法，以使每次针对二维图像生成部生成的二维图像数据算出的评价值最佳化。由此，即使不是高精度的三维模型的三维数据，也能够从三维模型生成不逊色于拍摄图像的高精度的二维图像。
附图说明
图1是表示本实施方式涉及的图像处理装置的功能构成例的框图。
图2是表示基于第一模式进行学习时的功能构成例的框图。
图3是表示基于第二模式进行学习时的功能构成例的框图。
图4是表示基于第三模式进行学习时的功能构成例的框图。
图5是表示基于第四模式进行学习时的功能构成例的框图。
图6是表示应用第一模式至第四模式进行学习时的功能构成例的框图。
(符号说明)
11：三维数据获取部
12：正解图像获取部
13、13A～13D：二维图像生成部
14：评价值计算部
14A：第一评价值计算部
14B：第二评价值计算部
14C-1：三维数据生成部
14C-2：第一差分值计算部
14C-3：第二差分值计算部
14C-4：第三评价值计算部
14D：第四评价值计算部
具体实施方式
以下，根据附图对本发明的一个实施方式进行说明。图1是表示本实施方式涉及的图像处理装置的功能构成例的框图。如图1所示，本实施方式的图像处理装置的功能构成包括三维数据获取部11、正解图像获取部12、二维图像生成部13以及评价值计算部14。上述各个功能块11～14能够由硬件、DSP(Digital Signal Processor、数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各个功能块11～14的构成实际上包括计算机的CPU、RAM、ROM等，并通过运行RAM、ROM、硬盘或半导体存储器等的记录介质中存储的程序而实现。
三维数据获取部11获取表面上映射有拍摄图像的三维模型的三维数据。三维数据获取部11所获得的三维数据并不一定必须是高精度的三维模型的三维数据。在此，高精度的三维模型的三维数据是指：通过三维模型如实表现了物体的三维形状，并准确地进行了拍摄图像相对于该三维模型的映射(粘贴)的数据。本实施方式的三维数据获取部11所获得的三维数据也可以不是如此高精度的数据。例如，三维数据获取部11所获得的三维数据可以是通过公知的技术将二维的拍摄图像数据转换为三维模型的数据。
正解图像获取部12获取作为学习的正解图像使用的二维的拍摄图像数据。例如，正解图像获取部12所获得的拍摄图像数据可以是作为通过三维数据获取部11获得的三维数据的生成源使用的拍摄图像数据。
二维图像生成部13根据规定的二维转换算法从通过三维数据获取部11获得的三维数据生成二维图像数据。此外，以下用符号“g()”来表示该二维转换算法。此处使用的二维转换算法可以使用公知的算法。但是，如下所述，由于通过学习来改变该二维转换算法，因而必须是能够改变的算法。
此外，在本实施方式中，二维转换算法的改变例如包括：将确定三维数据的三维空间坐标上的值转换成确定二维图像数据的二维空间坐标上的值时的转换处理逻辑的变更、该转换处理逻辑中使用的函数或参数的变更、或者转换处理逻辑中使用的程序库的变更等的至少一个。
评价值计算部14算出表示由二维图像生成部13生成的二维图像数据与由正解图像获取部12获得的拍摄图像数据的近似性的评价值。而且，二维图像生成部13通过学习改变二维转换算法，以使每次针对将三维数据输入二维图像生成部13并反复进行处理时生成的二维图像数据算出的评价值最佳化。
在本实施方式中，二维图像生成部13使用如下所示的四个模式进行二维转换算法的学习。图2至图5示出基于这四个模式进行学习时的图像处理装置的具体功能构成例。以下，依次对四个模式的学习进行说明。
＜第一模式＞
图2是表示基于第一模式进行学习时的功能构成例的框图。基于第一模式的学习使用作为所谓的GAN(Generative Adversarial Network：生成式对抗网络)已知的学习算法。如图2所示，图像处理装置作为用于基于第一模式进行学习的功能构成而具备二维图像生成部13A和第一评价值计算部14A。二维图像生成部13A相当于在GAN中通常被称为生成器(generator)的部分。另一方面，第一评价值计算部14A相当于在GAN中通常被称为识别器(discriminator)的部分。
第一评价值计算部14A将通过三维数据获取部11获得的三维数据(以下用符号“s”表示)、和通过正解图像获取部12作为正解图像获得的拍摄图像数据(以下用符号“x”表示。有时也记作“正解图像x”。)或者通过二维图像生成部13A从三维数据s生成的二维图像数据(以下用符号“g(s)”表示)作为输入，并根据规定的识别算法识别被输入的图像是正解图像x还是通过二维图像生成部13A生成的二维图像数据g(s)，并算出被识别为正解图像的概率作为第一评价值(以下用符号“A”表示)。
图像处理装置以使将二维图像数据g(s)作为输入并由第一评价值计算部14A算出的第一评价值A最大化的方式改变二维图像生成部13A的二维转换算法。另外，图像处理装置以使将二维图像数据g(s)作为输入并由第一评价值计算部14A算出的第一评价值A最小化，并使将拍摄图像数据(正解图像)x作为输入并由第一评价值计算部14A算出的第一评价值A最大化的方式改变第一评价值计算部14A的识别算法。识别算法的改变包括：识别被输入的图像是否为正解图像时的识别处理逻辑的变更、该识别处理逻辑中使用的函数或参数的变更、或者识别处理逻辑中使用的程序库的变更等的至少一个。
在此，以使将二维图像数据g(s)作为输入并由第一评价值计算部14A算出的第一评价值A最小化，并使将拍摄图像数据(正解图像)x作为输入并由第一评价值计算部14A算出的第一评价值A最大化的方式改变第一评价值计算部14A的识别算法是指：相当于识别器的第一评价值计算部14A进行学习以提高识别被输入的图像是否为正解图像的能力。若该识别能力提高，则即便是与正解图像略微不同的图像，第一评价值计算部14A也能够识别出其并非正解图像。
另一方面，以使将二维图像数据g(s)作为输入并由第一评价值计算部14A算出的第一评价值A最大化的方式改变二维图像生成部13A的二维转换算法是指：二维图像生成部13A进行学习以提高生成第一评价值计算部14A无法识别出是否为正解图像这样的二维图像数据g(s)的能力。若该生成能力提高，则二维图像生成部13A能够生成与正解图像几乎没有差异的二维图像数据g(s)。
实际上，交替反复进行二维图像生成部13A的学习和第一评价值计算部14A的学习。这样，二维图像生成部13A(生成器)进行学习以生成尽可能接近于正解图像x而能够欺骗第一评价值计算部14A这样的二维图像数据g(s)，第一评价值计算部14A(识别器)进行学习以尽可能区分由二维图像生成部13A模仿正解图像生成的二维图像数据g(s)与正解图像x。由此，随着学习的进行，二维图像生成部13A能够生成与拍摄图像数据x无法区分的二维图像数据g(s)。
＜第二模式＞
图3是表示基于第二模式进行学习时的功能构成例的框图。基于第二模式的学习使用作为所谓的风格转换(Neural Style Transfer、神经风格迁移)而已知的学习算法的损失函数。如图3所示，图像处理装置作为用于基于第二模式进行学习的功能构成而具备二维图像生成部13B和第二评价值计算部14B。
第二评价值计算部14B具有为了对二维图像数据的图像进行分类而已学习完毕的神经网络。以下，用符号“Φ”表示神经网络，用Φ_L表示该网络的各层。第二评价值计算部14B在构成该神经网络Φ的各层Φ_L中，算出与通过正解图像获取部12获得的拍摄图像数据x与通过二维图像生成部13B生成的二维图像数据g(s)各自相关的值之差的总值或平均值作为第二评价值(以下用符号“B”表示)。
即，神经网络Φ的输入层(第一层)Φ_1中输入通过正解图像获取部12获得的正解图像x和通过二维图像生成部13B生成的二维图像数据g(s)。在神经网络Φ的第二层Φ_2中，生成将从第一层Φ_1的正解图像x和二维图像数据g(s)分别提取出的特征量群图像化的特征图。在神经网络Φ的第三层Φ_3中，生成将分别从与正解图像x和二维图像数据g(s)分别对应的第二层Φ_2的特征图进一步提取出的特征量群图像化的特征图。以下同样地，在第四层及其之后的层Φ_L(L＝4、……)中生成特征图。
例如，第二评价值计算部14B算出神经网络Φ的第一层Φ_1中的正解图像x的各像素中的颜色值与二维图像数据g(s)的各像素中的颜色值之差的和或平均值(以下，有时将差的和或平均值仅称为差分)。另外，第二评价值计算部14B在第二层及其之后的各层Φ_L(L＝2、3、……)中，算出分别从正解图像x和二维图像数据g(s)生成的特征图中的特征量群之差的和或平均值(差分)。然后，将各层Φ_L(L＝1、2、3、……)中算出的差分进行合计，并算出其总值或平均值作为第二评价值B。
图像处理装置以使通过第二评价值计算部14B算出的第二评价值B最小化的方式改变二维图像生成部13B的二维转换算法。以使第二评价值B最小化的方式改变二维图像生成部13B的二维转换算法是指：二维图像生成部13B进行学习以提高生成与正解图像x几乎没有差异的二维图像数据g(s)的能力。若该生成能力提高，则二维图像生成部13B能够生成与拍摄图像数据x几乎没有差异的二维图像数据g(s)。
＜第三模式＞
图4是表示基于第三模式进行学习时的功能构成例的框图。基于第三模式的学习使用作为所谓的CycleGAN已知的学习算法。如图4所示，图像处理装置作为用于基于第三模式进行学习的功能构成而具备二维图像生成部13C和评价值计算部14C。评价值计算部14C具备三维数据生成部14C-1、第一差分值计算部14C-2、第二差分值计算部14C-3以及第三评价值计算部14C-4。
三维数据生成部14C-1根据规定的三维转换算法从二维图像数据生成三维模型的三维数据。此外，以下用符号“f()”表示该三维转换算法。此处使用的三维转换算法可以使用公知的算法。但是，如下所述，由于通过学习而改变该三维转换算法，因而必须是能够改变的算法。
此外，在本实施方式中，三维转换算法的改变例如包括：将确定二维图像数据的二维空间坐标上的值转换成确定三维数据的三维空间坐标上的值时的转换处理逻辑的变更、该转换处理逻辑中使用的函数或参数的变更、或者转换处理逻辑中使用的程序库的变更等的至少一个。
在本实施方式中，三维数据生成部14C-1从通过正解图像获取部11获得的拍摄图像数据(正解图像)x生成三维数据(以下用符号“f(x)”表示)，并从通过二维图像生成部13C根据三维数据s生成的二维图像数据g(s)生成三维数据(以下用符号“f(g(s))”表示)。三维数据f(g(s))的生成相当于将从三维数据s生成的二维图像数据g(s)恢复为原来的三维数据s的处理(但是，并不限于s＝f(g(s)))。通过三维数据生成部14C-1生成的三维数据f(x)被供给至二维图像生成部13C，三维数据f(g(s))被供给至第一差分值计算部14C-2。
二维图像生成部13C根据规定的二维转换算法从通过三维数据获取部11获得的三维数据s生成二维图像数据g(s)。除此之外，二维图像生成部13C基于三维数据生成部14C-1根据正解图像获取部11获得的正解图像x生成的三维数据f(x)，并按照二维转换算法生成二维图像数据g(f(x))。该二维图像数据g(f(x))的生成相当于使根据正解图像x生成的三维数据f(x)恢复为原来的正解图像x的处理(但是，并不限于x＝g(f(x))。通过二维图像生成部13C生成的二维图像数据g(s)被供给至三维数据生成部14C-1，二维图像数据g(f(x))被供给至第二差分值计算部14C-3。
第一差分值计算部14C-2算出三维数据生成部14C-1根据二维图像生成部13C所生成的二维图像数据g(s)而生成的三维数据f(g(s))与通过三维数据获取部11获得的三维数据s之差作为第一差分值。第一差分值例如可以是三维数据f(g(s))的各坐标中的颜色值与三维数据s的各坐标中的颜色值之差的和或平均值。在此，若二维图像生成部13C的二维转换算法完善，且三维数据生成部14C-1的三维转换算法也完善，则三维数据f(g(s))和三维数据s相同，从而第一差分值为零。
第二差分值计算部14C-3算出二维图像生成部13C基于三维数据f(x)生成的二维图像数据g(f(x))与通过正解图像获取部11获得的正解图像x之差作为第二差分值，其中，该三维数据f(x)是三维数据生成部14C-1根据正解图像获取部11获得的正解图像x而生成的。第二差分值例如可以是二维图像数据g(f(x))的各像素中的颜色值与正解图像x的各像素中的颜色值之差的和或平均值。在此，若二维图像生成部13C的二维转换算法完善，且三维数据生成部14C-1的三维转换算法也完善，则二维图像数据g(f(x))和正解图像x相同，从而第二差分值为零。
第三评价值计算部14C-4算出通过第一差分值计算部14C-2算出的第一差分值与通过第二差分值计算部14C-3算出的第二差分值的总值作为第三评价值(以下用符号“C”表示)。
图像处理装置以使通过第三评价值计算部14C-4算出的第三评价值C最小化的方式改变二维图像生成部13C的二维转换算法和三维数据生成部14C-1的三维转换算法。以使第三评价值C最小化的方式改变二维图像生成部13C的二维转换算法和三维数据生成部14C-1的三维转换算法是指：进行学习以提高由二维图像生成部13C生成与正解图像x几乎没有差异的二维图像数据g(f(x))，且由三维数据生成部14C-1生成与三维数据s(可以说是三维数据的正解数据)几乎没有差异的三维数据f(g(s))的能力。若该生成能力提高，则二维图像生成部13C能够生成与拍摄图像数据x几乎没有差异的二维图像数据g(s)。
＜第四模式＞
图5是表示基于第四模式进行学习时的功能构成例的框图。如图5所示，图像处理装置作为用于基于第四模式进行学习的功能构成而具备二维图像生成部13D和第四评价值计算部14D。
第四评价值计算部14D算出通过二维图像生成部13D生成的二维图像数据g(s)与通过正解图像获取部11获得的正解图像x之差作为第四评价值(以下用符号“D”表示)。
图像处理装置以使通过第四评价值计算部14D算出的第四评价值D最小化的方式改变二维图像生成部13D的二维转换算法。以使第四评价值D最小化的方式改变二维图像生成部13D的二维转换算法是指：进行学习以提高二维图像生成部13D生成与正解图像x几乎没有差异的二维图像数据g(s)的能力。若该生成能力提高，则二维图像生成部13D能够生成与拍摄图像数据x几乎没有差异的二维图像数据g(s)。
此外，评价值计算部14既可以是仅具备图2至图5所示的第一模式至第四模式中的任意一个的构成，也可以具备第一模式至第四模式中的至少两个，并以使通过该至少两个模式算出的评价值分别最佳化的方式改变二维转换算法。此外，在至少两个模式中包含第一模式的情况下，以使将二维图像数据g(s)作为输入并通过第一评价值计算部14A算出的第一评价值A最小化，并使将正解图像x作为输入并通过第一评价值计算部14A算出的第一评价值A最大化的方式进一步改变第一评价值计算部14A的识别算法。另外，在至少两个模式中包含第三模式的情况下，以使第三评价值C最小化的方式进一步改变三维数据生成部14C-1的三维转换算法。
图6是表示应用所有第一模式至第四模式时的学习处理部14的功能构成例的图。此外，此处简化了图示，但各模式的详细构成如图2至图5所示。该情况下，二维图像生成部13以使通过各评价值计算部14A～14D算出的各评价值A～D分别最佳化(最大化或者最小化)的方式改变二维转换算法。另外，评价值计算部14以使将二维图像数据g(s)作为输入并通过第一评价值计算部14A算出的第一评价值A最小化，并使将正解图像x作为输入并通过第一评价值计算部14A算出的第一评价值A最大化的方式改变第一评价值计算部14A的识别算法，以使第三评价值C最小化的方式改变三维数据生成部14C-1的三维转换算法。
此外，二维图像生成部13也可以取代使通过第一模式至第四模式中的至少两个算出的评价值分别最佳化，而对通过该至少两个模式算出的评价值进行加权求和，并以使该加权和值最佳化的方式改变二维转换算法。例如，在图6所示的构成中，二维图像生成部13也可以算出H＝αA+βB+γC+δD(α、β、γ以及δ分别是加权系数，可以设定为包括零在内的任意值)的加权评价值H，并以使该加权评价值H最小化的方式改变二维转换算法。
此外，上述实施方式均仅示出了实施本发明时的具体化的一例，不能据此限定性地解释本发明的技术范围。即，本发明能够在不脱离其主旨或其主要特征的情况下以各种形式实施。

Claims (10)

1.一种图像处理装置，其特征在于，具备：
三维数据获取部，获取表面上映射有拍摄图像的三维模型的三维数据；
正解图像获取部，获取作为正解图像使用的拍摄图像数据；
二维图像生成部，根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；以及
评价值计算部，算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部由第一评价值计算部构成，所述第一评价值计算部将通过所述三维数据获取部获得的所述三维数据、和通过所述正解图像获取部获得的所述拍摄图像数据或通过所述二维图像生成部生成的所述二维图像数据作为输入，并根据规定的识别算法识别被输入的图像是正解图像还是通过所述二维图像生成部生成的二维图像数据，并算出识别为所述正解图像的概率作为第一评价值；
并且，以使将所述二维图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最大化的方式改变所述二维图像生成部的所述二维转换算法，以使将所述二维图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最小化，并使将所述拍摄图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最大化的方式改变所述第一评价值计算部的所述识别算法。
2.一种图像处理装置，其特征在于，具备：
三维数据获取部，获取表面上映射有拍摄图像的三维模型的三维数据；
正解图像获取部，获取作为正解图像使用的拍摄图像数据；
二维图像生成部，根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；以及
评价值计算部，算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部由第二评价值计算部构成，所述第二评价值计算部具有为了所述二维图像数据的图像分类而已学习完毕的神经网络，并在构成该神经网络的各层中算出与所述正解图像获取部获得的所述拍摄图像数据及所述二维图像生成部生成的所述二维图像数据分别相关的值之差的总值或平均值作为第二评价值；
并且，以使通过所述第二评价值计算部算出的所述第二评价值最小化的方式改变所述二维图像生成部的所述二维转换算法。
3.一种图像处理装置，其特征在于，具备：
三维数据获取部，获取表面上映射有拍摄图像的三维模型的三维数据；
正解图像获取部，获取作为正解图像使用的拍摄图像数据；
二维图像生成部，根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；以及
评价值计算部，算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部具备：
三维数据生成部，根据规定的三维转换算法从图像数据生成三维模型的三维数据；
第一差分值计算部，算出所述三维数据生成部根据所述二维图像生成部生成的所述二维图像数据而生成的三维数据与通过所述三维数据获取部获得的所述三维数据之差作为第一差分值；
第二差分值计算部，算出所述二维图像生成部基于所述三维数据生成部根据所述正解图像获取部获得的所述拍摄图像数据生成的三维数据而生成的二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据之差作为第二差分值；以及
第三评价值计算部，算出通过所述第一差分值计算部算出的所述第一差分值与通过所述第二差分值计算部算出的所述第二差分值的总值作为第三评价值；
并且，以使通过所述第三评价值计算部算出的所述第三评价值最小化的方式改变所述二维图像生成部的所述二维转换算法及所述三维数据生成部的所述三维转换算法。
4.一种图像处理装置，其特征在于，具备：
三维数据获取部，获取表面上映射有拍摄图像的三维模型的三维数据；
正解图像获取部，获取作为正解图像使用的拍摄图像数据；
二维图像生成部，根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；以及
评价值计算部，算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部具备第一评价值计算部、第二评价值计算部、第三评价值计算部以及第四评价值计算部中的至少两个计算部；
所述第一评价值计算部将通过所述三维数据获取部获得的所述三维数据、和通过所述正解图像获取部获得的所述拍摄图像数据或通过所述二维图像生成部生成的所述二维图像数据作为输入，并根据规定的识别算法识别被输入的图像是正解图像还是通过所述二维图像生成部生成的二维图像数据，并算出识别为所述正解图像的概率作为第一评价值；
所述第二评价值计算部具有为了所述二维图像数据的图像分类而已学习完毕的神经网络，并在构成该神经网络的各层中算出分别根据所述正解图像获取部获得的所述拍摄图像数据及所述二维图像生成部生成的所述二维图像数据生成的特征量之差的总值或平均值作为第二评价值；
所述第三评价值计算部算出根据规定的三维转换算法从所述二维图像生成部生成的所述二维图像数据而生成的三维数据与通过所述三维数据获取部获得的所述三维数据之差作为第一差分值，并算出所述二维图像生成部基于根据所述规定的三维转换算法从所述正解图像获取部获得的所述拍摄图像数据生成的三维数据而生成的二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据之差作为第二差分值，并且，算出该算出的所述第一差分值与所述第二差分值的总值作为第三评价值；
所述第四评价值计算部算出通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据之差作为第四评价值；
并且，以使通过所述至少两个计算部算出的评价值分别最佳化的方式改变所述二维转换算法，在所述至少两个计算部中包含所述第一评价值计算部的情况下，以使将所述二维图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最小化，并使将所述拍摄图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最大化的方式进一步改变所述识别算法，在所述至少两个计算部中包含所述第三评价值计算部的情况下，以使所述第三评价值最小化的方式进一步改变所述三维转换算法。
5.如权利要求4所述的图像处理装置，其特征在于，
取代使通过所述至少两个计算部算出的评价值分别最佳化，而对通过所述至少两个计算部算出的评价值进行加权求和，并以使该加权和值最佳化的方式改变所述二维转换算法。
6.一种计算机可读的存储介质，其存储有图像生成用程序，其特征在于，
所述图像生成用程序使计算机作为三维数据获取部、正解图像获取部、二维图像生成部以及评价值计算部发挥作用；
所述三维数据获取部获取表面上映射有拍摄图像的三维模型的三维数据；
所述正解图像获取部获取作为正解图像使用的拍摄图像数据；
所述二维图像生成部根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；
所述评价值计算部算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
并且，所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部作为第一评价值计算部发挥作用，所述第一评价值计算部将通过所述三维数据获取部获得的所述三维数据、和通过所述正解图像获取部获得的所述拍摄图像数据或通过所述二维图像生成部生成的所述二维图像数据作为输入，并根据规定的识别算法识别被输入的图像是正解图像还是通过所述二维图像生成部生成的二维图像数据，并算出识别为所述正解图像的概率作为第一评价值；
并且，以使将所述二维图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最大化的方式改变所述二维图像生成部的所述二维转换算法，以使将所述二维图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最小化，并使将所述拍摄图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最大化的方式改变所述第一评价值计算部的所述识别算法。
7.一种计算机可读的存储介质，其存储有图像生成用程序，其特征在于，
所述图像生成用程序使计算机作为三维数据获取部、正解图像获取部、二维图像生成部以及评价值计算部发挥作用；
所述三维数据获取部获取表面上映射有拍摄图像的三维模型的三维数据；
所述正解图像获取部获取作为正解图像使用的拍摄图像数据；
所述二维图像生成部根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；
所述评价值计算部算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
并且，所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部作为第二评价值计算部发挥作用，所述第二评价值计算部具有为了所述二维图像数据的图像分类而已学习完毕的神经网络，并在构成该神经网络的各层中算出与所述正解图像获取部获得的所述拍摄图像数据及所述二维图像生成部生成的所述二维图像数据分别相关的值之差的总值或平均值作为第二评价值；
并且，以使通过所述第二评价值计算部算出的所述第二评价值最小化的方式改变所述二维图像生成部的所述二维转换算法。
8.一种计算机可读的存储介质，其存储有图像生成用程序，其特征在于，
所述图像生成用程序使计算机作为三维数据获取部、正解图像获取部、二维图像生成部以及评价值计算部发挥作用；
所述三维数据获取部获取表面上映射有拍摄图像的三维模型的三维数据；
所述正解图像获取部获取作为正解图像使用的拍摄图像数据；
所述二维图像生成部根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；
所述评价值计算部算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
并且，所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部作为三维数据生成部、第一差分值计算部、第二差分值计算部以及第三评价值计算部发挥作用；
所述三维数据生成部根据规定的三维转换算法从图像数据生成三维模型的三维数据；
所述第一差分值计算部算出所述三维数据生成部根据所述二维图像生成部生成的所述二维图像数据而生成的三维数据与通过所述三维数据获取部获得的所述三维数据之差作为第一差分值；
所述第二差分值计算部算出所述二维图像生成部基于所述三维数据生成部根据所述正解图像获取部获得的所述拍摄图像数据生成的三维数据而生成的二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据之差作为第二差分值；
所述第三评价值计算部算出通过所述第一差分值计算部算出的所述第一差分值与通过所述第二差分值计算部算出的所述第二差分值的总值作为第三评价值；
并且，以使通过所述第三评价值计算部算出的所述第三评价值最小化的方式改变所述二维图像生成部的所述二维转换算法及所述三维数据生成部的所述三维转换算法。
9.一种计算机可读的存储介质，其存储有图像生成用程序，其特征在于，
所述图像生成用程序使计算机作为三维数据获取部、正解图像获取部、二维图像生成部以及评价值计算部发挥作用；
所述三维数据获取部获取表面上映射有拍摄图像的三维模型的三维数据；
所述正解图像获取部获取作为正解图像使用的拍摄图像数据；
所述二维图像生成部根据规定的二维转换算法从所述三维数据获取部获得的三维数据生成二维图像数据；
所述评价值计算部算出表示通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据的近似性的评价值；
并且，所述二维图像生成部通过学习改变所述二维转换算法，以使针对将所述三维数据输入所述二维图像生成部并反复进行处理时生成的所述二维图像数据每次算出的所述评价值最佳化；
所述评价值计算部作为第一评价值计算部、第二评价值计算部、第三评价值计算部以及第四评价值计算部中的至少两个计算部发挥作用；
所述第一评价值计算部将通过所述三维数据获取部获得的所述三维数据、和通过所述正解图像获取部获得的所述拍摄图像数据或通过所述二维图像生成部生成的所述二维图像数据作为输入，并根据规定的识别算法识别被输入的图像是正解图像还是通过所述二维图像生成部生成的二维图像数据，并算出识别为所述正解图像的概率作为第一评价值；
所述第二评价值计算部具有为了所述二维图像数据的图像分类而已学习完毕的神经网络，并在构成该神经网络的各层中算出分别根据所述正解图像获取部获得的所述拍摄图像数据及所述二维图像生成部生成的所述二维图像数据生成的特征量之差的总值或平均值作为第二评价值；
所述第三评价值计算部算出根据规定的三维转换算法从所述二维图像生成部生成的所述二维图像数据而生成的三维数据与通过所述三维数据获取部获得的所述三维数据之差作为第一差分值，并算出所述二维图像生成部基于根据所述规定的三维转换算法从所述正解图像获取部获得的所述拍摄图像数据生成的三维数据而生成的二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据之差作为第二差分值，并且，算出该算出的所述第一差分值与所述第二差分值的总值作为第三评价值；
所述第四评价值计算部算出通过所述二维图像生成部生成的所述二维图像数据与通过所述正解图像获取部获得的所述拍摄图像数据之差作为第四评价值；
并且，以使通过所述至少两个计算部算出的评价值分别最佳化的方式改变所述二维转换算法，在所述至少两个计算部中包含所述第一评价值计算部的情况下，以使将所述二维图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最小化，并使将所述拍摄图像数据作为输入并通过所述第一评价值计算部算出的所述第一评价值最大化的方式进一步改变所述识别算法，在所述至少两个计算部中包含所述第三评价值计算部的情况下，以使所述第三评价值最小化的方式进一步改变所述三维转换算法。
10.如权利要求9所述的计算机可读的存储介质，其特征在于，
取代使通过所述至少两个计算部算出的评价值分别最佳化，而对通过所述至少两个计算部算出的评价值进行加权求和，并以使该加权和值最佳化的方式改变所述二维转换算法。
CN201980002055.7A 2018-04-06 2019-04-04 图像处理装置及二维图像生成用程序 Active CN110546687B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018073826A JP6601825B2 (ja) 2018-04-06 2018-04-06 画像処理装置および２次元画像生成用プログラム
JP2018-073826 2018-04-06
PCT/JP2019/014985 WO2019194282A1 (ja) 2018-04-06 2019-04-04 画像処理装置および２次元画像生成用プログラム

Publications (2)

Publication Number Publication Date
CN110546687A CN110546687A (zh) 2019-12-06
CN110546687B true CN110546687B (zh) 2022-05-17

Family

ID=68100715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980002055.7A Active CN110546687B (zh) 2018-04-06 2019-04-04 图像处理装置及二维图像生成用程序

Country Status (6)

Country Link
US (1) US10893252B2 (zh)
EP (1) EP3591620B1 (zh)
JP (1) JP6601825B2 (zh)
CN (1) CN110546687B (zh)
ES (1) ES2906626T3 (zh)
WO (1) WO2019194282A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763231B (zh) 2020-06-08 2024-02-09 北京京东乾石科技有限公司 模型生成方法、图像透视图确定方法、装置、设备及介质
CN112509129B (zh) * 2020-12-21 2022-12-30 神思电子技术股份有限公司 一种基于改进gan网络的空间视场图像生成方法
CN112634128B (zh) * 2020-12-22 2022-06-14 天津大学 一种基于深度学习的立体图像重定向方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012025786A1 (en) * 2010-08-24 2012-03-01 Penjani Wallen Mphepo Autostereoscopic 3-dimensional display system
CN102472609A (zh) * 2009-07-28 2012-05-23 佳能株式会社 位置和姿势校准方法及设备
CN103761767A (zh) * 2014-01-02 2014-04-30 华南理工大学 一种基于稀疏数据的三维超声图像快速重建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643671B2 (en) * 2003-03-24 2010-01-05 Animetrics Inc. Facial recognition system and method
JP2006004158A (ja) 2004-06-17 2006-01-05 Olympus Corp 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体
US7860340B2 (en) 2004-11-04 2010-12-28 Nec Corporation Three-dimensional shape estimation system and image generation system
JP6270450B2 (ja) 2013-12-13 2018-01-31 キヤノン株式会社 放射線検出装置、放射線検出システム、及び、放射線検出装置の製造方法
JP6650689B2 (ja) 2015-06-04 2020-02-19 キヤノン株式会社 サムネイル画像作成装置、３次元造形システム
US10451403B2 (en) * 2015-10-23 2019-10-22 The Boeing Company Structure-based camera pose estimation system
US20180012411A1 (en) * 2016-07-11 2018-01-11 Gravity Jack, Inc. Augmented Reality Methods and Devices
US10290119B2 (en) * 2016-09-15 2019-05-14 Sportsmedia Technology Corporation Multi view camera registration
WO2018216207A1 (ja) * 2017-05-26 2018-11-29 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102472609A (zh) * 2009-07-28 2012-05-23 佳能株式会社 位置和姿势校准方法及设备
WO2012025786A1 (en) * 2010-08-24 2012-03-01 Penjani Wallen Mphepo Autostereoscopic 3-dimensional display system
CN103761767A (zh) * 2014-01-02 2014-04-30 华南理工大学 一种基于稀疏数据的三维超声图像快速重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CNN-Based Real-Time Dense Face Reconstruction with Inverse-Rendered Photo-Realistic Face Images;Yudong Guo et al.;《ARXIV.ORG》;20170831;1294-1307 *
Unsupervised Image-to-Image Translation Networks;Ming-Yu Liu et al.;《ARXIV.ORG》;20170302;1-11 *

Also Published As

Publication number Publication date
US20200092529A1 (en) 2020-03-19
JP6601825B2 (ja) 2019-11-06
CN110546687A (zh) 2019-12-06
JP2019185295A (ja) 2019-10-24
WO2019194282A1 (ja) 2019-10-10
EP3591620A1 (en) 2020-01-08
US10893252B2 (en) 2021-01-12
EP3591620A4 (en) 2020-03-18
ES2906626T3 (es) 2022-04-19
EP3591620B1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
Riegler et al. Octnetfusion: Learning depth fusion from data
Li et al. Monocular real-time volumetric performance capture
Dai et al. A 3d morphable model of craniofacial shape and texture variation
US20200272806A1 (en) Real-Time Tracking of Facial Features in Unconstrained Video
CN110546687B (zh) 图像处理装置及二维图像生成用程序
JP2018163554A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
EP3905194A1 (en) Pose estimation method and apparatus
CN112651944B (zh) 基于cad模型的3c部件高精度六维位姿估计方法及系统
US20190197727A1 (en) Object recognition processing apparatus, object recognition processing method, and program
CN113012293A (zh) 石刻模型构建方法、装置、设备及存储介质
Orts-Escolano et al. 3d surface reconstruction of noisy point clouds using growing neural gas: 3d object/scene reconstruction
JP2019008571A (ja) 物体認識装置、物体認識方法、プログラム、及び学習済みモデル
Ong et al. Tracking hybrid 2D-3D human models from multiple views
JP2014013432A (ja) 特徴量抽出装置および特徴量抽出方法
JP2008242833A (ja) ３次元の人の顔の表面データを再構築するための装置及びプログラム
JP2019133545A (ja) 特徴表現装置、それを含む認識システム、及び特徴表現プログラム
Nguyen et al. High-definition texture reconstruction for 3D image-based modeling
Akizuki et al. ASM-Net: Category-level Pose and Shape Estimation Using Parametric Deformation.
WO2019192745A1 (en) Object recognition from images using cad models as prior
CN106056599B (zh) 一种基于物体深度数据的物体识别算法及装置
JP2008261756A (ja) ステレオ画像対から３次元の頭部姿勢をリアルタイムで推定するための装置及びプログラム
JP7391784B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11620479B2 (en) System for determining diverting availability of object recognition model
Nadar et al. Sensor simulation for monocular depth estimation using deep neural networks
JP6282121B2 (ja) 画像認識装置、画像認識方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant