CN107871326B - 图像处理装置、图像处理方法和存储介质 - Google Patents

图像处理装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN107871326B
CN107871326B CN201710872368.0A CN201710872368A CN107871326B CN 107871326 B CN107871326 B CN 107871326B CN 201710872368 A CN201710872368 A CN 201710872368A CN 107871326 B CN107871326 B CN 107871326B
Authority
CN
China
Prior art keywords
data
shape
dimensional object
convex shape
concave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710872368.0A
Other languages
English (en)
Other versions
CN107871326A (zh
Inventor
岩尾知赖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107871326A publication Critical patent/CN107871326A/zh
Application granted granted Critical
Publication of CN107871326B publication Critical patent/CN107871326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
    • B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
    • B29C64/00—Additive manufacturing, i.e. manufacturing of three-dimensional [3D] objects by additive deposition, additive agglomeration or additive layering, e.g. by 3D printing, stereolithography or selective laser sintering
    • B29C64/30—Auxiliary operations or equipment
    • B29C64/386—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Materials Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像处理装置、图像处理方法和存储介质。该图像处理装置包括：生成单元，其被构造为通过分析图像数据来生成第一区域数据和第二区域数据，所述第一区域数据指示与包括在三维物体中的多个束中的各个束的总体凹凸形状相对应的区域，所述第二区域数据指示与包括在各个束中的极小物质的凹凸形状相对应的区域；以及输出单元，其被构造为在基于第一区域数据和第二区域数据，通过将包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状加入到所述三维物体的总体凹凸形状、并且将包括在各个束中的极小物质的凹凸形状加入到包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状上，来校正形状数据之后，输出形状数据。

Description

图像处理装置、图像处理方法和存储介质
技术领域
本公开涉及一种用于再现物体的表面上的极小凹凸形状(uneven shape)的图像处理技术。
背景技术
近年来，为了在例如使用三维(3D)打印机制造胸像(bust)和美容化妆品的计算机图形(CG)再现中使用，需要用于获取并再现人的头部的三维形状的技术。作为用于获取表现头发纹理的数据的技术，日本特开第3832065号公报讨论了：可以从图像中提取与头发相对应的部分，并且可以向提取的部分加入波动(undulation)。
然而，日本特开第3832065号公报中所讨论的技术用预先登记的精细头发样式替代表现从图像中提取的、与头发相对应的部分的头发图像，并且因此不能再现流过大范围的发束。此外，以高精度再现精细凹凸需要准备各自具有精细改变的直线方向的大量的头发样式的模板。
发明内容
本公开旨在提供用于以高精度再现存在于物体表面上的纤维凹凸形状的图像处理。
根据本公开的一个方面，提供了一种图像处理装置，所述图像处理装置被构造为输出指示包括多个束的三维物体的形状的数据，所述多个束中的各个束包括多个极小物质，所述图像处理装置包括：第一获取单元，其被构造为获取通过对所述三维物体进行摄像而获取的图像数据；第二获取单元，其被构造为获取指示所述三维物体的总体凹凸形状的形状数据；生成单元，其被构造为通过分析图像数据来生成第一区域数据和第二区域数据，所述第一区域数据指示与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应的区域，所述第二区域数据指示与包括在各个束中的极小物质的凹凸形状相对应的区域；以及输出单元，其被构造为在基于所述第一区域数据和所述第二区域数据，通过将包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状加入到所述三维物体的总体凹凸形状、并且将包括在各个束中的极小物质的凹凸形状加入到包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状上，来校正形状数据之后，输出形状数据。
从以下参照附图对示例性实施例的描述，本公开的其它特征将变得清楚。
附图说明
图1是头发的示意图。
图2是根据主题公开的一个或多个实施例示出图像处理装置的硬件构造的一个示例的框图。
图3根据主题公开的一个或多个实施例示出用于从多个视点对目标物体进行摄像的方法的示例。
图4是根据主题公开的一个或多个实施例示出图像处理装置的逻辑构造的示例的框图。
图5是根据主题公开的一个或多个实施例示出由图像处理装置进行的处理的流程的流程图。
图6根据主题公开的一个或多个实施例示出处理结果的示例。
图7根据主题公开的一个或多个实施例示出处理结果的示例。
图8A、图8B和图8C根据主题公开的一个或多个实施例各自示出凹凸形状的示例。
具体实施方式
在下面的描述中，将参照附图描述本公开的示例性实施例。然而，将在下面描述的示例性实施例不旨在限制本公开，并且并非在本示例性实施例中将要描述的所有特征的组合对于本公开的解决方案是必需的。将以相同的附图标记来标识相似的构造。
在下面的描述中，将描述第一示例性实施例。图1是头发的示意图。如图1所示，头发的形状可以被认为包括两种类型的凹凸：低频凹凸(发束)和高频凹凸(一根头发到几根头发)。换句话说，头发是包括多个束的三维物体，各个束包括多个极小物质(纤维)。将基于以下示例来描述本示例性实施例。图像中与头发相对应的区域被认为包括低频凹凸和高频凹凸(具有比低频凹凸更高频率的凹凸)，并且低频凹凸和高频凹凸各自的位置(区域)被识别。然后，在表现头发的总体形状的三维形状数据上的对应位置(区域)处加入极小的形状。凹凸的频率是当凹凸被认为是一个凹陷(dent)和一个凸起(bump)形成一个周期的波时的频率。
图2示出根据本示例性实施例的图像处理装置1的硬件构造的示例。图像处理装置1例如是计算机，并且包括中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103。CPU 101通过使用RAM 103作为工作存储器来执行存储在ROM 102、硬盘驱动器(HDD)15等中的操作系统(OS)和各种程序。此外，CPU 101经由系统总线107控制各个构造。在将存储在ROM 102、HDD 15等中的程序代码展开到RAM 103中的情况下，由CPU 101执行根据下面将描述的流程图的处理。诸如鼠标和键盘的输入设备12以及打印机13经由串行总线11连接到通用接口(I/F)104。HDD 15和通用驱动器16经由串行总线14连接到串行高级技术附件(SATA)I/F 105，该通用驱动器16从各种记录介质读取数据并向各种记录介质写入数据。CPU 101使用HDD 15和安装在通用驱动器16上的各种记录介质作为存储各种数据的位置。显示器17连接到视频I/F 106。CPU 101在显示器17上显示由程序提供的用户界面(UI)，并接收经由输入设备12接收的输入，诸如用户指令。
图4是示出根据本示例性实施例的图像处理装置1的功能构造的框图。图像处理装置1包括图像获取单元301、形状获取单元302、第一生成单元303、第二生成单元304和输出单元305。图像获取单元301获取通过从多个视点对目标物体摄像而获取的多条图像数据。形状获取单元302从多条图像数据中获取指示目标物体(被摄体)的三维形状(总体凹凸形状)的三维形状数据。第一生成单元303在由图像数据指示的图像中的与头发相对应的区域中，识别与低频凹凸相对应的区域的位置，并且生成指示低频凹凸区域的第一区域数据。这里，低频凹凸是包括在三维物体中的多个发束中的各个发束的总体凹凸形状。第二生成单元304在由图像数据指示的图像中的与头发相对应的区域中，识别与高频凹凸相对应的区域的位置，并且生成指示高频凹凸区域的第二区域数据。这里，高频凹凸是包括在各个发束中的极小物质(纤维)的凹凸形状。输出单元305通过在三维形状数据中的与由第一区域数据指示的区域相对应的区域处加入半圆柱形凹凸，来校正三维形状数据。此外，输出单元305通过在三维形状数据中的与由第二区域数据指示的区域相对应的区域处加入半圆柱形凹凸，来校正三维形状数据。然后，输出单元305将校正的三维形状数据输出到诸如HDD 15的外部设备。
接下来，将参考图5所示的流程图描述由图像处理装置1进行的处理。CPU 101使用RAM 103作为工作存储器来执行存储在ROM 102中的程序，由此，图像处理装置1用作图4所示的各个块，并执行图5所示的各个步骤中的处理。下面将描述的处理不必完全由CPU 101执行，并且图像处理装置1可以被构造为使得处理的一部分或全部由一个或多个处理电路而不是CPU 101执行。在下面的描述中，通过在步骤号之前添加“S”来指示各个步骤(处理)。
在步骤S401中，图像获取单元301从诸如HDD 15的外部存储设备307获取作为处理目标的多条图像数据，并将获取的数据输出到形状获取单元302、第一生成单元303和第二生成单元304。这里获取的图像数据是如图3所示那样通过使用摄像设备201至203从多个视点(多个方向)对目标物体204进行摄像而获取的图像组。将多条图像数据输出到形状获取单元302，以获取目标物体204的三维形状。在多条图像数据中，通过从前方对目标物体204进行摄像而获取的一条图像数据(由摄像设备202进行摄像而获取的图像数据)被输出到第一生成单元303和第二生成单元304。图像处理装置1可以被构造为通过接收来自用户的指令而选择待输出到第一生成单元303和第二生成单元304的一条图像数据。
在步骤S402中，形状获取单元302基于从图像获取单元301输入的多条图像数据来获取指示目标物体204的三维形状(发型的总体形状)的三维形状数据，并将所获取的三维形状数据输出到输出单元305。根据通过从多个视点进行摄像而获取的图像组生成三维形状的方法的一个示例是已知的立体匹配。立体匹配是使用从不同视点拍摄的多个图像来获取物体的三维形状的技术。在本示例性实施例中，使用该立体匹配来获取三维形状。用于获取三维形状的方法不限于上述立体匹配，并且形状获取单元302可以直接获取通过例如使用激光扫描器或深度传感器的测量或计算机图形(CG)渲染而获取的三维形状数据。此外，形状获取单元302可以通过利用上述方法预先生成三维形状数据并将所生成的三维形状数据存储到诸如HDD 15的外部存储设备307中，来获取三维形状数据，而不在本步骤中生成三维形状数据。通常，试图获取诸如头发的详细形状而生成的三维形状数据包含大量的噪声，并且因此应经受降噪处理(平滑化处理)。然而，这种降噪处理导致如头发的详细形状的不期望的损失。另一方面，试图获取粗略形状而生成的三维形状数据不包含如头发的详细形状。根据本示例性实施例的三维形状数据是通过上述方法生成的数据以及指示总体凹凸形状的数据，该总体凹凸形状不包含低频凹凸(发束)和高频凹凸(一根头发到几根头发)。
在步骤S403中，第一生成单元303通过分析从图像获取单元301输入的图像数据来识别低频凹凸的位置。在本示例性实施例中，第一生成单元303通过在对图像数据应用平滑滤波器之后检测边缘(亮度变化)来识别图像数据中的低频凹凸的位置。为了识别低频凹凸的位置，第一生成单元303首先使图像平滑化，以便于识别实际尺寸约为5mm至1cm的低频凹凸的位置。在本示例性实施例中，将高斯滤波器应用于图像数据，来作为用于平滑化图像(降低图像的分辨率)的处理。假设I表示图像数据中的亮度值，σg表示标准偏差，并且2w+1是滤波器尺寸，当将高斯滤波器应用于像素(u，v)时的输出亮度值Ig由等式(1)表示。
Figure BDA0001417370160000061
在该等式(1)中，标准偏差σg对应于低频凹凸的周期。如果由图像获取单元301获取的数据是指示颜色信号(红-绿-蓝(RGB)值)的图像数据，则在对图像数据应用高斯滤波器之前，使用已知转换等式预先将该数据预先转换为指示亮度的灰度图像数据。可以通过预先在外部存储设备307中准备灰度图像数据并由图像获取单元301获取该灰度图像数据，来实现灰度图像数据的获取。
可以使用移动平均滤波器、中值滤波器或其他滤波器来代替上述高斯滤波器。在使用移动平均滤波器的情况下的输出亮度值IA由等式(2)表示。
Figure BDA0001417370160000062
另外，中值滤波器是这样的滤波器：其对关注像素和该像素周围的区域的亮度值按照降序来重新排序，并且当亮度值被重新排序时输出中值。
接下来，第一生成单元303在应用了高斯滤波器的图像数据上卷积非锐化掩模(unsharp mask)，以识别低频凹凸的位置。非锐化掩模是用于强调像素之间的色差的滤波器之一。假设2w’+1是滤波器尺寸，并且k表示锐化常数，则通过等式(3)表示当对非锐化掩模进行卷积时的输出图像的亮度值I’。通常，非锐化掩模的滤波器尺寸近似匹配高斯滤波器的滤波器尺寸。
I’(u，v，w’)＝I(u，v)+k(I(u，v)-Ig(u，v，w’))...(3)
可以使用Gabor滤波器代替非锐化掩模来检测边缘(可以识别凹凸的位置)。
最后，假设t表示关于亮度的阈值，第一生成单元303通过等式(4)对卷积了非锐化掩模的图像数据进行二值化处理。通过该操作，第一生成单元303生成指示低频凹凸区域的位置(与I”＝1对应的位置)的第一区域数据(二进制数据)。
Figure BDA0001417370160000071
在步骤S404中，第二生成单元304通过分析从图像获取单元301输出的图像数据来识别高频凹凸的位置(周期：大约1mm至5mm)。在本示例性实施例中，第二生成单元304通过在不对图像数据应用平滑滤波器的情况下检测边缘来识别图像数据中的高频凹凸的位置。第二生成单元304在将非锐化掩模直接卷积在图像数据上之后，与第一生成单元303类似地进行二值化处理，来识别高频凹凸的位置。第二生成单元304基于识别结果生成指示高频凹凸区域的位置的第二区域数据(二进制数据)。
在步骤S405中，输出单元305基于第一区域数据，在三维图像数据上与由第一生成单元303识别的低频凹凸的位置相对应的位置处加入低频凹凸。在本示例性实施例中，如图8A所示的示例，假设加入的预定凹凸的形状为半圆柱形状。凹凸的形状不限于圆柱形状，并且也可以是如图8B和图8C所示的示例的截面为梯形或矩形的棒状形状。下面将描述用于校正三维形状数据以加入低频凹凸的方法。
在步骤S406中，输出单元305在三维图像数据上与由第二生成单元304识别的高频凹凸的位置相对应的位置处加入高频凹凸。假设加入的预定凹凸的形状是半圆柱形状，但是与步骤S405类似，该形状可以是截面为梯形或矩形的棒状形状。然后，在步骤S406中加入的高频凹凸的周期比低频凹凸的周期短。下面将描述用于校正三维形状数据以加入高频凹凸的方法。
在下面的描述中，将描述用于校正三维形状数据以加入低频凹凸的处理(步骤S405)。在本示例性实施例中，假设从立体匹配获取的指示发型的总体形状的三维形状数据是深度数据。深度数据是指示从被摄体到摄像装置的距离(深度)的数据。三维形状数据不限于深度数据，并且可以是网格数据、点组数据或其他数据。替代性地，三维形状数据可以是指示距图像的表面的高度的数据。
首先，通过等式(5)，针对在各个像素处具有深度d(u，v)的深度数据，来计算各个像素的法向向量n(n，v)。
Figure BDA0001417370160000083
在该等式(5)中，
Figure BDA0001417370160000084
表示梯度。接下来，转换在步骤S403中获取的二进制数据中与像素值为1的像素相对应的法向向量。在二进制数据I”中，从左上像素到右下像素水平地逐行搜索像素值为1的像素。然后，基于位于像素值为1的水平连接像素的组的中心处的像素的法向向量(u，v)，转换与像素组中的各个像素相对应的法向向量。此时，通过等式(6)转换法向向量，其中，假设c表示连接像素的数量，(u’，v’)表示中心像素，并且Rθ表示用于绕y轴旋转θ的三维旋转矩阵。
Figure BDA0001417370160000081
针对法向向量被转换的像素，通过等式(7)根据法向向量计算深度，并且用该深度替换深度值。
Figure BDA0001417370160000082
以这种方式校正加入凹凸的区域的深度，由此，在三维形状数据上再现低频凹凸。
接下来，将描述用于校正三维形状数据以加入高频凹凸的处理(步骤S406)。由于高频凹凸以叠加的方式加入到低频凹凸上，因此，在加入高频凹凸之前，使用指示低频凹凸区域的第一区域数据来校正指示高频凹凸区域的第二区域数据。针对校正，将0设置为指示高频凹凸区域的第二区域数据中的像素(该像素对应于指示低频凹凸区域的第一区域数据中的像素值为0的像素)的像素值。该设置防止在未加入低频凹凸的位置处加入高频凹凸。在校正第二区域数据之后，通过等式(5)计算法向向量，并且然后，类似于步骤S405，通过等式(6)转换与高频凹凸的位置相对应的法向向量。然后，通过等式(7)计算法向向量被转换的像素的深度，并且用该深度替换深度值。
以这种方式，根据本示例性实施例的图像处理装置1检测应用了平滑滤波器的图像数据以及未应用平滑滤波器的图像数据的边缘，并且识别低频凹凸的位置和高频凹凸的位置。然后，根据本示例性实施例的图像处理装置1通过校正由与所识别的位置中的各个位置相对应的三维形状数据所指示的位置的深度，来再现头发的极小的凹凸。图6示出通过将作为在其表面上具有纤维凹凸的物体的假发(头发)进行摄像，并且根据摄像数据再现该假发来获取的形状，从而使本示例性实施例的效果容易理解。从图6可以确认，能够再现低频形状和高频形状二者。此外，该处理也可以应用到具有精细纤维结构的织物。图7示出从拍摄的针织帽获取的形状。从图7可以确认，与头发类似地，也能够针对针织帽再现低频形状和高频形状二者。以这种方式，根据本示例性实施例，也能够再现具有与头发类似的微观结构的被摄体的形状。
[变形例]
在上述示例性实施例中，头发的极小的凹凸形状被再现在三维形状数据上，但是也可以通过控制由二维图像数据指示的图像表面的高度来再现凹凸形状。在这种情况下，图像获取单元301获取一条图像数据。图像获取单元301将图像数据输出到第一生成单元303和第二生成单元304。形状获取单元302从外部存储设备307获取二维图像数据，该二维图像数据具有在各个像素处距基准面的高度或深度。然后，对在与由第一生成单元303和第二生成单元304识别的位置中的各个位置相对应的像素处的高度或深度进行校正。通过上述处理，能够在二维图像数据上再现头发的极小的凹凸形状。
在上述示例性实施例中，在三维形状数据上再现头发的极小的凹凸形状，但是，可以通过将三维形状数据(或二维图像数据)输出到打印机而通过打印产品再现头发的极小的凹凸形状。在这种情况下，3D打印机或者能够在记录介质的表面上形成凹凸的打印机能够被用作向其输出数据的打印机。
在上述示例性实施例中，通过使用识别凹凸区域的区域数据将凹凸加入到三维形状数据，而不对区域数据进行任何校正。然而，指示所识别的凹凸区域的区域数据可能包含噪声，并且因此，可以在降低该噪声之后加入凹凸。在这种情况下，在通过等式(6)转换法向向量之前降低噪声。用于降低噪声的方法的一个示例是使用关注像素周围的连接像素的数量的方法。如果针对与关注像素相邻的连接像素的数量设置阈值t’，则如等式(8)所指示的那样提供二值化处理。等式(8)是被准备以进行如下处理的等式，该处理为：如果连接像素的数量小于阈值t’，则将该像素值视为噪声。
Figure BDA0001417370160000101
噪声降低不限于上述一个示例，并且可以使用中值滤波器来降低噪声。
在上述示例性实施例中，使用等式(6)来转换法向向量，但是法向向量的转换不限于上述一个示例。可以转换法向向量以减少与凹凸的宽度相对应的连接像素的数量(从而使所加入的凹凸的截面直径比识别的位置的截面直径窄)，以加入更加锐化的凹凸。假设r表示连接像素的数量所减少的像素数量，则如等式(9)所指示的，提供法向向量的转换。
Figure BDA0001417370160000102
在上述示例性实施例中，通过在形状数据的相应区域处加入具有预定特定形状的凹凸来校正形状数据，但是本示例性实施例不限于此。例如，本示例性实施例可以以如下方式构造。基于所获取的图像数据来识别包括在三维物体中的多个束中的各个束的总体凹凸形状(低频凹凸)的尺寸和包括在各个束中的极小物质的凹凸形状(高频凹凸)的尺寸。然后，通过将与各个识别尺寸相对应的尺寸的凹凸形状加入到上述三维物体的总体凹凸形状，来校正上述形状数据。
在上述示例性实施例中，在二进制数据中水平地搜索待连接的像素，但可以垂直地搜索。
根据本公开，能够以高精度再现存在于物体表面上的纤维凹凸形状。
其他实施例
本公开的实施例还可以通过读出并执行记录在存储介质(也可以更完全地被称为“非暂时的计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行一个或多个上述实施例的功能并且/或者包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，并且通过由系统或装置的计算机执行的方法来实现，通过例如从存储介质读出并执行计算机可读指令以执行一个或多个上述实施例的功能并且/或者控制一个或多个电路以执行一个或多个上述实施例的功能。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络来读出并执行计算机可执行指令。该计算机可执行指令可以从例如网络或存储介质提供给计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储、光盘(诸如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)(注册商标))、闪存设备、存储卡等中的一个或多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本公开进行了描述，但是应当理解，本公开不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型、等同结构和功能。

Claims (20)

1.一种图像处理装置，所述图像处理装置被构造为输出指示包括多个束的三维物体的形状的数据，所述多个束中的各个束包括多个纤维，所述图像处理装置包括：
第一获取单元，其被构造为获取通过对所述三维物体进行摄像而获取的图像数据；
第二获取单元，其被构造为获取指示所述三维物体的总体凹凸形状的形状数据；
生成单元，其被构造为通过分析图像数据来生成第一区域数据和第二区域数据，所述第一区域数据指示与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应的区域，所述第二区域数据指示与包括在各个束中的纤维的凹凸形状相对应的区域；以及
输出单元，其被构造为在基于所述第一区域数据和所述第二区域数据，通过将包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状加入到所述三维物体的总体凹凸形状、并且将包括在各个束中的纤维的凹凸形状加入到包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状上，来校正形状数据之后，输出形状数据。
2.根据权利要求1所述的图像处理装置，
其中，所述第一获取单元获取通过从多个方向对所述三维物体进行摄像而获取的多条图像数据，并且
其中，所述第二获取单元基于所述多条图像数据生成并获取形状数据。
3.根据权利要求1所述的图像处理装置，其中，所述形状数据是通过使用激光扫描器或深度传感器的测量或通过CG渲染而获取的数据。
4.根据权利要求1所述的图像处理装置，其中，所述形状数据是作为所述三维物体的总体凹凸形状而指示所述三维物体距基准面的高度或深度的二维图像数据。
5.根据权利要求1所述的图像处理装置，其中，所述生成单元通过在平滑化图像数据之后检测图像数据的亮度的变化，来识别与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应的区域，并且通过在未平滑化图像数据的情况下检测图像数据的亮度的变化，来识别与包括在各个束中的纤维的凹凸形状相对应的区域。
6.根据权利要求5所述的图像处理装置，其中，所述生成单元在使用高斯滤波器来平滑化图像数据之后，识别与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应的区域。
7.根据权利要求5所述的图像处理装置，其中，所述生成单元在使用移动平均滤波器或中值滤波器来平滑化图像数据之后，识别与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应的区域。
8.根据权利要求5所述的图像处理装置，其中，所述生成单元使用非锐化掩模来检测亮度的变化。
9.根据权利要求5所述的图像处理装置，其中，所述生成单元使用Gabor滤波器来检测亮度的变化。
10.根据权利要求1所述的图像处理装置，
其中，所述形状数据是指示深度的数据，
其中，所述图像处理装置还包括：
计算单元，其被构造为计算所述三维物体的与由所述形状数据指示的深度相对应的表面上的法向向量；以及
转换单元，其被构造为转换所述法向向量，使得获取预定形状作为所述形状数据中的如下区域的形状，该区域与由所述第一区域数据指示的区域和由所述第二区域数据指示的区域中的各个区域相对应，由所述第一区域数据指示的区域与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应，由所述第二区域数据指示的区域与包括在各个束中的纤维的凹凸形状相对应，并且
其中，所述输出单元根据由所述转换单元转换的法向向量计算深度、并用计算出的深度替换由所述形状数据指示的深度，来校正所述形状数据。
11.根据权利要求10所述的图像处理装置，其中，所述预定形状为半圆柱形状。
12.根据权利要求10所述的图像处理装置，其中，所述预定形状是截面为梯形或矩形的棒状形状。
13.根据权利要求1所述的图像处理装置，其中，所述输出单元通过将具有如下尺寸的凹凸形状加入到所述三维物体的总体凹凸形状来校正形状数据，所述尺寸与基于图像数据识别的、包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状的尺寸和包括在各个束中的纤维的凹凸形状的尺寸中的各个尺寸相对应。
14.根据权利要求1所述的图像处理装置，其中，所述三维物体是头发。
15.根据权利要求1所述的图像处理装置，其中，所述三维物体是织物。
16.根据权利要求1所述的图像处理装置，其中，包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状包括具有5mm至1cm的周期的凹凸，并且包括在各个束中的纤维的凹凸形状包括具有1mm至5mm的周期的凹凸。
17.根据权利要求1所述的图像处理装置，所述图像处理装置还包括降低单元，所述降低单元被构造为降低包括在所述第一区域数据和所述第二区域数据中的噪声，
其中，所述输出单元基于通过所述降低单元降低了噪声的所述第一区域数据和所述第二区域数据，来校正所述形状数据。
18.根据权利要求10所述的图像处理装置，其中，所述转换单元转换所述法向向量，以使所述预定形状的截面直径比所述形状数据中的与由所述第一区域数据指示的区域和由所述第二区域数据指示的区域中的各个区域相对应的区域窄，由所述第一区域数据指示的区域与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应，由所述第二区域数据所指示的区域与包括在各个束中的纤维的凹凸形状相对应。
19.一种图像处理方法，所述图像处理方法用于输出指示包括多个束的三维物体的形状的数据，所述多个束中的各个束包括多个纤维，所述图像处理方法包括：
获取通过对所述三维物体进行摄像而获取的图像数据，作为第一获取；
获取指示所述三维物体的总体凹凸形状的形状数据，作为第二获取；
通过分析图像数据来生成第一区域数据和第二区域数据，所述第一区域数据指示与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应的区域，所述第二区域数据指示与包括在各个束中的纤维的凹凸形状相对应的区域；以及
在基于所述第一区域数据和所述第二区域数据，通过将包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状加入到所述三维物体的总体凹凸形状、并且将包括在各个束中的纤维的凹凸形状加入到包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状上，来校正形状数据之后，输出形状数据。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令在由计算机执行时使计算机执行如下方法，所述方法包括：
获取通过对包括多个束的三维物体进行摄像而获取的图像数据，作为第一获取，所述多个束中的各个束包括多个纤维；
获取指示所述三维物体的总体凹凸形状的形状数据，作为第二获取；
通过分析图像数据来生成第一区域数据和第二区域数据，所述第一区域数据指示与包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状相对应的区域，所述第二区域数据指示与包括在各个束中的纤维的凹凸形状相对应的区域；以及
在基于所述第一区域数据和所述第二区域数据，通过将包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状加入到所述三维物体的总体凹凸形状、并且将包括在各个束中的纤维的凹凸形状加入到包括在所述三维物体中的所述多个束中的各个束的总体凹凸形状上，来校正形状数据之后，输出形状数据。
CN201710872368.0A 2016-09-27 2017-09-25 图像处理装置、图像处理方法和存储介质 Active CN107871326B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016188407A JP6800676B2 (ja) 2016-09-27 2016-09-27 画像処理装置、画像処理方法及びプログラム
JP2016-188407 2016-09-27

Publications (2)

Publication Number Publication Date
CN107871326A CN107871326A (zh) 2018-04-03
CN107871326B true CN107871326B (zh) 2021-08-24

Family

ID=61686402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710872368.0A Active CN107871326B (zh) 2016-09-27 2017-09-25 图像处理装置、图像处理方法和存储介质

Country Status (4)

Country Link
US (1) US10430960B2 (zh)
JP (1) JP6800676B2 (zh)
KR (1) KR102255148B1 (zh)
CN (1) CN107871326B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11830131B2 (en) * 2018-02-06 2023-11-28 Veo Robotics, Inc. Workpiece sensing for process management and orchestration
US11347056B2 (en) * 2018-08-22 2022-05-31 Microsoft Technology Licensing, Llc Foveated color correction to improve color uniformity of head-mounted displays
US11423515B2 (en) * 2019-11-06 2022-08-23 Canon Kabushiki Kaisha Image processing apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1137966A (zh) * 1995-04-01 1996-12-18 株式会社珀蒂奥 立体加工装置
CN104883946A (zh) * 2012-12-20 2015-09-02 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
CN105654464A (zh) * 2014-11-28 2016-06-08 佳能株式会社 图像处理装置及图像处理方法
WO2016098298A1 (en) * 2014-12-19 2016-06-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20160247271A1 (en) * 2013-09-30 2016-08-25 Ihi Corporation Image analyzing apparatus and program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3832065B2 (ja) * 1997-12-26 2006-10-11 コニカミノルタホールディングス株式会社 ３次元形状データ処理装置
JPH11328444A (ja) * 1998-05-20 1999-11-30 Minolta Co Ltd モデリングシステム
JP2000339498A (ja) * 1999-05-31 2000-12-08 Minolta Co Ltd ３次元形状データ処理装置
WO2008099938A1 (ja) * 2007-02-16 2008-08-21 Kao Corporation 毛髪画像表示方法及び表示装置
US8884980B2 (en) * 2010-09-24 2014-11-11 Taaz, Inc. System and method for changing hair color in digital images
US20130170715A1 (en) * 2012-01-03 2013-07-04 Waymon B. Reed Garment modeling simulation system and process
JP5949331B2 (ja) * 2012-08-30 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1137966A (zh) * 1995-04-01 1996-12-18 株式会社珀蒂奥 立体加工装置
CN104883946A (zh) * 2012-12-20 2015-09-02 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜装置、程序和图像处理方法
US20160247271A1 (en) * 2013-09-30 2016-08-25 Ihi Corporation Image analyzing apparatus and program
CN105654464A (zh) * 2014-11-28 2016-06-08 佳能株式会社 图像处理装置及图像处理方法
WO2016098298A1 (en) * 2014-12-19 2016-06-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Also Published As

Publication number Publication date
KR102255148B1 (ko) 2021-05-24
JP6800676B2 (ja) 2020-12-16
JP2018055258A (ja) 2018-04-05
US10430960B2 (en) 2019-10-01
CN107871326A (zh) 2018-04-03
KR20180034237A (ko) 2018-04-04
US20180089850A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN108765273B (zh) 人脸拍照的虚拟整容方法和装置
CN109191584B (zh) 三维模型处理方法、装置、电子设备及可读存储介质
CN109102559B (zh) 三维模型处理方法和装置
US11037037B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable storage medium
US8805077B2 (en) Subject region detecting apparatus
JP5949331B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN107871326B (zh) 图像处理装置、图像处理方法和存储介质
US8923610B2 (en) Image processing apparatus, image processing method, and computer readable medium
US9762773B2 (en) Image processing apparatus and method for increasing sharpness of images
CN109191393B (zh) 基于三维模型的美颜方法
US20180336688A1 (en) Image processing apparatus and image processing method, and storage medium
US11798227B2 (en) Image processing apparatus and image processing method
Ling et al. Image quality assessment for DIBR synthesized views using elastic metric
JP6185807B2 (ja) シワ状態分析方法及びシワ状態分析装置
JP2012048326A (ja) 画像処理装置及びプログラム
US20140064633A1 (en) Image processing apparatus and image processing method
JP6467817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010066943A (ja) 画像処理方法および装置
JP6287170B2 (ja) 眉生成装置、眉生成方法及びプログラム
US20210174541A1 (en) Image-capturing control apparatus, image-capturing control method, and storage medium
JP4025656B2 (ja) 輪郭線分抽出方法、輪郭線分抽出装置、輪郭線分抽出プログラム、及びそのプログラムを記録した記録媒体
Hsiao et al. Using Regularity Unit As Guidance For Summarization-Based Image Resizing
JP6248863B2 (ja) 画像処理装置
Menaga et al. Identification of Facial Retouching Using Supervised Deep Learning Algorithm
CN113196293A (zh) 用于识别一个或多个字符的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant