CN110140145A - 图像处理装置、图像打印装置、拍摄装置及图像处理程序 - Google Patents

图像处理装置、图像打印装置、拍摄装置及图像处理程序 Download PDF

Info

Publication number
CN110140145A
CN110140145A CN201780080938.0A CN201780080938A CN110140145A CN 110140145 A CN110140145 A CN 110140145A CN 201780080938 A CN201780080938 A CN 201780080938A CN 110140145 A CN110140145 A CN 110140145A
Authority
CN
China
Prior art keywords
face
image
correcting area
correction
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780080938.0A
Other languages
English (en)
Inventor
大森圭祐
德井圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110140145A publication Critical patent/CN110140145A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

无法校正、或校正变得不适当的可能性比以往低的图像处理装置的图像处理装置(100)对包括脸部(500)的图像实施如下的校正处理:缩小/放大具有与脸部(500)的中心对应的位置和与脸部(500)的大小对应的尺寸的圆形的第一校正区域(501),并且放大/缩小第一校正区域的周围的第二校正区域(502)。

Description

图像处理装置、图像打印装置、拍摄装置及图像处理程序
技术领域
本公开的一个方案涉及一种对包括脸部作为被摄体的图像进行校正的图像处理装置。
背景技术
通过对图像实施放大或缩小特定的区域的校正,来使被摄体的印象发生变化的技术被广泛使用。例如,通过对包括人作为被摄体的图像实施缩小与脸部对应的区域的校正,能够使被摄体的印象比实际小脸。此外,对同样的图像,若实施在左右方向缩小与全身对应的区域的校正,则能够使被摄体的印象比实际体瘦,若实施在上下方向放大与腿对应的区域的校正,则能够使被摄体的印象比实际苗条。
作为公开了用于获得使脸部的印象发生了变化的图像的图像处理装置的文献,例如,可以列举出专利文献1。在专利文献1所记载的图像处理装置中,对包括脸部作为被摄体的图像,实施与基于脸部的长度L1以及脸部的宽度L2确定出的脸部的类型(“圆脸”“长脸”“方脸”等)对应的校正。
现有技术文献
专利文献
专利文献1:日本公开专利公报“日本特开2004-264893号公报”
发明内容
发明要解决的问题
然而,在专利文献1所记载的图像处理装置中存在以下问题。
即,在专利文献1所记载的图像处理装置中,从包括脸部作为被摄体的图像中检测出头顶部、下巴、嘴、右脸颊、左脸颊的各脸部器官之后,计算出头顶部至下巴的距离来做为脸部的长度L1,并且计算出嘴的高度处的右脸颊至左脸颊的距离来做为脸部的宽度L2。然而,不一定能从包括脸部作为被摄体的图像中始终检测出为了计算出脸部的长度L1以及脸部的宽度L2而需要参照其位置的这些脸部器官。
特别是,对于下巴、脸颊等构成脸部的轮廓的脸部器官而言,检测失败、或误检测的可能性高。例如,在成为被摄体的人将手放在脸颊上的情况下,脸颊和手都是肤色,因此难以准确地检测出脸颊与手的边界。因此,有时脸颊的检测失败、或将脸颊以外的部位误检测为脸颊。此外,下巴与脖子的边界根据脸部的朝向、摄像机的朝向、或照明条件而经常变得不鲜明。因此,有时下巴的检测失败、或将下巴以外的部位误检测为下巴。
当脸颊或下巴的检测失败时,无法计算出脸部的长度L1或脸部的宽度L2,因此无法确定脸部的类型,其结果是,无法进行校正。此外,当误检测出脸颊或下巴时,无法计算出正确的脸部的长度L1或脸部的宽度L2,因此无法确定正确的脸部的类型,其结果是,校正变得不适当。
如上所述,专利文献1所记载的图像处理装置必须进行容易检测失败或误检测的、构成脸部的轮廓的脸部器官(具体而言为下巴以及脸颊)的检测。因此,在专利文献1所记载的图像处理装置中,存在容易无法校正、或校正变得不适当的问题。
本公开的一个方案是鉴于上述问题而完成的,其目的在于,实现一种无法校正、或校正变得不适当的可能性比以往低的图像处理装置。
技术方案
本公开的一个方案的图像处理装置是一种对包括脸部的图像进行校正的图像处理装置,其具备校正部,所述校正部对所述图像实施如下的校正处理:缩小具有与所述脸部的中心对应的位置和与所述脸部的大小对应的尺寸的规定形状的第一校正区域,并且放大第一校正区域的周围的第二校正区域;或者,放大所述第一校正区域,并且缩小所述第二校正区域。
有益效果
根据本公开的一个方案,能够实现一种无法校正、或校正变得不适当的可能性比以往低的图像处理装置。
附图说明
图1是表示本公开的一个实施方式的图像打印装置的构成的框图。
图2是表示图1所示的图像打印装置的图像处理装置所具备的被摄体检测部的构成的框图。
图3是表示图1所示的图像处理装置所实施的图像处理的流程的流程图。
图4是表示包括人的脸部作为被摄体的输入图像的一个例子的图。
图5是表示基于在图4所示的输入图像中作为被摄体所包括的右眼、左眼、以及嘴而设定的第一校正区域以及第二校正区域的一个例子的图。
图6涉及图像校正处理,是表示校正前的点距校正中心的距离r与校正后的点距校正中心的距离r’的关系的曲线图。
图7涉及图像校正处理,是以箭头表示通过校正实现的各点的位移的图。
图8的(a)是表示在输入图像中作为被摄体所包括的脸部的图。图8的(b)是表示在输入图像中作为被摄体所包括的另一脸部的图。图8的(c)是将基于图8的(a)所示的脸部中所包括的右眼、左眼、以及嘴而设定的第一校正区域的外周与图8的(a)所示的脸部的轮廓一起描绘的图。图8的(d)是将基于图8的(b)所示的脸部中所包括的右眼、左眼、以及嘴而设定的第一校正区域的外周与图8的(b)所示的脸部的轮廓一起描绘的图。图8的(c)以及图8的(d)中的箭头表示通过校正实现的各点的位移。
图9的(a)表示在输入图像中作为被摄体所包括的脸部的图。图9的(b)是将基于图9的(a)所示的脸部中所包括的右眼、左眼、以及嘴而设定的第一校正区域的外周与图9的(a)所示的脸部的轮廓一起描绘的图。图9的(b)中的箭头表示通过校正实现的各点的位移。
图10的(a)是表示在输入图像中作为被摄体所包括的校正前的脸部的图,图10的(b)是表示在输出图像中作为被摄体所包括的校正后的脸部的图。在图10的(b)中,上段的脸部是通过各向同性地缩小第一校正区域的校正而获得的脸部,下段的脸部是通过非各向同性地缩小第一校正区域的校正而获得的脸部。
图11是表示包括人的脸部作为被摄体的输入图像的一个例子的图。
图12涉及校正强度设定处理,是表示为了计算出缩放率α(θ)而利用的系数γ(θ)的方向依赖性的曲线图。
图13是表示在输入图像中作为被摄体所包括的脸部的图。
图14是表示在输入图像中作为被摄体所包括的脸部的图。
图15是举例示出多个在输入图像中作为被摄体所包括的脸部和校正后的图像的图。
图16是表示在输入图像中作为被摄体所包括的脸部和校正后的图像的图。
图17是表示本公开的一个实施方式的图像拍摄装置的构成的框图。
图18是表示第一校正区域以及第二校正区域的其他例子的图。
具体实施方式
(第一实施方式)
参照图1~图9,对本公开的第一实施方式的图像处理装置100进行说明。本实施方式的图像处理装置100是用于对包括脸部作为被摄体的图像实施各向同性地缩小或放大与脸部对应的区域的校正的装置。
<图像处理装置的构成>
首先,基于图1,对图像打印装置1的构成的一个例子进行说明。图1是表示本实施方式的图像打印装置1的构成的功能框图。如图1所示,图像打印装置1具备:拍摄部10、操作部20、显示部30、图像处理装置100(控制部)、打印部50以及存储部60。
拍摄部10对被摄体进行拍摄,将拍摄到的图像作为输入图像发送至图像处理装置100。
操作部20接受用户的输入,例如通过触摸面板、鼠标来实现。例如,在操作部20为触摸面板的情况下,在具备该触摸面板的显示部30显示输入图像。
显示部30对各种图像进行显示。显示部30例如对拍摄部10所拍摄到的图像、或后述图像校正部104所生成的输出图像进行显示。
图像处理装置100作为对拍摄部10所拍摄到的图像(输入图像)进行图像处理,并生成处理后(校正后)的输出图像的图像处理装置发挥功能。在本实施方式中,图像处理装置100还作为对图像打印装置1总括地进行控制的控制部发挥功能。关于图像处理装置100的具体构成将在后面记述。
打印部50打印通过图像处理装置100的处理而生成的输出图像(图像)。打印部50也可以打印由用户经由操作部20对该输出图像进一步描绘的图像。
存储部60例如存储图像处理装置100所执行的各种控制程序等,由例如硬盘、闪存等非易失性存储装置构成。在存储部60例如存储有输入图像以及输出图像。此外,在存储部60也可以存储有图像处理(校正处理)、被摄体的检测处理等图像处理装置100的处理所需的参数等。
需要说明的是,对图像打印装置1进行控制的控制部不一定是图像处理装置100。例如,能够与图像打印装置1可通信地连接的外部装置也可以作为图像处理装置100发挥功能。
<图像处理装置的构成>
接着,参照图1以及图2,对图像处理装置100的构成进行说明。图2是表示图像处理装置100所具备的被摄体检测部101的构成的框图。
如图1所示,图像处理装置100具备:被摄体检测部101、校正区域设定部(设定部)102、校正强度设定部(设定部)103、以及图像校正部(校正部)104。在图像处理装置100中输入包括人的脸部作为被摄体的图像。以下,将输入至图像处理装置100中的、包括人的脸部作为被摄体的图像记载为“输入图像”。
被摄体检测部101是用于检测在输入图像中作为被摄体所包括的人的脸部以及脸部器官的构成。例如,如图2所示,被摄体检测部101可以由脸部检测部101a和脸部器官检测部101b构成。脸部检测部101a是用于在输入图像中检测与脸部对应的区域(以下,有时也仅记载为“脸部”)的构成。需要说明的是,在与脸部对应的区域的检测中,可以使用公知的算法(例如,利用从输入图像中检测出的肤色的信息等),因此在此不进行详细说明。脸部器官检测部101b是用于在与脸部检测部101a所检测出的脸部对应的区域中检测与预先设定的脸部器官对应的区域(以下,有时也仅记载为“脸部器官”)的构成。在本实施方式中,脸部器官检测部101b检测右眼、左眼、以及嘴。这些脸部器官与下巴、面颊等构成轮廓的脸部器官相比,检测失败、或误检测的可能性低。需要说明的是,在与各脸部器官对应的区域的检测中,可以使用公知的算法(例如,利用图案匹配等),因此在此不进行详细说明。
校正区域设定部102是用于基于被摄体检测部101所检测出的脸部以及脸部器官的位置来设定第一校正区域以及第二校正区域的构成。在本实施方式中,校正区域设定部102基于被摄体检测部101所检测出的右眼、左眼、以及嘴的位置来设定第一校正区域以及第二校正区域。在此,第一校正区域是在输入图像中具有与脸部的中心对应的位置和与脸部的大小对应的尺寸的规定形状的区域。在本实施方式中,第一校正区域是定义为距与脸部的中心对应的校正中心c的距离为与脸部的大小对应的第一校正距离d1以下的像素的集合的圆形区域。换言之,第一校正区域是将校正中心c设为中心位置的半径(尺寸)为第一校正距离d1的圆形的区域。此外,第二校正区域是在输入图像中包围第一校正区域的区域,例如,是定义为距校正中心c的距离比第一校正距离d1大、且为预先设定的第二校正距离d2(d2>d1)以下的像素的集合的圆环区域。例如,在进行用于使脸部看起来小的校正的情况下,第一校正区域为缩小的对象,第二校正区域为放大的对象。相反,在进行用于使脸部看起来大的校正的情况下,第一校正区域为放大的对象,第二校正区域为缩小的对象。需要说明的是,关于校正区域设定部102所执行的校正区域设定处理的具体例子,将在后面替换参照的附图进行记述。
校正强度设定部103是用于设定校正区域设定部102所设定的第一校正区域以及第二校正区域的缩放率α、β的构成。例如,在进行用于使脸部看起来小的校正的情况下,校正强度设定部103将第一校正区域的缩放率α设定为比1小的正常数,并且将第二校正区域的缩放率β设定为比1大的正常数。相反,在进行用于使脸部看起来大的校正的情况下,校正强度设定部103将第一校正区域的缩放率α设定为比1大的正常数α,并且将第二校正区域的缩放率β设定为比1小的正常数。需要说明的是,校正强度设定部103可以构成为:(1)将第一校正区域以及第二校正区域的缩放率α、β设定为预先设定的值;也可以构成为:(2)将第一校正区域以及第二校正区域的缩放率α、β设定为用户所指定的值;还可以构成为:(3)基于被摄体检测部101所检测出的脸部以及脸部器官来设定第一校正区域以及第二校正区域的缩放率α、β。
图像校正部104是用于对校正区域设定部102所设定的第一校正区域以及第二校正区域实施与校正强度设定部103所设定的缩放率α、β对应的校正处理的构成。作为图像校正部104对输入图像实施的校正处理,可以列举出如下的校正处理:(1)以校正强度设定部103所设定的缩放率α(α<1)缩小校正区域设定部102所设定的第一校正区域,并且以校正强度设定部103所设定的缩放率β(β>1)放大校正区域设定部102所设定的第二校正区域;或者,(2)以校正强度设定部103所设定的缩放率α(α>1)放大校正区域设定部102所设定的第一校正区域,并且以校正强度设定部103所设定的缩放率β(β<1)缩小校正区域设定部102所设定的第二校正区域。需要说明的是,关于图像校正部104所执行的图像校正处理的具体例子,将在后面替换参照的附图进行记述。
存储部105例如存储输入图像以及输出图像(通过对输入图像实施上述校正处理而获得的图像)。存储部105也可以存储在被摄体检测部101、校正区域设定部102、校正强度设定部103、以及图像校正部104执行上述处理时参照的各种参数。
需要说明的是,在本实施方式中,采用了基于预先设定的脸部器官的位置来设定第一校正区域以及第二校正区域的方式,但本公开的一个方案并不限定于此。即,也可以采用基于由用户从预先设定的脸部器官中选择出的脸部器官的位置来设定第一校正区域以及第二校正区域的方式。例如,在图像处理装置100具备触摸面板的情况下,可以使用该触摸面板供用户选择脸部器官。在该情况下,图像处理装置100将输入图像显示于触摸面板,用户触摸显示于触摸面板的脸部器官中的任一个。图像处理装置100将用户所触摸的脸部器官视为由用户选择出的脸部器官。此外,在图像处理装置100连接有显示器和鼠标的情况下,可以使用该鼠标供用户选择脸部器官。在该情况下,图像处理装置100将输入图像显示于显示器,用户通过鼠标光标来指示显示于显示器的脸部器官中的任一个。图像处理装置100将通过鼠标光标指示的脸部器官视为由用户选择出的脸部器官。<图像处理的流程>
接着,参照图3,对图像处理装置100所实施的图像处理的流程进行说明。图3是表示图像处理装置100所实施的图像处理的流程的流程图。
如图3所示,图像处理装置100所实施的图像处理包括:被摄体检测处理S301、校正区域设定处理S302、校正强度设定处理S303、图像校正处理S304。
当将输入图像提供给图像处理装置100时,执行被摄体检测处理S301。被摄体检测处理S301是检测在输入图像中作为图像所包括的人的脸部以及脸部器官的处理,在本实施方式中,由被摄体检测部101执行。
当被摄体检测处理S301完成时,执行校正区域设定处理S302。被摄体检测处理S301是基于在被摄体检测处理S301中检测出的脸部以及脸部器官来设定第一校正区域以及第二校正区域的处理,在本实施方式中,由校正区域设定部102执行。
当校正区域设定处理S302完成时,执行校正强度设定处理S303。校正强度设定处理S303是设定在校正区域设定处理S302中设定的第一校正区域以及第二校正区域的缩放率α、β的处理,在本实施方式中,由校正强度设定部103执行。
当校正强度设定处理S303完成时,执行图像校正处理S304。图像校正处理S304是以在校正强度设定处理S303中设定的缩放率α、β缩小或放大在校正区域设定处理S302中设定的第一校正区域以及第二校正区域的处理,在本实施方式中,由图像校正部104执行。
需要说明的是,在本实施方式中,采用了按顺序执行被摄体检测处理S301、校正区域设定处理S302、以及校正强度设定处理S303的构成,但本公开并不限定于此。在校正强度设定处理S303中,不依赖于在校正区域设定处理S302中设定的第一校正区域以及第二校正区域来确定缩放率的情况下,可以在校正区域设定处理S302之前执行校正强度设定处理S303。此外,在校正强度设定处理S303中,不依赖于在被摄体检测处理S301中检测出的脸部以及脸部器官来确定缩放率的情况下,可以在被摄体检测处理S301之前实施校正强度设定处理S303。例如,在校正强度设定处理S303中,将缩放率设定为预先设定的值的情况下,可以在被摄体检测处理S301之前实施校正强度设定处理S303。
<校正区域设定处理的具体例子>
接着,参照图4以及图5,对校正区域设定部102所实施的校正区域设定处理S302的具体例子进行说明。
如上所述,对于构成脸部的轮廓的脸部器官(面颊、下巴等)而言,检测失败、或误检测的可能性高。因此,本实施方式的校正区域设定处理S302参照构成脸部的轮廓的脸部器官以外的脸部器官,具体而言为左眼、右眼、以及嘴这三个脸部器官的位置来执行。
图4是举例示出包括人的脸部401作为被摄体的输入图像400的图。在图4所举例示出的输入图像400中,包括左眼402、右眼403、以及嘴404作为被摄体。以下,将由被摄体检测部101检测出的左眼402、右眼403、以及嘴404的位置分别如下述这样表示。
左眼402的位置:(LEFT_x,LEFT_y),
右眼403的位置:(RIGHT_x,RIGHT_y),
嘴404的位置:(MOUTH_x,MOUTH_y)。
脸部400的中心与左眼402、右眼403、嘴404的重心近似一致。因此,校正区域设定部102根据左眼402、右眼403、嘴404的位置按照下述算式(1)以及算式(2)计算出表示脸部的中心的校正中心c=(cx,cy)。
cx=(LEFT_x+RIGHT_x+MOUTH_x)/3···(1)
cy=(LEFT_y+RIGHT_y+MOUTH_y)/3···(2)
此外,脸部的大小与两眼的间隔(右眼403与左眼404的距离)dist_eye近似成比例。因此,校正区域设定部102根据左眼402以及右眼403的位置按照下述算式(3)以及算式(4)计算出与脸部的大小对应的校正距离d1。
dist_eye={(LEFT_x-RIGHT_x)2+(LEFT_y-RIGHT_y)2}1/2···(3)
d1=dist_eye×param_A···(4)
在算式(4)中,param_A是预先设定的比例系数。
校正区域设定部102使用如上述那样计算出的校正中心c以及第一校正距离d1,如图5所示那样设定第一校正区域501以及第二校正区域502。在此,第一校正区域501是定义为距校正中心c的距离为第一校正距离d1以下的像素的集合的圆形区域。另一方面,第二校正区域502是定义为距校正中心c的距离比第一校正距离d1大、且为第二校正距离d2(d2>d1)以下的像素的集合的圆环区域。在进行用于使脸部看起来小的校正的情况下,第一校正区域501为缩小的对象,第二校正区域502为放大的对象。相反,在进行用于使脸部看起来大的校正的情况下,第一校正区域501为放大的对象,第二校正区域502为缩小的对象。
第二校正距离d2例如按照下述算式(5)计算出即可。
d2=d1×param_B···(5)
在算式(5)中,param_B是预先设定的比例系数(其中,param_B>1)。例如,当param_B=2.0时,第二校正距离d2为第一校正距离d1的2倍,第二校正区域502的宽度(外径与内径之差)与第一校正区域501的半径相等。
需要说明的是,实际的人的脸部不是圆的,因此第一校正区域501的外周与脸部500的轮廓不一致。然而,若适当地设定在算式(4)中出现的系数param_A,则能够通过第一校正区域501的外周来高精度地近似脸部500的轮廓。实际上,在两眼的间隔与脸部的大小之间存在显著的相关性。因此,若针对多人实际测量脸部的大小与两眼的间隔之比,并将系数param_A设定为实际测量到的比的平均值,则能够通过第一校正区域501的外周来高精度地近似脸部500的轮廓。需要说明的是,在能够成为被摄体的人被限定为具有特定的属性(年龄、性别等)的人的情况下,在如上述那样设定系数param_A时设为样本的人也优选限定为具有该属性的人。由此,能够使第一校正区域501的外周与脸部500的轮廓之差比不限定在设定系数param_A时设为样本的人的情况小。
<图像校正处理的具体例子>
接着,参照图6以及图7,对图像校正部104所实施的图像校正处理S304的具体例子进行说明。
在图像校正处理S304中对输入图像实施的校正是(1)各向同性地缩小第一校正区域,并且(2)各向同性地放大第二校正区域的校正。更具体而言,是将距校正中心c的距离为r、从校正中心c=(c1,c2)观察的方向为θ的点P=(rcosθ,rsinθ)+(c1,c2),(1)在r≤d1时,映射成:距校正中心c的距离为r’=αr、从校正中心c观察的方向为θ的点P’=(r’cosθ,r’sinθ)+(c1,c2),(2)在d1<r≤d2时,映射成:距校正中心c的距离为r’=βr-(β-α)d1、从校正中心c观察的方向为θ的点P’=(r’cosθ,r’sinθ)+(c1,c2)的校正。在此,α是作为针对第一校正区域的缩放率由校正强度设定部103设定的正常数,满足α<1。另一方面,β是作为针对第二校正区域的缩放率由校正强度设定部103设定的正常数,由β=(d2-αd1)/(d2-d1)定义,满足β>1。
例如,在α=0.9、β=1.1(d2=2d1)的情况下,校正前的点P距校正中心c的距离r与校正后的点P距校正中心c的距离r’的关系如图6所示的曲线图那样。此外,在该情况下,若以箭头表示通过校正实现的位移,则如图7所示那样。在图7中,箭头的起点表示校正前的点P,箭头的终点表示校正后的点P’,箭头的长度表示校正量,箭头的方向表示校正方向。根据图6以及图7明显可知:(1)第一校正区域701(r≤d1)被各向同性地缩小,(2)第二校正区域702(d1<r≤d2)被各向同性地放大,(3)其他区域703(d2<r)不变。第二校正区域702在保持外周的状态下被向内放大,校正后的第二校正区域702的内周与校正后的第一校正区域701的外周一致。
在图6以及图7中应注意的第一点是关于第一校正区域701,根据各点P距校正中心c的距离r来确定对各点P的校正量这一点。具体而言,使对各点P的校正量与该点P距校正中心c的距离r相关。而且在一个方案中,使对各点P的校正量与该点P距校正中心c的距离r成比例。因此,第一校正区域701的校正量越接近校正中心c越变小,越接近第一校正区域701的外周越变大。如上所述,校正中心c是近似脸部的中心的点,第一校正区域701的外周是近似脸部的轮廓的圆。因此,校正量越接近脸部的中心越变小,越接近脸部的轮廓越变大。因此,能够抑制对位于脸部的中心附近的脸部器官(眼睛、鼻子、嘴等)的影响,同时充分地缩小脸部的大小。在图6以及图7中应注意的第二点是第二校正区域702在保持外周的状态下被向内放大这一点。因此,即使在因脸部的形状的个人差异等导致脸部无法容纳于第一校正区域701而溢出至第二校正区域702的情况下,也能够使脸部的轮廓朝向脸部的中心移动,缩小脸部的大小。
需要说明的是,校正区域设定部102关于第一校正区域701,根据各点P距校正中心c的距离r来确定对各点P的校正量即可,可以不如上述那样使对各点P的校正量与该点P距校正中心c的距离r成比例。例如,可以如图6所示的曲线图为曲线那样确定对各点P的校正量与该点P距校正中心c的距离r的对应关系。
图8的(a)是表示在输入图像中作为被摄体所包括的脸部800a的图。脸部800a的轮廓805a为圆形。图8的(b)是表示在输入图像中作为被摄体所包括的另一脸部800b的图。脸部800b的轮廓805b为纵向长的椭圆形。即,脸部800a是圆脸,与此相对,脸部800b是长脸。不过,脸部800b中所包括的右眼、左眼、以及嘴的位置分别与脸部800a中所包括的右眼、左眼、以及嘴的位置一致。因此,基于脸部800b中所包括的右眼、左眼、以及嘴而设定的第一校正区域以及第二校正区域分别与基于脸部800a中所包括的右眼、左眼、以及嘴而设定的第一校正区域以及第二校正区域一致。
图8的(c)是将基于脸部800a中所包括的右眼、左眼、以及嘴而设定的第一校正区域801a和脸部800a的轮廓805a与表示通过校正实现的位移的箭头一起表示的图。在脸部800a的轮廓805a为圆形的情况下,校正中心c至脸部800a的轮廓805a的距离为固定而不依赖于方向。因此,针对脸部800a的轮廓805a的校正量为固定而不依赖于方向。其结果是,校正后的脸部800a的轮廓805a与校正前的脸部800a的轮廓805a相同,为圆形。即,校正后的脸部800a与校正前的脸部800a相同,为圆脸。
图8的(d)是将基于脸部800b中所包括的右眼、左眼、以及嘴而设定的第一校正区域801b和脸部800b的轮廓805b与表示通过校正实现的位移的箭头一起表示的图。在脸部800b的轮廓805b为纵向长的椭圆形的情况下,校正中心c至脸部800b的轮廓805b的距离在上下方向变得相对大,在左右方向变得相对小。因此,针对脸部800b的轮廓805b的校正量在上下方向变得相对大,在左右方向变得相对小。即,通过基于距校正中心的距离进行校正,对于长脸的脸部而言,横向的校正量被设定得小,针对细的脸部的横向的校正量变弱,因此优选。校正后的脸部800b的轮廓805b比校正前的脸部800b的轮廓805b更接近圆形。即,校正后的脸部800b比校正前的脸部800b更接近圆脸。
此外,通过根据距校正中心c的距离r来确定校正量,也能够获得以下效果。图9的(a)是表示在输入图像中作为被摄体所包括的脸部900的图。脸部900朝向纸面向右,呈脸部的位置相对于基于脸部900的右眼、左眼、以及嘴而设定的校正中心c偏左的状态。
图9的(b)是将基于脸部900中所包括的右眼、左眼、以及嘴而设定的第一校正区域901和脸部900的轮廓线905与表示通过校正实现的位移的箭头一起表示的图。在脸部900朝向纸面向右的情况下,校正中心c至脸部900的轮廓905的距离在校正中心c的左侧变得相对大,在校正中心c的右侧变得相对小。因此,针对脸部900的轮廓905的校正量在校正中心c的左侧变得相对大,在校正中心c的右侧变得相对小。因此,与朝向正面拍摄的情况相比,在图像上被缩小而拍摄到的脸部的右侧的校正量变小,相反,与朝向正面拍摄的情况相比,在图像上被放大而拍摄到的脸部的左侧的校正量变大,因此,脸部的左右被均衡地校正,可以获得适当的校正图像。
<附记事项>
如上所述,在本实施方式中,基于表示脸部的中心的校正中心c和表示脸部的大小的校正距离d1,设定了设为缩小对象(或放大对象)的第一校正区域以及设为放大对象(或缩小对象)的第二校正区域。脸部的中心以及脸部的大小不必参照脸颊、下巴等构成脸部的轮廓的脸部器官的位置就能够确定。实际上,在本实施方式中,通过参照右眼、左眼、以及嘴的位置来确定表示脸部的中心的校正中心c,并且通过参照右眼以及左眼的位置来确定表示脸部的大小的校正距离d1。左眼、右眼、以及嘴与构成脸部的轮廓的脸部器官相比,检测失败、或误检测的可能性低。因此,实施方式的图像处理装置100与必须进行构成脸部的轮廓的脸部器官的检测的以往的图像处理装置相比,无法校正、或校正变得不适当的可能性低。
需要说明的是,在本实施方式中,作为为了确定脸部的中心以及脸部的大小而参照的脸部器官,使用了右眼、左眼、以及嘴,但本公开的一个方案并不限定于此。即,作为为了确定脸部的中心以及脸部的大小而参照的脸部器官,若使用构成脸部的轮廓的脸部器官以外的脸部器官,则可以获得与本实施方式的图像处理装置100相同的效果。作为构成脸部的轮廓的脸部器官以外的脸部器官,除了右眼、左眼、以及嘴之外,还可以列举出右眉、左眉、以及鼻子。
此外,本实施方式的另一个方案也可以是不具有打印功能的图像拍摄装置。图17是表示本实施方式的另一个方案的拍摄装置2的构成的功能框图。拍摄装置2与图像打印装置1同样地具备:拍摄部10、操作部20、显示部30、控制部100(图像处理装置)、以及存储部60,但不具备打印部50。
此外,如上所述,在本实施方式中,第一校正区域的形状不限定于圆形。即,第一校正区域是具有与脸部的中心对应的位置和与脸部的大小对应的尺寸的规定形状的区域即可,作为规定形状,除了圆形之外,也可以是椭圆形、多边形等。此外,第二校正区域的形状也不限定于圆形,可以是椭圆形、多边形等。图18的(a)是表示将规定形状设为椭圆形的情况下的第一校正区域501a以及第二校正区域502a的例子的图,图18的(b)是表示将规定形状设为多边形的情况下的第一校正区域501a以及第二校正区域502b的例子的图。
如图18的(a)所示,在将规定形状设为椭圆形的情况下,第一校正区域501a例如可以是将校正中心c设为中心位置,并将第一校正距离d1设为长径(尺寸)的椭圆形的区域。椭圆率并不特别限定,使用预先设定的值即可。此外,如图18的(b)所示,在将规定形状设为多边形的情况下,第一校正区域501b例如是将校正中心c设为中心(重心)位置,并将第一校正距离d1设为纵向的宽度(尺寸)的六边形的区域。多边形的种类并不特别限定,可以使用其他多边形(三角形、四边形、五边形、八边形等)来代替六边形。
在如上所述将第一校正区域以及第二校正区域的形状设为圆形以外的形状的情况下,在图像校正处理S304中对输入图像实施的校正如下。即,是当将从校正中心c观察的方向为θ时的校正中心c至第一校正区域的外周的距离设为d1(θ),将校正中心c至第二校正区域的外周的距离设为d2(θ)时,将距校正中心c的距离为r、从校正中心c=(c1,c2)观察的方向为θ的点P=(rcosθ,rsinθ)+(c1,c2),(1)在r≤d1(θ)时,映射成:距校正中心c的距离为r’=αr、从校正中心c观察的方向为θ的点P’=(r’cosθ,r’sinθ)+(c1,c2),(2)在d1(θ)<r≤d2(θ)时,映射成:距校正中心c的距离为r’=βr-(β-α)d1(θ)、从校正中心c观察的方向为θ的点P’=(r’cosθ,r’sinθ)+(c1,c2)的校正。在此,α是作为针对第一校正区域的缩放率由校正强度设定部103设定的正常数,满足α<1。另一方面,β是作为针对第二校正区域的缩放率由校正强度设定部103设定的正常数,由β=(d2(θ)-αd1(θ))/(d2(θ)-d1(θ))定义,满足β>1。
如此,第一校正区域以及第二校正区域的形状可以设为圆形以外的形状,在该情况下,作为在进行图像校正处理时使用的第一校正距离,与第一校正区域的形状对应地使用按角度θ规定的d1(θ),作为第二校正距离,与第二校正区域的形状对应地使用按角度θ规定的d2(θ)即可。这对于以下的实施方式也是同样。
(第二实施方式)
参照图10~图12,对本公开的第二实施方式的图像处理装置100进行说明。第一实施方式的图像处理装置100采用了以不依赖于方向的缩放率α各向同性地缩小第一校正区域的构成,与此相对,本实施方式的图像处理装置100采用了以依赖于方向的缩放率α(θ)非各向同性地缩小第一校正区域的构成。在此,θ表示从校正中心c观察的方向,在输入图像的右方为θ=0,在输入图像的上方为θ=π/2,在输入图像的左方为θ=π,在输入图像的下方为θ=3π/2(单位为弧度)。
图10的(a)是表示在输入图像中作为被摄体所包括的校正前的脸部1000的图,图10的(b)是表示在输出图像中作为被摄体所包括的校正后的脸部1001、1002的图。在图10的(b)中,校正后的脸部1001是在通过第一实施方式的图像处理装置100而获得的输出图像中作为被摄体所包括的脸部、即在各向同性地缩小了校正前的脸部1000的情况下获得的脸部,校正后的脸部1002是在通过本实施方式的图像处理装置而获得的输出图像中作为被摄体所包括的脸部、即在非各向同性地缩小了校正前的脸部1000的情况下获得的脸部。在由本实施方式的图像处理装置100进行的校正中,以脸部1000的上方的校正量相对小,脸部1000的右下方以及左下方的校正量相对大、脸部1000的右方、左方、以及下方的校正量为中等程度的方式设定了各方向的缩放率α(θ)。因此,校正后的脸部1002的脸颊至下巴的线条比校正前的脸部1000尖。需要说明的是,在输入图像中作为被摄体所包括的脸部1000倾斜的情况下,输入图像的上下左右方向与脸部1000的上下左右方向不一致。因此,在本实施方式中,在考虑到输入图像中的脸部1000的倾斜度的基础上,设定了各方向的缩放率α(θ)。
本实施方式的图像处理装置100例如可以通过对第一实施方式的图像处理装置100施加以下变更来实现。
变更点1:对校正强度设定部(推定部)103追加根据脸部器官(具体而言为右眼以及左眼)的位置来计算出脸部的倾斜度θ_f的功能。
变更点2:在校正强度设定部103中,将设定不依赖于方向的缩放率α、β的功能替换为设定依赖于方向的缩放率α(θ)、β(θ)的功能。
变更点3:在图像校正部104中,将以不依赖于方向的缩放率α各向同性地缩小第一校正区域,并且以不依赖于方向的缩放率β各向同性地放大第二校正区域的功能替换为以依赖于方向的缩放率α(θ)非各向同性地缩小第一校正区域,并且以依赖于方向的缩放率β(θ)非各向同性地放大第二校正区域的功能。
首先,参照图11,对根据右眼以及左眼的位置来计算出脸部的倾斜度θ_f的方法进行说明。
图11是表示包括人的脸部1101作为被摄体的输入图像1100的图。脸部的倾斜度θ_f定义为输入图像1100的x轴(横轴)与连结左右眼的直线1102所成的角度。当将左眼1103的位置设为(LEFT_x,LEFT_y),将右眼1104的位置设为(RIGHT_x,RIGHT_y)时,脸部的倾斜度θ_f可以按照下述算式(6)计算出。
θ_f=arctan((RIGHT_y-LEFT_y)/(RIGHT_x-LEFT_x))···(6)
接着,参照图12,对设定与从校正中心c观察的方向对应的缩放率α(θ)、β(θ)的方法进行说明。
当使用脸部的倾斜度θ_f时,能够将从校正中心c观察的方向θ(将图像的右方设为θ=0、将图像的上方设为θ=π/2、将图像的左方设为θ=π、将图像的下方设为θ=3π/2)与脸部的方向建立对应。即,θ=θ_f为脸部的右方,θ=θ_f+π/2的方向为脸部的上方,θ=θ_f+π的方向为脸部的左方,θ=θ_f+3π/2的方向为脸部的下方(单位为弧度)。
针对第一校正区域的缩放率α(θ)例如可以按照α(θ)=1-(1-α)γ(θ)来设定。在此,α是在第一实施方式中被导入的不依赖于方向的常数,γ(θ)是在本实施方式中被导入的依赖于方向的系数。图12是表示系数γ(θ)的一个例子的曲线图。在图12中,横轴表示从校正中心c观察的方向θ,纵轴表示系数γ(θ)。例如,在α=0.9的情况下,(1)在θ=θ_f(脸部的右方)时,γ(θ)=0.5,因此α(θ)=0.95,(2)在θ=θ_f+π/2(脸部的上方)时,γ(θ)=0,因此α(θ)=1,(3)在θ=θ_f+π(脸部的左方)时,γ(θ)=0.5,因此α(θ)=0.95,(4)在θ=θ_f+3π/2时,γ(θ)=0.5,因此α(θ)=0.95。此外,在θ=θ_f+5π/4(脸部的左下)以及θ=θ_f+7π/4(脸部的右下)时,γ(θ)=1,因此α(θ)=0.9。即,在如图12所示那样设定了系数γ(θ)的情况下,脸部的上方的校正量为最小,脸部的横向以及下方的校正量为中等程度,脸部的斜下方的校正量为最大。针对第二校正区域的缩放率β(θ)与第一实施方式同样地按照β(θ)=(d2-α(θ)d1)/(d2-d1)设定即可。
由图像校正部104进行的校正处理与第一实施方式同样地通过将距校正中心c的距离为r、从校正中心c=(c1,c2)观察的方向为θ的点P=(rcosθ,rsinθ)+(c1,c2),(1)在r≤d1时,映射成:距校正中心c的距离为r’=α(θ)r、从校正中心c观察的方向为θ的点P’=(r’cosθ,r’sinθ)+(c1,c2),(2)在d1<r≤d2时,映射成:距校正中心c的距离为r’=β(θ)r-(β(θ)-α(θ))d1、从校正中心c观察的方向为θ的点P’=(r’cosθ,r’sinθ)+(c1,c2)来实现。若如上述那样设定针对各方向的缩放率α(θ)、β(θ),则如图10所示,校正后的脸部1002的脸颊至下巴的线条比校正前的脸部1000尖。
如上所述,在本实施方式中,对包括脸部作为被摄体的输入图像,实施了以依赖于方向的缩放率α(θ)非各向同性地缩小第一校正区域的校正。因此,通过适当地设定缩放率α(θ),能够进行使脸部的脸颊至下巴的线条变尖等使脸部接近所希望的形状的校正。此外,在本实施方式中,确定在输入图像中所包括的脸部的倾斜度θ_f,并且根据确定出的脸部的倾斜度θ_f来设定缩放率α(θ)。因此,即使在输入图像中作为被摄体所包括的脸部倾斜的情况下,也能够进行使脸部接近所希望的形状的校正。
(第三实施方式)
参照图13~图14,对本公开的第三实施方式的图像处理装置100进行说明。第一实施方式的图像处理装置100采用了基于预先设定的脸部器官(具体而言为右眼、左眼、以及嘴)的位置来设定第一校正区域以及第二校正区域的构成,与此相对,本实施方式的图像处理装置100采用了基于预先设定的脸部器官(具体而言为右眼、左眼、以及嘴)中的、检测成功的脸部器官的位置来设定第一校正区域以及第二校正区域的构成。
第一实施方式的图像处理装置100设为检测对象的右眼、左眼、以及嘴与以往的图像处理装置设为检测对象的脸颊、下巴等相比,检测失败的可能性低。尽管如此,例如,在如图13所示提供了包括佩戴了口罩1301的脸部1300作为被摄体的输入图像的情况下,无法从输入图像中检测出被口罩1301遮盖的嘴的位置。在第一实施方式的图像处理装置100中,在嘴的检测失败的情况下,无法进行输入图像的校正。其原因是因为第一校正区域以及第二校正区域的设定需要嘴的位置。与此相对,在本实施方式的图像处理装置100中,即使在嘴的检测失败的情况下,也能够进行输入图像的校正。其原因是因为:在嘴的检测失败的情况下,基于右眼以及左眼的位置来设定第一校正区域以及第二校正区域。
本实施方式的图像处理装置100例如可以通过对第一实施方式的图像处理装置100施加以下变更来实现。
变更点1:对校正区域设定部102追加基于右眼以及左眼的位置来设定第一校正区域以及第二校正区域的功能。由此,校正区域设定部102具有基于右眼、左眼、以及嘴的位置来设定第一校正区域以及第二校正区域的功能和基于右眼以及左眼的位置来设定第一校正区域以及第二校正区域的功能这两者。
变更点2:对校正区域设定部102追加根据嘴的检测是否成功来切换用于设定第一校正区域以及第二校正区域的功能的构成。由此,校正区域设定部102在嘴的检测成功的情况下,基于右眼、左眼、以及嘴的位置来设定第一校正区域以及第二校正区域,在嘴的检测失败的情况下,基于右眼以及左眼的位置来设定第一校正区域以及第二校正区域。
基于右眼、左眼、以及嘴的位置来设定第一校正区域以及第二校正区域的功能可以通过在第一实施方式中说明的方法来实现。另一方面,基于右眼以及左眼的位置来设定第一校正区域以及第二校正区域的功能可以通过以下说明的方法来实现。
图14是举例示出在输入图像中作为被摄体所包括的脸部1400的图。在该输入图像中,包括左眼1402以及右眼1403作为被摄体。以下,将由被摄体检测部101检测出的左眼1402以及右眼1403的位置分别如下述这样表示。
左眼1402的位置:(LEFT_x,LEFT_y),
右眼1403的位置:(RIGHT_x,RIGHT_y)。
脸部1400的中心可以通过从左眼1402和右眼1403的中点1401沿垂直于将左眼1402与右眼1403连结的直线的方向(嘴的方向)移动了两面的间隔dist_eye的param_c倍的长度量的点来进行近似。因此,校正区域设定部102按照下述算式(7)以及算式(8)计算出表示脸部的中心的校正中心c=(cx,cy)。
cx=(LEFT_x+RIGHT_x)/2-(RIGHT_y-LEFT_y)×param_c···(7)
cy=(LEFT_y+RIGHT_y)/2-(LEFT_x-RIGHT_x)×param_c···(8)
在两眼的间隔与两眼的中点至脸部的中心的距离之间存在显著的相关性。因此,若针对多人实际测量两面的中点至脸部的中心的距离与两眼的间隔之比,并将系数param_c设定为实际测量到的比的平均值,则能够计算出高精度地近似脸部的中心的校正中心c。
校正区域设定部102使用如上述那样计算出的校正中心c、以及与第一实施方式同样地按照算式(3)以及算式(4)计算出的第一校正距离d1来设定第一校正区域以及第二校正区域。
需要说明的是,在此,对在无法检测出嘴的位置的情况下基于右眼以及左眼的位置来设定第一校正区域以及第二校正区域的方式进行了说明,但本实施方式并不限定于此。即,在无法检测出右眼的位置的情况下基于左眼以及嘴的位置来设定第一校正区域以及第二校正区域的方式、或者在无法检测出左眼的位置的情况下基于右眼以及嘴的位置来设定第一校正区域以及第二校正区域的方式也包括在本实施方式的范畴中。此外,同时具有这些功能的方式,即,在右眼、左眼、以及嘴中的任一个脸部器官的检测失败的情况下基于检测成功的剩余两个脸部器官的位置来设定第一校正区域以及第二校正区域的方式也包括在本实施方式的范畴中。
此外,在此,对将右眼、左眼、以及嘴设为检测对象的方式进行了说明,但本实施方式并不限定于此。即,将除此以外的脸部器官设为检测对象的方式,例如,将右眼、左眼、以及鼻子设为检测候选的方式,或者,将右耳、左耳、以及嘴设为检测对象的方式也包括在本实施方式的范畴中。作为能够代替左右眼的脸部器官,除了左右耳之外,还可以列举出左右脸颊、左右眉(眉毛)等。此外,作为能够代替嘴的脸部器官,除了鼻子之外,还可以列举出下巴、头顶部等。在本实施方式中,即使某些脸部器官的检测失败,也能够基于其他脸部器官来设定第一校正区域以及第二校正区域。因此,检测失败的可能性高的构成脸部的轮廓的脸部器官(耳朵、脸颊、下巴、头顶部等)也能够设为检测对象。此外,可以将右眼或左眼的内眼角或外眼角的位置添加至检测候选、或者将嘴的右嘴角或左嘴角的位置添加至检测候选。即,各脸部器官的各部位的位置也可以添加至检测对象。
如上所述,在本实施方式中,基于预先设定的脸部器官(例如,右眼、左眼、以及嘴)中的、检测成功的脸部器官(例如,右眼以及左眼)的位置来设定第一校正区域以及第二校正区域。因此,即使预先设定的脸部器官的一部分(例如,嘴)的检测失败,也能够设定第一校正区域以及第二校正区域。
(第四实施方式)
参照图15~图16,对本公开的第四实施方式的图像处理装置100进行说明。本实施方式的图像处理装置100分别采用了:如第二实施方式的图像处理装置100那样以依赖于方向的缩放率α(θ)非各向同性地缩小第一校正区域的构成;以及如第三实施方式的图像处理装置100那样基于预先设定的脸部器官(具体而言为右眼、左眼、以及嘴)中的、检测成功的脸部器官的位置来设定第一校正区域以及第二校正区域的构成。
此时,在基于检测成功的脸部器官的位置来设定第一校正区域以及第二校正区域的构成中,根据检测成功的脸部器官的组合,校正强度设定部103有时无法推定出脸部的倾斜度。在这样的情况下,当图像校正部104是始终非各向同性地缩小第一校正区域的构成时,例如,如图15的(e)所示,会进行不自然的校正。与此相对,在本实施方式的图像处理装置100中,在无法推定出脸部的倾斜度的情况下,例如,如图16的(a)所示,各向同性地缩小第一校正区域,避免进行不自然的校正,在能够推定出脸部的倾斜度的情况下,例如,如图16的(b)所示,非各向同性地缩小第一校正区域,能够获得使下巴的线条变尖等效果。
本实施方式的图像处理装置100例如可以通过对第二实施方式的图像处理装置100施加以下变更来实现。
变更点1:如第三实施方式的图像处理装置100那样,对校正强度设定部103追加基于检测成功的脸部器官的位置来设定第一校正区域以及第二校正区域的功能。由此,即使在一部分的脸部器官的检测失败的情况下,也能够基于检测成功的脸部器官的位置来设定第一校正区域以及第二校正区域。
变更点2:对校正强度设定部103追加判定是否能根据检测成功的脸部器官的位置计算出脸部的倾斜度θ_f,在无法计算出脸部的倾斜度θ_f的情况下,设定不依赖于方向的缩放率α、β,在能够计算出脸部的倾斜度θ_f的情况下,设定依赖于方向的缩放率α(θ)、β(θ)的功能。由此,能够根据是否能推定出脸部的倾斜度来切换是否非各向同性地缩小第一校正区域。
图15的(a)示出了输入图像1500,并且拍到了人物的脸部1501。虚线的矩形的框所示的区域是脸部区域1502,表示仅能够检测出脸部区域而无法检测出脸部器官的状态。此外,图15的(b)示出了输入图像1503,并且拍到了人物的脸部1504。虚线的矩形的框所示的区域是脸部区域1505,表示仅能够检测出脸部区域而无法检测出脸部器官的状态。如图15的(a)以及图15的(b)所示,对于脸部1501和脸部1504而言,脸部相对于图像的垂直以及水平方向的倾斜度不同,但在脸部区域被检测为与图像的水平以及垂直方向平行的矩形区域的情况下,无法根据矩形的脸部区域来计算出脸部的倾斜度。另一方面,若未从检测出的脸部区域的位置大幅偏离,则能够将矩形的脸部区域的中心设定为进行校正处理时的校正中心。此外,若脸部区域以大致与脸部的轮廓外接那样的大小被检测出,则能够基于矩形的大小设定为校正区域。当将矩形的横宽设为rect_x、纵宽设为rect_y时,能够将d1设定为例如d1=(rect_x+rect_y)/4···(9)。如图15的(a)以及图15的(b)所示,在根据从图像中检测出的脸部区域、脸部器官的信息,能够推定出脸部的中心位置、脸部的大小,而无法推定出脸部的倾斜度的情况下,设定校正中心和校正区域的范围,以固定的校正量来校正脸部而不依赖于来自校正中心的角度。图15的(c)以及图15的(d)分别示出了以各向同性的校正量对图15的(a)以及图15的(b)所示的脸部1501和脸部1504进行了校正的图像1506和图像1507。通过以各向同性的校正量来校正脸部,整个脸部被校正得小。
在此,图15的(e)示出了在图15的(b)所示的图像1504中,将脸部的倾斜度设为矩形的角度(x方向),并进行了如图12所示那样的非各向同性的校正的图像1508。脸部1504的倾斜度与矩形的角度不同,因此,当进行非各向同性的校正时,与所希望的方向不同的方向被校正得强,脸部的形状被校正得不自然。根据本实施方式,能够避免这样的不自然的校正。
需要说明的是,即使在无法检测出脸部器官的情况下,如图16的(a)所示,在能够将脸部1601的脸部区域检测为与脸部1601的朝向对应的脸部区域1602的情况下,即使在仅能检测出脸部区域的情况下,也能够基于校正中心、校正区域的大小、脸部的角度来进行校正。图16的(b)示出了在图16的(a)所示的图像1601中,将脸部的倾斜度设为矩形的角度,并进行了如图12所示那样的非各向同性的校正的图像1603,能够使脸颊至下巴的线条变尖,并且校正为小脸的印象的图像。
需要说明的是,以上,对仅能够检测出以矩形表示的脸部区域而无法检测出脸部器官的情况进行了叙述,但在仅能够检测出一个脸部区域和脸部器官的情况下,也难以根据检测出的脸部器官来推定脸部的角度,因此,优选以各向同性的校正量来校正脸部。例如,在被检测出的脸部器官仅为鼻子的情况下,鼻子的位置位于脸部区域的中心附近,因此,难以推定脸部的倾斜度。另一方面,若被检测出的脸部器官为下巴,则下巴的位置位于脸部区域的下方向,因此,基于表示脸部区域的矩形所示的位置和下巴的位置,可能会能够推定出脸部的倾斜度。在能够推定出脸部的倾斜度的情况下,能够进行非各向同性的校正。
如以上说明那样,在本实施方式中,在无法获取为了推定出脸部的倾斜度所需的脸部区域以及脸部器官的信息,但能够获取为了设定校正中心和校正区域所需的脸部区域以及脸部器官的信息的情况下,通过以各向同性的校正量来校正脸部,能够避免因基于错误的角度的校正而将脸部校正为不希望的形状。
[通过处理器实现的实施例]
图像处理装置100的控制块(特别是,被摄体检测部101、校正区域设定部102、校正强度设定部103以及图像校正部104)能够通过图像处理装置100所具备的处理器来实现。更详细而言,既可以通过由CPU(Central Processing Unit:中央处理器)、GPU(GraphicsProcessing Unit:图形处理器)进行的软件处理来实现,也可以通过由ASIC(ApplicationSpecific Integrated Circuit:专用集成电路)、FPGA(Field Programmable Gate Array:现场可编程门阵列)进行的硬件处理来实现。
在前者的情况下,图像处理装置100具备:执行实现各功能的软件即程序的命令的CPU、通过计算机(或CPU)可读取地记录有上述程序以及各种数据的ROM(Read OnlyMemory:只读存储器)或存储装置(将它们称为“记录介质”)、展开上述程序的RAM(RandomAccess Memory:随机存储器)等。然后,通过由计算机(或CPU)从上述记录介质中读取并执行上述程序,来达成本公开的目的。作为上述存储介质,可以使用“非暂时的有形介质”,例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外,上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是,本公开的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。
[总结]
本公开的方案1的图像处理装置(100)是一种对包括脸部的图像进行校正的图像处理装置,其具备校正部(图像校正部104),所述校正部(图像校正部104)对所述图像实施如下的校正处理:缩小具有与所述脸部的中心对应的位置和与所述脸部的大小对应的尺寸的规定形状的第一校正区域,并且放大第一校正区域的周围的第二校正区域;或者,放大所述第一校正区域,并且缩小所述第二校正区域。
根据上述构成,能够基于脸部的中心和脸部的大小来设定设为缩小对象(或放大对象)的第一校正区域以及设为放大对象(或缩小对象)的第二校正区域。脸部的中心以及脸部的大小不必参照脸颊、下巴等构成脸部的轮廓的脸部器官的位置就能够确定。由此,根据上述构成,与必须进行构成脸部的轮廓的脸部器官的检测的以往的图像处理装置相比,无法校正、或校正变得不适当的可能性低。
对于本公开的方案2的图像处理装置而言,可以是,在上述方案1中,所述规定形状为圆形,与所述脸部的中心对应的位置为该圆形的中心,与所述脸部的大小对应的尺寸为该圆形的半径。
根据上述构成,能够通过简单的处理来进行第一校正区域的设定以及第一校正区域的缩小或放大。
对于本公开的方案3的图像处理装置而言,可以是,在上述方案1或2中,还具备设定部(校正区域设定部102、校正强度设定部103),所述设定部(校正区域设定部102、校正强度设定部103)基于预先设定的脸部器官的所述图像中的位置来设定所述第一校正区域的位置以及尺寸,所述校正部基于所述设定部所设定的所述第一校正区域的位置以及尺寸来确定所述第一校正区域以及所述第二校正区域。
根据上述构成,能够基于检测出的脸部器官的位置来适当地确定所述第一校正区域的位置以及尺寸。
对于本公开的方案4的图像处理装置而言,可以是,在上述方案3中,还具备推定部(校正强度设定部103),所述推定部(校正强度设定部103)基于特定的脸部器官的所述图像中的位置来推定所述脸部的倾斜度,所述设定部根据所述推定部所推定出的所述脸部的倾斜度来非各向同性地设定所述校正处理中的所述第一校正区域的缩放率。
根据上述构成,能够获得使校正后的图像中的脸部的下巴变尖等适当的效果。
对于本公开的方案5的图像处理装置而言,可以是,在上述方案3或4中,所述预先设定的脸部器官从由所述脸部的眼睛、鼻子、嘴、眉毛、以及耳朵构成的组中选择。
根据上述构成,能够基于检测出的脸部器官的位置来适当地确定第一校正区域的位置以及尺寸。
对于本公开的方案6的图像处理装置而言,可以是,在上述方案1或2中,还具备设定部(校正区域设定部102、校正强度设定部103),所述设定部(校正区域设定部102、校正强度设定部103)基于预先设定的多个脸部器官中的、检测成功的脸部器官的所述图像中的位置来设定所述第一校正区域的位置以及尺寸,所述校正部基于所述设定部所设定的所述第一校正区域的位置以及尺寸来确定所述第一校正区域以及所述第二校正区域。
根据上述构成,即使在一部分的脸部器官的检测失败的情况下,也能够基于检测成功的脸部器官的位置来适当地确定第一校正区域的位置以及尺寸。
对于本公开的方案7的图像处理装置而言,可以是,在上述方案6中,还具备推定部(校正强度设定部103),所述推定部(校正强度设定部103)基于特定的脸部器官的所述图像中的位置来推定所述脸部的倾斜度,所述设定部在所述特定的脸部器官的检测成功的情况下,根据所述推定部所推定出的所述脸部的倾斜度来非各向同性地设定所述校正处理中的所述第一校正区域的缩放率,在所述特定的脸部器官的检测失败的情况下,各向同性地设定所述校正处理中的所述第一校正区域的缩放率。
根据上述构成,在能够推定出脸部的倾斜度时,通过非各向同性地设定第一校正区域的缩放率,能够获得适当的效果,在无法推定出脸部的倾斜度时,通过各向同性地设定第一校正区域的缩放率,能够避免进行不自然的校正。
对于本公开的方案8的图像处理装置而言,可以是,在上述方案6或7中,所述脸部器官从由所述脸部的眼睛、鼻子、嘴、眉毛、耳朵、下巴、头顶部、面颊、以及轮廓构成的组中选择。
根据上述构成,能够基于检测出的脸部器官的位置来适当地确定第一校正区域的位置以及尺寸。
本公开的方案9的拍摄装置可以具备:拍摄部,对所述脸部进行拍摄来获取所述图像;以及上述方案1至8中任一个图像处理装置,对所述拍摄部所拍摄到的包括所述脸部的所述图像进行图像处理。
根据上述构成,用户能够对人物的脸部进行拍摄,并容易地对拍摄到的图像实施图像处理。
对于本公开的方案10的拍摄装置而言,可以是,在上述方案9中,还具备对所述图像进行显示的显示部。
根据上述构成,用户能够容易地确认对拍摄到的图像实施了图像处理的图像。
本公开的方案11的图像打印装置可以具备:上述方案1至8中任一个图像处理装置;以及打印部,打印由所述图像处理装置进行了图像处理的图像。
根据上述构成,用户能够容易地打印实施了图像处理的图像。
本公开的方案12的图像打印装置可以具备:拍摄部,对所述脸部进行拍摄来获取所述图像;上述方案1至8中任一个图像处理装置;以及打印部,打印由所述图像处理装置进行了图像处理的图像。
根据上述构成,用户能够容易地打印对拍摄到的图像实施了图像处理的图像。
而且,本公开的各方案的图像处理装置可以通过计算机来实现,在该情况下,通过使计算机作为上述图像处理装置所具备的各部(软件要素)进行动作而使上述图像处理装置由计算机实现的图像处理装置的图像处理程序、以及记录有该图像处理程序的计算机可读记录介质也落入本公开的范畴。
即,本公开的方案13的图像处理程序是一种用于使对包括脸部的图像进行校正、且具备处理器的图像处理装置的所述处理器执行校正处理的图像处理程序,所述校正处理是对所述图像实施如下的校正处理:缩小具有与所述脸部的中心对应的位置和与所述脸部的大小对应的尺寸的规定形状的第一校正区域,并且放大第一校正区域的周围的第二校正区域;或者,放大所述第一校正区域,并且缩小所述第二校正区域。
根据上述构成,起到与上述方案1的图像处理装置相同的效果。
[附记事项]
本公开并不限定于上述各实施方式,在权利要求所示的范围内可以进行各种变更,将分别公开于不同的实施方式的技术方案适当组合而得到的实施方式也包括在本公开的技术范围内。而且,通过将分别在各实施方式中公开的技术方案组合,能够形成新的技术特征。
[关联申请的相互参照]
本申请基于2016年12月27日提出申请的日本专利申请:日本特愿2016-253888主张优先权的利益,并通过对其进行参照而将其全部内容包括到本说明书中。
符号说明
1 图像打印装置
2 拍摄装置
10 拍摄部
30 显示部
50 打印部
100 图像处理装置
101 被摄体检测部
101a 脸部检测部
101b 脸部器官检测部
102 校正区域设定部(设定部)
103 校正强度设定部(设定部、推定部)
104 图像校正部(校正部)

Claims (13)

1.一种图像处理装置,对包括脸部的图像进行校正,所述图像处理装置的特征在于,
具备校正部,所述校正部对所述图像实施如下的校正处理:缩小具有与所述脸部的中心对应的位置和与所述脸部的大小对应的尺寸的规定形状的第一校正区域,并且放大第一校正区域的周围的第二校正区域;或者,放大所述第一校正区域,并且缩小所述第二校正区域。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述规定形状为圆形,与所述脸部的中心对应的位置为所述圆形的中心,与所述脸部的大小对应的尺寸为所述圆形的半径。
3.根据权利要求1或2所述的图像处理装置,其特征在于,
还具备设定部,所述设定部基于预先设定的脸部器官的所述图像中的位置来设定所述第一校正区域的位置以及尺寸,
所述校正部基于所述设定部所设定的所述第一校正区域的位置以及尺寸来确定所述第一校正区域以及所述第二校正区域。
4.根据权利要求3所述的图像处理装置,其特征在于,
还具备推定部,所述推定部基于特定的脸部器官的所述图像中的位置来推定所述脸部的倾斜度,
所述设定部根据所述推定部所推定出的所述脸部的倾斜度来非各向同性地设定所述校正处理中的所述第一校正区域的缩放率。
5.根据权利要求3或4所述的图像处理装置,其特征在于,
所述预先设定的脸部器官从由所述脸部的眼睛、鼻子、嘴、眉毛、以及耳朵构成的组中选择。
6.根据权利要求1或2所述的图像处理装置,其特征在于,
还具备设定部,所述设定部基于预先设定的多个脸部器官中的、检测成功的脸部器官的所述图像中的位置来设定所述第一校正区域的位置以及尺寸,
所述校正部基于所述设定部所设定的所述第一校正区域的位置以及尺寸来确定所述第一校正区域以及所述第二校正区域。
7.根据权利要求6所述的图像处理装置,其特征在于,
还具备推定部,所述推定部基于特定的脸部器官的所述图像中的位置来推定所述脸部的倾斜度,
所述设定部在所述特定的脸部器官的检测成功的情况下,根据所述推定部所推定出的所述脸部的倾斜度来非各向同性地设定所述校正处理中的所述第一校正区域的缩放率,在所述特定的脸部器官的检测失败的情况下,各向同性地设定所述校正处理中的所述第一校正区域的缩放率。
8.根据权利要求6或7所述的图像处理装置,其特征在于,
所述脸部器官从由所述脸部的眼睛、鼻子、嘴、眉毛、耳朵、下巴、头顶部、脸颊、以及轮廓构成的组中选择。
9.一种拍摄装置,其特征在于,
具备:
拍摄部,对所述脸部进行拍摄来获取所述图像;以及
权利要求1至8中任一项所述的图像处理装置,对所述拍摄部所拍摄到的包括所述脸部的所述图像进行图像处理。
10.根据权利要求9所述的拍摄装置,其特征在于,
还具备对所述图像进行显示的显示部。
11.一种图像打印装置,其特征在于,
具备:
权利要求1至8中任一项所述的图像处理装置;以及
打印部,打印由所述图像处理装置进行了图像处理的图像。
12.一种图像打印装置,其特征在于,
具备:
拍摄部,对所述脸部进行拍摄来获取所述图像;
权利要求1至8中任一项所述的图像处理装置,对所述拍摄部所拍摄到的包括所述脸部的所述图像进行图像处理;以及
打印部,打印由所述图像处理装置进行了图像处理的图像。
13.一种图像处理程序,用于使对包括脸部的图像进行校正、且具备处理器的图像处理装置的所述处理器执行校正处理,
所述校正处理是对所述图像实施如下的校正处理:缩小具有与所述脸部的中心对应的位置和与所述脸部的大小对应的尺寸的规定形状的第一校正区域,并且放大第一校正区域的周围的第二校正区域;或者,放大所述第一校正区域,并且缩小所述第二校正区域。
CN201780080938.0A 2016-12-27 2017-11-29 图像处理装置、图像打印装置、拍摄装置及图像处理程序 Withdrawn CN110140145A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016253888 2016-12-27
JP2016-253888 2016-12-27
PCT/JP2017/042893 WO2018123413A1 (ja) 2016-12-27 2017-11-29 画像処理装置、画像印刷装置、撮像装置、および画像処理プログラム

Publications (1)

Publication Number Publication Date
CN110140145A true CN110140145A (zh) 2019-08-16

Family

ID=62707242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080938.0A Withdrawn CN110140145A (zh) 2016-12-27 2017-11-29 图像处理装置、图像打印装置、拍摄装置及图像处理程序

Country Status (4)

Country Link
US (1) US11042724B2 (zh)
JP (1) JP6846440B2 (zh)
CN (1) CN110140145A (zh)
WO (1) WO2018123413A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598694B (zh) * 2019-08-14 2023-03-21 广东奥普特科技股份有限公司 一种快速处理感兴趣区域图像的方法
CN114333030A (zh) * 2021-12-31 2022-04-12 科大讯飞股份有限公司 图像处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152871A (ja) * 2008-11-28 2010-07-08 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
CN102289785A (zh) * 2010-06-18 2011-12-21 卡西欧计算机株式会社 图像处理装置以及图像处理方法
JP2012142772A (ja) * 2010-12-28 2012-07-26 Furyu Kk 画像処理装置および画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855939B2 (ja) * 2003-01-31 2006-12-13 ソニー株式会社 画像処理装置、画像処理方法及び撮影装置
JP3962803B2 (ja) * 2005-12-16 2007-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 頭部検出装置、頭部検出方法および頭部検出プログラム
US8218895B1 (en) * 2006-09-27 2012-07-10 Wisconsin Alumni Research Foundation Systems and methods for generating and displaying a warped image using fish eye warping
JP5163008B2 (ja) * 2007-08-21 2013-03-13 沖電気工業株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2009232246A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 画像処理装置および画像処理方法
JP4930433B2 (ja) * 2008-04-01 2012-05-16 セイコーエプソン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5008605B2 (ja) * 2008-05-26 2012-08-22 富士フイルム株式会社 画像処理装置および方法ならびにプログラム
JP5115398B2 (ja) * 2008-08-27 2013-01-09 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8582834B2 (en) * 2010-08-30 2013-11-12 Apple Inc. Multi-image face-based image processing
JP5896204B2 (ja) 2011-11-04 2016-03-30 カシオ計算機株式会社 画像処理装置及びプログラム
US20150102998A1 (en) * 2012-06-15 2015-04-16 Nec Corporation Projection-type projector, anti-glare method, and program for anti-glare
JP6056746B2 (ja) * 2013-12-18 2017-01-11 株式会社デンソー 顔画像撮影装置、および運転者状態判定装置
KR101569268B1 (ko) * 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
JP6731073B2 (ja) * 2016-12-27 2020-07-29 シャープ株式会社 画像処理装置、撮像装置、画像印刷装置、画像処理装置の制御方法、および画像処理プログラム
US11069039B2 (en) * 2017-04-21 2021-07-20 Sharp Kabushiki Kaisha Image processing apparatus, imaging apparatus, image printing apparatus, method for controlling image processing apparatus, and image processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152871A (ja) * 2008-11-28 2010-07-08 Casio Computer Co Ltd 画像処理装置、画像処理方法及びプログラム
CN102289785A (zh) * 2010-06-18 2011-12-21 卡西欧计算机株式会社 图像处理装置以及图像处理方法
JP2012142772A (ja) * 2010-12-28 2012-07-26 Furyu Kk 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2018123413A1 (ja) 2018-07-05
US11042724B2 (en) 2021-06-22
JPWO2018123413A1 (ja) 2019-10-31
US20210133427A1 (en) 2021-05-06
JP6846440B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
US20220241056A1 (en) Monitoring of dentition
US11020022B2 (en) System and method for patient positioning during a medical imaging procedure
US8837862B2 (en) Image stitching method and camera system
CN109544573A (zh) 轮廓检测装置,印刷装置,轮廓检测方法以及记录介质
RU2018136770A (ru) Системы и способы сканирования черт лица
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
CN109472189B (zh) 瞳孔半径补偿
KR101991048B1 (ko) 자연스러운 자세에서 안경테에 안과용 렌즈를 장착하는 것과 관련된 적어도 하나의 기하학적/인상학적 파라미터를 결정하기 위한 방법
WO2014009914A2 (en) Patient interface identification system
JP5583980B2 (ja) 画像処理方法および画像処理装置
TW200809686A (en) Method and system for detecting positions of facial features
US11869131B2 (en) Photographic method and system for aiding officials in locating an object
CN110140145A (zh) 图像处理装置、图像打印装置、拍摄装置及图像处理程序
US11321960B2 (en) Deep learning-based three-dimensional facial reconstruction system
CN109145866B (zh) 确定侧脸倾斜角度的方法及装置
WO2015190319A1 (ja) 画像処理装置、画像処理方法、プログラム、および内視鏡システム
CN110269586B (zh) 用于捕获具有暗点的人的视野的设备和方法
JP3711053B2 (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
TWM601819U (zh) 溫度測量裝置
US11069039B2 (en) Image processing apparatus, imaging apparatus, image printing apparatus, method for controlling image processing apparatus, and image processing program
CN109363687A (zh) 一种颈椎活动度检测装置及方法
US20220229312A1 (en) Method for determining an oriented 3d representation of the head of a person in a natural visual posture
CN109730643A (zh) 位姿的调整方法、装置、计算机设备及存储介质
CN110537200A (zh) 图像处理装置、拍摄装置、图像打印装置、图像处理装置的控制方法及图像处理程序
JP6383399B2 (ja) 部位形状測定器具、並びに、部位形状測定装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190816