CN109618089A - 智能化的拍摄控制器、管理控制器及拍摄方法 - Google Patents

智能化的拍摄控制器、管理控制器及拍摄方法 Download PDF

Info

Publication number
CN109618089A
CN109618089A CN201810012051.4A CN201810012051A CN109618089A CN 109618089 A CN109618089 A CN 109618089A CN 201810012051 A CN201810012051 A CN 201810012051A CN 109618089 A CN109618089 A CN 109618089A
Authority
CN
China
Prior art keywords
image
background image
illumination
shooting
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810012051.4A
Other languages
English (en)
Inventor
马惠岷
田新诚
秦学英
邢冠宇
刘艳丽
钟凡
马立新
李世杰
薛刚强
时念全
刘庆元
黄颖
马榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810012051.4A priority Critical patent/CN109618089A/zh
Publication of CN109618089A publication Critical patent/CN109618089A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及智能化的拍摄控制器、管理控制器及拍摄方法。该光照识别模块用于对背景图像进行分析,得到背景图像的光照参数。布光参数计算模块用于根据背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使拍摄控制器的光照分布与背景图像所处场境的光照分布相匹配。灯光控制模块用于根据布光参数,控制拍摄控制器中相应灯的灯光。该图像处理模块用于对在布光参数对应的灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将被摄者图像与背景图像进行图像合成。本发明的背景图像与被摄者能够无缝结合,适用于静态和动态图像的拍摄。

Description

智能化的拍摄控制器、管理控制器及拍摄方法
技术领域
本发明涉及拍摄、图像处理、计算机视觉领域,尤其涉及基于拍摄控制器的拍摄方法。
背景技术
现有的一种常见的影棚摄影方法是,通过布置室内拍摄场景,将被拍摄者置于拍摄场景中,然后由摄像装置对被拍摄者进行拍摄。对于此种拍摄方式,如果客户需要多种不同的拍摄背景,就需要有多个拍摄场地。因此,此种传统影棚拍摄方式,不仅拍摄背景简单,而且还需要投入大量的人力、物力。因此,传统的影棚往往背景样式有限并且趣味性差,限制了用户的个性化摄影需求。
解决此问题的一种方法是通过数字影棚实现个性化、多样化的拍摄需求。现有的一种数字化影棚是:背景布幕是投影布幕,在投影布幕后面设置有投影仪,通过投影仪将数字背景图像投影到幕布上。参见发明名称为一种多功能拍摄控制器,公开号为CN103631069A的中国专利申请。
该公开号为CN103631069A的专利申请公开了一种多功能拍摄控制器,该系统包括:摄影影像显示装置,背景布幕和数字灯光控制装置。摄影影像显示装置包括场景存储模块,投影模块,以及拍摄模块。数字灯光控制装置包括:用于发出照射到被摄者的灯光的光源,用于基于用户指令调整灯光的亮度以使被摄者周围的环境亮度与背景画面的亮度相匹配的灯光亮度控制模块,以及用于基于用户指令调整灯光以使被摄者周围的环境颜色与背景画面的颜色相匹配的灯光颜色控制模块。
由此可见,该公开号为CN103631069A发明专利申请的拍摄背景采用的是:通过投影仪将背景投影到幕布上,被摄者置于背景幕布之前进行拍摄。此种方法实现了多种不同背景的实时方便更换,满足了客户对个性化摄影的要求。然而,虽然该发明采用了调整灯光的方式使得被摄者周围环境的亮度和色度接近于背景图像。可是,由于投影在幕布上的图像只能作为背景而不能作为前景,会影响被摄作品的逼真度。
综上,一种能够将背景图像与被摄者图像更好融合的拍摄方法,意义重大。
发明内容
本发明提供了智能化的拍摄控制器、管理控制器及拍摄方法,在提供海量背景并满足用户个性化需求的前提下实现了背景图像与被摄者的无缝结合。
第一方面,本发明实施例提供了一种拍摄控制器。该拍摄控制器包括光照识别模块、布光参数计算模块、灯光控制模块、图像处理模块。光照识别模块用于对背景图像进行分析,得到所述背景图像的光照参数。布光参数计算模块用于根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配。灯光控制模块用于根据所述布光参数,控制所述拍摄控制器中相应灯的灯光。图像处理模块用于对在所述布光参数对应的灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
在一个示例中,所述背景图像是用户通过终端或者通过所述拍摄控制器选择的背景图像。
在一个示例中,所述光照识别模块还用于:对所述背景图像在三维空间上采样多个方向,得到所述多个方向分别对应的方向向量。
在一个示例中,所述光照识别模块对背景图像进行分析,具体为:所述光照识别模块对所述背景图像在所述多个方向向量上分别对应的亮度值和/或色温值进行计算,得到所述背景图像所处场景的光照分布。
在一个示例中,所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配,具体为:所述拍摄控制器各光源对应方向的亮度值和/或色温值与所述背景图像相应方向的亮度值和/或色温值的差值低于阈值。
在一个示例中,所述拍摄控制器还包括光照获取模块。所述光照获取模块用于获取所述拍摄控制器的环境光照参数。
在一个示例中,所述布光参数计算模块具体用于:根据所述背景图像的光照参数和所述环境光照参数,确定所述拍摄控制器中的一个或多个灯的布光参数。
在一个示例中,所述光照识别模块具体用于:确定所述背景图像中多个像素分别对应的像素值,以及确定所述多个像素分别对应的法向信息,并确定所述多个像素分别对应的材质系数;以及确定所述背景图像的多个方向分别对应的方向向量,得到相应的方向向量集合。根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数,确定所述背景图像在所述多个方向上分别对应的光照强度,从而得到所述背景图像的光照参数。
在一个示例中,所述多个像素分别对应的像素值为,相应像素在所述方向向量集合中的各方向分别对应的像素值之和;其中,所述各方向分别对应的像素值与所述相应像素在相应方向上对应的光照强度有关。
在一个示例中,所述光照识别模块还用于在将所述被摄者图像与所述背景图像进行图像合成之后,识别所述合成的图像中背景图像的光照参数,以及识别所述合成的图像中被摄者图像的光照参数;所述布光参数计算模块还用于根据所述合成图像中背景图像的光照参数以及合成图像中被摄者图像的光照参数,确定所述布光参数。
在一个示例中,所述拍摄控制器还包括触发模块;所述触发模块用于在所述灯光控制模块根据所述布光参数控制所述拍摄控制器相应灯的灯光之后,基于被摄者的语音触发或体感触发或表情触发,控制拍摄设备对所述被摄者进行拍摄。
在一个示例中,所述光照参数为光照方向、光照强度、光照色温中的一个或多个。
在一个示例中,所述布光参数包括灯编号、灯光方向、灯光强度、灯光的色温、是否闪光、闪光时间、闪光强度、是否常亮、常亮照度中的一个或多个。
在一个示例中,在根据布光参数对数字拍摄系统的相应灯光进行控制之后,拍摄控制器获取被摄者的身高数据和/或表情信息,并将被摄者的身高数据和/或表情信息发送给拍摄设备,以便拍摄设备根据被摄者的身高数据和/或表情信息进行拍摄。
在一个示例中,在根据布光参数对数字拍摄系统的相应灯光进行控制之后,拍摄控制器获取拍摄设备与被摄者之间的距离,根据该距离控制该拍摄设备移动或者提示被摄者移动,使得该距离在拍摄区间之内。
在第二方面,本发明实施例提供了一种拍摄方法。对背景图像进行分析,得到所述背景图像的光照参数。根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配。根据布光参数控制所述拍摄控制器中相应灯的灯光。对在所述布光参数对应的灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
在一个示例中,所述背景图像是用户通过终端或者通过所述拍摄控制器选择的背景图像。
在一个示例中,获取所述拍摄控制器的环境光照参数;根据所述背景图像的光照参数和所述环境光照参数,确定所述拍摄控制器中的一个或多个灯的布光参数。
第三方面,本发明实施例提供了一种管理控制器。该管理控制器包括光照识别模块、布光参数计算模块、发送模块。光照识别模块用于对背景图像进行分析,得到所述背景图像的光照参数。布光参数计算模块用于根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配。发送模块,用于向所述拍摄控制器发送所述布光参数,以便在所述布光参数对应的灯光下拍摄图像。
在一个示例中,所述光照识别模块还用于对所述背景图像在三维空间上采样多个方向,得到所述多个方向分别对应的方向向量。
在一个示例中,所述光照识别模块对背景图像进行分析,具体为:所述光照识别模块对所述背景图像在所述多个方向向量上分别对应的亮度值和/或色温值进行计算,得到所述背景图像所处场景的光照分布。
在一个示例中,所述光照识别模块具体用于:确定所述背景图像中多个像素分别对应的像素值,以及确定所述多个像素分别对应的法向信息,并确定所述多个像素分别对应的材质系数;以及确定所述背景图像的多个方向分别对应的方向向量,得到相应的方向向量集合。根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数,确定所述背景图像在所述多个方向上分别对应的光照强度,从而得到所述背景图像的光照参数。
在一个示例中,所述多个像素分别对应的像素值为,相应像素在所述方向向量集合中的各方向分别对应的像素值之和;其中,所述各方向分别对应的像素值与所述相应像素在相应方向上对应的光照强度有关。
在一个示例中,所述管理控制器还包括接收模块;所述接收模块用于接收用户通过终端或者通过拍摄控制器选择的背景图像。
在一个示例中,所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配,具体为:所述拍摄控制器各光源对应方向的亮度值和/或色温值与所述背景图像相应方向的亮度值和/或色温值的差值低于阈值。
第四方面,本发明实施例提供了一种拍摄方法。对背景图像进行分析,得到所述背景图像的光照参数。根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配。向所述拍摄控制器发送布光参数,以便在所述布光参数对应的灯光下拍摄图像。
在一个示例中,对所述背景图像在三维空间上采样多个方向,得到所述多个方向分别对应的方向向量。
在一个示例中,所述对背景图像进行分析,具体为:对所述背景图像在所述多个方向向量上分别对应的亮度值和/或色温值进行计算,得到所述背景图像所处场景的光照分布。
在一个示例中,所述方法包括:接收用户通过终端或者通过拍摄控制器选择的背景图像。
在一个示例中,所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配,具体为:所述拍摄控制器各光源对应方向的亮度值和/或色温值与所述背景图像相应方向的亮度值和/或色温值的差值低于阈值。
第五方面,本发明实施例提供了一种拍摄控制器。该拍摄控制器包括接收模块、灯光控制模块、图像处理模块。接收模块用于接收来自拍摄控制器对应的管理控制器的布光参数,且所述布光参数是所述拍摄控制器的一个或多个灯的布光参数。所述布光参数与用户选择的背景图像的光照参数相关,且所述背景图像所处场境的光照分布与所述拍摄控制器的光照分布相匹配。灯光控制模块用于根据所述布光参数,控制所述拍摄控制器中相应灯的灯光。图像处理模块用于对在所述灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
在一个示例中,所述背景图像是用户通过终端或者通过所述拍摄控制器选择的背景图像。
在一个示例中,所述背景图像的光线与所述拍摄控制器的光线相匹配,具体为:所述拍摄控制器的光线参数与所述背景图像的相应光线参数的差值低于阈值。
在一个示例中,所述拍摄控制器还包括光照获取模块、发送模块;所述光照获取模块用于获取所述拍摄控制器的环境光线参数;所述发送模块用于将所述环境光线参数发送至所述管理控制器;且所述灯光参数与用户选择的背景图像的光线参数以及所述环境光线参数相关。
在一个示例中,所述拍摄控制器还包括触发模块;所述触发模块用于在所述灯光控制模块根据所述布光参数控制所述拍摄控制器相应灯的灯光之后,基于被摄者的语音触发或体感触发或表情触发,控制拍摄设备对所述被摄者进行拍摄。
第六方面,本发明实施例提供了一种拍摄方法。接收来自拍摄控制器对应的管理控制器的布光参数,且所述布光参数是所述拍摄控制器的一个或多个灯的布光参数。所述布光参数与用户选择的背景图像的光照参数相关,且所述背景图像所处场境的光照分布与所述拍摄控制器的光照分布相匹配。根据所述布光参数,控制所述拍摄控制器中相应灯的灯光。对在所述灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
在一个示例中,所述背景图像是用户通过终端或者通过所述拍摄控制器选择的背景图像。
在一个示例中,所述背景图像的光线与所述拍摄控制器的光线相匹配,具体为:所述拍摄控制器的光线参数与所述背景图像的相应光线参数的差值低于阈值。
在一个示例中,所述方法还包括:获取所述拍摄控制器的环境光线参数;将所述环境光线参数发送至所述管理控制器,所述灯光参数与用户选择的背景图像的光线参数以及所述环境光线参数相关。
在一个示例中,所述方法还包括:在所述根据所述布光参数控制所述拍摄控制器相应灯的灯光之后,基于被摄者的语音触发或体感触发或表情触发,控制拍摄设备对所述被摄者进行拍摄。
本发明实施例通过对背景图像进行分析,得到拍摄控制器的各灯的灯光参数,根据该灯光参数控制相应灯光,使得拍摄控制器的光线与背景图像光线相匹配,从而实现了在该灯光下拍摄的图像与背景图像无缝结合,合成图像形象逼真,满足了用户对个性化背景的拍摄需求。
附图说明
图1为本发明实施例提供的一种数字拍摄系统应用场景示意图;
图2为本发明实施例提供的一种基于拍摄控制器的拍摄方法流程图。
具体实施方式
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
图1是本发明实施例提供的一种数字拍摄系统应用场景示意图。
需要说明的是,通过本发明实施例的数字拍摄系统拍摄的图像,即可以是静态图像,也可以是动态图像。也就是说,通过本发明实施例的拍摄方法即可以拍摄照片可以拍摄视频。下面详细阐述。
用户可以通过终端110与管理控制器120进行数据交互。例如用户通过手机终端、平板电脑等,预订拍摄照片或视频。
例如,用户通过其关注的微信小程序或者微网站或者手机APP等,在线预订拍摄照片,包括选择背景模板图像、拍摄时间、拍摄场地等。以下背景模板图像简称为背景图像。
需要说明的是,用户也可以在数字拍摄系统的现场预约拍摄,选择背景图像。此种情况下,用户可以通过拍摄控制器130选择背景图像或者预约拍摄。
管理控制器120根据用户选择的背景图像、拍摄时间、拍摄场地等信息生成预约拍摄订单。
在一个示例中,管理控制器120包括背景模板运营管理模块(图1未示出)。该背景模板运营管理模块用于为第三方背景模板运营商提供模板审核、统计结算操作。
管理控制器120可以与多个拍摄控制器130进行信息交互,且各个拍摄控制器130的背景模板数量、种类可能不同。
管理控制器120根据用户选择的拍摄场地(即数字拍摄系统)将该生成的拍摄订单发送给该拍摄控制器;其中,该拍摄订单包括用户选择的背景图像、拍摄时间等信息。
拍摄控制器130根据管理控制器120发送的拍摄订单,确定用户选择的背景图像。
拍摄控制器130对该背景图像进行分析。
在一个示例中,拍摄控制器130中的光照识别模块131用于对该背景图像在三维空间上采用多个方向,得到该多个方向分别对应的方向向量。光照识别模块131对该背景图像在该多个方向向量上分别对应的色温值和/或亮度值进行计算,得到该背景图像所处场境的光照分布。例如,光照识别模块131得到该背景图像各方向分别对应的光照强度和色温值。
在一个示例中,光照识别模块131具体用于:确定背景图像中多个像素分别对应的像素值,以及确定该多个像素分别对应的法向信息,并确定该多个像素分别对应的材质系数;以及确定该背景图像的多个方向分别对应的方向向量,得到相应的方向向量集合;根据该方向向量集合、该多个像素分别对应的像素值、该多个像素分别对应的法向信息以及该多个像素分别对应的材质系数,确定该背景图像在该多个方向上分别对应的光照强度,从而得到所该背景图像的光照参数。
在一个示例中,该背景图像的多个像素分别对应的像素值为,相应像素在所述方向向量集合中的各方向分别对应的像素值之和。其中,该各方向分别对应的像素值与该相应像素在相应方向上对应的光照强度有关。
在另一个示例中,光照识别模块131先对背景图像进行分层级的统计分析,确定背景图像的前景、中景、背景。然后,光照识别模块131分别确定背景图像中前景的光照参数,背景图像中景的光照参数,背景图像的背景光照参数。布光参数计算模块132根据被摄者在背景图像中的层级,即根据被摄者所处前景或中景或近景,确定拍摄控制器中各个灯的布光参数,使拍摄控制器的光照分布与被摄者所处的前景或中景或背景的光照分布相匹配。
在又一个示例中,拍摄控制器130还包括光照获取模块(图1未示出)。该光照获取模块用于获取该拍摄控制器中的环境光照参数。布光参数计算模块132根据该拍摄控制器的环境光照参数,例如,该拍摄控制器的环境光的光照强度和/或色温值,确定该拍摄控制器的布光参数。
进一步地,布光参数计算模块132根据该背景图像的光照参数与该拍摄控制器的环境光相应的光照参数的差值,确定该拍摄控制器中各个灯的灯光参数;其中,该差值是同一光照参数的差值。例如,该差值是背景图像的光照强度与拍摄控制器的环境光的光照强度的差值。
具体地,该拍摄控制器可以包括环境光传感器。该环境光传感器用于获取该拍摄控制器的环境光的光照参数。如环境光的光源方向、环境光的亮度、环境光的色温、被摄者的反射光亮度等参数。拍摄控制器根据该背景图像的光照参数与该拍摄控制器的环境光的光照参数的差值,且该差值是同一光照参数的差值,确定该拍摄控制器的布光参数。
在一个示例中,该布光参数包括灯编号、灯光方向、灯光强度、灯光的色温、是否闪光、闪光时间、闪光强度、是否常亮、常亮照度中的一个或多个,参见下表1。
表1
需要说明的是,以上阐述的是由拍摄控制器130对背景图像进行分析,得到布光参数。实际上,也可以由管理控制器120来对背景图像进行分析,得到布光参数。由管理控制器120分析背景图像的方法,与前述由拍摄控制器130分析背景图像得到布光参数的方法相同,再次不再赘述。
拍摄控制器130中的灯光控制模块133根据布光参数,控制拍摄控制器中的相应灯。
具体地,灯光控制模块133接收来自灯光计算模块132的灯光控制指令,该灯光控制指令包括布光参数。灯光控制模块133根据该布光参数实现对相应编号的灯的控制,包括对相应编号灯的开启/闭合、是否开闪光、闪光时间、照射方向等等,使得拍摄控制器的光照分布与背景图像所处场境的光照分布相匹配。
在一个示例中,拍摄控制器各光源对应方向的亮度值和/或色问值与背景图像相应方向的亮度值和/或色温值的差值低于阈值,则该拍摄控制器的光照分布与背景图像所处场景的光照分布相匹配。例如,拍摄控制器的光照强度与背景图像所处场景的光照强度的差值小于a%,则该拍摄控制器的光照分布与该背景图像所处场景的光照分布相匹配。
在该拍摄控制器的灯光布置完成之后,该拍摄设备150就可以对被摄者进行拍摄了。需要说明的是,该被摄者不限于人物,也可以是其他物体,如宠物等。
拍摄设备150对置于幕布140之前的被摄者进行拍摄,得到拍摄图像;其中,该拍摄图像是包含幕布背景和被摄者的图像。
该幕布140可以是任意一种现有的幕布。较佳地,该幕布140是蓝色幕布或绿色幕布等单一色幕布,以便于图像处理模块134对拍摄的图像进行图像分割处理。
在一个示例中,图像处理模块134对拍摄的图像进行图像分割处理和图像优化。
需要说明的是,本发明实施例是以拍摄设备140在幕布130前对被摄者进行拍摄为例。实际上,本发明并未限定于此,拍摄设备140可以在任意环境下对被摄者进行拍摄。例如,拍摄设备140在室外场景下对被摄者进行拍摄。因此,本发明实施例的数字拍摄系统也可以不包含幕布130。
该拍摄设备150可以是现有的任意一种拍摄设备,其可以是照相机也可以是录像机还可以是手机等。
在一个示例中,拍摄控制器130还包括触发模块(图1未示出)。在灯光控制模块133根据布光参数控制拍摄控制器相应灯的灯光之后,该触发模块基于被摄者的语音触发或体感触发或表情触发,控制拍摄设备150对该被摄者进行拍摄。
在另一个示例中,拍摄设备150实时地对被摄者的动态情况进行识别,根据该识别结果自动对该被摄者进行拍摄。例如,拍摄设备150能够自动识别被摄者的表情,在捕获到最佳表情后,对被摄者进行拍摄。
在一个示例中,拍摄设备150对拍摄得到的图像进行检测,并在检测出不合格图像情况下,对该不合格图像进行处理和/或进行提醒。例如,拍摄设备150在检测出图像对焦不实或者模糊不清等,会将该不合格图像处理成费片,并以语音或者文字等形式提醒重新拍摄。
图像处理模块134接收来自拍摄设备150拍摄的图像,该拍摄图像是包含幕布背景和被摄者的图像。
图像处理模块134处理该拍摄图像,对该拍摄图像进行图像分割处理,从该拍摄图像中得到被摄者图像,既该被摄者图像不包含背景。
由于图像处理模块134需要对拍摄图像进行图像分割处理,以去除幕布背景,得到被摄者图像。因此,为了便于图像分割处理,幕布140可采用单一颜色的幕布,如蓝色幕布或绿色幕布。
图像处理模块134将被摄者图像与用户选取的背景图像进行图像合成,得到合成图像,从而实现了将被摄者无缝结合到用户选择的背景图像中的目的。
在一个示例中,为了使被摄者能够更好地融合到背景图像中,拍摄控制器先对被摄者进行图像拍摄,并将该拍摄得到的图像与用户选择的背景图像进行比对分析,得到初始布光参数。
也就是说,拍摄控制器130除了根据背景图像生成布光方案之外,还可以根据被摄者如被摄者的衣服颜色、被摄者的肤色等等,生成布光方案。
在另一个示例中,在图像处理模块134将被摄者图像与背景图像进行图像合成生成合成图像之后,光照识别模块131再次识别该合成的图像中背景图像的光照参数,并识别该合成的图像中该被摄者图像的光照参数。灯光计算模块132根据该合成图像中背景图像的光照参数、该合成图像中的该被摄者图像的光照参数,生成最终布光参数。
在一个示例中,拍摄控制器130还包括传感器(图1未示出)。该传感器用于获取被摄者的身高数据和/或面部表情信息,并将该被摄者的身高数据和/或表情信息发送给拍摄设备150,以便拍摄设备150根据被摄者的身高数据和/或面部表情信息进行拍摄。
在一个示例中,拍摄控制器130还包括获取模块(图1未示出),该获取模块用于获取拍摄设备150与被摄者之间的距离,根据该距离控制该拍摄设备150移动或者提示被摄者移动,使得拍摄距离在一定范围区间之内。
在一个示例中,拍摄控制器130还包括提示模块(图1未示出),该提示模块根据合成图像中被摄者的位置信息,提示拍摄者应当处于的最佳拍摄位置。
此外,拍摄控制器130还通过获取到的数据,更新拍摄最佳位置、拍摄范围区间等信息。因此,拍摄控制器130具有自我学习能力。
在一个示例中,拍摄控制器130具有人机对话模块(图1未示出)。拍摄控制器130的人机对话模块以语音或文字方式与用户进行人机交互。例如,该人机对话模块提示用户应处于的最佳拍摄位置等。并且该人机对话模块具有语音识别功能。例如,用户向拍摄控制器130提问“被摄者所处的位置是否为最佳拍摄位置”,拍摄控制器130能够回答“是”等。
需要说明的是,在用户通过终端110选择背景图像之后,也可以由终端110对被摄者进行拍摄,得到拍摄图像。此种情况下,终端110可以不在幕布140下进行拍摄。终端110对该拍摄图像进行图像分割处理,从该拍摄图像中得到被摄者图像,该被摄者图像是仅包含被摄者的图像。然后,终端110将该被摄者图像与用户选取的背景图像进行图像合成。此外,选择背景图像的终端与图像分割处理、图像合成的终端可以是同一终端设备,也可以是不同的终端设备。以上仅以由同一终端选择背景图像、图像分割处理、图像合成处理为例进行阐述。
此外,也可以由多个终端分别在不同地点或者同一地点,分别对不同的被摄者进行拍摄。例如,第一终端在第一场地对第一被摄者进行拍摄,得到第一拍摄图像,第一终端对该第一拍摄图像进行图像分割,得到第一被摄者图像;第二终端在第二场地对第二被摄者进行拍摄,得到第二拍摄图像,第二终端对该第二拍摄图像进行图像分割,得到第二被摄者图像;第一终端或者第二终端对该第一被摄者图像、第二被摄者图像与背景图像进行图像合成。
显示模块135用于实时显示被摄者与用户选择的背景图像合成之后的图像,既实时显示合成图像,从而使拍摄设备150能够拍摄出更适合用户选取的背景图像的图像,有助于被摄者与背景图像的无缝结合。
需要说明的是,背景图像可以是2D(二维)图像也可以是3D(三维)图像。
一个应用场景是,背景图像是3D背景图像,拍摄控制器130对该3D背景图像进行光照分布识别,得到布光参数。拍摄控制器130根据该布光参数以及根据该3D背景图像,在数字拍摄系统中模拟出具有该布光参数对应的光照分布的3D图像。拍摄设备150扫描被摄者得到3D扫描图像。拍摄控制器130将该3D扫描图像与该3D背景图像合成,在现实世界中模拟出3D图像合成。
另一个应用场景是,背景图像是3D背景图像,拍摄控制器130对该3D背景图像进行光照分布识别。拍摄设备150扫描被摄者得到3D扫描图像。拍摄控制器130根据该3D背景图像的光照分布情况以及根据该3D背景图像,将该3D扫描图像与该3D背景图像进行合成。
在一个示例中,拍摄控制器130还包括3D全息影像控制模块(图1未示出)。该3D全息影像控制模块用于将背景图像的场景以3D效果形式,投射到拍摄控制器中,从而提升客户的体验,使客户身临其境,从而根据其选择的背景摆出更自然动作。
需要说明的是,图1的拍摄控制器130仅是一个例子,本发明实施例的拍摄控制器未限定在一个具体硬件实体结构。也就是说,拍摄控制器130可以是一个硬件实体,也可以由多个硬件实体组成。
管理控制器120可以管理多个数字拍摄系统,且与多个拍摄控制器进行信息交互。例如,管理控制器120管理背景模板等。
实际上,管理控制器120也可以识别背景图像的光照分布和/或确定数字拍摄系统各灯的布光参数。
以下图2是以管理控制器识别背景图像光照参数;并且由管理控制器根据背景图像的光照参数确定该拍摄控制器的布光参数为例,阐述本发明实施例提供的一种基于拍摄控制器的拍摄方法。
图2是本发明实施例提供的一种基于拍摄控制器的拍摄方法。
步骤210,用户通过终端预约拍摄,包括选取背景图像、拍摄时间、拍摄场地等。该终端如手机终端、平板电脑、笔记本电脑等。
具体地,用户通过微信小程序或者微网站或者手机APP,线上预订拍摄照片或者视频,并且选取背景图像、拍摄时间、拍摄场地等。
步骤220,管理控制器根据用户选择的背景图像、拍摄时间、拍摄场地等信息,生成拍摄订单。
在一个示例中,拍摄控制器和/或管理控制器包含多个背景图像及相应背景图像的标识。拍摄订单包括背景图像的标识,管理控制器和/或拍摄控制器根据该背景图像的标识,从其存储的多个背景图像中获取与该标识相对应的背景图像。
需要说明的是,用户也可以不通过终端在线预订拍摄,用户可以直接在拍摄现场通过拍摄控制器预约拍摄,包括选择背景图像等信息。
步骤230,管理控制器对该背景图像进行分析。
在一个示例中,管理控制器对该背景图像的色温值和/或亮度值进行计算,得到该背景图像所处场景的光照分布。
在另一个示例中,管理控制器识别背景图像的前景、中景和背景,分别确定背景图像的前景、中景、背景的色温值和/或亮度值。
步骤240,管理控制器根据对背景图像的分析结果,确定背景图像的光照参数。该光照参数为光照方向、光照强度、色温值中的一个或多个。
在一个示例中,管理控制器对背景图像在三维空间上采样多个方向,得到该多个方向分布对应的方向向量,并对该多个方向上分布对应的亮度值和/或色温值进行计算,得到该背景图像所处场景的光照分布。
步骤250,管理控制器根据背景图像的光照参数,确定拍摄控制器的一个或多个灯的布光参数,使该拍摄控制器的光照分布与该背景图像所处场景的光照分布相匹配。
该布光参数包括灯编号、灯光方向、灯光强度、灯光的色温、是否闪光、闪光时间、闪光强度、是否常亮、常亮照度中的一个或多个。
在一个示例中,拍摄控制器获取该拍摄控制器的环境光的光照参数,并将该环境光的光照参数发送给管理控制器。例如,该环境光的光照参数为该环境光的光照方向、环境光亮度、被摄者的反射光亮度等。管理控制器根据背景图像的光照参数与环境光照参数之间的差值,确定该拍摄控制器的中的多个灯的布光参数;其中,该差值是同一光照参数的差值,如背景图像的光照亮度与环境光的光照亮度的差值。
在一个示例中,该拍摄控制器的光照参数与背景图像的相应光照参数的差值小于阈值,则该拍摄控制器的光照分布与背景图像所处场景的光照分布相匹配。
步骤260,管理控制器向拍摄控制器中的灯光控制模块发送布光参数,灯光控制模块根据布光参数控制该拍摄控制器中的相应灯,从而完成灯光控制模块对该拍摄控制器的灯光的控制。例如,灯光控制模块控制灯光编号为1的灯常亮,且亮度为2。
步骤270,拍摄设备如照相机,对置于幕布前的被摄者进行拍摄,得到包含幕布背景的拍摄图像。该幕布可以是蓝色幕布或绿色幕布。
步骤280,拍摄控制器的图像处理模块接收来自拍摄设备的拍摄图像,并对该拍摄图像进行图像分割处理,得到被摄者图像。该被摄者图像是不包含任何背景的图像。
步骤290,该图像处理模块将该被摄者图像与该背景图像进行图像合成,得到合成图像。其中,该背景图像是用户通过终端选择的背景图像,而并非是幕布背景图像。
步骤291,由拍摄控制器的显示模块将该合成图像实时显示出来,以便使拍摄设备拍摄出来的图像能够更适合用户选择的背景图像。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (24)

1.一种拍摄控制器,其特征在于,包括:
光照识别模块,用于对背景图像进行分析,得到所述背景图像的光照参数;
布光参数计算模块,用于根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配;
灯光控制模块,用于根据所述布光参数,控制所述拍摄控制器中相应灯的灯光;
图像处理模块,用于对在所述布光参数对应的灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
2.如权利要求1所述的一种拍摄控制器,其特征在于,所述背景图像是用户通过终端或者通过所述拍摄控制器选择的背景图像。
3.如权利要求1所述的一种拍摄控制器,其特征在于,所述光照识别模块还用于:对所述背景图像在三维空间上采样多个方向,得到所述多个方向分别对应的方向向量。
4.如权利要求3所述的一种拍摄控制器,其特征在于,所述光照识别模块对背景图像进行分析,具体为:
所述光照识别模块对所述背景图像在所述多个方向向量上分别对应的亮度值和/或色温值进行计算,得到所述背景图像所处场景的光照分布。
5.如权利要求4所述的一种拍摄控制器,其特征在于,所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配,具体为:
所述拍摄控制器各光源对应方向的亮度值和/或色温值与所述背景图像相应方向的亮度值和/或色温值的差值低于阈值。
6.如权利要求1所述的一种拍摄控制器,其特征在于,所述拍摄控制器还包括光照获取模块;
所述光照获取模块用于获取所述拍摄控制器的环境光照参数。
7.如权利要求6所述的一种拍摄控制器,其特征在于,所述布光参数计算模块具体用于:
根据所述背景图像的光照参数和所述环境光照参数,确定所述拍摄控制器中的一个或多个灯的布光参数。
8.如权利要求1所述的一种拍摄控制器,其特征在于,所述光照识别模块具体用于:确定所述背景图像中多个像素分别对应的像素值,以及确定所述多个像素分别对应的法向信息,并确定所述多个像素分别对应的材质系数;以及确定所述背景图像的多个方向分别对应的方向向量,得到相应的方向向量集合;
根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数,确定所述背景图像在所述多个方向上分别对应的光照强度,从而得到所述背景图像的光照参数。
9.如权利要求8所述的一种拍摄控制器,其特征在于,所述多个像素分别对应的像素值为,相应像素在所述方向向量集合中的各方向分别对应的像素值之和;其中,所述各方向分别对应的像素值与所述相应像素在相应方向上对应的光照强度有关。
10.如权利要求1所述的一种拍摄控制器,其特征在于,所述拍摄控制器包括获取模块、发送模块;
所述获取模块用于获取被摄者的身高数据和/或表情信息;
所述发送模块用于将所述被摄者的身高数据和/或表情信息发送给拍摄设备,以便所述拍摄设备根据被摄者的身高数据和/或表情信息进行拍摄。
11.如权利要求1所述的一种拍摄控制器,其特征在于,所述拍摄控制器包括获取模块、控制模块;
所述获取模块用于获取拍摄设备与被摄者之间的距离;
所述控制模块用于根据所述距离,控制拍摄设备移动或者提示被摄者移动,使得所述距离在拍摄区间之内。
12.一种拍摄方法,其特征在于,包括:
对背景图像进行分析,得到所述背景图像的光照参数;
根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配;
根据布光参数控制所述拍摄控制器中相应灯的灯光;
对在所述布光参数对应的灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
13.如权利要求12所述的一种拍摄方法,其特征在于,所述背景图像是用户通过终端或者通过所述拍摄控制器选择的背景图像。
14.如权利要求12所述的一种拍摄方法,其特征在于,所述方法还包括:
获取所述拍摄控制器的环境光照参数;
根据所述背景图像的光照参数和所述环境光照参数,确定所述拍摄控制器中的一个或多个灯的布光参数。
15.一种管理控制器,其特征在于,包括:
光照识别模块,用于对背景图像进行分析,得到所述背景图像的光照参数;
布光参数计算模块,用于根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配;
发送模块,用于向所述拍摄控制器发送所述布光参数,以便在所述布光参数对应的灯光下拍摄图像。
16.如权利要求15所述的一种管理控制器,其特征在于,所述光照识别模块还用于:对所述背景图像在三维空间上采样多个方向,得到所述多个方向分别对应的方向向量。
17.如权利要求16所述的一种管理控制器,其特征在于,所述光照识别模块对背景图像进行分析,具体为:
所述光照识别模块对所述背景图像在所述多个方向向量上分别对应的亮度值和/或色温值进行计算,得到所述背景图像所处场景的光照分布。
18.如权利要求15所述的一种管理控制器,其特征在于,所述光照识别模块具体用于:确定所述背景图像中多个像素分别对应的像素值,以及确定所述多个像素分别对应的法向信息,并确定所述多个像素分别对应的材质系数;以及确定所述背景图像的多个方向分别对应的方向向量,得到相应的方向向量集合;
根据所述方向向量集合、所述多个像素分别对应的像素值、所述多个像素分别对应的法向信息以及所述多个像素分别对应的材质系数,确定所述背景图像在所述多个方向上分别对应的光照强度,从而得到所述背景图像的光照参数。
19.如权利要求18所述的一种拍摄控制器,其特征在于,所述多个像素分别对应的像素值为,相应像素在所述方向向量集合中的各方向分别对应的像素值之和;其中,所述各方向分别对应的像素值与所述相应像素在相应方向上对应的光照强度有关。
20.一种拍摄方法,其特征在于,包括:
对背景图像进行分析,得到所述背景图像的光照参数;
根据所述背景图像的光照参数,确定拍摄控制器中的一个或多个灯的布光参数,使所述拍摄控制器的光照分布与所述背景图像所处场景的光照分布相匹配;
向所述拍摄控制器发送布光参数,以便在所述布光参数对应的灯光下拍摄图像。
21.如权利要求20所述的一种拍摄方法,其特征在于,所述方法还包括:对所述背景图像在三维空间上采样多个方向,得到所述多个方向分别对应的方向向量。
22.如权利要求21所述的一种拍摄方法,其特征在于,所述对背景图像进行分析,具体为:
对所述背景图像在所述多个方向向量上分别对应的亮度值和/或色温值进行计算,得到所述背景图像所处场景的光照分布。
23.一种拍摄控制器,其特征在于,包括:
接收模块,用于接收来自拍摄控制器对应的管理控制器的布光参数,且所述布光参数是所述拍摄控制器的一个或多个灯的布光参数;
其中,所述布光参数与用户选择的背景图像的光照参数相关,且所述背景图像所处场境的光照分布与所述拍摄控制器的光照分布相匹配;
灯光控制模块,用于根据所述布光参数,控制所述拍摄控制器中相应灯的灯光;
图像处理模块,用于对在所述灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
24.一种拍摄方法,其特征在于,包括:
接收来自拍摄控制器对应的管理控制器的布光参数,且所述布光参数是所述拍摄控制器的一个或多个灯的布光参数;
其中,所述布光参数与用户选择的背景图像的光照参数相关,且所述背景图像所处场境的光照分布与所述拍摄控制器的光照分布相匹配;
根据所述布光参数,控制所述拍摄控制器中相应灯的灯光;
对在所述灯光下拍摄的图像进行图像分割处理,得到被摄者图像,并将所述被摄者图像与所述背景图像进行图像合成。
CN201810012051.4A 2018-01-05 2018-01-05 智能化的拍摄控制器、管理控制器及拍摄方法 Withdrawn CN109618089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810012051.4A CN109618089A (zh) 2018-01-05 2018-01-05 智能化的拍摄控制器、管理控制器及拍摄方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810012051.4A CN109618089A (zh) 2018-01-05 2018-01-05 智能化的拍摄控制器、管理控制器及拍摄方法

Publications (1)

Publication Number Publication Date
CN109618089A true CN109618089A (zh) 2019-04-12

Family

ID=66001930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810012051.4A Withdrawn CN109618089A (zh) 2018-01-05 2018-01-05 智能化的拍摄控制器、管理控制器及拍摄方法

Country Status (1)

Country Link
CN (1) CN109618089A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248450A (zh) * 2019-04-30 2019-09-17 广州富港万嘉智能科技有限公司 一种结合人物进行灯光控制的方法及装置
CN111885768A (zh) * 2020-06-28 2020-11-03 华为技术有限公司 调节光源的方法、电子设备和系统
CN112689101A (zh) * 2021-03-22 2021-04-20 南昌德后科技有限公司 一种基于多角度飞拍的多机位拍摄系统
CN112954286A (zh) * 2021-02-25 2021-06-11 当趣网络科技(杭州)有限公司 基于投影仪的拍照处理方法、系统、电子设备及介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248450A (zh) * 2019-04-30 2019-09-17 广州富港万嘉智能科技有限公司 一种结合人物进行灯光控制的方法及装置
CN110248450B (zh) * 2019-04-30 2021-11-12 广州富港生活智能科技有限公司 一种结合人物进行灯光控制的方法及装置
CN111885768A (zh) * 2020-06-28 2020-11-03 华为技术有限公司 调节光源的方法、电子设备和系统
CN111885768B (zh) * 2020-06-28 2021-12-14 华为技术有限公司 调节光源的方法、电子设备和系统
CN112954286A (zh) * 2021-02-25 2021-06-11 当趣网络科技(杭州)有限公司 基于投影仪的拍照处理方法、系统、电子设备及介质
CN112689101A (zh) * 2021-03-22 2021-04-20 南昌德后科技有限公司 一种基于多角度飞拍的多机位拍摄系统
CN112689101B (zh) * 2021-03-22 2021-06-04 河南图彩信息科技有限公司 一种基于多角度飞拍的多机位拍摄系统

Similar Documents

Publication Publication Date Title
CN112040092B (zh) 一种实时虚拟场景led拍摄系统及方法
CA2764447C (en) System and method for performing motion capture and image reconstruction with transparent makeup
Matsuyama et al. 3D video and its applications
US6628298B1 (en) Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination
CN109618089A (zh) 智能化的拍摄控制器、管理控制器及拍摄方法
CN114364099B (zh) 调节智能灯光设备的方法、机器人及电子设备
US10251462B2 (en) Hair consultation tool arrangement and method
CN109644224A (zh) 用于捕获数字图像的系统和方法
CN104717422B (zh) 显示设备以及显示方法
CN104092955B (zh) 闪光控制方法及控制装置、图像采集方法及采集设备
US20180332239A1 (en) Background replacement utilizing infrared light and visible light
CN103957354A (zh) 一种移动终端及其引导拍照的方法和装置
CN109618088A (zh) 具有光照识别与重现功能的智能化拍摄系统及方法
US20160112616A1 (en) Hair Consultation Tool Arrangement and Method
CN108093174A (zh) 拍照设备的构图方法、装置和拍照设备
CN111698409A (zh) 一种室内拍照灯光调光方法
US11232293B2 (en) Active marker device for performance capture
CN108282622B (zh) 照片拍摄方法和装置
CN103543575A (zh) 图像获取装置与其光源辅助拍摄方法
US20220028132A1 (en) Correlation of mutliple-source image data
CN106357979A (zh) 一种摄影方法、装置和终端
CN106803920A (zh) 一种图像处理的方法、装置及智能会议终端
JP3392078B2 (ja) 画像処理方法、画像処理装置および記憶媒体
EP4150560A1 (en) Single image 3d photography with soft-layering and depth-aware inpainting
Mann Personal imaging and lookpainting as tools for personal documentary and investigative photojournalism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190412

WW01 Invention patent application withdrawn after publication