CN112738388A - 拍照处理方法、系统、电子设备及存储介质 - Google Patents

拍照处理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN112738388A
CN112738388A CN201911030613.9A CN201911030613A CN112738388A CN 112738388 A CN112738388 A CN 112738388A CN 201911030613 A CN201911030613 A CN 201911030613A CN 112738388 A CN112738388 A CN 112738388A
Authority
CN
China
Prior art keywords
user
information
camera
gazing
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911030613.9A
Other languages
English (en)
Other versions
CN112738388B (zh
Inventor
孔祥晖
姚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qixin Yiwei Shenzhen Technology Co ltd
Beijing 7Invensun Technology Co Ltd
Original Assignee
Qixin Yiwei Shenzhen Technology Co ltd
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qixin Yiwei Shenzhen Technology Co ltd, Beijing 7Invensun Technology Co Ltd filed Critical Qixin Yiwei Shenzhen Technology Co ltd
Priority to CN201911030613.9A priority Critical patent/CN112738388B/zh
Publication of CN112738388A publication Critical patent/CN112738388A/zh
Application granted granted Critical
Publication of CN112738388B publication Critical patent/CN112738388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种拍照处理方法、系统、电子设备及存储介质,该方法通过基于用户的配置信息,确定信息采集区域,响应于用户注视所述信息采集区域和/或用户的双眼在信息采集区域内,获取用户的注视数据,根据注视数据,生成调整信息,从而根据调整信息控制摄像头拍摄照片。因此,在本发明中通过对用户的注视数据的分析,优化拍摄,可以提升用户对拍摄照片的满意度,从而实现了减少重复拍照次数,提升了用户体验效果。

Description

拍照处理方法、系统、电子设备及存储介质
技术领域
本发明涉及信息处理技术领域,特别是涉及一种拍照处理方法、系统、电子设备及存储介质。
背景技术
随着电子设备的发展,各种移动终端如手机的使用越来越普及,越来越多的人使用手机或者其他电子设备代替原有的照相机或摄像机进行照片拍摄。
并且,越来越多的用户使用电子设备的自动拍照技术进行拍摄,但是现有的拍照处理方式往往是通过用户发出的拍照指令进行拍摄,从而获得照片,这种拍照处理方式很难一次达到用户满意,通常需要多次拍照才能完成用户的理想效果,会使得用户的体验效果较差。
发明内容
针对于上述问题,本发明提供一种拍照处理方法、系统、电子设备及存储介质,实现了减少重复拍照次数,提升了用户体验效果的目的。
为了实现上述目的,本发明提供了如下技术方案:
一种拍照处理方法,该方法包括:
基于用户的配置信息,确定信息采集区域;
响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
根据所述注视数据,生成调整信息;
基于所述调整信息,控制摄像头拍摄照片。
可选地,所述基于所述调整信息,控制摄像头拍摄照片,包括:
响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片;
或者
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
或者
依据所述调整信息生成对焦指令,使得所述摄像头根据所述对焦指令进行对焦调整。
可选地,该方法还包括:
确定用户双眼在拍摄图像中的位置信息;
根据所述位置信息确定参考值,并根据所述参考值生成控制信息,所述控制信息用于控制生成调整信息或者控制拍照方式,所述拍照方式是根据用户设定双眼位置变化信息确定的。
可选地,所述基于用户的配置信息,确定信息采集区域,包括:
展示拍摄效果模板;
基于用户在所述拍摄效果模板中选定的目标拍摄效果模板,生成信息采集区域,其中,所述信息采集区域表征用户在拍照时用于提示用户眼睛所在的区域。
可选地,所述根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片,包括::
根据用户眼睛与摄像头之间的距离生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
或者
在交互界面中生成第一目标点;
响应于用户对所述第一目标点的注视,生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片。
可选地,响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片,包括:
响应于用户的拍摄角度调整完成,重新采集用户的注视点;
判断所述注视点的坐标位置是否与设定的基准点的坐标位置在预设误差范围内,如果是,则控制摄像头拍摄照片,所述基准点为与所述调整信息相匹配的目标注视点;
如果否,则更新所述调整信息。
可选地,该方法还包括:
响应于用户注视所述交互界面中的第二目标点,判断用户的注视时长是否超过预设时长;
如果是,生成拍摄指令,所述拍摄指令用于控制摄像头拍摄照片。
可选地,该方法还包括:
基于用户的注视数据对拍摄照片进行筛选,获得目标照片。
一种拍照处理系统,该系统包括:
区域确定单元,用于基于用户的配置信息,确定信息采集区域;
数据获取单元,用于响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
信息生成单元,用于根据所述注视数据,生成调整信息;
控制单元,用于基于所述调整信息,控制摄像头拍摄照片。
一种电子设备,包括:处理器和存储器,其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行以下步骤:
基于用户的配置信息,确定信息采集区域;
响应于用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
根据所述注视数据,生成调整信息;
基于所述调整信息,控制摄像头拍摄照片。
一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适用于由处理器加载并执行如上述任意一项的拍照处理方法步骤。
相较于现有技术,本发明提供了一种拍照处理方法、系统、电子设备及存储介质,该方法通过基于用户的配置信息,确定信息采集区域,响应于用户注视所述信息采集区域和/或用户的双眼在信息采集区域内,获取用户的注视数据,根据注视数据,生成调整信息,从而根据调整信息控制摄像头拍摄照片。因此,在本发明中通过对用户的注视数据的分析,优化拍摄,可以提升用户对拍摄照片的满意度,从而实现了减少重复拍照次数,提升了用户体验效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种拍照处理方法的流程示意图;
图2为本发明实施例二提供的基于调整信息控制摄像头拍摄照片的方法的流程示意图;
图3为本发明实施例二提供的一种用户使用移动终端进行拍照的示例图;
图4为本发明实施例四提供的一种根据双眼信息对拍摄效果进行调整的方法的流程示意图;
图5为本发明实施例五提供的一种拍照处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
本发明实施例中提供的拍照处理方法,应用于进行拍照的电子设备,如相机或者具有摄像头的终端设备,由于在发明实施例中是利用用户的注视数据进行拍照控制的,所以本申请的拍照处理方法优选应用在利用前置摄像头进行拍摄的场景,如用户进行自拍的场景。
实施例一
在本发明实施例一中拍照处理方法,参见图1,该方法可以包括:
S101、基于用户的配置信息,确定信息采集区域。
S102、响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据。
在本发明实施例中是依据用户的注视数据,对拍照设备的摄像头进行控制的。因此,在本发明中最关键的步骤是获取用户的注视数据,其中,注视数据包括用户的注视点和/或注视方向。注视数据的准确获取可以使得拍摄效果更佳。为了能够准确获取用户的注视数据,也避免无关的注视数据的采集占用过多的处理资源,影响处理效率。在本发明实施例中首先确定了信息采集区域,该信息采集区域是指用户注视的区域和/或者用户双眼所在的区域。
在实施例中的信息采集区域是根据用户的配置信息确定的。其中,用户的配置信息是指用户自行设置的信息,在该实施例的第一种可能的实现方式中,基于用户的配置信息,确定采集区域包括;
用户选定的区域信息或者用户输入的表征目标信息采集区域的坐标信息。举例说明,当用户打开拍摄界面时,可以选定一个区域作为信息采集区域,该信息采集区域可以设置在拍摄界面的正中间、左上角、左下角、右上角、右下角等任意位置也可以设置在摄像头的位置,由用户自行设置。信息采集区域的形状可以是一个预设好的圆形或者矩形还可以是椭圆形等几何图形,在拍摄界面以虚线的形式呈现,这样在进行拍照时,该用户需要注视该信息采集区域。当然,该信息采集区域也可以预设成不同大小的尺寸供用户选择使用。如果信息采集区域被设置在摄像头的位置,则不需要显示该区域,在进行拍照时用户只需要注视摄像头即可。
在该实施例的第一种可能的实现方式中,只需要用户注视该信息采集区域,用户可以将双眼放置在该信息采集区域内也可以不放置在该信息采集区域内,也就是说,用户的双眼可以在拍摄界面的任意部位。
确定了信息采集区域后,系统会利用眼球追踪技术,通过测量眼睛运动情况来估计眼睛的视线和/或注视点。目前视线跟踪系统中,大多采用非干扰式的眼动追踪方法,尤其以瞳孔角膜反射法应用最为广泛。其根据人眼的生理特性及视觉成像原理,利用图像处理技术对采集到的眼图进行处理,获得用于视线估计的人眼特征参数。以得到的人眼特征参数为基准点,采用相应的映射模型即可得到用户视线在拍摄界面的落点坐标,以实现视线的跟踪。
当用户的视线在拍摄界面的落点坐标在信息采集区域内时,系统获取用户的注视数据。
在该实施例的另一种可能的实现方式中,基于用户的配置信息,确定采集区域还可以包括;
展示拍摄效果模板;
基于用户在所述拍摄效果模板中选定的目标拍摄效果模板,生成信息采集区域。
其中,该信息采集区域表征用户在拍照时用于提示用户眼睛所在的区域。在该实施例的方式中可以帮助用户在不确定想要获得的拍摄效果时,可以根据拍摄效果模板选取符合自己需求的拍摄效果,然后选定目标拍摄效果模板。每个目标拍摄效果模板都可以对应设置一组坐标参数,该坐标参数表征信息采集区域的边界的坐标信息,如,信息采集区域为矩形区域,则坐标参数为该矩形区域的四个顶点坐标的参数;如果信息采集区域为圆形区域,则坐标参数为该圆形区域的圆心坐标及半径参数。当用户选择了满意的目标拍摄效果模板时,即确定了一个信息采集区域,用户在拍照时需要将双眼放置在该目标采集区域内。
当用户没有将双眼放置在该目标采集区域内时,系统不会对人眼进行视线跟踪,只有当系统检测到用户的双眼在该信息采集区域内时,才会开始对用户进行视线跟踪,获取用户的注视数据。目前视线跟踪系统中,大多采用非干扰式的眼动追踪方法,尤其以瞳孔角膜反射法应用最为广泛。其根据人眼的生理特性及视觉成像原理,利用图像处理技术对采集到的眼图进行处理,获得用于视线估计的人眼特征参数。以得到的人眼特征参数为基准点,采用相应的映射模型即可得到用户视线在拍摄界面的落点坐标,以实现视线的跟踪。
需要注意的,检测用户双眼是否在信息采集区域内属于现有技术,其中涉及图像识别技术特别是人体的特征信息的识别技术。例如,人眼识别技术,具体的,通过摄像头采集到用户的眼部图像后,可以通过机器视觉算法判断信息采集区域是否存在表征人眼的眼部特征信息,如果存在,则说明用户双眼在信息采集区域内。同理还可以采用人脸识别算法,本申请不做详细描述。
此时获取到的用户视线在拍摄界面的落点坐标,可能落在信息采集区域内当然也可以落在信息采集区域以外的任意拍摄界面的位置。之所以要用户将双眼放置在信息采集区域内,是为了确定一个视线追踪的对象,例如多人合照时,必须确定一个固定用户的双眼进行视线追踪,获取固定用户的注视信息。以防止多人合照时获取到不同人的注视信息,没办法统一注视数据。
S103、根据注视数据,生成调整信息。
S104、基于所述调整信息,控制摄像头拍摄照片。
由于注视数据包括用户的注视点和/或注视方向,可以根据用户的注视数据生成调整信息,根据该调整信息对控制摄像头的拍摄参数进行调整,从而控制摄像头拍摄照片。所述拍摄参数可以表征摄像头的聚焦参数。例如,当获取到用户在信息采集区域内的注视点,可以控制拍摄设备的摄像头以所述注视点为目标圆点的范围内进行聚焦,待聚焦完成后控制摄像头拍摄照片。当然也可以根据用户的注视数据生成调整拍摄触发指令的调整信息,例如,当检测到用户的注视点处于预设区域内时,且注视时长达到时长阈值,如2秒,则会控制摄像头自动拍摄照片,而无需用户再触控拍照按钮。所述预设区域为预先设定好的一个触发区域,例如摄像头的位置,当用户注视摄像头位置时,则触发调整信息生成,完成控制摄像头自动拍摄照片的操作。
本发明实施例一提供了一种拍照处理方法,该方法通过基于用户的配置信息,确定信息采集区域,响应于用户注视该信息采集区域和/或用户的双眼在信息采集区域内,获取用户的注视数据,根据注视数据,生成调整信息,从而根据调整信息控制摄像头拍摄照片。因此,在本发明中通过对用户的注视数据的分析,优化拍摄,可以提升用户对拍摄照片的满意度,从而实现了减少重复拍照次数,提升了用户体验效果。
实施例二
在上述实施例一提供的拍照处理方法的基础上,参见图2,在本发明实施例二中提供了基于调整信息控制摄像头拍摄照片的方法,该方法包括:
S200、获得调整信息;
S201、响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片;
或者
S202、根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
或者
S203、依据所述调整信息生成对焦指令,使得所述摄像头根据所述对焦指令进行对焦调整。
在步骤S201中生成的调整信息可以针对用户进行调整,调整信息的生成方法为:当用户注视所述信息采集区域时,会采集到用户的注视方向,根据用户的注视方向与一个预设平面,计算其夹角,将该夹角与预设拍摄角度进行比较,生成调整信息。例如,一般用户都希望拍照时,人脸与相机成45°夹角为预设拍摄角度,信息采集区域表征拍照设备的前置摄像头所在的区域,当用户注视所述前置摄像头时,可以计算出用户的注视视线与手机拍摄平面(即预设平面)的夹角θ,当θ大于或者小于45度时,可以生成提示信息,所述提示信息用于提示用户对当前的注视角度进行调整以使得θ接近45°这个最佳拍摄角度。参见图3,其示出了本发明实施例二中的一种用户使用移动终端进行拍照的示例图。在图3中,A为移动终端,B是拍摄对象,这里可以理解为人脸,θ表征摄像头和人脸的连线与移动终端A的地面垂直线之间的夹角,即为用户的注视视线与手机拍摄平面的夹角,也可以被记为当前移动终端的拍摄角度。当用户将移动终端举高想拍摄俯视效果时,此时,移动终端处于D的位置,可见此时θ小于45°则说明用户将手机举得过高了,这时移动终端会生成提示信息,并将提示信息通过语音播放的形式播放给用户,可以为“请将手机向下一点”,或者在拍摄设备的显示屏幕出现向下的箭头以提示用户将手机向下移动一点。直到θ接近45°。这里可以设置一个阈值,例如±2°,当θ在43-47°时,停止提示信息。例如,当用户将移动终端A移动至图3中的F位置,则停止提示,进行拍照。这样会使得用户利用前置摄像拍照时可以达到由专业摄像人员指导的体验效果,使得用户拍出的照片效果更好,满足了用户的体验需求,避免重复拍照。
步骤S201响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片,具体包括:
响应于用户的拍摄角度调整完成,重新采集用户的注视点;
判断所述注视点的坐标位置是否与设定的基准点的坐标位置在预设误差范围内,如果是,则控制摄像头拍摄照片,所述基准点为与所述调整信息相匹配的目标注视点;
如果否,则更新所述调整信息。
其中,基准点为预先设置的参考点,如根据用户选定的拍摄效果模板确定的获取最优拍摄效果的拍摄照片时,在达到最优效果的拍摄照片上的基准点。该基准点可以表示用户的某个特征信息所在的点,也可以为预先设置的区域分割上的一个点。即该基准点为与调整信息相匹配的目标注视点。
当判断注视点的坐标信息与设定的基准点的坐标位置在预设误差范围内,即当前用户的注视点和/或注视方向不影响用户获得较好的拍摄效果的照片时,控制摄像头拍摄照片。否则会继续更新调整信息,直至满足上述条件。以使得用户能够获得较好的拍摄效果。
另一方面,在步骤S202中可以根据调整信息对拍照设备的拍照模式进行切换。通过对用户的注视数据进行分析,来获得用户的注视视线、注视点、注视角度以及眼睛与摄像头之间的距离,进而可以得到用户期望拍摄的图像范围,从而生成调整信息。然后自动调整图像拍摄的模式,对应的拍摄模式可以包括人像模式、景物模式、微距模式、连拍模式和延时拍摄模式等。
在步骤S202的一个具体实施方式中,可以根据用户眼睛与摄像头之间的距离来进行拍摄模式的切换,该方法包括:
根据用户眼睛与摄像头之间的距离生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片。
具体地,若通过用户的注视数据,检测到用户的双眼与摄像头之间的距离大于距离阈值M,则可以证明用户期望拍摄的区域为用户身后的景色区域,则会将当前的拍摄模式调整为景物模式,使得拍摄效果更好。如果测到用户的双眼与摄像头之间的距离小于距离阈值M,则可以证明用户期望拍摄的区域为用户自身近景区域,则会将当前的拍摄模式调整为人像模式,使得拍摄出的照片具有景深效果,实现背景虚化功能。如果测到用户的双眼与摄像头之间的距离小于一个更小的距离阈值N,则可以证明用户期望拍摄的区域为用户脸部特定的一个区域,则会将当前的拍摄模式调整为微距模式,使得拍摄出的照片能够清晰的显示脸部特定部位的清晰照片。注意距离阈值M大于N。
在步骤S202的另一个具体实施方式中,还可以通过生成目标点来进行拍摄模式的切换,该方法包括:
在交互界面中生成第一目标点;
响应于用户对所述第一目标点的注视,生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片。
其中,交互界面是指用户进行拍照时的拍摄界面,可以在该交互界面上生成第一目标点,该第一目标点可以表征用户需要注视的目标点,可以根据预先设定的与第一目标点对应的调整信息,响应用户对第一目标点的注视,若当用户注视第一目标点时的调整信息表示连拍指令,则当用户注视第一目标点时,切换至连拍模式,从而进行连续拍摄。若用户注视第一目标点时的调整信息标识延时拍摄指令,则当用户注视第一目标点时,切换至延时拍摄模式,从而进行延时拍摄。
采用对用户的注视数据进行分析的方法控制摄像头进行拍摄模式的变化,能够在用户进行拍照时自由快速地切换拍摄模式,而且不需要手动操作拍摄界面,方法简单快捷。
在步骤S203中,还可以根据调整信息完成摄像头的自动对焦处理。具体的,用户在进行拍摄的过程中,在一般拍摄模式下摄像头会自动对焦人脸面部或者用户双眼所在区域。响应于根据采集到的用户的注视数据,生成调整信息时,该调整信息可以用来指示对摄像头的自动对焦的调整,当用户不希望对焦在自己脸上时,可以注视希望对焦的位置,使得摄像头能够根据用户的注视数据进行对焦以达到用户想要的对焦效果,并且会随着用户位置、姿态及注视角度、方向的改变完成自动对焦处理。
采用上述步骤可以方便的为用户提供摄像头的自动对焦处理,能够按照用户的意愿进行对焦,而且不需要用户手动操作移动终端界面,方便又快捷。
此外,在本申请步骤S201、S202和S203之后,还可以根据拍摄指令控制摄像头拍摄照片,具体的方法包括:
响应于用户注视交互界面中的第二目标点,判断用户的注视时长是否超过预设时长;
如果是,生成拍摄指令,所述拍摄指令用于控制摄像头拍摄照片。
需要说明的是,该第二目标点可以是交互界面中预先设定好的点,也可以是交互界面内的任意一个位置点即不限制第二目标点的位置。在进行自动拍摄时,用户可以通过对第二目标点的注视时长来进行拍摄,如,用户对第二目标点的注视时长超过2秒,进行自动拍摄,可以减少用户自拍时需要进行按键拍摄的操作不便性,也可以预防用户没准备好就进行拍摄的尴尬。
若用户获得当前拍摄模式下的拍摄照片后,还需要拍摄其他注视角度的照片,可以根据用户的自定义信息生成一个第二目标点即预先设定好一个第二目标点,然后基于用户对自定义的第二目标点的注视,控制摄像头进行拍摄。
实施例三
在上述实施例二中是根据用户的注视数据进行拍摄过程中的拍照处理,当然也可以根据用户的注视数据对已经拍摄完成的照片进行筛选。在本发明实施例三中提供了一种对已拍摄的照片进行筛选的方法,具体的方法包括:
基于用户的注视数据对拍摄照片进行筛选,获得目标照片。
在用户自拍过程中,通过加入注视点的位置信息,自动筛选出连拍中最佳效果的照片。具体的,例如当用户拍摄证件照时,眼眼正视屏幕中间区域时为最佳效果的照片,则可以对每一个拍摄照片的注视角度进行分析,将注视点的位置在手机屏幕中间区域位置的照片保留,将没有正视手机屏幕中间区域位置的照片筛选掉,从而得到目标照片。又例如,在用户自拍时,眼睛注视摄像头的位置为最佳效果的照片,则可以对每一个拍摄照片的注视角度进行分析,将注视点的位置在手机摄像头位置的照片保留,将没有注视手机摄像头位置的照片筛选掉,从而得到目标照片。
实施例四
为了便于对用户的注视数据进行采集,也为了能够得到更优质的处理效果。在本申请的实施例一的基础上,实施例四还包括了根据双眼信息对拍摄效果进行调整的方法,参见图4,该方法包括:
S401、确定用户双眼在拍摄图像中的位置信息;
S402、根据所述位置信息确定参考值,并根据所述参考值生成控制信息。
需要说明的是,该控制信息可以用于控制生成调整信息或者控制拍照方式,该拍照方式是根据用户设定双眼位置变化信息确定的。之所以选择用户双眼在拍摄图像中的位置信息,一方面是由于用户的双眼便于在拍摄图像中进行确定,可以减少处理器的处理过程,另一方面,可以基于眼动数据进行相应的控制,达到智能控制的目的。
用户双眼在拍摄图像中的位置信息可以是一个相对位置信息,例如,相对拍摄图像的中心原点的位置。然后以该位置信息作为参考值,该参考值是指生成调整信息的参考值,例如,用户期望通过前置摄像头进行正面证件照的拍摄,可以基于用户双眼在初始图像中的位置信息,来生成调整信息,用于指导用户进行对应位置的调整,以获得符合证件照需求的拍摄照片。
另外,根据用户双眼在拍摄图像中的位置信息也可以生成控制拍照方式的控制信息。如应用在自动抓拍场景中,当对人眼图像进行初步采集时,根据采集信息分析得到用户双眼在拍摄图像中的预设位置时,会生成拍照控制指令,实现对当前用户进行抓拍,将得到的抓拍图像进行保存,这样可以根据用户双眼在拍摄图像中的位置进行抓拍指令的生成,从而控制拍摄设备的抓拍,可以避免当用户无法自行拍摄采用连拍模式得到多张图像,造成的图像拍摄资源的浪费。
通过上述的实施例一至实施例四对本发明提供的拍照处理方法,及该方法中对应的步骤的详细说明,可知在本发明的各个实施例中用户的注视数据可以包括用户的注视点和/或注视方向。其中,注视点的方向可以是屏幕中的任意位置。可以通过注视点位置完成用户拍摄过程中的位置调整、拍照模式的调整、自动对焦,如通过用户注视点,自动对焦人脸面部或其他区域,达到最佳的清晰度。也可以通过注视点位置完成操作控制,如,倒计时自拍(延时拍摄)、连续拍摄等等。还可以利用注视点位置信息,来实现在拍摄视频时的控制,如自动暂停或启动视频拍摄等,具体的,当用户需要利用拍摄设备进行一段视频的录制时,若没有另一位用户操作该拍摄设备,用户可以设置一个进行响应于启动或者暂停的注视位置,如,与摄像头存在第一位置关系的第一目标点,和与摄像头存在第二位置关系的第二目标点,当用户注视第一目标点时,启动拍摄,即实现对当前场景的自动拍摄,当用户注视第二目标点时,暂停拍摄。因此,本申请在不增加硬件成本情况下,提供了用户注视数据,通过注视数据的使用,优化拍摄过程中,用户自拍效果以及效率。因此,通过本发明提供的拍照方法可以应用于多个拍摄场景和拍摄需求,实现了智能拍摄的目的。
实施例五
在本发明实施例五中还提供了一种拍照处理系统,参见图5,该系统包括:
区域确定单元10,用于基于用户的配置信息,确定信息采集区域;
数据获取单元20,用于响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
信息生成单元30,用于根据所述注视数据,生成调整信息;
控制单元40,用于基于所述调整信息,控制摄像头拍摄照片。
在上述实施例的基础上,所述控制单元包括:
第一控制子单元,用于响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片;
或者
模式切换子单元,用于根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
指令生成子单元,用于依据所述调整信息生成对焦指令,使得所述摄像头根据所述对焦指令进行对焦调整。
在上述实施例的基础上,该系统还包括:
位置确定单元,用于确定用户双眼在拍摄图像中的位置信息;
信息生成单元,用于根据所述位置信息确定参考值,并根据所述参考值生成控制信息,所述控制信息用于控制生成调整信息或者控制拍照方式,所述拍照方式是根据用户设定双眼位置变化信息确定的。
在上述实施例的基础上,所述区域确定单元,包括:
模板展示子单元,用于展示拍摄效果模版;
区域确定子单元,用于基于用户在所述拍摄效果模版中选定的目标拍摄效果模版,生成信息采集区域,其中,所述信息采集区域表征用户在拍照时用于提示用户眼睛所在的区域。
在上述实施例的基础上,该系统还包括:
第一目标点生成单元,用于在交互界面中生成第一目标点;
信息生成子单元301,用于根据用户眼睛与摄像头之间的距离生成调整信息,所述调整信息用于控制所述摄像头的拍摄模式;
或者
用于响应于用户对所述第一目标点的注视,生成调整信息,所述调整信息用于控制所述摄像头的拍摄模式。
在上述实施例的基础上,第一控制子单元具体用于:
响应于用户的拍摄角度调整完成,重新采集用户的注视点;
判断所述注视点的坐标位置是否与设定的基准点的坐标位置在预设误差范围内,如果是,则控制摄像头拍摄照片,所述基准点为与所述调整信息相匹配的目标注视点;
如果否,则更新所述调整信息。
在上述实施例的基础上,所述系统还包括:
时长判断单元,用于响应于用户注视所述交互界面中的第二目标点,判断用户的注视时长是否超过预设时长;
指令生成单元,用于如果是,生成拍摄指令,所述拍摄指令用于控制摄像头拍摄照片。
在上述实施例的基础上,该系统还包括:
筛选单元,用于基于用户的注视数据对拍摄照片进行筛选,获得目标照片。
本发明提供了一种拍照处理系统,通过基于用户的配置信息,确定信息采集区域,响应于用户注视所述信息采集区域和/或用户的双眼在信息采集区域内,获取用户的注视数据,根据注视数据,生成调整信息,从而根据调整信息控制摄像头拍摄照片。因此,在本发明中通过对用户的注视数据的分析,优化拍摄,可以提升用户对拍摄照片的满意度,从而实现了减少重复拍照次数,提升了用户体验效果。
实施例六
本发明实施例六提供了一种电子设备,包括:处理器和存储器,其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行以下步骤:
基于用户的配置信息,确定信息采集区域;
响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
根据所述注视数据,生成调整信息;
基于所述调整信息,控制摄像头拍摄照片。
可选地,所述基于所述调整信息,控制摄像头拍摄照片,包括:
响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片;
或者
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
或者
依据所述调整信息生成对焦指令,使得所述摄像头根据所述对焦指令进行对焦调整。
可选地,该方法还包括:
确定用户双眼在拍摄图像中的位置信息;
根据所述位置信息确定参考值,并根据所述参考值生成控制信息,所述控制信息用于控制生成调整信息或者控制拍照方式,所述拍照方式是根据用户设定双眼位置变化信息确定的。
可选地,所述基于用户的配置信息,确定信息采集区域,包括:
展示拍摄效果模板;
基于用户在所述拍摄效果模板中选定的目标拍摄效果模板,生成信息采集区域,其中,所述信息采集区域表征用户在拍照时用于提示用户眼睛所在的区域。
可选地,所述根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片,包括:
根据用户眼睛与摄像头之间的距离生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
或者
在交互界面中生成第一目标点;
响应于用户对所述第一目标点的注视,生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片。
可选地,响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片,包括:
响应于用户的拍摄角度调整完成,重新采集用户的注视点;
判断所述注视点的坐标位置是否与设定的基准点的坐标位置在预设误差范围内,如果是,则控制摄像头拍摄照片,所述基准点为与所述调整信息相匹配的目标注视点;
如果否,则更新所述调整信息。
可选地,该方法还包括:
响应于用户注视所述交互界面中的第二目标点,判断用户的注视时长是否超过预设时长;
如果是,生成拍摄指令,所述拍摄指令用于控制摄像头拍摄照片。
可选地,该方法还包括:
基于用户的注视数据对拍摄照片进行筛选,获得目标照片。
实施例七
本发明实施例七提供了一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适用于由处理器加载并执行如上述实施例一至实施例四中任意一项的拍照处理方法步骤。
本文中的设备可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (11)

1.一种拍照处理方法,其特征在于,该方法包括:
基于用户的配置信息,确定信息采集区域;
响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
根据所述注视数据,生成调整信息;
基于所述调整信息,控制摄像头拍摄照片。
2.根据权利要求1所述的方法,其特征在于,所述基于所述调整信息,控制摄像头拍摄照片,包括:
响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片;
或者
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
或者
依据所述调整信息生成对焦指令,使得所述摄像头根据所述对焦指令进行对焦调整。
3.根据权利要求1所述的方法,其特征在于,该方法还包括:
确定用户双眼在拍摄图像中的位置信息;
根据所述位置信息确定参考值,并根据所述参考值生成控制信息,所述控制信息用于控制生成调整信息或者控制拍照方式,所述拍照方式是根据用户设定双眼位置变化信息确定的。
4.根据权利要求1所述的方法,其特征在于,所述基于用户的配置信息,确定信息采集区域,包括:
展示拍摄效果模版;
基于用户在所述拍摄效果模版中选定的目标拍摄效果模版,生成信息采集区域,其中,所述信息采集区域表征用户在拍照时用于提示用户眼睛所在的区域。
5.根据权利要求2所述的方法,其特征在于,所述根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片,包括:
根据用户眼睛与摄像头之间的距离生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片;
或者
在交互界面中生成第一目标点;
响应于用户对所述第一目标点的注视,生成调整信息;
根据所述调整信息切换拍摄模式,基于切换后的拍摄模式控制摄像头拍摄照片。
6.根据权利要求2所述的方法,其特征在于,响应于用户根据所述调整信息调整注视角度,且调整后的注视角度满足预设条件,控制摄像头拍摄照片,包括:
响应于用户的拍摄角度调整完成,重新采集用户的注视点;
判断所述注视点的坐标位置是否与设定的基准点的坐标位置在预设误差范围内,如果是,则控制摄像头拍摄照片,所述基准点为与所述调整信息相匹配的目标注视点;
如果否,则更新所述调整信息。
7.根据权利要求2所述的方法,其特征在于,该方法还包括:
响应于用户注视所述交互界面中的第二目标点,判断用户的注视时长是否超过预设时长;
如果是,生成拍摄指令,所述拍摄指令用于控制摄像头拍摄照片。
8.根据权利要求1所述的方法,其特征在于,该方法还包括:
基于用户的注视数据对拍摄照片进行筛选,获得目标照片。
9.一种拍照处理系统,其特征在于,该系统包括:
区域确定单元,用于基于用户的配置信息,确定信息采集区域;
数据获取单元,用于响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
信息生成单元,用于根据所述注视数据,生成调整信息;
控制单元,用于基于所述调整信息,控制摄像头拍摄照片。
10.一种电子设备,其特征在于,包括:处理器和存储器,其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行以下步骤:
基于用户的配置信息,确定信息采集区域;
响应于用户注视所述信息采集区域和/或用户的双眼在所述信息采集区域内,获取用户的注视数据,所述注视数据包括用户的注视点和/或注视方向;
根据所述注视数据,生成调整信息;
基于所述调整信息,控制摄像头拍摄照片。
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适用于由处理器加载并执行如权利要求1-8任意一项的方法步骤。
CN201911030613.9A 2019-10-28 2019-10-28 拍照处理方法、系统、电子设备及存储介质 Active CN112738388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911030613.9A CN112738388B (zh) 2019-10-28 2019-10-28 拍照处理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911030613.9A CN112738388B (zh) 2019-10-28 2019-10-28 拍照处理方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112738388A true CN112738388A (zh) 2021-04-30
CN112738388B CN112738388B (zh) 2022-10-18

Family

ID=75588795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911030613.9A Active CN112738388B (zh) 2019-10-28 2019-10-28 拍照处理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112738388B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747011A (zh) * 2021-08-31 2021-12-03 网易(杭州)网络有限公司 一种辅助拍摄方法、装置、电子设备及介质
CN114302054A (zh) * 2021-11-30 2022-04-08 歌尔光学科技有限公司 一种ar设备的拍照方法及其ar设备
WO2023005338A1 (zh) * 2021-07-26 2023-02-02 北京有竹居网络技术有限公司 拍摄方法、装置、电子设备、存储介质和计算机程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690165A (zh) * 2007-02-02 2010-03-31 百诺克公司 尤其用于拍照的基于无意识的眼睛信号的控制方法
CN103501406A (zh) * 2013-09-16 2014-01-08 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
CN107609471A (zh) * 2017-08-02 2018-01-19 深圳元见智能科技有限公司 一种人脸活体检测方法
CN108234994A (zh) * 2017-12-29 2018-06-29 上海玮舟微电子科技有限公司 一种人眼位置确定方法及装置
CN108234872A (zh) * 2018-01-03 2018-06-29 上海传英信息技术有限公司 移动终端及其拍照方法
CN108881724A (zh) * 2018-07-17 2018-11-23 北京七鑫易维信息技术有限公司 一种图像获取方法、装置、设备及存储介质
CN109600555A (zh) * 2019-02-02 2019-04-09 北京七鑫易维信息技术有限公司 一种对焦控制方法、系统及拍照设备
CN109858337A (zh) * 2018-12-21 2019-06-07 普联技术有限公司 一种基于瞳孔信息的人脸识别方法、系统和设备
CN109976528A (zh) * 2019-03-22 2019-07-05 北京七鑫易维信息技术有限公司 一种基于头动调整注视区域的方法以及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101690165A (zh) * 2007-02-02 2010-03-31 百诺克公司 尤其用于拍照的基于无意识的眼睛信号的控制方法
CN103501406A (zh) * 2013-09-16 2014-01-08 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
CN107609471A (zh) * 2017-08-02 2018-01-19 深圳元见智能科技有限公司 一种人脸活体检测方法
CN108234994A (zh) * 2017-12-29 2018-06-29 上海玮舟微电子科技有限公司 一种人眼位置确定方法及装置
CN108234872A (zh) * 2018-01-03 2018-06-29 上海传英信息技术有限公司 移动终端及其拍照方法
CN108881724A (zh) * 2018-07-17 2018-11-23 北京七鑫易维信息技术有限公司 一种图像获取方法、装置、设备及存储介质
CN109858337A (zh) * 2018-12-21 2019-06-07 普联技术有限公司 一种基于瞳孔信息的人脸识别方法、系统和设备
CN109600555A (zh) * 2019-02-02 2019-04-09 北京七鑫易维信息技术有限公司 一种对焦控制方法、系统及拍照设备
CN109976528A (zh) * 2019-03-22 2019-07-05 北京七鑫易维信息技术有限公司 一种基于头动调整注视区域的方法以及终端设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023005338A1 (zh) * 2021-07-26 2023-02-02 北京有竹居网络技术有限公司 拍摄方法、装置、电子设备、存储介质和计算机程序产品
CN113747011A (zh) * 2021-08-31 2021-12-03 网易(杭州)网络有限公司 一种辅助拍摄方法、装置、电子设备及介质
CN113747011B (zh) * 2021-08-31 2023-10-24 网易(杭州)网络有限公司 一种辅助拍摄方法、装置、电子设备及介质
CN114302054A (zh) * 2021-11-30 2022-04-08 歌尔光学科技有限公司 一种ar设备的拍照方法及其ar设备

Also Published As

Publication number Publication date
CN112738388B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
US20200221014A1 (en) Image pickup device and method of tracking subject thereof
CN103197491B (zh) 快速自动聚焦的方法和图像采集装置
JP6522708B2 (ja) プレビュー画像表示方法及び装置、並びに端末
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
CN112738388B (zh) 拍照处理方法、系统、电子设备及存储介质
JP6101397B2 (ja) 写真出力方法および装置
US9210324B2 (en) Image processing
WO2015180609A1 (zh) 一种实现自动拍摄的方法、装置及计算机存储介质
US20080080846A1 (en) Selecting autofocus area in an image
KR102407190B1 (ko) 영상 촬영 장치 및 그 동작 방법
US9402020B2 (en) Focus detection apparatus and control method for the same
CN107800951B (zh) 电子装置及其镜头切换方法
CN109002796B (zh) 一种图像采集方法、装置和系统以及电子设备
JP5886479B2 (ja) 撮像装置、撮像アシスト方法及び撮像アシストプログラムを記録した記録媒体
CN109600555A (zh) 一种对焦控制方法、系统及拍照设备
CN106791451B (zh) 一种智能终端的拍照方法
KR20170048555A (ko) 홍채 이미지 획득 방법 및 장치, 및 홍채 인식 장치
CN113302908B (zh) 控制方法、手持云台、系统及计算机可读存储介质
CN106791407B (zh) 一种自拍控制方法和系统
US8866934B2 (en) Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium
JP2011227692A (ja) サイズ測定装置
JP2016012846A (ja) 撮像装置、その制御方法、および制御プログラム
US20230298197A1 (en) Electronic device with gaze-based autofocus of camera during video rendition of scene
CN111726531B (zh) 图像拍摄方法、处理方法、装置、电子设备及存储介质
JP7342883B2 (ja) 撮像制御装置、撮像装置、撮像制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant