CN110099219A - 全景拍摄方法及相关产品 - Google Patents

全景拍摄方法及相关产品 Download PDF

Info

Publication number
CN110099219A
CN110099219A CN201910512139.7A CN201910512139A CN110099219A CN 110099219 A CN110099219 A CN 110099219A CN 201910512139 A CN201910512139 A CN 201910512139A CN 110099219 A CN110099219 A CN 110099219A
Authority
CN
China
Prior art keywords
angle
rotation
face picture
coordinate
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910512139.7A
Other languages
English (en)
Other versions
CN110099219B (zh
Inventor
王文东
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910512139.7A priority Critical patent/CN110099219B/zh
Publication of CN110099219A publication Critical patent/CN110099219A/zh
Application granted granted Critical
Publication of CN110099219B publication Critical patent/CN110099219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种全景拍摄方法及相关产品,所述方法应用于电子设备,所述电子设备包括:前置摄像头、后置摄像头和显示屏,所述方法包括:获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。通过实施本申请实施例能够通过眼球追踪技术控制后置摄像头旋转拍摄全景照片,能满足用户的多样需求,提高用户体验度。

Description

全景拍摄方法及相关产品
技术领域
本申请涉及电子设备技术领域,具体涉及一种全景拍摄方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等等)的大量普及应用,电子设备能够支持的应用越来越多,功能越来越强大,电子设备向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品。
全景拍摄是目前生活中一种常用的拍照技术,通过全景拍照技术可以拍到比普通拍照技术更大范围的场景,但是拍摄全景照片时需要缓慢平稳移动电子设备,一般情况下通过手动控制难以实现平稳且缓慢地移动电子设备,在移动的过程中容易出现抖动严重或移动过程不平滑等问题,导致图片出现断层或重叠,无法满足用户的多样需求,影响了用户体验度。
发明内容
本申请提供了一种全景拍摄方法及相关产品,能够通过眼球追踪技术控制后置摄像头旋转拍摄全景照片,满足了用户的多样需求,提高了用户体验度。
第一方面,本申请实施例提供一种全景拍摄方法,所述方法应用于电子设备,所述电子设备包括:前置摄像头、后置摄像头和显示屏,所述方法包括:
获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;
对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;
依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
第二方面,本申请实施例提供一种电子设备,所述电子设备包括:前置摄像头、后置摄像头、显示屏和处理器,其中,
所述前置摄像头,用于采集第一人脸图片与第二人脸图片;
所述处理器,用于获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
第三方面,本申请实施例提供一种拍摄装置,其特征在于,所述方法应用于电子设备,所述电子设备包括:前置摄像头、后置摄像头和显示屏,所述方法包括:
获取单元,用于获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;
计算单元,用于对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;
执行单元,用于依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
第四方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第五方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第六方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请提供的技术方案通过获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能,从而实现了通过眼球追踪技术控制后置摄像头旋转拍摄全景照片,满足了用户的多样需求,提高了用户体验度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图;
图1B是本申请实施例提供的一种全景拍摄方法的流程示意图;
图2A是本申请实施例提供的一种确定坐标距离的方法的流程示意图;
图2B是本申请实施例提供的一种全景拍摄对焦的方法的流程示意图;
图3是本申请实施例提供的一种电子设备的结构示意图;
图4是本申请实施例提供的一种全景拍摄装置的功能单元组成框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(例如智能手机或平板电脑)、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminal device)等等。
下面对本申请实施例进行详细介绍。
请参阅图1A,图1A是本申请实施例公开的一种电子设备的结构示意图,电子设备100包括存储和处理电路110,以及与所述存储和处理电路110连接的传感器170,其中:
电子设备100可以包括控制电路,该控制电路可以包括存储和处理电路110。该存储和处理电路110可以存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。
存储和处理电路110可用于运行电子设备100中的软件,例如互联网浏览应用程序,互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序,电子邮件应用程序,媒体播放应用程序,操作系统功能等。这些软件可以用于执行一些控制操作,例如,基于照相机的图像采集,基于环境光传感器的环境光测量,基于接近传感器的接近传感器测量,基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能,基于触摸传感器的触摸事件检测,与在多个(例如分层的)显示屏上显示信息相关联的功能,与执行无线通信功能相关联的操作,与收集和产生音频信号相关联的操作,与收集和处理按钮按压事件数据相关联的控制操作,以及电子设备100中的其它功能等,本申请实施例不作限制。
电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出,即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170包括物质传感器,还可以包括环境光传感器,基于光和电容的接近传感器,指纹识别模组,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,物质传感器用于采集皮肤电容量,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,摄像头,和其它传感器等,摄像头可以为前置摄像头或者后置摄像头,指纹识别模组可集成于显示屏下方,用于采集指纹图像,指纹识别模组可以为以下至少一种:光学指纹识别模组、或者超声波指纹识别模组等等,在此不作限定。上述前置摄像头可以设置前面显示屏的下方,上述后置摄像头可以设置在后面显示屏的下方。当然上述前置摄像头或后置摄像头也可以不和显示屏集成设置,当然在实际应用中,上述前置摄像头或后置摄像头还可以为升降结构,本申请具体实施方式并不限制上述前置摄像头或后置摄像头的具体结构。
输入-输出电路150还可以包括一个或多个显示屏,当为多个显示屏时,例如2个显示屏时,一个显示屏可以设置在电子设备的前面,另一个显示屏可以设置在电子设备的后面,例如显示屏130。显示屏130可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即,显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。
电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器,麦克风,蜂鸣器,音调发生器以及其它用于产生和检测声音的组件。
通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication,NFC)的电路。例如,通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
电子设备100还可以进一步包括电池,电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。
用户可以通过输入-输出电路150输入命令来控制电子设备100的操作,并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。
基于上述图1A所描述的电子设备,可以用于实现如下功能:
所述电子设备的前置摄像头,用于采集第一人脸图片与第二人脸图片;
所述电子设备的存储和处理电路110,用于获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
在一种可选的技术方案中,
存储和处理电路110,依据所述坐标距离、预设的坐标距离与旋转角度的映射关系确定所述坐标距离对应的旋转角度;将所述旋转角度作为预设的第一公式的输入进行计算得到旋转速率,依据所述旋转速率旋转所述后置摄像头。
在一种可选的技术方案中,
存储和处理电路110,依据所述第一人脸图片获取第一人脸与所述显示屏的第一距离,依据所述第二人脸图片获取第二人脸与所述显示屏的第二距离;依据所述第一距离、所述第一视线角度计算所述第一人脸图片对应的第一视线坐标,依据所述第二距离、所述第二视线角度计算所述第二人脸图片对应的第二视线坐标;获取直角坐标系,在所述直角坐标系中标注所述第一视线坐标和所述第二视线坐标,依据所述第一视线坐标与所述第二视线坐标生成第一线段,延长所述第一线段得到第一直线,计算所述第一直线与所述直角坐标系的横坐标轴的夹角,依据所述夹角确定所述后置摄像头对应的旋转方向;依据所述第一线段、所述旋转方向进行计算得到所述坐标距离。
在一种可选的技术方案中,
存储和处理电路110,依据所述夹角执行旋转方向判断操作,确定所述后置摄像头对应的旋转方向,其中,所述旋转方向判断操作具体包括:判断所述夹角是否大于预设的夹角阈值,如所述夹角大于所述夹角阈值,确定所述旋转方向为水平方向,如所述夹角不大于所述夹角阈值,确定所述旋转方向为垂直方向。
在一种可选的技术方案中,
存储和处理电路110,获取所述第一线段对应的第一长度;如所述旋转方向为水平方向,获取所述第一线段与水平坐标轴的水平夹角,依据预设的第二公式对所述水平夹角、所述第一长度计算得到所述坐标距离;如所述旋转方向为垂直方向,获取所述第一线段与垂直坐标轴的垂直夹角,依据预设的第二公式对所述垂直夹角、所述第一长度计算得到所述坐标距离。
在一种可选的技术方案中,
存储和处理电路110,获取所述后置摄像头采集的图像数据;将所述图像数据作为预先训练好的特征提取模型的输入,得到所述图像数据对应的特征数据;依据所述特征数据确定参照特征,依据该参照特征确定该图像数据对应的参照区域为对焦区域,对该对焦区域执行对焦操作。
请参阅图1B,图1B是本申请实施例提供的一种全景拍摄方法的流程示意图,如图所示,应用于如图1A所示的电子设备,所述电子设备包括前置摄像头、后置摄像头和显示屏,本全景拍摄方法包括:
步骤101、获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片。
可选的,接收到全景拍摄启动指令时,启动前置摄像头和后置摄像头,获取前置摄像头在第一预设时间内采集的第一人脸图片和第二人脸图片,其中,该全景拍摄启动指令用于启动该电子设备的全景拍摄功能;
上述终端启动前置摄像头和后置摄像头的方式可以有多种,例如在一种可选的实施例中,可以通过一个特定的按钮来确定是否同时启动前置摄像头和后置摄像头。当然在另一种可选的实施例中,可以通过满足设定触发条件时,启动或获取摄像头采集的图片,该触发条件可以是一个特定的操作来确定是否启动前置摄像头和后置摄像头,该特定的操作包括但不限于,特定的手势、或者生物识别验证,该生物识别验证包括但不限于:人脸识别验证、指纹识别验证、静脉识别验证等等。本申请具体实施方式并不限制上述启动前置摄像头和后置摄像头的方案。
步骤102、对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离。
可选的,确定该第一人脸图片对应的第一人脸,依据第一人脸图片获取该电子设备的显示屏与该第一人脸之间的第一距离;确定该第二人脸图片对应的第二人脸,依据第二人脸图片获取该电子设备的显示屏与该第二人脸之间的第二距离;依据第一距离、第一视线角度计算该第一人脸图片对应的第一视线坐标,依据第二距离、第二视线角度计算该第二人脸图片对应的第二视线坐标,提取电子直角坐标系,在该坐标系中对第一视线坐标、第二视线坐标进行标注,得到第一坐标点与第二坐标点,连接该第一坐标点和第二坐标点得到第一线段,延长该第一线段得到第一直线,计算该第一直线与该直角坐标系水平坐标轴的夹角,对该夹角执行旋转方向判断步骤,其中,旋转方向判断步骤具体包括:判断该夹角是否大于预设的夹角阈值,如该夹角大于该夹角阈值,确定该旋转方向为水平方向,如该夹角不大于该夹角阈值,确定该旋转方向为垂直方向。
进一步地,获取该第一线段对应的第一长度,依据该第一长度、旋转方向确定该第一视线坐标、第二视线坐标对应的坐标距离,如该旋转方向为水平方向,获取第一线段与该直角坐标系水平坐标轴的水平夹角,获取预设的第二公式,该第二公式用于计算坐标距离,依据该第二公式对第一长度与水平夹角进行计算得到该坐标距离,如该旋转方向为垂直方向,获取第一线段与该直角坐标系垂直坐标轴的垂直夹角,获取预设的第二公式,该第二公式用于计算坐标距离,依据该第二公式对第一长度与垂直夹角进行计算得到该坐标距离,其中,夹角为a,长度为D,坐标距离为d,第二公式可以包括:d=D*cos a。
步骤103、依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
可选的,获取预设的坐标距离与旋转角度的映射关系,依据该映射关系、坐标距离确定该坐标距离对应的旋转角度,将该旋转角度作为预设的第一公式的输入进行计算,得到该旋转角度对应的旋转速率,依据该旋转速率、旋转方向旋转该后置摄像头执行全景拍摄功能,当检测到该旋转动作执行结束时,停止该全景拍摄功能,其中,假设旋转角度为a,旋转速率为r,旋转时间为t,第一公式可以包括:r=a/t,旋转时间可以包括:0.1s、0.2s、1s等等,在此不作限定。
参阅图2A,图2A提供了一种确定坐标距离的方法,如图2A所示的确定坐标距离的方法采用如图1A所示的电子设备执行,该方法如图2A所示,包括如下步骤:
步骤201A、依据所述第一人脸图片获取第一人脸与所述显示屏的第一距离,依据所述第二人脸图片获取第二人脸与所述显示屏的第二距离;
可选的,确定该第一人脸图片对应的第一人脸,确定该第二人脸图片对应的第二人脸,从该第一人脸图片、该第二人脸图片中获取第一人脸对应的第一瞳孔像素与第二人脸对应的第二瞳孔像素,确定该前置摄像头的第一视角、第二视角、第一分辨率和第二分辨率,对该第一瞳孔像素、该第一视角、该第一分辨率执行计算距离算法,得到该第一人脸与该显示屏的第一距离,对该第二瞳孔像素、该第二视角、该第二分辨率执行距离计算算法,得到该第二人脸与该显示屏的第二距离。
步骤202A、依据所述第一距离、所述第一视线角度计算所述第一人脸图片对应的第一视线坐标,依据所述第二距离、所述第二视线角度计算所述第二人脸图片对应的第二视线坐标;
可选的,确定该第一人脸图片对应的第一人脸,依据第一人脸图片获取该电子设备的显示屏与该第一人脸之间的第一距离;确定该第二人脸图片对应的第二人脸,依据第二人脸图片获取该电子设备的显示屏与该第二人脸之间的第二距离;依据第一距离、第一视线角度计算该第一人脸图片对应的第一视线坐标,依据第二距离、第二视线角度计算该第二人脸图片对应的第二视线坐标。
步骤203A、获取直角坐标系,在所述直角坐标系中标注所述第一视线坐标和所述第二视线坐标,依据所述第一视线坐标与所述第二视线坐标生成第一线段,延长所述第一线段得到第一直线,计算所述第一直线与所述直角坐标系的水平坐标轴的夹角,依据所述夹角确定所述后置摄像头对应的旋转方向;
可选的,提取电子直角坐标系,在该坐标系中对第一视线坐标、第二视线坐标进行标注,得到第一坐标点与第二坐标点,连接该第一坐标点和第二坐标点得到第一线段,延长该第一线段得到第一直线,计算该第一直线与该直角坐标系水平坐标轴的夹角,对该夹角执行旋转方向判断步骤,其中,旋转方向判断步骤具体包括:判断该夹角是否大于预设的夹角阈值,如该夹角大于该夹角阈值,确定该旋转方向为水平方向,如该夹角不大于该夹角阈值,确定该旋转方向为垂直方向。
步骤204A、依据所述第一线段、所述旋转方向进行计算得到所述坐标距离。
可选的,获取该第一线段对应的第一长度,依据该第一长度、旋转方向确定该第一视线坐标、第二视线坐标对应的坐标距离,如该旋转方向为水平方向,获取第一线段与该直角坐标系水平坐标轴的水平夹角,获取预设的第二公式,该第二公式用于计算坐标距离,依据该第二公式对第一长度与水平夹角进行计算得到该坐标距离,如该旋转方向为垂直方向,获取第一线段与该直角坐标系垂直坐标轴的垂直夹角,获取预设的第二公式,该第二公式用于计算坐标距离,依据该第二公式对第一长度与垂直夹角进行计算得到该坐标距离,其中,夹角为a,长度为D,坐标距离为d,第二公式可以包括:d=D*cos a。
参阅图2B,图2B提供了一种全景拍摄对焦的方法,如图2B所示的全景拍摄对焦的方法采用如图1A所示的电子设备执行,该方法如图2B所示,包括如下步骤:
步骤201B、获取所述后置摄像头采集的图像数据;
可选的,检测到该后置摄像头开始旋转时,获取该后置摄像头采集的图像数据。
步骤202B、将所述图像数据作为预先训练好的特征提取模型的输入,得到所述图像数据对应的特征数据;
可选的,对该图像数据执行图像预处理操作,得到处理后的图像数据其中,预处理包括:图像二值化、归一化、平滑滤波、小波变换等等,在此不作限定;获取预先训练好的特征提取模型,将该处理后的图像数据作为该特征提取模型的输入,得到该图像数据对应的特征数据,其中,该特征数据可以包括:颜色特征、哈尔特征等等,在此不作限定。
步骤203B、依据所述特征数据确定参照特征,依据该参照特征确定该图像数据对应的参照区域为对焦区域,对该对焦区域执行对焦操作。
可选的,依据该特征数据确定参照特征,确定该参照特征对应的参照区域,确定该参照区域为对焦区域,对该对焦区域执行对焦操作,例如,在拍摄瀑布的全景照片时,获取该后置摄像头采集的图像数据,获取该图像数据的颜色特征,确定该颜色特征中的非绿色特征为参照特征,确定该参照特征在图像数据中对应的参照区域,确定该参照区域为对焦区域,对该对焦区域执行对焦操作。
如图3所示,图3提供了一种电子设备,该所述电子设备包括前置摄像头301、后置摄像头302、显示屏303、处理器304和存储器305,其中
所述前置摄像头301,用于采集第一人脸图片与第二人脸图片;
所述后置摄像头302,用于执行全景拍摄功能;
所述处理器304,用于获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能;
显示屏303,用于确定所述坐标距离。
在一种可选的实施方案中,处理器304,具体用于:依据所述坐标距离、预设的坐标距离与旋转角度的映射关系确定所述坐标距离对应的旋转角度;将所述旋转角度作为预设的第一公式的输入进行计算得到旋转速率,依据所述旋转速率旋转所述后置摄像头。
在一种可选的实施方案中,处理器304,具体用于:依据所述第一人脸图片获取第一人脸与所述显示屏的第一距离,依据所述第二人脸图片获取第二人脸与所述显示屏的第二距离;依据所述第一距离、所述第一视线角度计算所述第一人脸图片对应的第一视线坐标,依据所述第二距离、所述第二视线角度计算所述第二人脸图片对应的第二视线坐标;获取直角坐标系,在所述直角坐标系中标注所述第一视线坐标和所述第二视线坐标,依据所述第一视线坐标与所述第二视线坐标生成第一线段,延长所述第一线段得到第一直线,计算所述第一直线与所述直角坐标系的横坐标轴的夹角,依据所述夹角确定所述后置摄像头对应的旋转方向;依据所述第一线段、所述旋转方向进行计算得到所述坐标距离。
在一种可选的实施方案中,处理器304,具体用于:依据所述夹角执行旋转方向判断操作,确定所述后置摄像头对应的旋转方向,其中,所述旋转方向判断操作具体包括:判断所述夹角是否大于预设的夹角阈值,如所述夹角大于所述夹角阈值,确定所述旋转方向为水平方向,如所述夹角不大于所述夹角阈值,确定所述旋转方向为垂直方向。
在一种可选的实施方案中,处理器304,具体用于:获取所述第一线段对应的第一长度;如所述旋转方向为水平方向,获取所述第一线段与水平坐标轴的水平夹角,依据预设的第二公式对所述水平夹角、所述第一长度计算得到所述坐标距离;如所述旋转方向为垂直方向,获取所述第一线段与垂直坐标轴的垂直夹角,依据预设的第二公式对所述垂直夹角、所述第一长度计算得到所述坐标距离。
在一种可选的实施方案中,处理器304,具体用于:获取所述后置摄像头采集的图像数据;将所述图像数据作为预先训练好的特征提取模型的输入,得到所述图像数据对应的特征数据;依据所述特征数据确定参照特征,依据该参照特征确定该图像数据对应的参照区域为对焦区域,对该对焦区域执行对焦操作。
图4是本申请实施例中所涉及的图片的全景拍摄装置400的功能单元组成框图。该图片的全景拍摄装置400,应用于电子设备,所述电子设备包括:前置摄像头、后置摄像头和显示屏,所述装置400包括:获取单元401、计算单元402和执行单元403,其中,
获取单元401,用于获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;
计算单元402,用于对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;
执行单元403,用于依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
在一可能的实施例中,依据所述第一视线角度和所述第二视线角度确定坐标距离方面,计算单元402具体用于:确定该第一人脸图片对应的第一人脸,依据第一人脸图片获取该电子设备的显示屏与该第一人脸之间的第一距离;确定该第二人脸图片对应的第二人脸,依据第二人脸图片获取该电子设备的显示屏与该第二人脸之间的第二距离;依据第一距离、第一视线角度计算该第一人脸图片对应的第一视线坐标,依据第二距离、第二视线角度计算该第二人脸图片对应的第二视线坐标,提取电子直角坐标系,在该坐标系中对第一视线坐标、第二视线坐标进行标注,得到第一坐标点与第二坐标点,连接该第一坐标点和第二坐标点得到第一线段,延长该第一线段得到第一直线,计算该第一直线与该直角坐标系水平坐标轴的夹角,对该夹角执行旋转方向判断步骤,其中,旋转方向判断步骤具体包括:判断该夹角是否大于预设的夹角阈值,如该夹角大于该夹角阈值,确定该旋转方向为水平方向,如该夹角不大于该夹角阈值,确定该旋转方向为垂直方向;获取该第一线段对应的第一长度,依据该第一长度、旋转方向确定该第一视线坐标、第二视线坐标对应的坐标距离,如该旋转方向为水平方向,获取第一线段与该直角坐标系水平坐标轴的水平夹角,获取预设的第二公式,该第二公式用于计算坐标距离,依据该第二公式对第一长度与水平夹角进行计算得到该坐标距离,如该旋转方向为垂直方向,获取第一线段与该直角坐标系垂直坐标轴的垂直夹角,获取预设的第二公式,该第二公式用于计算坐标距离,依据该第二公式对第一长度与垂直夹角进行计算得到该坐标距离,其中,夹角为a,长度为D,坐标距离为d,第二公式可以包括:d=D*cos a。
在一可能的实施例中,执行单元403还用于:检测到该后置摄像头开始旋转时,获取该后置摄像头采集的图像数据;对该图像数据执行图像预处理操作,得到处理后的图像数据其中,预处理包括:图像二值化、归一化、平滑滤波、小波变换等等,在此不作限定;获取预先训练好的特征提取模型,将该处理后的图像数据作为该特征提取模型的输入,得到该图像数据对应的特征数据,其中,该特征数据可以包括:颜色特征、哈尔特征等等,在此不作限定;依据该特征数据确定参照特征,确定该参照特征对应的参照区域,确定该参照区域为对焦区域,对该对焦区域执行对焦操作。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种全景拍摄方法,其特征在于,所述方法应用于电子设备,所述电子设备包括:前置摄像头、后置摄像头和显示屏,所述方法包括:
获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;
对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;
依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
2.根据权利要求1所述的方法,其特征在于,所述依据所述视线距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能包括:
依据所述坐标距离、预设的坐标距离与旋转角度的映射关系确定所述坐标距离对应的旋转角度;
将所述旋转角度作为预设的第一公式的输入进行计算得到旋转速率,依据所述旋转速率旋转所述后置摄像头。
3.根据权利要求1所述的方法,其特征在于,所述依据所述第一视线角度和所述第二视线角度确定坐标距离包括:
依据所述第一人脸图片获取第一人脸与所述显示屏的第一距离,依据所述第二人脸图片获取第二人脸与所述显示屏的第二距离;
依据所述第一距离、所述第一视线角度计算所述第一人脸图片对应的第一视线坐标,依据所述第二距离、所述第二视线角度计算所述第二人脸图片对应的第二视线坐标;
获取直角坐标系,在所述直角坐标系中标注所述第一视线坐标和所述第二视线坐标,依据所述第一视线坐标与所述第二视线坐标生成第一线段,延长所述第一线段得到第一直线,计算所述第一直线与所述直角坐标系的水平坐标轴的夹角,依据所述夹角确定所述后置摄像头对应的旋转方向;
依据所述第一线段、所述旋转方向进行计算得到所述坐标距离。
4.根据权利要求3所述的方法,其特征在于,所述依据所述夹角确定所述后置摄像头对应的旋转方向包括:
依据所述夹角执行旋转方向判断操作,确定所述后置摄像头对应的旋转方向,其中,所述旋转方向判断操作具体包括:判断所述夹角是否大于预设的夹角阈值,如所述夹角大于所述夹角阈值,确定所述旋转方向为水平方向,如所述夹角不大于所述夹角阈值,确定所述旋转方向为垂直方向。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述依据所述第一线段、所述旋转方向进行计算得到所述坐标距离包括:
获取所述第一线段对应的第一长度;
如所述旋转方向为水平方向,获取所述第一线段与水平坐标轴的水平夹角,依据预设的第二公式对所述水平夹角、所述第一长度计算得到所述坐标距离;
如所述旋转方向为垂直方向,获取所述第一线段与垂直坐标轴的垂直夹角,依据预设的第二公式对所述垂直夹角、所述第一长度计算得到所述坐标距离。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行拍摄功能之后还包括:
获取所述后置摄像头采集的图像数据;
将所述图像数据作为预先训练好的特征提取模型的输入,得到所述图像数据对应的特征数据;
依据所述特征数据确定参照特征,依据该参照特征确定该图像数据对应的参照区域为对焦区域,对该对焦区域执行对焦操作。
7.一种电子设备,其特征在于,所述电子设备包括:前置摄像头、后置摄像头、显示屏和处理器,其中,
所述前置摄像头,用于采集第一人脸图片与第二人脸图片;
所述处理器,用于获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
8.一种拍摄装置,其特征在于,所述方法应用于电子设备,所述电子设备包括:前置摄像头、后置摄像头和显示屏,所述方法包括:
获取单元,用于获取所述前置摄像头在第一预设时间内采集的第一人脸图片与第二人脸图片;
计算单元,用于对所述第一人脸图片与所述第二人脸图片执行眼球追踪算法得到第一视线角度和第二视线角度,依据所述第一视线角度和所述第二视线角度确定坐标距离;
执行单元,用于依据所述坐标距离确定旋转角度,依据所述旋转角度旋转所述后置摄像头并执行全景拍摄功能。
9.一种电子设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-6任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-6任一项所述的方法。
CN201910512139.7A 2019-06-13 2019-06-13 全景拍摄方法及相关产品 Active CN110099219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910512139.7A CN110099219B (zh) 2019-06-13 2019-06-13 全景拍摄方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910512139.7A CN110099219B (zh) 2019-06-13 2019-06-13 全景拍摄方法及相关产品

Publications (2)

Publication Number Publication Date
CN110099219A true CN110099219A (zh) 2019-08-06
CN110099219B CN110099219B (zh) 2021-10-08

Family

ID=67450943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910512139.7A Active CN110099219B (zh) 2019-06-13 2019-06-13 全景拍摄方法及相关产品

Country Status (1)

Country Link
CN (1) CN110099219B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191623A (zh) * 2020-01-03 2020-05-22 圣点世纪科技股份有限公司 一种指静脉拍摄距离的确定方法
CN111857329A (zh) * 2020-05-26 2020-10-30 北京航空航天大学 注视点计算方法、装置及设备
CN112529611A (zh) * 2020-11-25 2021-03-19 浙江大华技术股份有限公司 户外广告投放方法、装置、电子装置和存储介质
CN112637497A (zh) * 2020-12-21 2021-04-09 维沃移动通信有限公司 拍摄控制方法、装置和电子设备
CN112866773A (zh) * 2020-08-21 2021-05-28 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法
CN114422686A (zh) * 2020-10-13 2022-04-29 Oppo广东移动通信有限公司 参数调整方法及相关装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645837A (zh) * 2012-04-09 2012-08-22 广东步步高电子工业有限公司 一种应用于安装有前、后摄像头的移动手持设备的全景图像拍摄和处理方法
CN105554384A (zh) * 2015-12-17 2016-05-04 上海青橙实业有限公司 可穿戴设备及拍摄方法
CN105872390A (zh) * 2016-06-15 2016-08-17 南京快脚兽软件科技有限公司 一种高效的查看周围环境景象的设备
CN105915802A (zh) * 2016-06-13 2016-08-31 天钺电子(东莞)有限公司 一种转动式摄影机的拍摄范围设定调整方法
CN106385533A (zh) * 2016-09-08 2017-02-08 三星电子(中国)研发中心 全景视频控制方法及系统
CN106416240A (zh) * 2014-05-27 2017-02-15 瑞典爱立信有限公司 对可旋转立体相机的远程控制
CN106454087A (zh) * 2016-10-09 2017-02-22 努比亚技术有限公司 一种拍摄装置和方法
CN106713764A (zh) * 2017-01-24 2017-05-24 维沃移动通信有限公司 一种拍照方法及移动终端
CN107948523A (zh) * 2017-12-19 2018-04-20 维沃移动通信有限公司 一种拍摄方法及移动终端
US20180262691A1 (en) * 2015-11-17 2018-09-13 Fujifilm Corporation Imaging device and control method therefor
CN109544640A (zh) * 2018-11-05 2019-03-29 北京科技大学 一种视线追踪系统Kappa角标定方法及标定装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102645837A (zh) * 2012-04-09 2012-08-22 广东步步高电子工业有限公司 一种应用于安装有前、后摄像头的移动手持设备的全景图像拍摄和处理方法
CN106416240A (zh) * 2014-05-27 2017-02-15 瑞典爱立信有限公司 对可旋转立体相机的远程控制
US20180262691A1 (en) * 2015-11-17 2018-09-13 Fujifilm Corporation Imaging device and control method therefor
CN105554384A (zh) * 2015-12-17 2016-05-04 上海青橙实业有限公司 可穿戴设备及拍摄方法
CN105915802A (zh) * 2016-06-13 2016-08-31 天钺电子(东莞)有限公司 一种转动式摄影机的拍摄范围设定调整方法
CN105872390A (zh) * 2016-06-15 2016-08-17 南京快脚兽软件科技有限公司 一种高效的查看周围环境景象的设备
CN106385533A (zh) * 2016-09-08 2017-02-08 三星电子(中国)研发中心 全景视频控制方法及系统
CN106454087A (zh) * 2016-10-09 2017-02-22 努比亚技术有限公司 一种拍摄装置和方法
CN106713764A (zh) * 2017-01-24 2017-05-24 维沃移动通信有限公司 一种拍照方法及移动终端
CN107948523A (zh) * 2017-12-19 2018-04-20 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109544640A (zh) * 2018-11-05 2019-03-29 北京科技大学 一种视线追踪系统Kappa角标定方法及标定装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191623A (zh) * 2020-01-03 2020-05-22 圣点世纪科技股份有限公司 一种指静脉拍摄距离的确定方法
CN111191623B (zh) * 2020-01-03 2023-09-19 圣点世纪科技股份有限公司 一种指静脉拍摄距离的确定方法
CN111857329A (zh) * 2020-05-26 2020-10-30 北京航空航天大学 注视点计算方法、装置及设备
US11748906B2 (en) 2020-05-26 2023-09-05 Beihang University Gaze point calculation method, apparatus and device
CN112866773A (zh) * 2020-08-21 2021-05-28 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法
CN112866773B (zh) * 2020-08-21 2023-09-26 海信视像科技股份有限公司 一种显示设备及多人场景下摄像头追踪方法
CN114422686A (zh) * 2020-10-13 2022-04-29 Oppo广东移动通信有限公司 参数调整方法及相关装置
CN112529611A (zh) * 2020-11-25 2021-03-19 浙江大华技术股份有限公司 户外广告投放方法、装置、电子装置和存储介质
CN112529611B (zh) * 2020-11-25 2024-03-19 浙江大华技术股份有限公司 户外广告投放方法、装置、电子装置和存储介质
CN112637497A (zh) * 2020-12-21 2021-04-09 维沃移动通信有限公司 拍摄控制方法、装置和电子设备
CN112637497B (zh) * 2020-12-21 2022-04-01 维沃移动通信有限公司 拍摄控制方法、装置和电子设备

Also Published As

Publication number Publication date
CN110099219B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN110099219A (zh) 全景拍摄方法及相关产品
CN110286738A (zh) 指纹采集方法及相关产品
CN110139033A (zh) 拍照控制方法及相关产品
CN109583356A (zh) 指纹识别方法及相关产品
CN109614865A (zh) 指纹识别方法及相关产品
CN110287925A (zh) 阅读翻页控制方法及相关产品
CN108848317A (zh) 拍照控制方法及相关产品
CN108289151A (zh) 一种应用程序的操作方法及移动终端
CN108833709A (zh) 一种摄像头的启动方法和移动终端
CN108495049A (zh) 拍摄控制方法及相关产品
CN108833779A (zh) 拍摄控制方法及相关产品
CN110427108A (zh) 基于眼球追踪的拍照方法及相关产品
CN109657561A (zh) 指纹采集方法及相关产品
CN110427741A (zh) 指纹识别方法及相关产品
CN109688253A (zh) 一种拍摄方法及终端
CN110475020A (zh) 设备控制方法及相关产品
CN108881544A (zh) 一种拍照的方法及移动终端
CN108108079A (zh) 一种图标显示处理方法及移动终端
CN108307110A (zh) 一种图像虚化方法及移动终端
CN110210395A (zh) 静脉图像采集方法及相关产品
CN110363535A (zh) 支付异常提醒方法及相关产品
CN108171182A (zh) 电子装置、人脸识别方法及相关产品
CN108111750A (zh) 一种变焦调节方法及移动终端
CN110198421A (zh) 视频处理方法及相关产品
CN110309776A (zh) 指纹模板录入方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant