CN109547678B - 一种处理方法、装置、设备及可读存储介质 - Google Patents

一种处理方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN109547678B
CN109547678B CN201811510447.8A CN201811510447A CN109547678B CN 109547678 B CN109547678 B CN 109547678B CN 201811510447 A CN201811510447 A CN 201811510447A CN 109547678 B CN109547678 B CN 109547678B
Authority
CN
China
Prior art keywords
cameras
image
electronic equipment
reference object
groups
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811510447.8A
Other languages
English (en)
Other versions
CN109547678A (zh
Inventor
张学荣
罗应文
周席龙
陈茂刚
刘宝利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201811510447.8A priority Critical patent/CN109547678B/zh
Publication of CN109547678A publication Critical patent/CN109547678A/zh
Application granted granted Critical
Publication of CN109547678B publication Critical patent/CN109547678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种处理方法、装置、设备及可读存储介质,至少调用电子设备中的两组摄像头,该两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;至少基于采集到的参考物的当前形态,获取电子设备的旋转角度;在获取包含待拍摄物体的图像的过程中,将该旋转角度存储至图像对应的文本。可以理解的是,摄像头的拍摄角度不同,参考物的呈现形态不同,基于摄像头采集的参考物的形态就可以获得电子设备的旋转角度;本申请中参考物是独立于电子设备之外的,利用摄像头采集的参考物的形态,确定出的旋转角度较为准确,获得的实际图像与预览图像不会出现方向不一致的现象。

Description

一种处理方法、装置、设备及可读存储介质
技术领域
本申请涉及图像处理技术领域,更具体的说,是涉及一种处理方法、装置、设备及可读存储介质。
背景技术
电子设备包括摄像头,可以利用摄像头拍摄图像。例如,电子设备使用者可以利用电子设备的显示屏预览待拍摄物体的预览图像,然后点击拍摄按键,从而获得待拍摄物体的图像。
目前电子设备的摄像头获得的图像与电子设备的预览图像的方向不同,例如,电子设备中预览图像是横向图像,而获得的实际图像为竖向图像。
发明内容
有鉴于此,本申请提供了一种处理方法、装置、设备及可读存储介质,本申请提供如下技术方案:
一种处理方法,包括:
响应于第一触发指令,至少调用两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;
至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度。
优选地,所述至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度包括:
基于所述参考物的标准形态以及采集到的所述参考物的当前形态,确定所述电子设备的旋转角度;
其中,所述参考物的标准形态是指在所述电子设备的旋转角度为零时所述参考物的形态。
优选地,所述至少调用两组摄像头包括:
基于所述电子设备的拍摄模式,至少调用所述两组摄像头。
优选地,所述基于所述电子设备的拍摄模式,至少调用所述两组摄像头包括:
如果所述电子设备处于第一拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述待拍摄物体,第二组摄像头采集所述参考物;
其中,所述第二组摄像头的采集开窗位于所述电子设备的第一侧,所述第一侧为所述电子设备中的显示屏所在侧,在所述第一拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像;所述第一组摄像头的采集开窗位于所述电子设备的第二侧。
优选地,所述基于所述电子设备的拍摄模式,至少调用所述两组摄像头还包括:
如果所述电子设备处于第二拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述参考物,第二组摄像头采集所述待拍摄物体;
其中,在所述第二拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像。
优选地,还包括:
若检测到所述电子设备的显示屏处于非第一状态,生成所述第一触发指令;
其中,所述第一状态是指所述显示屏所在平面垂直于水平面。
优选地,还包括:
响应于识别所述图像包含的文字信息的指令,将所述图像旋转所述旋转角度获得目标图像;
识别所述目标图像包含的文字信息。
一种处理装置,包括:
调用模块,用于响应于第一触发指令,至少调用两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;
第一获取模块,用于至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
第二获取模块,用于响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度。
优选地,所述第一获取模块包括:
旋转角度确定单元,用于基于所述参考物的标准形态以及采集到的所述参考物的当前形态,确定所述电子设备的旋转角度;
其中,所述参考物的标准形态是指在所述电子设备的旋转角度为零时所述参考物的形态。
优选地,所述调用模块包括:
第一调用单元,用于基于所述电子设备的拍摄模式,至少调用所述两组摄像头。
优选地,所述第一调用单元包括:
第一拍摄单元,用于如果所述电子设备处于第一拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述待拍摄物体,第二组摄像头采集所述参考物;
其中,所述第二组摄像头的采集开窗位于所述电子设备的第一侧,所述第一侧为所述电子设备中的显示屏所在侧,在所述第一拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像;所述第一组摄像头的采集开窗位于所述电子设备的第二侧。
优选地,所述第一调用单元还包括:
第二拍摄单元,用于如果所述电子设备处于第二拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述参考物,第二组摄像头采集所述待拍摄物体;
其中,在所述第二拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像。
优选地,还包括:
第一触发指令获取单元,用于若检测到所述电子设备的显示屏处于非第一状态,生成所述第一触发指令;
其中,所述第一状态是指所述显示屏所在平面垂直于水平面。
优选地,还包括:
目标图像确定单元,用于响应于识别所述图像包含的文字信息的指令,将所述图像旋转所述旋转角度获得目标图像;
文字信息识别单元,用于识别所述目标图像包含的文字信息。
一种电子设备,包括:
多组摄像头;
存储器,用于存储程序;
处理器,用于执行所述程序,所述程序具体用于:
响应于第一触发指令,至少调用所述多组摄像头中两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;
至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度。
一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一所述的处理方法包含的各个步骤。
经由上述的技术方案可知,与现有技术相比,本申请公开了一种处理方法,至少调用电子设备中的两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;至少基于采集到的参考物的当前形态,获取电子设备的旋转角度;在获取包含待拍摄物体的图像的过程中,将该旋转角度存储至图像对应的文本。可以理解的是,摄像头的拍摄角度不同,参考物的呈现形态不同,基于摄像头采集的参考物的形态就可以获得电子设备的旋转角度;本申请中参考物是独立于电子设备之外的,摄像头拍摄的角度不同,摄像头采集的参考物的形态不同,确定出的旋转角度也不同。因为摄像头与所述参考物的相对角度发生变化,电子设备自身并不能快速检测到旋转角度已经改变,但是摄像头采集到的参考物的形态已经发生变化。因此,本申请利用参考物的形态获取的电子设备的旋转角度更加准确,所以获得的实际图像与预览图像不会出现方向不一致的现象。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种处理方法流程图;
图2a-2b示例了第一图像与第二图像示意图;
图3a-3c示例了手机得到第一触发指令示意图;
图4示例了电子设备得到第二触发指令示意图;
图5a-5e示例了确定手机的旋转角度示意图;
图6a至6d示例了目前第一图像的第一方向和第二图像的第二方向不一致的原因示意图;
图7为本申请实施例公开的一种处理装置结构示意图;
图8为本申请实施例公开的一种处理设备的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请提供的处理方法,可以适用于拍照场景下,利用电子设备的摄像头拍摄图像,例如电子设备使用者可以利用电子设备的显示屏预览待拍摄物体的预览图像,然后点击拍摄按键,从而获得待拍摄物体的图像。考虑到现有技术中电子设备的摄像头拍摄的实际图像在显示时,与,电子设备在获得该实际图像过程中显示屏显示的预览图像的方向可能不同,本申请在用电子设备的摄像头拍摄图像时,可以至少调用电子设备中的两组摄像头,该两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物,进而可以基于采集到的参考物的形态,确定电子设备的旋转角度,该旋转角度相对现有技术更准确,进而在后续电子设备显示已经获得的实际图像时不会出现与预览图像方向不一致的现象。
本申请方法可以应用于具有至少两组摄像头的电子设备,如手机或平板等。接下来,请参阅附图1,为本申请实施例公开的一种处理方法流程图,该方法详细包括:
步骤S100、响应于第一触发指令,至少调用两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物。
一组摄像头包括一个或多个摄像头。
目前,利用摄像头已经拍摄得到的图像,在电子设备的显示屏显示时的方向与电子设备在获得该图像的过程中显示屏显示的预览图像的方向可能不同。为了描述方便,本申请在下述表述中将摄像头已经拍摄得到的图像在电子设备的显示屏显示时的方向称为第一方向;将已经拍摄得到的图像称为第一图像;将摄像头拍摄第一图像的过程中,显示屏显示的预览图像的方向称为第二方向;将摄像头得到该第一图像的过程中,显示屏显示的预览图像称为第二图像。
以电子设备为手机为例进行说明,可以参考图2a-2b所示,其示例了第一图像与第二图像示意图。其中图2a为手机的显示屏预览图像,即第二图像,图2b为手机的摄像头拍摄的第一图像。显然,相对于图2a手机的显示屏显示的第二图像(预览图像),图2b手机的显示屏显示的第一图像相当于第二图像逆时针旋转了90度。
可以理解的是,对于用户而言,用户更加期望第二图像(预览图像)的第二方向与第一图像的第一方向相同。
可选的,第一触发指令可以是启动拍照应用程序的指令,或者,第一触发指令可以是切换至拍摄图像模式的指令,或者,第一触发指令可以是确定聚焦指令,例如,电子设备使用者触摸拍照应用程序,以用于启动电子设备的摄像机,则电子设备检测到拍照应用程序图标被触按时,可以得到启动拍照应用程序的指令;若电子设备的显示屏可以显示预览图像,可选的,电子设备使用者可以触摸显示屏任意位置,以用于拍摄前进行拍摄聚焦,则电子设备检测到图像拍摄界面的显示屏任意位置被触按时,可以得到确定聚焦指令;可选的,电子设备使用者在触摸相机模式按键时,由拍摄视频模式转换到拍摄图像模式,则电子设备检测到相机模式按键被触按时,可以得到切换至拍摄图像模式的指令。
上述在解释第一触发指令时,是以第一触发指令为触控指令为例说明的,可选的,第一触发指令可以为语音指令,或,预设手势。这里对第一触发指令不做具体限定。
仍以电子设备为手机为例进行说明,可以参考图3a-3c,其示例了手机得到第一触发指令示意图。
参见图3a所示,第一触发指令可以是启动拍照应用程序的指令,可选的,当手机检测到手机桌面的摄像机应用程序图标被触按时,手机可以获得第一触发指令;可选的,第一触发指令可以是语音指令,例如当手机检测到用户通过语音发出“启动拍照应用程序”指令时,手机可以获得第一触发指令。
参见图3b所示,当手机检测到图像拍摄界面的显示屏任意位置被触按,以对摄像机进行拍摄聚焦时,手机可以获得第一触发指令;可选的,第一触发指令还可以是语音指令,例如当手机检测到用户通过语音发出“确定聚焦”指令时,手机可以获得第一触发指令。
参见图3c所示,第一触发指令可以是切换至拍摄图像模式的指令,则当手机处于拍摄视频模式时,手机检测到摄像机拍摄界面的相机模式按键被触按时,手机可以获得第一触发指令;此外第一触发指令还可以是语音指令,例如当手机检测到用户通过语音发出“相机模式”指令时,手机可以获得第一触发指令。
可选的,本申请调用的两组摄像头中,一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物。这里,待拍摄物体是指想要进行拍摄的物体,参考物可以是指独立于电子设备之外的,具有某些特征,以用来参考其判断拍摄方向的物体,如人脸、树木等。
步骤S110、至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头。
可选的,参考物处于不同的拍摄角度时,所采集到的参考物的形态不同。基于此,本步骤可以根据采集到的参考物的形态,确定电子设备的旋转角度。
可选的,电子设备旋转角度可以包括0°、90°和270°。
可以理解的是,无论电子设备的显示屏所在平面与水平面的夹角为90°,还是,电子设备的显示屏所在平面与水平面的夹角为0°,还是,电子设备的显示屏所在平面与水平面的夹角大于0°小于90°,电子设备的旋转角度可以包括:0°、90°、270°。
其中,0°、90°和270°是相对于电子设备的二维的预设坐标系而言。
可选的,上述电子设备至少包括上述两组摄像头。
步骤S120、响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本。
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度。
可选的,若电子设备获取第二触发指令,本申请可以获取包含待拍摄物体的第一图像。可选的,第二触发指令可以是指示确定拍摄指令,如电子设备检测到拍摄按键被触按,相当于获得第二触发指令;或者,第二触发指令可以是语音指令,如电子设备检测到电子设备使用者通过语音发出“确定拍摄”指令时,电子设备就获得了第二触发指令;或者,第二触发指令为预设手势,例如,为与确定拍摄对应的预设手势,这里对第二触发指令不做具体限定。
参见图4所示,其示例了电子设备得到第二触发指令示意图。本申请在获取待拍摄物体的第一图像的同时,还可以获取第一图像对应的文本。这里,第一图像对应的文本中包括拍摄待拍摄物体的时刻电子设备的旋转角度。则在后续显示图像时,可以利用第一图像对应的文本中的旋转角度,将第一图像旋转相应角度,使得用户在查看第一图像时,第一图像的第一方向与第二图像的第二方向一致,从而不会让用户感受到违和感。
需要说明的是,本申请中采集的参考物不属于电子设备,也即电子设备本身及电子设备中任意部件等不可以作为参考物。上述参考物的不同形态对应电子设备的不同旋转角度。
本申请公开了一种处理方法,至少调用电子设备中的两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;至少基于采集到的参考物的当前形态,获取电子设备的旋转角度;在获取包含待拍摄物体的图像的过程中,将该旋转角度存储至图像对应的文本。可以理解的是,摄像头的拍摄角度不同,参考物的呈现形态不同,基于摄像头采集的参考物的形态就可以获得电子设备的旋转角度;本申请中参考物是独立于电子设备之外的,摄像头拍摄的角度不同,摄像头采集的参考物的形态不同,确定出的旋转角度也不同。因为摄像头与所述参考物的相对角度发生变化,电子设备自身并不能快速检测到旋转角度已经改变,但是摄像头采集到的参考物的形态已经发生变化。因此,本申请利用参考物的形态获取的电子设备的旋转角度更加准确,所以获得的实际图像与预览图像不会出现方向不一致的现象。
本申请的一个实施例,对上述步骤S110,至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度的过程进行说明。
可选的,上述步骤S110,至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度的实施过程具体可以包括:
基于所述参考物的标准形态以及采集到的所述参考物的当前形态,确定所述电子设备的旋转角度。
其中,所述参考物的标准形态是指在所述电子设备的旋转角度为零时所述参考物的形态。
可选的,摄像头相对参考物的拍摄角度不同,所采集到的参考物的呈现形态不同。定义电子设备的旋转角度为零时参考物的形态为参考物的标准形态;对待拍摄物体进行拍摄的时刻,采集到的参考物的形态为参考物的当前形态。则本申请实施例可以基于参考物的标准形态以及采集到的参考物的当前形态,确定电子设备的旋转角度,也即电子设备的旋转角度为将采集到的参考物的当前形态旋转至参考物的标准形态时的角度。
可选的,本申请中确定的旋转角度可以是将采集到的参考物的当前形态顺时针旋转至参考物的标准形态时的角度,也可以是采集到的参考物的当前形态逆时针旋转至参考物的标准形态时的角度。
参考物的标准形态,可以是电子设备预先采集的;可选的,电子设备并未提前采集参考物的标准形态;电子设备可以通过机器学习得到电子设备不同旋转角度下,不同参考物分别对应的形态。
可选的,可以通过多个样本图像训练神经网络得到旋转角度预测模型。
可以将采集得到的参考物的当前形态图像输入至旋转角度预测模型,通过旋转角度预测模型得到电子设备的预测旋转角度,其中,该旋转角度预测模型具有对参考物的当前形态图像对应的预测旋转角度趋于当前形态图像对应的实际旋转角度的能力。
实际旋转角度是指参考物的当前形态图像对应的实际的电子设备的旋转角度。
为了描述方便,在下述实施例中,以手机为例,可选的一种确定旋转角度的方法可以包括:
步骤一、获取参考物的当前形态。
假设手机的预设坐标系如图5a所示,如图5b所示为手机处于水平状态时参考物的标准形态。
假设手机的预设坐标系如图5a所示,如图5c所示为手机处于垂直状态时,参考物的标准形态。
步骤二、基于参考物的当前形态与参考物的标准形态,确定手机的旋转角度。
如图5d所示为与图5b对应的参考物的当前形态。如图5e所示为与图5c对应的参考物的当前形态。
可以理解的是,在实际拍照过程中,电子设备的显示屏不会显示参考物,该实施例是为了说明如何基于参考物的当前形态确定电子设备的旋转角度,才将参考物的形态展现在电子设备的显示屏上。下面以手机的显示屏所在平面与水平面平行为例进行说明。
比较图5b和图5d,确定旋转角度为逆时针90°。比较图5c和图5e,确定旋转角度为逆时针270°。
综上,电子设备的显示屏所在平面与水平面的夹角不同时,同一参考物的标准形态不同。
本申请的又一个实施例,对上述步骤S100,至少调用两组摄像头的过程进行说明。
可选的,上述步骤S100,至少调用两组摄像头的实施过程具体可以包括:
基于所述电子设备的拍摄模式,至少调用所述两组摄像头。
可选的,电子设备可以具有多种拍摄模式,如第一拍摄模式、第二拍摄模式等,本申请可以基于电子设备的拍摄模式,至少调用电子设备中的两组摄像头,用以对待拍摄物体进行拍摄。
一种可选的方式下,电子设备可以处于第一拍摄模式,则至少调用两组摄像头的过程具体可以包括:
如果所述电子设备处于第一拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述待拍摄物体,第二组摄像头采集所述参考物。
其中,所述第二组摄像头的采集开窗位于所述电子设备的第一侧,所述第一侧为所述电子设备中的显示屏所在侧,在所述第一拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像;所述第一组摄像头的采集开窗位于所述电子设备的第二侧。
可选的,第一拍摄模式是指利用两组摄像头中的第一组摄像头采集待拍摄物体,用第二组摄像头采集参考物的模式。其中,采集参考物的第二组摄像头的采集开窗位于电子设备的第一侧,该第一侧是指电子设备中的显示屏所在侧,也即第二组摄像头的采集开窗与电子设备的显示屏位于同一侧;采集待拍摄物体的第一组摄像头的采集开窗位于电子设备的第二侧,也即第一组摄像头的采集开窗与电子设备的显示屏不在同一侧。
上述采集开窗是指用于采集待拍摄物体及参考物的窗口。
上述电子设备的显示屏可以显示待拍摄物体的预览图像。
在一可选实施例中,第二组摄像头为前置摄像头,第一组摄像头为后置摄像头。
仍以电子设备为手机为例进行说明,电子设备处于第一拍摄模式即利用手机中的后置摄像头对待拍摄物体进行拍摄。也即,本申请可以用手机的后置摄像头对待拍摄物体进行拍摄,同时用手机的前置摄像头采集人脸等参考物。
另一种可选方式下,电子设备可以处于第二拍摄模式,则在此情况下,上述基于所述电子设备的拍摄模式,至少调用所述两组摄像头的过程还可以包括:
如果所述电子设备处于第二拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述参考物,第二组摄像头采集所述待拍摄物体。
其中,在所述第二拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像。
可选的,第二拍摄模式是指利用两组摄像头中的第二组摄像头采集待拍摄物体,用第一组摄像头采集参考物的模式。其中,采集待拍摄物体的第二组摄像头的采集开窗位于电子设备的第一侧,该第一侧是指电子设备中的显示屏所在侧,也即第二组摄像头的采集开窗与电子设备的显示屏位于同一侧;采集参考物的第一组摄像头的采集开窗位于电子设备的第二侧,也即第一组摄像头的采集开窗与电子设备的显示屏不在同一侧。
上述采集开窗是指用于采集待拍摄物体及参考物的窗口。
上述电子设备的显示屏可以显示待拍摄物体的预览图像。
可以理解的是,在一可选实施例中,第二组摄像头为前置摄像头,第一组摄像头为后置摄像头。
仍以电子设备为手机为例进行说明,电子设备处于第二拍摄模式即利用手机中的前置摄像头对待拍摄物体进行拍摄,相当于手机的自拍模式。也即,本申请可以用手机的前置摄像头对待拍摄物体进行拍摄,同时用手机的后置摄像头采集参考物。
可以理解的是,之所以存在电子设备获得的第一图像的第一方向和第二图像的第二方向不一致,是因为电子设备中的方向传感器不灵敏,无法准确的检测到电子设备的旋转角度。可以理解的是,方向传感器在电子设备处于第一状态时,能够准确的检测出电子设备的旋转角度,在电子设备处于非第一状态时,不能够准确的检测出电子设备的旋转角度。这也是电子设备获得的第一图像的第一方向和第二图像的第二方向不一致,总是出现在电子设备处于非第一状态时拍摄图像出现的问题的原因。第一状态是指电子设备的显示屏所在平面与水平面垂直。
在一可选实施例中,第一触发指令还可以为电子设备处于拍照模式且电子设备处于非第一状态;若电子设备处于第一状态,即使电子设备处于拍照模式,也不产生第一触发指令。
在一可选实施例中,第一触发指令还可以为电子设备切换至拍照模式,或,第一触发指令还可以为电子设备切换至录像模式。
可选的,本申请的又一个实施例中,还可以检测电子设备的显示屏是否处于非第一状态,进而在确定电子设备的显示屏处于非第一状态时,生成上述第一触发指令,进而执行上述步骤S100-S120。
在本实施例中,电子设备使用者无需再次选择第一触发指令,节省了电子设备使用者的时间,进而提高了拍摄效率。
前述已经说明了,现有技术中得到的第一图像的第一方向与第二图像的第二方向不一致。
下面结合图5a、图6a至图6c,对本申请实施例中第一方向和第二方向进行说明,假设电子设备的预设坐标系如图5a所示。
可以理解的是,摄像头在采集图像的过程中,采集的图像并不会跟随电子设备的旋转角度变更而旋转。假设,电子设备的显示屏所在平面与水平面平行,假设用户自己认为自己逆时针旋转了电子设备90度,那么第二图像(预览图像)如图6a所示。若在此刻用户点击拍照按键,电子设备的摄像头采集的图像可以如图6d所示,假设电子设备的方向传感器检测自己逆时针旋转了270°,那么,电子设备在获得第一图像的过程中,会存储图6d所示的图像以及将旋转角度为逆时针旋转270°存储至文本中。由于电子设备认为图6d所示的图像是电子设备逆时针旋转270°拍摄得到的,所以用户在查看第一图像(假设此时电子设备的旋转角度为0)时,电子设备会将图6d所示的图像逆时针旋转270°得到图6b所示的第一图像。这样第一图像的第一方向(如图6b虚线箭头指示的名片的方向)与第二图像的第二方向(如图6a所示虚线箭头指示的名片的方向)就不一致了。
采用本申请实施例可以准确的确定出电子设备逆时针旋转了90°,电子设备在获得第一图像的过程中,会存储图6d所示的图像以及将旋转角度为逆时针旋转90°存储至文本中。用户在查看第一图像(假设此时电子设备的旋转角度为0)时,会将图6d所示的图像逆时针旋转90°,得到图6c所示的第一图像,从而使得第一图像的第一方向(如图6c中虚线箭头指示的名片的方向)与第二图像的第二方向一致。
综上,第一方向是指第一图像的正方向;第二方向是指第二图像的正方向。
可选的,本申请还可以适用于对拍摄图像进行文字识别的情况。在进行文字识别时,由于第一方向和第二方向不一致可能会导致对第一图像进行文字识别的出错率大大增加。
假设电子设备的预设坐标系如图5a所示,参考图6a所示,其示例了电子设备处于水平状态时,拍摄的第一图像对应的第二图像(预览图像),从图6a所示,第二图像的第二方向为图6a所示的虚线头指向方向;利用电子设备中的方向传感器,电子设备得到的第一图像可能如图6b所示,图6b所示的第一图像的第一方向如图6b的虚线箭头所示方向。但是,用户实际期望得到的第一图像应该为图6c所示的图像,这样第二图像的第二方向才和第一图像的第一方向相同。采用本申请实施例提供的方法即可以得到图6c所示的第一图像。
在进行文字识别的过程中,若由于现有技术中得到的第一图像(如图6b所示)的文字方向与标准文字的方向(假设标准文字方向如图6c所示)不一致,所以可能出现识别错误或者无法识别的情况。
基于上述识别问题,本申请可以确定出准确的旋转角度,在对第一图像进行识别时,基于该准确的旋转角度对得到的图6d所示的图像进行旋转,从而可以得到具有与第二方向相同的第一方向的第一图像,该第一图像中的文字的方向与标准文字的方向一致,所以可以提高文字识别的准确性。
可选的,在上述步骤S120,响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本之后,本申请实施例还可以包括:
S1、响应于识别所述图像包含的文字信息的指令,将所述图像旋转所述旋转角度获得目标图像。
可选的,当检测到识别图像包含的文字信息的指令时,本申请可以响应该指令,进而根据确定的旋转角度,对拍摄的图像进行旋转,得到目标图像(即图6c所示第一图像)。可选的,目标图像(即图6c所示第一图像)可以是与识别图像包含的文字信息时的方向一致的图像。
S2、识别所述目标图像包含的文字信息。
可选的,当得到目标图像后,可以利用文字识别技术对目标图像中包含的文字信息进行识别。例如,用OCR(OpticalCharacter Recognition,光学字符识别)识别技术对目标图像中包含的文字信息进行文字识别。
上述本申请公开的实施例中详细描述了方法,对于本申请的方法可采用多种形式的装置实现,因此本申请还公开了一种装置,下面给出具体的实施例进行详细说明。
参见图7,图7为本申请实施例公开的一种处理装置结构示意图。
如图7所示,该装置可以包括:
调用模块11,用于响应于第一触发指令,至少调用两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;
第一获取模块12,用于基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
第二获取模块13,用于响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度。
可选的,上述第一获取模块可以包括:
旋转角度确定单元,用于基于所述参考物的标准形态以及采集到的所述参考物的当前形态,确定所述电子设备的旋转角度;
其中,所述参考物的标准形态是指在所述电子设备的旋转角度为零时所述参考物的形态。
可选的,上述调用模块可以包括:
第一调用单元,用于基于所述电子设备的拍摄模式,至少调用所述两组摄像头。
可选的,上述第一调用单元可以包括:
第一拍摄单元,用于如果所述电子设备处于第一拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述待拍摄物体,第二组摄像头采集所述参考物;
其中,所述第二组摄像头的采集开窗位于所述电子设备的第一侧,所述第一侧为所述电子设备中的显示屏所在侧,在所述第一拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像;所述第一组摄像头的采集开窗位于所述电子设备的第二侧。
可选的,上述第一调用单元还可以包括:
第二拍摄单元,用于如果所述电子设备处于第二拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述参考物,第二组摄像头采集所述待拍摄物体;
其中,在所述第二拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像。
可选的,本申请还可以包括:
第一触发指令获取单元,用于若检测到所述电子设备的显示屏处于非第一状态,获取所述第一触发指令;
其中,所述第一状态是指所述显示屏所在平面垂直于水平面。
可选的,本申请还可以包括:
目标图像确定单元,用于响应于识别所述图像包含的文字信息的指令,将所述图像旋转所述旋转角度获得目标图像;
文字信息识别单元,用于识别所述目标图像包含的文字信息。
本申请实施例提供的处理装置可应用于处理设备,如移动终端、PC终端、云平台、服务器及服务器集群等。可选的,图8示出了处理设备的硬件结构框图,参照图8,处理设备的硬件结构可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3,至少一个通信总线4和多组摄像头5;
在本申请实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,摄像头5的数量为多组,且处理器1、通信接口2、存储器3、摄像头5通过通信总线4完成相互间的通信;
处理器1可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路等;
存储器3可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;
其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:
响应于第一触发指令,至少调用所述多组摄像头中两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;
基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种可读存储介质,该可读存储介质可存储有适于处理器执行的程序,所述程序用于:
响应于第一触发指令,至少调用所述多组摄像头中两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;
基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度。
可选的,所述程序的细化功能和扩展功能可参照上文描述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置或系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种图像处理方法,包括:
响应于第一触发指令,至少调用两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;所述两组摄像头分别位于电子设备的不同侧;
至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度,用来参考判断拍摄方向,使得获得的实际图像与预览图像方向一致。
2.根据权利要求1所述处理方法,所述至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度包括:
基于所述参考物的标准形态以及采集到的所述参考物的当前形态,确定所述电子设备的旋转角度;
其中,所述参考物的标准形态是指在所述电子设备的旋转角度为零时所述参考物的形态。
3.根据权利要求1或2所述处理方法,所述至少调用两组摄像头包括:
基于所述电子设备的拍摄模式,至少调用所述两组摄像头。
4.根据权利要求3所述处理方法,所述基于所述电子设备的拍摄模式,至少调用所述两组摄像头包括:
如果所述电子设备处于第一拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述待拍摄物体,第二组摄像头采集所述参考物;
其中,所述第二组摄像头的采集开窗位于所述电子设备的第一侧,所述第一侧为所述电子设备中的显示屏所在侧,在所述第一拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像;所述第一组摄像头的采集开窗位于所述电子设备的第二侧。
5.根据权利要求3所述处理方法,所述基于所述电子设备的拍摄模式,至少调用所述两组摄像头还包括:
如果所述电子设备处于第二拍摄模式,至少调用所述两组摄像头中第一组摄像头采集所述参考物,第二组摄像头采集所述待拍摄物体;
其中,在所述第二拍摄模式下,所述显示屏能够呈现所述待拍摄物体的预览图像。
6.根据权利要求1所述处理方法,还包括:
若检测到所述电子设备的显示屏处于非第一状态,生成所述第一触发指令;
其中,所述第一状态是指所述显示屏所在平面垂直于水平面。
7.根据权利要求1所述处理方法,还包括:
响应于识别所述图像包含的文字信息的指令,将所述图像旋转所述旋转角度获得目标图像;
识别所述目标图像包含的文字信息。
8.一种图像处理装置,包括:
调用模块,用于响应于第一触发指令,至少调用两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;所述两组摄像头分别位于电子设备的不同侧;
第一获取模块,用于至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
第二获取模块,用于响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度,用来参考判断拍摄方向,使得获得的实际图像与预览图像方向一致。
9.一种电子设备,包括:
多组摄像头;
存储器,用于存储程序;
处理器,用于执行所述程序,所述程序具体用于:
响应于第一触发指令,至少调用所述多组摄像头中两组摄像头,所述两组摄像头中一组摄像头用于采集待拍摄物体,另一组摄像头用于采集参考物;所述两组摄像头分别位于电子设备的不同侧;
至少基于采集到的所述参考物的当前形态,获取电子设备的旋转角度,所述电子设备包括所述两组摄像头;
响应于第二触发指令,获取包含所述待拍摄物体的图像,以及将所述旋转角度存储至所述图像对应的文本;
其中,所述参考物不属于所述电子设备,所述参考物的不同形态对应所述电子设备不同旋转角度,用来参考判断拍摄方向,使得获得的实际图像与预览图像方向一致。
10.一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述权利要求1-7任一项所述的图像处理方法包含的各个步骤。
CN201811510447.8A 2018-12-11 2018-12-11 一种处理方法、装置、设备及可读存储介质 Active CN109547678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811510447.8A CN109547678B (zh) 2018-12-11 2018-12-11 一种处理方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811510447.8A CN109547678B (zh) 2018-12-11 2018-12-11 一种处理方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109547678A CN109547678A (zh) 2019-03-29
CN109547678B true CN109547678B (zh) 2021-09-14

Family

ID=65854207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510447.8A Active CN109547678B (zh) 2018-12-11 2018-12-11 一种处理方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN109547678B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629145B (zh) * 2020-05-26 2022-04-12 广州视源电子科技股份有限公司 摄像头翻转控制方法、装置、显示终端及存储介质
CN113163130B (zh) * 2021-03-25 2023-04-07 维沃移动通信有限公司 拍摄辅助设备、图像对采集的标定方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685950A (zh) * 2013-12-06 2014-03-26 华为技术有限公司 一种视频图像防抖方法及装置
CN103873693A (zh) * 2014-03-24 2014-06-18 惠州Tcl移动通信有限公司 根据重力加速度自动校正照片拍摄角度的方法及移动终端
JP2014519739A (ja) * 2011-05-17 2014-08-14 アップル インコーポレイテッド パノラマ写真のための位置センサ支援型画像位置合わせ
CN104363386A (zh) * 2014-11-14 2015-02-18 广东欧珀移动通信有限公司 照片处理方法及装置
CN106371730A (zh) * 2016-09-08 2017-02-01 珠海市魅族科技有限公司 一种移动终端及图像旋转方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100186234A1 (en) * 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
CN102003955B (zh) * 2010-09-17 2014-06-18 江门市蒙德电气股份有限公司 基于图像分析的位置检测传感装置及其位置检测方法
CN104346822B (zh) * 2013-07-23 2017-07-21 富士通株式会社 纹理贴图方法及装置
CN108833781B (zh) * 2018-06-15 2021-03-26 Oppo广东移动通信有限公司 图像预览方法、装置、终端及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014519739A (ja) * 2011-05-17 2014-08-14 アップル インコーポレイテッド パノラマ写真のための位置センサ支援型画像位置合わせ
CN103685950A (zh) * 2013-12-06 2014-03-26 华为技术有限公司 一种视频图像防抖方法及装置
CN103873693A (zh) * 2014-03-24 2014-06-18 惠州Tcl移动通信有限公司 根据重力加速度自动校正照片拍摄角度的方法及移动终端
CN104363386A (zh) * 2014-11-14 2015-02-18 广东欧珀移动通信有限公司 照片处理方法及装置
CN106371730A (zh) * 2016-09-08 2017-02-01 珠海市魅族科技有限公司 一种移动终端及图像旋转方法

Also Published As

Publication number Publication date
CN109547678A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109040474B (zh) 照片显示方法、装置、终端及存储介质
CN107770452B (zh) 一种拍照方法及终端和相关介质产品
WO2019001152A1 (zh) 拍照方法及移动终端
EP3518522B1 (en) Image capturing method and device
CN103297696A (zh) 拍摄方法、装置和终端
US20150085146A1 (en) Method and system for storing contact information in an image using a mobile device
CN109218614B (zh) 一种移动终端的自动拍照方法及移动终端
CN106648418B (zh) 手写笔迹校正方法和装置
WO2018040180A1 (zh) 一种拍摄方法以及装置
EP2336949A1 (en) Apparatus and method for registering plurality of facial images for face recognition
US20140354540A1 (en) Systems and methods for gesture recognition
CN108897589B (zh) 显示设备中人机交互方法、装置、计算机设备和存储介质
EP2712176B1 (en) Method and apparatus for photography
CN110738078A (zh) 一种人脸识别方法及终端设备
CN109547678B (zh) 一种处理方法、装置、设备及可读存储介质
WO2017219515A1 (zh) 一种拍照对焦的方法及电子设备
CN108596122A (zh) 一种身份验证方法、装置、身份验证机和计算机可读介质
WO2020119315A1 (zh) 人脸采集方法及相关产品
CN110677580A (zh) 拍摄方法、装置、存储介质及终端
CN112989299A (zh) 一种交互式身份识别方法、系统、设备及介质
CN107767712B (zh) 调整匹配度的方法、装置、存储介质及电子设备
CN107578006B (zh) 一种照片处理方法及移动终端
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
CN110087235B (zh) 一种身份认证、认证方式调整的方法及装置
CN109949407B (zh) 一种头像生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant