CN106210539B - 一种获取全景图像的方法及终端 - Google Patents

一种获取全景图像的方法及终端 Download PDF

Info

Publication number
CN106210539B
CN106210539B CN201610645733.XA CN201610645733A CN106210539B CN 106210539 B CN106210539 B CN 106210539B CN 201610645733 A CN201610645733 A CN 201610645733A CN 106210539 B CN106210539 B CN 106210539B
Authority
CN
China
Prior art keywords
terminal
image
shooting
mobile
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610645733.XA
Other languages
English (en)
Other versions
CN106210539A (zh
Inventor
杜成
苏蔚
罗巍
邓斌
李兰娣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=53370537&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN106210539(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN201610645733.XA priority Critical patent/CN106210539B/zh
Publication of CN106210539A publication Critical patent/CN106210539A/zh
Application granted granted Critical
Publication of CN106210539B publication Critical patent/CN106210539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/005Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种获取全景图像的方法,包括:在获取到用户触发的全景拍摄指令后,拍摄第一张图像,并获取所述第一张图像的拍摄参数,根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端,在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像,将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。本发明实施例提供的方法,可以在全景拍摄时,突出中心位置的图像,提高了全景图像的整体效果。

Description

一种获取全景图像的方法及终端
本申请是2013年12月13日递交中国专利局,申请号为201380073251.6,发明创造名称为“一种获取全景图像的方法及终端”的专利申请的分案。
技术领域
本发明涉及图像处理技术领域,具体涉及一种获取全景图像的方法及终端。
背景技术
后置全景拍摄模式是现在智能机普遍具有的拍摄模式,后置全景拍摄是通过将拍摄终端延一个方向移动拍摄多张照片,并将多张照片拼接成一张视角更大的图像。
单人外出旅游,想要和景物合影,通常只能找别人帮忙,非常麻烦,如果自拍,通常只能拍进一个人脸,背景的景物很难完整的拍摄进去。
当多人聚会要合影时,自拍也无法将所有人都完整的拍进去,给用户带来了很多苦恼。
本发明的发明人发现,现有技术中还没有前置全景拍摄模式,即使将现有技术中后置全景模式应用到前置拍摄模式中,拍摄时也只是延一个方向移动拍摄终端,拍摄多张照片,从而得到一张大视角的照片,这样从人物开始拍摄时,就只能拍摄到人物一侧的景物,当从景物开始拍摄时,无法突出人物,降低了拍摄的效果。
发明内容
本发明实施例提供一种获取全景图像的方法,可以在全景拍摄时,突出中心位置的图像,提高了全景图像的整体效果。本发明实施例还提供了相应的终端。
本发明第一方面提供一种获取全景图像的方法,包括:
在获取到用户触发的全景拍摄指令后,拍摄第一张图像,并获取所述第一张图像的拍摄参数;
根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端;
在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像;
将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。
结合第一方面,在第一种可能的实现方式中,所述根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于用户根据所述移动指导信息移动所述终端,包括:
根据所述预置的移动指导策略,确定下一张图像的拍摄位置,并在所述终端上显示所述下一张图像的拍摄位置;
对应的,所述在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像,包括:
在所述终端移动到所述下一张图像的拍摄位置后,根据所述第一张图像的拍摄参数,拍摄所述下一张图像;
重复上述确定、显示和拍摄的步骤,直到拍摄到所述预置数量张图像为止。
结合第一方面第一种可能的实现方式,在第二种可能的实现方式中,所述在所述终端上显示所述下一张图像的拍摄位置之后,所述方法还包括:
在所述终端移动时,实时获取并显示所述终端的位置;
对应的,所述在所述终端移动到所述下一张图像的拍摄位置后,根据所述第一张图像的拍摄参数,拍摄所述下一张图像,包括:
当所述显示的所述终端的位置与所述下一张图像的拍摄位置相同时,根据所述第一张图像的拍摄参数,拍摄所述下一张图像。
结合第一方面第二种可能的实现方式,在第三种可能的实现方式中,所述在所述终端移动时,实时获取并显示所述终端的位置,包括:
在所述终端移动时,通过检测相邻帧图像间的相对运动,实时获取并显示在移动过程中所述终端的位置,以便于指示用户将所述终端移动到所述下一张图像的获取位置。
结合第一方面第二种或第三种可能的实现方式,在第四种可能的实现方式中,所述拍摄第一张图像,并获取所述第一张图像的拍摄参数之后,所述方法还包括:
每隔预置帧图像进行一次中心位置校准,所述中心位置校准为将当前预览图像与所述第一张图像进行比较,当所述当前预览图像与所述第一张图像匹配相似度高于预置阈值时,确定出所述终端的位置回到拍摄所述第一张图像时所述终端的位置,以便于在检测所述终端的位置失败时,根据拍摄所述第一张图像的位置重新开始拍摄。
结合第一方面第一种至第四种可能的实现方式中的任意一种,在第五种可能的实现方式中,所述拍摄第一张图像,并获取所述第一张图像的拍摄参数之前,所述方法还包括:
锁定自动白平衡控制AWB和自动曝光控制AE,以使拍摄的所述预置数量张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
结合第一方面第一种至第五种可能的实现方式中的任意一种,在第六种可能的实现方式中,所述将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像,包括:
检测所述第一张图像和所述预置数量张图像中人物图像的位置;
在采用预制的拼接方案进行图像拼接时,从每张图像中非人物图像的位置进行拼接。
本发明第二方面提供一种终端,包括:
获取单元,用于获取用户触发的全景拍摄指令;
拍摄单元,用于在所述获取单元获取到用户触发的全景拍摄指令后,拍摄第一张图像;
所述获取单元,还用于在所述拍摄单元拍摄所述第一张图像时,获取所述第一张图像的拍摄参数;
确定单元,用于在所述获取单元获取所述第一张图像后,根据预置的移动指导策略,确定移动指导信息;
显示单元,用于在终端上显示所述确定单元确定的所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端;
检测单元,用于检测所述终端的移动状态;
所述拍摄单元,还用于在所述检测单元检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像;
拼接单元,用于将所述拍摄单元拍摄的所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。
结合第二方面,在第一种可能的实现方式中,
所述确定单元,用于根据所述预置的移动指导策略,确定下一张图像的拍摄位置;
所述显示单元,用于在所述终端上显示所述下一张图像的拍摄位置;
所述拍摄单元,用于在所述终端移动到所述下一张图像的拍摄位置后,根据所述第一张图像的拍摄参数,拍摄所述下一张图像;
所述确定单元、所述显示单元、所述拍摄单元重复上述确定、显示和拍摄的步骤,直到拍摄到所述预置数量张图像为止。
结合第二方面第一种可能的实现方式,在第二种可能的实现方式中,
所述获取单元,还用于在所述终端移动时,实时获取所述终端的位置;
所述显示单元,还用于实时显示所述获取单元获取的所述终端的位置;
所述拍摄单元,用于当所述显示单元显示的所述终端的位置与所述下一张图像的拍摄位置相同时,根据所述第一张图像的拍摄参数,拍摄所述下一张图像。
结合第二方面第二种可能的实现方式,在第三种可能的实现方式中,
所述获取单元,用于在所述终端移动时,通过检测相邻帧图像间的相对运动,实时获取在移动过程中所述终端的位置,以便于指示用户将所述终端移动到所述下一张图像的获取位置;
所述显示单元,用于显示所述获取单元获取的在移动过程中所述终端的位置。
结合第二方面第二种或第三种可能的实现方式,在第四种可能的实现方式中,
所述终端还包括:
校准单元,用于在所述拍摄单元拍摄所述第一张图像之后,每隔预置帧图像进行一次中心位置校准,所述中心位置校准为将当前预览图像与所述第一张图像进行比较,当所述当前预览图像与所述第一张图像匹配相似度高于预置阈值时,确定出所述终端的位置回到拍摄所述第一张图像时所述终端的位置,以便于在检测所述终端的位置失败时,根据拍摄所述第一张图像的位置重新开始拍摄。
结合第二方面、第二方面第一种至第四种可能的实现方式中的任意一种,在第五种可能的实现方式中,
所述终端还包括:
锁定单元,用于在所述拍摄单元拍摄所述第一张图像之前,锁定自动白平衡控制AWB和自动曝光控制AE,以使拍摄的所述预置数量张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
结合第二方面、第二方面第一种至第五种可能的实现方式中的任意一种,在第六种可能的实现方式中,
所述拼接单元包括:
检测子单元,用于检测所述第一张图像和所述预置数量张图像中人物图像的位置;
拼接子单元,用于在采用预制的拼接方案进行图像拼接时,从所述检测子单元检测出的每张图像中非人物图像的位置进行拼接。
本发明第三方面提供一种终端,包括:接收器、发射器、摄像头、处理器和存储器;
所述摄像头,用于拍摄图像;
所述接收器,用于接收用户输入的全景拍摄指令;
所述处理器用于执行如下步骤:
在获取到用户触发的全景拍摄指令后,拍摄第一张图像,并获取所述第一张图像的拍摄参数;
根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端;
在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像;
将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。
本发明实施例采用在获取到用户触发的全景拍摄指令后,拍摄第一张图像,并获取所述第一张图像的拍摄参数,根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端,在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像,将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。与现有技术中在全景拍摄时,无法突出中心位置的图像相比,本发明实施例提供的方法,可以在全景拍摄时,突出中心位置的图像,提高了全景图像的整体效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中获取全景图像的方法的一实施例示意图;
图2是本发明实施例中获取全景图像的方法的另一实施例示意图;
图3A-图3C是本发明实施例中获取全景图像的方法的另一实施例示意图;
图4是本发明实施例中终端的一实施例示意图;
图5是本发明实施例中终端的另一实施例示意图;
图6是本发明实施例中终端的另一实施例示意图;
图7是本发明实施例中终端的另一实施例示意图;
图8是本发明实施例中终端的另一实施例示意图;
图9是本发明实施例中终端的另一实施例示意图。
具体实施方式
本发明实施例提供一种获取全景图像的方法,可以在全景拍摄时,突出中心位置的图像,提高了全景图像的整体效果。本发明实施例还提供了相应的终端。以下分别进行详细说明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的获取全景图像的方案适用于后置拍摄模式和前置拍摄模式,尤其适用于前置拍摄模式。
参阅图1,本发明实施例提供的获取全景图像的方法的一实施例包括:
101、在获取到用户触发的全景拍摄指令后,拍摄第一张图像,并获取所述第一张图像的拍摄参数。
当需要全景拍摄时,终端在获取到用户触发的全景拍摄指令后,会拍摄第一张图像,为了保证后续其他图像的曝光度控制、白平衡控制等参数都与第一张图像相同,同时获取所述第一张图像的拍摄参数。
102、根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端。
本发明实施例中预置的移动指导策略可以为先向终端初始位置的左端移动或旋转,再向终端初始位置的右端移动或旋转。
移动指导信息可以为图标指导信息,也可以为文字指导信息,可以在终端上显示出终端应移动到的位置。
103、在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像。
在前置全景拍摄时,当终端旋转到初始位置的左侧,则可以拍摄第一张图像背景右侧的图像,当终端旋转到初始位置的右侧,则可以拍摄第一张图像背景左侧的图像。
预置数量张可以为4张,终端旋转到初始位置左侧时拍摄两张图像,终端旋转到初始位置右侧拍摄两张图像,也可以为2张,左边一张,右边一张,对预置数量不做限定,可以根据需求设置。
例如:用户要自拍,用户拿着手机对准自己拍摄一张图像,将该图像标记为C,将手机转向拍摄图像C时的左端,先后拍摄两张图像B和图像A,再将手机转向拍摄图像C时的右端,后拍摄两张图像D和图像E,这样,就获取了五张图像,分别为图像A-图像E。
104、将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。
图像拼接技术为将多张图像拼接为一张大视角的图像。延续步骤103中的例子,将图像A-图像E按照A、B、C、D、E的顺序,或者,E、D、C、B、A的顺序进行拼接,就可以得到一张图像C在中心的全景图像。
本发明实施例中图像拼接的方案为现有技术,例如:可以采用模板匹配方法、相邻列比值匹配方法、基于网格快速匹配方法、基于局部熵差的图像匹配方法等方法进行拼接。
本发明实施例采用在获取到用户触发的全景拍摄指令后,拍摄第一张图像,并获取所述第一张图像的拍摄参数,根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端,在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像,将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。与现有技术中在全景拍摄时,无法突出中心位置的图像相比,本发明实施例提供的方法,可以在全景拍摄时,突出中心位置的图像,提高了全景图像的整体效果。
可选地,在上述图1对应的实施例的基础上,本发明实施例提供的获取全景图像的方法的另一实施例中,所述根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于用户根据所述移动指导信息移动所述终端,可以包括:
根据所述预置的移动指导策略,确定下一张图像的拍摄位置,并在所述终端上显示所述下一张图像的拍摄位置;
对应的,所述在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像,包括:
在所述终端移动到所述下一张图像的拍摄位置后,根据所述第一张图像的拍摄参数,拍摄所述下一张图像;
重复上述确定、显示和拍摄的步骤,直到拍摄到所述预置数量张图像为止。
本发明实施例中,如果预置的移动指导策略指示先向初始位置的左端移动或者旋转,终端就会确定下一张图像的拍摄位置在初始位置的左端,并在终端的显示界面上显示出下一张图像的拍摄位置。
用户可以根据终端显示界面上的提示移动或转动终端,当终端旋转到下一张图像的拍摄位置,会自动拍摄下一张图像,按照这种方式,每拍摄一张图像,都会在终端界面上显示下一张图像的拍摄位置,用户只需要按照终端显示界面上的提示移动或转动终端,就可以拍摄图像,直到拍摄预置数量张所述第一张图像对应的背景左右两侧背景的图像为止。
例如:参阅图2,用户在全景拍摄模式下自拍,用手机对着自己拍摄了第一张图像,终端按照预置的移动指导策略,指示向左旋转手机,完成第二张图像的拍摄,并在手机的显示界面上显示出一个小球和一个小圆圈,箭头由小圆圈指向小球,小球用来表示下一张图像的拍摄位置,小圆圈用来表示拍摄第一张图像时手机的初始位置,箭头指向表示手机需要向左旋转,这样,用户就可以按照界面上的提示,将手机向左旋转,当小圆圈旋转到小球的位置,小圆圈与小球重合,手机就会自动拍摄第二张图像。拍摄第二张图像后,手机上会继续显示第三张图像的拍摄位置,用户只需要按照显示界面上的提示旋转手机即可,就可以完成所需图像的拍摄。
参阅图3A,其中的圆表示用终端自拍的用户身体,竖直线表示用户胳膊,水平线表示终端,图3A是用户拍摄第一张图像时终端与用户的关系示意图,当拍摄第一张图像后,需要终端向左旋转拍摄第二张图像,则用户可以将终端向左旋转,胳膊不需要动,如图3B所示,终端旋转到第二张图像的拍摄位置后,就可以拍摄第二张图像。拍摄第二张图像后,需要终端向右旋转拍摄第三张图像,则用户可以将终端向右旋转,旋转到图3C所示的第三张图像的拍摄位置,终端就可以拍摄第三张图像。
可选地,在上述图1对应的可选实施例的基础上,本发明实施例提供的获取全景图像的方法的另一实施例中,所述在所述终端上显示所述下一张图像的拍摄位置之后,所述方法还可以包括:
在所述终端移动时,实时获取并显示所述终端的位置;
对应的,所述在所述终端移动到所述下一张图像的拍摄位置后,根据所述第一张图像的拍摄参数,拍摄所述下一张图像,可以包括:
当所述显示的所述终端的位置与所述下一张图像的拍摄位置相同时,根据所述第一张图像的拍摄参数,拍摄所述下一张图像。
本发明实施例中,参阅图2,在用户旋转手机时,手机实时获取并显示旋转过程中手机的位置,也就是手机在移动过程中小圆圈的位置变化实时显示在手机上,以方便用户确定该旋转多少才能使小圆圈与小球重合,当小圆圈与小球位置重合时,手机就会自动获取下一张图像。
可选地,在上述图1对应的可选实施例的基础上,本发明实施例提供的获取全景图像的方法的另一实施例中,所述在所述终端移动时,实时获取并显示所述终端的位置,可以包括:
在所述终端移动时,通过检测相邻帧图像间的相对运动,实时获取并显示在移动过程中所述终端的位置,以便于指示用户将所述终端移动到所述下一张图像的获取位置。
本发明实施例中,拍摄第一张图像后,需要手机旋转到下一张图像的位置才会拍摄下一张图像,实际上,终端从开启拍摄模式开始,就会不能按照帧率捕捉图像,例如:当帧率为30帧/秒时,每隔1/30秒终端就会捕捉一帧图像,终端就可以根据相邻两帧图像间的差异,确定终端移动了多少,从而确定在移动过程中终端的位置,并在终端上显示确定的位置,以便于指示用户将所述终端移动到所述下一张图像的拍摄位置。
可选地,在上述图1对应的可选实施例的基础上,本发明实施例提供的获取全景图像的方法的另一实施例中,所述拍摄第一张图像,并获取所述第一张图像的拍摄参数之后,所述方法还可以包括:
每隔预置帧图像进行一次中心位置校准,所述中心位置校准为将当前预览图像与所述第一张图像进行比较,当所述当前预览图像与所述第一张图像匹配相似度高于预置阈值时,确定出所述终端的位置回到拍摄所述第一张图像时所述终端的位置,以便于在检测所述终端的位置失败时,根据拍摄所述第一张图像的位置重新开始拍摄。
本发明实施例中,预置帧图像可以为10帧,即每隔10帧进行一次中心位置校准,中心位置校准的目的是在终端检测终端的位置失败时,找到拍摄第一张图像的位置,这样,可以重新开始拍摄。
预置阈值可以为80%或90%,也可以为其他数值,因为第一张图像通常都是对着人脸拍摄,当预览图像与第一张图像的相似度高于预置阈值时,就可以确定终端回到拍摄第一张图像时的位置。
可选地,在上述图1对应的实施例或图1对应的任一可选实施例的基础上,本发明实施例提供的获取全景图像的方法的另一实施例中,
所述拍摄第一张图像,并获取所述第一张图像的拍摄参数之前,所述方法还可以包括:
锁定自动白平衡控制(Auto White Balance,AWB)和自动曝光控制(Auto-Exposure,AE),以使拍摄的所述预置数量张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
全景拍摄采集多张图像,需要根据第一张图像对应的曝光和白平衡设置锁定曝光设置和白平衡设置,先拍中间能确保锁定的曝光和白平衡设置更好的表现人脸。如果先拍左侧,户外通常背景亮度明显大于人脸亮度,会导致人脸太黑。
可选地,在上述图1对应的实施例或图1对应的任一可选实施例的基础上,本发明实施例提供的获取全景图像的方法的另一实施例中,所述将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像,可以包括:
检测所述第一张图像和所述预置数量张图像中人物图像的位置;
在采用预制的拼接方案进行图像拼接时,从每张图像中非人物图像的位置进行拼接。
本发明实施例中,为了确保拼接的效果,拼接时尽量避开人物图像,选择图像中梯度很低的图像点,并尽量避开人脸所在的区域。
在拼接图像时,可以提取每张图像中的特征点,可以通过尺度不变特征转换(Scale-invariant feature transform,SIFT),特征点提取方法,也可以通过角点提取方法提取特征点,SIFT提取方法和角点提取方法都是图像处理领域的公知技术,本实施例中不详细赘述。
提取特征点后,比较不同张图像中上提取的特征点,并配对代表相同图像特征的特征点。可以通过SIFT特征点匹配,也可以通过图像块匹配,SIFT特征点匹配和图像块匹配是图像处理领域的公知技术,本实施例中不详细赘述。
特征点匹配后,选择特征点对,保留代表相同图像变换的特征点对,去除指向其他图像变换的特征点对,可以通过随机抽样一致算法(RANdom SAmple Consensus,RANSAC)算法。也可以通过变换矩阵计算根据选择的特征点对计算两个图像之间的变换矩阵。
根据变换矩阵旋转图像后,检测人脸的位置,以利于拼接时避开人脸,可以通过迭代算法ADABOOST算法,也可以通过FLOATBOOST算法,这些算法都是本领域的公知技术,在此不再详细赘述。
寻找两幅图像之间的拼接缝,并缝合图像。可以通过seam carving技术进行缝合图像,seam carving是公知技术,在此不再详细赘述。拼接缝的选择中,选择图像中梯度很低的图像点,并尽量避开人脸所在的区域。
参阅图4,本发明实施例提供的终端的一实施例包括:
获取单元201,用于获取用户触发的全景拍摄指令;
拍摄单元202,用于在所述获取单元201获取到用户触发的全景拍摄指令后,拍摄第一张图像;
所述获取单元201,还用于在所述拍摄单元拍摄所述第一张图像时,获取所述第一张图像的拍摄参数;
确定单元203,用于在所述获取单元201获取所述第一张图像后,根据预置的移动指导策略,确定移动指导信息;
显示单元204,用于在终端上显示所述确定单元203确定的所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端;
检测单元205,用于在所述显示单元204显示所述移动指导信息后,检测所述终端的移动状态;
所述拍摄单元202,还用于在所述检测单元205检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像;
拼接单元206,用于将所述拍摄单元202拍摄的所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。
本发明实施例中,获取单元201获取用户触发的全景拍摄指令,拍摄单元202在所述获取单元201获取到用户触发的全景拍摄指令后,拍摄第一张图像,所述获取单元201还在所述拍摄单元拍摄所述第一张图像时,获取所述第一张图像的拍摄参数,确定单元203在所述获取单元201获取所述第一张图像后,根据预置的移动指导策略,确定移动指导信息,显示单元204在终端上显示所述确定单元203确定的所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端,检测单元205于在所述显示单元204显示所述移动指导信息后,检测所述终端的移动状态,所述拍摄单元202还在所述检测单元205检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像,拼接单元206将所述拍摄单元202拍摄的所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。与现有技术中在全景拍摄时,无法突出中心位置的图像相比,本发明实施例提供的终端,可以在全景拍摄时,突出中心位置的图像,提高了全景图像的整体效果。
可选地,在上述图4所对应的实施例的基础上,本发明实施例提供的终端的另一实施例中,
所述确定单元203,用于根据所述预置的移动指导策略,确定下一张图像的拍摄位置;
所述显示单元204,用于在所述终端上显示所述下一张图像的拍摄位置;
所述检测单元205,用于检测所述终端是否移动到所述显示单元204显示的所述下一张图像的拍摄位置;
所述拍摄单元202,用于在所述检测单元205检测到所述终端移动到所述下一张图像的拍摄位置后,根据所述第一张图像的拍摄参数,拍摄所述下一张图像;
所述确定单元203、所述显示单元204、所述拍摄单元202重复上述确定、显示和拍摄的步骤,直到拍摄到所述预置数量张图像为止。
可选地,在上述图4所对应的实施例的基础上,参阅图5,本发明实施例提供的终端的另一实施例中,
所述获取单元201,还用于在所述终端移动时,实时获取所述终端的位置;
所述显示单元204,还用于实时显示所述获取单元201获取的所述终端的位置;
所述检测单元205,用于检测所述显示单元显示的所述终端的位置与所述下一张图像的拍摄位置是否相同;
所述拍摄单元202,用于当所述检测单元205检测到所述显示单元204显示的所述终端的位置与所述下一张图像的拍摄位置相同时,根据所述第一张图像的拍摄参数,拍摄所述下一张图像。
可选地,在上述图5对应的实施例的基础上,本发明实施例提供的终端的另一实施例中,
所述获取单元201,用于在所述终端移动时,通过检测相邻帧图像间的相对运动,实时获取在移动过程中所述终端的位置,以便于指示用户将所述终端移动到所述下一张图像的获取位置;
所述显示单元204,用于显示所述获取单元201获取的在移动过程中所述终端的位置。
可选地,在上述图5对应的实施例的基础上,参阅图6,本发明实施例提供的终端的另一实施例中,所述终端20还包括:
校准单元207,用于在所述拍摄单元202拍摄所述第一张图像之后,每隔预置帧图像进行一次中心位置校准,所述中心位置校准为将当前预览图像与所述第一张图像进行比较,当所述当前预览图像与所述第一张图像匹配相似度高于预置阈值时,确定出所述终端的位置回到拍摄所述第一张图像时所述终端的位置,以便于在检测所述终端的位置失败时,根据拍摄所述第一张图像的位置重新开始拍摄。
可选地,在上述图4对应的实施例的基础上,参阅图7,本发明实施例提供的终端的另一实施例中,所述终端20还包括:
锁定单元208,用于在所述拍摄单元202拍摄所述第一张图像之前,锁定自动白平衡控制AWB和自动曝光控制AE,以使拍摄的所述预置数量张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
可选地,在上述图4对应的实施例的基础上,参阅图8,本发明实施例提供的终端的另一实施例中,所述拼接单元206包括:
检测子单元2061,用于检测所述第一张图像和所述预置数量张图像中人物图像的位置;
拼接子单元2062,用于在采用预制的拼接方案进行图像拼接时,从所述检测子单元2061检测出的每张图像中非人物图像的位置进行拼接。
图9示出了本发明实施例提供的终端的结构,本发明实施例提供的终端可以用于实施本发明实施例中的获取全景图像的方法,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明方法实施例部分进行理解。
该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑等终端,以终端为手机为例,图9示出的是与本发明实施例提供的终端相关的手机400的部分结构的框图。参考图9,手机400包括RF(Radio Frequency,射频)电路410、存储器420、输入单元430、显示装置440、传感器450、输出单元451、音频电路460、无线保真(wireless fidelity,WiFi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解,图9中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图9对手机400的各个构成部件进行具体的介绍:
RF电路410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器480处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路410还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器420可用于存储软件程序以及模块,处理器480通过运行存储在存储器420的软件程序以及模块,从而执行手机400的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机400的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元430可用于接收输入的数字或字符信息,以及产生与手机400的用户设置以及功能控制有关的键信号输入。具体地,输入单元430可包括触控面板431以及其他输入设备432。触控面板431,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板431可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器480,并能接收处理器480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431,输入单元430还可以包括其他输入设备432。具体地,其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示装置440可用于显示由用户输入的信息或提供给用户的信息以及手机400的各种菜单。显示装置440可包括显示面板441,可选的,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板441。进一步的,触控面板431可覆盖显示面板441,当触控面板431检测到在其上或附近的触摸操作后,传送给处理器480以确定触摸事件的类型,随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图9中,触控面板431与显示面板441是作为两个独立的部件来实现手机400的输入和输入功能,但是在某些实施例中,可以将触控面板431与显示面板441集成而实现手机400的输入和输出功能。
手机400还可包括至少一种传感器450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板441的亮度,接近传感器可在手机400移动到耳边时,关闭显示面板441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机400还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
输出单元451可以用于发送信号。
音频电路460、扬声器461,传声器462可提供用户与手机400之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号,传输到扬声器461,由扬声器461转换为声音信号输出;另一方面,传声器462将收集的声音信号转换为电信号,由音频电路460接收后转换为音频数据,再将音频数据输出处理器480处理后,经RF电路410以发送给比如另一手机,或者将音频数据输出至存储器420以便进一步处理。
WiFi属于短距离无线传输技术,手机400通过WiFi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块470,但是可以理解的是,其并不属于手机400的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器480是手机400的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器420内的数据,执行手机400的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器480可包括一个或多个处理单元;优选的,处理器480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器480中。
手机400还包括给各个部件供电的电源490(比如电池),优选的,电源可以通过电源管理系统与处理器480逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
手机400还可以包括摄像头491,摄像头491拍摄图像。
尽管未示出,手机400还可以包括蓝牙模块等,在此不再赘述。
在本发明实施例中,该终端所包括的处理器480还具有以下功能:
所述处理器480,用于在获取到用户触发的全景拍摄指令后,拍摄第一张图像,并获取所述第一张图像的拍摄参数,根据预置的移动指导策略,确定移动指导信息,并在终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息移动所述终端,在检测到所述终端移动后,根据所述第一张图像的拍摄参数,拍摄预置数量张图像,其中,所述预置数量张图像为所述第一张图像对应的背景左右两侧背景的图像,将所述第一张图像和所述预置数量张图像,以所述第一张图像为中心采用预制的拼接方案进行无缝拼接,得到全景图像。
本发明实施例中,在拍摄全景图像时,可以先拍摄中间的图像,然后再拍摄两端的图像,从而可以突出中心位置的图像,提高了全景图像的整体效果。
本发明一些实施例中,所述处理器480还用于根据所述预置的移动指导策略,确定下一张图像的拍摄位置;
所述显示装置440可以在所述终端上显示所述下一张图像的拍摄位置;
所述摄像头491还用于在所述终端移动到所述下一张图像的拍摄位置后,根据所述第一张图像的拍摄参数,拍摄所述下一张图像;
所述处理器480、所述显示装置440、所述摄像头491重复上述确定、显示和拍摄的步骤,直到拍摄到所述预置数量张图像为止。
本发明一些实施例中,所述处理器480还用于在所述终端移动时,实时获取所述终端的位置;
所述显示装置440还可以显示所述终端的位置;
所述处理器480还用于当所述显示的所述终端的位置与所述下一张图像的拍摄位置相同时,触发所述摄像头拍摄下一张图像;
所述摄像头491还用于根据所述第一张图像的拍摄参数,拍摄所述下一张图像。
本发明一些实施例中,所述处理器480还用于在所述终端移动时,通过检测相邻帧图像间的相对运动,实时获取在移动过程中所述终端的位置,以便于指示用户将所述终端移动到所述下一张图像的获取位置。
所述显示装置440可以显示在移动过程中所述终端的位置。
本发明一些实施例中,所述处理器480还用于每隔预置帧图像进行一次中心位置校准,所述中心位置校准为将当前预览图像与所述第一张图像进行比较,当所述当前预览图像与所述第一张图像匹配相似度高于预置阈值时,确定出所述终端的位置回到拍摄所述第一张图像时所述终端的位置,以便于在检测所述终端的位置失败时,根据拍摄所述第一张图像的位置重新开始拍摄。
本发明一些实施例中,所述处理器480还用于锁定自动白平衡控制AWB和自动曝光控制AE,以使拍摄的所述预置数量张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
本发明一些实施例中,所述处理器480还用于检测所述第一张图像和所述预置数量张图像中人物图像的位置,在采用预制的拼接方案进行图像拼接时,从每张图像中非人物图像的位置进行拼接。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的获取全景图像的方法以及终端进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (24)

1.一种终端的前置摄像头获取全景图像的方法,其特征在于,所述方法包括:
在获取到用户触发的全景拍摄指令后,拍摄第一张图像;
根据预置的移动指导策略,确定移动指导信息,并在所述终端上显示所述移动指导信息,以便于指示用户根据所述移动指导信息旋转所述终端;
在检测到所述终端旋转后,自动拍摄至少两张图像,其中,所述至少两张图像为在所述终端的初始位置的第一方向上和第二方向上拍摄的图像,所述终端的初始位置为所述终端拍摄所述第一张图像时所处的位置,所述第一方向为向左方向,所述第二方向为向右方向,或者,所述第一方向为向右方向,所述第二方向为向左方向;
将所述第一张图像和所述至少两张图像,以所述第一张图像为中心采用预制的拼接方案进行拼接,得到全景图像。
2.根据权利要求1所述的方法,其特征在于,在检测到所述终端旋转后,自动拍摄至少两张图像,其中,所述至少两张图像为在所述终端的初始位置的第一方向上和第二方向上拍摄的图像,具体为:
在检测到所述终端向所述终端的初始位置的第一方向旋转时,自动拍摄至少一张图像;
在检测到所述终端向所述终端的初始位置的第二方向旋转时,自动拍摄至少一张图像。
3.根据权利要求2所述的方法,其特征在于,所述移动指导信息包括文字指导信息。
4.根据权利要求2所述的方法,其特征在于,所述移动指导信息包括图标指导信息。
5.根据权利要求4所述的方法,其特征在于,所述图标指导信息用于指示用户仅在所述终端的初始位置的所述第一方向上和所述第二方向上拍摄图像。
6.根据权利要求1-5任一项所述的方法,其特征在于,在检测到所述终端旋转后,所述方法还包括:在所述终端上实时显示所述终端相对于所述初始位置的位置。
7.根据权利要求6所述的方法,其特征在于,在拍摄所述第一张图像之前,所述方法还包括:
启动所述终端的前置摄像头,在所述终端的显示器上显示所述前置摄像头采集的预览画面;
在获取到用户触发的全景拍摄指令后,在所述终端的显示器的第一区域显示缩小的所述预览画面。
8.根据权利要求7所述的方法,其特征在于,在拍摄所述第一张图像后,所述方法还包括:
锁定自动白平衡控制AWB和自动曝光控制AE,以使拍摄的所述至少两张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
9.一种终端,其特征在于,所述终端包括:
获取单元,用于获取用户触发的全景拍摄指令;
拍摄单元,用于在所述获取单元获取到用户触发的全景拍摄指令后,拍摄第一张图像;
确定单元,用于在所述获取单元获取所述第一张图像后,根据预置的移动指导策略,确定移动指导信息;
显示单元,用于在终端上显示所述确定单元确定的所述移动指导信息,以便于指示用户根据所述移动指导信息旋转所述终端;
检测单元,用于在所述显示单元显示所述移动指导信息后,检测所述终端的旋转状态;
所述拍摄单元,还用于在所述检测单元检测到所述终端旋转后,自动拍摄至少两张图像,其中,所述至少两张图像为在所述终端的初始位置的第一方向上和第二方向上拍摄的图像,所述终端的初始位置为所述终端拍摄所述第一张图像时所处的位置,所述第一方向为向左方向,所述第二方向为向右方向,或者,所述第一方向为向右方向,所述第二方向为向左方向;
拼接单元,用于将所述拍摄单元拍摄的所述第一张图像和所述至少两张图像,以所述第一张图像为中心采用预制的拼接方案进行拼接,得到全景图像。
10.根据权利要求9所述的终端,其特征在于,所述拍摄单元,还用于在检测到所述终端旋转后,自动拍摄至少两张图像,其中,所述至少两张图像为在所述终端的初始位置的第一方向上和第二方向上拍摄的图像,具体为:
所述拍摄单元,还用于在检测到所述终端向所述终端的初始位置的第一方向旋转时,自动拍摄至少一张图像;在检测到所述终端向所述终端的初始位置的第二方向旋转时,自动拍摄至少一张图像。
11.根据权利要求10所述的终端,其特征在于,所述显示单元显示的所述移动指导信息包括文字指导信息。
12.根据权利要求10所述的终端,其特征在于,所述显示单元显示的所述移动指导信息包括图标指导信息。
13.根据权利要求12所述的终端,其特征在于,所述图标指导信息用于指示用户仅在所述终端的初始位置的所述第一方向上和所述第二方向上拍摄图像。
14.根据权利要求9-13任一项所述的终端,其特征在于,在所述检测单元检测到所述终端旋转后,所述显示单元还用于实时显示所述终端相对于所述初始位置的位置。
15.根据权利要求14所述的终端,其特征在于,所述终端还包括:
启动单元,用于在拍摄所述第一张图像之前,启动所述终端的前置摄像头,在所述显示单元上显示所述前置摄像头采集的预览画面;
所述显示单元,还用于在获取到用户触发的全景拍摄指令后,在所述显示单元的第一区域显示缩小的所述预览画面。
16.根据权利要求15所述的终端,其特征在于,所述终端还包括:
锁定单元,用于在拍摄所述第一张图像后,锁定自动白平衡控制AWB和自动曝光控制AE,以使拍摄的所述至少两张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
17.一种终端,其特征在于,所述终端包括:前置摄像头、显示器、存储器和一个或多个处理器;
所述前置摄像头用于拍摄图像;
所述显示器用于预览拍摄画面和显示用户拍摄的图像;
所述一个或多个处理器用于执行以下步骤:
在获取到用户触发的全景拍摄指令后,指示所述前置摄像头拍摄第一张图像;
根据预置的移动指导策略,确定移动指导信息,并在所述终端上的显示器上显示所述移动指导信息,以便于指示用户根据所述移动指导信息旋转所述终端;
在检测到所述终端旋转后,指示所述前置摄像头自动拍摄至少两张图像,其中,所述至少两张图像为在所述终端的初始位置的第一方向上和第二方向上拍摄的图像,所述终端的初始位置为所述终端拍摄所述第一张图像时所处的位置,所述第一方向为向左方向,所述第二方向为向右方向,或者,所述第一方向为向右方向,所述第二方向为向左方向;
将所述第一张图像和所述至少两张图像,以所述第一张图像为中心采用预制的拼接方案进行拼接,得到全景图像。
18.根据权利要求17所述的终端,其特征在于,在检测到所述终端旋转后,自动拍摄至少两张图像,其中,所述至少两张图像为在所述终端的初始位置的第一方向上和第二方向上拍摄的图像,具体为:
在检测到所述终端向所述终端的初始位置的第一方向旋转时,自动拍摄至少一张图像;
在检测到所述终端向所述终端的初始位置的第二方向旋转时,自动拍摄至少一张图像。
19.根据权利要求18所述的终端,其特征在于,所述显示器上显示的所述移动指导信息包括文字指导信息。
20.根据权利要求18所述的终端,其特征在于,所述显示器上显示的所述移动指导信息包括图标指导信息。
21.根据权利要求20所述的终端,其特征在于,所述图标指导信息用于指示用户仅在所述终端的初始位置的所述第一方向上和所述第二方向上拍摄图像。
22.根据权利要求17-21任一项所述的终端,其特征在于,在所述一个或多个处理器检测到所述终端旋转后,所述显示器还用于实时显示所述终端相对于所述初始位置的位置。
23.根据权利要求22所述的终端,其特征在于,所述一个或多个处理器还用于:
启动所述终端的前置摄像头,指示所述终端的显示器显示所述前置摄像头采集的预览画面;
在获取到用户触发的全景拍摄指令后,指示所述终端的显示器在所述显示器的第一区域显示缩小的所述预览画面。
24.根据权利要求23所述的终端,其特征在于,所述一个或多个处理器还用于:
在拍摄所述第一张图像后,锁定自动白平衡控制AWB和自动曝光控制AE,以使拍摄的所述至少两张图像的拍摄参数与所述第一张图像的拍摄参数保持一致。
CN201610645733.XA 2013-12-13 2013-12-13 一种获取全景图像的方法及终端 Active CN106210539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610645733.XA CN106210539B (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201380073251.6A CN104995558B (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端
CN201610645733.XA CN106210539B (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端
PCT/CN2013/089411 WO2015085589A1 (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380073251.6A Division CN104995558B (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端

Publications (2)

Publication Number Publication Date
CN106210539A CN106210539A (zh) 2016-12-07
CN106210539B true CN106210539B (zh) 2019-07-19

Family

ID=53370537

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380073251.6A Active CN104995558B (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端
CN201610645733.XA Active CN106210539B (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380073251.6A Active CN104995558B (zh) 2013-12-13 2013-12-13 一种获取全景图像的方法及终端

Country Status (9)

Country Link
US (4) US10277804B2 (zh)
EP (2) EP3001247B1 (zh)
JP (1) JP6259095B2 (zh)
KR (3) KR101839569B1 (zh)
CN (2) CN104995558B (zh)
BR (1) BR112016013424B1 (zh)
ES (2) ES2755764T3 (zh)
FI (1) FI3640732T3 (zh)
WO (1) WO2015085589A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3001247B1 (en) 2013-12-13 2019-09-11 Huawei Device Co., Ltd. Method and terminal for acquiring panoramic image
KR102429893B1 (ko) * 2015-07-08 2022-08-05 엘지이노텍 주식회사 차량용 영상 처리 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
KR102650189B1 (ko) * 2016-12-26 2024-03-22 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
CN109891874B (zh) 2017-08-18 2020-12-15 华为技术有限公司 一种全景拍摄方法及装置
CN109587322B (zh) 2017-09-29 2021-07-16 华为终端有限公司 消息处理方法、消息查看方法和终端
WO2019061405A1 (zh) * 2017-09-30 2019-04-04 深圳传音制造有限公司 全景拍摄方法及终端
EP3749180A4 (en) * 2018-02-08 2021-11-24 Gill R. Tsouri OPPORTUNISTIC PLETHYSMOGRAPHY USING VIDEO CAMERAS
JP7051570B2 (ja) 2018-05-09 2022-04-11 キヤノン株式会社 撮像制御装置、撮像制御装置の制御方法およびプログラム
CN110062153A (zh) * 2019-03-18 2019-07-26 北京当红齐天国际文化发展集团有限公司 一种全景拍照无人机系统及全景拍照方法
CN113888739A (zh) * 2019-05-24 2022-01-04 创新先进技术有限公司 图像采集引导方法以及装置
CN110868545B (zh) * 2019-11-26 2021-06-01 维沃移动通信有限公司 全景拍摄方法及装置
CN112887584A (zh) * 2019-11-29 2021-06-01 华为技术有限公司 一种视频拍摄方法与电子设备
CN111432074B (zh) * 2020-04-21 2021-06-29 青岛联合创智科技有限公司 一种辅助手机用户进行图片信息采集的方法
CN112437231B (zh) * 2020-11-24 2023-11-14 维沃移动通信(杭州)有限公司 图像拍摄方法和装置、电子设备及存储介质
CN112995503B (zh) * 2021-02-07 2023-04-07 苏州臻迪智能科技有限公司 手势控制全景图像获取方法、装置、电子设备及存储介质
CN114040179B (zh) * 2021-10-20 2023-06-06 重庆紫光华山智安科技有限公司 一种图像的处理方法及装置
CN114449172A (zh) * 2022-02-14 2022-05-06 维沃移动通信有限公司 拍摄方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045501A (zh) * 2009-10-09 2011-05-04 索尼公司 图像处理装置和方法以及程序
CN102111545A (zh) * 2009-12-28 2011-06-29 索尼公司 图像处理设备、图像处理方法以及程序
EP2563009A1 (en) * 2011-08-24 2013-02-27 HTC Corporation Method and electric device for taking panoramic photograph

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118797A (ja) 1997-06-18 1999-01-12 Olympus Optical Co Ltd 電子的撮像装置
JPH11196311A (ja) 1998-01-05 1999-07-21 Fuji Photo Film Co Ltd 分割撮影機能付きカメラ
JP3804313B2 (ja) * 1998-12-03 2006-08-02 カシオ計算機株式会社 パノラマ撮影方法および撮像装置
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
JP2001054008A (ja) 1999-06-04 2001-02-23 Canon Inc 画像処理装置、画像処理装置の制御方法、及びコンピュータ読み取り可能な記憶媒体
JP2001036898A (ja) * 1999-07-22 2001-02-09 Hitachi Ltd パノラマ映像生成用カメラシステム
JP4285889B2 (ja) * 2000-06-30 2009-06-24 株式会社リコー 撮像装置
US7746404B2 (en) 2003-11-10 2010-06-29 Hewlett-Packard Development Company, L.P. Digital camera with panoramic image capture
KR100585756B1 (ko) * 2003-12-30 2006-06-07 엘지전자 주식회사 휴대용 단말기의 촬영장치
CN101248410A (zh) 2005-08-22 2008-08-20 三星电子株式会社 用于识别运动模式的设备和方法
US20090220173A1 (en) 2005-10-12 2009-09-03 Active Optics Pty Limited Image processing method and system
KR100827089B1 (ko) * 2006-04-25 2008-05-02 삼성전자주식회사 파노라마 사진 촬영 방법
JP2007318648A (ja) * 2006-05-29 2007-12-06 Fujifilm Corp パノラマ写真撮影装置
KR100725053B1 (ko) 2006-06-22 2007-06-08 삼성전자주식회사 휴대용 단말기의 파노라마 촬영 장치 및 방법
SE532236C2 (sv) 2006-07-19 2009-11-17 Scalado Ab Metod i samband med tagning av digitala bilder
KR100800804B1 (ko) 2006-12-27 2008-02-04 삼성전자주식회사 파노라마 영상 촬영 방법
KR100869952B1 (ko) 2007-02-14 2008-11-24 삼성전자주식회사 파노라마 사진 촬영 방법 및 장치
US8068693B2 (en) * 2007-07-18 2011-11-29 Samsung Electronics Co., Ltd. Method for constructing a composite image
JP4772009B2 (ja) 2007-08-07 2011-09-14 三洋電機株式会社 ディジタルカメラ
JP4922106B2 (ja) * 2007-08-30 2012-04-25 オリンパスイメージング株式会社 カメラ及びこれに適用されるパノラマ撮影ガイド表示方法,パノラマ撮影ガイド表示プログラム
KR101409653B1 (ko) * 2007-12-18 2014-06-19 삼성전자주식회사 파노라마 사진 자동 촬영 방법
US7880807B2 (en) * 2007-12-26 2011-02-01 Sony Ericsson Mobile Communications Ab Camera system with mirror arrangement for generating self-portrait panoramic pictures
JP2009232275A (ja) * 2008-03-24 2009-10-08 Olympus Imaging Corp 撮像装置
US8913176B2 (en) * 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
KR101496467B1 (ko) * 2008-09-12 2015-02-26 엘지전자 주식회사 파노라마 촬영 기능이 구비된 이동 단말기 및 그의 동작방법
JP4735693B2 (ja) * 2008-09-22 2011-07-27 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8355755B2 (en) * 2009-03-03 2013-01-15 Lg Electronics Inc. Mobile terminal
US20100265313A1 (en) * 2009-04-17 2010-10-21 Sony Corporation In-camera generation of high quality composite panoramic images
KR101630287B1 (ko) 2009-11-19 2016-06-14 삼성전자주식회사 손 떨림 보정 모듈을 구비하는 디지털 촬영 장치 및 이의 제어 방법
US20120256959A1 (en) * 2009-12-30 2012-10-11 Cywee Group Limited Method of controlling mobile device with touch-sensitive display and motion sensor, and mobile device
JP2011155361A (ja) * 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
JP5163676B2 (ja) 2010-03-19 2013-03-13 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN102209097A (zh) 2010-03-31 2011-10-05 英业达股份有限公司 储存局域网络的储存资源的调配系统
CN101872113B (zh) * 2010-06-07 2014-03-19 中兴通讯股份有限公司 一种全景照片的拍摄方法及设备
WO2011162227A1 (ja) 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
JPWO2012002046A1 (ja) 2010-06-30 2013-08-22 富士フイルム株式会社 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法
JP2012099917A (ja) 2010-10-29 2012-05-24 Sanyo Electric Co Ltd 撮像装置
JP5652142B2 (ja) 2010-11-11 2015-01-14 ソニー株式会社 撮像装置、表示制御方法およびプログラム
JP5853359B2 (ja) 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
JP5907660B2 (ja) * 2011-02-28 2016-04-26 オリンパス株式会社 撮像装置
JP5665013B2 (ja) * 2011-04-06 2015-02-04 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US20120293607A1 (en) 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
EP2726937B1 (en) 2011-06-30 2019-01-23 Nokia Technologies Oy Method, apparatus and computer program product for generating panorama images
JP2013034081A (ja) * 2011-08-02 2013-02-14 Sony Corp 画像処理装置、その制御方法およびプログラム
JP2013034158A (ja) * 2011-08-03 2013-02-14 Nikon Corp 撮像装置
CN102420898A (zh) 2011-09-27 2012-04-18 惠州Tcl移动通信有限公司 一种基于手机的全景照相实现方法及手机
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
WO2013069050A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5659304B2 (ja) 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US10284776B2 (en) * 2011-11-07 2019-05-07 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
US9894272B2 (en) * 2011-11-07 2018-02-13 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
CN104145474A (zh) 2011-12-07 2014-11-12 英特尔公司 引导式图像拍摄
US20130163854A1 (en) 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US20130258122A1 (en) 2012-03-27 2013-10-03 Research In Motion Limited Method and device for motion enhanced image capture
CN102645837B (zh) 2012-04-09 2015-02-11 广东步步高电子工业有限公司 一种应用于安装有前、后摄像头的移动手持设备的全景图像拍摄和处理方法
CN102645836A (zh) * 2012-04-20 2012-08-22 中兴通讯股份有限公司 一种照片拍摄方法及电子设备
KR102021050B1 (ko) * 2012-06-06 2019-09-11 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
KR20140112825A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 전자 장치의 전자 결제 방법 및 장치
CN103200365B (zh) 2013-03-29 2016-08-03 东莞宇龙通信科技有限公司 一种使用移动终端进行全景拍摄的方法及移动终端
KR102100667B1 (ko) * 2013-04-30 2020-04-14 삼성전자주식회사 휴대 단말기에서 이미지 데이터를 생성하는 장치 및 방법
KR102067620B1 (ko) * 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
JP2014230051A (ja) * 2013-05-22 2014-12-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102089432B1 (ko) * 2013-06-20 2020-04-14 엘지전자 주식회사 이동 단말기 및 이의 제어방법
EP3001247B1 (en) 2013-12-13 2019-09-11 Huawei Device Co., Ltd. Method and terminal for acquiring panoramic image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045501A (zh) * 2009-10-09 2011-05-04 索尼公司 图像处理装置和方法以及程序
CN102111545A (zh) * 2009-12-28 2011-06-29 索尼公司 图像处理设备、图像处理方法以及程序
EP2563009A1 (en) * 2011-08-24 2013-02-27 HTC Corporation Method and electric device for taking panoramic photograph

Also Published As

Publication number Publication date
KR20160021238A (ko) 2016-02-24
FI3640732T3 (fi) 2024-01-16
BR122016017488A2 (pt) 2019-08-27
CN104995558B (zh) 2016-12-28
KR20180029112A (ko) 2018-03-19
JP2016536895A (ja) 2016-11-24
US10771686B2 (en) 2020-09-08
EP3001247A4 (en) 2016-06-22
JP6259095B2 (ja) 2018-01-10
KR101839569B1 (ko) 2018-03-16
KR101725533B1 (ko) 2017-04-26
EP3640732B1 (en) 2023-10-18
CN106210539A (zh) 2016-12-07
KR20170040385A (ko) 2017-04-12
BR112016013424A2 (pt) 2017-03-21
ES2755764T3 (es) 2020-04-23
EP3640732A1 (en) 2020-04-22
US20190238747A1 (en) 2019-08-01
KR101946437B1 (ko) 2019-02-11
CN104995558A (zh) 2015-10-21
US11846877B2 (en) 2023-12-19
US20210058550A1 (en) 2021-02-25
US10277804B2 (en) 2019-04-30
EP3001247B1 (en) 2019-09-11
ES2968868T3 (es) 2024-05-14
BR112016013424B1 (pt) 2021-01-26
US11336820B2 (en) 2022-05-17
US20160112632A1 (en) 2016-04-21
US20220321775A1 (en) 2022-10-06
EP3001247A1 (en) 2016-03-30
WO2015085589A1 (zh) 2015-06-18

Similar Documents

Publication Publication Date Title
CN106210539B (zh) 一种获取全景图像的方法及终端
US11330194B2 (en) Photographing using night shot mode processing and user interface
CN108848308B (zh) 一种拍摄方法及移动终端
CN109040643A (zh) 移动终端及远程合影的方法、装置
CN108924412A (zh) 一种拍摄方法及终端设备
CN108174103A (zh) 一种拍摄提示方法及移动终端
CN108833709A (zh) 一种摄像头的启动方法和移动终端
CN109523253A (zh) 一种支付方法和装置
CN109358913A (zh) 一种应用程序的启动方法及终端设备
CN108810409A (zh) 一种拍照指引方法、终端设备及计算机可读介质
JP6653310B2 (ja) パノラマ画像を取得する方法及び端末
CN109298824A (zh) 一种应用程序的启动方法及终端设备
CN108989670A (zh) 移动终端和引导用户拍照的方法、装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171122

Address after: Metro Songshan Lake high tech Industrial Development Zone, Guangdong Province, Dongguan City Road 523808 No. 2 South Factory (1) project B2 -5 production workshop

Applicant after: HUAWEI terminal (Dongguan) Co., Ltd.

Address before: 518129 Longgang District, Guangdong, Bantian HUAWEI base B District, building 2, building No.

Applicant before: Huawei Device Co., Ltd.

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1232044

Country of ref document: HK

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant after: Huawei Device Co., Ltd.

Address before: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Applicant before: HUAWEI terminal (Dongguan) Co., Ltd.

GR01 Patent grant
GR01 Patent grant