CN113286064A - 环视图像采集方法、装置、移动终端及存储介质 - Google Patents

环视图像采集方法、装置、移动终端及存储介质 Download PDF

Info

Publication number
CN113286064A
CN113286064A CN202110485503.2A CN202110485503A CN113286064A CN 113286064 A CN113286064 A CN 113286064A CN 202110485503 A CN202110485503 A CN 202110485503A CN 113286064 A CN113286064 A CN 113286064A
Authority
CN
China
Prior art keywords
image
images
mobile terminal
angle
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110485503.2A
Other languages
English (en)
Other versions
CN113286064B (zh
Inventor
段瑾
郑勇
戴志涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Waterward Information Co Ltd
Original Assignee
Shenzhen Waterward Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Waterward Information Co Ltd filed Critical Shenzhen Waterward Information Co Ltd
Priority to CN202110485503.2A priority Critical patent/CN113286064B/zh
Publication of CN113286064A publication Critical patent/CN113286064A/zh
Application granted granted Critical
Publication of CN113286064B publication Critical patent/CN113286064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本申请公开了一种基于移动终端的环视图像采集方法，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述基于移动终端的环视图像采集方法包括：接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像；对多个所述图像进行图像拼接处理，得到所述环视图像。本申请还公开了一种基于移动终端的环视图像采集装置、移动终端以及计算机可读存储介质。本申请实现对移动终端的视场角进行扩展，使得移动终端可采集得到环视图像。

Description

环视图像采集方法、装置、移动终端及存储介质
技术领域
本申请涉及移动终端技术领域，尤其涉及一种基于移动终端的环视图像采集方法、基于移动终端的环视图像采集装置、移动终端以及计算机可读存储介质。
背景技术
随着智能移动终端领域技术的不断发展，图像拍摄功能日益成为移动终端重要功能之一，而为了使得移动终端具备更宽广的视场角来增强图像拍摄效果，目前一般是移动终端的后背侧增多个摄像头，在此基础上拍摄多张图像进行合成。但这样的方案最多只能在局部方位上扩大图像拍摄的广角视野，难以利用移动终端采集得到环视图像。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种基于移动终端的环视图像采集方法、基于移动终端的环视图像采集装置、移动终端以及计算机可读存储介质，旨在解决如何实现移动终端的视场角扩展，以使移动终端可采集得到环视图像的问题。
为实现上述目的，本申请提供一种基于移动终端的环视图像采集方法，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述基于移动终端的环视图像采集方法包括：
接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像；
对多个所述图像进行图像拼接处理，得到所述环视图像。
进一步地，所述移动终端还包括角度传感器，所述角度传感器用于测量两个所述显示装置之间的夹角的角度；所述接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像的步骤之后，还包括：
检测在接收到所述采集指令之后的第一预设时长之内，所述夹角的角度是否发生变动；
若是，将所述夹角处于各个角度时每个所述摄像头拍摄的图像，分别与各个角度对应的夹角关联；
所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤包括：
分别对每个所述夹角关联的多个所述图像进行图像拼接处理，得到每个所述夹角对应的第一图像；
根据所有所述第一图像生成所述环视图像。
进一步地，所述根据所有所述第一图像生成所述环视图像的步骤包括：
根据所有所述夹角的角度，对所有所述夹角对应的第一图像进行排序，得到排列顺序；
从所述排列顺序中排列第一的所述第一图像开始，每隔两个所述第一图像则进行一次图像拼接处理，以得到至少一个第二图像；
检测所述第二图像的数量是否等于一；
若否，则每隔两个所述第二图像进行一次图像拼接处理，以得到至少一个新的第二图像，并基于所述新的第二图像，返回执行所述检测所述第二图像的数量是否等于一的步骤；
若是，则将所述第二图像作为所述环视图像。
进一步地，所述根据所有所述第一图像生成所述环视图像的步骤包括：
根据所有所述夹角的角度，对所有所述夹角对应的第一图像进行排序，得到排列顺序；
根据所述排列顺序依次获取所述第一图像进行图像拼接处理，并将处理后得到的第二图像与下一次获取到的所述第一图像进行图像拼接处理，直至所有所述第一图像获取完毕；
检测到所有所述第一图像获取完毕时，将最后拼接得到的第二图像作为所述环视图像。
进一步地，所述拍摄每个所述摄像头对应的图像采集区域内的图像的步骤包括：
检测所述夹角的角度是否小于或等于预设角度；
若否，拍摄每个所述摄像头对应的图像采集区域内的图像；
若是，将视场角未被遮挡的摄像头作为目标摄像头，并拍摄每个所述目标摄像头对应的图像采集区域内的图像。
进一步地，每个所述显示装置包括至少两对背向设置的摄像头；每对所述摄像头对应的焦距不同；所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤包括：
对同一焦距的摄像头拍摄得到多个所述图像进行图像拼接处理，得到第三图像；
对所有所述第三图像进行图像合成处理，得到所述环视图像。
进一步地，所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤之后，还包括：
根据在第二预设时长内采集得到的多个所述环视图像，生成全景视频。
为实现上述目的，本申请还提供一种基于移动终端的环视图像采集装置，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述基于移动终端的环视图像采集装置包括：
拍摄模块，用于接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像；
处理模块，用于对多个所述图像进行图像拼接处理，得到所述环视图像。
为实现上述目的，本申请还提供一种移动终端，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述移动终端还包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于移动终端的环视图像采集程序，所述基于移动终端的环视图像采集程序被所述处理器执行时实现如上述基于移动终端的环视图像采集方法的步骤。
为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于移动终端的环视图像采集程序，所述基于移动终端的环视图像采集程序被处理器执行时实现如上述基于移动终端的环视图像采集方法的步骤。
本申请提供的基于移动终端的环视图像采集方法、基于移动终端的环视图像采集装置、移动终端以及计算机可读存储介质，通过在具有折叠屏的移动终端的不同位置上，分布式环绕设置多个摄像头，使得摄像头因几何位置不同而形成多角度视差，从而使得移动终端的视场角得到尽可能多的扩展，这样在此基础上对多个摄像头拍摄得到的图像进行图像拼接处理，即可使得移动终端可以采集得到视野范围广的环视图像。
附图说明
图1为本申请一实施例中基于移动终端的环视图像采集方法步骤示意图；
图2为本申请一实施例中基于移动终端的环视图像采集方法另一步骤示意图；
图3为本申请一实施例中基于移动终端的环视图像采集装置示意框图；
图4为本申请一实施例的移动终端的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”“上述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件、单元、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、单元、模块、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
在一实施例中，所述移动终端包括可折叠的双显示装置，两个显示装置之间基于铰链结构实现折叠，双显示装置可分为双屏结构或共用同一柔性折叠屏。
进一步地，移动终端的每个显示装置均包括至少一对背向设置的摄像头(即移动终端包括至少四个摄像头)，即背向设置的两个摄像头相互间的拍摄方向相反，且同一对摄像头其设置位置对称。
可选的，当移动终端平展打开，使两个显示装置相互平行时(此时两者之间的夹角为180°)，则设置在显示装置的屏幕一侧的摄像头可记为显示装置的第一前置摄像头，而设置在显示装置的屏幕背侧的摄像头可记为显示装置的第一后置摄像头。
可选的，当移动终端的双显示装置折叠合拢后(此时两者之间的夹角为0°)，两个显示装置相互贴近的一侧则为内侧，内侧的背侧则为外侧，此时两个显示装置外侧上的摄像头可分别作为移动终端的第二前置摄像头和第二后置摄像头，且若双显示装置分为主显示装置和辅显示装置时，则主显示装置外侧的摄像头可为第二前置摄像头，辅显示装置外侧的摄像头可为第二后置摄像头。
应当理解的是，当移动终端的双显示装置由折叠合拢状态逐渐朝外侧打开时，则两者之间的夹角逐渐增大；相反，当移动终端的双显示装置由平展打开状态逐渐朝内翻折时，则两者之间的夹角逐渐减小。
可选的，当显示装置之间的夹角处于(90°，180°]之间时，则移动终端的前置摄像头的视场角等于所有第一前置摄像头的视场角的交集，而移动终端的后置摄像头的视场角等于所有第一后置摄像头的视场角的交集；当显示装置之间的夹角处于(0°，90°]之间时，则移动终端的前置摄像头的视场角等于任一显示装置的第一前置摄像头与另一显示装置的第一后置摄像头的视场角的交集，而移动终端的后置摄像头的视场角等于任一显示装置的第一后置摄像头与另一显示装置的第一前置摄像头的视场角；当显示装置之间的夹角为0°时，则移动终端的前置摄像头的视场角等于第二前置摄像头的视场角，而移动终端的后置摄像头的视场角等于第二后置摄像头的视场角。
因此，无论何时，移动终端的总的视场角都可以大于或等于两个摄像头的视场角之和。
需要说明的是，视场角在光学工程中又称视场，视场角的大小决定了光学仪器的视野范围。其中，单个摄像头的视场角计算公式如下：
水平视场角：HFOV＝2arctan(w/f)；
垂直视场角：VFOV＝2arctan(h/f)；
对角视场角：DFOV＝2arctan(d/f)；
其中，f为摄像头焦距，w为摄像头视野宽度，h为摄像头视野高度，d为摄像头视野对角尺寸(即d2＝w2+h2)。
可选的，参照图1，在一实施例中，所述基于移动终端的环视图像采集方法包括：
步骤S10、接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像；
步骤S20、对多个所述图像进行图像拼接处理，得到所述环视图像。
本实施例中，实施例终端可以是移动终端，也可以是一种基于移动终端的环视图像采集装置。
如步骤S10所述：当终端接收到环视图像的采集指令时，则启动移动终端上的多个摄像头，并控制每个摄像头拍摄每个摄像头对应的图像采集区域内的图像(可记为初始图像)。应当理解的是，每个摄像头对应的图像采集区域的范围，由每个摄像头的视场角决定。
可选的，所述移动终端还包括角度传感器，所述角度传感器用于测量两个所述显示装置之间的夹角的角度；其中，所述角度传感器可以是SensorEvent(一种可检测合页角度的传感器)。
可选的，当终端利用多个摄像头拍摄初始图像的过程中，若通过角度传感器检测得到两个显示装置之间的夹角角度为0°时，判定移动终端的两个显示装置处于折叠且完全贴合的状态，则此时可以不用控制两个显示装置内侧的摄像头拍摄初始图像，只需控制两个显示装置外侧的摄像头拍摄初始图像；若终端检测到两个显示装置之间的夹角角度大于0°时，则可以利用所有的摄像头拍摄初始图像。
因此，当终端接收到采集指令时，可以利用至少两个摄像头拍摄初始图像。
如步骤S20所述：移动终端每个负责采集初始图像的摄像头均可拍摄得到至少一个初始图像。
可选的，终端获取同一时间拍摄得到的多个初始图像，然后对获取到的初始图像进行图像拼接处理。
可选的，在终端进行图像拼接处理的过程中，首先对待处理图像(此处即为初始图像)进行图像特征点提取与匹配，具体采用尺度空间极值检测法，识别图像相位、图像特征点的位置信息等，即可得到图像各特征区域及其在图中的位置信息；然后终端在此基础上再进行图像校准，以识别不同待处理图像之间的重叠区域(或称重复区域，即同一图像区域出现在至少两张待处理图像中)和区域位置，图像校准的方式可以是采用图像匹配法、对位像素的相似性检测法等。
进一步地，若终端识别得到不同待处理图像之间存在重叠区域，则在对待处理图像进行图像融合时，根据重叠区域在各待处理图像中的区域位置，只在其中一个待处理图像中保留这一重叠区域对应的图像区域，而将这一图像区域从其他待处理图像中裁剪掉。然后，终端再基于裁剪完毕的待处理图像进行图像拼接，以将所有待处理图像拼接到同一个图像中；若终端识别得到不同待处理图像之间不存在重叠区域，则可以是直接将所有待处理图像进行图像拼接，以将所有待处理图像拼接到同一个图像中；这样，最终得到的图像即为环视图像(或称全景图像)。需要说明的是，环视图像通过广角的表现手段以及绘画、相片、视频、三维模型等形式，可以尽可能多表现出周围的环境。
应当理解的是，其中图像拼接的顺序可根据拍摄各待处理图像的摄像头之间的相对位置关系决定。例如，当移动终端平展打开，两个显示装置平行时，甲摄像头设置在乙摄像头背向一侧(即两者拍摄方向相反)，而乙摄像头与丙摄像头拍摄方向相同，但分属于不同显示装置，且丙摄像头位于乙摄像头左侧，因此，在对甲、乙、丙摄像头拍摄得到的初始图像进行图像拼接时，乙摄像头对应的第一初始图像应该位于中间，甲摄像头对应的第二初始图像拼接在第一初始图像的右侧，丙摄像头对应的第三初始图像拼接在第一初始图像的左侧。
可选的，在移动终端采集初始图像的过程中，当两个显示装置之间的夹角小于一定角度时，则显示装置的机身一侧就会进入到另一显示装置的其中一个摄像头对应的图像拍摄区域中。其中，根据平面几何关系，该一定角度应为
Figure BDA0003050503900000081
(HFOV为摄像头的水平视场角)，记为第一角度。
因此，在终端对待处理图像进行图像拼接前，当检测到待处理图像是在两个显示装置之间的夹角小于第一角度时拍摄得到的，则利用图像识别技术识别待处理图像中的显示装置图像区域，并将待处理图像中的显示装置图像区域裁剪掉，然后再将裁剪完毕的待处理图像进行图像拼接，以将所有待处理图像拼接到同一个图像中，并将最终得到的图像作为环视图像。
在一实施例中，通过在具有折叠屏的移动终端的不同位置上，分布式环绕设置多个摄像头，使得摄像头因几何位置不同而形成多角度视差，从而使得移动终端的视场角得到尽可能多的扩展，这样在此基础上对多个摄像头拍摄得到的图像进行图像拼接处理，即可使得移动终端可以采集得到视野范围广的环视图像。
在一实施例中，参照图2，在上述图1所示的实施例基础上，所述移动终端还包括角度传感器，所述角度传感器用于测量两个所述显示装置之间的夹角的角度；所述接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像的步骤之后，还包括：
步骤S30、检测在接收到所述采集指令之后的第一预设时长之内，所述夹角的角度是否发生变动；
步骤S31、若是，将所述夹角处于各个角度时每个所述摄像头拍摄的图像，分别与各个角度对应的夹角关联；
所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤包括：
步骤S40、分别对每个所述夹角关联的多个所述图像进行图像拼接处理，得到每个所述夹角对应的第一图像；
步骤S41、根据所有所述第一图像生成所述环视图像。
本实施例中，所述移动终端还包括角度传感器，所述角度传感器用于测量两个所述显示装置之间的夹角的角度；其中，所述角度传感器可以是SensorEvent。
可选的，当终端接收到所述采集指令之后的第一预设时长之内，在终端利用多个摄像头拍摄初始图像的过程中，还可以同时通过角度传感器实时检测两个显示装置之间的夹角的角度是否发生变动。其中，所述第一预设时长即为采集指令的执行时长，可以根据实际情况需要设置，如设置为20秒、30秒、一分钟等；在第一预设时长中，每个运作的摄像头至少采集一个初始图像。
应当理解的是，在终端执行采集指令的过程中，若用户操作移动终端的两个显示装置折叠翻转，即可改变两者之间的夹角(记为显示装置夹角)的角度。
可选的，当终端检测到显示装置夹角的角度在第一预设时长之内未发生变动时(即显示装置夹角的角度在终端执行采集指令的过程中未发生变动时)，则终端直接将采集到的所有初始图像进行图像拼接处理，生成环视图像；此时得到的环视图像为静态的环视图像，相当于一视野范围较广的广角图像，但一般不支持调整图中物像的观测角度。
可选的，当终端检测到显示装置夹角的角度在第一预设时长之内有发生变动时(即在第一预设时长之内，显示装置夹角至少存在两个不同的角度)，则将显示装置夹角处于各个角度时，移动终端上每个摄像头拍摄得到的初始图像，分别与各个角度对应的显示装置夹角关联。且显示装置夹角处于每一个角度时，每个运作的摄像头至少采集一个初始图像，且当时采集得到的初始图像要与当时角度对应的显示装置夹角关联。
例如，在终端执行采集指令的过程中，显示装置夹角从180°变化至160°，则终端可以为其中每1°角度的变化采集相应的初始图像。当然，终端也可以说是每隔一预设角度则采集一轮初始图像。如第一预设角度取值10°，则终端在显示装置夹角处于180°、170°和160°时，均分别采集一轮初始图像，且每一轮初始图像的采集中，每个运作的摄像头至少采集一个初始图像。
这样一来，不同角度对应的显示装置夹角即可具有其关联的多个初始图像。
进一步地，终端在执行步骤S20时，可以是分别对每个不同角度的显示装置夹角关联的多个初始图像进行图像拼接处理，得到每个不同角度的显示装置夹角对应的第一图像；此时的第一图像即为静态的环视图像。
可选的，终端在分别生成每个不同角度的显示装置夹角对应的第一图像时，即可得到多个第一图像。然后终端在基于多个第一图像进行图像拼接处理，从而将多个第一图像合成为一个环视图像。此时得到的环视图像即为动态的环视图像，属于三维视差图，可支持调整图中物像的观测角度。
应当理解的是，由于终端在执行采集指令的过程中，显示装置夹角发生了变动，随之使得同一摄像头可以具有多个拍摄角度，这样每一摄像头对其图像采集区域内的物像就相当于有了一个多方位的动态拍摄过程(即便同一摄像头所拍摄的图像也可呈现出视差效果)，因此在多个第一图像的基础上合成环视图像时，即可得到动态的环视图像。
而且在终端执行采集指令的过程中，显示装置夹角变化的幅度越大，采集初始图像的轮次越多，则在最终合成的环视图像中，图中物像的观测角度的可调整幅度越大。
这样，实现生成动态的环视图像，使环视图像中的物像的观测角度具备可调整性，使得用户可以观看得到环视图像中更为立体的物像，增加了用户观看环视图像的趣味性。
在一实施例中，在上述实施例基础上，所述根据所有所述第一图像生成所述环视图像的步骤包括：
步骤S50、根据所有所述夹角的角度，对所有所述夹角对应的第一图像进行排序，得到排列顺序；
步骤S51、从所述排列顺序中排列第一的所述第一图像开始，每隔两个所述第一图像则进行一次图像拼接处理，以得到至少一个第二图像；
步骤S52、检测所述第二图像的数量是否等于一；
步骤S53、若否，则每隔两个所述第二图像进行一次图像拼接处理，以得到至少一个新的第二图像，并基于所述新的第二图像，返回执行所述检测所述第二图像的数量是否等于一的步骤；
步骤S54、若是，则将所述第二图像作为所述环视图像。
本实施例中，终端在得到多个第一图像时，可以是根据每个第一图像对应的显示装置夹角的角度，对所有不同角度的显示装置夹角对应的第一图像进行排序，得到排列顺序。其中，可以是第一图像对应的显示装置夹角的角度越大，则该第一图像排序越前；或者，第一图像对应的显示装置夹角的角度越小，则该第一图像排序越前。
可选的，基于第一图像的排列顺序，终端从所述排列顺序中排列第一的所述第一图像开始，每隔两个所述第一图像则进行一次图像拼接处理，得到至少一个第二图像，且用于生成同一个第二图像的两个第一图像之间彼此相邻。即将排列第一和排列第二的第一图像进行图像拼接处理，将排列第三和排列第四的第一图像进行图像拼接处理，以此类推。这样，对N个第一图像，即可得到N/2个第二图像。
应当理解的是，每两个相邻的第一图像进行一次图像拼接处理时，都会相应生成一个第二图像。
可选的，当终端得到至少一个第二图像时，则检测第二图像的数量是否等于一。
可选的，当终端检测到第二图像的当前数量不等于一时(即当前数量大于一时)，则基于用于合成第二图像的第一图像的排序，对第二图像重新进行排序，这样，原先排序越前的第一图像所合成的第二图像，其排序越前。
进一步地，终端基于第二图像的排序顺序，从排列第一的第二图像开始，每隔两个所述第二图像进行一次图像拼接处理，以得到至少一个新的第二图像。这样，对于N/2个第二图像，即可得到N/4个新的第二图像。
进一步地，终端将新的第二图像的数量更新为第二图像的当前数量，并基于新的第二图像，返回执行步骤S52(即所述检测所述第二图像的数量是否等于一的步骤)，直至第二图像的数量减少至一个。
这样一来，相当于将相邻两个角度的第一图像拼接为一个合成图像(即第二图像)，然后又将合成图像两两拼接，如此循环，直至最终得到一个合成图像。
可选的，当终端检测到第二图像的当前数量等于一时，则将最终得到的唯一一个第二图像作为环视图像。
这样，实现基于多个静态的环视图像合成为一个动态的环视图像，使环视图像中的物像的观测角度具备可调整性，使得用户可以观看得到环视图像中更为立体的物像，增加了用户观看环视图像时的趣味性。
在一实施例中，在上述实施例基础上，所述根据所有所述第一图像生成所述环视图像的步骤包括：
步骤S60、根据所有所述夹角的角度，对所有所述夹角对应的第一图像进行排序，得到排列顺序；
步骤S61、根据所述排列顺序依次获取所述第一图像进行图像拼接处理，并将处理后得到的第二图像与下一次获取到的所述第一图像进行图像拼接处理，直至所有所述第一图像获取完毕；
步骤S62、检测到所有所述第一图像获取完毕时，将最后拼接得到的第二图像作为所述环视图像。
本实施例中，终端在得到多个第一图像时，可以是根据每个第一图像对应的显示装置夹角的角度，对所有不同角度的显示装置夹角对应的第一图像进行排序，得到排列顺序。其中，可以是第一图像对应的显示装置夹角的角度越大，则该第一图像排序越前。
可选的，基于第一图像的排列顺序，终端从所述排列顺序中排列第一的所述第一图像开始，依次获取所述第一图像进行图像拼接处理(第一次获取排列第一和排列第二的第一图像进行图像拼接处理)，并将处理后得到的第二图像与下一次获取到的所述第一图像进行图像拼接处理(在第一次之后每次只需获取一个第一图像即可与之前得到的第二图像进行图像拼接处理即可)，得到新的第二图像，然后再获取下一个第一图像与第二图像进行图像拼接处理，直至所有所述第一图像获取并拼接完毕。
这样，对于N个第一图像，只需进行N-1次的图像获取和拼接处理，最终即可得到唯一一个新的第二图像。
可选的，当终端检测到所有的第一图像均获取并拼接完毕时，则将最终得到第二图像作为环视图像，从而最终合成得到动态的环视图像。
这样，实现基于多个静态的环视图像合成为一个动态的环视图像，使环视图像中的物像的观测角度具备可调整性，使得用户可以观看得到环视图像中更为立体的物像，增加了用户观看环视图像时的趣味性。
在一实施例中，在上述实施例基础上，所述拍摄每个所述摄像头对应的图像采集区域内的图像的步骤包括：
步骤S70、检测所述夹角的角度是否小于或等于预设角度；
步骤S71、若否，拍摄每个所述摄像头对应的图像采集区域内的图像；
步骤S72、若是，将视场角未被遮挡的摄像头作为目标摄像头，并拍摄每个所述目标摄像头对应的图像采集区域内的图像。
本实施例中，所述移动终端还包括角度传感器，所述角度传感器用于测量两个所述显示装置之间的夹角的角度；其中，所述角度传感器可以是合页角度传感器(SensorEvent)。
可选的，当终端利用多个摄像头拍摄初始图像的过程中，还可以同时通过角度传感器实时检测两个显示装置之间的夹角的角度。
可选的，当终端检测得到显示装置夹角的角度时，则进一步检测该角度是否小于或等于预设角度(记为第二预设角度)。其中，所述第二预设角度的取值范围可为0°～10°。
可选的，当终端检测到显示装置夹角的角度大于第二预设角度时，则判定两个显示装置内侧的摄像头的视场角未被完全遮挡，则此时终端可以利用所有的摄像头执行所述拍摄每个所述摄像头对应的图像采集区域内的图像的步骤；
可选的，当终端检测到显示装置夹角的角度小于或等于第二预设角度时，则判定移动终端的两个显示装置处于折叠且完全贴合或将近贴合的状态，因此终端进一步判定两个显示装置内侧的摄像头的视场角已被遮挡，并将视场角未被遮挡的两个显示装置外侧的摄像头作为目标摄像头。
进一步地，终端在确定得到目标摄像头后，则基于目标摄像头执行所述拍摄每个所述摄像头对应的图像采集区域内的图像的步骤。
这样，通过只采用视场角未被遮挡(或未被完全遮挡)的摄像头采集初始图像，这样基于初始图像合成环视图像的过程中，可以有效减少裁剪无效图像的算法步骤，进而提高环视图像的生成效率，并达到节约数据处理资源的目的。
在一实施例中，在上述实施例基础上，每个所述显示装置包括至少两对背向设置的摄像头；每对所述摄像头对应的焦距不同；所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤包括：
步骤S80、对同一焦距的摄像头拍摄得到多个所述图像进行图像拼接处理，得到第三图像；
步骤S81、对所有所述第三图像进行图像合成处理，得到所述环视图像。
本实施例中，移动终端的每个显示装置均包括至少两对背向设置的摄像头(即每个显示装置包括至少四个摄像头)，即背向设置的两个摄像头相互间的拍摄方向相反，且同一对摄像头其设置位置对称，每一对摄像头为同一摄像组。
可选的，对于同一显示装置上的不同摄像组中的摄像头，设置有不同的焦距。而对于任一显示装置上的摄像组，在另一显示装置上必有与该摄像组对应的焦距相同的摄像组。
可选的，当终端执行采集指令时，即可基于不同焦距的摄像组拍摄得到的多个初始图像中，同一物像其大小不同(即同一物像远近不一)。
可选的，当终端基于多个初始图像进行图像拼接处理时，分别对于同一焦距的摄像头拍摄得到多个初始图像进行图像拼接处理，得到第三图像，这样就得到至少两种类型不同(即图中物像距离远近不同)的第三图像。
可选的，若终端在采集初始图像的过程中显示装置夹角未发生变动，则得到的第三图像的数量与同一显示装置上的摄像组数量相等(即得到至少两个对应焦距不同的第三图像)，然后终端直接将所有第三图像进行图像合成处理，得到静态的环视图像，且在该静态的环视图像虽不能调整图中物像的观测角度，但可以调整图中物像的远近。
可选的，若终端在采集初始图像的过程中显示装置夹角有发生变动，则终端在得到不同焦距对应的多个第三图像(或称第一图像)后，先针对同一焦距的多个第三图像进行图像拼接处理，得到第四图像(或称第二图像)，然后再将不同焦距对应的第四图像进行图像合成处理，得到动态的环视图像，且此时得到的环视图像不仅可以支持调整图中物像的观测角度，还可以调整图中物像的远近。
应当理解的是，不同焦距的摄像组设置越多，则得到的环视图像中物像远近的可调节程度越大。
这样，通过采用不同焦距的摄像组采集初始图像，使得基于此合成得到的环视图像可支持调节图中物像的，进一步增加了用户观看环视图像时的趣味性。
在一实施例中，在上述实施例基础上，所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤之后，还包括：
步骤S90、根据在第二预设时长内采集得到的多个所述环视图像，生成全景视频。
本实施例中，所述第二预设时长表征为环视图像的采集时长，且第二预设时长大于或等于第一预设时长。
可选的，当终端在第二预设时长内采集得到多个环视图像时，则根据环视图像对应的采集时间点(或生成时间点)，对环视图像进行排序，且采集时间点越早，则排序越靠前。
进一步地，终端基于环视图像的时间序列，将多张环视图像合成为全景视频。应当理解的是，环视图像的数量越多、各环视图像之间的采集时间点的时间间隔越小(时间间隔可选为0.04秒)，则生成的全景视频播放越连贯。
这样，通过连续采集得到的多个环视图像生成全景视频，可以让用户更为直观地感受到环视图像中物像随着时间的变化，进一步增加了用户观看环视图像时的趣味性。
参照图3，本申请实施例中还提供一种基于移动终端的环视图像采集装置10，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述基于移动终端的环视图像采集装置10包括：
拍摄模块11，用于接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像；
处理模块12，用于对多个所述图像进行图像拼接处理，得到所述环视图像。
参照图4，本申请实施例中还提供一种移动终端，该移动终端可以是服务器，其内部结构可以如图4所示。该移动终端包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该移动终端的处理器用于提供计算和控制能力。该移动终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该移动终端的数据库用于基于移动终端的环视图像采集程序。该移动终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于移动终端的环视图像采集方法。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的移动终端的限定。
此外，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质包括基于移动终端的环视图像采集程序，所述基于移动终端的环视图像采集程序被处理器执行时实现如以上实施例所述的基于移动终端的环视图像采集方法的步骤。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
综上所述，为本申请实施例中提供的基于移动终端的环视图像采集方法、基于移动终端的环视图像采集装置、移动终端和存储介质，通过在具有折叠屏的移动终端的不同位置上，分布式环绕设置多个摄像头，使得摄像头因几何位置不同而形成多角度视差，从而使得移动终端的视场角得到尽可能多的扩展，这样在此基础上对多个摄像头拍摄得到的图像进行图像拼接处理，即可使得移动终端可以采集得到视野范围广的环视图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于移动终端的环视图像采集方法，其特征在于，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述基于移动终端的环视图像采集方法包括：
接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像；
对多个所述图像进行图像拼接处理，得到所述环视图像。
2.如权利要求1所述的基于移动终端的环视图像采集方法，其特征在于，所述移动终端还包括角度传感器，所述角度传感器用于测量两个所述显示装置之间的夹角的角度；所述接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像的步骤之后，还包括：
检测在接收到所述采集指令之后的第一预设时长之内，所述夹角的角度是否发生变动；
若是，将所述夹角处于各个角度时每个所述摄像头拍摄的图像，分别与各个角度对应的夹角关联；
所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤包括：
分别对每个所述夹角关联的多个所述图像进行图像拼接处理，得到每个所述夹角对应的第一图像；
根据所有所述第一图像生成所述环视图像。
3.如权利要求2所述的基于移动终端的环视图像采集方法，其特征在于，所述根据所有所述第一图像生成所述环视图像的步骤包括：
根据所有所述夹角的角度，对所有所述夹角对应的第一图像进行排序，得到排列顺序；
从所述排列顺序中排列第一的所述第一图像开始，每隔两个所述第一图像则进行一次图像拼接处理，以得到至少一个第二图像；
检测所述第二图像的数量是否等于一；
若否，则每隔两个所述第二图像进行一次图像拼接处理，以得到至少一个新的第二图像，并基于所述新的第二图像，返回执行所述检测所述第二图像的数量是否等于一的步骤；
若是，则将所述第二图像作为所述环视图像。
4.如权利要求2所述的基于移动终端的环视图像采集方法，其特征在于，所述根据所有所述第一图像生成所述环视图像的步骤包括：
根据所有所述夹角的角度，对所有所述夹角对应的第一图像进行排序，得到排列顺序；
根据所述排列顺序依次获取所述第一图像进行图像拼接处理，并将处理后得到的第二图像与下一次获取到的所述第一图像进行图像拼接处理，直至所有所述第一图像获取完毕；
检测到所有所述第一图像获取完毕时，将最后拼接得到的第二图像作为所述环视图像。
5.如权利要求2-4中任一项所述的基于移动终端的环视图像采集方法，其特征在于，所述拍摄每个所述摄像头对应的图像采集区域内的图像的步骤包括：
检测所述夹角的角度是否小于或等于预设角度；
若否，拍摄每个所述摄像头对应的图像采集区域内的图像；
若是，将视场角未被遮挡的摄像头作为目标摄像头，并拍摄每个所述目标摄像头对应的图像采集区域内的图像。
6.如权利要求1所述的基于移动终端的环视图像采集方法，其特征在于，每个所述显示装置包括至少两对背向设置的摄像头；每对所述摄像头对应的焦距不同；所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤包括：
对同一焦距的摄像头拍摄得到多个所述图像进行图像拼接处理，得到第三图像；
对所有所述第三图像进行图像合成处理，得到所述环视图像。
7.如权利要求1、2、3、4或6所述的基于移动终端的环视图像采集方法，其特征在于，所述对多个所述图像进行图像拼接处理，得到所述环视图像的步骤之后，还包括：
根据在第二预设时长内采集得到的多个所述环视图像，生成全景视频。
8.一种基于移动终端的环视图像采集装置，其特征在于，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述基于移动终端的环视图像采集装置包括：
拍摄模块，用于接收到环视图像的采集指令时，拍摄每个所述摄像头对应的图像采集区域内的图像；
处理模块，用于对多个所述图像进行图像拼接处理，得到所述环视图像。
9.一种移动终端，其特征在于，所述移动终端包括可折叠的双显示装置，每个所述显示装置包括至少一对背向设置的摄像头；所述移动终端还包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于移动终端的环视图像采集程序，所述基于移动终端的环视图像采集程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于移动终端的环视图像采集方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于移动终端的环视图像采集程序，所述基于移动终端的环视图像采集程序被处理器执行时实现如权利要求1至7中任一项所述的基于移动终端的环视图像采集方法的步骤。
CN202110485503.2A 2021-04-30 2021-04-30 环视图像采集方法、装置、移动终端及存储介质 Active CN113286064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110485503.2A CN113286064B (zh) 2021-04-30 2021-04-30 环视图像采集方法、装置、移动终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110485503.2A CN113286064B (zh) 2021-04-30 2021-04-30 环视图像采集方法、装置、移动终端及存储介质

Publications (2)

Publication Number Publication Date
CN113286064A true CN113286064A (zh) 2021-08-20
CN113286064B CN113286064B (zh) 2023-06-16

Family

ID=77277809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110485503.2A Active CN113286064B (zh) 2021-04-30 2021-04-30 环视图像采集方法、装置、移动终端及存储介质

Country Status (1)

Country Link
CN (1) CN113286064B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840070A (zh) * 2021-09-18 2021-12-24 维沃移动通信有限公司 拍摄方法、装置、电子设备及介质
CN113873285A (zh) * 2021-10-14 2021-12-31 中国科学院软件研究所 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统
CN113891018A (zh) * 2021-11-23 2022-01-04 维沃移动通信有限公司 拍摄方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881733A (zh) * 2018-08-30 2018-11-23 维沃移动通信有限公司 一种全景拍摄方法及移动终端
CN110392212A (zh) * 2019-07-25 2019-10-29 珠海格力电器股份有限公司 一种全景拍照方法、装置及电子设备
CN110868545A (zh) * 2019-11-26 2020-03-06 维沃移动通信有限公司 全景拍摄方法及装置
CN110876018A (zh) * 2019-10-30 2020-03-10 深圳传音控股股份有限公司 移动终端及移动终端的控制方法、计算机存储介质
CN111885285A (zh) * 2020-06-29 2020-11-03 维沃移动通信（杭州）有限公司 图像拍摄方法及电子设备
US20210018957A1 (en) * 2019-07-19 2021-01-21 Samsung Electronics Co., Ltd. Foldable electronic device and photographing method using multiple cameras in foldable electronic device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881733A (zh) * 2018-08-30 2018-11-23 维沃移动通信有限公司 一种全景拍摄方法及移动终端
US20210018957A1 (en) * 2019-07-19 2021-01-21 Samsung Electronics Co., Ltd. Foldable electronic device and photographing method using multiple cameras in foldable electronic device
CN110392212A (zh) * 2019-07-25 2019-10-29 珠海格力电器股份有限公司 一种全景拍照方法、装置及电子设备
CN110876018A (zh) * 2019-10-30 2020-03-10 深圳传音控股股份有限公司 移动终端及移动终端的控制方法、计算机存储介质
CN110868545A (zh) * 2019-11-26 2020-03-06 维沃移动通信有限公司 全景拍摄方法及装置
CN111885285A (zh) * 2020-06-29 2020-11-03 维沃移动通信（杭州）有限公司 图像拍摄方法及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113840070A (zh) * 2021-09-18 2021-12-24 维沃移动通信有限公司 拍摄方法、装置、电子设备及介质
CN113873285A (zh) * 2021-10-14 2021-12-31 中国科学院软件研究所 一种基于鸿蒙分布式能力的裸眼3d直播方法、装置及系统
CN113891018A (zh) * 2021-11-23 2022-01-04 维沃移动通信有限公司 拍摄方法、装置及电子设备

Also Published As

Publication number Publication date
CN113286064B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN113286064B (zh) 环视图像采集方法、装置、移动终端及存储介质
CN110351494B (zh) 一种全景视频合成方法、装置及电子设备
CN111083380B (zh) 一种视频处理方法、电子设备及存储介质
CN112017216B (zh) 图像处理方法、装置、计算机可读存储介质及计算机设备
CN108965742B (zh) 异形屏显示方法、装置、电子设备及计算机可读存储介质
EP2993894B1 (en) Image capturing method and electronic apparatus
CN108090463B (zh) 对象控制方法、装置、存储介质和计算机设备
US20180007285A1 (en) Image fusion method for multiple lenses and device thereof
KR20130025346A (ko) 오브젝트 추적 장치
CN103402058B (zh) 一种拍摄图像的处理方法及装置
CN110519528A (zh) 一种全景视频合成方法、装置及电子设备
CN111340737B (zh) 图像矫正方法、装置和电子系统
US20180114291A1 (en) Image processing method and device as well as non-transitory computer-readable medium
CN110349077B (zh) 一种全景图像合成方法、装置及电子设备
CN108737743B (zh) 基于图像拼接的视频拼接装置及视频拼接方法
CN103856715B (zh) 成像装置和方法
US20230379422A1 (en) Method for vehicle hinge point calibration and corresponding calibration apparatus, computer device, and storage medium
CN111432117B (zh) 图像矫正方法、装置和电子系统
CN113450254A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112839166A (zh) 拍摄方法、装置及电子设备
CN114390219B (zh) 拍摄方法、装置、电子设备及存储介质
CN116109922A (zh) 鸟类识别方法、鸟类识别设备和鸟类识别系统
CN114390206A (zh) 拍摄方法、装置和电子设备
CN114785957A (zh) 拍摄方法及其装置
CN110796690A (zh) 图像匹配方法和图像匹配装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant