CN107566724B - 一种全景图像拍摄方法及移动终端 - Google Patents

一种全景图像拍摄方法及移动终端 Download PDF

Info

Publication number
CN107566724B
CN107566724B CN201710823578.0A CN201710823578A CN107566724B CN 107566724 B CN107566724 B CN 107566724B CN 201710823578 A CN201710823578 A CN 201710823578A CN 107566724 B CN107566724 B CN 107566724B
Authority
CN
China
Prior art keywords
image
image sequence
moving object
sequence
deleting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710823578.0A
Other languages
English (en)
Other versions
CN107566724A (zh
Inventor
王志升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201710823578.0A priority Critical patent/CN107566724B/zh
Publication of CN107566724A publication Critical patent/CN107566724A/zh
Application granted granted Critical
Publication of CN107566724B publication Critical patent/CN107566724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明实施例提供了一种全景图像拍摄方法及移动终端,其中所述方法包括:全景图像拍摄过程中,采集图像序列;判断所述图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;依据所述目标图像序列合成全景图像。通过本发明实施例提供的全景图像拍摄方案,能够将图像序列中移动对象的影像均删除或者部分删除,从而避免全景图像中出现拖影,断层等问题,能够提升全景图像的质量。

Description

一种全景图像拍摄方法及移动终端
技术领域
本发明涉及图像处理技术领域,特别是涉及一种全景图像拍摄方法及移动终端。
背景技术
当前随着移动终端行业的不断发展,移动终端例如手机已成为用户日常工作,娱乐,社交等的必备工具。随着移动终端摄像功能的不断强大,大多数移动终端的摄像头的像素已经超越了卡片相机甚至是中低端的单反,因此,移动终端已基本取替普通相机,成为用户户外旅游的必备拍摄设备。
目前,用户使用移动终端进行全景拍摄时,调用移动终端的后置摄像头并通过移动后置摄像头拍摄角度的方式拍摄,从而得到拍摄视野宽广的全景图像。在拍摄全景图像的过程中,若拍摄画面中出现了移动的物体所拍摄的全景图像中会出现拖影,断层等问题,所拍摄的全景图像质量差。
发明内容
本发明实施例提供一种全景图像拍摄方法及移动终端,以解决现有的全景拍摄方案中存在的因拍摄画面中出现移动物体而导致的所拍摄图像拖影、断层的问题。
依据本发明的一个方面,提供了一种全景图像拍摄方法,应用于移动终端,所述方法包括:全景图像拍摄过程中,采集图像序列;判断所述图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;依据所述目标图像序列合成全景图像。
根据本发明的另一方面,提供了一种移动终端,所述移动终端包括:采集模块,用于全景图像拍摄过程中,采集图像序列;判断模块,用于判断所述图像序列对应的拍摄图像中,是否存在移动对象;删除模块,用于若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;合成模块,用于依据所述目标图像序列合成全景图像。
根据本发明的再一方面,提供了一种移动终端,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的全景图像拍摄程序,所述全景图像拍摄程序被所述处理器执行时实现本发明中所述的任意一种景图像拍摄方法的步骤。
根据本发明的又一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质上存储全景图像拍摄程序,所述全景图像拍摄程序被处理器执行时实现本发明中所述的任意一种景图像拍摄方法的步骤。
与现有技术相比,本发明具有以下优点:
本发明实施例提供的全景图像拍摄方法及移动终端,在全景图像拍摄过程中,判断所采集的图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将图像序列中包含的移动对象删除,得到目标图像序列后合成全景图像。可见,本发明实施例提供的全景图像拍摄方案,能够将图像序列中移动对象的影像均删除或者部分删除,从而避免全景图像中出现拖影,断层等问题,能够提升全景图像的质量,进而提升用户的拍摄体验。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是根据本发明实施例一的一种全景图像拍摄方法的步骤流程图;
图2是根据本发明实施例二的一种全景图像拍摄方法的步骤流程图;
图3是根据本发明实施例三的一种全景图像拍摄方法的步骤流程图;
图4是根据本发明实施例四的一种移动终端的结构框图;
图5是根据本发明实施例五的一种移动终端的结构框图;
图6是根据本发明实施例六的一种移动终端的结构框图;
图7是根据本发明实施例七的一种移动终端的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
参照图1,示出了本发明实施例一的一种全景图像拍摄方法的步骤流程图。
本发明实施例的全景图像拍摄方法包括以下步骤:
步骤101:全景图像拍摄过程中,采集图像序列。
全景图像拍摄过程中,用户持续按压拍摄按钮的同时,调整移动终端拍摄角度,摄像头则采集图像序列,待持续按压结束后,移动终端对摄像头所采集的图像序列进行合成生成全景图像并展示。
图像序列中包含有多个图像,对于图像的具体数量本发明实施例中对此不做具体限制。
步骤102:判断图像序列对应的拍摄图像中,是否存在移动对象。
具体实现过程中,可以通过判断相邻图像是否存在相同对象,来判断拍摄图像中是否存在移动对象。若存在相同对象,则确定拍摄图像中存在移动对象,反之则确定拍摄图像中不存在移动对象。
步骤103:若存在移动对象,按照预设规则将图像序列中包含的移动对象删除,得到目标图像序列。
其中,预设规则可以由本领域技术人员根据实际需求进行设置,本发明实施例中对此不做具体限制。例如:预设规则设置为将图像序列中包含的移动对象全部删除;例如:预设规则设置为仅保留移动对象首次出现对应的影像,其他图像帧中移动对象的影像均删除。
若不存在移动对象,则直接将所拍摄的图像序列作为目标图像序列,合成全景图像即可。
步骤104:依据目标图像序列合成全景图像。
对于依据目标图像序列合成全景图像的具体技术方案,参照相关成熟技术即可,本发明实施例中对此不再赘述。
本发明实施例提供的全景图像拍摄方法,在全景图像拍摄过程中,判断所采集的图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将图像序列中包含的移动对象删除,得到目标图像序列后合成全景图像。可见,本发明实施例提供的全景图像拍摄方法,能够将图像序列中移动对象的影像均删除或者部分删除,从而避免全景图像中出现拖影,断层等问题,能够提升全景图像的质量,进而提升用户的拍摄体验。
实施例二
参照图2,示出了本发明实施例二的一种全景图像拍摄方法的步骤流程图。
本发明实施例的全景图像方法具体包括以下步骤:
步骤201:全景图像拍摄过程中,采集图像序列。
全景图像拍摄过程中,用户持续按压拍摄按钮的同时,调整移动终端拍摄角度,摄像头则采集图像序列。因此,图像序列包括多帧图像,每个图像序列分别对应不同的拍摄位置。
步骤202:将图像序列中的相邻图像帧组成图像对。
例如:图像序列中包括1、2、3、4以及5五帧图像,则将1、2组成第一图像对,将2、3组成第二图像对,将3、4组成第三图像对,将4、5组成第五图像对。
需要说明的是,将图像序列中相邻图像帧组成图像对的操作可以在图像序列采集完成后执行,还可以在图像序列采集过程中执行。
步骤203:针对每个图像对,判断图像对中是否存在移动对象,若存在,则在图像对中将移动对象进行标记。
例如:图像对中的两个图像分别对应拍摄第N位置的景物所生成的图像帧,以及拍摄第N+1位置的景物所生成的图像帧,通过对两图像帧中所拍摄物体的影像进行比对,可以判定第N位置中的物体是否移动到第N+1位置中,从而判定图像对中是否存在移动对象。
若在图像对中的两帧图像中,均包含同一个对象A,则确定对象A在全景拍摄过程中而移动对象,因此,在图像对包含的两图像帧中分别将对象A进行标记。
需要说明的是,若图像序列中不存在移动对象,则直接将图像序列作为目标图像序列,合成为全景图像即可。
步骤204:将图像序列包含的各图像帧中的移动对象均删除,得到目标图像序列。
为避免所拍摄的全景图像中因物体运动出现拖影,断层等问题,将图像序列中出现的移动对象均删除。全景图像大多是为了拍摄景色,景色是不移动的,移动对象并不会影响所拍摄全景图像的主要意图,因此,既能够满足用户拍摄景色的需求,又能够提升所拍摄全景图像的质量。
需要说明的是,本发明实施例步骤204中以将图像序列包含的各图像帧中的移动对象均删除为例进行的说明,在具体实现过程中,并不局限上述这一种目标图像序列生成方案,还可以采用如下方式中的任意一种生成目标图像序列:
方式一:确定图像序列中首次出现移动对象的第一图像帧,将图像序列中除第一图像帧外的其他图像帧中的移动对象均删除。
例如:图像序列包含五帧图像,通过图像对比对确定在第3、4以及5帧图像中存在相同移动对象A,则将第4、5帧图像中的移动对象A删除,仅保留第3帧图像中的移动对象A。
方式二:确定图像序列中出现移动对象的各第二图像帧,从第二图像帧中筛选出移动对象清晰度最高的第一目标图像帧,将图像序列中除第一目标图像帧外的其他图像帧中的移动对象均删除。
例如:图像序列包含六帧图像,通过图像对比对确定在第3、4、5以及6帧图像中存在相同移动对象B,通过进一步比对确定第4帧图像中的移动对象清晰度最高,则将第3帧图像、第5、6帧图像中移动对象均删除,仅保留第4帧图像中的移动对象B。
步骤205:依据目标图像序列合成全景图像。
对于依据目标图像序列合成全景图像的具体技术方案,参照相关成熟技术即可,本发明实施例中对此不再赘述。
本发明实施例提供的全景图像拍摄方法,在全景图像拍摄过程中,将图像序列中相邻图像帧组成图像对,对每个图像对进行比对确定全景图像拍摄过程中是否存在移动对象;若存在移动对象,将图像序列中包含的移动对象均删除,得到目标图像序列后合成全景图像。可见,本发明实施例提供的全景图像拍摄方法,能够将图像序列中移动对象的影像均删除,从而避免全景图像中出现拖影,断层等问题,能够提升全景图像的质量,进而提升用户的拍摄体验。
实施例三
参照图3,示出了本发明实施例三的一种全景图像拍摄方法的步骤流程图。
本发明实施例中,对双摄像头移动终端进行全景图像拍摄的具体流程进行说明,本发明实施例中移动终端包括两个后置摄像头,分别为第一摄像头、第二摄像头,第一摄像头用于采集第一图像序列,第二摄像头用于采集第二图像序列。全景图像的具体拍摄流程如下:
步骤301:全景图像拍摄过程中,采集图像序列。
本发明实施例中,由于移动终端具有第一摄像头、第二摄像头两个摄像头,并且在进行全景拍摄过程中这两个摄像头同时工作,因此最终采集到第一图像序列以及第二图像序列两个图像序列。
步骤302:判断第二图像序列对应的拍摄图像中,是否存在移动对象。
本发明实施例中,第一摄像头为广角镜头,第二摄像头为长焦镜头,广角摄像头主要用于拍摄大广角的风景图像,长焦镜头主要用于拍摄风景前的对象,因此本发明实施例中通过对第二图像序列进行分析,确定全景拍摄图像中是否存在移动对象。
确定第二图像序列对应的拍摄图像中是否存在移动对象时,可以参照实施例二中的相关说明,将第二图像序列中相邻图像帧组成图像对;针对每个图像对,将该图像对中的两图像帧进行比对,确定两图像帧中是否出现相同的对象,若是,则确定拍摄图像中存在移动对象;反之,则确定拍摄图像中不存在移动对象。
需要说明的是,若第二图像序列中不存在移动对象,则直接将第一图像序列作为目标图像序列,合成为全景图像即可。
步骤303:若存在移动对象,则依据第二图像序列确定移动对象的移动轨迹。
在第二图像序列中,在各图像帧中将移动对象进行标记后,再按照拍摄顺序排列,即可确定出移动对象的移动轨迹。其中,移动轨迹包括移动方向及距离。
步骤304:参照移动轨迹,按照预设规则将第一图像序列中包含的移动对象删除,得到目标图像序列。
具体地,可以按照如下优选方式将第一图像序列中包含的移动对象删除:
第一优选方式:参照移动轨迹,将第一图像序列包含的各图像帧中的移动对象均删除。
第二种优选方式:确定第一图像序列中首次出现移动对象的第三图像帧,将图像序列中除第三图像帧外的其他图像帧中的移动对象均删除。
第三种优选方式:确定第一图像序列中出现移动对象的各第四图像帧,从第四图像帧中筛选出移动对象清晰度最高的第二目标图像帧,将第一图像序列中除第二目标图像帧外的其他图像帧中的移动对象均删除。
在具体实现过程中,本领域技术人员可以根据实际需求选择上述任意一种优选方式目标图像序列。
步骤305:依据目标图像序列合成全景图像。
对于依据目标图像序列合成全景图像的具体技术方案,参照相关成熟技术即可,本发明实施例中对此不再赘述。
本发明实施例提供的全景图像拍摄方法,在全景图像拍摄过程中,基于双摄像头进行拍摄,并基于第二摄像头拍摄的第二图像序列确定拍摄图像中是否存在移动对象,确定移动对象的移动轨迹;参照移动轨迹对第一图像序列中包含的移动对象进行删除得到目标图像序列,得到目标图像序列后合成全景图像。可见,本发明实施例提供的全景图像拍摄方法,将第一图像序列中移动对象的影像删除,能够避免全景图像中出现拖影,断层等问题,故可提升全景图像的质量,进而提升用户的拍摄体验。
实施例四
参照图4,示出了本发明实施例四的一种移动终端的结构框图。
本发明实施例的移动终端包括:采集模块401,用于全景图像拍摄过程中,采集图像序列;判断模块402,用于判断所述图像序列对应的拍摄图像中,是否存在移动对象;删除模块403,用于若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;合成模块404,用于依据所述目标图像序列合成全景图像。
本发明实施例提供的移动终端,在全景图像拍摄过程中,判断所采集的图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将图像序列中包含的移动对象删除,得到目标图像序列后合成全景图像。可见,本发明实施例提供移动终端,能够将图像序列中移动对象的影像均删除或者部分删除,从而避免全景图像中出现拖影,断层等问题,能够提升全景图像的质量,进而提升用户的拍摄体验。
实施例五
参照图5,示出了本发明实施例五的一种移动终端的结构框图。
本发明实施例的移动终端是对实施例四中的移动终端的进一步优化,优化后的移动终端包括::采集模块501,用于全景图像拍摄过程中,采集图像序列;判断模块502,用于判断所述图像序列对应的拍摄图像中,是否存在移动对象;删除模块503,用于若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;合成模块504,用于依据所述目标图像序列合成全景图像。
优选地,所述判断模块502包括:图像对建立子模块5021,用于将所述图像序列中的相邻图像帧组成图像对;标记子模块5022,用于针对每个图像对,判断所述图像对中是否存在移动对象,若存在,则在所述图像对中将所述移动对象进行标记。
优选地,所述删除模块503包括:第一删除子模块5031,用于若存在移动对象,将所述图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;或者,第二删除子模块5032,用于若存在移动对象,确定所述图像序列中首次出现所述移动对象的第一图像帧,将所述图像序列中除所述第一图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;或者,第三删除子模块5033,用于若存在移动对象,确定所述图像序列中出现所述移动对象的各第二图像帧,从所述第二图像帧中筛选出所述移动对象清晰度最高的第一目标图像帧,将所述图像序列中除所述第一目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
优选地,所述移动终端包括第一摄像头以及第二摄像头,所述第一摄像头采集第一图像序列,所述第二摄像头采集第二图像序列;所述判断模块502具体用于:判断所述第二图像序列对应的拍摄图像中,是否存在移动对象;所述删除模块503包括:轨迹确定子模块5034,用于若存在移动对象,则依据所述第二图像序列确定所述移动对象的移动轨迹;第四删除子模块5035,用于参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列。
优选地,所述第四删除子模块5035包括:第一删除单元,用于参照所述移动轨迹,将所述第一图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;或者,第二删除单元,用于确定所述第一图像序列中首次出现所述移动对象的第三图像帧,将所述图像序列中除所述第三图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;或者,第三删除单元,用于确定所述第一图像序列中出现所述移动对象的各第四图像帧,从所述第四图像帧中筛选出所述移动对象清晰度最高的第二目标图像帧,将所述第一图像序列中除所述第二目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
本发明实施例的移动终端用于实现前述实施例一至实施例三中相应的全景图像拍摄方法,并具有与方法实施例相应的有益效果,在此不再赘述。
实施例六
参照图6,示出了本发明实施例六的一种移动终端的结构框图。
本发明实施例的移动终端700包括:至少一个处理器701、存储器702、至少一个网络接口704和其他用户接口703。移动终端700中的各个组件通过总线系统705耦合在一起。可理解,总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图6中将各种总线都标为总线系统705。
其中,用户接口703可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(track ball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器702可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRam bus RAM,DRRAM)。本发明实施例描述的系统和方法的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器702存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作系统7021和应用程序7022。
其中,操作系统7021,包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序7022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序7022中。
在本发明实施例中,通过调用存储器702存储的程序或指令,具体的,可以是应用程序7022中存储的程序或指令,处理器701用于在全景图像拍摄过程中,采集图像序列;判断所述图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;依据所述目标图像序列合成全景图像。
上述本发明实施例揭示的方法可以应用于处理器701中,或者由处理器701实现。处理器701可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702,处理器701读取存储器702中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本发明实施例中所述功能的模块(例如过程、函数等)来实现本发明实施例中所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地,处理器701判断所述图像序列对应的拍摄图像中,是否存在移动对象时,具体用于:将所述图像序列中的相邻图像帧组成图像对;针对每个图像对,判断所述图像对中是否存在移动对象,若存在,则在所述图像对中将所述移动对象进行标记。
可选地,处理器701按照预设规则将所述图像序列中包含的移动对象删除,得到目标图像序列时,具体用于:将所述图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述图像序列中首次出现所述移动对象的第一图像帧,将所述图像序列中除所述第一图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述图像序列中出现所述移动对象的各第二图像帧,从所述第二图像帧中筛选出所述移动对象清晰度最高的第一目标图像帧,将所述图像序列中除所述第一目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
可选地,所述移动终端包括采集第一图像序列的第一摄像头以及采集第二图像序列的第二摄像头,处理器701判断所述图像序列对应的拍摄图像中,是否存在移动对象时,具体用于:判断所述第二图像序列对应的拍摄图像中,是否存在移动对象;所述若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列的步骤,包括:若存在移动对象,则依据所述第二图像序列确定所述移动对象的移动轨迹;参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列。
可选地,处理器701参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列时,具体用于:参照所述移动轨迹,将所述第一图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述第一图像序列中首次出现所述移动对象的第三图像帧,将所述图像序列中除所述第三图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述第一图像序列中出现所述移动对象的各第四图像帧,从所述第四图像帧中筛选出所述移动对象清晰度最高的第二目标图像帧,将所述第一图像序列中除所述第二目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
移动终端700能够实现前述实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例提供的移动终端,在全景图像拍摄过程中,判断所采集的图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将图像序列中包含的移动对象删除,得到目标图像序列后合成全景图像。可见,本发明实施例提供移动终端,能够将图像序列中移动对象的影像均删除或者部分删除,从而避免全景图像中出现拖影,断层等问题,能够提升全景图像的质量,进而提升用户的拍摄体验。
实施例七
参照图7,示出了本发明实施例七的一种移动终端的结构框图。
本发明实施例中的移动终端可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant,PDA)、或车载电脑等。
图7中的移动终端包括射频(Radio Frequency,RF)电路810、存储器820、输入单元830、显示单元840、处理器860、音频电路870、WiFi(Wireless Fidelity)模块880和电源890。
其中,输入单元830可用于接收用户输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的信号输入。具体地,本发明实施例中,该输入单元830可以包括触控面板831。触控面板831,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板831可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给该处理器860,并能接收处理器860发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831,输入单元830还可以包括其他输入设备832,其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,显示单元840可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单界面。显示单元840可包括显示面板841,可选的,可以采用LCD或有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板841。
应注意,触控面板831可以覆盖显示面板841,形成触摸显示屏,当该触摸显示屏检测到在其上或附近的触摸操作后,传送给处理器860以确定触摸事件的类型,随后处理器860根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定,可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件,例如,设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中处理器860是移动终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在第一存储器821内的软件程序和/或模块,以及调用存储在第二存储器822内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。可选的,处理器860可包括一个或多个处理单元。
在本发明实施例中,通过调用存储该第一存储器821内的软件程序和/或模块和/或该第二存储器822内的数据,处理器860用于在全景图像拍摄过程中,采集图像序列;判断所述图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;依据所述目标图像序列合成全景图像。
可选地,处理器860判断所述图像序列对应的拍摄图像中,是否存在移动对象时,具体用于:将所述图像序列中的相邻图像帧组成图像对;针对每个图像对,判断所述图像对中是否存在移动对象,若存在,则在所述图像对中将所述移动对象进行标记。
可选地,处理器860按照预设规则将所述图像序列中包含的移动对象删除,得到目标图像序列时,具体用于:将所述图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述图像序列中首次出现所述移动对象的第一图像帧,将所述图像序列中除所述第一图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述图像序列中出现所述移动对象的各第二图像帧,从所述第二图像帧中筛选出所述移动对象清晰度最高的第一目标图像帧,将所述图像序列中除所述第一目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
可选地,所述移动终端包括采集第一图像序列的第一摄像头以及采集第二图像序列的第二摄像头,处理器860判断所述图像序列对应的拍摄图像中,是否存在移动对象时,具体用于:判断所述第二图像序列对应的拍摄图像中,是否存在移动对象;所述若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列的步骤,包括:若存在移动对象,则依据所述第二图像序列确定所述移动对象的移动轨迹;参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列。
可选地,处理器860参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列时,具体用于:参照所述移动轨迹,将所述第一图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述第一图像序列中首次出现所述移动对象的第三图像帧,将所述图像序列中除所述第三图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;或者,确定所述第一图像序列中出现所述移动对象的各第四图像帧,从所述第四图像帧中筛选出所述移动对象清晰度最高的第二目标图像帧,将所述第一图像序列中除所述第二目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
本发明实施例提供的移动终端,在全景图像拍摄过程中,判断所采集的图像序列对应的拍摄图像中,是否存在移动对象;若存在移动对象,按照预设规则将图像序列中包含的移动对象删除,得到目标图像序列后合成全景图像。可见,本发明实施例提供移动终端,能够将图像序列中移动对象的影像均删除或者部分删除,从而避免全景图像中出现拖影,断层等问题,能够提升全景图像的质量,进而提升用户的拍摄体验。
本发明实施例还提供了一种移动终端,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的全景图像拍摄程序,所述全景图像拍摄程序被所述处理器执行时实现本发明中所述的任意一种全景图像拍摄方法的步骤。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储全景图像拍摄程序,所述全景图像拍摄程序被处理器执行时实现本发明中所述的任意一种全景图像拍摄方法的步骤。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的全景图像拍摄方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造具有本发明方案的系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的全景图像拍摄方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种全景图像拍摄方法,应用于移动终端,其特征在于,所述方法包括:
全景图像拍摄过程中,采集图像序列;
判断所述图像序列对应的拍摄图像中,是否存在移动对象;
若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;
依据所述目标图像序列合成全景图像;
所述移动终端包括采集第一图像序列的第一摄像头以及采集第二图像序列的第二摄像头,所述判断所述图像序列对应的拍摄图像中,是否存在移动对象的步骤,包括:
判断所述第二图像序列对应的拍摄图像中,是否存在移动对象;
所述若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列的步骤,包括:
若存在移动对象,则依据所述第二图像序列确定所述移动对象的移动轨迹;
参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列;
其中,所述第一摄像头用于拍摄风景图像;所述第二摄像头用于拍摄所述风景图像前的对象。
2.根据权利要求1所述的方法,其特征在于,所述判断所述图像序列对应的拍摄图像中,是否存在移动对象的步骤,包括:
将所述图像序列中的相邻图像帧组成图像对;
针对每个图像对,判断所述图像对中是否存在移动对象,若存在,则在所述图像对中将所述移动对象进行标记。
3.根据权利要求2所述的方法,其特征在于,所述按照预设规则将所述图像序列中包含的移动对象删除,得到目标图像序列的步骤,包括:
将所述图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
确定所述图像序列中首次出现所述移动对象的第一图像帧,将所述图像序列中除所述第一图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
确定所述图像序列中出现所述移动对象的各第二图像帧,从所述第二图像帧中筛选出所述移动对象清晰度最高的第一目标图像帧,将所述图像序列中除所述第一目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
4.根据权利要求1所述的方法,其特征在于,所述参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列的步骤,包括:
参照所述移动轨迹,将所述第一图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
确定所述第一图像序列中首次出现所述移动对象的第三图像帧,将所述图像序列中除所述第三图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
确定所述第一图像序列中出现所述移动对象的各第四图像帧,从所述第四图像帧中筛选出所述移动对象清晰度最高的第二目标图像帧,将所述第一图像序列中除所述第二目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
5.一种移动终端,其特征在于,所述移动终端包括:
采集模块,用于全景图像拍摄过程中,采集图像序列;
判断模块,用于判断所述图像序列对应的拍摄图像中,是否存在移动对象;
删除模块,用于若存在移动对象,按照预设规则将所述图像序列中包含的所述移动对象删除,得到目标图像序列;
合成模块,用于依据所述目标图像序列合成全景图像;
所述移动终端包括采集第一图像序列的第一摄像头以及采集第二图像序列的第二摄像头;所述判断模块具体用于:
判断所述第二图像序列对应的拍摄图像中,是否存在移动对象;
所述删除模块包括:
轨迹确定子模块,用于若存在移动对象,则依据所述第二图像序列确定所述移动对象的移动轨迹;
第四删除子模块,用于参照所述移动轨迹,按照预设规则将所述第一图像序列中包含的所述移动对象删除,得到目标图像序列;
其中,所述第一摄像头用于拍摄风景图像;所述第二摄像头用于拍摄所述风景图像前的对象。
6.根据权利要求5所述的移动终端,其特征在于,所述判断模块包括:
图像对建立子模块,用于将所述图像序列中的相邻图像帧组成图像对;
标记子模块,用于针对每个图像对,判断所述图像对中是否存在移动对象,若存在,则在所述图像对中将所述移动对象进行标记。
7.根据权利要求6所述的移动终端,其特征在于,所述删除模块包括:
第一删除子模块,用于若存在移动对象,将所述图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
第二删除子模块,用于若存在移动对象,确定所述图像序列中首次出现所述移动对象的第一图像帧,将所述图像序列中除所述第一图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
第三删除子模块,用于若存在移动对象,确定所述图像序列中出现所述移动对象的各第二图像帧,从所述第二图像帧中筛选出所述移动对象清晰度最高的第一目标图像帧,将所述图像序列中除所述第一目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
8.根据权利要求5所述的移动终端,其特征在于,所述第四删除子模块包括:
第一删除单元,用于参照所述移动轨迹,将所述第一图像序列包含的各图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
第二删除单元,用于确定所述第一图像序列中首次出现所述移动对象的第三图像帧,将所述图像序列中除所述第三图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列;
或者,
第三删除单元,用于确定所述第一图像序列中出现所述移动对象的各第四图像帧,从所述第四图像帧中筛选出所述移动对象清晰度最高的第二目标图像帧,将所述第一图像序列中除所述第二目标图像帧外的其他图像帧中的所述移动对象均删除,得到目标图像序列。
9.一种移动终端,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的全景图像拍摄程序,所述全景图像拍摄程序被所述处理器执行时实现如权利要求1至4中任一项所述的全景图像拍摄方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储全景图像拍摄程序,所述全景图像拍摄程序被处理器执行时实现如权利要求1至4中任一项所述的全景图像拍摄方法的步骤。
CN201710823578.0A 2017-09-13 2017-09-13 一种全景图像拍摄方法及移动终端 Active CN107566724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710823578.0A CN107566724B (zh) 2017-09-13 2017-09-13 一种全景图像拍摄方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710823578.0A CN107566724B (zh) 2017-09-13 2017-09-13 一种全景图像拍摄方法及移动终端

Publications (2)

Publication Number Publication Date
CN107566724A CN107566724A (zh) 2018-01-09
CN107566724B true CN107566724B (zh) 2020-07-07

Family

ID=60980700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710823578.0A Active CN107566724B (zh) 2017-09-13 2017-09-13 一种全景图像拍摄方法及移动终端

Country Status (1)

Country Link
CN (1) CN107566724B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040604B (zh) * 2018-10-23 2020-09-15 Oppo广东移动通信有限公司 拍摄图像的处理方法、装置、存储介质及移动终端
CN110166710A (zh) * 2019-06-21 2019-08-23 上海闻泰电子科技有限公司 图像合成方法、装置、设备和介质
CN114627000A (zh) * 2022-01-28 2022-06-14 华为技术有限公司 图像处理方法、装置和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN102006461A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 摄像机联合跟踪检测系统
CN102045501A (zh) * 2009-10-09 2011-05-04 索尼公司 图像处理装置和方法以及程序
JP2014057261A (ja) * 2012-09-13 2014-03-27 Olympus Corp 画像生成装置、画像生成方法、撮像装置、および撮像方法
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN105827952A (zh) * 2016-02-01 2016-08-03 维沃移动通信有限公司 一种去除指定对象的拍照方法及移动终端
CN106210542A (zh) * 2016-08-16 2016-12-07 深圳市金立通信设备有限公司 一种照片合成的方法及终端
CN107087106A (zh) * 2017-04-19 2017-08-22 深圳市金立通信设备有限公司 一种拍摄方法和终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810715B2 (en) * 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101068342A (zh) * 2007-06-05 2007-11-07 西安理工大学 基于双摄像头联动结构的视频运动目标特写跟踪监视方法
CN102045501A (zh) * 2009-10-09 2011-05-04 索尼公司 图像处理装置和方法以及程序
CN102006461A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 摄像机联合跟踪检测系统
JP2014057261A (ja) * 2012-09-13 2014-03-27 Olympus Corp 画像生成装置、画像生成方法、撮像装置、および撮像方法
CN104301669A (zh) * 2014-09-12 2015-01-21 重庆大学 基于双摄像头协同的可疑目标检测跟踪与识别方法
CN105827952A (zh) * 2016-02-01 2016-08-03 维沃移动通信有限公司 一种去除指定对象的拍照方法及移动终端
CN106210542A (zh) * 2016-08-16 2016-12-07 深圳市金立通信设备有限公司 一种照片合成的方法及终端
CN107087106A (zh) * 2017-04-19 2017-08-22 深圳市金立通信设备有限公司 一种拍摄方法和终端

Also Published As

Publication number Publication date
CN107566724A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
CN107197169B (zh) 一种高动态范围图像拍摄方法及移动终端
CN106060406B (zh) 一种拍照方法及移动终端
US10136069B2 (en) Apparatus and method for positioning image area using image sensor location
CN107172346B (zh) 一种虚化方法及移动终端
CN107317993B (zh) 一种视频通话方法及移动终端
CN107613203B (zh) 一种图像处理方法及移动终端
CN109407936B (zh) 截图方法及相关装置
CN106027900A (zh) 一种拍照方法及移动终端
CN106937055A (zh) 一种图像处理方法及移动终端
CN106993091B (zh) 一种图像虚化方法及移动终端
CN105827965A (zh) 一种基于移动终端的图像处理方法及移动终端
CN107509030B (zh) 一种对焦方法及移动终端
CN106454086B (zh) 一种图像处理方法和移动终端
CN104994287B (zh) 一种基于广角摄像头的拍摄方法及移动终端
CN107659769A (zh) 一种拍摄方法、第一终端及第二终端
CN107566724B (zh) 一种全景图像拍摄方法及移动终端
CN107483821B (zh) 一种图像处理方法及移动终端
CN105827963B (zh) 一种拍照过程中场景变化检测方法及移动终端
EP4195664A1 (en) Image processing method, mobile terminal, and storage medium
CN112565613B (zh) 预览图像显示控制方法、装置、电子设备及介质
CN106097398B (zh) 一种运动对象的检测方法及移动终端
CN106331497A (zh) 一种图像处理方法及终端
CN107592458B (zh) 一种拍摄方法及移动终端
CN112911147A (zh) 显示控制方法、显示控制装置及电子设备
CN107222681B (zh) 一种图像数据的处理方法和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant