CN104657423A - 应用间内容分享方法及其装置 - Google Patents

应用间内容分享方法及其装置 Download PDF

Info

Publication number
CN104657423A
CN104657423A CN201510024475.9A CN201510024475A CN104657423A CN 104657423 A CN104657423 A CN 104657423A CN 201510024475 A CN201510024475 A CN 201510024475A CN 104657423 A CN104657423 A CN 104657423A
Authority
CN
China
Prior art keywords
application
candidate
snapshot picture
image
subimage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510024475.9A
Other languages
English (en)
Other versions
CN104657423B (zh
Inventor
白天
诸葛越
牛力彬
肖文良
熊振宇
贾骉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bai Tian
Original Assignee
Beijing He Hui Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing He Hui Information Technology Co Ltd filed Critical Beijing He Hui Information Technology Co Ltd
Priority to CN201510024475.9A priority Critical patent/CN104657423B/zh
Publication of CN104657423A publication Critical patent/CN104657423A/zh
Application granted granted Critical
Publication of CN104657423B publication Critical patent/CN104657423B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/543User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及通信领域,公开了一种应用间内容分享方法及其装置。本发明中的应用间内容分享方法包括以下步骤:第三方应用获取第一应用的截屏图像;第三方应用通过图像分析,从第一应用的截屏图像获取至少一幅候选子图像;第三方应用将各候选子图像中的至少一幅分享到第二应用。本发明可有效消除某些应用间的分享限制,提高应用间信息分享的效率和准确性。

Description

应用间内容分享方法及其装置
技术领域
本发明涉及通信领域,特别涉及应用间内容分享方法及其装置。
背景技术
移动互联网时代,截屏成为了比统一资源定位符(URI)或文字更友好的记录和传播的媒介,因为:
1.截屏是被所有主流设备和平台支持的操作,不需要被截应用支持。比如,Facebook(脸书,一种社交网站)分享按钮不支持分享到Facebook以外的应用,而用户仍然可以用截屏保存自己看到Facebook的内容。
2.截屏所记录的图像,是保存在系统维护的统一存储空间中,可以被用户和所有应用软件(在得到用户授权后)一站式读取。
3.可以连续截屏,再打开目标应用一次性读取;但是不能连续复制,只能每次复制之后立刻打开目标应用粘贴一次,在应用间来回切换。
4.用截屏,比选中、复制、粘贴一长串URI或文字或图片要便捷很多。
5.将截屏图像传播到社交网络中,图像比一长串URI或文字对更吸引阅读者。并且微博等社交网站无法容纳超过140个字符的URI或文字。
目前,将一个应用的截屏图像分享到另一个应用的方法包括:
1.对于支持分享截屏图像到其他应用的应用软件(App),可通过前端App分享按钮(调用系统标准接口或者自己定制)实现。由于不同前端App的功能细节和体验(包括收藏按钮位置)各不相同,从而增加了用户的学习成本。
2.对于不支持分享截屏图像的App,只能通过用户手动保存图片、复制文字、复制链接后,再关闭当前App,打开分享目标App,进行粘贴以完成分享。这一操作比较繁琐,尤其是需要应用间来回切换。且还有些前端App不支持这些操作,比如Instagram不支持保存图片。
以上两种方法操作繁琐,且都没有对截屏图像进行分类和抽取要素的能力。
发明内容
本发明的目的在于提供一种应用间内容分享方法及其装置,有效消除某些应用间的分享限制,提高应用间信息分享的效率和准确性。
为解决上述技术问题,本发明的实施方式公开了一种应用间内容分享方法,包括以下步骤:
第三方应用获取第一应用的截屏图像;
第三方应用通过图像分析,从第一应用的截屏图像获取至少一幅候选子图像;
第三方应用将各候选子图像中的至少一幅分享到第二应用。
本发明的实施方式还公开了一种图像处理方法,包括以下步骤:
第三方应用获取第三应用的截屏图像;
第三方应用通过图像分析,从第三应用的截屏图像获取至少一幅候选子图像;
保存所获取的候选子图像。
本发明的实施方式还公开了一种应用间内容分享装置,包括:
第一获取单元,用于获取第一应用的截屏图像;
第一分析单元,用于通过图像分析,从第一应用的截屏图像获取至少一幅候选子图像;
分享单元,用于将各候选子图像中的至少一幅分享到第二应用。
本发明的实施方式还公开了一种图像处理装置,包括:
第三获取单元,用于获取第三应用的截屏图像;
第二分析单元,用于通过图像分析,从第三应用的截屏图像获取至少一幅候选子图像;
保存单元,用于保存所获取的候选子图像。
本发明实施方式与现有技术相比,主要区别及其效果在于:
可将一个应用的截屏图像中的内容提取后,方便的分享给另一个应用,无需复制粘贴和切换应用,有效消除了某些应用间的分享限制,提高了应用间信息分享的效率。
可将一个应用的截屏图像中的内容进行提取,以方便用户对截屏图像中的内容或截屏图像本身进行保存、分享等操作。
进一步地,将识别出的文字信息和候选子图像组成分享页面供用户编辑,可产生用户需要长期保存并用于索引的部分,方便用户查找图像或分享出想表达的观点。
进一步地,通过确定截屏图像的来源App,可对存储的截屏图像进行分类,方便用户查找和管理截屏图像,同时,有助于后续的图像处理,如根据确定的App的ID来获取候选子图像的抽取模板,然后根据抽取模板来提取候选子图像。
进一步地,通过获取截屏图像对应的完整资源,可方便用户通过链接查看与截屏图像中的内容相关的完整资源。
进一步地,将用户习惯进行分享的App排在前列,放在第三方应用比较突出的位置,可方便用户分享截屏内容,简化分享操作。
附图说明
图1是本发明第一实施方式中一种应用间内容分享方法的流程示意图;
图2是本发明第一实施方式中从一种应用中提取截屏图像中的候选子图像的过程示意图;
图3是本发明第一实施方式中基于应用来源对截屏图像进行分类后在第三方应用中的示意图;
图4是本发明第二实施方式中一种应用间内容分享方法的流程示意图;
图5至图9是本发明第二实施方式中将第一应用截屏图像中的候选子图像和文字分享到第二应用的过程示意图;
图10是本发明第二实施方式中将第一应用多个截屏图像中的候选子图像和文字分享到第二应用的过程示意图;
图11是本发明第四实施方式中一种图像处理方法的流程示意图;
图12是本发明第五实施方式中一种应用间内容分享装置的结构示意图;
图13是本发明第六实施方式中一种应用间内容分享装置的结构示意图;
图14是本发明第七实施方式中一种图像处理装置的结构示意图。
具体实施方式
在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保 护的技术方案。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
本发明第一实施方式涉及一种应用间内容分享方法。图1是该应用间内容分享方法的流程示意图。
具体地,如图1所示,该应用间内容分享方法包括以下步骤:
在步骤101中,第三方应用获取第一应用的截屏图像。
优选地,截屏图像来自移动终端的存储器(如相册目录)。由于移动终端的存储器中可能存储有各种图片,因此需要对图片进行筛选,用户从而可以在第三方应用中浏览、批量选择或删除截屏图像,选择出第一应用的截屏图像。例如,在一优选例中,该步骤101还包括以下子步骤:
通过图像分析,判断获取的图像中是否具有对应应用的特征子区域。
如果判断结果为是,则将获取的该图像作为第一应用的截屏图像。
上述特征子区域可以是一般移动终端应用共有的图像特征,例如状态栏、控件形状、界面整体分布(如内容在正中间,周围为各种控件)等等。
此外,还可以采用其他方式确定是否为截屏图像,例如,在另一优选例中,该步骤101还包括以下子步骤:
根据获取的图像的元数据判断该图像是否为截屏图像。
如果判断结果为是,则将该图像作为第一应用的截屏图像。
在本发明的其他实施方式中,也可以采用其他方式判断获取的图像是否为截屏图像,在此不做限制。
此后进入步骤102,第三方应用通过图像分析,从第一应用的截屏图像获取至少一幅候选子图像。图2示出了对应用Instagram进行截屏,得到截 屏图像后第三方应用抽取出候选子图像的过程,其中,图2a为应用Instagram的截屏图像,图2c表示抽取出的候选子图像。
在该步骤中,可以采用各种方法获取候选子图像,例如,在一优选例中,该步骤102包括以下子步骤:
通过计算第一应用的截屏图像的颜色直方图,获取该截屏图像的背景像素序列;根据获取到的背景像素序列,并基于连通区域分析得到该截屏图像的至少一个背景区块;猜测获得的背景区块中被遮挡的部分并补全,判断得到的背景区块中是否存在候选前景区块;如果判断结果为是,且候选前景区块为自然图像,该前景区块中并没有嵌套其他前景区块,则提取候选前景区块并将候选前景区块做为候选子图像;如果判断结果为是,且候选前景区块中嵌套有其他候选前景区块,则将该前景区块作为背景区块,重新判断并监测其中是否含有前景区块;如果判断结果为是,但是该前景区块不是自然图像,则不将其作为候选子图像;如果判断结果为否,则结束对候选子图像的抽取。
此外,可以理解,在本发明的其他实施方式中,也可以根据其他方法提取候选子图像,例如通过模板匹配的方式(模板在预先设置各个内容位置区域),在此不做限制。
此后进入步骤103,第三方应用将各候选子图像中的至少一幅分享到第二应用。
此后结束本流程。
此外,对于常用的内容分享App,可以提取其截屏图像中的一些特有图像特征作为标识图像特征,用这些标识图像特征来判断截屏图像的来源App(如在所有标识图像特征上建立树状索引以避免逐一对比)。例如,在一优选例中,在上述步骤101之后,还包括以下步骤:
第三方应用通过图像分析,将第一应用的截屏图像中的至少一个图像特 征与已存储的标识图像特征进行匹配。
将匹配度最高的标识图像特征对应的应用标识作为该截屏图像的应用标识。
此外,可以理解,上述图像特征可以是:a.抽取边缘得到的二值轮廓。b.整体色系、设计风格、字体等整体特征。c.应用标识、顶、底栏颜色、分割线尺寸位置、按钮、阴影等特区域局部特征。
在本发明的其他实施方式中,也可以通过其他方式确定截屏图像来自哪个App,比如,如果图像在截屏时已经将表示App的标识ID加入到截屏图像中,则可以根据图像元数据确定截屏图像的来源App。在此不做限制。
通过确定截屏图像的来源App,可对存储的截屏图像进行分类,方便用户查找和管理截屏图像,如图3所示,图中左侧为各应用的名称,右侧显示的是属于这个应用的截图。同时,确定截屏图像的来源App,有助于后续的图像处理,例如,在一优选例中,根据确定的App的ID来获取候选子图像的抽取模板,然后根据抽取模板来提取候选子图像,具体地,上述步骤102包括以下子步骤:
获取与第一应用的截屏图像的应用标识对应的已存储的图像抽取模板。
采用获取的图像抽取模板提取第一应用的截屏图像的至少一幅候选子图像。
此外,将用户习惯进行分享的App排在前列,放在第三方应用比较突出的位置,可方便用户分享截屏内容,简化分享操作。例如,在一优选例中,该应用间内容分享方法还包括以下步骤:
统计多个第二应用被分享候选子图像的次数。
按照次数值的大小在第三方应用中对所有的第二应用进行排序,其中,次数值越大,则与该次数值对应的第二应用的排列越靠前。
此外,可以理解,在本发明的其他实施方式中,也可以以其他方式进行排序,例如使用时间、某一时间段内的使用频率等。
本发明可将一个应用的截屏图像中的内容提取后,方便的分享给另一个应用,无需复制粘贴和切换应用,有效消除了某些应用间的分享限制,提高了应用间信息分享的效率。
本发明第二实施方式涉及一种应用间内容分享方法。图4是该应用间内容分享方法的流程示意图。
第二实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:将识别出的文字信息和候选子图像组成分享页面供用户编辑,可产生用户需要长期保存并用于索引的部分,方便用户查找图像或分享出想表达的观点。
具体地说,如图4所示,该应用间内容分享方法包括以下步骤:
在步骤401中,第三方应用获取第一应用的截屏图像。
此后进入步骤402,第三方应用通过图像分析和文字识别,从第一应用的截屏图像获取至少一段文字。
此后进入步骤403,第三方应用通过图像分析,从第一应用的截屏图像获取至少一幅候选子图像。
此后进入步骤404,将获取的各段文字和各候选子图像构成一个分享页面显示在移动终端的显示屏,并根据来自移动终端的输入装置的输入信号,对该分享页面进行编辑。
此后进入步骤405,第三方应用将各候选子图像中的至少一幅分享到第二应用。其中,该步骤包括以下子步骤:
将经编辑的上述分享页面分享到第二应用。
此后结束本流程。
上述步骤402和403的顺序可以互换。
图5至图9示出了将第一应用(Facebook、Ebay或Amazon)的截屏图像,采用第三方应用抽取出图像和文字,分享到另一应用(Pinterest、Fancy或Twitter)的过程。其中,图5a、图6a、图7a、图8a和图9a分别为第一应用的截屏图像,图5b、图6b、图7b、图8b和图9c为在第三方应用中抽取出的各截屏图像中候选子图像和候选文字的界面图,图5c、图6c、图7c、图8c和图9c为第三方应用将抽取出的分享内容分享到第二应用的界面图。可以看出,图6和图7中用户对第三方应用抽取的文字进行了编辑后才分享给Pinterest的,且如果用户在第一应用(即Facebook)中选中了部分文字,第三方应用提取出的这些文字也是被标亮出来的。图10示出了对于同时截屏第一应用(Twitter)的多个截屏图像,第三方应用分别抽取候选子图像和文字,供用户选择分别分享到第二应用(Pinterest)的过程,从图10b可以看出,具有两个截屏图像的内容需要分享给Pinterest(如图中下方线圈所示)。
本发明第三实施方式涉及一种应用间内容分享方法。
第三实施方式在第一实施方式的基础上进行了改进,主要改进之处在于:通过获取截屏图像对应的完整资源,可方便用户通过链接查看与截屏图像中的内容相关的完整资源。
具体地说,在上述步骤101之后,该应用间内容分享方法还包括以下步骤:
通过图像识别从截屏图像中提取得到粗略片段信息,该粗略片段信息包括从截屏图像中识别出的至少两个字或单词;
根据粗略片段信息查找截屏图像所对应的候选完整资源;
根据候选完整资源确定最终的完整资源,其中,如果候选完整资源的数量多于1个,则从各候选完整资源中选择一个最接近的作为最终的完整资源; 并且,
在上述步骤103中,将各候选子图像中的至少一幅分享到第二应用同时将最终的完整资源的链接分享到第二应用,如图6和图10所示。
此外,可以理解,可通过各种方式根据粗略片段信息查找截屏图像所对应的候选完整资源,例如,在一优选例中,上述根据粗略片段信息查找截屏图像所对应的候选完整资源的步骤包括以下子步骤:
根据粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源;
如果在自建的搜索引擎和资源库中搜索不到候选完整资源,则调用第三方搜索的接口。
本发明第四实施方式涉及一种图像处理方法,图11是该图像处理方法的流程示意图。
具体地说,如图11所示,该图像处理方法包括以下步骤:
在步骤1101中,第三方应用获取第三应用的截屏图像。
优选地,截屏图像来自移动终端的存储器(如相册目录)。由于移动终端的存储器中可能存储有各种图片,因此需要对图片进行筛选,用户从而可以在第三方应用中浏览、批量选择或删除截屏图像,选择出第三应用的截屏图像。例如,在一优选例中,该步骤1101还包括以下子步骤:
通过图像分析,判断获取的图像中是否具有对应应用的特征子区域。
如果判断结果为是,则将获取的该图像作为第三应用的截屏图像。
上述特征子区域可以是一般移动终端应用共有的图像特征,例如状态栏、控件形状、界面整体分布(如内容在正中间,周围为各种控件)等等。
此外,还可以采用其他方式确定是否为截屏图像,例如,在另一优选例中,该步骤1101还包括以下子步骤:
根据获取的图像的元数据判断该图像是否为截屏图像。
如果判断结果为是,则将该图像作为第三应用的截屏图像。
在本发明的其他实施方式中,也可以采用其他方式判断获取的图像是否为截屏图像,在此不做限制。
此后进入步骤1102,第三方应用通过图像分析,从第三应用的截屏图像获取至少一幅候选子图像。
在该步骤中,可以采用各种方法获取候选子图像,例如,在一优选例中,该步骤1102包括以下子步骤:
通过计算第三应用的截屏图像的颜色直方图,获取该截屏图像的背景像素序列;根据获取到的背景像素序列,并基于连通区域分析得到该截屏图像的至少一个背景区块;猜测获得的背景区块中被遮挡的部分并补全,判断得到的背景区块中是否存在候选前景区块;如果判断结果为是,且候选前景区块为自然图像,该前景区块中并没有嵌套其他前景区块,则提取候选前景区块并将候选前景区块做为候选子图像;如果判断结果为是,且候选前景区块中嵌套有其他候选前景区块,则将该前景区块作为背景区块,重新判断并监测其中是否含有前景区块;如果判断结果为是,但是该前景区块不是自然图像,则不将其作为候选子图像;如果判断结果为否,则结束对候选子图像的抽取。
此外,可以理解,在本发明的其他实施方式中,也可以根据其他方法提取候选子图像,例如通过模板匹配的方式(模板在预先设置各个内容位置区域),在此不做限制。
此后进入步骤1103,保存所获取的候选子图像。其中,候选子图像可以保存在网络侧,也可以保存在移动终端内。保存的候选子图像可以给第三应用和第三方应用之外的其它应用使用。例如,在第三应用操作时得到截屏图像,存在移动终端的相册内,第三方应用从相册内获取截屏图像,通过图像 分析得到至少一幅候选子图像,再将这些候选子图像保存到移动终端的相册中,第四应用再从相册中获取这些候选子图像。
此后结束本流程。
此外,对于常用的应用App,可以提取其截屏图像中的一些特有图像特征作为标识图像特征,用这些标识图像特征来判断截屏图像的来源App(如在所有标识图像特征上建立树状索引以避免逐一对比)。例如,在一优选例中,在上述步骤1101之后,还包括以下步骤:
第三方应用通过图像分析,将第三应用的截屏图像中的至少一个图像特征与已存储的标识图像特征进行匹配。
将匹配度最高的标识图像特征对应的应用标识作为该截屏图像的应用标识。
此外,可以理解,上述图像特征可以是:a.抽取边缘得到的二值轮廓。b.整体色系、设计风格、字体等整体特征。c.应用标识、顶、底栏颜色、分割线尺寸位置、按钮、阴影等特区域局部特征。
在本发明的其他实施方式中,也可以通过其他方式确定截屏图像来自哪个App,比如,如果图像在截屏时已经将表示App的标识ID加入到截屏图像中,则可以根据图像元数据确定截屏图像的来源App。在此不做限制。
通过确定截屏图像的来源App,可对存储的截屏图像进行分类,方便用户查找和管理截屏图像。同时,确定截屏图像的来源App,有助于后续的图像处理,例如,在一优选例中,根据确定的App的ID来获取候选子图像的抽取模板,然后根据抽取模板来提取候选子图像。
此外,可以理解,除了获取候选子图像,第三方应用通过图像分析,还可以从第三应用的截屏图像中获取至少一段文字。可将识别出的文字进行编辑或直接作为获取的候选子图像的索引,或将识别出的文字片段和候选子图 像组成分享页面供用户编辑,供用户保持或分享到其他应用中。具体方法参见第二实施方式。
此外,可以理解,除了获取候选子图像和文字片段,还可以获取截屏图像对应的完整资源,方便用户通过链接查看与截屏图像中的内容相关的完整资源。具体获取方法参见上述第三实施方式。
可将一个应用的截屏图像中的内容进行提取,以方便用户对截屏图像中的内容或截屏图像本身进行保存、分享等操作。
本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PROM”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
本发明第五实施方式涉及一种应用间内容分享装置。图12是该应用间内容分享装置的结构示意图。
具体地,如图12所示,该应用间内容分享装置包括:
第一获取单元,用于获取第一应用的截屏图像。
第一分析单元,用于通过图像分析,从第一应用的截屏图像获取至少一幅候选子图像。
分享单元,用于将各候选子图像中的至少一幅分享到第二应用。
匹配单元,用于通过图像分析,将第一应用的截屏图像中的至少一个图像特征与已存储的标识图像特征进行匹配。
标识单元,用于将匹配度最高的标识图像特征对应的应用标识作为该截屏图像的应用标识。
在一优选例中,上述第一分析单元包括以下子单元:
模板抽取子单元,用于获取与第一应用的截屏图像的应用标识对应的已存储的图像抽取模板。
图像提取子单元,用于采用获取的图像抽取模板提取第一应用的截屏图像的至少一幅候选子图像。
第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本发明第六实施方式涉及一种应用间内容分享装置。图13是该应用间内容分享装置的结构示意图。
第五实施方式在第四实施方式的基础上进行了改进,主要改进之处在于:将识别出的文字信息和候选子图像组成分享页面供用户编辑,可产生用户需要长期保存并用于索引的部分,方便用户查找图像或分享出想表达的观点。
具体地说,如图12所示,该应用间内容分享装置包括:
第一获取单元,用于获取第一应用的截屏图像。
第二获取单元,用于通过图像分析和文字识别,从第一应用的截屏图像获取至少一段文字。
第一分析单元,用于通过图像分析,从第一应用的截屏图像获取至少一 幅候选子图像。
编辑单元,用于将获取的各段文字和各候选子图像构成一个分享页面显示在移动终端的显示屏,并根据来自移动终端的输入装置的输入信号,对该分享页面进行编辑。
分享单元,用于将各候选子图像中的至少一幅分享到第二应用。且分享单元包括以下子单元:
编辑分享子单元,用于将经编辑的分享页面分享到第二应用。
第二实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第二实施方式中。
本发明第六实施方式涉及一种应用间内容分享装置。
第六实施方式在第四实施方式的基础上进行了改进,主要改进之处在于:通过获取截屏图像对应的完整资源,可方便用户通过链接查看与截屏图像中的内容相关的完整资源。
具体地说,该应用间内容分享装置还包括以下子单元:
提取单元,用于通过图像识别从截屏图像中提取得到粗略片段信息,该粗略片段信息包括从截屏图像中识别出的至少两个字或单词。
查找单元,用于根据粗略片段信息查找截屏图像所对应的候选完整资源。
确定单元,用于根据候选完整资源确定最终的完整资源,其中,如果候选完整资源的数量多于1个,则从各候选完整资源中选择一个最接近的作为最终的完整资源。
其中,分享单元在将各候选子图像中的至少一幅分享到第二应用的同 时,将最终的完整资源的链接分享到第二应用。
此外,上述查找单元包括以下子单元:
资源搜索子单元,用于根据粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源。
接口调用子单元,用于在自建的搜索引擎和资源库中搜索不到候选完整资源时,调用第三方搜索的接口。
第三实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第三实施方式中。
本发明第七实施方式涉及一种图像处理装置。图14是该图像处理装置的结构示意图。
如图14所示,该图像处理装置包括:
第三获取单元,用于获取第三应用的截屏图像;
第二分析单元,用于通过图像分析,从第三应用的截屏图像获取至少一幅候选子图像;
保存单元,用于保存所获取的候选子图像。
第四实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第四实施方式互相配合实施。第四实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第四实施方式中。
需要说明的是,本发明各设备实施方式中提到的各单元都是逻辑单元,在物理上,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现,这些逻辑单元本身的物理实现方 式并不是最重要的,这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外,为了突出本发明的创新部分,本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是,在本专利的权利要求和说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式,已经对本发明进行了图示和描述,但本领域的普通技术人员应该明白,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (19)

1.一种应用间内容分享方法,其特征在于,包括以下步骤:
第三方应用获取第一应用的截屏图像;
第三方应用通过图像分析,从所述第一应用的截屏图像获取至少一幅候选子图像;
第三方应用将各所述候选子图像中的至少一幅分享到第二应用。
2.根据权利要求1所述的应用间内容分享方法,其特征在于,在所述第三方应用获取第一应用的截屏图像的步骤之后,还包括以下步骤:
第三方应用通过图像分析和文字识别,从所述第一应用的截屏图像获取至少一段文字;
在所述从所述第一应用的截屏图像获取至少一幅候选子图像的步骤之后,还包括以下步骤:
将获取的各段文字和各候选子图像构成一个分享页面显示在移动终端的显示屏,并根据来自移动终端的输入装置的输入信号,对该分享页面进行编辑;
所述第三方应用将各所述候选子图像中的至少一幅分享到第二应用的步骤包括以下子步骤:
将经编辑的分享页面分享到第二应用。
3.根据权利要求1所述的应用间内容分享方法,其特征在于,所述第三方应用获取第一应用的截屏图像的步骤还包括以下子步骤:
通过图像分析,判断获取的图像中是否具有对应应用的特征子区域;
如果判断结果为是,则将获取的该图像作为第一应用的所述截屏图像。
4.根据权利要求1所述的应用间内容分享方法,其特征在于,所述从所述第一应用的截屏图像获取至少一幅候选子图像的步骤包括以下子步骤:
通过计算所述第一应用的截屏图像的颜色直方图,获取该截屏图像的背景像素序列;
根据获取到的背景像素序列,并基于连通区域分析得到该截屏图像的至少一个背景区块;
判断得到的所述背景区块中是否存在候选前景区块;
如果判断结果为是,且所述候选前景区块为自然图像,则提取所述候选前景区块并将所述候选前景区块做为候选子图像。
5.根据权利要求1所述的应用间内容分享方法,其特征在于,在所述第三方应用获取第一应用的截屏图像的步骤之后,还包括以下步骤:
第三方应用通过图像分析,将所述第一应用的截屏图像中的至少一个图像特征与已存储的标识图像特征进行匹配;
将匹配度最高的标识图像特征对应的应用标识作为该截屏图像的应用标识。
6.根据权利要求5所述的应用间内容分享方法,其特征在于,所述从所述第一应用的截屏图像获取至少一幅候选子图像的步骤包括以下子步骤:
获取与所述第一应用的截屏图像的应用标识对应的已存储的图像抽取模板;
采用获取的所述图像抽取模板提取所述第一应用的截屏图像的至少一幅候选子图像。
7.根据权利要求1所述的应用间内容分享方法,其特征在于,在所述第三方应用获取第一应用的截屏图像的步骤之后,还包括以下步骤:
通过图像识别从所述截屏图像中提取得到粗略片段信息,该粗略片段信息包括从截屏图像中识别出的至少两个字或单词;
根据所述粗略片段信息查找所述截屏图像所对应的候选完整资源;
根据候选完整资源确定最终的完整资源,其中,如果候选完整资源的数量多于1个,则从各候选完整资源中选择一个最接近的作为最终的完整资源。
8.根据权利要求7所述的应用间内容分享方法,其特征在于,所述根据粗略片段信息查找所述截屏图像所对应的候选完整资源的步骤包括以下子步骤:
根据所述粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源;
如果在自建的搜索引擎和资源库中搜索不到候选完整资源,则调用第三方搜索的接口。
9.根据权利要求7或8所述的应用间内容分享方法,其特征在于,在所述第三方应用将各所述候选子图像中的至少一幅分享到第二应用的步骤中,同时将所述最终的完整资源的链接分享到第二应用。
10.根据权利要求1至8中任一项所述的应用间内容分享方法,其特征在于,还包括以下步骤:
统计多个所述第二应用被分享候选子图像的次数;
按照所述次数值的大小在第三方应用中对所有的第二应用进行排序,其中,所述次数值越大,则与该次数值对应的第二应用的排列越靠前。
11.一种图像处理方法,其特征在于,包括以下步骤:
第三方应用获取第三应用的截屏图像;
第三方应用通过图像分析,从所述第三应用的截屏图像获取至少一幅候选子图像;
保存所获取的所述候选子图像。
12.一种应用间内容分享装置,其特征在于,包括:
第一获取单元,用于获取第一应用的截屏图像;
第一分析单元,用于通过图像分析,从所述第一应用的截屏图像获取至少一幅候选子图像;
分享单元,用于将各所述候选子图像中的至少一幅分享到第二应用。
13.根据权利要求12所述的应用间内容分享装置,其特征在于,还包括以下单元:
第二获取单元,用于通过图像分析和文字识别,从所述第一应用的截屏图像获取至少一段文字;
编辑单元,用于将获取的各段文字和各候选子图像构成一个分享页面显示在移动终端的显示屏,并根据来自移动终端的输入装置的输入信号,对该分享页面进行编辑;
且所述分享单元包括以下子单元:
编辑分享子单元,用于将经编辑的分享页面分享到第二应用。
14.根据权利要求12所述的应用间内容分享装置,其特征在于,还包括以下单元:
匹配单元,用于通过图像分析,将所述第一应用的截屏图像中的至少一个图像特征与已存储的标识图像特征进行匹配;
标识单元,用于将匹配度最高的标识图像特征对应的应用标识作为该截屏图像的应用标识。
15.根据权利要求14所述的应用间内容分享装置,其特征在于,所述第一分析单元包括以下子单元:
模板抽取子单元,用于获取与所述第一应用的截屏图像的应用标识对应的已存储的图像抽取模板;
图像提取子单元,用于采用获取的所述图像抽取模板提取所述第一应用的截屏图像的至少一幅候选子图像。
16.根据权利要求12所述的应用间内容分享装置,其特征在于,还包括以下子单元:
提取单元,用于通过图像识别从所述截屏图像中提取得到粗略片段信息,该粗略片段信息包括从截屏图像中识别出的至少两个字或单词;
查找单元,用于根据所述粗略片段信息查找所述截屏图像所对应的候选完整资源;
确定单元,用于根据候选完整资源确定最终的完整资源,其中,如果候选完整资源的数量多于1个,则从各候选完整资源中选择一个最接近的作为最终的完整资源。
17.根据权利要求16所述的应用间内容分享装置,其特征在于,所述查找单元包括以下子单元:
资源搜索子单元,用于根据所述粗略片段信息在自建的搜索引擎和资源库中搜索候选完整资源;
接口调用子单元,用于在自建的搜索引擎和资源库中搜索不到候选完整资源时,调用第三方搜索的接口。
18.根据权利要求16或17所述的应用间内容分享装置,其特征在于,所述分享单元在将各所述候选子图像中的至少一幅分享到第二应用的同时,将所述最终的完整资源的链接分享到第二应用。
19.一种图像处理装置,其特征在于,包括:
第三获取单元,用于获取第三应用的截屏图像;
第二分析单元,用于通过图像分析,从所述第三应用的截屏图像获取至少一幅候选子图像;
保存单元,用于保存所获取的所述候选子图像。
CN201510024475.9A 2015-01-16 2015-01-16 应用间内容分享方法及其装置 Expired - Fee Related CN104657423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510024475.9A CN104657423B (zh) 2015-01-16 2015-01-16 应用间内容分享方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510024475.9A CN104657423B (zh) 2015-01-16 2015-01-16 应用间内容分享方法及其装置

Publications (2)

Publication Number Publication Date
CN104657423A true CN104657423A (zh) 2015-05-27
CN104657423B CN104657423B (zh) 2018-07-06

Family

ID=53248551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510024475.9A Expired - Fee Related CN104657423B (zh) 2015-01-16 2015-01-16 应用间内容分享方法及其装置

Country Status (1)

Country Link
CN (1) CN104657423B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808362A (zh) * 2016-03-08 2016-07-27 浙江工业大学 一种通用的自动对接任意第三方程序的通信方法
CN105867902A (zh) * 2015-12-29 2016-08-17 乐视移动智能信息技术(北京)有限公司 一种多媒体信息的分享方法及装置
CN105897824A (zh) * 2015-11-17 2016-08-24 乐视网信息技术(北京)股份有限公司 提示文案的分享、配置方法、装置和分享系统
CN105893498A (zh) * 2016-03-30 2016-08-24 努比亚技术有限公司 一种实现截屏的方法和装置、查找图片的方法和装置
CN106250213A (zh) * 2015-09-18 2016-12-21 北京智谷睿拓技术服务有限公司 提示方法和设备
CN106775625A (zh) * 2016-11-15 2017-05-31 北京金山安全软件有限公司 一种截屏图片的分享方法、装置及电子设备
CN106791111A (zh) * 2016-12-23 2017-05-31 努比亚技术有限公司 一种图像分享方法、装置及终端
CN106776614A (zh) * 2015-11-20 2017-05-31 北京国双科技有限公司 分享平台的显示方法及装置
CN107025051A (zh) * 2016-01-29 2017-08-08 广州市动景计算机科技有限公司 信息嵌入方法、装置和客户端设备
CN107180049A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 搜索方法及装置
WO2017193496A1 (zh) * 2016-08-19 2017-11-16 华为技术有限公司 应用数据的处理方法、装置和终端设备
CN107678644A (zh) * 2017-09-18 2018-02-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107977652A (zh) * 2017-12-21 2018-05-01 维沃移动通信有限公司 一种屏幕显示内容的提取方法及移动终端
CN108008874A (zh) * 2017-11-20 2018-05-08 维沃移动通信有限公司 移动终端的数据处理方法、装置及移动终端
CN109308337A (zh) * 2018-08-02 2019-02-05 北京天元创新科技有限公司 页面分享方法和装置
CN110168566A (zh) * 2017-11-28 2019-08-23 华为技术有限公司 一种识别截图文字的方法及终端
CN110366041A (zh) * 2019-07-17 2019-10-22 百度在线网络技术(北京)有限公司 媒体数据分享方法、装置及设备
CN110580486A (zh) * 2018-06-07 2019-12-17 阿里巴巴集团控股有限公司 一种数据处理方法、装置、电子设备和可读介质
CN110673886A (zh) * 2018-07-03 2020-01-10 百度在线网络技术(北京)有限公司 用于生成热力图的方法和装置
WO2021098263A1 (zh) * 2020-03-17 2021-05-27 百度在线网络技术(北京)有限公司 应用程序的分享方法及装置、电子设备、可读介质
CN112955911A (zh) * 2018-10-08 2021-06-11 谷歌有限责任公司 数字图像分类和注释
CN113918060A (zh) * 2021-09-06 2022-01-11 荣耀终端有限公司 应用管理方法和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508843A (zh) * 2011-09-23 2012-06-20 上海量明科技发展有限公司 具有微博发布功能的截图方法及系统
CN102855059A (zh) * 2012-08-21 2013-01-02 东莞宇龙通信科技有限公司 终端和信息分享方法
CN102968625A (zh) * 2012-12-14 2013-03-13 南京思创信息技术有限公司 基于轨迹的船舶识别与跟踪方法
CN103020650A (zh) * 2012-11-23 2013-04-03 Tcl集团股份有限公司 一种台标识别方法及装置
WO2013168089A3 (en) * 2012-05-07 2014-01-30 MALAVIYA, Rakesh Changing states of computer program, game, or mobile app based on real time non-verbal cues of user
CN104021174A (zh) * 2014-05-30 2014-09-03 北京合辉信息技术有限公司 根据片段图像获取完整资源的方法、系统与应用
US8928776B2 (en) * 2012-11-21 2015-01-06 International Business Machines Corporation Camera resolution modification based on intended printing location

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508843A (zh) * 2011-09-23 2012-06-20 上海量明科技发展有限公司 具有微博发布功能的截图方法及系统
WO2013168089A3 (en) * 2012-05-07 2014-01-30 MALAVIYA, Rakesh Changing states of computer program, game, or mobile app based on real time non-verbal cues of user
CN102855059A (zh) * 2012-08-21 2013-01-02 东莞宇龙通信科技有限公司 终端和信息分享方法
US8928776B2 (en) * 2012-11-21 2015-01-06 International Business Machines Corporation Camera resolution modification based on intended printing location
CN103020650A (zh) * 2012-11-23 2013-04-03 Tcl集团股份有限公司 一种台标识别方法及装置
CN102968625A (zh) * 2012-12-14 2013-03-13 南京思创信息技术有限公司 基于轨迹的船舶识别与跟踪方法
CN104021174A (zh) * 2014-05-30 2014-09-03 北京合辉信息技术有限公司 根据片段图像获取完整资源的方法、系统与应用

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250213A (zh) * 2015-09-18 2016-12-21 北京智谷睿拓技术服务有限公司 提示方法和设备
CN105897824A (zh) * 2015-11-17 2016-08-24 乐视网信息技术(北京)股份有限公司 提示文案的分享、配置方法、装置和分享系统
CN106776614A (zh) * 2015-11-20 2017-05-31 北京国双科技有限公司 分享平台的显示方法及装置
CN105867902A (zh) * 2015-12-29 2016-08-17 乐视移动智能信息技术(北京)有限公司 一种多媒体信息的分享方法及装置
CN107025051B (zh) * 2016-01-29 2020-10-16 阿里巴巴(中国)有限公司 信息嵌入方法、装置和客户端设备
CN107025051A (zh) * 2016-01-29 2017-08-08 广州市动景计算机科技有限公司 信息嵌入方法、装置和客户端设备
CN105808362A (zh) * 2016-03-08 2016-07-27 浙江工业大学 一种通用的自动对接任意第三方程序的通信方法
CN107180049B (zh) * 2016-03-11 2020-12-18 阿里巴巴集团控股有限公司 搜索方法及装置
CN107180049A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 搜索方法及装置
CN105893498B (zh) * 2016-03-30 2019-05-21 努比亚技术有限公司 一种实现截屏的方法和装置、查找图片的方法和装置
CN105893498A (zh) * 2016-03-30 2016-08-24 努比亚技术有限公司 一种实现截屏的方法和装置、查找图片的方法和装置
WO2017166953A1 (zh) * 2016-03-30 2017-10-05 努比亚技术有限公司 实现截屏及显示图片的方法、装置、移动终端及存储介质
WO2017193496A1 (zh) * 2016-08-19 2017-11-16 华为技术有限公司 应用数据的处理方法、装置和终端设备
CN109328329A (zh) * 2016-08-19 2019-02-12 华为技术有限公司 应用数据的处理方法、装置和终端设备
CN106775625A (zh) * 2016-11-15 2017-05-31 北京金山安全软件有限公司 一种截屏图片的分享方法、装置及电子设备
CN106791111A (zh) * 2016-12-23 2017-05-31 努比亚技术有限公司 一种图像分享方法、装置及终端
CN107678644A (zh) * 2017-09-18 2018-02-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107678644B (zh) * 2017-09-18 2020-06-02 维沃移动通信有限公司 一种图像处理方法及移动终端
CN108008874B (zh) * 2017-11-20 2020-05-19 维沃移动通信有限公司 移动终端的数据处理方法、装置及移动终端
CN108008874A (zh) * 2017-11-20 2018-05-08 维沃移动通信有限公司 移动终端的数据处理方法、装置及移动终端
CN110168566A (zh) * 2017-11-28 2019-08-23 华为技术有限公司 一种识别截图文字的方法及终端
CN110168566B (zh) * 2017-11-28 2021-12-14 华为技术有限公司 一种识别截图文字的方法及终端
CN107977652A (zh) * 2017-12-21 2018-05-01 维沃移动通信有限公司 一种屏幕显示内容的提取方法及移动终端
CN110580486A (zh) * 2018-06-07 2019-12-17 阿里巴巴集团控股有限公司 一种数据处理方法、装置、电子设备和可读介质
CN110580486B (zh) * 2018-06-07 2024-04-12 斑马智行网络(香港)有限公司 一种数据处理方法、装置、电子设备和可读介质
CN110673886A (zh) * 2018-07-03 2020-01-10 百度在线网络技术(北京)有限公司 用于生成热力图的方法和装置
CN110673886B (zh) * 2018-07-03 2023-10-03 百度在线网络技术(北京)有限公司 用于生成热力图的方法和装置
CN109308337A (zh) * 2018-08-02 2019-02-05 北京天元创新科技有限公司 页面分享方法和装置
CN112955911A (zh) * 2018-10-08 2021-06-11 谷歌有限责任公司 数字图像分类和注释
CN110366041A (zh) * 2019-07-17 2019-10-22 百度在线网络技术(北京)有限公司 媒体数据分享方法、装置及设备
WO2021098263A1 (zh) * 2020-03-17 2021-05-27 百度在线网络技术(北京)有限公司 应用程序的分享方法及装置、电子设备、可读介质
CN113918060A (zh) * 2021-09-06 2022-01-11 荣耀终端有限公司 应用管理方法和电子设备
CN113918060B (zh) * 2021-09-06 2023-10-24 荣耀终端有限公司 应用管理方法和电子设备

Also Published As

Publication number Publication date
CN104657423B (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
CN104657423A (zh) 应用间内容分享方法及其装置
CN104077341B (zh) 即时通讯中生成关键词自动回复映射关系的方法和装置
US9219830B1 (en) Methods and systems for page and spread arrangement in photo-based projects
CN104636445B (zh) 截屏图像的处理和分组操作方法及其装置
CN105279535B (zh) 一种识别码智能分析处理系统及其处理方法
CN104021174A (zh) 根据片段图像获取完整资源的方法、系统与应用
CN102148805B (zh) 特征匹配方法和装置
CN108334508B (zh) 网页信息的提取方法和装置
CN105096363A (zh) 一种编辑图片的方法及图片编辑装置
CN105446572A (zh) 一种用于屏幕显示设备的文字编辑方法及装置
CN103530114A (zh) 一种图片管理方法和装置
CN110245069A (zh) 页面版本的测试方法和装置、页面的展示方法和装置
US20180173381A1 (en) Shared User Driven Clipping of Multiple Web Pages
CN102332001A (zh) 一种视频缩略图生成方法及装置
US20150278248A1 (en) Personal Information Management Service System
CN106407358B (zh) 一种图像搜索方法、装置及移动终端
CN111831815B (zh) 问卷显示的控制方法、装置、存储介质和电子设备
CN109697129A (zh) 一种信息分享方法、设备及计算机可读存储介质
CN102624770A (zh) 信息摘录方法及基于云计算的摘录信息网络存储管理系统
CN110929058B (zh) 商标图片的检索方法、装置、存储介质及电子装置
CN105183829A (zh) 一种图片分类方法和装置
CN104808891A (zh) 一种页面信息的处理方法及装置
CN107133204B (zh) 一种终端快捷输入方法
CN104090924B (zh) 一种隐私数据的清理方法和装置
CN104657991A (zh) 一种图片处理的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151012

Address after: 100102 Beijing city Chaoyang District Lize 6 West Hospital No. 9 Building 1 unit 2505

Applicant after: Bai Tian

Address before: 100085, A, room 8, block 28, information road, No. 1, Beijing, Haidian District, China. 08A

Applicant before: Beijing Hehui Information Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180706

Termination date: 20220116