CN110166790B - 一种具有人脸识别的照片直播系统及其方法 - Google Patents

一种具有人脸识别的照片直播系统及其方法 Download PDF

Info

Publication number
CN110166790B
CN110166790B CN201910442068.8A CN201910442068A CN110166790B CN 110166790 B CN110166790 B CN 110166790B CN 201910442068 A CN201910442068 A CN 201910442068A CN 110166790 B CN110166790 B CN 110166790B
Authority
CN
China
Prior art keywords
photo
face recognition
server
playing terminal
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910442068.8A
Other languages
English (en)
Other versions
CN110166790A (zh
Inventor
宋端磊
钱龙
林吉炫
苏聪厚
田永胜
接志蒙
路峰
袁成彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Gongzhi Technology Co ltd
Original Assignee
Shanxi Gongzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Gongzhi Technology Co ltd filed Critical Shanxi Gongzhi Technology Co ltd
Priority to CN201910442068.8A priority Critical patent/CN110166790B/zh
Publication of CN110166790A publication Critical patent/CN110166790A/zh
Application granted granted Critical
Publication of CN110166790B publication Critical patent/CN110166790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种具有人脸识别的照片直播系统及其方法。该系统包括服务器、云储存系统、播放终端和人脸识别系统;所述服务器用于将照片发送给云储存系统进行储存;以及用于响应播放终端的人脸识别特征和具有相同人脸识别特征照片的访问请求,从第一数据库进行查询,将查询结果发送播放终端;所述人脸识别系统用于响应服务器发出的人脸识别的处理请求,将照片的人脸识别特征返回给服务器;所述播放终端用于根据所述查询结果显示人脸识别特征、人脸图像、照片和/或照片合集。本发明实现了海量照片的即时上传、即时浏览,并解决了高并发、高访问、高下载导致的问题,以及实现照片的即时性人脸识别,从而实现照片直播。

Description

一种具有人脸识别的照片直播系统及其方法
技术领域
本发明涉及一种具有人脸识别的照片直播系统及其方法。
背景技术
随着相机的普及,对照片获取的即时性的需求逐渐强烈。例如在新闻事件现场,需要快速将相机拍摄的照片传输给办公室中的同事,快速出新闻。例如一些大型知名品牌公司的活动,公关稿其实早就准备出来了,但是照片一定要等到摄影师拍完拔卡导出修完了之后才能拿到,活动照片总不能及时处理,用户不能及时收到满意的照片,一旦摄影师删除没有备份也永远无法找回。
目前,为了实现会议、活动所拍得照片的共享,往往采用相互间通过人工发送的方式来实现,例如拍摄者会将照片通过微信、微博一张张转发给其他人,这种人工发送方式费时费力。
云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。相关技术中,云相册被广大用户所使用,用户可以将照片或照片保存到云相册中,在需要观看和使用云相册时获取云相册中的照片。
但在云相册使用过程中,用户只能通过电脑将照片或照片直接上传到云相册中,而且上传后,用户也能自己查看照片,无法实现共享观看,尤其会议场景拍摄海量照片,上传海量照片时容易云储存系统出现网络系统崩溃的问题,无法真正实现海量照片的即时上传下载。
发明内容
针对现有技术中的缺陷,本发明提供了一种具有人脸识别的照片直播系统及其方法。本发明的照片直播系统及其方法,实现了海量照片的即时上传下载、千万用户的即时浏览和分享,并解决了高并发、高访问、高下载导致的照片上传和下载照片出现速度慢,网络、云储存系统崩溃的问题,以及如何实现照片的即时性人脸识别,大幅减少等待人脸识别时间,从而实现照片直播。
根据本发明的一个方面,本发明提供了一种具有人脸识别的照片直播系统,该系统包括服务器、云储存系统、播放终端和人脸识别系统;
所述服务器用于将照片发送给云储存系统,在照片储存完成后,所述云储存系统将照片储存地址信息返回给服务器;所述服务器用于将人脸识别特征与直播间信息、照片储存地址信息进行第二关联并保存至第一数据库;以及用于响应播放终端的访问请求,根据第二关联从第一数据库查询人脸识别特征和/或具有相同人脸识别特征的照片储存地址信息,将查询结果发送播放终端;
所述人脸识别系统用于响应服务器发出的人脸识别的处理请求,访问照片储存地址和获取照片,对照片进行人脸识别处理并将照片的人脸识别特征返回给服务器;
所述播放终端用于向服务器发出照片的人脸识别特征和/或具有相同人脸识别特征的照片的访问请求,根据所述查询结果显示人脸识别特征、人脸图像、拼接图、照片和/或照片合集,优选地,所述照片合集以图片相册、短视频或动态图片的形式进行显示;
优选地,所述智能传图设备用于选择直播间并接收相机拍摄的照片,将照片与直播间信息进行第一关联,然后将照片与直播间信息上传至服务器。
其中,所述人脸识别系统包括:
第二数据库,用于存储照片及其人脸识别特征信息;
人脸信息处理模块,用于接收人脸识别模块发送的人脸识别特征信息,在第二数据库查询和/或更新人脸识别特征信息,判断照片中的人是否有新人,若有则将照片保存到人脸数据库,若否,不保存照片;以及将人脸信息处理结果返回至人脸识别模块和/或服务器;
人脸识别模块,用于对照片进行人脸识别,将人脸识别特征信息发送给人脸信息处理模块和/或服务器。
其中,所述播放终端用于选择照片直播间内的照片,向服务器发送该选定照片的人脸识别特征的访问请求,所述服务器用于根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
所述播放终端用于选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器用于根据人脸识别特征、第二关联从第一数据库查询关联照片的信息,然后发送给播放终端,所述播放终端判断照片直播间是否有关联照片的缓存;若有,直接加载并显示关联照片;若否,所述播放终端根据照片储存地址信息从云储存系统下载关联照片,显示关联照片的人脸识别特征、人脸图像、照片和/或照片合集。
其中,所述播放终端用于选择照片直播间内的照片的缩略图,所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求;所述服务器用于根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
在所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求之前或同时,所述播放终端用于向服务器发送加载照片的大图或原图的请求,获取照片在云储存系统的储存地址信息,然后根据照片储存地址信息从云储存系统下载照片的大图或原图,大图或原图与人脸图像同时进行显示;
所述播放终端用于选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器用于根据人脸识别特征、第二关联从第一数据库查询关联照片的储存地址信息,然后发送给播放终端;所述播放终端判断照片直播间是否有关联照片的缩略图的缓存;若有,直接加载并显示该关联照片的缩略图;若否,播放终端则根据照片储存地址信息从云储存系统下载关联照片的缩略图,显示所述关联照片的缩略图,或进一步下载大图或原图。
其中,所述播放终端用于输入照片的个人信息并发送给服务器;服务器用于将个人信息与人脸识别特征、直播间信息、照片储存地址信息进行第三关联并保存至第一数据库。
其中,所述智能传图设备为安装有APP的智能手机;所述APP设置有传输图像的尺寸、质量的管理模块以及直播间模块,所述管理模块用于基于预设图像尺寸、质量对照片进行压缩处理,直播间模块用于在直播间内接收相机拍摄的照片,将照片与直播间信息进行信息关联;
所述服务器为云端服务器或独立服务器。
其中,所述云储存系统包括:照片判断单元、照片路径计算单元、照片缓存单元、照片长期存储单元以及照片编辑单元,其中,
所述照片判断单元用于接收、分发海量照片访问请求,并进行照片存在性查询判断;
所述照片路径计算单元用于计算并提供到达播放终端的最短照片传输路径;
所述照片缓存单元用于加快照片的读写速度,以及缓存经照片编辑单元处理的结果照片;
所述照片长期存储单元用于为所述照片直播提供原始形态的照片;
所述照片编辑单元用于根据计算压力在海量的计算节点之间进行负载均衡,按访问请求附带的照片处理需求对输入的原始照片进行相应处理,并作为输出写入到照片缓存单元;
优选地,所述照片判断单元还用于判断访问请求的照片是否已经存在于照片缓存单元中;若存在,则直接读取并返回给服务器和/或播放终端;若不存在,将目标照片从照片长期存储单元提升到照片缓存单元,再读取并返回给服务器和/或播放终端,优选地,在将目标照片从照片长期存储单元提升到照片缓存单元之前,根据访问请求中是否包含照片编辑规则描述,确定是否经由照片编辑单元变换成符合最终需求的照片。
在本发明的另一方面,本发明还提供了一种具有人脸识别的照片直播方法,
服务器将照片发送给云储存系统,在照片储存完成后,所述云储存系统将照片储存地址信息返回给服务器;
人脸识别系统响应服务器发出的人脸识别的处理请求,访问照片储存地址和获取照片,对照片进行人脸识别处理并将照片的人脸识别特征返回给服务器;所述服务器将人脸识别特征与直播间信息、照片储存地址信息进行第二关联并保存至第一数据库;
播放终端向服务器发出照片的人脸识别特征和/或具有相同人脸识别特征的照片的访问请求;所述服务器响应播放终端的访问请求,根据第二关联从第一数据库查询人脸识别特征和/或具有相同人脸识别特征的照片储存地址信息,将查询结果发送播放终端;播放终端根据所述查询结果显示人脸识别特征、人脸图像、照片和/或照片合集,优选地,所述照片合集以图片相册、拼接图、短视频或动态图片的形式进行显示;
优选地,智能传图设备选择直播间并接收相机拍摄的照片,将照片与直播间信息进行第一关联,然后将照片与直播间信息上传至服务器。
其中,第二数据库,存储照片及其人脸识别特征信息;
人脸信息处理模块,接收人脸识别模块发送的人脸识别特征信息,在第二数据库查询和/或更新人脸识别特征信息,判断照片中的人是否有新人,若有,则将照片保存到人脸数据库,若否,不保存照片;以及将人脸信息处理结果返回至人脸识别模块和/或服务器;
人脸识别模块,对照片进行人脸识别,将人脸识别特征信息发送给人脸信息处理模块和/或服务器。
其中,所述播放终端选择照片直播间内的照片,向服务器发送该选定照片的人脸识别特征的访问请求,所述服务器用于根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
所述播放终端选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器用于根据人脸识别特征、第二关联从第一数据库查询关联照片的储存地址信息,然后发送给播放终端,所述播放终端判断照片直播间是否有关联照片的缓存;若有,直接加载并显示关联照片;若否,所述播放终端根据照片储存地址信息从云储存系统下载关联照片,显示关联照片的人脸识别特征、人脸图像、照片和/或照片合集。
其中,所述播放终端选择照片直播间内的照片的缩略图,所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求;所述服务器根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
在所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求之前或同时,所述播放终端向服务器发送加载照片的大图或原图的请求,获取照片在云储存系统的储存地址信息,然后根据照片储存地址信息从云储存系统下载照片的大图或原图,大图或原图与人脸图像同时进行显示;
所述播放终端选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器根据人脸识别特征、第二关联从第一数据库查询关联照片的信息,然后发送给播放终端;所述播放终端判断照片直播间是否有关联照片的缩略图的缓存;若有,直接加载并显示该关联照片的缩略图;若否,播放终端则根据照片储存地址信息从云储存系统下载关联照片的缩略图,显示所述关联照片的缩略图,或进一步下载大图或原图。
其中,所述播放终端输入照片的个人信息并发送给服务器;服务器将个人信息与人脸识别特征、直播间信息、照片储存地址信息进行第三关联并保存至第一数据库。
其中,所述智能传图设备为安装有APP的智能手机;所述APP设置有传输图像的尺寸、质量的管理模块以及直播间模块,所述管理模块基于预设图像尺寸、质量对照片进行压缩处理,直播间模块在直播间内接收相机拍摄的照片,将照片与直播间信息进行信息关联;
所述服务器为云端服务器或独立服务器。
其中,云储存系统包括判断单元,
(1)在照片判断单元中配置运行环境;优选地,在所述照片判断单元配置迁移照片的存储空间,在所述照片判断单元配置服务器和/或播放终端的访问模式和访问地址,将所述服务器和/或播放终端的原域名解析指向配置完成的照片判断单元,将原先直接指向服务器和/或播放终端的照片访问调整到统一通过照片判断单元进行访问;
(2)判断单元响应服务器和/或播放终端对照片的访问请求优选地,所述判断单元判断访问请求的照片是否已经存在于照片缓存单元中,若存在,则直接读取并返回给服务器和/或播放终端;若不存在,将目标照片从照片长期存储单元提升到照片缓存单元,再读取并返回给服务器和/或播放终端,优选地,在将目标照片从照片长期存储单元提升到照片缓存单元之前,根据访问请求中是否包含照片编辑规则描述,确定是否经由照片编辑单元变换成符合最终需求的照片。
在本发明的另一方面,本发明还提供一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述的照片直播方法。
与现有技术相比,本发明具有如下优点:
(1)本发明的照片直播系统及其方法,当专业摄影师按下快门,照片就自动传输到云储存系统,供现场用户即时浏览和分享,全过程只需3-10秒钟。可以为把人拍(修)得很美并及时交付,同时支持微信朋友圈、微博其它网站的播放终端显示分享,提升客户的体验,实现时海量照片的即时上传下载、即时浏览和分享,使照片直播真正成为一个新物种,制造了摄影行业新的优势,与非传统摄影服务相比产生质的变化,真正实现照片直播,开创了即时摄影品类。
(2)发明人发现:在照片直播时,直播间经常上传几千张照片,多则达到上万张,在照片直播时,少则十几万,多则几百万用户观看,而且每张照片均需对应一个保存地址,每个用户、每张照片的观看都需都需要提交一次请问请求和一次下载,还有照片直播平台每天有几百场,甚至上千场活动,照片在不同直播间分发、下载,在短时间内直播间经常出现上亿次的访问请求和下载观看,照片的高并发、高访问、高下载,导致直播间网络、云储存系统崩溃,不能正常上传照片和下载观看。
发明人通过创造性的开发,将相机、智能传图设备、云储存系统、人脸识别系统和播放终端有机集成大系统,智能传图设备确定上传的目标直播间并接收照片,并将照片与目标直播间信息进行信息关联,再将照片与目标直播间信息上传至服务器,服务器再单独将照片转发到云储存系统,云储存系统将照片储存地址信息返回给服务器;而服务器将直播间信息、照片储存地址信息、关联信息保存至数据库;从而实现新拍摄的照片快速准确地同步到多个直播间集册中的目标直播间,同时又能建立关联。
在观众观看直播时,服务器通过关联快速确定目标直播间,同时获取照片储存地址信息、直播间信息等,通过云储存系统下载照片,将直播间的照片同步到目标直播间中,真正实现照片直播,从而克服了照片直播系统无法匹配海量照片处理、数据传输的高延时等问题,提高照片直播的安全性、稳定性,同时又能保证海量照片访问请求和下载,实现不同直播间的相册分类管理,以及实现同一直播间内海量照片的实时上传和同步管理,满足照片直播的海量观看需求。
(3)本发明在照片直播过程中,所述人脸识别系统对照片进行即时人脸识别,然后所述服务器将人脸识别特征与直播间信息、照片储存地址信息进行第二关联并保存至数据库,播放终端根据所述检索结果显示人脸识别特征、人脸头像、具有相同人脸识别特征的照片等,从而实现人脸识别的前置处理或即时处理,在直播过程中所有照片即时进行人脸识别并保存归档人脸识别信息,当后续有大量用户使用照片人脸识别功能时,能够迅速调取人脸识别特征,省去人脸识别操作的等待时间,同时又能保持照片直播的即时性。
现有专属图片相册,需要将多张图片保存同一个相册下,观看照片时,需要访问相册时,然后下载显示。而本发明通过人脸识别操作,可以在照片加载后快速生成个人的专属图片相册,照片中的每一个都可对应显示一个专属图片相册,不需要在储存系统建立多个专属相册,从而避免在现有相册和方法造成专属相册数量剧增、储存困难,无法实现照片即时直播和即时人脸识别。
(4)本发明的人脸识别系统,接收人脸识别模块发送的人脸识别特征信息,在第二数据库查询和/或更新人脸识别特征信息,判断照片中的人是否有新人,然后进行确定是否保存照片,大量部分照片保存于云储存系统,而人脸识别系统只保存少量特征照片,从而减轻了人脸识别系统的照片保存压力,保证了照片直播的即可分享上传、观看,又快速实现人脸识别。
(5)本发明的照片直播系统,可以在直播间内选择一张照片,然后通过播放终端向服务器发送该选定照片的人脸识别特征和或人脸图像的访问请求,服务器判断该照片是否储存有人脸图像,然后确实是否显示人脸图像;点击选择人脸图像,通过缓存显示照片,若无缓存则加载照片再显示。通过这种方法,可以直接获取选定照片的人脸图像和选定照片的人脸识别特征,进一步通过人脸图像和人脸识别特征快速获取缓存的人脸识别相关联的照片,从而以图片相册的形式展示,不但节省照片加载照片,而且省去人脸识别操作的等待时间,使用户不需要翻阅全部照片,即可查看全部关联人物的照片,节约用户时间,使得手机的操作更加方便快捷、手机更具人性化。
(6)本发明的云储存系统在照片长期存储单元的基础上引入照片缓存单元、照片判断单元、照片路径计算单元、照片编辑单元,照片编辑单元对原始照片进行处理,转化成大图、中图、缩略图、水印照片、旋转照片、拼接图等不同场景照片,然后输出写入到照片缓存单元,从而在照片判断单元、照片路径计算单元帮助下,从而在照片缓存单元快速读取不同场景照片,实现照片的实时性展示,满足多场景、多样化的观看需求。再者,引入照片判断管理和路径计算,达到以完全非侵入式方式访问云储存系统和编辑照片,并实现照片访问加速的目标。还有加快了照片的读写速度,大大降低了照片长期存储单元的请求压力,从而保证海量照片访问请求、海量下载、海量照片分发的正常运行。
(7)在本发明中,照片判断单元判断访问请求的照片是否已经存在于照片缓存单元中;若存在,则直接读取并返回给服务器和/或播放终端;若不存在,将目标照片从照片长期存储单元提升到照片缓存单元,再读取并返回给服务器和/或播放终端,优选地,在将目标照片从照片长期存储单元提升到照片缓存单元之前,根据访问请求中是否包含照片编辑规则描述,确定是否经由照片编辑单元变换成符合最终需求的照片。
每个直播间有几千、上万的照片,而且在浏览和保存时,每张照片对应有十几种不规格的照片(缩略图、中图、大图、高清图、水印图、旋转图、拼接图、动态图等),本发明通过上述系统设置和方法,可迅速打开直播间,下载照片及其规格照片,避免保存归档和访问、下载出现的问题:照片在不同规格间出现错乱,高并发、高请问、高下载导致网络和云储存系统崩溃。
(8)在本发明中,可节省播放终端存储空间:一是在浏览直播间时,播放终端下载云端的照片的缩略图,将下载的缩略图在直播间中显示;二是在浏览直播间时,直接请求浏览照片,而不将照片下载到播放终端本地,浏览结束时播放终端本地也不保存所浏览照片的缓存文件。
附图说明
图1为本发明提供的照片直播系统的结构框图;
图2为本发明提供的照片直播系统中的云储存系统结构框图;
图3为本发明提供的一种实施方式的照片直播方法流程图;
图4为本发明提供的一种云储存系统的照片访问流程图;
附图标记:1-相机,2-智能传图设备,3-服务器,4-云储存系统,41-照片判断单元,42-照片路径计算单元,43-照片缓存单元,44-照片长期存储单元,45-照片编辑单元,5-人脸识别系统,6-播放终端。
具体实施方式
下面将结合本申请一些实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请实施例中使用的术语是仅仅处于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一”、“一个”、“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相绑定的列出项目的任何或所有可能组合。表达“第一”、“第二”、“所述第一”和“所述第二”是用于修饰相应元件而不考虑顺序或者重要性,仅仅被用于区分一种元件与另一元件,而不限制相应元件。
根据本申请一些实施例的播放终端可以是可显示照片的电子显示设备,该电子显示设备可以包括个人电脑(PC,例如平板电脑、台式电脑、笔记本、上网本、掌上电脑PDA)、移动电话、电子书阅读器、便携式多媒体播放器(PMP)、虚拟现实设备(VR)和可穿戴设备等中的一种或几种的组合。根据本申请的一些实施例,所述可穿戴设备包括附件类型(例如手表、手环、眼睛、或头戴式装置(HMD))、集成类型(例如电子服装)、装饰类型(例如内置电子装置)等中的一种或几种的组合。在本申请的一些实施例中,所述电子显示设备可以是灵活的,不限于上述设备,或者可以是上述各种设备中的一种或几种的组合。
在本发明中,相机可以摄影行业通常使用的数码卡片相机、数码单反相机。
如图1所示,本申请实施例提供了一种具有人脸识别的照片直播系统,该系统包括服务器3、云储存系统4、相机1、智能传图设备2和人脸识别系统5;智能传图设备2用于选择直播间并接收相机1拍摄的照片,将照片与直播间信息进行第一关联,然后将照片与直播间信息上传至服务器3。智能传图设备2通过Wifi网络与相机1进行通信连接以及接收相机拍摄的照片,也可以通过数据线进行通信连接。照片和直播间信息可以移动网络(3G、4G、5G)、互联网上传至服务器3。
服务器3用于将照片发送给云储存系统4,在照片储存完成后,云储存系统4将照片储存地址信息返回给服务器3,所述服务器3向人脸识别系统5发出的人脸识别的处理请求,将收到的人脸识别特征与直播间信息、照片储存地址信息进行第二关联并保存至第一数据库;以及用于响应播放终端6的访问请求,根据第二关联从第一数据库查询人脸识别特征和/或具有相同人脸识别特征的照片储存地址信息,将查询结果发送播放终端6。在本发明中,照片储存地址信息包括照片的名称、大小、格式、储存地址等。
所述人脸识别系统5用于响应服务器3发出的人脸识别的处理请求,访问照片储存地址和获取照片,对照片进行人脸识别处理并将照片的人脸识别特征返回给服务器3。
播放终端6用于根据所述检索结果人脸识别特征、人脸图像、照片和/或照片合集,照片合集可以以图片相册(多张照片排列)的形式进行显示,作可变换的实施方式,照片合集也可以生成短视频或动态图片(如Gif)的形式进行显示。拼接图为由多张照片拼接而成,可以采用常规使用的拼接方法制成,如上下拼接,九宫格拼接,自由拼接等。
在本发明中,播放终端6可以采用常规的显示方式来直播间的照片,例如采用网页、小程序、客户端APP进行显示。
在本发明一个实施例中,服务器3为独立服务器,独立服务器为客户拥有整台服务器的软硬件资源,可以自行配置或通过主机管理工具实现web、mail、ftp等多种网络服务。作为可变换的实施例,服务器3可以为云服务器,云服务器是一组集群服务器上虚拟出多个独立服务器部门,集群中每个服务器都有云服务器的一个镜像。
在本发明中,人脸识别系统5包括第二数据库、人脸信息处理模块和人脸识别模块。第二数据库,用于存储照片及其人脸识别特征信息;人脸信息处理模块,用于接收人脸识别模块发送的人脸识别特征信息,在第二数据库查询和/或更新人脸识别特征信息,判断照片中的人是否有新人,若有,则将照片保存到人脸数据库;若否,不保存照片。在人脸识别结果后,人脸信息处理模块将人脸信息处理结果返回至人脸识别模块和/或服务器3,这样人脸识别系统5只保存少量特征照片,从而减轻了人脸识别系统5的照片保存压力,保证了照片直播的即可分享上传、观看,又快速实现人脸识别。人脸识别模块,用于对照片进行人脸识别,将人脸识别特征信息发送给人脸信息处理模块和/或服务器3。
本发明的人脸识别系统支持图片或实拍照片的人脸识别,返回人脸位置与人脸识别特征等信息。人脸识别系统可对照片中面部特征进行提取分析。可实现精准的人脸检测和人脸识别,涵盖人脸检测与分析、多人脸检测、五官定位、人脸对比与搜索、跨年龄人脸识别等。本发明的人脸识别系统例如可以采用的腾讯云人脸识别(Face Recognition),也可以采用具有人脸识别功能的机器设备。
在本发明中,人脸识别特征包括常规人脸识别的特征信息,如头像五官信息、头像在照片中位置信息(根据此信息可以从照片中截取人脸图像),照片中人脸数量,头像的年龄、性别等常规人脸识别信息。
在本发明中,上传至云端服务器3的照片以文件形式存在,包含有属性信息,例如,照片尺寸、拍摄时间、相机型号、像素等。
在本发明中,作为一种在照片直播间进行人脸识别的实施方式,播放终端6用于选择照片直播间内的照片,向服务器3发送该选定照片的人脸识别特征的访问请求,所述服务器3用于根据第二关联从第一数据库查询选定照片的人脸识别特征,将人脸识别特征发送给播放终端6,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像。
播放终端6用于选择照片直播间内的人脸图像,向服务器3发送包含有选定人脸图像的关联照片的访问请求,所述服务器3用于根据人脸识别特征、第二关联从第一数据库查询关联照片的信息,获取与选定人脸图像的人脸识别特征相匹配的关联照片信息,然后发送给播放终端6,所述播放终端6判断照片直播间是否有关联照片的缓存;若有,直接加载并显示关联照片;若否,所述播放终端6则根据照片储存地址信息从云储存系统下载关联照片,显示关联照片的人脸识别特征、人脸图像、照片和/或照片合集。
在本明中,判断关联照片中是否包有选定人脸图像的条件为常规相同人脸识别特征的界定标准,例如直播间的照片中是否包含与选定人脸图像的人脸识别特征的相似度达80%以上的人脸识别特征信息。人脸识别系统5对直播间的照片进行人脸识别,判断是否多张照片之间是否为关联照片。
在本发明中,作为另一种在照片直播间进行人脸识别的实施方式,照片直播间页面显示多张照片的缩略图(或称为缩小图),选择照片直播间内的照片的缩略图,播放终端6向服务器3发送该选定照片的人脸识别特征的访问请求;服务器3用于根据第二关联对第一数据库进行人脸识别特征信息查询,将人脸识别特征发送给播放终端6,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
在播放终端6向服务器3发送该选定照片的人脸识别特征的访问请求之前或同时,播放终端6向服务器3发送加载该照片的大图或原图的请求,获取照片在云储存系统4的储存地址信息,然后根据照片储存地址信息从云储存系统4下载照片的大图或原图,大图或原图与人脸图像同时进行显示;
播放终端6用于选择照片直播间内的人脸图像,向服务器3发送包含有选定人脸图像的关联照片的访问请求,服务器3用于根据人脸识别特征、第二关联从第一数据库查询关联照片的云储存地址信息,然后发送给播放终端6;播放终端6判断照片直播间是否有关联照片的缩略图的缓存;若有,直接加载并显示该关联照片的缩略图;若否,播放终端6则访问关联照片在云储存系统4的照片储存地址信息,下载、显示所述关联照片的缩略图,或进一步下载关联照片的大图或原图。
播放终端6用于输入照片和照片合集的个人信息并发送给服务器3,其中,个人信息可以包括姓名,年龄,身高,学历,职称,荣誉等信息,以及参会作为嘉宾个人信息;服务器3用于将个人信息与人脸识别特征、直播间信息、照片储存地址信息进行第三关联并保存至第一数据库。
在本发明中,第一关联、第二关联和第三关联可以采用数据库常规建立联系的方法,例如以表、列、键、索引、关系和约束等方式实现关联,从而实现服务器3的读取和检索信息。
在本发明一个实施例中,智能传图设备2可为安装有APP(应用程序)的智能手机,作为可变换的实施方式,也可以安装有应用程序的其它智能多媒体传输设备,智能多媒体传输设备可设置有wifi模块、数据传输模块、移动网络模块(包括3G、4G、5G等)、芯片(如SOC芯片)等。例如,图片闪传盒子(P-BOX),唯存(上海)网络科技有限公司公司的VBox6等。智能传图设备2(智能手机,如苹果手机或安卓系统手机等)等通用Wifi网络可以访问储存卡。智能传图设备2向储存卡中的照片文件发起HTTP GET指令时,储存返回照片文件内容。
当智能传图设备2为智能手机时,APP用于接收相机1新拍照片的通知,以及相机1存储卡内的新拍照片地址的信息,以及根据照片地址去获取照片(照片包含其信息:照片拍摄时间,照片名称、尺寸、分辨率、相册型号、光圈等),获取成功之后,刷新APP内的照片列表。
APP设置有传输图像的尺寸、质量的管理模块以及直播间模块,图像的长边尺寸最小可以为1024px,最大可以为图像的原照片。管理模块用于基于预设图像尺寸、质量对照片进行压缩处理,直播间模块用于在直播间内接收相机1拍摄的照片,将照片与直播间信息进行信息关联。
APP包括自动传输模式和手动传输模式;自动传输模式,用于在接收相机1新增照片的通知,以及相机1存储卡内的照片地址的信息后,从相机1的储存卡中自动下载至智能手机中,再自动上传至服务器3。手动传输模式,用于在智能手机与相机1建立通信连接后,相机1将拍摄信息发送智能手机,人工在APP中选择要上传的图像,再上传至服务器3。
作为本发明一种可选的实施方式,如图2所示,云储存系统4可以包括:照片判断单元41、照片路径计算单元42、照片缓存单元43、照片长期存储单元44以及照片编辑单元45。
在本发明一个实施例中,照片判断单元41用于接收和分发海量照片访问请求,并进行照片存在性查询判断。
照片路径计算单元42用于计算并提供到达播放终端6的最短照片传输路径,解决了在多个节点上传照片而不会导致照片不一致的问题。照片路径计算单元42还支持上传下载双向传输加速功能,用于将照片进行高速分发。
照片缓存单元43用于加快照片的读写速度,以及缓存经照片编辑单元45处理的结果照片,照片缓存单元43上可以明显降低对照片长期存储单元44和数据处理单元的请求压力,能够迅速从照片缓存单元43下载照片,加快照片直播间的打开速度。
照片长期存储单元44用于为该照片直播提供原始形态的照片。实际使用时,照片长期存储单元44中存储的照片是保持永久有效,大大降低并消除对外部系统的依赖,而传统的内容分发网络存储的照片,会因为缓存单元的存储空间限制而导致阶段性的删除。
在本发明另一个实施例中,为了进一步提高云储存系统4的计算性能,云储存系统4还包括有照片编辑单元45。照片编辑单元45用于根据计算压力在海量的计算节点之间的负载进行均衡,按访问请求附带的照片处理需求对输入的原始照片进行相应处理,并作为输出写入到目标位置,优选为照片缓存单元43。所述照片编辑单元45包括有照片编辑挂载模块,用于挂载具体的照片处理程序,实现在高并发场景下仍然能够以稳定的效率执行照片编辑或处理过程。
在本发明另一个实施例中,照片判断单元41,用于设置迁移照片的存储空间;用于配置服务器3、播放终端6的访问模式和访问地址;将服务器3、和/或播放终端6的原域名解析指向配置完成的照片判断单元41,将原先直接指向服务器3和/或播放终端6的照片访问调整到统一通过照片判断单元41进行访问。
在本发明另一个实施例中,照片判断单元41还用于判断访问请求的照片是否已经存在于照片缓存单元43中,若存在,则直接读取并返回给服务器3、播放终端6;若不存在,将目标照片从照片长期存储单元44提升到照片缓存单元43,再读取并返回给服务器3、播放终端6,优选地,在将目标照片从照片长期存储单元44提升到照片缓存单元43之前,根据访问请求中是否包含照片编辑规则描述,确定是否经由照片编辑单元45转换成符合最终需求的照片。
针对上述情况,本发明照片的编辑规则:照片编辑单元45将一张原照片压缩成多个不同尺寸的照片,以及将原照片和压缩照片进行添加水印和旋转运作,进一步生成复合照片,并将每个压缩照片、复合照片对应为一个文件,同时所述照片编辑单元45根据计算压力在海量的计算节点(例如inode节点)之间进行负载均衡,然后输出处理的结果文件并写入到照片缓存单元43,完成照片的缓存,原照片的多个照片文件拥有不同的索引和数据缓存位置。
本发明的原照片经上述编辑规则处理后,在播放终端(云相册)等照片浏览场景下,可满足用户的不同浏览需求,或者可适应不同的网络环境,需要将同一张照片处理成多个尺寸以应对不同的应用场景,以及加载水印照片、旋转照片、多张照片的拼接图。例如在云相册中浏览照片,用户通常可以选择以缩略图、中图、大图、高清图等不同的尺寸查看照片,以及选择水印图、旋转图、拼接图、动态图(如gif格式图)等。再者,上述编辑规则可以避免大量消耗底层节点及存储空间,还可以避免出现多个尺寸照片数据不一致的情况,比如部分尺寸缺失,或两个尺寸对应的并不是同一个原照片。
本发明还提供一种照片直播方法。为了便于理解本申请实施方式,以下将参考附图对本申请实施方式进行详细描述。需要强调的是,虽然以照片直播系统为例对本发明实施例提供的照片直播方法进行说明,但仅为更好的描述本发明,而不是限制本发明,本发明实施例提供的照片直播方法可以应用在任何需要对照片直播的领域,并且,照片直播不限于用于照片直播,还可以用于照片存储用途。
如图3所示,本发明提供的照片直播方法的一个实施方式的流程图。下面详细说明:
步骤S31,所述智能传图设备与相机进行通信连接;
步骤S32,所述智能传图设备选择直播间,接收相机拍摄的照片,将照片与直播间信息进行第一关联,然后通过wifi网络或移动网络(3G、4G、5G等)将照片、直播间信息上传至服务器;
本发明中,智能传图设备与相机通信连接成功之后,每当相机拍照成功,智能传图设备(手机端)会收到新增照片的通知,并反馈相机存储卡内的照片地址,所述智能传图设备根据照片地址去获取照片,获取成功之后,刷新智能传图设备内接收的照片,从而实现照片的发送、传输。
在本发明一个实施例中,在智能手机可以通过APP与相机建立通信连接后。每当相机拍摄新照片,APP即可以接收相机新拍照片的通知,以及相机存储卡内的新拍照片地址的信息,然后APP根据照片地址去获取照片(照片的文件包含照片拍摄时间,照片名称、尺寸、分辨率、相册型号、光圈等信息),获取成功之后,刷新手机端APP内的照片列表,APP在直播间内展示新拍摄的照片。
在本发明另一个实施例中,APP设置有传输图像的尺寸、质量的管理模块以及直播间模块,管理模块基于预设图像尺寸、质量对照片进行压缩处理,直播间模块在直播间内接收相机拍摄的照片,将照片与直播间信息进行信息关联。
在本发明一实施例中,APP包括自动传输模式和手动传输模式;自动传输模式,在接收相机新增照片的通知,以及相机存储卡内的照片地址的信息后,从相机的储存卡中自动下载至智能手机中,再自动上传至服务器。手动传输模式,在智能手机与相机建立通信连接后,相机将新照片发送智能手机,人工在APP中选择要上传的图像,再上传至服务器。
在本发明中,智能传图设备将照片、直播间信息上传至服务器,上传方式可以为:通过WiFi网络或移动电话运营商的无线数据服务上传至云端存储系统,移动电话运营商的无线数据服务包括3G、4G、5G等网络服务。所述服务器将照片通过网络将照片发送云储存系统;
步骤S33,服务器将照片发送云储存系统,在照片储存完成后,所述云储存系统将照片储存地址信息返回给服务器,服务器将直播间信息、照片储存地址信息保存至第一数据库;
步骤S34,服务器将照片储存地址信息发送给人脸识别系统,并向其发出人脸识别的处理请求,人脸识别系统响应服务器发出的人脸识别的处理请求,访问照片储存地址和获取照片,对照片进行人脸识别处理,得到人脸识别特征,然后将照片的人脸识别特征返回给服务器;
步骤S35,服务器将人脸识别特征与直播间信息、照片储存地址信息进行第二关联并保存至第一数据库;
步骤S36,播放终端向服务器发出照片的人脸识别特征和/或具有相同人脸识别特征的照片的访问请求,服务器响应其访问请求,根据第二关联从第一数据库查询人脸识别特征和/或具有相同人脸识别特征的照片储存地址信息,将查询结果发送播放终端;
步骤S37,播放终端根据查询结果显示人脸识别特征、人脸图像、照片和/或照片合集,优选地,照片合集以图片、短视频或动态图片的形式进行显示。
该照片直播系统方法,实现了海量照片的即时上传下载、千万用户的即时浏览和分享,实现不同直播间的相册分类管理,以及实现同一直播间内海量照片的实时上传和同步管理,满足照片直播的海量观看需求,并解决了高并发、高访问、高下载导致的照片上传和下载照片出现速度慢,网络、云储存系统崩溃的问题,以及如何实现照片的即时性人脸识别,大幅减少等待人脸识别时间(1秒内便可显示几十张人脸识别照片,而现有人脸识别脸10秒以上,甚至几分钟的时间),从而实现照片直播。
本发明提供的照片直播方法的另一个实施方式,与图3所示的照片直播方法相比,步骤S31-S35相同,不同点于:
步骤S36,播放终端选择照片直播间内的照片,向服务器发送该选定照片的人脸识别特征的访问请求,所述服务器根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
步骤S37,播放终端选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器根据人脸识别特征、第二关联从第一数据库查询关联照片的储存地址信息,然后发送给播放终端,所述播放终端判断照片直播间是否有关联照片的缓存;若有,直接加载并显示该关联照片;若否,所述播放终端则根据照片储存地址信息从云储存系统下载关联照片,显示关联照片的人脸识别特征、人脸图像、照片和/或照片合集。
通过这种方法,可以直接获取选定照片的人脸图像和选定照片的人脸识别特征,进一步通过人脸图像和人脸识别特征快速获取缓存的人脸识别相关联的照片,从而以图片相册的形式展示,不但节省照片加载照片,而且省去人脸识别操作的等待时间,使用户不需要翻阅全部照片,即可查看全部关联人物的照片,节约用户时间,使得手机的操作更加方便快捷、手机更具人性化。
由于该照片系统包括本发明实施方式所提供的任一种照片直播方法,因此,可以实现本发明实施方式所提供的任一种照片直播所能实现的其它有益效果,详见前面的实施例,在此不再赘述。
本发明提供的照片直播方法的另一个实施方式,与图3所示的照片直播方法相比,步骤S31-S35相同,不同点于:
步骤S36,播放终端选择照片直播间内的照片的缩略图,所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求;所述服务器根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
在所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求之前或同时,所述播放终端向服务器发送加载照片的大图或原图的请求,获取照片在云储存系统的储存地址信息,然后根据照片储存地址信息从云储存系统下载照片的大图或原图,大图或原图与人脸图像同时进行显示;
步骤S37,播放终端选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,服务器根据人脸识别特征、第二关联从第一数据库查询关联照片的信息,然后发送给播放终端;所述播放终端判断照片直播间是否有关联照片的缩略图的缓存;若有,直接加载并显示该关联照片的缩略图;若否,播放终端则根据照片储存地址信息从云储存系统下载、显示所述关联照片的缩略图,或进一步下载大图或原图。
由于该照片系统包括本发明实施方式所提供的任一种照片直播方法,因此,可以实现本发明实施方式所提供的任一种照片直播所能实现的有益效果,详见前面的实施例,在此不再赘述。
在本发明一种人脸识别的实施方式中,可以对人脸识别的照片及其合集进行信息编辑,播放终端在输入照片的个人信息并发送给服务器;服务器将个人信息与人脸识别特征、直播间信息、照片储存地址信息进行第三关联并保存至数据库。
由于该照片系统包括本发明实施方式所提供的任一种照片直播方法,因此,可以实现本发明实施方式所提供的任一种照片直播所能实现的有益效果,详见前面的实施例,在此不再赘述。
如图4所示,本发明提供的照片直播方法的另一个实施方式的流程示意图。在本实施方式具体说明云储存系统的运行步骤。
步骤S61,首先,在照片判断单元中配置运行环境;其中,包括如下步骤:
(1)在照片判断单元配置用于迁移照片的存储空间;
(2)在照片判断单元配置服务器和/或播放终端的访问模式和访问地址;
(3)将服务器和/或播放终端的原域名解析指向配置完成的照片判断单元,将原先直接指向服务器和/或播放终端的照片访问调整到统一通过照片判断单元进行访问。
步骤S62,服务器和/或播放终端向云储存系统发起访问请求,云储存系统根据访问请求,完整执行照片访问业务流程,即响应服务器和/或播放终端对照片的访问请求。
下面详细说明云储存系统执行用户访问请求的步骤:
步骤S621,首先,服务器和/或播放终端请求访问数据照片判断单元,
步骤S622,再向照片缓存单元请求访问;
步骤S623,如果访问的目标照片存在于照片缓存单元,则执行步骤S6231,即将照片缓存单元中的照片读取,返回给服务器和/或播放终端,进入步骤S63,读取完成。
在步骤S623中,如果访问的目标照片不存在于照片缓存单元中,则进入步骤S6232,访问照片长期存储单元。
步骤S6233,在将目标照片从照片长期存储单元提升到照片缓存单元之前,根据访问请求中是否包含照片编辑规则描述,确定是否经由照片编辑单元变换成符合最终需求的照片。如果需要进行编辑,则进入步骤S62331,对照片进行编辑或处理,完成后进入步骤S6234。
步骤S6234,将访问到的照片或者经过步骤S62331编辑或处理过的照片写入照片缓存单元并返回给服务器和/或播放终端,进入步骤S63访问完成。
本发明的存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的程序,可以执行本发明实施方式或实施例中所提供的任一种照片直播方法中的步骤,因此,可以实现本发明实施方式或实施例中所提供的任一种照片直播方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,可以通过任何合适的方式进行任意组合,其同样落入本发明所公开的范围之内。另外,本发明的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明的思想,其同样应当视为本发明所公开的内容。
以上结合附图详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种简单变型,这些简单变型均属于本发明的保护范围。

Claims (21)

1.一种具有人脸识别的照片直播系统,其特征在于,该系统包括服务器、云储存系统、播放终端、智能传图设备和人脸识别系统;
所述服务器用于将照片发送给云储存系统,在照片储存完成后,所述云储存系统将照片储存地址信息返回给服务器;所述服务器用于将人脸识别特征与直播间信息、照片储存地址信息进行第二关联并保存至第一数据库;以及用于响应播放终端的访问请求,根据第二关联从第一数据库查询人脸识别特征和/或具有相同人脸识别特征的照片储存地址信息,将查询结果发送播放终端;
所述人脸识别系统用于响应服务器发出的人脸识别的处理请求,访问照片储存地址和获取照片,对照片进行人脸识别处理并将照片的人脸识别特征返回给服务器;
所述播放终端用于向服务器发出照片的人脸识别特征和/或具有相同人脸识别特征的照片的访问请求,根据所述查询结果显示人脸识别特征、人脸图像、拼接图、照片和/或照片合集;
所述智能传图设备用于选择直播间并接收相机拍摄的照片,将照片与直播间信息进行第一关联,然后将照片与直播间信息上传至服务器。
2.根据权利要求1所述的系统,其特征在于,所述照片合集以图片相册、短视频或动态图片的形式进行显示。
3.根据权利要求1所述的系统,其特征在于,所述人脸识别系统包括:
第二数据库,用于存储照片及其人脸识别特征信息;
人脸信息处理模块,用于接收人脸识别模块发送的人脸识别特征信息,在第二数据库查询和/或更新人脸识别特征信息,判断照片中的人是否有新人,若有则将照片保存到人脸数据库,若否,不保存照片;以及将人脸信息处理结果返回至人脸识别模块和/或服务器;
人脸识别模块,用于对照片进行人脸识别,将人脸识别特征信息发送给人脸信息处理模块和/或服务器。
4.根据权利要求1所述的系统,其特征在于,
所述播放终端用于选择照片直播间内的照片,向服务器发送该选定照片的人脸识别特征的访问请求,所述服务器用于根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
所述播放终端用于选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器用于根据人脸识别特征、第二关联从第一数据库查询关联照片的信息,然后发送给播放终端,所述播放终端判断照片直播间是否有关联照片的缓存;若有,直接加载并显示关联照片;若否,所述播放终端根据照片储存地址信息从云储存系统下载关联照片,显示关联照片的人脸识别特征、人脸图像、照片和/或照片合集。
5.根据权利要求1所述的系统,其特征在于,
所述播放终端用于选择照片直播间内的照片的缩略图,所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求;所述服务器用于根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
在所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求之前或同时,所述播放终端用于向服务器发送加载照片的大图或原图的请求,获取照片在云储存系统的储存地址信息,然后根据照片储存地址信息从云储存系统下载照片的大图或原图,大图或原图与人脸图像同时进行显示;
所述播放终端用于选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器用于根据人脸识别特征、第二关联从第一数据库查询关联照片的储存地址信息,然后发送给播放终端;所述播放终端判断照片直播间是否有关联照片的缩略图的缓存;若有,直接加载并显示该关联照片的缩略图;若否,播放终端则根据照片储存地址信息从云储存系统下载关联照片的缩略图,显示所述关联照片的缩略图,或进一步下载大图或原图。
6.根据权利要求1-5中任一所述的系统,其特征在于,所述播放终端用于输入照片的个人信息并发送给服务器;服务器用于将个人信息与人脸识别特征、直播间信息、照片储存地址信息进行第三关联并保存至第一数据库。
7.根据权利要求1-5中任一所述的系统,其特征在于,所述智能传图设备为安装有APP的智能手机;所述APP设置有传输图像的尺寸、质量的管理模块以及直播间模块,所述管理模块用于基于预设图像尺寸、质量对照片进行压缩处理,直播间模块用于在直播间内接收相机拍摄的照片,将照片与直播间信息进行信息关联;
所述服务器为云端服务器或独立服务器。
8.根据权利要求1-5中任一所述的系统,其特征在于,所述云储存系统包括:照片判断单元、照片路径计算单元、照片缓存单元、照片长期存储单元以及照片编辑单元,其中,
所述照片判断单元用于接收、分发海量照片访问请求,并进行照片存在性查询判断;
所述照片路径计算单元用于计算并提供到达播放终端的最短照片传输路径;
所述照片缓存单元用于加快照片的读写速度,以及缓存经照片编辑单元处理的结果照片;
所述照片长期存储单元用于为所述照片直播提供原始形态的照片;
所述照片编辑单元用于根据计算压力在海量的计算节点之间进行负载均衡,按访问请求附带的照片处理需求对输入的原始照片进行相应处理,并作为输出写入到照片缓存单元。
9.根据权利要求8所述的系统,其特征在于,所述照片判断单元还用于判断访问请求的照片是否已经存在于照片缓存单元中;若存在,则直接读取并返回给服务器和/或播放终端;若不存在,将目标照片从照片长期存储单元提升到照片缓存单元,再读取并返回给服务器和/或播放终端。
10.根据权利要求9所述的系统,其特征在于,在将目标照片从照片长期存储单元提升到照片缓存单元之前,根据访问请求中是否包含照片编辑规则描述,确定是否经由照片编辑单元变换成符合最终需求的照片。
11.一种具有人脸识别的照片直播方法,其特征在于,
智能传图设备选择直播间并接收相机拍摄的照片,将照片与直播间信息进行第一关联,然后将照片与直播间信息上传至服务器;
服务器将照片发送给云储存系统,在照片储存完成后,所述云储存系统将照片储存地址信息返回给服务器;
人脸识别系统响应服务器发出的人脸识别的处理请求,访问照片储存地址和获取照片,对照片进行人脸识别处理并将照片的人脸识别特征返回给服务器;所述服务器将人脸识别特征与直播间信息、照片储存地址信息进行第二关联并保存至第一数据库;
播放终端向服务器发出照片的人脸识别特征和/或具有相同人脸识别特征的照片的访问请求;所述服务器响应播放终端的访问请求,根据第二关联从第一数据库查询人脸识别特征和/或具有相同人脸识别特征的照片储存地址信息,将查询结果发送播放终端;播放终端根据所述查询结果显示人脸识别特征、人脸图像、照片和/或照片合集。
12.根据权利要求11所述的方法,其特征在于,所述照片合集以图片相册、拼接图、短视频或动态图片的形式进行显示。
13.根据权利要求11所述的方法,其特征在于,所述人脸识别系统包括第二数据库、人脸信息处理模块和人脸识别模块;
第二数据库,存储照片及其人脸识别特征信息;
人脸信息处理模块,接收人脸识别模块发送的人脸识别特征信息,在第二数据库查询和/或更新人脸识别特征信息,判断照片中的人是否有新人,若有,则将照片保存到人脸数据库,若否,不保存照片;以及将人脸信息处理结果返回至人脸识别模块和/或服务器;
人脸识别模块,对照片进行人脸识别,将人脸识别特征信息发送给人脸信息处理模块和/或服务器。
14.根据权利要求11所述的方法,其特征在于,
所述播放终端选择照片直播间内的照片,向服务器发送该选定照片的人脸识别特征的访问请求,所述服务器用于根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
所述播放终端选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器用于根据人脸识别特征、第二关联从第一数据库查询关联照片的储存地址信息,然后发送给播放终端,所述播放终端判断照片直播间是否有关联照片的缓存;若有,直接加载并显示关联照片;若否,所述播放终端根据照片储存地址信息从云储存系统下载关联照片,显示关联照片的人脸识别特征、人脸图像、照片和/或照片合集。
15.根据权利要求14所述的方法,其特征在于,
所述播放终端选择照片直播间内的照片的缩略图,所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求;所述服务器根据第二关联从第一数据库查询人脸识别特征,将人脸识别特征发送给播放终端,在照片直播间内显示人脸识别特征和/或根据人脸识别特征从照片截取人脸头像;
在所述播放终端向服务器发送该选定照片的人脸识别特征的访问请求之前或同时,所述播放终端向服务器发送加载照片的大图或原图的请求,获取照片在云储存系统的储存地址信息,然后根据照片储存地址信息从云储存系统下载照片的大图或原图,大图或原图与人脸图像同时进行显示;
所述播放终端选择照片直播间内的人脸图像,向服务器发送包含有选定人脸图像的关联照片的访问请求,所述服务器根据人脸识别特征、第二关联从第一数据库查询关联照片的信息,然后发送给播放终端;所述播放终端判断照片直播间是否有关联照片的缩略图的缓存;若有,直接加载并显示该关联照片的缩略图;若否,播放终端则根据照片储存地址信息从云储存系统下载关联照片的缩略图,显示所述关联照片的缩略图,或进一步下载大图或原图。
16.根据权利要求11-15中任一所述的方法,其特征在于,所述播放终端输入照片的个人信息并发送给服务器;服务器将个人信息与人脸识别特征、直播间信息、照片储存地址信息进行第三关联并保存至第一数据库。
17.根据权利要求11-15中任一所述的方法,其特征在于,所述智能传图设备为安装有APP的智能手机;所述APP设置有传输图像的尺寸、质量的管理模块以及直播间模块,所述管理模块基于预设图像尺寸、质量对照片进行压缩处理,直播间模块在直播间内接收相机拍摄的照片,将照片与直播间信息进行信息关联;
所述服务器为云端服务器或独立服务器。
18.根据权利要求11-15中任一所述的方法,其特征在于,云储存系统包括判断单元,
(1)在照片判断单元中配置运行环境;
(2)判断单元响应服务器和/或播放终端对照片的访问请求。
19.根据权利要求18所述的方法,其特征在于,在所述照片判断单元配置迁移照片的存储空间,在所述照片判断单元配置服务器和/或播放终端的访问模式和访问地址,将所述服务器和/或播放终端的原域名解析指向配置完成的照片判断单元,将原先直接指向服务器和/或播放终端的照片访问调整到统一通过照片判断单元进行访问。
20.根据权利要求18所述的方法,其特征在于,所述判断单元判断访问请求的照片是否已经存在于照片缓存单元中,若存在,则直接读取并返回给服务器和/或播放终端;若不存在,将目标照片从照片长期存储单元提升到照片缓存单元,再读取并返回给服务器和/或播放终端,优选地,在将目标照片从照片长期存储单元提升到照片缓存单元之前,根据访问请求中是否包含照片编辑规则描述,确定是否经由照片编辑单元变换成符合最终需求的照片。
21.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求11至20中任一所述的照片直播方法。
CN201910442068.8A 2019-05-24 2019-05-24 一种具有人脸识别的照片直播系统及其方法 Active CN110166790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910442068.8A CN110166790B (zh) 2019-05-24 2019-05-24 一种具有人脸识别的照片直播系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910442068.8A CN110166790B (zh) 2019-05-24 2019-05-24 一种具有人脸识别的照片直播系统及其方法

Publications (2)

Publication Number Publication Date
CN110166790A CN110166790A (zh) 2019-08-23
CN110166790B true CN110166790B (zh) 2021-02-09

Family

ID=67632554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910442068.8A Active CN110166790B (zh) 2019-05-24 2019-05-24 一种具有人脸识别的照片直播系统及其方法

Country Status (1)

Country Link
CN (1) CN110166790B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476193A (zh) * 2020-04-20 2020-07-31 重庆欧啦大数据有限公司 一种幼儿园实时拍照管理系统及方法
CN111586432B (zh) * 2020-06-05 2022-05-17 广州繁星互娱信息科技有限公司 空播直播间确定方法、装置、服务器及存储介质
CN112598605B (zh) * 2021-03-08 2021-05-25 江苏龙虎网信息科技股份有限公司 一种基于人脸识别的照片云传输直播修图系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159983A (zh) * 2015-08-28 2015-12-16 广州酷狗计算机科技有限公司 图片推送方法和装置
CN107959864A (zh) * 2017-11-06 2018-04-24 北京小米移动软件有限公司 截屏控制方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015066891A1 (en) * 2013-11-08 2015-05-14 Google Inc. Systems and methods for extracting and generating images for display content
CN104683453B (zh) * 2015-02-10 2018-07-03 西安理工大学 一种基于云平台的图片视频及贺卡亲情分享系统
CN105306249A (zh) * 2015-07-10 2016-02-03 深圳市美贝壳科技有限公司 上传云端照片时实时显示上传状态的方法
US20170208358A1 (en) * 2016-01-20 2017-07-20 Atriva Media Inc. Device for and method of tv streaming and downloading for personal photos and videos presentation on tv that seamlessly integrates with mobile application and cloud media server
CN107623861A (zh) * 2016-07-16 2018-01-23 上海视畅信息科技有限公司 一种基于微信实现将媒体内容分享到电视的方法
CN108650494B (zh) * 2018-05-29 2020-08-04 青岛一舍科技有限公司 基于语音控制的可即时获取高清照片的直播系统
CN109151597B (zh) * 2018-09-03 2021-09-14 聚好看科技股份有限公司 信息显示方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105159983A (zh) * 2015-08-28 2015-12-16 广州酷狗计算机科技有限公司 图片推送方法和装置
CN107959864A (zh) * 2017-11-06 2018-04-24 北京小米移动软件有限公司 截屏控制方法及装置

Also Published As

Publication number Publication date
CN110166790A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110188216B (zh) 一种具有文字识别的照片直播系统及其方法
US11017018B2 (en) Systems and methods of building and using an image catalog
US10067652B2 (en) Providing access to a cloud based content management system on a mobile device
CN110166790B (zh) 一种具有人脸识别的照片直播系统及其方法
US20130329060A1 (en) Overlay image providing system, server and method
US10430456B2 (en) Automatic grouping based handling of similar photos
CN104750848A (zh) 图像文件的处理方法、服务器及图像显示设备
US9554060B2 (en) Zoom images with panoramic image capture
US20130042177A1 (en) Systems and methods for incorporating a control connected media frame
CN104616263A (zh) 图片处理方法和图片处理装置
US20170364303A1 (en) Suggesting image files for deletion based on image file parameters
CN110515908B (zh) 一种照片直播系统及其方法
US8635270B2 (en) Thread mechanism for media and metadata upload
US20120307078A1 (en) Automatic sharing and replacement of content based on network connectivity
US11082756B2 (en) Crowdsource recording and sharing of media files
EP4080507A1 (en) Method and apparatus for editing object, electronic device and storage medium
CN110191170B (zh) 具有人脸识别的照片直播系统及其方法
CN110121076B (zh) 照片直播系统及其方法
CN106953924B (zh) 一种共享信息的处理方法及共享客户端
US10264324B2 (en) System and method for group-based media composition
US10860184B2 (en) Sharing groups for capturing digital media
CN110113629B (zh) 一种照片直播系统及其方法
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
CN112463998A (zh) 相册资源的处理方法、装置、电子设备和存储介质
US11836411B2 (en) Method and system for view sharing of digital files

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant