CN109040587A - 抓拍处理方法、装置、抓拍机构、设备及存储介质 - Google Patents

抓拍处理方法、装置、抓拍机构、设备及存储介质 Download PDF

Info

Publication number
CN109040587A
CN109040587A CN201810869953.XA CN201810869953A CN109040587A CN 109040587 A CN109040587 A CN 109040587A CN 201810869953 A CN201810869953 A CN 201810869953A CN 109040587 A CN109040587 A CN 109040587A
Authority
CN
China
Prior art keywords
frame
testing result
coded data
master chip
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810869953.XA
Other languages
English (en)
Inventor
梁喆
朱雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810869953.XA priority Critical patent/CN109040587A/zh
Publication of CN109040587A publication Critical patent/CN109040587A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

本发明提供的抓拍处理方法、装置、抓拍机构、设备及存储介质,属于图像处理技术领域。该抓拍处理方法包括:接收FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;将与帧检测结果对应的图像以及帧检测结果进行编码,生成编码数据;将编码数据发送至服务器,以使服务器根据编码数据执行抠图操作。所以相较于现有技术中的方法而言,由于通过将抠图操作所需要的数据与图像发送至服务器,以使服务器来完成抠图操作,所以可以有效减少主芯片所占用的带宽,同时也减轻了主芯片的负载。进而克服了现有技术中抓拍机中的主芯片存在的负载较重、带宽占用较多的技术问题,实现了减少主芯片所占用的带宽的同时也减轻了主芯片的负载的技术效果。

Description

抓拍处理方法、装置、抓拍机构、设备及存储介质
技术领域
本发明涉及图像处理领域,具体而言,涉及抓拍处理方法、装置、抓拍机构、设备及存储介质。
背景技术
目前现有的抓拍机都是在主芯片上加上FPGA(Field-Programmable GateArray,现成可编程门阵列),通过主芯片获取图像传感器的输入,转成BT1120视频,输出给FPGA,然后通过FPGA运行人脸检测CNN(Convolutional Neural Network,卷积神经网络)算法,将计算出的检测信息中的人脸坐标通过SPI(Serial Peripheral Interface,串行外设接口)/Ethernet/USB接口发送回主芯片,主芯片根据人脸坐标进行画框操作,抠图操作和更新操作,然而主芯片在抠一张大图(如人脸+背景)和一个人脸小图时,大图加上小图的大小一般在125KB左右,而H.265编码的带宽在3-8Mb,所以导致抠图操作非常占用主芯片的带宽,并且主芯片要做上述画框,更新,推图,编码等操作,进而使得主芯片的负载较重。
发明内容
本发明实施例提供的抓拍处理方法、装置、抓拍机构、设备及存储介质,可以解决现有技术中的主芯片的负载较重的技术问题。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供的一种抓拍处理方法,应用于抓拍机的主芯片,所述抓拍机还包括FPGA,所述主芯片与所述FPGA通信,所述方法包括:接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,所述的将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据,包括:将所述帧检测结果附加在与所述帧检测结果对应的所述图像的自定义区;将所述图像进行编码,生成编码数据。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,所述的将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,包括:根据所述帧检测结果中的帧标识信息确定对应的所述图像;将所述图像与所述帧检测结果进行编码。
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,所述的将所述编码数据发送至服务器,包括:通过实时流传输协议将所述编码数据发送至服务器。
第二方面,本发明实施例提供的一种抓拍处理方法,应用于服务器,所述方法包括:接收主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,所述的根据所述帧检测结果在每帧图像上进行抠图操作,包括:根据所述帧检测结果中的用于表征人脸的框位置信息以及用于追踪人脸的追踪标识信息确定人脸在每帧图像上的位置信息;根据所述位置信息在每帧所述图像上对所述人脸进行抠图操作。
第三方面,本发明实施例提供的一种抓拍处理方法,应用于抓拍机构,所述抓拍机构包括抓拍机和与所述抓拍机通信的服务器,所述方法包括:主芯片接收FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;所述主芯片将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;主芯片将所述编码数据发送所述至服务器;所述服务器接收所述主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;所述服务器根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
第四方面,本发明实施例提供的一种抓拍处理装置,应用于抓拍机的主芯片,所述抓拍机还包括FPGA,所述主芯片与所述FPGA通信,所述装置包括:接收模块,用于接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;编码模块,用于将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;发送模块,用于将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。
第五方面,本发明实施例提供的一种抓拍处理装置,应用于服务器,所述装置包括:接收模块,用于接收主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;处理模块,用于根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
第六方面,本发明实施例提供的一种抓拍机构,所述抓拍机构包括:抓拍机和与所述抓拍机通信的服务器,所述抓拍机包括FPGA和主芯片,所述主芯片分别与所述FPGA通信和所述服务器通信,其中,所述主芯片用于接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;以及还用于将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;以及还用于将所述编码数据发送所述至服务器;所述服务器用于接收所述主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;以及还用于根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
第七方面,本发明实施例提供的一种终端设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面任一项所述抓拍处理方法的步骤;或者,所述处理器执行所述计算机程序时实现如第二方面任一项所述抓拍处理方法的步骤;或者,所述处理器执行所述计算机程序时实现如第三方面所述的抓拍处理方法的步骤。
第八方面,本发明实施例提供的一种存储介质,所述存储介质上存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如第一方面任一项所述的抓拍处理方法;或者,当所述指令在计算机上运行时,使得所述计算机执行如第二方面任一项所述的抓拍处理方法;或者,当所述指令在计算机上运行时,使得所述计算机执行如第三方面所述的抓拍处理方法。
与现有技术相比,本发明实施例带来了以下有益效果:
本发明实施例提供的抓拍处理方法、装置、抓拍机构、设备及存储介质,相较于现有技术中的方法而言,由于通过将抠图操作所需要的数据与图像发送至服务器,以使服务器来完成抠图操作,所以可以有效减少主芯片所占用的带宽,同时也减轻了主芯片的负载。进而克服了现有技术中抓拍机中的主芯片存在的负载较重、带宽占用较多的技术问题,实现了减少主芯片所占用的带宽的同时也减轻了主芯片的负载的技术效果。
本公开的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为现有技术中抓拍机机构的工作示意图;
图2为本发明第一实施例提供的抓拍处理方法的流程图;
图3为应用于图2所示的抓拍处理方法的抓拍机机构的工作示意图;
图4为本发明第二实施例提供的抓拍处理方法的流程图;
图5为本发明第三实施例提供的抓拍处理方法的流程图;
图6为本发明第四实施例提供的抓拍处理装置的功能模块示意图;
图7为本发明第五实施例提供的抓拍处理装置的功能模块示意图;
图8为本发明第六实施例提供的抓拍机构的示意图;
图9为本发明第七实施例提供的一种终端设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
如图1所示,现有技术中,通常的方案是主芯片获取图像传感器(sensor)输入,转成BT1120视频,输出给FPGA,FPGA运行人脸检测CNN算法,FPGA将计算出的检测信息中的人脸坐标通过SPI/Ethernet/USB接口发送回主芯片,主芯片根据人脸坐标进行画框操作,抠图操作和更新操作。然而主芯片在抠一张大图(人脸+背景)和一个人脸小图时,大图加上小图的大小一般在125KB左右,H.265编码的带宽在3至8Mb,所以抠图操作非常占用主芯片的带宽,并且主芯片要做上述画框,更新,推图,编码等操作,负载重。
以上现有技术中的方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是发明人在本申请过程中对本申请做出的贡献。
因此,为了解决现有技术中抓拍机的主芯片在抠图操作时,需要占用大量的带宽以及给主芯片带来的极大负载的技术问题,本发明实施例首先提供了一种抓拍处理方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。
第一实施例
请参阅图2,是本发明实施例提供的抓拍处理方法的流程图。所述方法应用于抓拍机的主芯片,所述抓拍机还包括FPGA,所述主芯片与所述FPGA通信。下面将对图2所示的具体流程进行详细阐述。
步骤S101,接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果。
帧检测结果包括但不限于每帧图像中人脸的坐标、帧标识信息、追踪标识信息和框位置信息。
其中,帧标识信息用于从多帧图像中识别出具体是哪一帧的图像。
可选地,帧标识信息可以是数字,也可以是字符串。
其中,框位置信息可以是坐标,如用于将人脸框出来的矩形框的坐标。一般的,框位置信息为通过在帧中用演示线条画出矩形框的位置信息,即根据检测信息中的人脸的坐标画出矩形框,以框出人脸。
追踪标识信息用于追踪相同人脸出现的帧标识信息。
在实际运用中,一般的,主芯片通过获取图像采集装置(例如,摄像机或者是图像传感器)输入的图像,并将图像转成BT1120视频,输出给FPGA,FPGA运行预先安装好的人脸检测CNN算法,通过CNN算法计算出帧检测信息(即帧检测结果),其中,帧检测信息包括人脸坐标。并将帧检测信息通过SPI、Ethernet或USB接口发送回主芯片。
步骤S102,将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据。
作为一种可能的实现方式,步骤S102包括:根据所述帧检测结果中的帧标识信息确定对应的所述图像;将所述图像与所述帧检测结果进行编码。
通过对每帧图像以及与每帧图像对应的帧检测结果进行编码,可以使得在发送到服务器后,服务器无需耗费时间根据帧检测结果去寻找与之对应的图像,进而使得服务器能够更快的实现抠图操作。
在实际使用中,一般通过H.265对图像和帧检测结果进行编码,以生成编码数据。当然,也可以通过其它编码方式对图像和帧检测结果,例如,还可以通过Huffman编码、自适应算术编码或H.264等编码方式对图像和帧检测结果进行编码,在此,不作具体限定。
作为另一种可能的实现方式,步骤S102包括:将所述帧检测结果附加在与所述帧检测结果对应的所述图像的自定义区;将所述图像进行编码,生成编码数据。
其中,自定义区用于存储用户对图像进行描述的信息。
通过将帧检测结果与图像进行绑定,从而使得在进行编码时不容易丢失数据,进而保证了数据的有效性以及完整性。
步骤S103,将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。
可选地,将所述编码数据发送至服务器包括:通过实时流传输协议将所述编码数据发送至服务器。
可选地,服务器通过所接收到的主芯片发送的编码数据,其中,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作,以实现将人脸图像从图像上抠出来。
可选地,服务器执行完抠图操作后,所得到的图可以返回至主芯片,也可以不返回给主芯片。例如,服务器可以将所得到的图直接推送给指定用户或者是进行存储。
为了更直观的体现本发明实施例中的抓拍处理方法的有益效果,如图3所示,通过主芯片将FPGA传回的帧检测结果附加在图像的用户自定义区内,然后再由H.265进行编码,最后通过RTSP(Real Time Streaming Protocol,实时流传输协议)流将编码后生成的编码数据传输给服务器或者云端。从而使得主芯片无需再耗费带宽来进行抠图操作同时有效减轻了主芯片的负载。
本发明实施例所提供的抓拍处理方法,通过接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。所以本发明实施例所提供的抓拍处理方法,相较于现有技术中的方法而言,由于通过将抠图操作所需要的数据与图像发送至服务器,以使服务器来完成抠图操作,所以可以有效减少主芯片所占用的带宽,同时也减轻了主芯片的负载。进而克服了现有技术中抓拍机中的主芯片存在的负载较重、带宽占用较多的技术问题,实现了减少主芯片所占用的带宽的同时也减轻了主芯片的负载的技术效果。
第二实施例
请参阅图4,是本发明实施例提供的抓拍处理方法的流程图。所述方法应用于服务器。下面将对图4所示的具体流程进行详细阐述。
步骤S201,接收主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果。
其中,帧检测结果可以参考步骤S101,在此,不再赘述。
可选地,服务器按帧接收主芯片发送的编码数据,每帧编码数据中包括一帧图像以及与该图像对应的帧检测结果。
通过一帧一帧的接收编码数据,可以使得服务器能够按照接收的先后顺序依次处理,并且通过一帧一帧的处理,相对将所有的图像以及帧检测结果集中处理时,处理更快,处理压力也相对较小。例如,将所有的图像以及帧检测结果打包编码后,发送给服务器,服务器还需要从编码数据中按照帧的顺序挨个寻找,并且还需要找到与图像对应的帧检测结果,进而需要耗费大量的时间以及需要消耗大量的处理资源。而对于将一帧图像与该图像对应的帧检测结果进行编码后就直接发送至服务器,服务器在接收后,可以轻易的获取到需要抠图操作的图像,而无需再去寻找,从而能够有提高处理效率,减少使用主芯片的资源。
步骤S202,根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
其中,抠图操作是指将人脸从图像上抠出。具体地,通过帧检测结果中的框位置信息确定框出人脸的矩形框,以及通过追踪标识信息确定人脸所在的图像,从而将该人脸从图像上抠出。
作为一种可能的实现方式,步骤S202包括:根据所述帧检测结果中的用于表征人脸的框位置信息以及用于追踪人脸的追踪标识信息确定人脸在每帧图像上的位置信息;根据所述位置信息在每帧所述图像上对所述人脸进行抠图操作。
其中,位置信息是指人脸在每帧图像上的位置以及每帧图像上框出该人脸的框的位置信息。
本发明实施例提供的抓拍处理方法,通过接收主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。所以,相较于现有技术中的方法而言,由于通过服务器接收主芯片发送的编码数据,从而通过编码数据实现抠图操作,所以可以使得抓拍机中的主芯片无需在执行抠图操作,进而有效减少主芯片所占用的带宽,同时也减轻了主芯片的负载。进而克服了现有技术中抓拍机中的主芯片存在的负载较重、带宽占用较多的技术问题,实现了减少主芯片所占用的带宽的同时也减轻了主芯片的负载的技术效果。
第三实施例
请参阅图5,是本发明实施例提供的抓拍处理方法的流程图。所述方法应用于抓拍机构,所述抓拍机构包括抓拍机和与所述抓拍机通信的服务器。下面将对图5所示的具体流程进行详细阐述。
步骤S301,主芯片接收FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果。
步骤S303,所述主芯片将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据。
步骤S303,主芯片将所述编码数据发送所述至服务器。
步骤S304,所述服务器接收所述主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果。
步骤S305,所述服务器根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作
其中,步骤S301至步骤S305的具体实施方式请参照第一实施例和第二实施例所示的抓拍处理方法中的步骤,在此,不再赘述。
第四实施例
对应于第一实施例中的抓拍处理方法,图6示出了采用第一实施例所示的抓拍处理方法一一对应的抓拍处理装置。如图6所示,所述抓拍处理装置400应用于抓拍机的主芯片,所述抓拍机还包括FPGA,所述主芯片与所述FPGA通信。所述抓拍处理装置400包括接收模块410、编码模块420和发送模块430。其中,接收模块410、编码模块420和发送模块430的实现功能与第一实施例中对应的步聚一一对应,为避免赘述,本实施例不一一详述。
接收模块410,用于接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果。
编码模块420,用于将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据。
可选地,编码模块420还用于将所述帧检测结果附加在与所述帧检测结果对应的所述图像的自定义区;将所述图像进行编码,生成编码数据。
可选地,编码模块420还用于根据所述帧检测结果中的帧标识信息确定对应的所述图像;将所述图像与所述帧检测结果进行编码。
发送模块430,用于将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。
可选地,发送模块430还用于通过实时流传输协议将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。
第五实施例
对应于第二实施例中的抓拍处理方法,图7示出了采用第二实施例所示的抓拍处理方法一一对应的抓拍处理装置。如图7所示,所述抓拍处理装置500应用于服务器,所述抓拍处理装置500包括接收模块510和处理模块520。其中,接收模块510和处理模块520的实现功能与第二实施例中对应的步聚一一对应,为避免赘述,本实施例不一一详述。
接收模块510,用于接收主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果。
处理模块520,用于根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
可选地,处理模块520还用于:根据所述帧检测结果中的用于表征人脸的框位置信息以及用于追踪人脸的追踪标识信息确定人脸在每帧图像上的位置信息;根据所述位置信息在每帧所述图像上对所述人脸进行抠图操作。
第六实施例
对应于第三实施例中的抓拍处理方法,图8示出了采用第三实施例所示的抓拍处理方法一一对应的抓拍机构。如图8所示,所述抓拍机构600包括抓拍机610和与所述抓拍机610通信的服务器620,所述抓拍机610包括FPGA612和主芯片611,所述主芯片611分别与所述FPGA612通信和所述服务器620通信。
主芯片611用于接收FPGA612返回的用于对抓拍到的每帧图像进行检测的帧检测结果;以及还用于将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;以及还用于将所述编码数据发送所述至服务器620。
所述服务器620用于接收所述主芯片611发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;以及还用于根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
第七实施例
如图9所示,是终端设备300的示意图。所述终端设备300包括存储器302、处理器304以及存储在所述存储器302中并可在所述处理器304上运行的计算机程序303以及用于收发数据的通信模块305,所述计算机程序303被处理器304执行时实现第一实施例中的所述抓拍处理方法,为避免重复,此处不再赘述。或者,所述计算机程序303被处理器304执行时实现第二实施例所述抓拍处理方法,为避免重复,此处不再赘述。或者,所述计算机程序303被处理器304执行时实现第三实施例所述抓拍处理方法,为避免重复,此处不再赘述。或者,所述计算机程序303被处理器304执行时实现第四实施例所述抓拍处理装置中各模型/单元的功能,为避免重复,此处不再赘述。或者,所述计算机程序303被处理器304执行时实现第五实施例所述抓拍处理装置中各模型/单元的功能,为避免重复,此处不再赘述。或者,所述计算机程序303被处理器304执行时实现第六实施例所述抓拍机构中各模型/单元的功能,为避免重复,此处不再赘述。
示例性的,计算机程序303可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器302中,并由处理器304执行,以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序303在终端设备300中的执行过程。例如,计算机程序303可以被分割成第四实施例中的接收模块410、编码模块420和发送模块430,各模块的具体功能如第一实施例或第四实施例所述,在此不一一赘述。
终端设备300可以是抓拍机、云端或服务器。例如,当终端设备300为抓拍机时,用于实现第一实施例中的所述抓拍处理方法或者是实现第三实施例所述抓拍处理装置中各模型/单元的功能,为避免重复,此处不再赘述。当终端设备300为云端或服务器时,用于实现第二实施例中的所述抓拍处理方法或者是实现第四实施例所述抓拍处理装置中各模型/单元的功能,为避免重复,此处不再赘述。
其中,存储器302可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器302用于存储程序,所述处理器304在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器304中,或者由处理器304实现。
处理器304可能是一种集成电路芯片,具有信号的处理能力。上述的处理器304可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
通信模块305可以是无线通信模块,用于发送编码数据至服务器,以及还用于接收FPGA返回的帧检测结果。例如,无线通信模块可以是但不限于GPRS(General Packet RadioService,通用分组无线服务技术)通信模块或者是wifi模块等。
可以理解的是,图9所示的结构仅为终端设备300的一种结构示意图,终端设备300还可以包括比图9所示更多或更少的组件。图9中所示的各组件可以采用硬件、软件或其组合实现。
第八实施例
本发明实施例还提供一种存储介质,所述存储介质上存储有指令,当所述指令在计算机上运行时,所述计算机程序被处理器执行时实现第一实施例中的所述抓拍处理方法,为避免重复,此处不再赘述。或者,所述计算机程序被处理器执行时实现第二实施例中的所述抓拍处理方法,为避免重复,此处不再赘述。或者,所述计算机程序被处理器执行时实现第三实施例中的所述抓拍处理方法,为避免重复,此处不再赘述。或者,所述计算机程序被处理器执行时实现第四实施例所述抓拍处理装置中各模型/单元的功能,为避免重复,此处不再赘述。或者,所述计算机程序被处理器执行时实现第五实施例所述抓拍处理装置中各模型/单元的功能,为避免重复,此处不再赘述。或者,所述计算机程序被处理器执行时实现第六实施例所述抓拍机构中各模型/单元的功能,为避免重复,此处不再赘述。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现,基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施场景的方法。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (12)

1.一种抓拍处理方法,其特征在于,应用于抓拍机的主芯片,所述抓拍机还包括FPGA,所述主芯片与所述FPGA通信,所述方法包括:
接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;
将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;
将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。
2.根据权利要求1所述的方法,其特征在于,所述的将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据,包括:
将所述帧检测结果附加在与所述帧检测结果对应的所述图像的自定义区;
将所述图像进行编码,生成编码数据。
3.根据权利要求1所述的方法,其特征在于,所述的将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,包括:
根据所述帧检测结果中的帧标识信息确定对应的所述图像;
将所述图像与所述帧检测结果进行编码。
4.根据权利要求1所述的方法,其特征在于,所述的将所述编码数据发送至服务器,包括:
通过实时流传输协议将所述编码数据发送至服务器。
5.一种抓拍处理方法,其特征在于,应用于服务器,所述方法包括:
接收主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;
根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
6.根据权利要求5所述的方法,其特征在于,所述的根据所述帧检测结果在每帧图像上进行抠图操作,包括:
根据所述帧检测结果中的用于表征人脸的框位置信息以及用于追踪人脸的追踪标识信息确定人脸在每帧图像上的位置信息;
根据所述位置信息在每帧所述图像上对所述人脸进行抠图操作。
7.一种抓拍处理方法,其特征在于,应用于抓拍机构,所述抓拍机构包括抓拍机和与所述抓拍机通信的服务器,所述方法包括:
主芯片接收FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;
所述主芯片将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;
主芯片将所述编码数据发送所述至服务器;
所述服务器接收所述主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;
所述服务器根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
8.一种抓拍处理装置,其特征在于,应用于抓拍机的主芯片,所述抓拍机还包括FPGA,所述主芯片与所述FPGA通信,所述装置包括:
接收模块,用于接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;
编码模块,用于将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;
发送模块,用于将所述编码数据发送至服务器,以使所述服务器根据所述编码数据执行抠图操作。
9.一种抓拍处理装置,其特征在于,应用于服务器,所述装置包括:
接收模块,用于接收主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;
处理模块,用于根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
10.一种抓拍机构,其特征在于,所述抓拍机构包括:抓拍机和与所述抓拍机通信的服务器,所述抓拍机包括FPGA和主芯片,所述主芯片分别与所述FPGA通信和所述服务器通信,其中,
所述主芯片用于接收所述FPGA返回的用于对抓拍到的每帧图像进行检测的帧检测结果;
以及还用于将与所述帧检测结果对应的所述图像以及所述帧检测结果进行编码,生成编码数据;
以及还用于将所述编码数据发送所述至服务器;
所述服务器用于接收所述主芯片发送的编码数据,所述编码数据包括抓拍到的每帧图像以及所述每帧图像的帧检测结果;
以及还用于根据所述帧检测结果在与所述帧检测结果对应的每帧图像上进行抠图操作。
11.一种终端设备,其特征在于,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的抓拍处理方法的步骤;或者,所述处理器执行所述计算机程序时实现如权利要求5至6任一项所述的抓拍处理方法的步骤;或者,所述处理器执行所述计算机程序时实现如权利要求7所述的抓拍处理方法的步骤。
12.一种存储介质,其特征在于,所述存储介质上存储有指令,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至4任一项所述的抓拍处理方法;或者,当所述指令在计算机上运行时,使得所述计算机执行如权利要求5至6任一项所述的抓拍处理方法;或者,当所述指令在计算机上运行时,使得所述计算机执行如权利要求7所述的抓拍处理方法。
CN201810869953.XA 2018-08-01 2018-08-01 抓拍处理方法、装置、抓拍机构、设备及存储介质 Pending CN109040587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810869953.XA CN109040587A (zh) 2018-08-01 2018-08-01 抓拍处理方法、装置、抓拍机构、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810869953.XA CN109040587A (zh) 2018-08-01 2018-08-01 抓拍处理方法、装置、抓拍机构、设备及存储介质

Publications (1)

Publication Number Publication Date
CN109040587A true CN109040587A (zh) 2018-12-18

Family

ID=64648655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810869953.XA Pending CN109040587A (zh) 2018-08-01 2018-08-01 抓拍处理方法、装置、抓拍机构、设备及存储介质

Country Status (1)

Country Link
CN (1) CN109040587A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783680A (zh) * 2019-01-16 2019-05-21 北京旷视科技有限公司 图像推送方法、图像获取方法、装置及图像处理系统
CN111209119A (zh) * 2020-01-21 2020-05-29 成都国翼电子技术有限公司 一种人脸抓拍枪机负载均衡方法
CN111263097A (zh) * 2019-09-19 2020-06-09 华为技术有限公司 媒体数据传输方法及相关设备
CN111739241A (zh) * 2020-05-07 2020-10-02 深圳英飞拓智能技术有限公司 基于5g传输的人脸抓拍和监控方法及系统、设备
CN112770064A (zh) * 2020-12-30 2021-05-07 北京七维视觉传媒科技有限公司 一种抠像系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257635A (zh) * 2008-03-21 2008-09-03 北京中星微电子有限公司 一种基于人脸检测的视频压缩容错方法及编解码方法
CN101287093A (zh) * 2008-05-30 2008-10-15 北京中星微电子有限公司 在视频通信中添加特效的方法及视频客户端
CN104159116A (zh) * 2014-08-26 2014-11-19 江苏瑞奥风软件科技有限公司 一种将人脸识别信息加入h264视频流中的方法
CN105141974A (zh) * 2015-07-29 2015-12-09 百度在线网络技术(北京)有限公司 一种视频剪辑方法和装置
US20160021067A1 (en) * 2014-07-21 2016-01-21 Xiaomi Inc. Methods, devices and systems for anti-counterfeiting authentication
CN106339679A (zh) * 2016-08-24 2017-01-18 奥奈斯特(宁波)软件技术有限公司 一种人脸识别系统
CN106650691A (zh) * 2016-12-30 2017-05-10 北京旷视科技有限公司 图像处理方法和图像处理设备
CN107801027A (zh) * 2017-10-19 2018-03-13 西安万像电子科技有限公司 图像处理方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257635A (zh) * 2008-03-21 2008-09-03 北京中星微电子有限公司 一种基于人脸检测的视频压缩容错方法及编解码方法
CN101287093A (zh) * 2008-05-30 2008-10-15 北京中星微电子有限公司 在视频通信中添加特效的方法及视频客户端
US20160021067A1 (en) * 2014-07-21 2016-01-21 Xiaomi Inc. Methods, devices and systems for anti-counterfeiting authentication
CN104159116A (zh) * 2014-08-26 2014-11-19 江苏瑞奥风软件科技有限公司 一种将人脸识别信息加入h264视频流中的方法
CN105141974A (zh) * 2015-07-29 2015-12-09 百度在线网络技术(北京)有限公司 一种视频剪辑方法和装置
CN106339679A (zh) * 2016-08-24 2017-01-18 奥奈斯特(宁波)软件技术有限公司 一种人脸识别系统
CN106650691A (zh) * 2016-12-30 2017-05-10 北京旷视科技有限公司 图像处理方法和图像处理设备
CN107801027A (zh) * 2017-10-19 2018-03-13 西安万像电子科技有限公司 图像处理方法、装置及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783680A (zh) * 2019-01-16 2019-05-21 北京旷视科技有限公司 图像推送方法、图像获取方法、装置及图像处理系统
CN111263097A (zh) * 2019-09-19 2020-06-09 华为技术有限公司 媒体数据传输方法及相关设备
CN111263097B (zh) * 2019-09-19 2024-01-02 华为技术有限公司 媒体数据传输方法及相关设备
CN111209119A (zh) * 2020-01-21 2020-05-29 成都国翼电子技术有限公司 一种人脸抓拍枪机负载均衡方法
CN111739241A (zh) * 2020-05-07 2020-10-02 深圳英飞拓智能技术有限公司 基于5g传输的人脸抓拍和监控方法及系统、设备
CN112770064A (zh) * 2020-12-30 2021-05-07 北京七维视觉传媒科技有限公司 一种抠像系统

Similar Documents

Publication Publication Date Title
CN109040587A (zh) 抓拍处理方法、装置、抓拍机构、设备及存储介质
CN110537194B (zh) 被配置用于层和操作防护和依赖性管理的功率高效的深度神经网络处理器及方法
CN108875537B (zh) 对象检测方法、装置和系统及存储介质
CN107862270B (zh) 人脸分类器训练方法、人脸检测方法及装置、电子设备
WO2019213459A1 (en) System and method for generating image landmarks
CN108875482B (zh) 物体检测方法和装置、神经网络训练方法和装置
CN109740589B (zh) 视频模式中的异步对象roi检测方法及系统
US11847816B2 (en) Resource optimization based on video frame analysis
CN113222108B (zh) 目标检测的处理方法、装置及设备
CN105554591A (zh) 视频分析方法和设备
CN109726678B (zh) 一种车牌识别的方法及相关装置
CN113885956B (zh) 服务部署方法及装置、电子设备和存储介质
CN110263680B (zh) 图像处理方法、装置和系统及存储介质
CN109447006A (zh) 图像处理方法、装置、设备及存储介质
CN109783680B (zh) 图像推送方法、图像获取方法、装置及图像处理系统
CN109840491A (zh) 视频流播放方法、系统、计算机装置及可读存储介质
CN103871073B (zh) 一种基于增强现实的目标跟踪方法、设备及系统
Aby et al. Implementation and optimization of embedded face detection system
CN111985597A (zh) 模型压缩方法及装置
CN112749666A (zh) 一种动作识别模型的训练及动作识别方法与相关装置
CN103793873A (zh) 图像像素中值的获取方法和装置
CN110795993A (zh) 一种构建模型的方法、装置、终端设备及介质
CN110633630B (zh) 一种行为识别方法、装置及终端设备
WO2023124428A1 (zh) 芯片、加速卡以及电子设备、数据处理方法
CN116912556A (zh) 图片分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181218