CN111428084A - 一种信息处理方法、管家服务器及云端服务器 - Google Patents
一种信息处理方法、管家服务器及云端服务器 Download PDFInfo
- Publication number
- CN111428084A CN111428084A CN202010295710.7A CN202010295710A CN111428084A CN 111428084 A CN111428084 A CN 111428084A CN 202010295710 A CN202010295710 A CN 202010295710A CN 111428084 A CN111428084 A CN 111428084A
- Authority
- CN
- China
- Prior art keywords
- key information
- image key
- video data
- data stream
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 26
- 239000000284 extract Substances 0.000 claims abstract description 8
- 238000004891 communication Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 14
- 238000012216 screening Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000011521 glass Substances 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
Abstract
本申请实施例涉及视频图像信息处理技术领域，尤其涉及一种信息处理方法、管家服务器及云端服务器，用于有效提升视频帧数据的有效信息量，为视频数据处理提供有效的冗余筛检，减轻云端负荷，提高数据链路中信息处理的效率。所述方法包括：获取所述摄像头拍摄的视频数据流；提取所述视频数据流的图像关键信息；将所述图像关键信息插入所述视频数据流中；将插入图像关键信息的视频数据流发送至所述云端服务器，以使云端服务器提取视频数据流中的图像关键信息，将所述图像关键信息与数据库的目标数据比对，得到比对结果。
Description
技术领域
本申请涉及视频图像信息处理技术领域，特别涉及一种信息处理方法、管家服务器及云端服务器。
背景技术
随着科技的进步，家局安防和和社区安防技术得到迅猛发展。家局安防和和社区安防是自动探测发生在布防监测区域内的侵入行为，并提示家庭成员或值班人员发生报警的区域部位，显示可能采取对策。
传统的安防技术通过在监测区域设置安防摄像头，通过不间断的获取并分析安防摄像头捕捉到的视频图像数据，识别出出现在监测区域的人物等信息，对可疑人员的出现起到警示作用，从而保护个人和财产安全。但是不间断的获取和分析安防摄像头捕捉到的视频图像数据对云端服务器产生极大负荷，严重影响视频图像信息处理的效率。
发明内容
本申请提供一种信息处理方法、管家服务器及云端服务器，用以在不影响视频帧解码显示的前提下，有效提升视频帧数据的有效信息量，为视频数据处理提供有效的冗余筛检，减轻云端负荷，大大提高视频图像信息处理的效率。
第一方面，提供一种管家服务器，包括：
通信器，用于与云端服务器和摄像头通信连接；
控制器，被配置为执行：
获取所述摄像头拍摄的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息插入所述视频数据流中；
将插入图像关键信息的视频数据流发送至所述云端服务器，以使云端服务器提取视频数据流中的图像关键信息，将所述图像关键信息与数据库的目标数据比对，得到比对结果。
第二方面，提供一种云端服务器，包括：
通信器，用于与管家服务器通信连接；
控制器，被配置为执行：
接收所述管家服务器发送插入图像关键信息的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息与数据库的目标数据比对，得到比对结果。
第三方面，提供一种信息处理方法，包括：
获取所述摄像头拍摄的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息插入所述视频数据流中；
将插入图像关键信息的视频数据流发送至所述云端服务器，以使云端服务器提取视频数据流中的图像关键信息，将所述图像关键信息与数据库的目标数据比对，得到比对结果。
第四方面，提供一种信息处理方法，包括：
接收所述管家服务器发送插入图像关键信息的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息与数据库的目标数据比对，得到比对结果。
在上述实施例中，获取摄像头的视频图像数据，通过算法提取人物特征的图像关键信息。将提取的图像关键信息插入到视频流中，并发送至云端服务器与数据库中的目标数据进行匹配，并返回匹配结果。图像关键信息是一组一维的数据，图像信息是一组二维或三维的数据。从数据量、计算强度、和对比算法复杂度、资源消耗等多方面对比，本申请中提出的通过图像关键信息筛选后再进行图像处理后的方法，有效提升视频帧数据的有效信息量，为视频数据处理提供有效的冗余筛检，减轻云端负荷，大大提高数据链路中信息处理的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A中示例性示出了管家服务器、云端服务器和摄像头之间操作场景的示意图；
图1B中示例性示出了图1A中管家服务器100的配置框图；
图1C中示例性示出了图1A中云端服务器200的配置框图；
图2A中示例性示出了一种应用于管家服务器的信息处理方法流程图；
图2B中示例性示出了插入补充增强信息的Gstreamer管道结构图；
图2C中示例性示出了一种应用于云端服务器的信息处理方法流程图；
图2D中示例性示出了云端服务器接收数据框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1A中示例性示出了管家服务器、云端服务器和摄像头之间操作场景的示意图。
如图1A所示，云端服务器200和摄像头300与管家服务器100之间可以通过多种通信方式进行数据通信。这里可允许通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。
摄像头300可以是智能家居的猫眼摄像头，也可以是智慧社区的安防摄像头。摄像头300提供RTSP数据的拉取。
图1B中示例性示出了管家服务器100的配置框图。如图1B所示，管家服务器100包括控制器110、存储器120、通信器130、供电电源140。
控制器110包括随机存取存储器(RAM)111、只读存储器(ROM)112、处理器113、通信接口以及通信总线。控制器110用于控制管家服务器100的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。
存储器120，用于在控制器110的控制下存储驱动和控制管家服务器100的数据。
通信器130在控制器110的控制下，实现与云端服务器200和摄像头300之间控制信号和数据信号的通信。如：管家服务器100经由通信器130将数据包发送至云端服务器200上，管家服务器100可经由通信器130接收由摄像头300发送的数据。
供电电源140，用于在控制器110的控制下为管家服务器100各元件提供运行电力支持。形式可以为电池及相关控制电路。
图1C中示例性示出了云端服务器200的配置框图。如图1C所示，云端服务器200包括控制器210、存储器220、通信器230、供电电源240。
控制器210包括随机存取存储器(RAM)211、只读存储器(ROM)212、处理器213、通信接口以及通信总线。控制器210用于控制云端服务器200的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。
存储器220，用于在控制器210的控制下存储驱动和控制云端服务器200的数据。
通信器230在控制器210的控制下，实现与管家服务器100之间控制信号和数据信号的通信。如：云端服务器200经由通信器230将数据发送至管家服务器100上，云端服务器200可经由通信器230接收由管家服务器100发送的数据。
供电电源240，用于在控制器210的控制下为云端服务器200各元件提供运行电力支持。形式可以为电池及相关控制电路。
图2A和图2C示例性示出了一种信息处理方法的流程图。
结合图2A所示的方法来说，该方法应用于管家服务器，该方法包括以下步骤S31～S35：
步骤S31：获取摄像头拍摄的视频数据流；
需要说明的是，摄像头提供RTSP数据的拉取，管家服务器获取到RTSP数据流后需要对其进行解析。
在本申请的一些实施例中，采用在Gstreamer框架下对RTSP数据流进行解析。
GStreamer是一个创建流媒体应用程序的框架，它是基于插件的，这些插件能够很方便的接入到任意的管道当中，最大限度的实现代码的复用。
Gstreamer管道解析RTSP数据流的具体步骤，包括：
1)从摄像头获取RTSP数据流；
2)解析RTP数据包，从中获取编码格式的数据，例如h.264格式的数据；
3)在解码之前先对编码格式的数据进行解析；
4)将解析之后的数据送到解码器进行解码；
5)将解码后的裸数据写入共享内存的缓存区，供进程间通信使用。
步骤S32：提取所述视频数据流的图像关键信息；
提取图像关键信息本质是提取图像特征。特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像的特征。特征提取的结果是把图像上的点分为不同的子集。例如，一副人物图像的特征提取可以划分为以下几个子集：是否佩戴眼镜(眼镜的种类)、眉毛的类型、头发的颜色、眼睛的颜色、种族和肤色等。
本申请的一些实施例中，从共享内存中读取解码后的裸数据，使用紧凑视觉特征算法对其图像关键信息进行提取。其中，使用紧凑视觉特征算法提取图像关键信息的步骤具体如下：
步骤一：提取所述视频数据流的关键帧；
在视频编解码领域，所谓关键帧是指一帧画面的完整保留。在视频压缩技术中，关键帧属于帧内压缩，P帧(前向搜索帧)和B帧(双向搜索帧)都是基于关键帧来进行压缩和还原的。
步骤二：通过对关键帧进行算法处理，提取所述关键帧的图像关键信息，所述图像关键信息包括静态图像特征。
本申请的一些实施例中，从共享内存中读取解码后的裸数据，先要通过算法检测是否有目标物体，只有当检测到有目标物体后，才进一步执行步骤S32：提取所述视频数据流的图像关键信息。本申请实施例可以有效减少视频数据处理量，减轻云端负荷，提升视频处理的效率。
步骤S33：将所述图像关键信息插入所述视频数据流中；
本申请的一些实施例中，将所述图像关键信息以补充增强信息的方式插入所述视频数据流中。
在一些实施例中，将以紧凑视觉特征算法提取的特征信息，即图像关键信息进行封装，封装为符合补充增强信息(SEI：Supplemental Enhancement Information)格式的数据，并写入缓存。
其中，对于H.264编码格式视频数据而言，其编码标准有两个有不同层，一个是视频编码层VCL，另一个是网络抽象层NAL。其中，视频编码层VCL用来表述视频数据的内容，而网络抽象层NAL是用来提供视频数据的头信息。
NAL(Network Abstract Layer，网络抽象层)，有不同的NAL header。其中，“0x06”表示为SEI类型。SEI的payload类型设置为5时，表示自定义内容。
完整的SEI类型的数据格式需要包括以下内容：
SEI payload size
SEI payload uuid
SEI payload content
本申请的一些实施例中，紧凑视觉特征算法是提取视频流中的关键帧进行处理，其关键帧的的时间戳信息也会封装到SEI数据格式中。该时间戳会用于云端服务器接收SEI数据后提取对应的关键帧。
本申请的一些实施例通过Gstreamer的appsrc元件，将生成的SEI格式的数据插入到视频流中。其中，插入的SEI数据的数量要远小于编码后视频帧的数量。具体如图2B所示。图2B示出插入补充增强信息的Gstreamer管道结构图。
图2B中，
Appsrc：是Gstreamer管道的一个元件，专门用于将外部数据添加到Gstreamer管道流中。
Funnel：是Gstreamer管道的一个元件，是用于将N路数据合成一路的合路器。它是以Gstbuffer为最小单位粒度将两路数据进行merge。
udpsink：是Gstreamer管道的一个元件，用于将Gstreamer管道中的数据通过udp通信的方式发送出去。
步骤S34：将插入图像关键信息的视频数据流发送至所述云端服务器，以使云端服务器提取视频数据流中的图像关键信息，将所述图像关键信息与数据库的目标数据比对，得到比对结果。
其中，将插入图像关键信息的视频数据流由管家服务器打包成RTP包发送通过UDP(User Datagram Protocol，用户数据报协议)通信的方式发送给云端服务器。
需要补充的是，数据链路信息发送与接收的Gstreamer代码验证如下：
智能管家服务器发送端：
gst-launch-1.0funnel name＝f\
appsrc name＝appsrc0 do-timestamp＝true block＝true is-live＝true！video/x-h264,stream-format＝byte-stream,alignment＝au！queue！f.\
appsrc name＝appsrc1！omxh264enc！video/x-h264,stream-format＝byte-stream,alignment＝au,profile＝baseline！queue！f.\
f.！queue！h264parse！video/x-h264,stream-format＝byte-stream,alignment＝au！rtph264pay！udpsink sync＝false clients＝127.0.0.1:5004
云端服务器接收端：
gst-launch-1.0udpsrc uri＝udp://127.0.0.1:5004caps＝"application/x-rtp,media＝video,encoding-name＝H264"！rtph264depay！video/x-h264,stream-format＝byte-stream,alignment＝nal！identity name＝identity！fakesink
结合图2C所示的方法来说，该方法应用于云端服务器，该方法包括以下步骤S41～S45：
步骤S41：接收所述管家服务器发送插入图像关键信息的视频数据流；
步骤S42：提取所述视频数据流的图像关键信息；
本申请的一些实施例中，云端服务器通过Gstreamer管道接收数据流。
图2D示出云端服务器接收数据框图。
图2D中，
udpsrc：是Gstreamer管道的一个元件，用于将Gstreamer管道中的数据通过udp通信的方式接收数据。
identity：是Gstreamer管道的一个元件，它的作用是，在不改变数据的情况下，让数据通过。此处使用该元件的目的是对其绑定一个signal-handoffs信号，当接收到每个gstbuffer时，都会触发该信号，然后调用其指定的回调函数，在其回调函数中实现对接收到的、已经添加了关键信息的数据流进行解析。
其回调函数handoff_callback的代码解析如下，具体包括SEI数据的检测和关键信息的提取。
在上述回调函数中调用的API函数h264_sei_ntp_parse，对SEI数据进行了解析，具体代码实现如下：
其中，buf[i*16+n]对应的是设定的SEI数据格式中的content内容中的自定义部分。
fakesink：是Gstreamer管道的一个元件，其作用是消耗数据但不显示。此处的作用是用来消耗已经处理过的管道数据，不让数据一直处于累积状态，避免造成内存占用、资源浪费。
步骤S43：将所述图像关键信息与数据库的目标数据比对，得到比对结果。
在云端的数据库中储存了目标物体的数据，例如，犯罪嫌疑人的特征信息，宠物的特征信息等。
在一些实施例中，图像关键信息与数据库的目标数据比对可以根据目标物的不同分为不同的项目。如果目标物是人的话，项目可以是性别、头发的颜色和眼睛的颜色等。如果目标物是动物，项目可以是动物的品种和动物毛的颜色等。另外，项目包括必选项和非必选项。必选项是必须匹配的项目。以目标物为人为例，必选项一般为人不能轻易改变的特征信息，如性别、肤色、眼睛颜色和种族等。非必选项是不必须匹配或是允许不匹配的项目。同样以目标物为人为例，非必选项一般为人能轻易改变的特征信息，如眼镜的种类、眉毛的类型等。
在本申请的一些实施例中，所述将所述图像关键信息与数据库目标数据比对，得到比对结果，具体包括：
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量大于预设值，比对结果为成功；
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量不大于预设值，比对结果为失败。
预设值可根据用户实际需要设置。预设值设置的越大，说明需要匹配成功的必选项要求越多，识别出的人物结果越为准确。预设值设置的越小，说明需要匹配成功的必选项要求越少，匹配成功的目标人物越多，经后续深度图像处理后越能增加识别出目标人物成功的概率。
在一些实施例中，不同项目的数据以独一无二的数字代替，便于将图像关键信息与目标数据进行匹配。例如：男性以数字1表示，墨镜以数字28表示。当图像关键信息与目标数据的性别项目都是1时，表示该项目匹配成功。对于项目是否是必选项或是非必选项通过特征值KEY来识别。如果特征值为1表示该项目为必选项，如果特征值为0表示该项目为非必选项。
例如：云端数据库中有一犯罪嫌疑人的特征信息如表1所示。
表1
云端服务器接收并提取管家服务器端发送的视频数据流的图像关键信息如表2所示。
表2
| Data | Content | Value | KEY |
| 性别 | 男 | 1 | 1 |
| 是否佩戴眼镜(眼镜的种类) | 墨镜 | 28 | 0 |
| 眉毛的类型 | 远山眉 | 15 | 0 |
| 头发的颜色 | 黄色 | 5 | 1 |
| 眼睛的颜色 | 黑色 | 7 | 1 |
| 种族 | 亚洲人 | 3 | 1 |
| 肤色 | 黄色 | 5 | 1 |
通过比对图像关键信息与数据库的某一犯罪嫌疑人的数据可知，图像关键信息与目标数据中必选项的匹配成功数量为4个。如果预设值为5，表明图像关键信息与所述目标数据的结果为失败。如果预设值为3，表明图像关键信息与所述目标数据的结果为成功。
必选项的匹配虽然很重要，但是非必选项匹配情况也不容忽视。在本申请的一些实施例中，所述将所述图像关键信息与数据库目标数据比对，得到比对结果，具体包括：
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量大于第一预设值，比对结果为成功；
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量不大于第一预设值且大于第二预设值，所述图像关键信息与所述目标数据中非必选项的匹配成功数量大于第三预设值，比对结果为成功。
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量不大于第二预设值，比对结果为失败。
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量不大于第一预设值且大于第二预设值，所述图像关键信息与所述目标数据中非必选项的匹配成功数量不大于第三预设值，比对结果为失败。
例如：第一预设值为7，第二预设值5，第三预设值为3。如果图像关键信息与所述目标数据中必选项的匹配成功数量为8，表明图像关键信息与所述目标数据的结果为成功。如果图像关键信息与所述目标数据中必选项的匹配成功数量为6，非必选项的匹配成功数量为4，表明图像关键信息与所述目标数据的结果为成功。如果图像关键信息与所述目标数据中必选项的匹配成功数量为4，表明图像关键信息与所述目标数据的结果为失败。如果图像关键信息与所述目标数据中必选项的匹配成功数量为6，非必选项的匹配成功数量为2，表明图像关键信息与所述目标数据的结果为失败。
为了将非必选项的匹配情况也纳入比对结果的考虑范围内，在本申请的一些实施例中，还可以对必选项和非必选项设置对应的权重，通过比较权重之和与预设值的大小来判断是否比对成功。
例如：必选项的权重为1，非必选项的权重为0.2，预设值为6。如果图像关键信息与所述目标数据中必选项的匹配成功数量5，非必选项的匹配成功数量6。通过计算权重之和为6.2，权重之和6.2大于预设值6，所以图像关键信息与所述目标数据的比对结果为成功。如果图像关键信息与所述目标数据中必选项的匹配成功数量5，非必选项的匹配成功数量4。通过计算权重之和为5.8，权重之和5.8不大于预设值6，所以图像关键信息与所述目标数据的比对结果为失败。
步骤S44：响应于比对结果为成功，提取所述图像关键信息对应关键帧时间戳前后预设时间段的视频数据流；
步骤S45：将提取的视频数据流进行深度图像处理，识别出目标物体的信息。
如果比对结果为成功，需要进一步处理该关键帧对应时间段内的视频数据流，对该时间段的视频数据流进行深度图像处理。深度图像处理是指进行图像算法识别，而不是仅对特征信息进行匹配。经过深度图像处理后，可以检测出具体的人物信息，如，姓名、身份特征等。如果通过深度图像处理后判定该人物为犯罪嫌疑人，则执行报警操作。
例如：如果比对结果为成功，该图像信息对应关键帧的时间为12:00:07，预设时间段为30分钟，则提取11:30:07至13:30:07的视频数据流，对该段时间的视频数据流进行深度图像处理，通过深度图像处理进一步确定目标物的准确信息。
步骤S46：响应于比对结果为失败，保存所述图像关键信息对应的关键帧数据，记录一次所述图像关键信息。
步骤S47：响应于所述图像关键信息的记录次数大于预设值，执行报警操作。
如果比对结果为失败，保存图像关键信息对应的关键帧数据，其中，通过SEI帧中保存的时间戳来实现对应关键帧的识别。同时，记录该条信息，但不做报警处理。如果该图像关键信息的累计记录次数超过预设值，说明该人频繁出现在视频监控区域内，则需要执行报警操作。
例如：
云端服务器接收并提取管家服务器端发送的视频数据流的图像关键信息如表3所示。
表3
| Data | Content | Value | KEY |
| 性别 | 男 | 1 | 1 |
| 是否佩戴眼镜(眼镜的种类) | 近视镜 | 26 | 0 |
| 眉毛的类型 | 远山眉 | 15 | 0 |
| 头发的颜色 | 黄色 | 5 | 1 |
| 眼睛的颜色 | 黑色 | 7 | 1 |
| 种族 | 亚洲人 | 3 | 1 |
| 肤色 | 黄色 | 5 | 1 |
对比表1和表3可知，通过比对图像关键信息与数据库的某一犯罪嫌疑人的数据可知，图像关键信息与目标数据中必选项的匹配成功数量为4不大于预设值5，比对结果为失败。此时，保存该图像关键信息对应的关键帧，同时，记录该图像关键信息对应的关键帧为06:00:00，累计出现1次。如果表3中的图像关键信息在其他时间也出现过，同样执行保存该图像关键信息对应的关键帧，记录该图像关键信息对应的关键帧，统计累计出现的次数。如果累计出现的次数超过预设值5次，则执行报警操作。
需要补充的是，云端服务器需要将比对结果发送至管家服务器。
步骤S35：接收所述云端服务器发送的比对结果。
管家服务器接收云端服务器发送的比对结果，并将比对结果存储，便于用户在本地查看相关信息。其中，如果图像关键信息与数据库目标数据比对成功，将比对成功信息、该关键帧对应的时间段内的视频数据流和深度图像处理的结果保存至管家服务器。如果图像关键信息与数据库目标数据比对失败，将该图像关键信息对应关键帧及累计出现的次数保存至管家服务器。用户可以通过管家服务器查询该图像关键信息的出现的时间、关键帧内的目标物及累计出现的次数等。
在上述实施例中，获取摄像头的视频图像数据，通过算法提取人物特征的图像关键信息。将提取的图像关键信息插入到视频流中，并发送至云端服务器与数据库中的目标数据进行匹配，并返回匹配结果。图像关键信息是一组一维的数据，图像信息是一组二维或三维的数据。从数据量、计算强度、和对比算法复杂度、资源消耗等多方面对比，本申请中提出的通过图像关键信息筛选后再进行图像处理后的方法，有效提升视频帧数据的有效信息量，为视频数据处理提供有效的冗余筛检，减轻云端负荷，大大提高数据链路中信息处理的效率。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (11)
1.一种管家服务器，其特征在于，包括：
通信器，用于与云端服务器和摄像头通信连接；
控制器，被配置为执行：
获取所述摄像头拍摄的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息插入所述视频数据流中；
将插入图像关键信息的视频数据流发送至所述云端服务器，以使云端服务器提取视频数据流中的图像关键信息，将所述图像关键信息与数据库的目标数据比对，得到比对结果。
2.根据权利要求1所述的管家服务器，其特征在于，所述控制器，被配置为采用以下方式执行提取所述视频图像数据的图像关键信息：
响应于检测到所述视频数据流中出现目标物体，提取所述视频数据流的图像关键信息。
3.根据权利要求1或2所述的管家服务器，其特征在于，所述控制器，被配置为采用以下方式执行提取所述视频图像数据的图像关键信息：
提取所述视频数据流的关键帧；
提取所述关键帧的图像关键信息，所述图像关键信息包括静态图像特征。
4.根据权利要求3所述的管家服务器，其特征在于，所述控制器，被配置为采用以下方式执行将所述图像关键信息插入所述视频数据流中：
将所述图像关键信息和所述关键帧的时间戳以补充增强信息的方式插入所述视频数据流中。
5.根据权利要求1所述的管家服务器，其特征在于，所述控制器，还被配置为执行：
接收所述云端服务器发送的比对结果。
6.一种云端服务器，其特征在于，包括：
通信器，用于与管家服务器通信连接；
控制器，被配置为执行：
接收所述管家服务器发送插入图像关键信息的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息与数据库的目标数据比对，得到比对结果。
7.根据权利要求6所述的云端服务器，其特征在于，所述控制器，被配置为采用以下方式执行所述将所述图像关键信息与数据库目标数据比对，得到比对结果：
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量大于预设值，比对结果为成功；
如果所述图像关键信息与所述目标数据中必选项的匹配成功数量不大于预设值，比对结果为失败。
8.根据权利要求7所述的云端服务器，其特征在于，所述控制器，还被配置为：
响应于比对结果为成功，提取所述图像关键信息对应关键帧时间戳前后预设时间段内的视频数据流；
将提取的视频数据流进行深度图像处理，识别出目标物体的信息；
响应于比对结果为失败，保存所述图像关键信息对应的关键帧数据，记录一次所述图像关键信息。
9.根据权利要求8所述的云端服务器，其特征在于，所述控制器，还被配置为：
响应于所述图像关键信息的记录次数大于预设值，执行报警操作。
10.一种信息处理方法，其特征在于，包括：
获取摄像头拍摄的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息插入所述视频数据流中；
将插入图像关键信息的视频数据流发送至云端服务器，以使云端服务器提取视频数据流中的图像关键信息，将所述图像关键信息与数据库的目标数据比对，得到比对结果。
11.一种信息处理方法，其特征在于，包括：
接收管家服务器发送插入图像关键信息的视频数据流；
提取所述视频数据流的图像关键信息；
将所述图像关键信息与数据库中的目标数据比对，得到比对结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010295710.7A CN111428084A (zh) | 2020-04-15 | 2020-04-15 | 一种信息处理方法、管家服务器及云端服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010295710.7A CN111428084A (zh) | 2020-04-15 | 2020-04-15 | 一种信息处理方法、管家服务器及云端服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111428084A true CN111428084A (zh) | 2020-07-17 |
Family
ID=71558213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010295710.7A Pending CN111428084A (zh) | 2020-04-15 | 2020-04-15 | 一种信息处理方法、管家服务器及云端服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428084A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449337A (zh) * | 2021-06-22 | 2021-09-28 | 广州市资拓科技有限公司 | 一种服务器托管信息处理方法及系统 |
| CN113489934A (zh) * | 2020-08-24 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种智能管家服务器、系统及屏幕远程交互方法 |
| CN113489933A (zh) * | 2020-08-18 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 数据传输设备及码率动态调节方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101094410A (zh) * | 2007-06-28 | 2007-12-26 | 西安联合信息技术股份有限公司 | 一种基于Brew平台的无线视频传输系统 |
| CN109348252A (zh) * | 2018-11-01 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 视频播放方法、视频传输方法、装置、设备及存储介质 |
| CN109413374A (zh) * | 2018-02-07 | 2019-03-01 | 中科太网科技(北京)有限公司 | 监控视频处理方法、装置、视频处理设备及视频处理系统 |
| CN110087042A (zh) * | 2019-05-08 | 2019-08-02 | 深圳英飞拓智能技术有限公司 | 一种实时同步视频流和元数据的人脸抓拍方法及系统 |
| CN110139128A (zh) * | 2019-03-25 | 2019-08-16 | 北京奇艺世纪科技有限公司 | 一种信息处理方法、拦截器、电子设备及存储介质 |
| CN110324708A (zh) * | 2019-07-16 | 2019-10-11 | 浙江大华技术股份有限公司 | 视频处理方法、终端设备及计算机存储介质 |
| CN110784740A (zh) * | 2019-11-25 | 2020-02-11 | 北京三体云时代科技有限公司 | 视频处理方法、装置、服务器及可读存储介质 |
| CN110913213A (zh) * | 2019-12-30 | 2020-03-24 | 广州酷狗计算机科技有限公司 | 视频质量评测处理的方法、装置及系统 |
-
2020
- 2020-04-15 CN CN202010295710.7A patent/CN111428084A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101094410A (zh) * | 2007-06-28 | 2007-12-26 | 西安联合信息技术股份有限公司 | 一种基于Brew平台的无线视频传输系统 |
| CN109413374A (zh) * | 2018-02-07 | 2019-03-01 | 中科太网科技(北京)有限公司 | 监控视频处理方法、装置、视频处理设备及视频处理系统 |
| CN109348252A (zh) * | 2018-11-01 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 视频播放方法、视频传输方法、装置、设备及存储介质 |
| CN110139128A (zh) * | 2019-03-25 | 2019-08-16 | 北京奇艺世纪科技有限公司 | 一种信息处理方法、拦截器、电子设备及存储介质 |
| CN110087042A (zh) * | 2019-05-08 | 2019-08-02 | 深圳英飞拓智能技术有限公司 | 一种实时同步视频流和元数据的人脸抓拍方法及系统 |
| CN110324708A (zh) * | 2019-07-16 | 2019-10-11 | 浙江大华技术股份有限公司 | 视频处理方法、终端设备及计算机存储介质 |
| CN110784740A (zh) * | 2019-11-25 | 2020-02-11 | 北京三体云时代科技有限公司 | 视频处理方法、装置、服务器及可读存储介质 |
| CN110913213A (zh) * | 2019-12-30 | 2020-03-24 | 广州酷狗计算机科技有限公司 | 视频质量评测处理的方法、装置及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113489933A (zh) * | 2020-08-18 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 数据传输设备及码率动态调节方法 |
| CN113489933B (zh) * | 2020-08-18 | 2024-04-30 | 海信集团控股股份有限公司 | 数据传输设备及码率动态调节方法 |
| CN113489934A (zh) * | 2020-08-24 | 2021-10-08 | 青岛海信电子产业控股股份有限公司 | 一种智能管家服务器、系统及屏幕远程交互方法 |
| CN113449337A (zh) * | 2021-06-22 | 2021-09-28 | 广州市资拓科技有限公司 | 一种服务器托管信息处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428084A (zh) | 一种信息处理方法、管家服务器及云端服务器 | |
| CN111898416A (zh) | 视频流处理方法、装置、计算机设备和存储介质 | |
| EP2661882B1 (en) | Video coding and decoding devices and methods preserving ppg relevant information | |
| CN112991656B (zh) | 基于姿态估计的全景监控下人体异常行为识别报警系统及方法 | |
| US7203356B2 (en) | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications | |
| CN111670580B (zh) | 渐进压缩域计算机视觉和深度学习系统 | |
| EP3321844A1 (en) | Action recognition in a video sequence | |
| US9842258B2 (en) | System and method for video preview | |
| CN114679607B (zh) | 一种视频帧率控制方法、装置、电子设备及存储介质 | |
| US20190266391A1 (en) | Computer-implemented methods and computer systems for detection of human's emotions | |
| CN112464179B (zh) | 一种基于区块链与表情识别的短视频版权存储算法 | |
| CN101389029A (zh) | 一种视频图像编码和检索的方法及装置 | |
| CN111104841A (zh) | 暴力行为检测方法及系统 | |
| CN113378616A (zh) | 视频分析方法、视频分析的管理方法及相关设备 | |
| US20190147251A1 (en) | Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium | |
| JP5423740B2 (ja) | 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム | |
| CN114419527B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
| WO2022048129A1 (zh) | 对象识别方法、装置及系统 | |
| Giorgi et al. | Privacy-Preserving Analysis for Remote Video Anomaly Detection in Real Life Environments. | |
| US20200327332A1 (en) | Moving image analysis apparatus, system, and method | |
| CN112822539A (zh) | 信息显示方法、装置、服务器及存储介质 | |
| US20190190895A1 (en) | Method of control of online sharing of digital photographs and video | |
| US20230188679A1 (en) | Apparatus and method for transmitting images and apparatus and method for receiving images | |
| CN113507611B (zh) | 图像存储方法、装置、计算机设备和存储介质 | |
| CN108664861A (zh) | 基于分布云的人脸识别移动执法记录仪系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200717 |