CN116170581A - 一种基于目标感知的视频信息编解码方法和电子设备 - Google Patents
一种基于目标感知的视频信息编解码方法和电子设备 Download PDFInfo
- Publication number
- CN116170581A CN116170581A CN202310132397.9A CN202310132397A CN116170581A CN 116170581 A CN116170581 A CN 116170581A CN 202310132397 A CN202310132397 A CN 202310132397A CN 116170581 A CN116170581 A CN 116170581A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- video
- mode
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008447 perception Effects 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000000586 desensitisation Methods 0.000 claims description 55
- 238000013144 data compression Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000007906 compression Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0435—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply symmetric encryption, i.e. same key used for encryption and decryption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及一种基于目标感知的视频信息编码方法和电子设备，该方法通过在编码前实现针对不同目标的感知能力，并可根据实际场景需求灵活选择不同的目标感知器以及编码模式，实现对特定目标进行感知并按需进行不同模式视频信息的编码操作，通过不同模式选择可实现对内存空间、网络带宽、存储介质空间和能源等方面大幅节省，也可确保视频流信息在其整个生命周期中除了摄像头采集阶段（包括编码、传输、存储、兼容式解码和呈现阶段）全程做到信息脱敏，做到视频信息全链路安全。在兼容标准解码模式数据呈现基础上，还可利用专用解码器进行完全解码，实现恢复摄像头采集的原始视频信息。
Description
技术领域
本申请涉及视频编码解码技术领域，尤其是涉及一种基于目标感知的视频信息编解码方法和电子设备。
背景技术
在日常工作生活中的很多场景下，需要使用摄像头进行视频录制。摄像头进行视频录制时，需要使用视频编码技术对摄像头采集的帧图像进行编码，经过视频文件的存储或者数据传输，在播放时通过视频解码技术进行解码播放。
在很多视频录制场景下，会有目标感知的需求。例如，针对某种动物进行拍摄纪录时，由于该动物出现在镜头时间不固定，需要长时间进行拍摄，会导致仅有小部分视频信息为有用信息，造成了比较多的带宽、存储空间和能源浪费。
针对上述相关技术，在视频信息编解码领域，存在现有的编解码方式在进行视频信息编码时，对视频内部信息没有目标感知能力。
发明内容
本申请提供一种基于目标感知的视频信息编解码方法和电子设备，实现摄像头采集的数据在进入编码前的目标感知问题，实现在不同场景可以按照需要对不同目标进行感知的问题。
第一方面，本申请提供一种基于目标感知的视频信息编解码方法，采用如下的技术方案。
一种基于目标感知的视频信息编解码方法，包括以下步骤：
基于拍摄场景需求，确定目标感知对象类型，选择相应的目标感知器插件，以提供在编码前进行特定目标感知能力；
获取摄像头采集的视频图像数据；
确定视频编码模式，其中，视频编码模式包括有效目标模式、综合模式和脱敏模式；
基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件；
获取经过数据传输或者存储的目标视频编码文件；
基于选择的视频编码模式，确定视频解码方式；
基于视频解码方式，对目标视频文件进行解码，得到原始视频图像以及相应目标感知信息并按需进行应用。
通过采用上述技术方案，利用预先输入的目标感知对象信息，根据选择的目标感知器插件，在对原始帧图像进行编码前实现针对特定目标的感知能力。在整个视频信息生命周期中，在确定视频编码模式之后，基于选择的视频编码模式对视频图像数据进行编码，然后进行数据存储、传输，并且解码时根据选择的编码模式来确定解码方式，以对目标视频文件进行解码，实现特定的目标对象的视频数据在视频生命周期中最开始的进行目标感知编解码过程。
可选的，在基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件中，包括：
确定选择的视频编码模式为有效目标模式；
对视频图像数据进行目标感知对象识别，判断是否得到有效目标数据；
若为否，则继续获取视频图像数据；
若为是，则对有效目标数据进行独立编码，得到有效编码数据；
对有效编码数据进行通用格式编码，得到有效目标模式下的目标视频编码文件。
通过采用上述技术方案，在确定当前拍摄模式为有效目标模式时，在对识别到的目标感知对象进行编码过程中，只对识别到的目标感知对象进行编码，从而确保了最终输出的视频数据不会过大，从而提高了存储空间的利用率。
可选的，在基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件中，包括：
确定选择的视频编码模式为综合模式；
对视频图像数据进行目标感知对象识别，判断是否得到第一目标感知对象数据；
若为否，则继续获取视频图像数据；
若为是，则对第一目标感知对象数据进行独立编码，得到第一感知编码数据；
对第一感知编码数据进行数据压缩和对称加密，得到第一压缩加密数据；
对视频图像数据中已感知目标对象的视频区域进行脱敏处理，得到第一脱敏数据；
对第一压缩加密数据和第一脱敏数据进行通用格式编码，得到综合模式下的目标视频编码文件。
通过采用上述技术方案，在确定为综合模式时，实现了仅当目标出现时才进行增量拓展式视频信息编码，以提高硬件资源利用率，降低设备电源功率消耗，利用压缩处理技术和对称加密技术来对目标对象的图像信息进行存储大小的压缩和加密，来实现感知的目标图像在视频编码前期具有较高的安全性，同时降低了目标对象的存储大小。同时也实现了全链路脱敏视频信息安全，同时为后期使用专用解码器恢复原始摄像头视频信息做准备。
可选的，在基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件中，包括：
确定选择的视频编码模式为脱敏模式；
对视频图像数据进行目标感知对象识别，判断是否得到第二目标感知对象数据；
若为否，则直接对视频图像数据进行通用格式编码；
若为是，则对第一目标感知对象数据进行独立编码，得到第二感知编码数据；
对第二感知编码数据进行数据压缩和对称加密，得到第二压缩加密数据；
对视频图像数据中已感知目标对象的视频区域进行脱敏处理，得到第二脱敏数据；
对第二压缩加密数据和第二脱敏数据进行通用格式编码，得到脱敏模式下的目标视频编码文件。
通过采用上述技术方案，在确定为脱敏模式时，全程进行增量拓展式视频信息编码，以保留较为完整的视频信息，同时利用压缩处理技术和对称加密技术来对目标对象的图像信息进行存储大小的压缩和加密，来实现感知的目标图像在视频编码前期具有较高的安全性，同时降低了目标对象的存储大小。同时也实现了全链路脱敏视频信息安全，同时为后期使用专用解码器恢复原始摄像头视频信息做准备。
可选的，在进行独立编码过程中，包括：
获取识别的目标感知对象的编号信息、位置信息、种类信息和置信度信息；
对所述编号信息、所述位置信息、所述种类信息和所述置信度信息进行数据交换格式编码；
对所述编号信息、所述位置信息、所述种类信息和所述置信度信息进行压缩处理。
通过采用上述技术方案，在进行独立编码时，以数据交换格式来保存识别到的目标感知对象的编号信息、位置信息、种类信息和置信度信息，便于后期根据这些信息在恢复处理目标感知数据，从而方便得到原始视频。
可选的，在进行通用格式编码过程中，包括：在数据编码的动态灰度空间内加入目标感知对象信息、目标位置信息以及编码模式信息。
可选的，基于视频解码方式，对目标视频文件进行解码，得到原始视频图像以及相应目标感知信息并按需进行应用中，包括：
对目标视频文件进行标准的解码操作，得到目标感知视频编码文件；
提取目标感知视频编码文件在编码过程配置的编码模式信息，确定目标感知对象数据解码方式，其中，目标感知对象数据解码方式包括有效目标解码方式、综合解码方式和脱敏解码方式；
基于目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，得到原始视频图像。
通过采用上述技术方案，在视频数据录制编码之后，通过标准解码方式来对视频帧数据进行解码，从而得到目标感知视频编码文件。通过目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，从而得到目标感知对象的图像信息，并得到原始视频图像。
可选的，在基于目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，得到原始视频图像中，包括：
确定目标感知对象数据解码方式为有效目标解码方式；
对目标感知视频编码文件进行独立解码，得到原始视频图像。
通过采用上述技术方案，针对有效目标模式目标感知编码后的视频信息，解码出来的视频信息为只保留了目标存在时记录的视频信息，在对有效目标模式下编码的文件进行独立解码，即可得到原始视频图像。
可选的，在基于目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，得到原始视频图像中，包括：
确定目标感知对象数据解码方式为综合模式解码方式或者是脱敏模式解码方式；
对目标感知视频编码文件进行独立解码，获取到目标感知对象的编号、位置、种类和置信度信息；
对压缩加密后的敏感数据进行对称的解压缩和解密操作，获取到对应的原始图像信息；
将目标感知对象的编号、位置、种类和置信度信息恢复到原始图像信息中，得到原始视频图像
通过采用上述技术方案，在视频数据录制编码之后，通过标准解码方式来对视频帧数据进行解码，从而得到在脱敏模式或者是综合模式下保存处理的目标感知数据以及脱敏数据。通过对目标感知数据进行解密、解压缩，从而得到目标感知对象的图像信息，并结合脱敏数据实现目标感知对象存在时的全部视频数据。而针对脱敏模式而言，还会保存有无效数据，因此再结合无效数据，从而得到目标感知对象存在或者不存在时的所有视频数据。
第二方面，本申请提供一种电子设备，采用如下的技术方案。
一种电子设备，处理器和存储器；所述存储器与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述处理器调用所述计算机指令以使得所述电子设备执行上述任意方案中的方法。
综上所述，本申请包括以下至少一种有益技术效果：
1.通过目标感知和视频编解码结合，根据不同场景不同需求，选择对应的目标对象信息，实现不同场景下不同目标感知能力，从而达到视频录制中对不同目标的编解码；
2.根据预设好的有效目标模式、脱敏模式和综合模式的编码模式，结合实际应用场景需求选择其中一种编码模式，在使用中采用对应的技术进行视频编码操作，以实现场景下不同的编码需求；
3.对感知到的目标信息进行有效编码处理，对感知到的目标各自对应的编号信息、位置信息、种类信息和置信度信息，以数据交换格式进行编码，并利用压缩算法进行无损压缩，以降低存储空间占用率；
4.对原始帧图像中感知到的目标信息进行提取，经过压缩、加密和脱敏操作之后，降低数据存储空间占用率，同时实现全链路脱敏视频信息安全性。
附图说明
图1是本申请实施例一种基于目标感知的视频信息编解码方法的总流程示意图。
图2是应用本申请实施例记载的方法进行摄像头采集图像编码的工作过程示意图。
图3是本申请实施例一种基于目标感知的视频信息编解码方法中在有效目标模式下的编码流程示意图。
图4是本申请实施例一种基于目标感知的视频信息编解码方法中在综合模式下的编码流程示意图。
图5是本申请实施例一种基于目标感知的视频信息编解码方法中在脱敏模式下的编码流程示意图。
图6是本申请实施例一种基于目标感知的视频信息编解码方法中解码工作流程示意图。
图7是应用本申请实施例记载的方法进行视频帧数据的解码工作过程示意图。
图8是本申请实施例一种基于目标感知的视频信息编解码方法中在有效目标模式下的解码流程示意图。
图9是本申请实施例一种基于目标感知的视频信息编解码方法中在综合模式以及脱敏模式下的解码流程示意图。
图10是本申请实施例一种电子设备的硬件结构图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
在本实施例的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请实施例公开一种基于目标感知的视频信息编码方法。参照图1和图2，基于目标感知的视频信息编码方法包括以下步骤。
S100、基于拍摄场景需求，确定目标感知对象类型，选择相应的目标感知器插件，以提供在编码前进行特定目标感知能力。
其中，目标感知指的是能够识别视频中的目标，并按照实际需求继续相应的后续处理。在识别不同的对象时，利用选择的不同目标感知器插件来进行识别。要识别的感知目标，可以是人，也可以是物，在确定目标感知对象类型之后，从而确定摄像头需要采用的目标感知器插件，从而实现在摄像头录制帧图像时能够识别出视频中的目标。
S200、获取摄像头采集的视频图像数据。
其中，利用摄像头硬件进行图像数据采集工作，整个采集工作属于整个视频信息生命周期的最开始的阶段。
S300、确定视频编码模式。
其中，视频编码模式包括有效目标模式、综合模式和脱敏模式。在有效目标模式下，编码的视频信息为只保留了目标存在时记录的视频信息。在脱敏模式，编码的视频信息为对目标信息进行脱敏后的视频信息。在综合模式下，编码的视频信息为仅当目标存在且对目标进行脱敏处理后的视频信息。
S400、基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件。
参照图2和图3，在步骤S400中，包括以下步骤。
S310、确定选择的视频编码模式为有效目标模式。
其中， 在确定当前拍摄模式为有效目标模式时，摄像头在采集图像之后，只对识别到的目标感知对象进行编码处理，最终存储的也只是包含目标感知对象的视频数据。在对特定的目标进行拍摄时，无须保存过多不包含目标的视频数据，能够较大程度上节约网络带宽、存储介质空间和电力能源。
S311、对视频图像数据进行目标感知对象识别，判断是否得到有效目标数据。
其中，有效目标数据为拍摄的视频数据中包含目标感知对象图像数据，在拍摄的视频数据中，若不包含目标感知对象图像数据，则为无效数据。
例如：在目标感知对象为人物时，在当前摄像头采集的视频图像中不存在人物图像，此时采集的视频图像数据为无效数据。在当前摄像头采集的视频图像中出现人物图像时，此时采集的视频数据为有效数据。
S312、若为是，则对有效目标数据进行独立编码，得到有效编码数据。
其中，在通过目标感知器确定出有效数据之后，整个视频数据中就会包含目标感知对象的图像信息。但是对于目标感知对象的图像信息，可能也只会占用整个有效视频数据的小部分内容。因此在对有效视频数据进行编码时，根据目标感知器来对识别的目标感知对象进行编码处理，只存储保留目标感知对象的图像信息。
如果判断没有得到有效目标数据时，此时需要重新获取摄像头采集的视频图像数据进行循环判断。
S313、对有效编码数据进行通用格式编码，得到有效目标模式下的目标视频编码文件。
其中，通用格式编码为常用的高效视频流数据编码格式，例如H.264，H.265。通过使用通用格式编码，以实现尽可能不损失原始视频信息的情况下提高数据压缩率。在通用格式编码过程中，在数据编码的动态灰度空间内加入目标感知对象信息、目标位置信息以及编码模式信息。
参照图2和图4，在步骤S400中，还包括以下步骤。
S320、确定选择的视频编码模式为综合模式。
其中，综合模式包含了有效目标模式的优点，即综合模式下也只会对包含目标感知对象的视频数据进行处理。除此之外，综合模式还提供了视频加密和视频脱敏，从而实现了目标感知对象的图像在编码时就已经处于加密保护状态，并通过视频脱敏来去除视频中的隐私图像信息。
S321、对视频图像数据进行目标感知对象识别，判断是否得到第一目标感知对象数据。
其中，第一目标感知对象数据和有效目标数据，均为拍摄的视频数据中包含目标感知对象图像数据。
S322、若为是，则对第一目标感知对象数据进行独立编码，得到第一感知编码数据。
其中，在判断没有得到第一感知对象数据时，则继续获取视频图像信息，以进行循环判断。综合模式保留了有效目标模式的优点，即在确定当前的视频数据中没第一感知对象数据之后，不会对视频图像进行编码处理，从而避免对无用图像的保存。
独立编码是对视频图像信息中感知到的目标对象图像进行单独编码。在进行独立编码过程中，获取识别的目标感知对象的编号信息tid、位置信息bbox、种类信息ctg和置信度信息conf，并对编号信息tid、位置信息bbox、种类信息ctg和置信度信息conf，以json格式的数据交换格式编码，编码之后再进行压缩处理。
编号信息tid、位置信息bbox、种类信息ctg和置信度信息conf为目标感知器在对视频图像进行识别过程中，识别到的目标感知对象所对应的各种信息。编号信息tid为当前识别的目标感知对象ID信息，在当前视频图像中存在多个目标感知对象时，为每一个目标感知对象赋予一个对应的编号。而位置信息bbox，则是每一个目标感知对象在当前视频图像中所处的像素坐标点位置，在后续恢复图像时便于定位恢复。
将这几个特征进行独立编码整合进入目标感知编码内容，后续在进行目标感知解码的时候，利用专有解码器，可以提取该信息，可以按需使用，例如进行展示感知到的目标的位置等操作。
S323、对第一感知编码数据进行数据压缩和对称加密，得到第一压缩加密数据。
其中，在完成目标独立编码后，通过目标感知技术感知到的目标信息，对原始视频数据进行提取，并进行无损数据压缩和对称加密操作，以降低数据存储空间占用，并得到压缩加密后且包含目标对象的第一压缩加密数据。
S324、对视频图像数据中已感知目标对象的视频区域进行脱敏处理，得到第一脱敏数据。
其中，脱敏处理是将原始的图像中的指定信息消散掉，例如常见的打码处理。在感知目标信息全部处理完成后，进行原始视频数据中已感知目标的脱敏处理，输出脱敏后的数据。
S325、对第一压缩加密数据和第一脱敏数据进行通用格式编码，得到综合模式下的目标视频编码文件。
其中，当没有感知到目标的时候，则将摄像头采集图像数据给到目标感知编码模块进行视频编码操作。该模式实现全链路脱敏视频信息安全，同时为后期使用专用解码器恢复原始摄像头视频信息做准备。并且通过通用格式编码，降低编码数据文件的存储大小。
参照图2和图5，在步骤S400中，还包括以下步骤。
S330、确定选择的视频编码模式为脱敏模式。
S331、对视频图像数据进行目标感知对象识别，判断是否得到第二目标感知对象数据。
S332、若为是，则对第一目标感知对象数据进行独立编码，得到第二感知编码数据。
S333、对第二感知编码数据进行数据压缩和对称加密，得到第二压缩加密数据。
S334、对视频图像数据中已感知目标对象的视频区域进行脱敏处理，得到第二脱敏数据。
S335、对第二压缩加密数据和第二脱敏数据进行通用格式编码，得到脱敏模式下的目标视频编码文件。
其中， 脱敏模式主要是在图像编码阶段，实现特定目标的自动脱敏和视频信息的编码操作，确保视频流信息在其整个生命周期中除了摄像头采集阶段，其他阶段（包括编码、传输、存储、兼容式解码和呈现阶段）全程做到信息脱敏。
脱敏模式和综合模式在对识别的目标对象进行脱敏处理的过程相同，不同点在于，当没有感知到目标的时候，脱敏模式的处理方式为将视频图像数据给到通用编码流程相应编码操作；而综合模式则继续获取摄像头的采集图像数据，以重新获取相应的视频数据并进行相应的后续流程。
在脱敏模式下，不同的数据被分开处理。如目标感知对象的图像数据，被单独提取并进行压缩和加密操作。而对于去除目标感知对象的环境图像数据，则是将目标感知对象图像数据经过脱敏技术之后得出。并且在进行最后的标准编码操作时，由目标感知对象数据和脱敏后的环境数据共同编码，从而得到在脱敏模式下的完整视频帧数据。
继续参照图1，方法还包括以下步骤。
S500、获取经过数据传输或者存储的目标视频编码文件。
其中，在不同编码模式下对感知目标信息全部处理完成后，对编码的目标视频编码文件进行存储、数据传输等各种文件处理方式。那么在对编码的视频文件进行播放前，需要获取经过数据传输或者存储的目标视频编码文件。
S600、基于选择的视频编码模式，确定视频解码方式。
其中，对于拍摄时使用的不同编码模式，其最终恢复的数据种类不同。在使用特定的编码模式对视频图像数据进行编码之后，还需要使用特定的编码方式来进行解码操作，以得到编码处理前的原始视频图像数据。
针对常规模式目标感知编码后的视频信息，解码出来的视频信息为标准的原始视频信息。针对有效目标模式目标感知编码后的视频信息，解码出来的视频信息为只保留了目标存在时记录的视频信息。针对脱敏模式目标感知编码后的视频信息，解码出来的视频信息为脱敏后的视频信息；针对综合模式目标感知编码后的视频信息，解码出来的视频信息为仅当目标存在且经过脱敏处理后的视频信息。
S700、基于视频解码方式，对目标视频文件进行解码，得到原始视频图像以及相应目标感知信息并按需进行应用。
其中，在确定视频解码方式之后，对目标视频文件进行解码操作，实现恢复编码前的原始视频数据，用于以视频形式呈现编码前的原始摄像头采集的数据。方便在一些特定场景下，例如案件侦查等需要原始摄像头采集数据的使用，用于呈现目标出现时感知编码后的视频以及脱敏后的视频信息，也可采用专用解码方式进行目标感知编码后的视频数据信息解析。
参照图6和图7，在步骤S700中，包括以下步骤。
S710、对目标视频文件进行标准的解码操作，得到目标感知视频编码文件。
其中，由于在视频图像数据编码过程中，有通过通用格式编码做兼容操作，所以在解码过程中，可使用标准解码操作进行解码，从而得到编码前的各种数据。在原始视频解码技术（例如常用的H.264、H.265编码视频编码方法）中，在不破坏原始视频编码结构的基础上，对目标信息独立编码输出的数据、脱敏后的帧数据进行解码。
S720、提取目标感知视频编码文件在编码过程配置的编码模式信息，确定目标感知对象数据解码方式。
其中，编码过程配置的编码模式信息，是通过在帧数据编码的动态灰度空间内加入目标感知器信息，编码模式信息，以及独立编码中目标信息独立编码输出的目标感知信息和帧内目标脱敏对应信息进行拓展式增量编码，实现在兼容原始视频编解码的基础上，增量拓展式对目标感知信息编码功能。
目标感知对象数据解码方式包括有效目标解码方式、综合解码方式和脱敏解码方式。
S730、基于目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，得到原始视频图像。
参照图7和图8，在步骤S720中，包括以下步骤。
S721、确定目标感知对象数据解码方式为有效目标解码方式。
其中，通过在标准编码过程中，帧数据编码的动态灰度空间内加入了目标感知器信息和编码模式信息。因此在确定当前拍摄模式是否为有效目标模式，通过标准解码之后获取目标感知器信息和编码模式信息，来确定当前拍摄模式。在有效目标模式下，编码的视频数据只有目标感知对象的图像数据。
S722、对目标感知视频编码文件进行独立解码，得到原始视频图像。
其中，在有效目标模式下，对视频帧数据中的恢复感知数据进行解码，得到目标感知对象图像在编码前对应的各个图像信息。并且在得到解码后的数据包含了将感知到的目标各自对应的编号信息tid、位置信息bbox、种类信息ctg和置信度信息conf。
并且在有效目标模式下，编码后的视频数据只是目标感知对象存在时记录的视频信息，因此在解码得到原始目标图像信息之后，即得到了有效目标模式下的完整视频数据。
参照图7和图9，在步骤S720中，还包括以下步骤。
S723、确定目标感知对象数据解码方式为综合模式解码方式或者是脱敏模式解码方式。
其中，脱敏模式和综合模式下均为目标感知对象的图像数据进行了编码加密处理，以及基于目标感知对象对保留的视频数据进行了脱敏处理。因此对于脱敏模式或者是综合模式，在进行前期的标准解码之后，得到的数据种类要多于常规模式以及有效目标模式。
并且对于脱敏模式或者是综合模式的确定，也是通过标准解码之后获取目标感知器信息和编码模式信息，来确定当前拍摄模式。
S724、对目标感知视频编码文件进行独立解码，获取到目标感知对象的编号信息、位置信息、种类信息和置信度信息。
S725、对压缩加密后的敏感数据进行对称的解压缩和解密操作，获取到对应的原始图像信息。
其中，对恢复感知数据进行解码，获取到目标感知对象各自的编号信息tid、位置信息bbox、种类信息ctg和置信度信息conf之后，再对压缩加密后的敏感数据进行对称的解压缩和解密操作，从而获取到对应的原始图像信息。
S726、将目标感知对象的编号、位置、种类和置信度信息恢复到原始图像信息中，得到原始视频图像。
其中，在得到原始图像信息之后，利用编号信息tid、位置信息bbox、种类信息ctg和置信度信息conf来确定恢复后的图像信息在原始视频图像中的位置，在脱敏数据中添加上目标感知对象对应的图像数据，从而得到完整的视频数据。
在综合模式中，将解码后的目标数据按照对应位置信息恢复到脱敏后帧数据内，实现恢复脱敏前的原始视频数据，用于以视频形式呈现脱敏前的原始摄像头采集的数据，方便在例如案件侦查等一些特定需要原始摄像头采集数据的场景使用。并且此时恢复的视频数据只是包含目标感知器识别到目标感知对象后的视频数据。
本申请实施例还公开一种电子设备。参照图10，电子设备包括：处理器和存储器；存储器与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，处理器调用计算机指令以使得电子设备执行上述实施例中所述的方法。
本申请实施例还公开一种计算机存储介质，计算机存储介质中存储有指令，当指令在电子设备上运行时，使得电子设备执行如上述实施例中所述的方法。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种基于目标感知的视频信息编解码方法，其特征在于，包括以下步骤：
基于拍摄场景需求，确定目标感知对象类型，选择相应的目标感知器插件，以提供在编码前进行特定目标感知能力；
获取摄像头采集的视频图像数据；
确定视频编码模式，其中，视频编码模式包括有效目标模式、综合模式和脱敏模式；
基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件；
获取经过数据传输或者存储的目标视频编码文件；
基于选择的视频编码模式，确定视频解码方式；
基于视频解码方式，对目标视频文件进行解码，得到原始视频图像以及相应目标感知信息并按需进行应用。
2.根据权利要求1所述的方法，其特征在于：在基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件中，包括：
确定选择的视频编码模式为有效目标模式；
对视频图像数据进行目标感知对象识别，判断是否得到有效目标数据；
若为否，则继续获取视频图像数据；
若为是，则对有效目标数据进行独立编码，得到有效编码数据；
对有效编码数据进行通用格式编码，得到有效目标模式下的目标视频编码文件。
3.根据权利要求1所述的方法，其特征在于：在基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件中，包括：
确定选择的视频编码模式为综合模式；
对视频图像数据进行目标感知对象识别，判断是否得到第一目标感知对象数据；
若为否，则继续获取视频图像数据；
若为是，则对第一目标感知对象数据进行独立编码，得到第一感知编码数据；
对第一感知编码数据进行数据压缩和对称加密，得到第一压缩加密数据；
对视频图像数据中已感知目标对象的视频区域进行脱敏处理，得到第一脱敏数据；
对第一压缩加密数据和第一脱敏数据进行通用格式编码，得到综合模式下的目标视频编码文件。
4.根据权利要求1所述的方法，其特征在于：在基于选择的视频编码模式以及目标感知对象类型，对视频图像数据进行编码，得到目标视频编码文件中，包括：
确定选择的视频编码模式为脱敏模式；
对视频图像数据进行目标感知对象识别，判断是否得到第二目标感知对象数据；
若为否，则直接对视频图像数据进行通用格式编码；
若为是，则对第一目标感知对象数据进行独立编码，得到第二感知编码数据；
对第二感知编码数据进行数据压缩和对称加密，得到第二压缩加密数据；
对视频图像数据中已感知目标对象的视频区域进行脱敏处理，得到第二脱敏数据；
对第二压缩加密数据和第二脱敏数据进行通用格式编码，得到脱敏模式下的目标视频编码文件。
5.根据权利要求2-4中任意一项所述的方法，其特征在于：在进行独立编码过程中，包括：
获取识别的目标感知对象的编号信息、位置信息、种类信息和置信度信息；
对所述编号信息、所述位置信息、所述种类信息和所述置信度信息进行数据交换格式编码；
对所述编号信息、所述位置信息、所述种类信息和所述置信度信息进行压缩处理。
6.根据权利要求2-4中任意一项所述的方法，其特征在于：在进行通用格式编码过程中，包括：在数据编码的动态灰度空间内加入目标感知对象信息、目标位置信息以及编码模式信息。
7.根据权利要求1所述的方法，其特征在于：基于视频解码方式，对目标视频文件进行解码，得到原始视频图像以及相应目标感知信息并按需进行应用中，包括：
对目标视频文件进行标准的解码操作，得到目标感知视频编码文件；
提取目标感知视频编码文件在编码过程配置的编码模式信息，确定目标感知对象数据解码方式，其中，目标感知对象数据解码方式包括有效目标解码方式、综合解码方式和脱敏解码方式；
基于目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，得到原始视频图像。
8.根据权利要求7所述的方法，其特征在于：在基于目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，得到原始视频图像中，包括：
确定目标感知对象数据解码方式为有效目标解码方式；
对目标感知视频编码文件进行独立解码，得到原始视频图像。
9.根据权利要求7所述的方法，其特征在于：在基于目标感知对象数据解码方式，对目标感知视频编码文件进行对应的解码操作，得到原始视频图像中，包括：
确定目标感知对象数据解码方式为综合模式解码方式或者是脱敏模式解码方式；
对目标感知视频编码文件进行独立解码，获取到目标感知对象的编号、位置、种类和置信度信息；
对压缩加密后的敏感数据进行对称的解压缩和解密操作，获取到对应的原始图像信息；
将目标感知对象的编号、位置、种类和置信度信息恢复到原始图像信息中，得到原始视频图像。
10.一种电子设备，其特征在于，所述电子设备包括：处理器和存储器；所述存储器与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-10中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310132397.9A CN116170581B (zh) | 2023-02-17 | 2023-02-17 | 一种基于目标感知的视频信息编解码方法和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310132397.9A CN116170581B (zh) | 2023-02-17 | 2023-02-17 | 一种基于目标感知的视频信息编解码方法和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116170581A true CN116170581A (zh) | 2023-05-26 |
| CN116170581B CN116170581B (zh) | 2024-01-23 |
Family
ID=86417882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310132397.9A Active CN116170581B (zh) | 2023-02-17 | 2023-02-17 | 一种基于目标感知的视频信息编解码方法和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116170581B (zh) |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6973130B1 (en) * | 2000-04-25 | 2005-12-06 | Wee Susie J | Compressed video signal including information for independently coded regions |
| US20120195369A1 (en) * | 2011-01-28 | 2012-08-02 | Eye IO, LLC | Adaptive bit rate control based on scenes |
| US20150103919A1 (en) * | 2013-10-15 | 2015-04-16 | Sony Corporation | Decoding device and decoding method, and coding device and coding method |
| CN106612431A (zh) * | 2016-01-29 | 2017-05-03 | 四川用联信息技术有限公司 | 一种基于hevc平台对深度图像和彩色图像的编码压缩方法 |
| CN109040664A (zh) * | 2018-06-01 | 2018-12-18 | 深圳市商汤科技有限公司 | 视频流处理方法及装置、电子设备和存储介质 |
| CN110955914A (zh) * | 2019-12-02 | 2020-04-03 | 智器云南京信息科技有限公司 | 一种待脱敏数据的处理方法、系统、终端设备和存储介质 |
| CN112383778A (zh) * | 2020-11-12 | 2021-02-19 | 三星电子（中国）研发中心 | 一种视频编码方法、装置及解码方法、装置 |
| WO2021087819A1 (zh) * | 2019-11-06 | 2021-05-14 | Oppo广东移动通信有限公司 | 信息处理方法、终端设备及存储介质 |
| US20210203997A1 (en) * | 2018-09-10 | 2021-07-01 | Huawei Technologies Co., Ltd. | Hybrid video and feature coding and decoding |
| CN113422882A (zh) * | 2021-06-22 | 2021-09-21 | 中国科学技术大学 | 图像压缩编码的分级加密方法、系统、设备与存储介质 |
| US20210344938A1 (en) * | 2019-06-12 | 2021-11-04 | Tencent Technology (Shenzhen) Company Limited | Video decoding method and apparatus, computer device, and storage medium |
| CN114363071A (zh) * | 2022-01-06 | 2022-04-15 | 王楠 | 一种基于场景分析的敏感数据脱敏和识别的方法 |
| US20220224943A1 (en) * | 2021-01-08 | 2022-07-14 | Tencent America LLC | Method and apparatus for video coding |
| CN114827617A (zh) * | 2022-06-27 | 2022-07-29 | 致讯科技(天津)有限公司 | 一种基于感知模型的视频编解码方法及系统 |
| CN115577336A (zh) * | 2022-04-29 | 2023-01-06 | 支付宝(杭州)信息技术有限公司 | 一种生物识别处理方法、装置及设备 |
-
2023
- 2023-02-17 CN CN202310132397.9A patent/CN116170581B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6973130B1 (en) * | 2000-04-25 | 2005-12-06 | Wee Susie J | Compressed video signal including information for independently coded regions |
| US20120195369A1 (en) * | 2011-01-28 | 2012-08-02 | Eye IO, LLC | Adaptive bit rate control based on scenes |
| US20150103919A1 (en) * | 2013-10-15 | 2015-04-16 | Sony Corporation | Decoding device and decoding method, and coding device and coding method |
| CN106612431A (zh) * | 2016-01-29 | 2017-05-03 | 四川用联信息技术有限公司 | 一种基于hevc平台对深度图像和彩色图像的编码压缩方法 |
| CN109040664A (zh) * | 2018-06-01 | 2018-12-18 | 深圳市商汤科技有限公司 | 视频流处理方法及装置、电子设备和存储介质 |
| US20210203997A1 (en) * | 2018-09-10 | 2021-07-01 | Huawei Technologies Co., Ltd. | Hybrid video and feature coding and decoding |
| US20210344938A1 (en) * | 2019-06-12 | 2021-11-04 | Tencent Technology (Shenzhen) Company Limited | Video decoding method and apparatus, computer device, and storage medium |
| WO2021087819A1 (zh) * | 2019-11-06 | 2021-05-14 | Oppo广东移动通信有限公司 | 信息处理方法、终端设备及存储介质 |
| CN110955914A (zh) * | 2019-12-02 | 2020-04-03 | 智器云南京信息科技有限公司 | 一种待脱敏数据的处理方法、系统、终端设备和存储介质 |
| CN112383778A (zh) * | 2020-11-12 | 2021-02-19 | 三星电子（中国）研发中心 | 一种视频编码方法、装置及解码方法、装置 |
| US20220224943A1 (en) * | 2021-01-08 | 2022-07-14 | Tencent America LLC | Method and apparatus for video coding |
| CN113422882A (zh) * | 2021-06-22 | 2021-09-21 | 中国科学技术大学 | 图像压缩编码的分级加密方法、系统、设备与存储介质 |
| CN114363071A (zh) * | 2022-01-06 | 2022-04-15 | 王楠 | 一种基于场景分析的敏感数据脱敏和识别的方法 |
| CN115577336A (zh) * | 2022-04-29 | 2023-01-06 | 支付宝(杭州)信息技术有限公司 | 一种生物识别处理方法、装置及设备 |
| CN114827617A (zh) * | 2022-06-27 | 2022-07-29 | 致讯科技(天津)有限公司 | 一种基于感知模型的视频编解码方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| YIFAN HE: "A configurable SIMD architecture with explicit datapath for intelligent learning", 《2016 INTERNATIONAL CONFERENCE ON EMBEDDED COMPUTER SYSTEMS: ARCHITECTURES, MODELING AND SIMULATION (SAMOS)》 * |
| 杨文慧: "基于深度学习的图像态势感知应用研究", 《中国优秀硕士论文电子期刊网》 * |
| 林耀荣, 闵锐, 韦岗: "基于图象内容的视频压缩方法", 计算机工程与应用, no. 06 * |
| 胡瑞敏;李明;: "网络摄像机的数字音视频编码技术", 中国安防, no. 04 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116170581B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3471395B1 (en) | Method and electronic device for processing raw image acquired through camera by using external electronic device | |
| CN111898416A (zh) | 视频流处理方法、装置、计算机设备和存储介质 | |
| JP2008084213A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
| US20100250588A1 (en) | Image searching system and image searching method | |
| JP2001160062A (ja) | 画像データ検索装置 | |
| JP2019110433A (ja) | 動画像符号化システム及び動画像符号化方法 | |
| CN116170581B (zh) | 一种基于目标感知的视频信息编解码方法和电子设备 | |
| CN117615088A (zh) | 一种安全监控的视频数据高效存储方法 | |
| US20030099404A1 (en) | Image encoding apparatus and method, image display apparatus and method, image processing system and image sensing apparatus | |
| EP1263225A1 (en) | Image recording apparatus and method, image reproducing apparatus and method, and recorded medium on which image processing program is recorded | |
| US8363885B2 (en) | Method, device, and program for embedding, displaying, and recognizing data | |
| JP4615330B2 (ja) | 撮影装置および方法、重要度設定装置および方法並びにプログラム | |
| JP2004185386A (ja) | 画像照合装置 | |
| CN114554179B (zh) | 基于目标模型的自动拍摄方法、系统、终端及存储介质 | |
| CN110213589A (zh) | 一种高速图像的实时压缩编码方法 | |
| CN113438444B (zh) | 一种图片传输存储方法和系统 | |
| CN111034187A (zh) | 动态图像的生成方法、装置、可移动平台和存储介质 | |
| JP2006352335A (ja) | 画像符号化装置 | |
| JP2012533922A (ja) | 映像処理方法及び装置 | |
| CN110971568A (zh) | 一种封闭系统数据对接装置及方法 | |
| CN112035690A (zh) | 一种多维档案缩微数字一体化系统及方法 | |
| CN109348133A (zh) | 一种安防监控图像处理装置和方法 | |
| KR100681833B1 (ko) | 디지털 기록 시스템에서의 데이터 압축 장치 및 그 제어방법 | |
| EP3170302B1 (en) | Method and system for efficient transfer of digital images captured by a lifelog camera | |
| CN116486008B (zh) | 一种三维重建方法、显示方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |