CN106303527A - 时分复用神经网络处理器的视频分级码流编码方法和架构 - Google Patents

时分复用神经网络处理器的视频分级码流编码方法和架构 Download PDF

Info

Publication number
CN106303527A
CN106303527A CN201610674371.7A CN201610674371A CN106303527A CN 106303527 A CN106303527 A CN 106303527A CN 201610674371 A CN201610674371 A CN 201610674371A CN 106303527 A CN106303527 A CN 106303527A
Authority
CN
China
Prior art keywords
video
code stream
neural network
synchronization
time division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610674371.7A
Other languages
English (en)
Other versions
CN106303527B (zh
Inventor
孙晓伟
卢京辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG ZHONGXING ELECTRONICS Co Ltd
Original Assignee
GUANGDONG ZHONGXING ELECTRONICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG ZHONGXING ELECTRONICS Co Ltd filed Critical GUANGDONG ZHONGXING ELECTRONICS Co Ltd
Priority to CN201610674371.7A priority Critical patent/CN106303527B/zh
Publication of CN106303527A publication Critical patent/CN106303527A/zh
Application granted granted Critical
Publication of CN106303527B publication Critical patent/CN106303527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的时分复用神经网络处理器的视频分级码流编码方法，包括：获取同步视频，根据预置分析模型，形成同步视频中的视频对象；获取同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；获取视频对象，任务处理模型以及同步视频，将处理资源时分复用分配至相应任务处理模型的任务处理过程，对视频对象进行相应任务处理，形成相应的对象描述信息；对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。将优化的视频与各视频对象的分析和处理结果信息通过编码形式同步结合，使源视频形成包含视频内容和各视频对象相关信息的分级码流。还包括时分复用神经网络处理器的视频分级码流编码架构。

Description

时分复用神经网络处理器的视频分级码流编码方法和架构
技术领域
本发明涉及一种数据处理方法和处理装置，特别是涉及一种显示数据的处理方法和处理装置。
背景技术
视频传输需要消耗大量带宽，在视频监控领域，实时的高清码流消耗带宽和系统处理资源最大。因此在现有技术中，通常采用对源视频编码压缩处理分别形成适合实时传输的低速率码流和适合延时传输的高速率码流来解决带宽问题。但是仅利用码流速率适配带宽并不能保证视频中信息的实时可靠传输。当码流降低时视频中携带的信息质量也相应降低甚至无法使用。采用不同的编码方式将视频中的信息与相应的视频进行分别编码，并形成源视频的分级码流是可行的。但在编码过程中需要解决视频信息与相应视频的匹配，匹配过程的系统资源的调度平衡等技术问题。
卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。
使计算机的能耗比至少提高了两三个数量级，特别擅长处理视频、图像类的海量多媒体数据，使得人工智能在嵌入式机器视觉应用中可以大显身手，有效识别位移、缩放及其他形式扭曲不变性的二维图形。
发明内容
有鉴于此，本发明实施例提供了一种时分复用神经网络处理器的视频分级码流编码方法，解决了现有视频编码技术中无法克服编码速率导致视频信息质量降低的技术问题。
本发明实施例还提供了一种时分复用神经网络处理器的视频分级码流编码结构，解决了现有视频编码架构不合理，造成对视频中携带的信息处理无法进行有效负荷均衡的技术问题。
本发明的时分复用神经网络处理器的视频分级码流编码方法，包括：
步骤10，获取同步视频，根据预置分析模型，形成同步视频中的视频对象；
步骤20，获取同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；
步骤30，获取视频对象，任务处理模型以及同步视频，将处理资源时分复用分配至相应任务处理模型的任务处理过程，对视频对象进行相应任务处理，形成相应的对象描述信息；
步骤40，对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。
还包括：
步骤32，根据视频对象的类型，调整相应任务处理模型。
还包括：
步骤12，将视频对象在同步视频中的范围形成对象坐标信息；
步骤22，根据对象坐标信息，对同步视频中的图像范围进行重点优化。
还包括：
步骤42，根据对象坐标信息，对优化视频相应范围进行视频优化编码。
所述优化与重点优化采用并行进行和/或串行进行，所述视频优化编码与视频编码采用并行进行和/或串行进行。
所述调整相应任务处理模型，至少包括任务处理模型的参数、权重表、加载顺序、加载时长和加载优先级中的一种或几种。
本发明的时分复用神经网络处理器的视频分级码流编码架构，包括神经网络处理器、智能分析处理器、图像信号处理器和视频分级码流编码器，其中：
神经网络处理器，获取视频对象，任务处理模型以及同步视频，将处理资源时分复用分配至相应任务处理模型的任务处理过程，对视频对象进行相应任务处理，形成相应的对象描述信息；
智能分析处理器，用于获取同步视频，根据预置分析模型，形成同步视频中的视频对象；
图像信号处理器，用于获取同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；
视频分级码流编码器，用于对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。
神经网络处理器还包括模型参数调整装置，用于根据视频对象的类型，调整相应任务处理模型。
所述智能分析处理器还包括视频对象捕捉装置，用于将视频对象在同步视频中的范围形成对象坐标信息；
所述图像信号处理器还包括图像重点优化装置，用于根据对象坐标信息，对同步视频中的图像范围进行重点优化。
所述视频分级码流编码器还包括视频优化编码装置，用于根据对象坐标信息，对优化视频相应范围进行视频优化编码。
本发明实施例的时分复用神经网络处理器的视频分级码流编码方法，将优化的视频与各视频对象的分析和处理结果信息通过编码形式同步结合，使源视频形成包含视频内容和各视频对象相关信息的分级码流。使得可以按需分发分级码流的部分或全部，在传输带宽和视频信息量上取得均衡。将视频优化过程和视频分析过程有机结合，实现任务处理模型的时分复用，在视频分析过程中将视频对象分析过程和视频对象处理过程分布处理，充分兼顾了分析、处理负荷的均衡。
本发明实施例的时分复用神经网络处理器的视频分级码流编码架构，形成了合理的编码分布式架构，将对象智能分析，对象处理和编码功能分布设置，避免了任务突发或数据处理负荷无法分担，无法形成可控的时分复用任务处理序列的高速编码缺陷。
附图说明
图1为本发明时分复用神经网络处理器的视频分级码流编码方法实施例的流程图；
图2位本发明时分复用神经网络处理器的视频分级码流编码架构实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。
如图1所示，本发明实施例的时分复用神经网络处理器的视频分级码流编码方法，包括：
步骤05，将源视频形成多路同步视频；
步骤10，获取同步视频，根据预置分析模型，形成同步视频中的视频对象；
步骤20，获取同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；
步骤30，获取视频对象，任务处理模型以及同步视频，将处理资源时分复用分配至相应任务处理模型的任务处理过程，对视频对象进行相应任务处理，形成相应的对象描述信息；
步骤40，对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流；
步骤45，分级码流按需输出。
本实施例的时分复用神经网络处理器的视频分级码流编码方法，将视频优化过程和视频分析过程有机结合，在视频分析过程中将视频对象分析过程和视频对象处理过程分布处理，充分兼顾了分析、处理负荷的平衡。并将优化的视频与各视频对象的分析和处理结果信息通过编码形式同步结合，使源视频形成包含视频内容和各视频对象相关信息的分级码流。使得可以按需分发分级码流的部分或全部，在传输带宽和视频信息量上取得均衡。
采用本方式可以避免相应执行硬件在大量视频对象的差异化的任务处理过程中出现视频对象间的，或任务处理过程间的资源竞争或冲突，避免引入竞争机制导致的效率成本。
本实施例的时分复用神经网络处理器的视频分级码流编码方法，还包括：
步骤12，将视频对象在同步视频中的范围形成对象坐标信息；
步骤22，根据对象坐标信息，对同步视频中的图像范围进行重点优化；
步骤42，根据对象坐标信息，对优化视频相应范围进行视频优化编码。
本实施例的时分复用神经网络处理器的视频分级码流编码方法，根据预置分析模型形成的视频对象对同步视频中的图像的相应范围进行重点优化，使其可视效果发生显著变化，以适应后续的观察和分析，对优化视频中的相应范围视频进行优化编码，使得编码质量或编码速率发生显著变化，以适应后续的码流分发。
本实施例的时分复用神经网络处理器的视频分级码流编码方法，还包括：
步骤32，根据视频对象的类型，调整相应任务处理模型。
本实施例的时分复用神经网络处理器的视频分级码流编码方法，根据视频对象的类型形成任务处理模型在任务类型、配置参数、处理顺序和处理时长等方面的调整，针对众多视频对象的一系列任务处理的并行突发的处理负荷进行改善。
上述实施例的时分复用神经网络处理器的视频分级码流编码方法中，将源视频形成多路同步视频，可以采用视频同步分配的方式，也可以采用视频缓存后，按需获取的方式。
上述实施例的时分复用神经网络处理器的视频分级码流编码方法中，同步视频中的图像可以是视频中的(图像)帧，或形成帧的(部分图像)场。
上述实施例的时分复用神经网络处理器的视频分级码流编码方法中，优化与重点优化采用并行进行和/或串行进行。可以加快优化速度，提高优化质量，两者结合可以平衡优化效果与运算负荷。
优化包括将完整的帧或场的图像特征进行包括但不限于AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma校正、祛除坏点、影像坏点修补、白平衡、锐利度调整、颜色插值、Auto Black Level、Auto White Level等优化处理，以及优化处理的组合。
重点优化包括将该(指定)范围内的图像特征突出或弱化的优化处理(例如包括优化的处理)。使得既可以通过突出视频对象的方式进行优化，也可以通过弱化背景对象的方式进行优化。
上述实施例的时分复用神经网络处理器的视频分级码流编码方法中，视频优化编码与视频编码采用并行进行和/或串行进行。可以加快优化速度，提高优化质量，两者结合可以平衡优化效果与运算负荷。
视频编码包括根据预置的编码策略对完整视频进行编码压缩、编码优化、码流分级等过程，必然也包括编码压缩中的宏块在帧间的矢量运动计算等常规的计算过程。
视频优化编码包括将该(指定)范围内的视频压缩变弱或变强的编码策略。使得既可以通过提高视频对象质量的方式进行优化，也可以通过弱化背景对象质量的方式进行优化。
上述的形成的视频对象，为预置分析模型中可以识别的视频场景中的界限、符号、范围、物体等，进一步包括但不限于车辆区域、车牌区域、人脸区域等，进一步包括但不限于具有移动、运动状态的上述对象。
上述的处理资源包括但不限于计算资源、存储资源、缓存资源、接口资源等软硬件资源。
上述的任务处理模型，包括但不限于面部识别任务处理、车辆识别任务处理、行为识别任务处理、符号识别任务处理等。任务处理模型包括任务处理过程(例如算法)和过程控制参数。
任务处理过程和过程控制参数与具体的视频对象配合，可以是一个视频对象经过多个任务处理过程处理，是多个视频对象经过一个任务处理过程处理。
形成的对象描述信息包括但不限于如车型、车牌、名字、尺寸、体积等信息。
上述对象坐标信息，包括至少一个视频对象的对象坐标信息。
上述调整相应任务处理，包括但不限于调整相应任务处理模型参数和权重表等，任务处理模型的加载顺序、加载时长和加载优先级等。将处理过程的序列化针对视频对象和任务处理过程的并发合理优化，充分利用运算设备的处理资源，平缓突发处理负荷。
如图2所示，本发明实施例的时分复用神经网络处理器的视频分级码流编码架构，包括神经网络处理器60、智能分析处理器70、图像信号处理器80和视频分级码流编码器90，其中：
神经网络处理器60，用于获取视频对象，任务处理模型以及同步视频，将处理资源时分复用分配至相应任务处理模型的任务处理过程，对视频对象进行相应任务处理，形成相应的对象描述信息；
智能分析处理器70，用于获取同步视频，根据预置分析模型，形成同步视频中的视频对象；
图像信号处理器80，用于获取同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；
视频分级码流编码器90，用于对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。
将对象的智能分析、任务处理和图像优化与编码过程分离设置，可以利用NPU(神经网络处理器)的硬件特性分布配置功能模块，使得硬件配置通用姓高，功能配置伸缩性强。
本发明实施例的时分复用神经网络处理器的视频分级码流编码架构，还包括视频分配器50，将源视频形成多路同步视频。
本发明实施例的时分复用神经网络处理器的视频分级码流编码架构中，神经网络处理器60还包括模型参数调整装置62，用于根据视频对象的类型，调整相应任务处理模型。
本发明实施例的时分复用神经网络处理器的视频分级码流编码架构中，智能分析处理器70还包括视频对象捕捉装置72，用于将视频对象在同步视频中的范围形成对象坐标信息；
图像信号处理器80还包括图像重点优化装置82，用于根据对象坐标信息，对同步视频中的图像范围进行重点优化；
视频分级码流编码器90还包括视频优化编码装置92，用于根据对象坐标信息，对优化视频相应范围进行视频优化编码。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种时分复用神经网络处理器的视频分级码流编码方法，包括：
步骤10，获取同步视频，根据预置分析模型，形成同步视频中的视频对象；
步骤20，获取同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；
步骤30，获取视频对象，任务处理模型以及同步视频，将处理资源时分复用分配至相应任务处理模型的任务处理过程，对视频对象进行相应任务处理，形成相应的对象描述信息；
步骤40，对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。
2.如权利要求1所述的时分复用神经网络处理器的视频分级码流编码方法，还包括：
步骤32，根据视频对象的类型，调整相应任务处理模型。
3.如权利要求1所述的时分复用神经网络处理器的视频分级码流编码方法，还包括：
步骤12，将视频对象在同步视频中的范围形成对象坐标信息；
步骤22，根据对象坐标信息，对同步视频中的图像范围进行重点优化。
4.如权利要求1所述的时分复用神经网络处理器的视频分级码流编码方法，还包括：
步骤12，将视频对象在同步视频中的范围形成对象坐标信息；
步骤42，根据对象坐标信息，对优化视频相应范围进行视频优化编码。
5.如权利要求3或4所述的时分复用神经网络处理器的视频分级码流编码方法，其特征在于，所述优化与重点优化采用并行进行和/或串行进行，所述视频优化编码与视频编码采用并行进行和/或串行进行。
6.如权利要求2所述的时分复用神经网络处理器的视频分级码流编码方法，所述调整相应任务处理模型，至少包括任务处理模型的参数、权重表、加载顺序、加载时长和加载优先级中的一种或几种。
7.一种时分复用神经网络处理器的视频分级码流编码架构，包括神经网络处理器(60)、智能分析处理器(70)、图像信号处理器(80)和视频分级码流编码器(90)，其中：
神经网络处理器(60)，用于获取视频对象，任务处理模型以及同步视频，将处理资源时分复用分配至相应任务处理模型的任务处理过程，对视频对象进行相应任务处理，形成相应的对象描述信息；
智能分析处理器(70)，用于获取同步视频，根据预置分析模型，形成同步视频中的视频对象；
图像信号处理器(80)，用于获取同步视频，根据预置优化模型，对同步视频中的图像进行优化，形成优化视频；
视频分级码流编码器(90)，用于对优化视频进行视频编码，将相应的对象描述信息编码并嵌入视频码流，形成源视频的分级码流。
8.如权利要求7所述的时分复用神经网络处理器的视频分级码流编码架构，其特征在于，神经网络处理器(60)还包括模型参数调整装置(62)，用于根据视频对象的类型，调整相应任务处理模型。
9.如权利要求7所述的时分复用神经网络处理器的视频分级码流编码架构，其特征在于，所述智能分析处理器(70)还包括视频对象捕捉装置(72)，用于将视频对象在同步视频中的范围形成对象坐标信息；
所述图像信号处理器(80)还包括图像重点优化装置(82)，用于根据对象坐标信息，对同步视频中的图像范围进行重点优化。
10.如权利要求7所述的时分复用神经网络处理器的视频分级码流编码架构，其特征在于，所述智能分析处理器(70)还包括视频对象捕捉装置(72)，用于将视频对象在同步视频中的范围形成对象坐标信息；
所述视频分级码流编码器(90)还包括视频优化编码装置(92)，用于根据对象坐标信息，对优化视频相应范围进行视频优化编码。
CN201610674371.7A 2016-08-16 2016-08-16 时分复用神经网络处理器的视频分级码流编码方法和系统 Active CN106303527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610674371.7A CN106303527B (zh) 2016-08-16 2016-08-16 时分复用神经网络处理器的视频分级码流编码方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610674371.7A CN106303527B (zh) 2016-08-16 2016-08-16 时分复用神经网络处理器的视频分级码流编码方法和系统

Publications (2)

Publication Number Publication Date
CN106303527A true CN106303527A (zh) 2017-01-04
CN106303527B CN106303527B (zh) 2020-10-09

Family

ID=57679101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610674371.7A Active CN106303527B (zh) 2016-08-16 2016-08-16 时分复用神经网络处理器的视频分级码流编码方法和系统

Country Status (1)

Country Link
CN (1) CN106303527B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110113562A (zh) * 2019-03-19 2019-08-09 视联动力信息技术股份有限公司 一种基于视联网的监控方法和装置
CN110413822A (zh) * 2019-06-19 2019-11-05 北京旷视科技有限公司 离线图像结构化分析方法、装置、系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999231A (zh) * 2008-04-11 2011-03-30 汤姆逊许可证公司 利用基于模板的对象跟踪和增强的视频编码
CN102194320A (zh) * 2011-04-25 2011-09-21 杭州海康威视数字技术股份有限公司 高清网络智能摄像机及高清网络智能抓拍方法
CN103167265A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 基于智能图像识别的视频处理方法及系统
CN103679139A (zh) * 2013-11-26 2014-03-26 闻泰通讯股份有限公司 基于粒子群优化bp网络的人脸识别方法
CN104156731A (zh) * 2014-07-31 2014-11-19 成都易默生汽车技术有限公司 基于人工神经网络的车牌识别系统与方法
CN105306945A (zh) * 2014-07-10 2016-02-03 北京创鑫汇智科技发展有限责任公司 一种监控视频的可伸缩浓缩编码方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101577003B (zh) * 2009-06-05 2011-08-17 北京航空航天大学 一种基于改进交叉视觉皮质模型的图像分割方法
CN105184366B (zh) * 2015-09-15 2018-01-09 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999231A (zh) * 2008-04-11 2011-03-30 汤姆逊许可证公司 利用基于模板的对象跟踪和增强的视频编码
CN102194320A (zh) * 2011-04-25 2011-09-21 杭州海康威视数字技术股份有限公司 高清网络智能摄像机及高清网络智能抓拍方法
CN103167265A (zh) * 2011-12-13 2013-06-19 中国电信股份有限公司 基于智能图像识别的视频处理方法及系统
CN103679139A (zh) * 2013-11-26 2014-03-26 闻泰通讯股份有限公司 基于粒子群优化bp网络的人脸识别方法
CN105306945A (zh) * 2014-07-10 2016-02-03 北京创鑫汇智科技发展有限责任公司 一种监控视频的可伸缩浓缩编码方法和装置
CN104156731A (zh) * 2014-07-31 2014-11-19 成都易默生汽车技术有限公司 基于人工神经网络的车牌识别系统与方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110113562A (zh) * 2019-03-19 2019-08-09 视联动力信息技术股份有限公司 一种基于视联网的监控方法和装置
CN110072119A (zh) * 2019-04-11 2019-07-30 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110072119B (zh) * 2019-04-11 2020-04-10 西安交通大学 一种基于深度学习网络的内容感知视频自适应传输方法
CN110413822A (zh) * 2019-06-19 2019-11-05 北京旷视科技有限公司 离线图像结构化分析方法、装置、系统和存储介质
CN110413822B (zh) * 2019-06-19 2021-11-19 北京旷视科技有限公司 离线图像结构化分析方法、装置、系统和存储介质

Also Published As

Publication number Publication date
CN106303527B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
US20210209330A1 (en) Method for correction of the eyes image using machine learning and method for machine learning
US20200007872A1 (en) Video decoding method, video decoder, video encoding method and video encoder
CN106303527A (zh) 时分复用神经网络处理器的视频分级码流编码方法和架构
US9516210B2 (en) Method and apparatus for prioritizing data transmission in a wireless broadcasting system
CN101707714B (zh) 多画面视频会议的图像处理方法和设备
CN113038127B (zh) 一种基于roi的实时视频多路并行传输码率控制方法
CN106210727A (zh) 基于神经网络处理器阵列的视频分级码流编码方法和架构
CN103886565A (zh) 基于目的性优化及直方图均衡化的夜间彩色图像增强方法
CN104243994B (zh) 一种实时运动感知图像增强的方法
US20170214915A1 (en) Image encoding device and image encoding method
Huang et al. Modeling acceleration properties for flexible intra hevc complexity control
CN113068031A (zh) 一种基于深度学习的环路滤波方法
CN110225342B (zh) 基于语义失真度量的视频编码的比特分配系统及方法
CN106303538A (zh) 一种支持多源数据融合的视频分级编码方法及架构
EP2890124B1 (en) Coding method and device applied to hevc-based 3dvc
CN106488234A (zh) Hevc编码单元级码率控制的实现装置及方法
CN103686183B (zh) 一种功耗可控的帧内视频编码方法
US9129406B2 (en) Image processing method
CN102281441A (zh) 一种并行滤波的方法和装置
CN101959073B (zh) 影像处理装置以及影像处理方法
CN112040246B (zh) 一种低时延低复杂度的固定码率控制方法
CN106303567B (zh) 一种联合装置的视频编码方法及系统
CN116866352B (zh) 一种云边协同的智能摄像系统
EP3588962A1 (en) Video decoding method, video decoder, video encoding method and video encoder
CN111861903A (zh) 一种亮度自适应的图像增强方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant