CN101860663A - 实现视频结构化描述处理的芯片及其方法 - Google Patents
实现视频结构化描述处理的芯片及其方法 Download PDFInfo
- Publication number
- CN101860663A CN101860663A CN 201010166441 CN201010166441A CN101860663A CN 101860663 A CN101860663 A CN 101860663A CN 201010166441 CN201010166441 CN 201010166441 CN 201010166441 A CN201010166441 A CN 201010166441A CN 101860663 A CN101860663 A CN 101860663A
- Authority
- CN
- China
- Prior art keywords
- video
- processor
- chip
- data
- structural description
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及一种实现视频结构化描述处理的芯片及其方法，其中所述的芯片包括用于控制芯片各部分协调工作的主控处理器，用于数据输入输出的输入输出处理器，用于控制数据存储的存储控制处理器，用于视频编码解码的视频编解码处理器以及用于结构化描述视频数据的视频分析处理器，所述的各处理器通过多层总线彼此交互连接。采用该种实现视频结构化描述处理的芯片，由于其能够对视频进行结构化的描述，产生可用于检索的关于图像属性、内容和特征的描述数据，该描述数据的数据量小，方便存储以及网络传输，从而可提高视频信息的利用效率，大大降低视频信息检索成本。
Description
技术领域
本发明涉及芯片结构及功能领域，特别涉及视频处理芯片的机构与功能领域，具体是指一种实现视频结构化描述处理的芯片及其方法。
背景技术
随着数码产品和计算机技术的发展，多媒体芯片由于其高性能、低功耗、可扩展等特点受到业界的关注，并且广泛应用于音频视频处理技术领域。
飞利浦公司推出一款型号为PNX9106的车用媒体处理器系列产品，可让客户提供整合的音响信息娱乐系统。海信集团研发的一款名为“Hiview信芯”的数字视频处理器，可广泛用于各类LCD液晶电视、PDP等离子电视、CRT显示器等设备中。中星微电子公司自主开发设计了一款型号为VC0818BYAA的手机多媒体芯片，该芯片使得手机具有语音、视频通讯、视频监控、拍照、网络浏览等多媒体功能。申请号为200620033833.9的发明专利申请提出一种具有多媒体和网络处理功能的SoC芯片，置有与internet连接的网络接口、存储器控制器、图像解码编码器和嵌入式CPU核，相对于多芯片结构，此种SoC芯片系统运行更可靠，使用更方便。
但是目前多媒体芯片主要功能是对图像信号进行处理，提高清晰度和分辨率，降低噪声，对图像进行编解码等，其目的是把图像清晰、完美地展现给用户，而不涉及图像的内容。用户如果想了解视频图像所描述的内容，必须自己把视频图像完整地浏览一遍，才会对图像内容有所理解和掌握。如果用户希望对特定的视频仅想初步了解其中是否有他所需要的内容又或者从大量的视频中找出其所需要的视频，那么上述的做法势必会大量浪费用户的时间和精力。而且受个体差异的影响，不同的用户对视频内容的理解也不尽相同，因此，对于视频的筛选和内容的确定更多地添加了用户主观判断的因素。
随着互联网技术和多媒体技术的不断发展，目前视频数据呈海量增长。由于视频数据是一种非结构化的数据，用户如果想通过逐段浏览的方式来查找自己想要的视频图像已经是不可能完成的任务。因此，必须要通过对视频内容进行分析，产生关于视频内容的结构化描述数据，才能通过对结构化描述数据检索的方式查找到想要的视频。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种能够结构化描述视频数据并产生关于图像属性、内容和特征的描述数据、工作性能稳定可靠、适用范围较为广泛的实现视频结构化描述处理的芯片及其方法
为了实现上述的目的，本发明的实现视频结构化描述处理的芯片及其方法如下：
该实现视频结构化描述处理的芯片，其主要特点是，所述的芯片包括用于控制芯片各部分协调工作的主控处理器，用于数据输入输出的输入输出处理器，用于控制数据存储的存储控制处理器，用于视频编码解码的视频编解码处理器以及用于结构化描述视频数据的视频分析处理器，所述的各处理器通过多层总线彼此交互连接。
该实现视频结构化描述处理的芯片中，所述的视频分析处理器为视频分析描述协处理器，所述的视频分析描述协处理器用于对视频图像进行分析处理和结构化描述，产生关于图像属性、内容和特征的描述数据。
该实现视频结构化描述处理的芯片中，所述的主控处理器为主控CPU。
该实现视频结构化描述处理的芯片中，所述的视频编解码处理器为视频编解码处理器。
该实现视频结构化描述处理的芯片中，所述的输入输出处理器包括用于网络接口控制的以太网控制器以及用于视频信号输入的视频输入单元，所述的太网控制器和所述的视频输入单元均与所述的多层总线相连接。所述的输入输出处理器还包括用于将模拟视频信号转换为数字视频信号的模数转换器，所述的视频输入单元通过所述的模数转换器与所述的多层总线相连接。
该实现视频结构化描述处理的芯片中，所述的存储控制处理器为用于控制芯片内部和外部存储的存储控制器。
利用上述的实现视频结构化描述处理的芯片进行视频结构化描述的方法，其主要特点是，所述的实现视频结构化描述的方法包括以下步骤：
(1)芯片通过输入输出处理器接收视频信号；
(2)视频编解码处理器和视频分析处理器接收到视频信号；
(3)视频分析处理器对视频图像数据进行分析处理和结构化描述，产生关于图像属性、内容和特征的视频描述数据；
(4)视频编解码处理器对视频图像数据进行编码，产生压缩视频流数据；
(5)存储控制处理器将视频描述数据和压缩视频流数据输入存储器，或输入输出处理器将视频描述数据和压缩视频流数据输出。
该实现视频结构化描述的方法中，所述的视频分析处理器对视频图像数据进行分析处理包括对图像进行分割、特征提取和分类判别，所述的结构化描述包括对图像的特征和分类判别的结果进行编码，产生关于图像属性、内容和特征的结构化数据。
该实现视频结构化描述的方法中，所述的芯片通过输入输出处理器接收视频信号的步骤具体包括以下步骤：
(11)视频输入单元接收到模拟视频信号；
(12)视频输入单元将模拟视频信号发送到模数转换器；
(13)模数转换器将模拟视频信号转换为数字视频信号并输出。
该实现视频结构化描述的方法中，所述的步骤(3)中还包括以下步骤：
(31)视频分析处理器根据芯片内预设的监控对象对视频图像数据进行匹配；
(32)当发现与预设的监控对象相匹配的视频图像数据，则通过输入输出处理器输出报警信号。
采用了该发明的实现视频结构化描述处理的芯片及其方法，由于视频图像被输入芯片后，视频分析处理器能够对视频图像数据进行分析处理和结构化描述，产生能够用于检索的关于图像属性、内容和特征的描述数据，视频编解码处理器对视频图像数据进行编码，产生压缩视频流数据，该描述信息可以被用于检索，方便用户对所需视频的查找，或用于快速判断视频的内容，该描述数据的数据量小，并结合容量较小的压缩视频流数据，方便存储和网络传输，从而可提高视频信息的利用效率，大大降低现有技术中视频信息检索需要全部浏览的人工成本。
附图说明
图1为本发明的实现视频结构化描述处理的芯片的处理器结构示意图。
图2为本发明的实现视频结构化描述处理的芯片的一种实施方式的处理器结构示意图。
图3为利用本发明的实现视频结构化描述处理的芯片进行视频结构化描述的流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
请参阅图1所示，本发明所提供的实现视频结构化描述处理的芯片，其中包括：用于控制芯片各部分协调工作的主控处理器，用于数据输入输出的输入输出处理器，用于控制数据存储的存储控制处理器，用于视频编码解码的视频编解码处理器以及用于结构化描述视频数据的视频分析处理器，所述的各处理器通过多层总线彼此交互连接。
请参阅图2所示，本发明所提供的实现视频结构化描述处理的芯片的一种实施方式，该实现视频结构化描述处理的芯片中所述的视频分析处理器为视频分析描述协处理器，所述的视频分析描述协处理器用于对视频图像进行分析处理和结构化描述，产生关于图像属性、内容和特征的描述数据，所述的视频分析描述协处理器是型号为DM642的数字信号处理器芯片。
该实现视频结构化描述处理的芯片中所述的主控处理器为主控CPU，所述的主控CPU为ARM公司生产的型号为A8的CPU。
该实现视频结构化描述处理的芯片中所述的视频编解码处理器为视频编解码处理器，所述的视频编解码处理器是型号为DM642的数字信号处理器芯片。
该实现视频结构化描述处理的芯片中所述的输入输出处理器包括用于网络接口控制的以太网控制器以及用于视频信号输入的视频输入单元，所述的太网控制器和所述的视频输入单元均与所述的多层总线相连接，所述的以太网控制器为LXT971A芯片。
该实现视频结构化描述处理的芯片中所述的输入输出处理器还包括用于将模拟视频信号转换为数字视频信号的模数转换器，所述的视频输入单元通过所述的模数转换器与所述的多层总线相连接，所述的模数转换器的型号为TVP5145。
该实现视频结构化描述处理的芯片中所述的输入输出处理器还包括用于数据传输的USB接口单元、SPI接口单元、UART接口单元和I2C接口单元，所述的USB接口单元、SPI接口单元、UART接口单元和I2C接口单元均与所述的多层总线相连接。
该实现视频结构化描述处理的芯片中所述的存储控制处理器为用于控制芯片内部和外部存储的存储控制器，所述的存储控制器包括管理DMA通道的DMA控制器、用于芯片内部数据存储的内置SRAM、用于管理控制DDR存储器的64/32位DDR控制器和用于管理与控制FLASH存储器的NAND控制器，所述的DMA控制器、内置SRAM、DDR控制器和NAND控制器均与所述的多层总线相连接。
该实现视频结构化描述处理的芯片中还包括检索功能处理器，所述的检索功能处理器与所述的多层总线相连接。
该实现视频结构化描述处理的芯片中所述的多层总线为带宽为128位的、频率为400MHz的AXI总线。
请参阅图3所示，该图为利用上述实现视频结构化描述处理的芯片进行视频结构化描述的方法的流程图，该方法包括以下步骤：
(1)芯片通过输入输出处理器接收视频信号；
(2)视频编解码处理器和视频分析处理器接收到视频信号；
(3)视频分析处理器对视频图像数据进行分析处理和结构化描述，产生关于图像属性、内容和特征的视频描述数据；
(4)视频编解码处理器对视频图像数据进行编码，产生压缩视频流数据；
(5)存储控制处理器将视频描述数据和压缩视频流数据输入存储器，或输入输出处理器将视频描述数据和压缩视频流数据输出。
在所述的步骤(3)中，所述的视频分析处理器对视频图像数据进行分析处理的步骤包括对图像进行分割、特征提取和分类判别。所述的视频分析处理器对视频图像数据进行结构化描述的步骤包括对图像的特征提取和分类判别的结果进行编码，产生关于图像属性、内容和特征的结构化数据。
在本发明的一个优选实施方式中，该视频结构化描述的方法中所述的输入输出处理器还包括视频输入单元和模数转换器，所述的视频输入单元通过所述的模数转换器连接所述的多层总线，所述的芯片通过输入输出处理器接收视频信号的步骤具体包括以下步骤：
(11)视频输入单元接收到模拟视频信号；
(12)视频输入单元将模拟视频信号发送到模数转换器；
(13)模数转换器将模拟视频信号转换为数字视频信号并输出。
在实现本发明另一个功能的实施例中，该视频结构化描述的方法中所述的步骤(3)中还包括以下步骤：
(31)视频分析处理器根据芯片内预设的监控对象对视频图像数据进行匹配；
(32)当发现与预设的监控对象相匹配的视频图像数据，则通过输入输出处理器输出报警信号。
在本发明的另一个实施方式中，该视频结构化描述的方法中所述的实现视频结构化描述处理的芯片还包括检索功能处理器，所述的检索功能处理器与所述的多层总线相连接，所述的步骤(5)后还包括以下步骤：
(6)检索功能处理器接收用户输入的检索数据；
(7)检索功能处理器根据检索数据对视频描述数据和压缩视频流数据进行检索，并将相符的视频描述数据和压缩视频流数据输出。
在本发明的应用中，首先，通过输入输出处理器输入视频信号，然后，主控处理器控制视频信号输入到视频编解码处理器和视频分析处理器，随后，视频分析处理器对视频图像数据进行分析处理和结构化描述，产生关于图像属性、内容和特征的视频描述数据，而视频编解码处理器对视频图像数据进行编码，产生压缩视频流数据，最后，存储控制处理器将视频描述数据和压缩视频流数据输入存储器，或输入输出处理器将视频描述数据和压缩视频流数据输出。
所获得的视频描述数据可以通过芯片自身的检索功能处理器进行检索，也可以通过外部设备进行检索，从而方便用户对所需视频的查找，也可以用于快速判断视频的内容。并且，视频描述数据的数据量小，该描述数据与容量较小的压缩视频流数据相结合，方便存储和网络传输，进而提高视频信息的利用效率，大大降低现有技术中视频信息检索需要全部浏览的人工成本。
另外，在使用监控功能时，用户可以预先在芯片内设定需要监控的对象的信息，芯片的视频分析处理器将视频图像数据与该特征信息进行匹配，当发现与预设的监控对象相匹配的视频图像数据，则通过输入输出处理器输出报警信号。例如，当用户需要监控某辆汽车时，则预先在芯片内设定该辆汽车的特征信息，如车牌号码，将道路监控视频图像输入芯片，若芯片发现所监控的汽车的特征信息相匹配的车辆时，就可以立即通过SPI接口单元或网络输出报警信号。该功能大大提高了视频监控的效率，特别适合用于多个监控对象的实时视频监控，降低了视频监控的人工成本。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
Claims (11)
1.一种实现视频结构化描述处理的芯片，其特征在于，所述的芯片包括用于控制芯片各部分协调工作的主控处理器，用于数据输入输出的输入输出处理器，用于控制数据存储的存储控制处理器，用于视频编码解码的视频编解码处理器以及用于结构化描述视频数据的视频分析处理器，所述的各处理器通过多层总线彼此交互连接。
2.根据权利要求1所述的实现视频结构化描述处理的芯片，其特征在于，所述的视频分析处理器为视频分析描述协处理器，所述的视频分析描述协处理器用于对视频图像进行分析处理和结构化描述，产生关于图像属性、内容和特征的描述数据。
3.根据权利要求1所述的实现视频结构化描述处理的芯片，其特征在于，所述的主控处理器为主控CPU。
4.根据权利要求1所述的实现视频结构化描述处理的芯片，其特征在于，所述的视频编解码处理器为视频编解码处理器。
5.根据权利要求1所述的实现视频结构化描述处理的芯片，其特征在于，所述的输入输出处理器包括用于网络接口控制的以太网控制器以及用于视频信号输入的视频输入单元，所述的以太网控制器和所述的视频输入单元均与所述的多层总线相连接。
6.根据权利要求5所述的实现视频结构化描述处理的芯片，其特征在于，所述的输入输出处理器还包括用于将模拟视频信号转换为数字视频信号的模数转换器，所述的视频输入单元通过所述的模数转换器与所述的多层总线相连接。
7.根据权利要求1所述的实现视频结构化描述处理的芯片，其特征在于，所述的存储控制处理器为用于控制芯片内部和外部存储的存储控制器。
8.一种利用权利要求1所述的实现视频结构化描述处理的芯片实现视频结构化描述的方法，其特征在于，所述的实现视频结构化描述的方法包括以下步骤：
(1)芯片通过输入输出处理器接收视频信号；
(2)视频编解码处理器和视频分析处理器接收到视频信号；
(3)视频分析处理器对视频图像数据进行分析处理和结构化描述，产生关于图像属性、内容和特征的视频描述数据；
(4)视频编解码处理器对视频图像数据进行编码，产生压缩视频流数据；
(5)存储控制处理器将视频描述数据和压缩视频流数据输入存储器，或输入输出处理器将视频描述数据和压缩视频流数据输出。
9.根据权利要求8所述的实现视频结构化描述的方法，其特征在于，所述的视频分析处理器对视频图像数据进行分析处理包括对图像进行分割、特征提取和分类判别，所述的结构化描述包括对图像的特征和分类判别的结果进行编码，产生关于图像属性、内容和特征的结构化数据。
10.根据权利要求8所述的实现视频结构化描述的方法，其特征在于，所述的输入输出处理器还包括视频输入单元和模数转换器，所述的视频输入单元通过所述的模数转换器连接所述的多层总线，所述的芯片通过输入输出处理器接收视频信号的步骤具体包括以下步骤：
(11)视频输入单元接收到模拟视频信号；
(12)视频输入单元将模拟视频信号发送到模数转换器；
(13)模数转换器将模拟视频信号转换为数字视频信号并输出。
11.根据权利要求8所述的实现视频结构化描述的方法，其特征在于，所述的步骤(3)中还包括以下步骤：
(31)视频分析处理器根据芯片内预设的监控对象对视频图像数据进行匹配；
(32)当发现与预设的监控对象相匹配的视频图像数据，则通过输入输出处理器输出报警信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010166441 CN101860663A (zh) | 2010-04-29 | 2010-04-29 | 实现视频结构化描述处理的芯片及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010166441 CN101860663A (zh) | 2010-04-29 | 2010-04-29 | 实现视频结构化描述处理的芯片及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101860663A true CN101860663A (zh) | 2010-10-13 |
Family
ID=42946294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010166441 Pending CN101860663A (zh) | 2010-04-29 | 2010-04-29 | 实现视频结构化描述处理的芯片及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101860663A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103260007A (zh) * | 2012-02-21 | 2013-08-21 | 清华大学 | 基于片上多端口存储控制器的智能监控系统 |
| CN108876703A (zh) * | 2018-06-26 | 2018-11-23 | 西安万像电子科技有限公司 | 数据存储系统、方法和装置 |
| CN110121060A (zh) * | 2019-05-27 | 2019-08-13 | 中国电子科技网络信息安全有限公司 | 一种用于网络摄像头的智能增强设备及方法 |
| CN110769257A (zh) * | 2018-07-25 | 2020-02-07 | 北京深鉴智能科技有限公司 | 智能视频结构化分析装置、方法和系统 |
| CN113873180A (zh) * | 2021-08-25 | 2021-12-31 | 广东飞达交通工程有限公司 | 一种多视频检测器同一事件重复发现归并处理方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021904A (zh) * | 2006-10-11 | 2007-08-22 | 鲍东山 | 视频内容分析系统 |
-
2010
- 2010-04-29 CN CN 201010166441 patent/CN101860663A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021904A (zh) * | 2006-10-11 | 2007-08-22 | 鲍东山 | 视频内容分析系统 |
Non-Patent Citations (1)
| Title |
|---|
| 《中国优秀博士学位论文全文数据库》 20071231 陈科明 媒体多处理器系统芯片的设计研究 , 2 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103260007A (zh) * | 2012-02-21 | 2013-08-21 | 清华大学 | 基于片上多端口存储控制器的智能监控系统 |
| CN103260007B (zh) * | 2012-02-21 | 2016-02-24 | 清华大学 | 基于片上多端口存储控制器的智能监控系统 |
| CN108876703A (zh) * | 2018-06-26 | 2018-11-23 | 西安万像电子科技有限公司 | 数据存储系统、方法和装置 |
| CN108876703B (zh) * | 2018-06-26 | 2022-11-08 | 重庆京像微电子有限公司 | 数据存储方法 |
| CN110769257A (zh) * | 2018-07-25 | 2020-02-07 | 北京深鉴智能科技有限公司 | 智能视频结构化分析装置、方法和系统 |
| CN110121060A (zh) * | 2019-05-27 | 2019-08-13 | 中国电子科技网络信息安全有限公司 | 一种用于网络摄像头的智能增强设备及方法 |
| CN113873180A (zh) * | 2021-08-25 | 2021-12-31 | 广东飞达交通工程有限公司 | 一种多视频检测器同一事件重复发现归并处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101860663A (zh) | 实现视频结构化描述处理的芯片及其方法 | |
| WO2022048474A1 (zh) | 一种多应用共享摄像头的方法与电子设备 | |
| CN110136705A (zh) | 一种人机交互的方法和电子设备 | |
| CN101511006A (zh) | 网络音视频监控方法及使用该方法的网络硬盘录像机 | |
| CN105282372A (zh) | 摄像机命令集主机命令转换 | |
| CN105227850B (zh) | 使能元数据存储子系统 | |
| US20070136072A1 (en) | Interactive voice browsing for mobile devices on wireless networks | |
| JP7201827B2 (ja) | 画像分類方法及び電子デバイス | |
| US20070135096A1 (en) | Interactive voice browsing server for mobile devices on wireless networks | |
| CN107168959A (zh) | 翻译方法和翻译系统 | |
| CN101753557B (zh) | 用于提供数字内容的设备及其方法 | |
| US9508109B2 (en) | Graphics processing | |
| CN112634872A (zh) | 语音设备唤醒方法及装置 | |
| CN106686148A (zh) | 一种用于提高对象存储系统中对象上传速度的方法和系统 | |
| CN108696649A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| WO2021204187A1 (zh) | 一种版面分析方法及电子设备 | |
| CN1901476A (zh) | 网络日志信息处理设备及处理方法 | |
| WO2022143258A1 (zh) | 一种语音交互处理方法及相关装置 | |
| WO2019127926A1 (zh) | 一种稀疏神经网络的计算方法及计算装置、电子装置、计算机可读存储介质以及计算机程序产品 | |
| US20070135098A1 (en) | Interactive voice browsing system for mobile devices on wireless networks | |
| CN112580772B (zh) | 卷积神经网络的压缩方法及装置 | |
| CN100481886C (zh) | 一种实现数字变焦的方法及电脑摄像头 | |
| CN107294948A (zh) | 处理媒体数据的计算机实现方法、装置及数据处理系统 | |
| TW202004522A (zh) | 具有多個動態設定檔的智慧型引擎 | |
| CN106502938B (zh) | 用于实现图像和语音交互的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20101013 |