CN112272263A - 一种人工智能视频处理装置及方法 - Google Patents

一种人工智能视频处理装置及方法 Download PDF

Info

Publication number
CN112272263A
CN112272263A CN202011043234.6A CN202011043234A CN112272263A CN 112272263 A CN112272263 A CN 112272263A CN 202011043234 A CN202011043234 A CN 202011043234A CN 112272263 A CN112272263 A CN 112272263A
Authority
CN
China
Prior art keywords
video data
processor
storage medium
module
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011043234.6A
Other languages
English (en)
Inventor
林育司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202011043234.6A priority Critical patent/CN112272263A/zh
Publication of CN112272263A publication Critical patent/CN112272263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人工智能视频处理装置及方法，所述装置包括：处理器、前处理器件和存储介质，所述处理器与所述前处理器件连接；所述处理器和所述前处理器件均与所述存储介质连接；所述处理器设有视频数据接收接口，且所述处理器连接显示屏。本发明通过增设前处理器件，将视频数据的预处理过程从处理器分离出来，从而降低CPU负载，并提升存储介质的带宽使用率，提高视频数据处理效率缩短运算时间。

Description

一种人工智能视频处理装置及方法
技术领域
本发明属于视频处理技术领域，具体涉及一种人工智能视频处理装置及方法。
背景技术
影像辨识领域是近年来深度学习最蓬勃发展的一块领域，举凡智慧家居、自驾车、生产瑕疵品检测、安防监控、医疗影像等应用，都可见其踪迹。而有效的影像前处理/预处理，却能影响影像辨识模型的准确度。如降低影像中的噪声，让模型进行特征提取时能更精准，降低运算资源，进而提升模型的精准度。
在现今要进行影像前处理，首先会想到使用CPU加上软件(OpenCV)来实现相关设计。其视频处理架构如图1所示，处理流程为影像来源写入内存；CSC从内存读出数据进行运算，并将结果写回内存；Resize从内存读出数据进行运算，并将结果写回内存；AI模型从内存读出数据进行辨识，并将结果写回内存；将内存内的辨识结果，输出至屏幕。
在影像数据流中，可以发现影像数据将会频繁进出CPU与内存之间，且依序处理整张画面后，才能再处理下一张画面，将造成CPU忙碌与内存带宽使用效益下降。当影像前处理功能越多时，此现象将更显著。
发明内容
针对现有技术的上述不足，本发明提供一种人工智能视频处理装置及方法，以解决上述技术问题。
本发明提供一种人工智能视频处理装置，所述装置包括：
处理器、前处理器件和存储介质，所述处理器与所述前处理器件连接；所述处理器和所述前处理器件均与所述存储介质连接；
所述处理器设有视频数据接收接口，且所述处理器连接显示屏；
所述前处理器件包括：
用于将视频数据转换为色彩空间的色彩空间转换模块；
用于对图像尺寸进行缩放的尺寸处理模块；
和用于去除噪声的图像去噪模块。
进一步的，所述存储介质采用双倍资料率同步动态随机存取。
进一步的，所述处理器包括：
用于对影响数据进行辨识的人工智能模块；
和用于向显示屏输出辨识结果的显示输出模块。
本发明还提供一种人工智能视频处理方法，所述方法包括：
处理器将从视频数据接收接口接收的视频数据保存至存储介质；
前处理器件的功能模块从所述存储介质采集所述视频数据，对所述视频数据进行预处理，并将预处理后的视频数据保存至存储介质；
处理器从存储介质提取预处理后的视频数据，并对所述预处理后的视频数据进行辨识，并将辨识结果输出至显示屏。
进一步的，所述方法还包括：
所述处理器为前处理器件指定第一存储区域
所述处理器为处理器的人工智能模块指定第二存储区域。
进一步的，所述前处理器件的功能模块从所述存储介质采集所述视频数据对所述视频数据进行预处理并将预处理后的视频数据保存至存储介质，包括
所述色彩空间转换模块从存储介质中调取视频数据，将调取的视频数据转换为色彩空间数据；
所述尺寸处理模块将所述色彩空间数据缩放至规则尺寸；
所述图像去噪模块对所述规则尺寸的色彩空间数据进行去噪处理得到预处理后的视频数据，将所述预处理后的视频数据保存至第一存储区域。
进一步的，所述处理器从存储介质提取预处理后的视频数据并对所述预处理后的视频数据进行辨识并将辨识结果输出至显示屏，包括：
所述处理器接收所述前处理器件发送的任务提示信息，从所述任务提示信息中提取所述预处理后的视频数据的具体存储路径；
所述处理器的人工智能模块从所述具体存储路径调取预处理后的视频数据，并对所述预处理后的视频数据进行辨识，将辨识结果保存至第二存储区域；
所述处理器的显示输出模块实时监控所述第二存储区域，将所述第二存储区域下的新增辨识结果输出至显示屏。
本发明的有益效果在于，
本发明提供的人工智能视频处理装置及方法，通过增设前处理器件，将视频数据的预处理过程从处理器分离出来，从而降低CPU负载，并提升存储介质的带宽使用率，提高视频数据处理效率缩短运算时间。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有视频数据处理架构；
图2是本申请一个实施例的装置的结构示意图；
图3是本申请一个实施例的方法的示例性原理图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
名词解释
CPU–中央处理器(Central Processing Unit)主要工作有算术、逻辑云算，解读电脑内的每个指令来控制电脑的运作。
DDR SDRAM–双倍资料率同步动态随机存取记忆体(Double Data RateSynchronous DynamicRandom Access Memory)是一种利用半导体、磁性媒介等技术制成的储存资料的电子装置。属于挥发性记忆体(Volatile memory)是指当电源供应中断后，记忆体所储存的资料便会消失的记忆体。
CSC–色彩空间转换器(Color Space Converter)是用于将视频数据转换为色彩空间，例如：YUV转换成RGB，或是将摄像头的频数据转换为萤幕画面。
Resize–将输入图像的大小进行放大或缩小并输出图像。
影像前处理器件–作CSC与Resize功能的FPGA、TTL、ASIC…等子件。
AI–人工智慧(Artificial Intelligence)亦称智械、机器智慧，指由「人工」编写的电脑程式，去模拟出人类的「智慧」行为，其中包含模拟人类感官的「听音辨读、视觉辨识」、大脑的「推理决策、理解学习」、动作类的「移动、动作控制」等行为。
OpenCV–开源计算机视觉(Open Source Computer Vision)，由英特尔公司于1999年创立，主要是为了推广机器视觉的研究，提供一套开源且最佳化的基础，里面包含许多影像处理、机械学习演算法及电脑视觉(Computer Vision)应用所需的函式库(Library)，可跨平台支援各作业系统(Windows/Mac/Linux/Android/iOS)之电脑视觉库。
实施例1
请参考图2，本实施例提供一种人工智能视频处理装置，包括：
CPU、前处理器件和存储介质，其中，存储介质采用DDR，前处理器件采用FPGA(可编程逻辑器件)。CPU与FPGA连接；CPU和FPGA均通过PCIE总线与DDA连接。CPU设有视频数据接收接口，且CPU连接有显示屏。
其中，CPU包括用于对影响数据进行辨识的人工智能模块，和用于向显示屏输出辨识结果的显示输出模块。
前处理器件包括：用于将视频数据转换为色彩空间的色彩空间转换模块(CSC)，用于对图像尺寸进行缩放的尺寸处理模块(Resize)，和用于去除噪声的图像去噪模块(去噪)。
实施例2
请参考图3，本实施例提供一种人工智能视频处理方法，包括如下步骤：
S1、处理器将从视频数据接收接口接收的视频数据保存至存储介质。
CPU将接收的待处理的视频数据保存至DDR的初始数据存储区域。
S2、前处理器件的功能模块从所述存储介质采集所述视频数据，对所述视频数据进行预处理，并将预处理后的视频数据保存至存储介质。
首先，CPU为为前处理器件指定存储区域1，为处理器的人工智能模块指定,存储区域2。
色彩空间转换模块实时监控初始数据存储区域，若发现新增视频数据，则调取新增视频数据对其进行色彩空间转换，同时将初始数据存储区域下的已被调取的视频数据删除。
尺寸处理模块将所述色彩空间数据缩放至规则尺寸(规则尺寸为根据人工智能需要限定的统一尺寸)。
图像去噪模块对规则尺寸的色彩空间数据进行去噪处理得到预处理后的视频数据，将预处理后的视频数据保存至存储区域1。
本实施例设置三种预处理模块，在本发明的其他实施方式中可根据需要设置其他预处理模块。
S3、处理器从存储介质提取预处理后的视频数据，并对所述预处理后的视频数据进行辨识，并将辨识结果输出至显示屏。
前处理器对视频数据的预处理完成后(即将预处理后的视频数据保存至存储区域1)，向处理器发送任务提示信息，该信息包括预处理后的视频数据的具体存储路径。处理器接收到任务提示信息后，触发对这部分数据的处理流程。处理器的人工智能模块根据具体存储路径调取新增的预处理后的视频数据，并对提取的预处理后的视频数据进行辨识，将辨识结果保存至存储区域2。
处理器的显示输出模块实时监控存储区域2，将存储区域2下的新增辨识结果输出至显示屏。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种人工智能视频处理装置，其特征在于，所述装置包括：
处理器、前处理器件和存储介质，所述处理器与所述前处理器件连接；所述处理器和所述前处理器件均与所述存储介质连接；
所述处理器设有视频数据接收接口，且所述处理器连接显示屏；
所述前处理器件包括：
用于将视频数据转换为色彩空间的色彩空间转换模块；
用于对图像尺寸进行缩放的尺寸处理模块；
和用于去除噪声的图像去噪模块。
2.根据权利要求1所述的装置，其特征在于，所述存储介质采用双倍资料率同步动态随机存取。
3.根据权利要求1所述的装置，其特征在于，所述处理器包括：
用于对影响数据进行辨识的人工智能模块；
和用于向显示屏输出辨识结果的显示输出模块。
4.一种人工智能视频处理方法，其特征在于，所述方法包括：
处理器将从视频数据接收接口接收的视频数据保存至存储介质；
前处理器件的功能模块从所述存储介质采集所述视频数据，对所述视频数据进行预处理，并将预处理后的视频数据保存至存储介质；
处理器从存储介质提取预处理后的视频数据，并对所述预处理后的视频数据进行辨识，并将辨识结果输出至显示屏。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
所述处理器为前处理器件指定第一存储区域
所述处理器为处理器的人工智能模块指定第二存储区域。
6.根据权利要求5所述的方法，其特征在于，所述前处理器件的功能模块从所述存储介质采集所述视频数据对所述视频数据进行预处理并将预处理后的视频数据保存至存储介质，包括
所述色彩空间转换模块从存储介质中调取视频数据，将调取的视频数据转换为色彩空间数据；
所述尺寸处理模块将所述色彩空间数据缩放至规则尺寸；
所述图像去噪模块对所述规则尺寸的色彩空间数据进行去噪处理得到预处理后的视频数据，将所述预处理后的视频数据保存至第一存储区域。
7.根据权利要求6所述的方法，其特征在于，所述处理器从存储介质提取预处理后的视频数据并对所述预处理后的视频数据进行辨识并将辨识结果输出至显示屏，包括：
所述处理器接收所述前处理器件发送的任务提示信息，从所述任务提示信息中提取所述预处理后的视频数据的具体存储路径；
所述处理器的人工智能模块从所述具体存储路径调取预处理后的视频数据，并对所述预处理后的视频数据进行辨识，将辨识结果保存至第二存储区域；
所述处理器的显示输出模块实时监控所述第二存储区域，将所述第二存储区域下的新增辨识结果输出至显示屏。
CN202011043234.6A 2020-09-28 2020-09-28 一种人工智能视频处理装置及方法 Pending CN112272263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011043234.6A CN112272263A (zh) 2020-09-28 2020-09-28 一种人工智能视频处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011043234.6A CN112272263A (zh) 2020-09-28 2020-09-28 一种人工智能视频处理装置及方法

Publications (1)

Publication Number Publication Date
CN112272263A true CN112272263A (zh) 2021-01-26

Family

ID=74348617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011043234.6A Pending CN112272263A (zh) 2020-09-28 2020-09-28 一种人工智能视频处理装置及方法

Country Status (1)

Country Link
CN (1) CN112272263A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581075A (zh) * 2015-01-13 2015-04-29 中国电子科技集团公司第三十二研究所 基于异构平台的全景视频处理系统及方法
CN109246331A (zh) * 2018-09-19 2019-01-18 郑州云海信息技术有限公司 一种视频处理方法和系统
CN110073653A (zh) * 2018-09-07 2019-07-30 深圳鲲云信息科技有限公司 视频图像数据传输方法、系统、存储介质及程序产品
CN111079669A (zh) * 2019-12-20 2020-04-28 京东方科技集团股份有限公司 一种图像处理方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581075A (zh) * 2015-01-13 2015-04-29 中国电子科技集团公司第三十二研究所 基于异构平台的全景视频处理系统及方法
CN110073653A (zh) * 2018-09-07 2019-07-30 深圳鲲云信息科技有限公司 视频图像数据传输方法、系统、存储介质及程序产品
CN109246331A (zh) * 2018-09-19 2019-01-18 郑州云海信息技术有限公司 一种视频处理方法和系统
CN111079669A (zh) * 2019-12-20 2020-04-28 京东方科技集团股份有限公司 一种图像处理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US10936919B2 (en) Method and apparatus for detecting human face
US11967151B2 (en) Video classification method and apparatus, model training method and apparatus, device, and storage medium
US20190311223A1 (en) Image processing methods and apparatus, and electronic devices
EP3699817A2 (en) Liveness testing methods and apparatuses and image processing methods and apparatuses
CN112149615A (zh) 人脸活体检测方法、装置、介质及电子设备
CN111226226A (zh) 基于运动的对象检测方法及其对象检测装置和电子设备
CN111931719B (zh) 高空抛物检测方法以及装置
KR20170012287A (ko) 효율적인 포레스트 감지 기반의 눈 트래킹
CN114268747A (zh) 基于虚拟数字人的访谈业务处理方法及相关装置
CN111145215A (zh) 一种目标跟踪方法及装置
CN113255516A (zh) 活体检测方法、装置和电子设备
CN113409296A (zh) 一种卷绕电芯的抽芯检测方法、电子设备及存储介质
CN114299366A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN111967529B (zh) 识别方法、装置、设备及系统
CN112272263A (zh) 一种人工智能视频处理装置及方法
CN112364821A (zh) 一种继电保护设备电力模式数据自识别方法和自识别设备
CN116229262A (zh) 一种建筑信息模型的建模方法及装置
CN108875467B (zh) 活体检测的方法、装置及计算机存储介质
US9036873B2 (en) Apparatus, method, and program for detecting object from image
CN115424335A (zh) 活体识别模型训练方法、活体识别方法及相关设备
CN111491180B (zh) 关键帧的确定方法和装置
CN111275035B (zh) 一种识别背景信息的方法及系统
CN117456610B (zh) 一种攀爬异常行为检测方法、系统及电子设备
CN113496143A (zh) 动作识别方法及装置、存储介质
CN110175456A (zh) 软件行为取样方法、相关设备及软件系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210126