CN109840590A - 一种基于神经网络的场景分类电路架构和方法 - Google Patents

一种基于神经网络的场景分类电路架构和方法 Download PDF

Info

Publication number
CN109840590A
CN109840590A CN201910095372.XA CN201910095372A CN109840590A CN 109840590 A CN109840590 A CN 109840590A CN 201910095372 A CN201910095372 A CN 201910095372A CN 109840590 A CN109840590 A CN 109840590A
Authority
CN
China
Prior art keywords
image
unit
image data
sensitizing range
allergen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910095372.XA
Other languages
English (en)
Inventor
廖裕民
强书连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Rockchip Electronics Co Ltd
Original Assignee
Fuzhou Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Rockchip Electronics Co Ltd filed Critical Fuzhou Rockchip Electronics Co Ltd
Priority to CN201910095372.XA priority Critical patent/CN109840590A/zh
Publication of CN109840590A publication Critical patent/CN109840590A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于神经网络的场景分类电路架构和方法。其中场景分类电路架构,包括如下单元:场景分类单元,用于获取图像数据并采用神经网络对图像数据进行场景分析,发送场景分析结果到图像缓存单元;映射表存储单元,用于存储场景与是否需要图像运算单元进行运算的关系;图像缓存单元,用于缓存图像数据并根据场景分析结果,获取是否需要图像运算单元进行运算,如果需要则发送图像数据到图像运算单元进行运算,并缓存运算后返回的图像数据;图像运算单元,用于对图像进行运算并返回运算后的图像数据到图像缓存单元。通过神经网络可以实现拍摄模式的自动选择,而后可以根据拍摄模式对图像进行自动运算处理,从而达到更好的拍摄效果。

Description

一种基于神经网络的场景分类电路架构和方法
技术领域
本发明涉及图像获取技术领域,尤其涉及一种基于神经网络的场景分类电路架构和方法。
背景技术
随着现有硬件性能的提升,相机自带有较多的图像预处理功能,如提供多种的拍摄模式,比如人像模式,落日模式,花朵模式,山水模式,微距模式等。用户在拍照的时候,可以先选择一个拍摄模式,而后进行拍摄,就会获取到经过拍摄模式处理过的图片或者视频。这样在拍照或者视频拍摄前,需要用户进行拍摄模式选择,用户常常因为不熟悉摄影或者忘记切换使得拍摄效果不能达到最佳。
发明内容
为此,需要提供一种基于神经网络的场景分类电路架构和方法,解决现有技术在没有手动切换拍摄模式时导致拍摄效果不佳的问题。
为实现上述目的,发明人提供了一种基于神经网络的场景分类电路架构,包括如下单元:
场景分类单元,用于获取图像数据并采用神经网络对图像数据进行场景分析,发送场景分析结果到图像缓存单元;
映射表存储单元,用于存储场景与是否需要图像运算单元进行运算的关系;
图像缓存单元,用于缓存图像数据并根据场景分析结果,获取是否需要图像运算单元进行运算,如果需要则发送图像数据到图像运算单元进行运算,并缓存运算后返回的图像数据;
图像运算单元,用于对图像进行运算并返回运算后的图像数据到图像缓存单元。
进一步地,所述图像运算单元数量为多个,图像缓存单元用于依次判断每个图像运算单元是否需要进行图像运算,在需要进行图像运算时,则发送图像数据到图像运算单元,缓存运算后返回的图像数据并发送到下一个图像运算单元,直到所有图像运算单元判断完毕。
进一步地,所述图像运算单元包括边缘增强运算单元、对比度增强运算单元、色彩增强运算单元、比值增强运算单元、去雾处理运算单元或者去白噪声运算单元。
进一步地,还包括敏感物体处理模块,敏感物体处理模块包括神经网络物体识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元;
所述神经网络物体识别单元用于对图像数据进行物体识别,并将物体识别结果发送至敏感物体判断单元;
所述敏感物体判断单元用于根据图像数据的物体识别结果,判断图像数据中是否包含有敏感物体存储列表中预先存储的敏感物体,
如果没有则发送图像数据到图像缓存单元,若是则传输至所述敏感区域划分单元;
所述敏感区域划分单元用于接收神经网络物体识别单元传输的图像数据,并划分出图像数据对应的敏感区域图像,并将敏感区域图像存储于敏感区域缓存单元中;所述敏感区域图像包含有敏感物体;
所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像,根据敏感物体与处理方式的对应关系,采用预设处理方式处理敏感区域图像,并将处理结果发送至图像缓存单元。
进一步地,所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元;
所述轮廓识别单元用于识别出敏感区域图像中敏感物体的轮廓位置信息,所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储;
所述敏感区域坐标计算单元用于根据轮廓位置信息、以及敏感区域图像在图像数据中的坐标信息,计算敏感区域图像内的敏感物体在图像数据中的坐标位置信息,并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储;
所述第二标识行的数值为第一标识行的数值与敏感区域图像在图像数据内的起始行之和,所述第二起始坐标点为第一起始坐标点与敏感区域图像在图像数据内的起始列之和,所述第二结束坐标点为第二结束坐标点与敏感区域图像在图像数据内的起始列之和。
本发明提供一种基于神经网络的场景分类方法,包括如下步骤:
预先存储场景与是否需要图像运算单元进行运算的关系;
获取图像数据并采用神经网络对图像数据进行场景分析,得到场景分析结果;
缓存图像数据并根据场景分析结果,获取是否需要进行图像运算,如果需要则进行图像运算,并缓存运算后返回的图像数据。
进一步地,所述图像运算包括多次不同类型图像运算,所述方法包括步骤:依次判断每个类型图像运算是否需要,在需要进行该类型图像运算时,则进行图像运算并缓存,直到所有类型图像运算判断完毕。
进一步地,所述图像运算包括边缘增强图像运算、对比度增强图像运算、色彩增强图像运算、比值增强图像运算、去雾处理图像运算或者去白噪声图像运算。
进一步地,还包括如下步骤:
对图像数据进行物体识别;
根据图像数据的物体识别结果,判断图像数据中是否包含有敏感物体存储列表中预先存储的敏感物体,
如果没有则进行场景分析,若是则划分出图像数据对应的敏感区域图像,并存储敏感区域图像,所述敏感区域图像包含有敏感物体;
根据敏感物体与处理方式的对应关系,采用预设处理方式处理敏感区域图像,并缓存运算后的图像。
进一步地,还包括步骤:
识别出敏感区域图像中敏感物体的轮廓位置信息,所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储;
根据轮廓位置信息、以及敏感区域图像在图像数据中的坐标信息,计算敏感区域图像内的敏感物体在图像数据中的坐标位置信息,并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储;
所述第二标识行的数值为第一标识行的数值与敏感区域图像在图像数据内的起始行之和,所述第二起始坐标点为第一起始坐标点与敏感区域图像在图像数据内的起始列之和,所述第二结束坐标点为第二结束坐标点与敏感区域图像在图像数据内的起始列之和。
区别于现有技术,上述技术方案通过神经网络可以实现拍摄模式的自动选择,而后可以根据拍摄模式对图像进行自动运算处理,从而达到更好的拍摄效果。
附图说明
图1为具体实施方式所述场景分类电路架构示意图;
图2为具体实施方式所述场景分类单元的结构示意图;
图3为敏感物体处理模块的结构示意图;
图4为敏感物体处理前后的示意图;
图5为本发明方法的流程图。
附图标记说明:
100、场景分类电路架构; 120、图像采集单元;
101、场景分类单元; 102、图像缓存单元;
103、映射表存储单元; 104、图像运算单元;
140、内部存储单元; 141、特征数据读取单元;
142、卷积核数据读取单元; 143、内部特征数据缓存单元;
144、内部卷积核缓存单元; 145、乘加阵列卷积运算单元;
146、激活函数运算单元; 147、池化运算单元;
150、边缘增强运算单元; 151、对比度增强运算单元;
152、色彩增强运算单元; 153、比值增强运算单元;
154、去雾处理运算单元; 155、去白噪声运算单元;
108、图像编码单元; 109、图像显示单元;
105、敏感物体处理模块; 300、神经网络物体识别单元;
301、敏感物体判断单元; 302、敏感区域划分单元;
303、敏感物体存储列表; 304、敏感区域缓存单元;
305、敏感区域处理单元; 306、处理方式存储单元;
307、轮廓识别单元; 308、敏感区域坐标计算单元。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1到图4,本实施例提供一种基于神经网络的场景分类电路架构100,可以对图像数据进行处理,图像数据可以来自图像采集单元120,如摄像头单元。或者也可以是存储在存储器中的图片或者视频,或者是来自互联网的视频流或者图像数据。本发明包括如下单元:场景分类单元101,用于获取图像数据并采用神经网络对图像数据进行场景分析,发送场景分析结果到图像缓存单元102;映射表存储单元103,用于存储场景与是否需要图像运算单元进行运算的关系;图像缓存单元102,用于缓存图像数据并根据场景分析结果,获取是否需要图像运算单元104进行运算,如果需要则发送图像数据到图像运算单元进行运算,并缓存运算后返回的图像数据;图像运算单元104,用于对图像进行运算并返回运算后的图像数据到图像缓存单元。
在本发明电路架构工作以前,需要对映射表存储单元进行初始化,在映射表存储单元钟存储图像场景对应处理方法,需将神经网络所有能识别出的场景类型都做好对应的图像运算标记。如场景识别的结果可能有:落日场景,人像场景,生物场景,自然风景场景,花朵场景,逆光拍摄场景,夜间场景,雾天场景等。然后每种场景都会对应不同图像运算需求,比如:自然场景对应对比度扩大,色彩增强两个处理,夜间场景需要去白噪声和对比度增强处理。雾天场景需要去雾、去白噪声和对比度增强处理。则在识别到不同场景后,就要发送图像数据到对应的图像运算单元进行图像运算处理。这样本发明可以调用神经网络对图像场景进行识别,而后根据图像识别出对应的图像场景,而后根据图像场景与是否需要图像运算单元进行运算的关系,可以自动判断是否要调用图像运算单元对图像进行运算处理,从而实现对图像自动判断和处理,可以得到适合于当前图像的运算处理方式,使得得到效果更好的图像。当然,本发明也可以应用于对视频进行处理,视频可以看成是多个图像的集合。
在某个实施例中,基于神经网络的场景分类单元的结构如图2所示,包括有内部存储单元140、特征数据读取单元141、卷积核数据读取单元142、内部特征数据缓存单元143、内部卷积核缓存单元144、乘加阵列卷积运算单元145、激活函数运算单元146、池化运算单元147,其中内部存储单元用于存储图像数据和每一层的特征数据和卷积核数据,特征数据读取单元用于读取特征数据,卷积核数据读取单元用于读取卷积核,内部特征数据缓存单元用于存储读取后的特征数据,内部卷积核缓存单元用于存储读取后的卷积核,乘加阵列卷积运算单元用于对卷积核和特征数据进行乘加运算,激活函数运算单元用于对乘加运算的结果进行激活运算,池化运算单元用于获取激活运算结果并进行池化运算,以及输出池化运算结果到内部存储单元或者在运算完毕后输出场景识别结果到图像缓存单元中。
为了实现对图像的多种运算处理,如图1所示,本发明的图像运算单元数量为多个,图像缓存单元用于依次判断每个图像运算单元是否需要进行图像运算,在需要进行图像运算时,则发送图像数据到图像运算单元,缓存运算后返回的图像数据并发送到下一个图像运算单元,直到所有图像运算单元判断完毕。这样在不同的场景中,所需要运算的图像运算单元的个数也是不同的,而后只有需要运算的图像运算单元才会对图像进行运算,不需要运算的图像运算单元会被跳过,从而实现最优的图像运算效果。在某些实施例中,还可以在映射表存储单元存储场景与对应要运算的图像运算单元的设置参数,而后在进行图像运算单元运算的时候,还会根据映射表存储单元存储的设置参数设置图像运算单元,并采用设置后的图像运算单元进行运算处理,从而达到更好的处理效果。
具体地,所述图像运算单元包括边缘增强运算单元150、对比度增强运算单元151、色彩增强运算单元152、比值增强运算单元153、去雾处理运算单元154或者去白噪声运算单元155。通过这些图像运算单元可以得到处理效果更好的图像。在图像运算完毕后,可以发送图像数据到图像编码单元108产生编码后的图像,从而可以存储图像或者传输图像,或者可以发送图像到图像显示单元109(如显示屏)进行图像显示,从而可以让用户在显示屏上看到图像。
为了实现对敏感物体的滤除,还包括敏感物体处理模块105,敏感物体处理模块包括神经网络物体识别单元300、敏感物体判断单元301、敏感区域划分单元302、敏感物体存储列表303、敏感区域缓存单元304、敏感区域处理单元305;所述神经网络物体识别单元用于对图像数据进行物体识别,并将物体识别结果发送至敏感物体判断单元;所述敏感物体判断单元用于根据图像数据的物体识别结果,判断图像数据中是否包含有敏感物体存储列表中预先存储的敏感物体,如果没有则发送图像数据到图像缓存单元,若是则传输至所述敏感区域划分单元;所述敏感区域划分单元用于接收神经网络物体识别单元传输的图像数据,并划分出图像数据对应的敏感区域图像,并将敏感区域图像存储于敏感区域缓存单元中;所述敏感区域图像包含有敏感物体;所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像,根据敏感物体与处理方式的对应关系,采用预设处理方式处理敏感区域图像,并将处理结果发送至图像缓存单元。
如图4所示,神经网络物体识别单元不仅可以识别出某一张图像包括中哪些物体,通常还能以特定形状(如矩形、圆形等)框出这些物体对应的位置区域。例如图像数据为一张汽车行驶的图片,该图像除了背景是公路之外,还存在着数木、草坪等物体。当这张图像被传输至神经网络物体识别单元后,神经网络物体识别单元能够识别出汽车、数木、草坪、公路等物体,并将这些物体在图像上的大致区域(一般为恰好能包含对应物体的固定图形)圈出,如图4的中间一个图就将敏感的汽车物品圈出。
图像上目标区域检测和物体识别是较成熟技术,所述神经网络分类识别电路包括:fast-RCNN神经网络电路、SSD神经网络电路、YOLO神经网络电路。fast-RCNN神经网络电路相关实现方式可以参考以下链接:https://blog.csdn.net/xiaoye5606/article/ details/71191429。SSD神经网络电路、YOLO神经网络电路的实现方式可以参考以下链接:http://www.360doc.com/content/17/0810/10/10408243678091430.shtml或者https:// www.cnblogs.com/fariver/p/7446921.html
其中,所述敏感物体是指用户事先自定义需要进行特殊处理的物体,既可以是某个物体形象,如汽车,也可以是某段以图片形式呈现的文字,如一些敏感词汇。同样以前文所述的汽车图像为例,假设敏感物体为汽车,那么在敏感物体存储列表中存储有汽车的相关参数,以便敏感物体判断单元进行获取判断。
这样,当图像识别出敏感物体时,则要划分出图像数据对应的敏感区域图像,并将敏感区域图像存储于敏感区域缓存单元中;所述敏感区域图像包含有敏感物体。这些敏感物体可以用于通过互联网上报服务器,从而实现警示作用。对于敏感区域的图像的处理方式有多种,如打马赛克、直接去除、填上某一种颜色(如图4中间图)、二值化处理、添加遮挡标识,或者将图像其他区域的图像在敏感区域进行覆盖处理(如图4最右图)等。敏感物体与处理方式的对应关系可以预先存储在处理方式存储单元306中.这样本发明可以实现在拍照过程中对敏感物体进行自动滤除,如可以对纸张进行滤除,避免出现泄露纸张上的信息,或者对可能出现泄密的物品进行滤除,保证拍照后的图像是符合安全性要求的图像。
上述实施例中,马赛克处理是指在敏感区域图像以4x4或者8x8为单位处理宏块,将宏块内的图像像素值取平均值,并将该平均值重新赋值给该图像块内的所有像素点,用该方法覆盖全部敏感图像区域,完成马赛克处理。
二值化是指将敏感区域图像内所有像素点的像素值全部赋值为0或者255,也就是对应为黑色或白色。采用的做法可以是像素值大于某个预设值的像素点全部赋值为255,像素值小于某个预设值的像素点全部赋值为0.
添加遮挡标识是指在所述敏感区域图像上添加预设的遮挡标识,例如可以采用与敏感区域图像大小相同的矩形框遮挡当前敏感区域图像。
进一步地,所述敏感区域划分单元包括轮廓识别单元307和敏感区域坐标计算单元308;所述轮廓识别单元用于识别出敏感区域图像中敏感物体的轮廓位置信息,所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储;所述敏感区域坐标计算单元用于根据轮廓位置信息、以及敏感区域图像在图像数据中的坐标信息,计算敏感区域图像内的敏感物体在图像数据中的坐标位置信息,并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储;所述第二标识行的数值为第一标识行的数值与敏感区域图像在图像数据内的起始行之和,所述第二起始坐标点为第一起始坐标点与敏感区域图像在图像数据内的起始列之和,所述第二结束坐标点为第二结束坐标点与敏感区域图像在图像数据内的起始列之和。
例如敏感物体为汽车,神经网络物体识别单元识别出的敏感区域为包含有汽车的矩形区域,那么轮廓识别单元会从所述敏感区域识别出“汽车”的轮廓,并将轮廓对应的坐标点计算出来,送往敏感区域坐标计算单元。轮廓区域存储格式为:图像行数,敏感物起始像素点,结束像素点。比如:一个汽车,轮廓信息为:第300行,50像素点到150点;301行,51像素点到148像素点;302行,52像素点到149像素点等等。通过上述格式,可以将整个敏感物体的轮廓信息通过“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储。
而敏感区域在图像数据中的起始行为第200行,起始列为第300列,那么当敏感物体在敏感区域内的坐标换算为敏感物体在整个图像数据内的坐标时,假设汽车的轮廓信息中某一行的存储格式为“第300行,50像素点到150点”,那么经过划算后该行的存储格式为“第500行,第350像素值450像素点”,其他行同理可得,这样便于后续的敏感区域处理单元的处理。
轮廓识别是现有成熟技术,轮廓识别单元可以为FCN电路,参考链接如下:https://www.cnblogs.com/gujianhan/p/6030639.html,也可以为deeplab网络电路,参考链接如下:
https://baijiahao.baidu.com/s?id=1595995875370065359&wfr=spide r&for=pc。
本发明提供一种基于神经网络的场景分类方法,可以应用于上述的场景分类电路架构100中,如图5所示,包括如下步骤:步骤S501预先存储场景与是否需要图像运算单元进行运算的关系;步骤S502获取图像数据并采用神经网络对图像数据进行场景分析,得到场景分析结果;步骤S503缓存图像数据并根据场景分析结果,获取是否需要进行图像运算,如果需要则进行图像运算,并缓存运算后返回的图像数据。本发明可以调用神经网络对图像场景进行识别,而后根据图像识别出对应的图像场景,而后根据图像场景与是否需要图像运算单元进行运算的关系,可以自动判断是否要调用图像运算单元对图像进行运算处理,从而实现对图像自动判断和处理,可以得到适合于当前图像的运算处理方式,使得得到效果更好的图像。当然,本发明也可以应用于对视频进行处理,视频可以看成是多个图像的集合。
为了实现图像的多种运算处理,所述图像运算包括多次不同类型图像运算,所述方法包括步骤:依次判断每个类型图像运算是否需要,在需要进行该类型图像运算时,则进行图像运算并缓存,直到所有类型图像运算判断完毕。在某些实施例中,还可以在存储场景与对应每个类型图像运算的设置参数,而后在进行图像运算的时候,还会根据存储的设置参数来运算图像,从而达到更好的处理效果。
进一步地,所述图像运算包括边缘增强图像运算、对比度增强图像运算、色彩增强图像运算、比值增强图像运算、去雾处理图像运算或者去白噪声图像运算。在图像运算完毕后,可以对图像数据进行编码,而后可以存储图像或者传输图像,或者可以显示图像,如可以在显示屏上显示图像,从而可以让用户在显示屏上看到图像。
为了实现对敏感物体的滤除,本发明方法还包括如下步骤:对图像数据进行物体识别;根据图像数据的物体识别结果,判断图像数据中是否包含有敏感物体存储列表中预先存储的敏感物体,如果没有则进行场景分析,若是则划分出图像数据对应的敏感区域图像,并存储敏感区域图像,所述敏感区域图像包含有敏感物体;根据敏感物体与处理方式的对应关系,采用预设处理方式处理敏感区域图像,并缓存运算后的图像。这样在进行图像运算前,就可以实现对敏感物体的滤除,避免敏感物体显示在最后的图像中,保证最后的图像是符合安全性要求的图像。
为了便于在敏感区域处理图像,本发明还包括步骤:识别出敏感区域图像中敏感物体的轮廓位置信息,所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储;根据轮廓位置信息、以及敏感区域图像在图像数据中的坐标信息,计算敏感区域图像内的敏感物体在图像数据中的坐标位置信息,并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储;所述第二标识行的数值为第一标识行的数值与敏感区域图像在图像数据内的起始行之和,所述第二起始坐标点为第一起始坐标点与敏感区域图像在图像数据内的起始列之和,所述第二结束坐标点为第二结束坐标点与敏感区域图像在图像数据内的起始列之和。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。

Claims (10)

1.一种基于神经网络的场景分类电路架构,其特征在于,包括如下单元:
场景分类单元,用于获取图像数据并采用神经网络对图像数据进行场景分析,发送场景分析结果到图像缓存单元;
映射表存储单元,用于存储场景与是否需要图像运算单元进行运算的关系;
图像缓存单元,用于缓存图像数据并根据场景分析结果,获取是否需要图像运算单元进行运算,如果需要则发送图像数据到图像运算单元进行运算,并缓存运算后返回的图像数据;
图像运算单元,用于对图像进行运算并返回运算后的图像数据到图像缓存单元。
2.根据权利要求1所述的一种基于神经网络的场景分类电路架构,其特征在于:所述图像运算单元数量为多个,图像缓存单元用于依次判断每个图像运算单元是否需要进行图像运算,在需要进行图像运算时,则发送图像数据到图像运算单元,缓存运算后返回的图像数据并发送到下一个图像运算单元,直到所有图像运算单元判断完毕。
3.根据权利要求1所述的一种基于神经网络的场景分类电路架构,其特征在于:所述图像运算单元包括边缘增强运算单元、对比度增强运算单元、色彩增强运算单元、比值增强运算单元、去雾处理运算单元或者去白噪声运算单元。
4.根据权利要求1所述的一种基于神经网络的场景分类电路架构,其特征在于:还包括敏感物体处理模块,敏感物体处理模块包括神经网络物体识别单元、敏感物体判断单元、敏感区域划分单元、敏感物体存储列表、敏感区域处理单元、敏感区域缓存单元;
所述神经网络物体识别单元用于对图像数据进行物体识别,并将物体识别结果发送至敏感物体判断单元;
所述敏感物体判断单元用于根据图像数据的物体识别结果,判断图像数据中是否包含有敏感物体存储列表中预先存储的敏感物体,
如果没有则发送图像数据到图像缓存单元,若是则传输至所述敏感区域划分单元;
所述敏感区域划分单元用于接收神经网络物体识别单元传输的图像数据,并划分出图像数据对应的敏感区域图像,并将敏感区域图像存储于敏感区域缓存单元中;所述敏感区域图像包含有敏感物体;
所述敏感区域处理单元用于获取敏感区域缓存单元中的敏感区域图像,根据敏感物体与处理方式的对应关系,采用预设处理方式处理敏感区域图像,并将处理结果发送至图像缓存单元。
5.根据权利要求4所述的一种基于神经网络的场景分类电路架构,其特征在于,所述敏感区域划分单元包括轮廓识别单元和敏感区域坐标计算单元;
所述轮廓识别单元用于识别出敏感区域图像中敏感物体的轮廓位置信息,所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储;
所述敏感区域坐标计算单元用于根据轮廓位置信息、以及敏感区域图像在图像数据中的坐标信息,计算敏感区域图像内的敏感物体在图像数据中的坐标位置信息,并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储;
所述第二标识行的数值为第一标识行的数值与敏感区域图像在图像数据内的起始行之和,所述第二起始坐标点为第一起始坐标点与敏感区域图像在图像数据内的起始列之和,所述第二结束坐标点为第二结束坐标点与敏感区域图像在图像数据内的起始列之和。
6.一种基于神经网络的场景分类方法,包括如下步骤:
预先存储场景与是否需要图像运算单元进行运算的关系;
获取图像数据并采用神经网络对图像数据进行场景分析,得到场景分析结果;
缓存图像数据并根据场景分析结果,获取是否需要进行图像运算,如果需要则进行图像运算,并缓存运算后返回的图像数据。
7.根据权利要求6所述的一种基于神经网络的场景分类方法,其特征在于:所述图像运算包括多次不同类型图像运算,所述方法包括步骤:依次判断每个类型图像运算是否需要,在需要进行该类型图像运算时,则进行图像运算并缓存,直到所有类型图像运算判断完毕。
8.根据权利要求6所述的一种基于神经网络的场景分类方法,其特征在于:所述图像运算包括边缘增强图像运算、对比度增强图像运算、色彩增强图像运算、比值增强图像运算、去雾处理图像运算或者去白噪声图像运算。
9.根据权利要求6所述的一种基于神经网络的场景分类方法,其特征在于,还包括如下步骤:
对图像数据进行物体识别;
根据图像数据的物体识别结果,判断图像数据中是否包含有敏感物体存储列表中预先存储的敏感物体,
如果没有则进行场景分析,若是则划分出图像数据对应的敏感区域图像,并存储敏感区域图像,所述敏感区域图像包含有敏感物体;
根据敏感物体与处理方式的对应关系,采用预设处理方式处理敏感区域图像,并缓存运算后的图像。
10.根据权利要求9所述的一种基于神经网络的场景分类方法,其特征在于,还包括步骤:
识别出敏感区域图像中敏感物体的轮廓位置信息,所述轮廓位置信息以“第一标识行-第一起始坐标点-第一结束坐标点”的方式进行存储;
根据轮廓位置信息、以及敏感区域图像在图像数据中的坐标信息,计算敏感区域图像内的敏感物体在图像数据中的坐标位置信息,并将所述坐标位置信息以“第二标识行-第二起始坐标点-第二结束坐标点”的方式进行存储;
所述第二标识行的数值为第一标识行的数值与敏感区域图像在图像数据内的起始行之和,所述第二起始坐标点为第一起始坐标点与敏感区域图像在图像数据内的起始列之和,所述第二结束坐标点为第二结束坐标点与敏感区域图像在图像数据内的起始列之和。
CN201910095372.XA 2019-01-31 2019-01-31 一种基于神经网络的场景分类电路架构和方法 Pending CN109840590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910095372.XA CN109840590A (zh) 2019-01-31 2019-01-31 一种基于神经网络的场景分类电路架构和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910095372.XA CN109840590A (zh) 2019-01-31 2019-01-31 一种基于神经网络的场景分类电路架构和方法

Publications (1)

Publication Number Publication Date
CN109840590A true CN109840590A (zh) 2019-06-04

Family

ID=66884527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910095372.XA Pending CN109840590A (zh) 2019-01-31 2019-01-31 一种基于神经网络的场景分类电路架构和方法

Country Status (1)

Country Link
CN (1) CN109840590A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726592A (zh) * 2020-06-30 2020-09-29 北京市商汤科技开发有限公司 获取图像信号处理器的架构的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323456A (zh) * 2014-12-16 2016-02-10 维沃移动通信有限公司 用于拍摄装置的图像预览方法、图像拍摄装置
CN106205138A (zh) * 2016-07-06 2016-12-07 福州瑞芯微电子股份有限公司 一种行车视频自适应行车场景的区分处理方法及系统
CN107871314A (zh) * 2016-09-23 2018-04-03 商汤集团有限公司 一种敏感图像鉴别方法和装置
CN108462876A (zh) * 2018-01-19 2018-08-28 福州瑞芯微电子股份有限公司 一种视频解码优化调整装置及方法
CN108764370A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108830377A (zh) * 2018-06-21 2018-11-16 福州瑞芯微电子股份有限公司 一种神经网络电路及其自循环多级迭代方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323456A (zh) * 2014-12-16 2016-02-10 维沃移动通信有限公司 用于拍摄装置的图像预览方法、图像拍摄装置
CN106205138A (zh) * 2016-07-06 2016-12-07 福州瑞芯微电子股份有限公司 一种行车视频自适应行车场景的区分处理方法及系统
CN107871314A (zh) * 2016-09-23 2018-04-03 商汤集团有限公司 一种敏感图像鉴别方法和装置
CN108462876A (zh) * 2018-01-19 2018-08-28 福州瑞芯微电子股份有限公司 一种视频解码优化调整装置及方法
CN108764370A (zh) * 2018-06-08 2018-11-06 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108830377A (zh) * 2018-06-21 2018-11-16 福州瑞芯微电子股份有限公司 一种神经网络电路及其自循环多级迭代方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余彦翔: "基于灰度纹理分析的车牌定位算法研究", 《万方学位论文》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726592A (zh) * 2020-06-30 2020-09-29 北京市商汤科技开发有限公司 获取图像信号处理器的架构的方法和装置
CN111726592B (zh) * 2020-06-30 2022-06-21 北京市商汤科技开发有限公司 获取图像信号处理器的架构的方法和装置

Similar Documents

Publication Publication Date Title
Li et al. Underwater image enhancement via medium transmission-guided multi-color space embedding
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
Liu et al. End-to-end single image fog removal using enhanced cycle consistent adversarial networks
Korus Digital image integrity–a survey of protection and verification techniques
CN109376667B (zh) 目标检测方法、装置及电子设备
Guo et al. Dense scene information estimation network for dehazing
CN110675336A (zh) 一种低照度图像增强方法及装置
CN109191414A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN108513672A (zh) 增强图像对比度的方法、设备及存储介质
Zhang et al. Semantic-aware dehazing network with adaptive feature fusion
CN112597941A (zh) 一种人脸识别方法、装置及电子设备
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN111476213A (zh) 一种基于道路影像的遮挡物覆盖区域填充方法和装置
CN109816694A (zh) 目标跟踪方法、装置及电子设备
CN113065645A (zh) 孪生注意力网络、图像处理方法和装置
Guo et al. Dense123'color enhancement dehazing network
CN110363770A (zh) 一种边缘引导式红外语义分割模型的训练方法及装置
CN106650615A (zh) 一种图像处理方法及终端
CN110210541A (zh) 图像融合方法及设备、存储装置
CN103034983A (zh) 一种基于各向异性滤波的去雾方法
CN112561973A (zh) 训练图像配准模型的方法、装置和电子设备
CN114529593A (zh) 红外与可见光图像配准方法、系统、设备、图像处理终端
CN110428362A (zh) 图像hdr转换方法及装置、存储介质
CN116645569A (zh) 一种基于生成对抗网络的红外图像彩色化方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190604

RJ01 Rejection of invention patent application after publication