CN113469321B - 基于神经网络的物件检测装置和物件检测方法 - Google Patents
基于神经网络的物件检测装置和物件检测方法 Download PDFInfo
- Publication number
- CN113469321B CN113469321B CN202010238833.7A CN202010238833A CN113469321B CN 113469321 B CN113469321 B CN 113469321B CN 202010238833 A CN202010238833 A CN 202010238833A CN 113469321 B CN113469321 B CN 113469321B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional layer
- neural network
- convolutional
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种于神经网络的物件检测装置和物件检测方法。物件检测方法包含：接收输入图像；以及根据改良型YOLO‑版本2神经网络以识别输入图像中的物件。改良型YOLO‑版本2神经网络包含残差区块、第三卷积层以及第四卷积层。残差区块的第一输入连接至改良型YOLO‑版本2神经网络的第一卷积层，并且残差区块的输出连接至改良型YOLO‑版本2神经网络的第二卷积层，其中残差区块用于将对应于第一卷积层的相加结果传送至第二卷积层。第三卷积层以及第四卷积层是对原始YOLO‑版本2神经网络的卷积层进行分解所产生的。
Description
技术领域
本发明涉及一种物件检测装置和物件检测方法，且特别是涉及一种基于神经网络的物件检测装置和物件检测方法。
背景技术
使用深度学习技术来对物件进行检测以及识别是目前图像识别领域的主流技术之一。为了达到良好的检测效果，通常会采用尺寸较大及较深的神经网络架构。如上所述的神经网络架构虽然能使检测更加的准确，但也会使运算以及内存容量的需求大幅地提升，从而使神经网络架构很难实施于具有较少运算力的边缘运算装置。
因此，如何提出一种具有低复杂度以及高识别精准度特性的神经网络架构，是本领域人员致力的目标之一。
发明内容
本发明提供一种基于神经网络的物件检测装置和物件检测方法，可改良YOLO-版本2(YOLO-V2)神经网络，从而降低YOLO-V2神经网络所需使用的运算量。
本发明的一种基于神经网络的物件检测装置，包括处理器、存储介质以及收发器。存储介质存储改良型YOLO-版本2神经网络。处理器耦接存储介质以及收发器，其中处理器通过收发器以接收输入图像，并且根据改良型YOLO-版本2神经网络以识别输入图像中的物件，其中改良型YOLO-版本2神经网络包括：残差区块，其中残差区块的第一输入连接至改良型YOLO-版本2神经网络的第一卷积层，并且残差区块的输出连接至改良型YOLO-版本2神经网络的第二卷积层，其中残差区块用于将对应于第一卷积层的相加结果传送至第二卷积层；以及包括第一数量个滤波器的第三卷积层以及包括第二数量个滤波器的第四卷积层，其中处理器对原始YOLO-版本2神经网络的包括第三数量个滤波器的卷积层进行分解以产生第三卷积层以及第四卷积层，其中第一数量小于第三数量。
在本发明的一实施例中，上述的物件检测装置还包括串联层。串联层的第二输入连接至改良型YOLO-版本2神经网络的池化层以及第五卷积层。
在本发明的一实施例中，上述的处理器将第二数量调整为小于第二数量的二分之一。
在本发明的一实施例中，上述的第一卷积层包括激励函数，其中残差区块的第一输入连接至第一卷积层的激励函数。
在本发明的一实施例中，上述的激励函数为泄漏线性整流单元。
在本发明的一实施例中，上述的残差区块的第一输入还连接至改良型YOLO-版本2神经网络的池化层，并且残差区块用于将第一卷积层以及池化层的相加结果传送至第二卷积层。
在本发明的一实施例中，上述的残差区块的第一输入还连接至改良型YOLO-版本2神经网络的第五卷积层，并且残差区块用于将第一卷积层以及第五卷积层的相加结果传送至第二卷积层。
在本发明的一实施例中，上述的改良型YOLO-版本2神经网络不包括重组层。
本发明的一种基于神经网络的物件检测方法，包含：接收输入图像；以及根据改良型YOLO-版本2神经网络以识别输入图像中的物件，其中改良型YOLO-版本2神经网络包括残差区块、包括第一数量个滤波器的第三卷积层以及包括第二数量个滤波器的第四卷积层。残差区块的第一输入连接至改良型YOLO-版本2神经网络的第一卷积层，并且残差区块的输出连接至改良型YOLO-版本2神经网络的第二卷积层，其中残差区块用于将对应于第一卷积层的相加结果传送至第二卷积层。第三卷积层以及第四卷积层是对原始YOLO-版本2神经网络的包括第三数量个滤波器的卷积层进行分解所产生的，其中第一数量小于第三数量。
基于上述，本发明提出的改良型YOLO-V2神经网络可通过添加残差区块、分解卷积层、降低卷积层的滤波器数量以及移除重组层(reorg)等方式来减轻神经网络的运算负担并且增加神经网络的识别准确度。
附图说明
包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
图1根据本发明的一实施例示出一种基于神经网络的物件检测装置的示意图；
图2根据本发明的一实施例示出一种基于神经网络的物件检测方法的流程图。
附图标号说明
100：物件检测装置；
110：处理器；
120：存储介质；
130：收发器；
S210、S220：步骤。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
近年来，由于深度学习技术的发展，物件检测领域具有长足的进步。物件检测领域所运用的深度学习技术可包括两阶段方法以及一阶段方法。一般来说，两阶段方法可利用区域推荐网络(region proposal network，RPN)以从图像中找出物件的位置，再接着以用于分类的神经网络来判断物件的类别。另一方面，一阶段方法则使用单一神经网络架构来检测物件的位置以及判断物件的类别。两阶段方法可以提供较佳的检测准确度，但计算的复杂度也比较高。相对来说，一阶段方法的复杂度较低，且其所需的运算量也较低。基于这些优点，一阶段方法较受使用者的青睐。一阶段方法例如包含单次多框检测器(singleshot multiBox detector，SSD)或YOLO等方法。传统的YOLO-V2神经网络的架构，如表1所示。在表1中，越上面的字段代表YOLO-V2神经网络的越底层的结构。举例来说，卷积层1代表YOLO-V2神经网络的第一层(即：最底层)的结构，并且卷积层22代表YOLO-V2神经网络的最末层(即：最上层)的结构。此外，相邻的字段互相连接。举例来说，卷积层1的输出连接至池化层1的输入，并且池化层1的输出连接至卷积层2的输入。
表1
卷积层1可包括多个卷积核、批正规化(batch normalization，BN)、缩放(scaling，SC)以及激励函数，其中所述激励函数例如为泄漏线性整流单元(leakyrectified linear unit，leaky ReLU)。卷积层1可具有32个卷积核，其中每个卷积核的尺寸(size)例如为3x3。
池化层1可用以进行最大池化(maxpooling)。池化层1的尺寸例如为2x2，并且池化层1的步伐(stride)例如为2。
卷积层2可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层2可具有64个卷积核。卷积层2的每个卷积核的尺寸例如为3x3。
池化层2可用以进行最大池化。池化层2的尺寸例如为2x2，并且池化层2的步伐例如为2。
卷积层3可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层3可具有128个卷积核。卷积层3的每个卷积核的尺寸例如为3x3。
卷积层4可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层4可具有64个卷积核。卷积层4的每个卷积核的尺寸例如为1x1。
池化层5可用以进行最大池化。池化层5的尺寸例如为2x2，并且池化层5的步伐例如为2。
卷积层6可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层6可具有256个卷积核。卷积层6的每个卷积核的尺寸例如为3x3。
卷积层7可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层7可具有128个卷积核。卷积层7的每个卷积核的尺寸例如为1x1。
卷积层8可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层8可具有256个卷积核。卷积层8的每个卷积核的尺寸例如为3x3。
池化层8可用以进行最大池化。池化层8的尺寸例如为2x2，并且池化层8的步伐例如为2。
卷积层8可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层8可具有256个卷积核。卷积层8的每个卷积核的尺寸例如为3x3。
卷积层9可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层9可具有512个卷积核。卷积层9的每个卷积核的尺寸例如为3x3。
卷积层10可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层10可具有256个卷积核。卷积层10的每个卷积核的尺寸例如为1x1。
卷积层11可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层11可具有512个卷积核。卷积层8的每个卷积核的尺寸例如为3x3。
卷积层12可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层12可具有256个卷积核。卷积层12的每个卷积核的尺寸例如为1x1。
卷积层13可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层13可具有512个卷积核。卷积层13的每个卷积核的尺寸例如为3x3。
池化层13可用以进行最大池化。池化层13的尺寸例如为2x2，并且池化层13的步伐例如为2。
卷积层14可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层14可具有1024个卷积核。卷积层14的每个卷积核的尺寸例如为3x3。
卷积层15可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层15可具有512个卷积核。卷积层15的每个卷积核的尺寸例如为1x1。
卷积层16可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层16可具有1024个卷积核。卷积层16的每个卷积核的尺寸例如为3x3。
卷积层17可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层17可具有512个卷积核。卷积层17的每个卷积核的尺寸例如为1x1。
卷积层18可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层18可具有1024个卷积核。卷积层18的每个卷积核的尺寸例如为3x3。
卷积层19可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层19可具有1024个卷积核。卷积层19的每个卷积核的尺寸例如为3x3。
卷积层20可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层20可具有1024个卷积核。卷积层20的每个卷积核的尺寸例如为3x3。
重组(route)层13的底部(bottom)连接至卷积层13中的缩放13。换句话说，重组层13的输入连接至缩放13的输出。重组层13可用以对缩放13的输出进行重组(reorg)。
串联(concatenation)层的底部连接至重组层13以及卷积层20中的缩放20。换句话说，串联层的输入连接至重组层13以及缩放20的输出。串联层可用以对重组层13以及缩放20的输出进行串联(concat)。
卷积层21可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层21可具有1024个卷积核。卷积层21的每个卷积核的尺寸例如为3x3。
卷积层22可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。卷积层22可具有425个卷积核。卷积层22的每个卷积核的尺寸例如为1x1。
然而，在使用上，一阶段方法仍有待改善之处。举例来说，YOLO神经网络架构所需的运算量较大，并且检测的准确度也较低。为了降低YOLO神经网络架构的运算量并增加YOLO神经网络架构的准确度，本发明提出一种基于神经网络的物件检测装置100，其中所述物件检测装置100可运用改良型YOLO-V2神经网络来进行物件的检测。
图1根据本发明的一实施例示出一种基于神经网络的物件检测装置100的示意图。物件检测装置100可包括处理器110、存储介质120以及收发器130。
处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可程序化的一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可程序化控制器、特殊应用集成电路(application specific integrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、图像处理单元(image processing unit，IPU)、算数逻辑单元(arithmetic logic unit，ALU)、复杂可程序逻辑装置(complex programmable logic device，CPLD)、现场可程序化逻辑门阵列(field programmable gate array，FPGA)或其他类似组件或上述组件的组合。处理器110可耦接至存储介质120以及收发器130，并且存取和执行存储于存储介质120中的多个模块和各种应用程序。
存储介质120例如是任何型态的固定式或可移动式的随机存取内存(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似组件或上述组件的组合，而用于存储可由处理器110执行的多个模块或各种应用程序。在本实施例中，存储介质120可存储用于进行物件检测的改良型YOLO-V2神经网络，其中改良型YOLO-V2神经网络是改良自如表1所示的YOLO-V2神经网络。
收发器130以无线或有线的方式传送及接收信号。收发器130还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。处理器110可通过收发器130以接收输入图像，并且根据存储介质120中的改良型YOLO-V2神经网络以识别输入图像中的物件。改良型YOLO-V2神经网络的架构，如表2所示。值得注意的是，改良型YOLO-V2神经网络可不包含重组层。因此，改良型YOLO-V2神经网络可节省重组层所需消耗的运算量或内存。
表2
新卷积层1可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层1可具有32个卷积核。新卷积层1的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层1可与如表1所示的卷积层1相同。
新池化层1可用以进行最大池化。新池化层1的尺寸例如为2x2，并且新池化层1的步伐例如为2。在一实施例中，如表2所示的新池化层1可与如表1所示的池化层1相同。
新卷积层2可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层2可具有64个卷积核。新卷积层2的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层2可与如表1所示的卷积层2相同。
新池化层2可用以进行最大池化。新池化层2的尺寸例如为2x2，并且新池化层2的步伐例如为2。在一实施例中，如表2所示的新池化层2可与如表1所示的池化层2相同。
新卷积层3可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层3可具有128个卷积核。新卷积层3的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层3可与如表1所示的卷积层3相同。
新卷积层4可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层4可具有64个卷积核。新卷积层4的每个卷积核的尺寸例如为1x1。在一实施例中，如表2所示的新卷积层4可与如表1所示的卷积层4相同。
新卷积层5可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层5可具有128个卷积核。新卷积层5的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层5可与如表1所示的卷积层5相同。
新池化层5可用以进行最大池化。新池化层5的尺寸例如为2x2，并且新池化层5的步伐例如为2。在一实施例中，如表2所示的新池化层5可与如表1所示的池化层5相同。
新卷积层6可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层6可具有256个卷积核。新卷积层6的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层6可与如表1所示的卷积层6相同。
新卷积层7可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层7可具有128个卷积核。新卷积层7的每个卷积核的尺寸例如为1x1。在一实施例中，如表2所示的新卷积层7可与如表1所示的卷积层7相同。
残差区块7的底部连接至新池化层5以及新卷积层7中的泄漏线性整流单元7。换句话说，残差区块7的输入连接至新池化层5以及新卷积层7的泄漏线性整流单元7的输出。残差区块7可用以对新池化层5以及泄漏线性整流单元7的输出进行相加以产生相加结果。残差区块7可进一步将相加结果传送至新卷积层8。在YOLO-V2神经网络架构中加入残差区块可有效地提高物件检测的准确度。
新卷积层8可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层8可具有256个卷积核。新卷积层8的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层8可与如表1所示的卷积层8相同。
新池化层8可用以进行最大池化。新池化层8的尺寸例如为2x2，并且新池化层8的步伐例如为2。在一实施例中，如表2所示的新池化层8可与如表1所示的池化层8相同。
新卷积层9可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层9可具有512个卷积核。新卷积层9的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层9可与如表1所示的卷积层9相同。
新卷积层10可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层10可具有256个卷积核。新卷积层10的每个卷积核的尺寸例如为1x1。在一实施例中，如表2所示的新卷积层10可与如表1所示的卷积层10相同。
新卷积层11可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层11可具有512个卷积核。新卷积层11的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层11可与如表1所示的卷积层11相同。
新卷积层12可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层12可具有256个卷积核。新卷积层12的每个卷积核的尺寸例如为1x1。在一实施例中，如表2所示的新卷积层12可与如表1所示的卷积层12相同。
残差区块12的底部连接至新卷积层10中的泄漏线性整流单元10以及新卷积层12中的泄漏线性整流单元12。换句话说，残差区块12的输入连接至泄漏线性整流单元10以及泄漏线性整流单元12的输出。残差区块12可用以对泄漏线性整流单元10以及泄漏线性整流单元12的输出进行相加以产生相加结果。残差区块12可进一步将相加结果传送至新卷积层13。
新卷积层13可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层13可具有512个卷积核。新卷积层13的每个卷积核的尺寸例如为3x3。在一实施例中，如表2所示的新卷积层13可与如表1所示的卷积层13相同。
新池化层13可用以进行最大池化。新池化层13的尺寸例如为2x2，并且新池化层13的步伐例如为2。在一实施例中，如表2所示的新池化层13可与如表1所示的池化层13相同。
新卷积层14_下层(lower layer)以及新卷积层14_上层(upper layer)是由处理器110对如表1所示的卷积层14进行分解后而产生的。新卷积层14_下层的卷积核数量可小于卷积层14的卷积核数量。举例来说，新卷积层14_下层可具有64个卷积核。新卷积层14_下层的每个卷积核的尺寸例如为3x3。新卷积层14_上层可具有2048个卷积核，并且新卷积层14_上层的每个卷积核的尺寸例如为1x1。在一实施例中，处理器110可将新卷积层14_上层的卷积核的数量调整为新卷积层14_上层的当前卷积核数量(即：2048)的二分之一(即：1024)或调整为小于当前卷积核数量的二分之一，藉以降低新卷积层14_上层所需消耗的运算量。
原始YOLO-V2神经网络模型约需占用260兆字节的内存。这对于运算力较少的边缘运算装置来说，是很大的负担。为了缩减模型，处理器110可将原始YOLO-V2神经网络模型的卷积层(例如：3x3的卷积层14)分解为两个新卷积层，分别为新卷积层_下层(例如：3x3的新卷积层14_下层)以及新卷积层_上层(例如：1x1的新卷积层14_上层)，其中新卷积层_下层的卷积核的数量远小于卷积层的卷积核的数量。如此，可显著地减少参数数量，并且加快指令周期。处理器110可对位于原始YOLO-V2神经网络模型的较上层的卷积层(例如：如表1所示的卷积层14、16、18以及19～21)进行分解以产生改良型YOLO-V2神经网络的新卷积层_下层以及新卷积层_上层。
新卷积层15可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层15可具有512个卷积核。新卷积层15的每个卷积核的尺寸例如为1x1。在一实施例中，如表2所示的新卷积层15可与如表1所示的卷积层15相同。
残差区块15的底部连接至新池化层13以及新卷积层15中的泄漏线性整流单元15。换句话说，残差区块15的输入连接至新池化层13以及泄漏线性整流单元15的输出。残差区块15可用以对新池化层13以及泄漏线性整流单元15的输出进行相加以产生相加结果。残差区块15可进一步将相加结果传送至新卷积层16_下层。
新卷积层16_下层以及新卷积层16_上层是由处理器110对如表1所示的卷积层16进行分解后而产生的。新卷积层16_下层的卷积核数量可小于卷积层16的卷积核数量。举例来说，新卷积层16_下层可具有64个卷积核。新卷积层16_下层的每个卷积核的尺寸例如为3x3。新卷积层16_上层可具有2048个卷积核，并且新卷积层16_上层的每个卷积核的尺寸例如为1x1。在一实施例中，处理器110可将新卷积层16_上层的卷积核的数量调整为新卷积层16_上层的当前卷积核数量(即：2048)的二分之一(即：1024)或调整为小于当前卷积核数量的二分之一，藉以降低新卷积层16_上层所需消耗的运算量。
新卷积层17可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层17可具有512个卷积核。新卷积层17的每个卷积核的尺寸例如为1x1。在一实施例中，如表2所示的新卷积层17可与如表1所示的卷积层17相同。
新卷积层18_下层以及新卷积层18_上层是由处理器110对如表1所示的卷积层18进行分解后而产生的。新卷积层18_下层的卷积核数量可小于卷积层18的卷积核数量。举例来说，新卷积层18_下层可具有64个卷积核。新卷积层18_下层的每个卷积核的尺寸例如为3x3。新卷积层18_上层可具有2048个卷积核，并且新卷积层18_上层的每个卷积核的尺寸例如为1x1。在一实施例中，处理器110可将新卷积层18_上层的卷积核的数量调整为新卷积层18_上层的当前卷积核数量(即：2048)的二分之一(即：1024)或调整为小于当前卷积核数量的二分之一，藉以降低新卷积层18_上层所需消耗的运算量。
新卷积层19_下层以及新卷积层19_上层是由处理器110对如表1所示的卷积层19进行分解后而产生的。新卷积层19_下层的卷积核数量可小于卷积层19的卷积核数量。举例来说，新卷积层19_下层可具有64个卷积核。新卷积层19_下层的每个卷积核的尺寸例如为3x3。新卷积层19_上层可具有2048个卷积核，并且新卷积层19_上层的每个卷积核的尺寸例如为1x1。在一实施例中，处理器110可将新卷积层19_上层的卷积核的数量调整为新卷积层19_上层的当前卷积核数量(即：2048)的二分之一(即：1024)或调整为小于当前卷积核数量的二分之一，藉以降低新卷积层19_上层所需消耗的运算量。
新卷积层20_下层以及新卷积层20_上层是由处理器110对如表1所示的卷积层20进行分解后而产生的。新卷积层20_下层的卷积核数量可小于卷积层20的卷积核数量。举例来说，新卷积层20_下层可具有64个卷积核。新卷积层20_下层的每个卷积核的尺寸例如为3x3。新卷积层20_上层可具有2048个卷积核，并且新卷积层20_上层的每个卷积核的尺寸例如为1x1。在一实施例中，处理器110可将新卷积层20_上层的卷积核的数量调整为新卷积层20_上层的当前卷积核数量(即：2048)的二分之一(即：1024)或调整为小于当前卷积核数量的二分之一，藉以降低新卷积层20_上层所需消耗的运算量。
新串联层的底部连接至新池化层13以及卷积层20中的泄漏线性整流单元20。换句话说，新串联层的输入连接至新池化层13以及泄漏线性整流单元20的输出。新串联层可用以对新池化层13以及泄漏线性整流单元20的输出进行串联。
新卷积层21_下层以及新卷积层21_上层是由处理器110对如表1所示的卷积层21进行分解后而产生的。新卷积层21_下层的卷积核数量可小于卷积层21的卷积核数量。举例来说，新卷积层21_下层可具有64个卷积核。新卷积层21_下层的每个卷积核的尺寸例如为3x3。新卷积层21_上层可具有2148个卷积核，并且新卷积层21_上层的每个卷积核的尺寸例如为1x1。在一实施例中，处理器110可将新卷积层21_上层的卷积核的数量调整为新卷积层21_上层的当前卷积核数量(即：2148)的二分之一(即：1024)或调整为小于当前卷积核数量的二分之一，藉以降低新卷积层21_上层所需消耗的运算量。
新卷积层22可包括多个卷积核、批正规化、缩放以及激励函数，其中所述激励函数例如为泄漏线性整流单元。新卷积层22可具有425个卷积核。新卷积层22的每个卷积核的尺寸例如为1x1。在一实施例中，如表2所示的新卷积层22可与如表1所示的卷积层22相同。
图2根据本发明的一实施例示出一种基于神经网络的物件检测方法的流程图，其中所述物件检测方法可由如图1所示的物件检测装置100实施。在步骤S210中，接收输入图像。在步骤S220中，根据改良型YOLO-版本2神经网络以识别输入图像中的物件，其中改良型YOLO-版本2神经网络包括残差区块、包括第一数量个滤波器的第三卷积层以及包括第二数量个滤波器的第四卷积层。残差区块的第一输入连接至改良型YOLO-版本2神经网络的第一卷积层，并且残差区块的输出连接至改良型YOLO-版本2神经网络的第二卷积层，其中残差区块用于将对应于第一卷积层的相加结果传送至第二卷积层。第三卷积层以及第四卷积层是对原始YOLO-版本2神经网络的包括第三数量个滤波器的卷积层进行分解所产生的，其中第一数量小于第三数量。
综上所述，本发明提出的改良型YOLO-V2神经网络可在原始YOLO-V2神经网络上添加残差区块，藉以提高识别的准确度。此外，改良型YOLO-V2神经网络还包括由原始YOLO-V2神经网络的单一卷积层分解而产生的两个卷积层。相较于原始YOLO-V2神经网络的单一卷积层，所述两个卷积层中的滤波器数量可大幅地减少。因此，改良型YOLO-V2神经网络所需的运算量将会显著地降低。再者，改良型YOLO-V2神经网络移除了原始YOLO-V2神经网络的重组层，藉以减轻神经网络的运算负担。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (7)
1.一种基于神经网络的物件检测装置，其特征在于，包括：
收发器；
存储介质，存储改良型YOLO-版本2神经网络；以及
处理器，耦接所述存储介质以及所述收发器，其中所述处理器通过所述收发器以接收输入图像，并且根据所述改良型YOLO-版本2神经网络以识别所述输入图像中的物件，其中所述改良型YOLO-版本2神经网络包括：
第一残差区块，其中所述残差区块的第一输入连接至所述改良型YOLO-版本2神经网络的第一卷积层以及池化层，并且所述第一残差区块的输出连接至所述改良型YOLO-版本2神经网络的第二卷积层，其中所述第一残差区块用于将对应于所述第一卷积层以及所述池化层的相加结果传送至所述第二卷积层；以及
包括第一数量个滤波器的第三卷积层以及包括第二数量个滤波器的第四卷积层，其中所述处理器对原始YOLO-版本2神经网络的包括第三数量个滤波器的卷积层进行分解以产生所述第三卷积层以及所述第四卷积层，其中所述第一数量小于所述第三数量。
2.根据权利要求1所述的物件检测装置，还包括：
串联层，其中所述串联层的第二输入连接至所述改良型YOLO-版本2神经网络的所述池化层以及第五卷积层。
3.根据权利要求1所述的物件检测装置，其中所述第一卷积层包括激励函数，其中所述第一残差区块的所述第一输入连接至所述第一卷积层的所述激励函数。
4.根据权利要求3所述的物件检测装置，其中所述激励函数为泄漏线性整流单元。
5.根据权利要求1所述的物件检测装置，其中所述改良型YOLO-版本2神经网络还包括：
第二残差区块，所述第二残差区块的第二输入连接至所述改良型YOLO-版本2神经网络的第五卷积层以及第六卷积层，并且所述第二残差区块的输出连接至所述改良型YOLO-版本2神经网络的第七卷积层，其中所述第二残差区块用于将所述第五卷积层以及所述第六卷积层的相加结果传送至所述第二卷积层。
6.根据权利要求1所述的物件检测装置，其中所述改良型YOLO-版本2神经网络不包括重组层。
7.一种基于神经网络的物件检测方法，其特征在于，包括：
接收输入图像；以及
根据改良型YOLO-版本2神经网络以识别所述输入图像中的物件，其中所述改良型YOLO-版本2神经网络包括：
第一残差区块，其中所述第一残差区块的第一输入连接至所述改良型YOLO-版本2神经网络的第一卷积层以及池化层，并且所述第一残差区块的输出连接至所述改良型YOLO-版本2神经网络的第二卷积层，其中所述第一残差区块用于将对应于所述第一卷积层以及所述池化层的相加结果传送至所述第二卷积层；以及
包括第一数量个滤波器的第三卷积层以及包括第二数量个滤波器的第四卷积层，其中所述第三卷积层以及所述第四卷积层是对原始YOLO-版本2神经网络的包括第三数量个滤波器的卷积层进行分解而产生的，其中所述第一数量小于所述第三数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010238833.7A CN113469321B (zh) | 2020-03-30 | 2020-03-30 | 基于神经网络的物件检测装置和物件检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010238833.7A CN113469321B (zh) | 2020-03-30 | 2020-03-30 | 基于神经网络的物件检测装置和物件检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469321A CN113469321A (zh) | 2021-10-01 |
| CN113469321B true CN113469321B (zh) | 2023-04-18 |
Family
ID=77865157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010238833.7A Active CN113469321B (zh) | 2020-03-30 | 2020-03-30 | 基于神经网络的物件检测装置和物件检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469321B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298797A (zh) * | 2019-06-12 | 2019-10-01 | 博微太赫兹信息科技有限公司 | 一种基于卷积神经网络的毫米波图像处理方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107888843A (zh) * | 2017-10-13 | 2018-04-06 | 深圳市迅雷网络技术有限公司 | 用户原创内容的混音方法、装置、存储介质及终端设备 |
| US20200042825A1 (en) * | 2018-08-02 | 2020-02-06 | Veritone, Inc. | Neural network orchestration |
| CN109447066B (zh) * | 2018-10-18 | 2021-08-20 | 中国人民武装警察部队海警学院 | 一种快速精确的单阶段目标检测方法及装置 |
| CN110287835A (zh) * | 2019-06-14 | 2019-09-27 | 南京云创大数据科技股份有限公司 | 一种亚洲人脸库智能建立方法 |
| CN110310227B (zh) * | 2019-06-27 | 2020-09-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
| AU2019101224A4 (en) * | 2019-10-05 | 2020-01-16 | Shu, Zikai MR | Method of Human detection research and implement based on deep learning |
-
2020
- 2020-03-30 CN CN202010238833.7A patent/CN113469321B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298797A (zh) * | 2019-06-12 | 2019-10-01 | 博微太赫兹信息科技有限公司 | 一种基于卷积神经网络的毫米波图像处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469321A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108008948B (zh) | 一种指令生成过程的复用装置及方法、处理装置 | |
| Han et al. | A low-power deep neural network online learning processor for real-time object tracking application | |
| Chang et al. | An efficient implementation of 2D convolution in CNN | |
| TW201915835A (zh) | 人工神經元中以非零封包加速乘法運算的裝置及方法 | |
| US20220083857A1 (en) | Convolutional neural network operation method and device | |
| CN111932570B (zh) | 一种基于网格数据的边缘检测方法、装置、介质及设备 | |
| US10908877B2 (en) | Median value determination in a data processing system | |
| CN111178258B (zh) | 一种图像识别的方法、系统、设备及可读存储介质 | |
| US11615515B2 (en) | Superpixel merging | |
| CN109165307A (zh) | 一种特征检索方法、装置和存储介质 | |
| CN108960251A (zh) | 一种图像匹配描述子生成尺度空间的硬件电路实现方法 | |
| CN113469321B (zh) | 基于神经网络的物件检测装置和物件检测方法 | |
| US20220147748A1 (en) | Efficient object detection using deep learning techniques | |
| CN113326887B (zh) | 文本检测方法、装置、计算机设备 | |
| CN109242091B (zh) | 图像识别方法、装置、设备及可读存储介质 | |
| Mohanty et al. | High-performance face detection with CPU-FPGA acceleration | |
| Nakahara et al. | A tri-state weight convolutional neural network for an FPGA: Applied to YOLOv2 object detector | |
| CN109740729B (zh) | 运算方法、装置及相关产品 | |
| Zamora et al. | Convolutional filter approximation using fractional calculus | |
| US11495015B2 (en) | Object detection device and object detection method based on neural network | |
| Amer et al. | High performance convolution using sparsity and patterns for inference in deep convolutional neural networks | |
| US20200242467A1 (en) | Calculation method and calculation device for sparse neural network, electronic device, computer readable storage medium, and computer program product | |
| Liu et al. | Tcp-net: Minimizing operation counts of binarized neural network inference | |
| CN111324793B (zh) | 对存储感兴趣区域的数据的操作进行控制的方法和装置 | |
| CN113554042A (zh) | 神经网络及其训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |