CN110751160A - 图像中物体的检测方法、装置及系统 - Google Patents

图像中物体的检测方法、装置及系统 Download PDF

Info

Publication number
CN110751160A
CN110751160A CN201911048196.0A CN201911048196A CN110751160A CN 110751160 A CN110751160 A CN 110751160A CN 201911048196 A CN201911048196 A CN 201911048196A CN 110751160 A CN110751160 A CN 110751160A
Authority
CN
China
Prior art keywords
fusion
layer
focal
focus
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911048196.0A
Other languages
English (en)
Other versions
CN110751160B (zh
Inventor
杨铀
刘琼
李贝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911048196.0A priority Critical patent/CN110751160B/zh
Publication of CN110751160A publication Critical patent/CN110751160A/zh
Application granted granted Critical
Publication of CN110751160B publication Critical patent/CN110751160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像中物体的检测方法、装置及系统，该方法，包括：获取场景的焦点堆栈，所述焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片，通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征；其中，L为大于1的自然数；通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征；对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征，对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。以提高在复杂环境场景图像中检测物体的准确性和鲁棒性。

Description

图像中物体的检测方法、装置及系统
技术领域
本发明涉及计算机视觉图像技术领域，尤其涉及一种图像中物体的检测方法、装置及系统。
背景技术
随着科技的发展，图像处理正逐步渗透在日常生活的各个领域。光场相机不断的完善，可以通过图像传感器前的微透镜阵列获取光场数据，给图像显著性分析提供新方法。
目前显著性物体检测大都基于2D或3D数据，在图像中目标与背景复杂时，出现检测目标不完整等问题。
另外光场显著性检测模型都采用手工特征，基于焦点堆栈提取聚焦度，背景概率等线索，这些基于光场的显著度线索作为附加特征与全聚焦图像的RGB特征、深度图的深度特征融合，或者作为加权系数参与到传统特征的融合过程，仅简单将光场特征与传统特征融合造成手工特征鲁棒性不高，使得检测效果不佳。
发明内容
本发明提供一种图像中物体的检测方法、装置及系统，以提高在复杂环境场景图像中检测物体的准确性和鲁棒性。
第一方面，本发明实施例提供的一种图像中物体的检测方法，包括：
获取场景的焦点堆栈；所述焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片，
通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征；其中，L为大于1的自然数；
通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征；
对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征；
对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。
在一种可能的设计中，通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征，包括：
假设所述焦点堆栈中包括N张聚焦切片，分别记为I1,I2,...,IN；I1表示第1张聚焦切片，I2表示第2张聚焦切片，IN表示第N张聚焦切片；
通过深度卷积神经网络对每一张所述焦点切片进行多层次特征提取，得到所述焦点堆栈的L层特征，分别记为：
Figure BDA0002254644290000021
其中，F1为第1层特征，F1 1为第1层中第1张聚焦切片的特征，
Figure BDA0002254644290000022
为第1层中第2张聚焦切片的特征，为第1层中第N张聚焦切片的特征；F2为第2层特征，F1 2为第2层中第1张聚焦切片的特征，
Figure BDA0002254644290000024
为第2层中第N张聚焦切片的特征；FL为第L层特征，F1 L为第L层中第1张聚焦切片的特征，
Figure BDA0002254644290000025
为第L层中第2张聚焦切片的特征，
Figure BDA0002254644290000026
为第L层中第N张聚焦切片的特征。
在一种可能的设计中，通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征，包括：
将所述卷积长短期机器模型的迭代次数设置为N；
将每一层特征中的聚焦切片的特征依次输入卷积长短期机器模型；其中，所述当前聚焦切片的特征先与上一层聚焦融合特征进行融合处理，并将融合结果作为所述卷积长短期机器模型输入，直到所述卷积长短期机器模型输出所有聚焦切片的特征的融合结果，将所述融合结果作为对应层的聚焦融合特征；直到得到所述焦点堆栈的L层聚焦融合特征；
其中，所述卷积长短期机器模型包括：记忆单元、输入模块、输入门、遗忘门、输出门；
其中，所述输入模块用于融合当前状态的输入信息和上一状态的输出信息，生成待更新的候选信息；所述输入门it作用于输入模块，用于输入第一特定信息；所述遗忘门ft作用于上一状态的记忆单元，用于得到第二特定信息；所述记忆单元Ct用于存储当前状态的更新信息；所述输出门ot作用于当前状态的更新信息，用于输出第三特定信息。
在一种可能的设计中，对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征，包括：
假设有L个卷积长短期机器模型分别对所述焦点堆栈的L层特征进行融合处理；其中，L个卷积长短期机器模型输出的聚焦融合特征分别记为：MFIF1,MFIF2,…,MFIFL其中，MFIF1表示第1层聚焦融合特征，MFIF2表示第2层聚焦融合特征，MFIFL表示第L层聚焦融合特征；
将当前层聚焦融合特征记为MFIFl，将当前卷积长短期机器模型的输入记为Xl，其中l＝1,2,3,…L-1；将上一层聚焦融合特征记为MFIFl+1；
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，并将融合结果作为当前卷积长短期机器模型的输入，直到完成L层特征的融合，得到目标聚焦融合特征。
在一种可能的设计中，将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，包括：
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl作为注意力模块的输入，输出对应的权值图；所述注意力模块由若干层卷积层构成；
根据所述权值图获取上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl的权重，并通过预设的加权融合公式进行融合处理，其中，所述预设的加权融合公式如下：
Xnew＝A1⊙MFIFl+1+A2⊙Xl
其中，Xnew为融合结果，A1为上一层聚焦融合特征的权重，A2为当前卷积长短期机器模型的输入Xl的权重，⊙表示对应元素相乘运算。
在一种可能的设计中，对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像，包括：
将所述目标聚焦融合特征输入包含若干卷积层的通道，得到卷积处理后的特征；
通过sigmoid激活函数对卷积处理后的特征进行激活，得到显著图像。
第二方面，本发明实施例提供的一种图像中物体的检测装置，包括：
获取模块，用于获取场景的焦点堆栈；所述焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片，
提取模块，用于通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征；其中，L为大于1的自然数；
融合模块，用于通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征；
得到模块，用于对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征；
显示模块，用于对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。
在一种可能的设计中，所述提取模块，具体用于：
假设所述焦点堆栈中包括N张聚焦切片，分别记为I1,I2,...,IN；I1表示第1张聚焦切片，I2表示第2张聚焦切片，IN表示第N张聚焦切片；
通过深度卷积神经网络对每一张所述焦点切片进行多层次特征提取，得到所述焦点堆栈的L层特征，分别记为：
Figure BDA0002254644290000041
其中，F1为第1层特征，F1 1为第1层中第1张聚焦切片的特征，
Figure BDA0002254644290000042
为第1层中第2张聚焦切片的特征，
Figure BDA0002254644290000043
为第1层中第N张聚焦切片的特征；F2为第2层特征，F1 2为第2层中第1张聚焦切片的特征，
Figure BDA0002254644290000044
为第2层中第N张聚焦切片的特征；FL为第L层特征，F1 L为第L层中第1张聚焦切片的特征，
Figure BDA0002254644290000045
为第L层中第2张聚焦切片的特征，
Figure BDA0002254644290000046
为第L层中第N张聚焦切片的特征。
在一种可能的设计中，所述融合模块，具体用于：
将所述卷积长短期机器模型的迭代次数设置为N；
将每一层特征中的聚焦切片的特征依次输入卷积长短期机器模型；其中，所述当前聚焦切片的特征先与上一层聚焦融合特征进行融合处理，并将融合结果作为所述卷积长短期机器模型输入，直到所述卷积长短期机器模型输出所有聚焦切片的特征的融合结果，将所述融合结果作为对应层的聚焦融合特征；直到得到所述焦点堆栈的L层聚焦融合特征；
其中，所述卷积长短期机器模型包括：记忆单元、输入模块、输入门、遗忘门、输出门；
其中，所述输入模块用于融合当前状态的输入信息和上一状态的输出信息，生成待更新的候选信息；所述输入门it作用于输入模块，用于输入第一特定信息；所述遗忘门ft作用于上一状态的记忆单元，用于得到第二特定信息；所述记忆单元Ct用于存储当前状态的更新信息；所述输出门ot作用于当前状态的更新信息，用于输出第三特定信息。
在一种可能的设计中，所述得到模块，具体用于：
假设有L个卷积长短期机器模型分别对所述焦点堆栈的L层特征进行融合处理；其中，L个卷积长短期机器模型输出的聚焦融合特征分别记为：MFIF1,MFIF2,…,MFIFL其中，MFIF1表示第1层聚焦融合特征，MFIF2表示第2层聚焦融合特征，MFIFL表示第L层聚焦融合特征；
将当前层聚焦融合特征记为MFIFl，将当前卷积长短期机器模型的输入记为Xl，其中l＝1,2,3,…L-1；将上一层聚焦融合特征记为MFIFl+1；
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，并将融合结果作为当前卷积长短期机器模型的输入，直到完成L层特征的融合，得到目标聚焦融合特征。
在一种可能的设计中，将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，包括：
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl作为注意力模块的输入，输出对应的权值图；所述注意力模块由若干层卷积层构成；
根据所述权值图获取上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl的权重，并通过预设的加权融合公式进行融合处理，其中，所述预设的加权融合公式如下：
Xnew＝A1⊙MFIFl+1+A2⊙Xl
其中，Xnew为融合结果，A1为上一层聚焦融合特征的权重，A2为当前卷积长短期机器模型的输入Xl的权重，⊙表示对应元素相乘运算。
在一种可能的设计中，显示模块，具体用于：
将所述目标聚焦融合特征输入包含若干卷积层的通道，得到卷积处理后的特征；
通过sigmoid激活函数对卷积处理后的特征进行激活，得到显著图像。
第三方面，本发明实施例提供的一种图像中物体的检测系统，其特征在于，包括：处理器和存储器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6所述的图像中物体的检测方法。
第四方面，本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理执行时实现权利要求1-6任一项所述的图像中物体的检测方法。
本发明提供一种图像中物体的检测方法、装置及系统，该方法，包括：获取场景的焦点堆栈，所述焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片，通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征；其中，L为大于1的自然数；通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征；对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征，对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。以提高在复杂环境场景图像中检测物体的准确性和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景示意图；
图2为本发明实施例一提供的图像中物体的检测方法流程图；
图3为本发明实施例一提供的图像中物体的检测的卷积长短期机器模型结构示意图；
图4为本发明实施例二提供的图像中物体的检测装置结构示意图；
图5为本发明实施例三提供的图像中物体的检测系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
光场是包含空间中给每一条光线传播到每一点的信息的总体。光场成像克服了对器件的依赖，通过对相机获得的光场进行光路逆向计算，可以恢复场景中任一位置，任一方向上的光线信息，然后对该位置的光线进行积分就可以生成一副聚焦在该位置处的图像。任何深度的光场图像都可以通过对光场积分得到，因此光场图像具有大景深的优点，还可以对拍照后的光场图像进行重聚焦。据此可以为物体显著性检验提供丰富的景深信息，以提高图像中物体检测的准确性。在一种可选的实施例中，自由空间中光线传播时，光线的强度和波长都不随时间变化，四维光场函数可以表示为：
L＝L(u,v,s,t)其中公式左边输出光线强度，公式的右边为自由空间中的光线，且用四维坐标u,v,s,t来表示，其中(u,v)为空间坐标，(s,t)为角度坐标。
图1为本发明一应用场景示意图，如图1所示，光场相机11拍摄场景光场图像，将该场景光场图像输入检测系统12经过获取场景的焦点堆栈，焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片；通过深度卷积神经网络对焦点堆栈进行多层次特征提取，得到焦点堆栈的L层特征；通过卷积长短期机器模型对每一层特征进行融合处理，得到焦点堆栈的L层聚焦融合特征；对L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征；对目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。以提高在复杂环境场景图像中检测物体的准确性和鲁棒性。
光场相机的基本原理：在主镜头和感光器间加入一个微透镜阵列，光线经过主透镜后被微透镜接收，然后聚焦到微透镜下不同位置的像。从宏观角度来看光场图像与普通图像是相同的，但从微观角度来看，光场图像由微透镜阵列后方不同的微透镜子图像组成，微透镜阵列在记录光线结构的同时，也记录了物体的深度信息。
图2为本发明实施例一提供的图像中物体的检测方法流程图，如图1所示，本实施例中的方法可以包括：
S101、获取场景的焦点堆栈；焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片。
利用光场相机对场景进行拍摄，得到光场图像，在一种可选的实施例中，光场相机可以包括Lytro及Raytrix等光场相机。检测系统获取场景的焦点堆栈，该焦点堆栈包括该场景聚焦在不同深度平面上的一组RGB图像，每张称为一个聚焦切片，每个聚焦切片对应不同的对焦位置。聚焦切片除了对焦深度不同外，其他信息均相同。在一种可选的实施例中，Lytro相机获取的光场数据为.lfp格式的光场图像，每个像素12位，像素按照Bayer格式GBBR方式排列。
S102、通过深度卷积神经网络对焦点堆栈进行多层次特征提取，得到焦点堆栈的L层特征；其中，L为大于1的自然数；
具体的，假设焦点堆栈中包括N张聚焦切片，分别记为I1,I2,...,IN；I1表示第1张聚焦切片，I2表示第2张聚焦切片，IN表示第N张聚焦切片；
通过深度卷积神经网络对每一张焦点切片进行多层次特征提取，得到焦点堆栈的L层特征，分别记为：
Figure BDA0002254644290000091
其中，F1为第1层特征，F1 1为第1层中第1张聚焦切片的特征，
Figure BDA0002254644290000092
为第1层中第2张聚焦切片的特征，
Figure BDA0002254644290000093
为第1层中第N张聚焦切片的特征；F2为第2层特征，F1 2为第2层中第1张聚焦切片的特征，
Figure BDA0002254644290000094
为第2层中第N张聚焦切片的特征；FL为第L层特征，F1 L为第L层中第1张聚焦切片的特征，
Figure BDA0002254644290000095
为第L层中第2张聚焦切片的特征，
Figure BDA0002254644290000096
为第L层中第N张聚焦切片的特征。
本实施例中，检测系统获得的场景焦点堆栈包括N张聚焦切片，分别记为I1,I2,...,IN；I1表示第1张聚焦切片，I2表示第2张聚焦切片，IN表示第N张聚焦切片。在一种可选的实施例中，通过深度卷积神经网络对每一张焦点切片进行多层次特征提取，得到焦点堆栈的L层特征。
在一种可选的实施例中，将聚焦切片输入，且每张聚焦切片在深度方向上由很多slice组成，其中每个slice可以对应很多神经元，神经元的weight表现为卷积核的形式，即一个方形的滤波器(filter)(例如3X3)，这些神经元各自分别对应图像中的某一个局部区域(local region)，用于提取该区域的特征。在一种可选的实施例中若该slice对应的神经元参数共享，则相当于只有一个卷积核作用于所有的局部区域，一个局部区域可以称为一个block，将所有的block拉成一个个列向量(因神经元作用定义为将输入向量和参数向量进行内积操作，例如y＝w0x0+w1x1+...+wnxn)，则可以得到很多由这些列向量组成的局部区域数据矩阵，再将神经元的weight拉成一个个行向量，就可以得到一个参数矩阵，然后将数据矩阵和参数矩阵进行点积操作，得到卷积后结果，即将所有的filter和所有的局部区域分别进行点积操作，其中对卷积结果预设输出尺寸。例如输入图像尺寸为W，卷积核尺寸为F，步幅(stride)为S(卷积核移动的步幅)，Padding为P(用于填充输入图像的边界，一般填充0),那么经过该卷积层后输出的图像尺寸为(W-F+2P)/S+1。
在一种可选的实施例中，深度卷积神经网络可以包括YOLO、SSD、G-CNN、NMS等等。
本实施例中，采用深度卷积神经网络提取特征，可以获得包含丰富局部细节和高层语义的多层次特征，提高了检测的准确性。
S103、通过卷积长短期机器模型对每一层特征进行融合处理，得到焦点堆栈的L层聚焦融合特征；
具体的，将卷积长短期机器模型的迭代次数设置为N；
将每一层特征中的聚焦切片的特征依次输入卷积长短期机器模型；其中，当前聚焦切片的特征先与上一层聚焦融合特征进行融合处理，并将融合结果作为卷积长短期机器模型输入，直到卷积长短期机器模型输出所有聚焦切片的特征的融合结果，将融合结果作为对应层的聚焦融合特征；直到得到焦点堆栈的L层聚焦融合特征；
其中，卷积长短期机器模型包括：记忆单元、输入模块、输入门、遗忘门、输出门；其中，输入模块用于融合当前状态的输入信息和上一状态的输出信息，生成待更新的候选信息；输入门it作用于输入模块，用于输入第一特定信息；遗忘门ft作用于上一状态的记忆单元，用于得到第二特定信息；记忆单元Ct用于存储当前状态的更新信息；输出门ot作用于当前状态的更新信息，用于输出第三特定信息。
本实施例中，对某一层特征(例如为第1层中第N张聚焦切片的特征)采用卷积长短机器模型(例如ConvLSTM)，融合来自所有聚焦切片的特征。在一种可选的实施例中，卷积长短期机器模型的迭代次数设置为N，其中N为焦点堆栈中的图像数量。
每次迭代输入一张聚焦切片的特征，将每一层特征中的聚焦切片的特征依次输入卷积长短期机器模型；其中，当前聚焦切片的特征先与上一层聚焦融合特征进行融合处理，并将融合结果作为卷积长短期机器模型输入，直到卷积长短期机器模型输出所有聚焦切片的特征的融合结果，将融合结果作为对应层的聚焦融合特征；直到得到焦点堆栈的L层聚焦融合特征，迭代完成后ConvLSTM已经累积了所有焦点堆栈的信息，得到该层次的多聚焦融合特征(MFIF)。其中每一步迭代输出的特征通过的融合操作包括但不限于取均值。
本实施例中，采用ConvLSTM融合来自所有聚焦切片的特征，通过LSTM单元的更新机制迭代地融合所有聚焦切片的互补信息，并滤除掉无关信息，以提高精准度。
在一种可选的实施例中，卷积长短期机器模型包括：记忆单元、输入模块、输入门、遗忘门、输出门；其中，输入模块用于融合当前状态的输入信息和上一状态的输出信息，生成待更新的候选信息；输入门作用于输入模块，用于输入第一特定信息；遗忘门作用于上一状态的记忆单元，用于得到第二特定信息；记忆单元用于存储当前状态的更新信息；输出门作用于当前状态的更新信息，用于输出第三特定信息。
例如参考图3，图3为本发明实施例一提供的图像中物体的检测的卷积长短期机器模型结构示意图，ConvLSTM由一个记忆单元Ct，一个输入模块，一个输入门it，一个遗忘门ft和一个输出门ot组成，它们共同作用来更新ConvLSTM单元的状态。采用该ConvLSTM不仅可以建立时序关系，还可以刻画图像局部空间特征，从而得到图像的时空特征，将当前状态的输入信息和上一状态的输出信息共同输入到一个卷积层，得到待更新的候选信息；输入门与待更新的候选信息对应元素相乘，得到第一特定信息；遗忘门与上一状态的记忆单元对应元素相乘，得到第二特定信息；第一特定信息与第二特定信息相加，得到当前状态的更新信息；输出门与当前状态的更新信息对应元素相乘，得到第三特定信息。
S104、对L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征；
具体的，假设有L个卷积长短期机器模型分别对焦点堆栈的L层特征进行融合处理；其中，L个卷积长短期机器模型输出的聚焦融合特征分别记为：MFIF1,MFIF2,…,MFIFL其中，MFIF1表示第1层聚焦融合特征，MFIF2表示第2层聚焦融合特征，MFIFL表示第L层聚焦融合特征；
将当前层聚焦融合特征记为MFIFl，将当前卷积长短期机器模型的输入记为Xl，其中l＝1,2,3,…L-1；将上一层聚焦融合特征记为MFIFl+1；
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，并将融合结果作为当前卷积长短期机器模型的输入，直到完成L层特征的融合，得到目标聚焦融合特征。
本实施例中，多层次特征包括低层特征、高层特征，其中低层特征可以包括边缘、纹理、形状等局部信息，高层特征可以包括高层语义信息。
本实施例中，采用从粗到精的方式融合多层次特征，首先由高层特征检测到显著物体的位置，然后利用低层特征优化显著物体的边缘细节，提高检测的准确度。
在一种可选的实施例中，将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，包括：
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl作为注意力模块的输入，输出对应的权值图；注意力模块由若干层卷积层构成；
根据权值图获取上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl的权重，并通过预设的加权融合公式进行融合处理，其中，预设的加权融合公式如下：
Xnew＝A1⊙MFIFl+1+A2⊙Xl
其中，Xnew为融合结果，A1为上一层聚焦融合特征的权重，A2为当前卷积长短期机器模型的输入Xl的权重，⊙表示对应元素相乘运算。
本实施例中，采用注意力模块，自适应地对特征进行加权，加强有用特征，削弱无用特征，进一步提高检测的精准度。
S105、对目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。
具体的，将目标聚焦融合特征输入包含若干卷积层的通道，得到卷积处理后的特征；
通过sigmoid激活函数对卷积处理后的特征进行激活，得到显著图像。
本实施例中，将最后一个ConvLSTM的目标聚焦融合特征输入到一个通道卷积层，并用sigmoid激活得到显著图。
在一种可选的实施例中，采用sigmoid激活函数利用其单增以及反函数单增等性质作为阈值函数，将变量映射到0、1之间。
在一种可选的实施例中，检测系统采用上述图像中物体的检测方法，基于大量实验获得如下表1的对比结果：
表1
/ 本发明 LFS DILF
F-measure 0.8445 0.7412 0.7746
MAE 0.1051 0.2176 0.1545
其中，F-measure为衡量准确率和召回率的指标，越大说明模型性能越好。MAE衡量显著图与真值图之间的平均绝对误差。经过与两个无监督的光场显著性模型LFS，DILF比较，得到本发明的检测性能显著提高。
图4为本发明实施例二提供的图像中物体的检测装置结构示意图，如图4所示，本实施例中的装置可以包括：
获取模块21，用于获取场景的焦点堆栈；焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片，
提取模块22，用于通过深度卷积神经网络对焦点堆栈进行多层次特征提取，得到焦点堆栈的L层特征；其中，L为大于1的自然数；
融合模块23，用于通过卷积长短期机器模型对每一层特征进行融合处理，得到焦点堆栈的L层聚焦融合特征；
得到模块24，用于对L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征；
显示模块25，用于对目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。
在一种可能的设计中，提取模块22，具体用于：
假设焦点堆栈中包括N张聚焦切片，分别记为I1,I2,...,IN；I1表示第1张聚焦切片，I2表示第2张聚焦切片，IN表示第N张聚焦切片；
通过深度卷积神经网络对每一张焦点切片进行多层次特征提取，得到焦点堆栈的L层特征，分别记为：
其中，F1为第1层特征，F1 1为第1层中第1张聚焦切片的特征，
Figure BDA0002254644290000132
为第1层中第2张聚焦切片的特征，
Figure BDA0002254644290000133
为第1层中第N张聚焦切片的特征；F2为第2层特征，F1 2为第2层中第1张聚焦切片的特征，为第2层中第N张聚焦切片的特征；FL为第L层特征，F1 L为第L层中第1张聚焦切片的特征，
Figure BDA0002254644290000135
为第L层中第2张聚焦切片的特征，
Figure BDA0002254644290000136
为第L层中第N张聚焦切片的特征。
在一种可能的设计中，融合模块23，具体用于：
将卷积长短期机器模型的迭代次数设置为N；
将每一层特征中的聚焦切片的特征依次输入卷积长短期机器模型；其中，当前聚焦切片的特征先与上一层聚焦融合特征进行融合处理，并将融合结果作为卷积长短期机器模型输入，直到卷积长短期机器模型输出所有聚焦切片的特征的融合结果，将融合结果作为对应层的聚焦融合特征；直到得到焦点堆栈的L层聚焦融合特征；
其中，卷积长短期机器模型包括：记忆单元、输入模块、输入门、遗忘门、输出门；
其中，输入模块用于融合当前状态的输入信息和上一状态的输出信息，生成待更新的候选信息；输入门it作用于输入模块，用于输入第一特定信息；遗忘门ft作用于上一状态的记忆单元，用于得到第二特定信息；记忆单元Ct用于存储当前状态的更新信息；输出门ot作用于当前状态的更新信息，用于输出第三特定信息。
在一种可能的设计中，得到模块24，具体用于：
假设有L个卷积长短期机器模型分别对焦点堆栈的L层特征进行融合处理；其中，L个卷积长短期机器模型输出的聚焦融合特征分别记为：MFIF1,MFIF2,…,MFIFL其中，MFIF1表示第1层聚焦融合特征，MFIF2表示第2层聚焦融合特征，MFIFL表示第L层聚焦融合特征；
将当前层聚焦融合特征记为MFIFl，将当前卷积长短期机器模型的输入记为Xl，其中l＝1,2,3,…L-1；将上一层聚焦融合特征记为MFIFl+1；
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，并将融合结果作为当前卷积长短期机器模型的输入，直到完成L层特征的融合，得到目标聚焦融合特征。
在一种可能的设计中，将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，包括：
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl作为注意力模块的输入，输出对应的权值图；注意力模块由若干层卷积层构成；
根据权值图获取上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl的权重，并通过预设的加权融合公式进行融合处理，其中，预设的加权融合公式如下：
Xnew＝A1⊙MFIFl+1+A2⊙Xl
其中，Xnew为融合结果，A1为上一层聚焦融合特征的权重，A2为当前卷积长短期机器模型的输入Xl的权重，⊙表示对应元素相乘运算。
在一种可能的设计中，显示模块25，具体用于：
将目标聚焦融合特征输入包含若干卷积层的通道，得到卷积处理后的特征；
通过sigmoid激活函数对卷积处理后的特征进行激活，得到显著图像。
本实施例的图像中物体的检测装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
图5为本发明实施例三提供的图像中物体的检测系统结构示意图，如图5所示，本实施例图像中物体的检测系统30可以包括：处理器31和存储器32。
存储器32，用于存储计算机程序(如实现上述图像中物体的检测方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器32中。并且上述的计算机程序、计算机指令、数据等可以被处理器31调用。
处理器31，用于执行存储器32存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器31和存储器32可以是独立结构，也可以是集成在一起的集成结构。当处理器31和存储器32是独立结构时，存储器32、处理器31可以通过总线33耦合连接。
本实施例的图像中物体的检测系统，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像中物体的检测方法，其特征在于，包括：
获取场景的焦点堆栈；所述焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片，
通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征；其中，L为大于1的自然数；
通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征；
对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征；
对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。
2.根据权利要求1所述的方法，其特征在于，通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征，包括：
假设所述焦点堆栈中包括N张聚焦切片，分别记为I1,I2,...,IN；I1表示第1张聚焦切片，I2表示第2张聚焦切片，IN表示第N张聚焦切片；
通过深度卷积神经网络对每一张所述焦点切片进行多层次特征提取，得到所述焦点堆栈的L层特征，分别记为：
Figure FDA0002254644280000011
其中，F1为第1层特征，F1 1为第1层中第1张聚焦切片的特征，
Figure FDA0002254644280000016
为第1层中第2张聚焦切片的特征，
Figure FDA0002254644280000012
为第1层中第N张聚焦切片的特征；F2为第2层特征，F1 2为第2层中第1张聚焦切片的特征，
Figure FDA0002254644280000013
为第2层中第N张聚焦切片的特征；FL为第L层特征，F1 L为第L层中第1张聚焦切片的特征，
Figure FDA0002254644280000014
为第L层中第2张聚焦切片的特征，
Figure FDA0002254644280000015
为第L层中第N张聚焦切片的特征。
3.根据权利要求2所述的方法，其特征在于，通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征，包括：
将所述卷积长短期机器模型的迭代次数设置为N；
将每一层特征中的聚焦切片的特征依次输入卷积长短期机器模型；其中，所述当前聚焦切片的特征先与上一层聚焦融合特征进行融合处理，并将融合结果作为所述卷积长短期机器模型输入，直到所述卷积长短期机器模型输出所有聚焦切片的特征的融合结果，将所述融合结果作为对应层的聚焦融合特征；直到得到所述焦点堆栈的L层聚焦融合特征；
其中，所述卷积长短期机器模型包括：记忆单元、输入模块、输入门、遗忘门、输出门；其中，所述输入模块用于融合当前状态的输入信息和上一状态的输出信息，生成待更新的候选信息；所述输入门it作用于输入模块，用于输入第一特定信息；所述遗忘门ft作用于上一状态的记忆单元，用于得到第二特定信息；所述记忆单元Ct用于存储当前状态的更新信息；所述输出门ot作用于当前状态的更新信息，用于输出第三特定信息。
4.根据权利要求2所述的方法，其特征在于，对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征，包括：
假设有L个卷积长短期机器模型分别对所述焦点堆栈的L层特征进行融合处理；其中，L个卷积长短期机器模型输出的聚焦融合特征分别记为：MFIF1,MFIF2,…,MFIFL其中，MFIF1表示第1层聚焦融合特征，MFIF2表示第2层聚焦融合特征，MFIFL表示第L层聚焦融合特征；
将当前层聚焦融合特征记为MFIFl，将当前卷积长短期机器模型的输入记为Xl，其中l＝1,2,3,…L-1；将上一层聚焦融合特征记为MFIFl+1；
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，并将融合结果作为当前卷积长短期机器模型的输入，直到完成L层特征的融合，得到目标聚焦融合特征。
5.根据权利要求4所述的方法，其特征在于，将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl进行融合处理，包括：
将上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl作为注意力模块的输入，输出对应的权值图；所述注意力模块由若干层卷积层构成；
根据所述权值图获取上一层聚焦融合特征MFIFl+1与当前卷积长短期机器模型的输入Xl的权重，并通过预设的加权融合公式进行融合处理，其中，所述预设的加权融合公式如下：
Xnew＝A1⊙MFIFl+1+A2⊙Xl
其中，Xnew为融合结果，A1为上一层聚焦融合特征的权重，A2为当前卷积长短期机器模型的输入Xl的权重，⊙表示对应元素相乘运算。
6.根据权利要求4所述的方法，其特征在于，对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像，包括：
将所述目标聚焦融合特征输入包含若干卷积层的通道，得到卷积处理后的特征；
通过sigmoid激活函数对卷积处理后的特征进行激活，得到显著图像。
7.一种图像中物体的检测装置，其特征在于，包括：
获取模块，用于获取场景的焦点堆栈；所述焦点堆栈包括同一场景聚焦在不同深度平面上的聚焦切片，
提取模块，用于通过深度卷积神经网络对所述焦点堆栈进行多层次特征提取，得到所述焦点堆栈的L层特征；其中，L为大于1的自然数；
融合模块，用于通过卷积长短期机器模型对每一层特征进行融合处理，得到所述焦点堆栈的L层聚焦融合特征；
得到模块，用于对所述L层聚焦融合特征进行多层次特征融合处理，得到目标聚焦融合特征；
显示模块，用于对所述目标聚焦融合特征进行卷积处理，并通过激活函数对卷积处理后的特征进行激活，得到显著图像。
8.根据权利要求7所述的装置，其特征在于，所述提取模块，具体用于：
假设所述焦点堆栈中包括N张聚焦切片，分别记为I1,I2,...,IN；I1表示第1张聚焦切片，I2表示第2张聚焦切片，IN表示第N张聚焦切片；
通过深度卷积神经网络对每一张所述焦点切片进行多层次特征提取，得到所述焦点堆栈的L层特征，分别记为：
Figure FDA0002254644280000031
其中，F1为第1层特征，F1 1为第1层中第1张聚焦切片的特征，
Figure FDA0002254644280000034
为第1层中第2张聚焦切片的特征，
Figure FDA0002254644280000032
为第1层中第N张聚焦切片的特征；F2为第2层特征，F1 2为第2层中第1张聚焦切片的特征，
Figure FDA0002254644280000033
为第2层中第N张聚焦切片的特征；FL为第L层特征，F1 L为第L层中第1张聚焦切片的特征，
Figure FDA0002254644280000041
为第L层中第2张聚焦切片的特征，
Figure FDA0002254644280000042
为第L层中第N张聚焦切片的特征。
9.一种图像中物体的检测系统，其特征在于，包括：处理器和存储器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-6所述的图像中物体的检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理执行时实现权利要求1-6任一项所述的图像中物体的检测方法。
CN201911048196.0A 2019-10-30 2019-10-30 图像中物体的检测方法、装置及系统 Active CN110751160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911048196.0A CN110751160B (zh) 2019-10-30 2019-10-30 图像中物体的检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911048196.0A CN110751160B (zh) 2019-10-30 2019-10-30 图像中物体的检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110751160A true CN110751160A (zh) 2020-02-04
CN110751160B CN110751160B (zh) 2022-09-13

Family

ID=69281351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911048196.0A Active CN110751160B (zh) 2019-10-30 2019-10-30 图像中物体的检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110751160B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111629147A (zh) * 2020-06-04 2020-09-04 中国科学院长春光学精密机械与物理研究所 基于卷积神经网络的自动调焦方法及系统
CN113298748A (zh) * 2020-02-21 2021-08-24 安徽大学 一种基于注意力机制的图像协同显著目标检测模型
CN113343822A (zh) * 2021-05-31 2021-09-03 合肥工业大学 一种基于3d卷积的光场显著性目标检测方法
CN113887542A (zh) * 2021-12-06 2022-01-04 深圳小木科技有限公司 目标检测方法、电子设备及存储介质
CN114549863A (zh) * 2022-04-27 2022-05-27 西安电子科技大学 一种基于像素级噪声标签监督的光场显著性目标检测方法
CN115393997A (zh) * 2022-08-31 2022-11-25 深圳立欧实业有限公司 基于多维数据识别的汽车电子解锁方法、装置及电子设备
CN116823914A (zh) * 2023-08-30 2023-09-29 中国科学技术大学 基于全对焦图像合成的无监督焦点堆栈深度估计方法
CN117496187A (zh) * 2023-11-15 2024-02-02 安庆师范大学 一种光场图像显著性检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893979A (zh) * 2016-04-26 2016-08-24 安智（上海）汽车零部件有限公司 基于光场成像技术的交通标示智能识别系统及方法
CN106841202A (zh) * 2017-03-21 2017-06-13 帝麦克斯(苏州)医疗科技有限公司 一种图像获取方法及装置
US20180286040A1 (en) * 2017-04-04 2018-10-04 Konica Minolta, Inc. Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
CN110322009A (zh) * 2019-07-19 2019-10-11 南京梅花软件系统股份有限公司 基于多层卷积长短时记忆神经网络的图像预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893979A (zh) * 2016-04-26 2016-08-24 安智（上海）汽车零部件有限公司 基于光场成像技术的交通标示智能识别系统及方法
CN106841202A (zh) * 2017-03-21 2017-06-13 帝麦克斯(苏州)医疗科技有限公司 一种图像获取方法及装置
US20180286040A1 (en) * 2017-04-04 2018-10-04 Konica Minolta, Inc. Image processing apparatus, image processing method, and computer-readable non-transitory recording medium storing image processing program
CN110322009A (zh) * 2019-07-19 2019-10-11 南京梅花软件系统股份有限公司 基于多层卷积长短时记忆神经网络的图像预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NIANYI LI ET AL.: ""Saliency Detection on Light Field"", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李啸: ""复杂场景下基于光场技术的显著性检测研究"", 《万方》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298748B (zh) * 2020-02-21 2022-11-18 安徽大学 一种基于注意力机制的图像协同显著目标检测模型
CN113298748A (zh) * 2020-02-21 2021-08-24 安徽大学 一种基于注意力机制的图像协同显著目标检测模型
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111489323B (zh) * 2020-04-09 2023-09-19 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111629147A (zh) * 2020-06-04 2020-09-04 中国科学院长春光学精密机械与物理研究所 基于卷积神经网络的自动调焦方法及系统
CN113343822A (zh) * 2021-05-31 2021-09-03 合肥工业大学 一种基于3d卷积的光场显著性目标检测方法
CN113887542A (zh) * 2021-12-06 2022-01-04 深圳小木科技有限公司 目标检测方法、电子设备及存储介质
CN113887542B (zh) * 2021-12-06 2022-04-05 孙晖 目标检测方法、电子设备及存储介质
CN114549863A (zh) * 2022-04-27 2022-05-27 西安电子科技大学 一种基于像素级噪声标签监督的光场显著性目标检测方法
CN114549863B (zh) * 2022-04-27 2022-07-22 西安电子科技大学 一种基于像素级噪声标签监督的光场显著性目标检测方法
CN115393997A (zh) * 2022-08-31 2022-11-25 深圳立欧实业有限公司 基于多维数据识别的汽车电子解锁方法、装置及电子设备
CN116823914A (zh) * 2023-08-30 2023-09-29 中国科学技术大学 基于全对焦图像合成的无监督焦点堆栈深度估计方法
CN116823914B (zh) * 2023-08-30 2024-01-09 中国科学技术大学 基于全对焦图像合成的无监督焦点堆栈深度估计方法
CN117496187A (zh) * 2023-11-15 2024-02-02 安庆师范大学 一种光场图像显著性检测方法
CN117496187B (zh) * 2023-11-15 2024-06-11 安庆师范大学 一种光场图像显著性检测方法

Also Published As

Publication number Publication date
CN110751160B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN110751160B (zh) 图像中物体的检测方法、装置及系统
US10891537B2 (en) Convolutional neural network-based image processing method and image processing apparatus
CN112308200B (zh) 神经网络的搜索方法及装置
US10645368B1 (en) Method and apparatus for estimating depth of field information
CN108537837A (zh) 一种深度信息确定的方法及相关装置
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN109416727A (zh) 一种人脸图像中眼镜去除方法及装置
CN112767466B (zh) 一种基于多模态信息的光场深度估计方法
Anwar et al. Deblur and deep depth from single defocus image
US20230196801A1 (en) Method and device for 3d object detection
Ali et al. Robust focus volume regularization in shape from focus
CN114913101B (zh) 多光谱光场重建方法、装置、电子设备及存储介质
CN103426190A (zh) 图像重构的方法及系统
CN114066926A (zh) 图像深度估计的方法和装置
Habtegebrial et al. Fast view synthesis with deep stereo vision
Zheng et al. A simple framework for 3d lensless imaging with programmable masks
Huang et al. ES-Net: An efficient stereo matching network
CN114170690A (zh) 活体识别和构建活体识别模型的方法、装置
Skočaj et al. Incremental and robust learning of subspace representations
Pei et al. Focus measure for synthetic aperture imaging using a deep convolutional network
CN111862321A (zh) 视差图的获取方法、装置、系统及存储介质
CN115294361A (zh) 一种特征提取的方法及装置
CN117078984B (zh) 双目图像处理方法、装置、电子设备及存储介质
Singh et al. Prediction of Depth Maps using Semi-Supervised Learning
Rajopadhye et al. Monocular Depth Estimation using Atrous Convolutions: A Survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant