CN113973209A - 生成深度图的装置 - Google Patents

生成深度图的装置 Download PDF

Info

Publication number
CN113973209A
CN113973209A CN202110248958.2A CN202110248958A CN113973209A CN 113973209 A CN113973209 A CN 113973209A CN 202110248958 A CN202110248958 A CN 202110248958A CN 113973209 A CN113973209 A CN 113973209A
Authority
CN
China
Prior art keywords
circuit
data
bottleneck
feature data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110248958.2A
Other languages
English (en)
Inventor
金度延
李时行
李长铉
赵珉基
金埈模
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
SK Hynix Inc
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST, SK Hynix Inc filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN113973209A publication Critical patent/CN113973209A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种装置，该装置包括：编码器，被配置为通过对图像进行编码来生成多个特征数据；瓶颈电路，被配置为根据多个特征数据之中的第一瓶颈数据生成增强特征数据；以及解码器，被配置为通过对增强特征数据以及除第一瓶颈数据以外的多个特征数据进行解码来生成与图像相对应的深度图。

Description

生成深度图的装置
相关申请的交叉引用
本申请要求于2020年7月24日提交的申请号为10-2020-0092085的韩国专利申请的优先权，该韩国专利申请通过引用整体并入本文。
技术领域
各个实施例可以涉及一种在不使用诸如光检测和测距(LiDAR)传感器的昂贵传感器的情况下从摄像机图像生成深度图的装置。
背景技术
为了实现4级或更高级别的自动驾驶车辆，用于估计、分割和检测到前方物体的距离的算法至关重要。
在常规的自动驾驶车辆中，会不可避免的使用LiDAR传感器来获得高质量的距离信息，但是使用诸如LiDAR传感器的昂贵设备使得自动驾驶车辆难以得到普及。
因此，期望一种在不使用昂贵传感器(例如，LiDAR传感器)的情况下测量距离的技术。
发明内容
根据本公开的实施例，一种装置可以包括：编码器，被配置为通过对图像进行编码来生成多个特征数据；瓶颈电路(bottleneck circuit)，被配置为根据多个特征数据之中的第一瓶颈数据生成增强特征数据；以及解码器，被配置为通过对增强特征数据以及除第一瓶颈数据以外的多个特征数据进行解码来生成与该图像相对应的深度图。
附图说明
将其中相同附图标记在不同视图中始终指代相同或功能相似的元件的附图与下面的详细描述一起并入说明书并且形成说明书的一部分，并且用于进一步示出包括要求保护的新颖性的概念的实施例，并且说明这些实施例的各种原理和有益的方面。
图1示出根据本公开的实施例的生成深度图的装置。
图2示出根据本公开的另一实施例的生成深度图的装置。
图3示出根据本公开的实施例的编码器。
图4示出根据本公开的实施例的解码器。
图5示出根据本公开的实施例的瓶颈电路。
图6示出根据本公开的另一实施例的瓶颈电路。
图7示出根据本公开的实施例的生成深度图的装置的有益方面。
具体实施方式
下面将参照附图描述各个实施例。出于说明目的提供实施例并且也可能存在未明确示出或描述的其他实施例。进一步，可以对将在下面详细描述的本公开的实施例进行修改。
图1是示出根据本发明的实施例的生成深度图的装置10a的框图。
根据本公开的实施例的生成深度图的装置在不使用诸如LiDAR传感器的直接测量距离信息的传感器的情况下，从由摄像机提供的输入图像生成包括距离信息的深度图。例如，提供输入图像的摄像机可以是安装在自动驾驶车辆前部的RGB摄像机。
在本实施例中，生成深度图的装置10a包括编码器100、解码器200和瓶颈电路300。
编码器100从输入图像生成特征数据。
由编码器100提供的特征数据包括具有不同比例的多个特征数据，将多个特征数据中的一些(例如，图3所示的第一至第四特征数据)提供到解码器200，并且将其余的特征数据(例如，图3所示的第五特征数据)提供到瓶颈电路300。
瓶颈电路300通过对编码器100提供的特征数据进行滤波来生成增强特征数据，并且将增强特征数据提供到解码器200。
解码器200使用由编码器100提供的特征数据以及由瓶颈电路300提供的增强特征数据来生成深度图。
图2是示出根据本公开的另一实施例的生成深度图的装置10b的框图。
图2的装置10b进一步包括从输入图像中提取特征数据的特征提取电路500，并且将由特征提取电路500提取的特征数据另外提供到瓶颈电路400。
此时，瓶颈电路400使用由编码器100提供的特征数据以及由特征提取电路500提供的特征数据来生成增强特征数据。
在下文中，将描述编码器100、解码器200以及瓶颈电路300和400的详细配置。
图3是示出根据本公开的实施例的编码器100的框图。
编码器100可以包括具有多个层的神经网络。
在本实施例中，编码器100包括卷积电路110以及多个残差电路(residualcircuits)121至124。
在图3的实施例中，编码器100进一步包括与多个残差电路121至124并行设置的多个注意电路(attention circuits)131至133。例如，第一注意电路131并联联接到第一残差电路121，第二注意电路132并联联接到第二残差电路122，并且第三注意电路133并联联接到第三残差电路123。
在图3的实施例中，编码器100进一步包括多个第一运算电路141至143。
编码器100中包括的卷积电路110、残差电路121至124以及注意电路131至133执行从输入数据中提取特征数据的操作。
例如，多个注意电路131至133中的每一个通过着重于更值得注意的部分来从相应的输入数据中提取特征数据。
卷积电路110通过对输入图像执行卷积运算来输出第一特征数据。
第一残差电路121和第一注意电路131各自接收第一特征数据并且对接收到的第一特征数据执行操作。
第一运算电路141至143中的第一个141接收第一残差电路121和第一注意电路131的输出，执行运算，并且将运算结果作为第二特征数据输出。例如，由第一运算电路141至143中的第一个141执行的运算可以包括矩阵乘法运算。
第二残差电路122和第二注意电路132各自接收第二特征数据并且对接收到的第二特征数据执行运算。
第一运算电路141至143中的第二个142接收第二残差电路122和第二注意电路132的输出，执行运算，并且将运算结果作为第三特征数据输出。例如，由第一运算电路141至143中的第二个142执行的运算可以包括矩阵乘法运算。
第三残差电路123和第三注意电路133各自接收第三特征数据并且对接收到的第三特征数据执行运算。
第一运算电路141至143中的第三个143接收第三残差电路123和第三注意电路133的输出，执行运算，并且将运算结果作为第四特征数据输出。例如，由第一运算电路141至143中的第三个143执行的运算可以包括矩阵乘法运算。
第四残差电路124接收第四特征数据，对接收到的第四特征数据进行运算，并且将运算结果作为第五特征数据输出。
向解码器200提供第一特征数据至第四特征数据，并且向瓶颈电路300和400提供第五特征数据。
第一残差电路121、第一注意电路131以及第一运算电路141至143中的第一个141可以称为第一单元编码器电路151。
类似地，第二残差电路122、第二注意电路132以及第一运算电路141至143中的第二个142可以称为第二单元编码器电路152。第二单元编码器电路152串联联接到第一单元编码器电路151。
类似地，第三残差电路123、第三注意电路133以及第一运算电路141至143中的第三个143可以称为第三单元编码器电路153。第三单元编码器电路153串联联接到第二单元编码器电路152。
在图3的实施例中，编码器100包括三个单元编码器电路151至153，但是单元编码器电路的数量可以根据实施例变化。从编码器100中输出并且提供到解码器200的特征数据的数量可以根据单元编码器电路的数量变化。
在实施例中，第一特征数据具有32个通道，第二特征数据具有64个通道，第三特征数据具有128个通道，第四特征数据具有256个通道并且第五特征数据具有512个通道。
如在神经网络电路领域中已知的，可以将通道理解为图像或矩阵平面。
在实施例中，当图像通过每个块时，图像的大小水平减小1/2，垂直减小1/2，而图像或矩阵平面的数量增加。例如，当第一残差电路121至第四残差电路124中的每一个接收每个具有第一大小的第一数量的图像并且输出每个具有第二大小的第二数量的图像时，第二大小可以减小至给定大小(例如，第一大小的四分之一)，而第二数量可以增加至给定数量(例如，第一数量的2倍)。
因此，第一特征数据至第五特征数据可以统称为多尺度特征数据。
图4是示出根据本公开的实施例的解码器200的框图。
解码器200包括卷积电路210以及多个反卷积电路221至224。
在图4的实施例中，解码器200进一步包括多个第二运算电路231至234。
解码器200中包括的卷积电路210以及反卷积电路221至224执行卷积运算或反卷积运算，以从第一特征数据至第四特征数据以及由瓶颈电路300和400提供的增强特征数据生成深度图。
因为反卷积运算对应于卷积运算的逆运算并且在神经网络电路领域中是已知的，所以为了简洁起见，省略对反卷积运算的详细描述。
卷积电路210接收从第二运算电路231至234中的第一个231中输出的信息并且执行卷积运算以生成深度图。
第二运算电路231至234中的第一个231对第一特征数据以及第一反卷积电路221的输出执行运算。例如，第二运算电路231至234中的第一个231可以执行并置运算(concatenation operation)。
第一反卷积电路221接收从第二运算电路231至234中的第二个232中输出的信息并且执行反卷积运算。
第二运算电路231至234中的第二个232对第二特征数据以及第二反卷积电路222的输出执行运算。例如，第二运算电路231至234中的第二个232可以执行并置运算。
第二反卷积电路222接收从第二运算电路231至234中的第三个233中输出的信息并且执行反卷积运算。
第二运算电路231至234中的第三个233对第三特征数据以及第三反卷积电路223的输出执行运算。例如，第二运算电路231至234中的第三个233可以执行并置运算。
第三反卷积电路223接收从第二运算电路231至234中的第四个234中输出的信息并且执行反卷积运算。
第二运算电路231至234中的第四个234对第四特征数据以及第四反卷积电路224的输出执行运算。例如，第二运算电路231至234中的第四个234可以执行并置运算。
第四反卷积电路224对从图1中的瓶颈电路300或图2中的瓶颈电路400中输出的增强特征数据执行反卷积运算。
在上文中，第一反卷积电路221以及第二运算电路231至234中的第一个231可以称为第一单元解码器电路241。
类似地，第二反卷积电路222以及第二运算电路231至234中的第二个232可以称为第二单元解码器电路242。
类似地，第三反卷积电路223以及第二运算电路231至234中的第三个233可以称为第三单元解码器电路243。
类似地，第四反卷积电路224以及第二运算电路231至234中的第四个234可以称为第四单元解码器电路244。
在图4的实施例中，解码器200包括四个单元解码器电路，但是单元解码器电路的数量可以根据实施例变化。
在实施例中，单元解码器电路的数量可以根据从编码器100中输出并且提供到解码器200的特征数据的数量变化。例如，单元解码器电路的数量可以等于从编码器100中输出并且提供到解码器200的特征数据的数量。
在实施例中，当图像经过解码器200的每个块时，图像的大小增加并且相应的图像或矩阵平面的数量减少。
最终，当经过卷积电路210时，生成深度图。该深度图具有与输入图像相同的大小并且包括一个通道的距离信息。
图5是示出根据本公开的实施例的瓶颈电路300的框图。
瓶颈电路300通过使用从编码器100中输出的第五特征数据来输出增强特征数据。
从编码器100中输出的第五特征数据可以称为瓶颈数据。
瓶颈数据最终由编码器100生成并且包括最高级别的特征数据。
瓶颈电路300包括池化电路310、卷积电路320和反卷积电路330。
池化电路310接收瓶颈数据并且执行池化运算以将背景信息添加到特征数据。
池化电路310可以包括空洞空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)电路。
对于从池化电路310中输出的数据，卷积电路320和反卷积电路330分别执行卷积运算和反卷积运算，作为结果，输出增强特征数据。
图6是示出根据本公开的实施例的瓶颈电路400的框图。
图2中的用于生成深度图的装置10b进一步包括从输入图像另外生成特征数据的特征提取电路500。
特征提取电路500可以包括神经网络电路。例如，该神经网络电路可以是使用诸如ImageNet的数据集来训练的残差网络。
ImageNet是包括不同对象的成千上万或更多的图像的数据集，并且可以通过另外使用从使用该ImageNet训练的神经网络电路中提取的特征来进一步补充增强特征数据。
在下文中，从编码器100中输出的第五特征数据可以称为瓶颈数据或第一瓶颈数据，并且从特征提取电路500输出的特征数据可以称为第二瓶颈数据。
瓶颈电路400包括池化电路310、卷积电路320和反卷积电路330。
瓶颈电路400进一步包括第三运算电路410和420。
因为池化电路310与图5所公开的池化电路相同，所以为了简洁起见，将省略对池化电路的详细描述。
卷积电路320和反卷积电路330对第三运算电路410和420中的第一个410的输出顺序地执行卷积运算和反卷积运算。
第三运算电路410和420中的第一个410对由特征提取电路500提供的第二瓶颈数据以及池化电路310的输出执行运算，并且向卷积电路320提供运算结果。此时，运算电路410可以执行并置运算。
第三运算电路410和420中的第二个420计算反卷积电路330的输出和第二瓶颈数据以输出增强特征数据。在这种情况下，运算电路420可以执行并置运算。通过在第三运算电路410和420处将由特征提取电路500利用输入图像生成的特征数据并置(concatenating)，从瓶颈电路400输出的增强特征数据可以比从瓶颈电路300输出的增强特征数据包括更强的信息。
在图6中，瓶颈电路400包括两个第三运算电路，但是根据实施例，可以仅包括两个第三运算电路中的一个。
例如，当不包括第三运算电路410时，卷积电路320可以对池化电路310的输出执行卷积运算。
例如，当不包括第三运算电路420时，可以提供反卷积电路330的输出作为增强特征数据。
根据本公开的实施例的生成深度图的装置从输入图像生成深度图，并且在减小所生成的深度图与实际的深度图之间的误差的方向上执行训练操作。
在实施例中，将均方误差(MSE)用作指标，但是根据实施例，可以使用其他指标。
可以使用包括神经网络电路领域中已知的训练过程的各种训练过程来减少所生成的深度图与实际的深度图之间的误差。
图7是示出根据本公开的实施例的生成深度图的装置的有益方面的图形。
在图7中，示出常规装置和根据本公开的实施例的生成深度图的装置的均方根误差(RMSE)图形。
RMSE越小代表性能越好。所测量的RMSE值在现有技术中为3.258，并且在本实施例中为2.756，这表明与现有技术相比性能提高了约15％。
在实施例中，一种控制用于生成深度图的装置的方法包括：通过对图像进行编码来生成多个特征数据，该多个特征数据包括第一瓶颈数据；从第一瓶颈数据生成增强特征数据；并且通过对增强特征数据以及除第一瓶颈数据以外的多个特征数据进行解码来生成与图像相对应的深度图。
在实施例中，该方法进一步包括通过从图像中提取特征来生成第二瓶颈数据。基于第一瓶颈数据和第二瓶颈数据来生成增强特征数据。
在实施例中，生成增强特征数据包括：对第一瓶颈数据执行池化运算，对池化运算的结果和第二瓶颈数据执行第一并置运算，对第一并置运算的结果执行卷积运算，对卷积运算的结果执行反卷积运算，并且对反卷积运算的结果和第二瓶颈数据执行第二并置运算。
尽管出于说明目的已描述各个实施例，但是可以进行各种改变和修改。

Claims (20)

1.一种装置，包括：
编码器，通过对图像进行编码来生成多个特征数据；
瓶颈电路，根据所述多个特征数据之中的第一瓶颈数据生成增强特征数据；以及
解码器，通过对所述增强特征数据以及除所述第一瓶颈数据以外的所述多个特征数据进行解码来生成与所述图像相对应的深度图。
2.根据权利要求1所述的装置，其中所述编码器包括：
卷积电路，对所述图像执行卷积运算；
多个单元编码器电路，所述多个单元编码器电路串联联接，所述多个单元编码器电路中的第一个联接到所述卷积电路；
第一残差电路，联接到所述单元编码器电路中的最后一个，
其中所述卷积电路、所述多个单元编码器电路和所述第一残差电路分别输出所述多个特征数据。
3.根据权利要求2所述的装置，其中所述多个单元编码器电路中的一个或多个各自包括：
第二残差电路，接收所述多个特征数据中的第一个；
注意电路，并联联接到所述第二残差电路；以及
第一运算电路，通过对来自所述第二残差电路和所述注意电路的输出执行运算来生成所述多个特征数据中的第二个。
4.根据权利要求3所述的装置，其中所述第一运算电路执行矩阵乘法运算。
5.根据权利要求2所述的装置，其中所述第一残差电路输出所述第一瓶颈数据。
6.根据权利要求1所述的装置，其中所述解码器包括：
多个单元解码器电路，串联联接并且接收所述多个特征数据和所述增强特征数据；以及
卷积电路，通过对从所述多个单元解码器电路中的一个输出的数据执行卷积运算来生成与所述图像相对应的深度图。
7.根据权利要求6所述的装置，其中所述多个单元解码器电路包括：第一单元解码器电路和第二单元解码器电路，所述第一单元解码器电路串联联接到所述第二单元解码器电路并且接收所述多个特征数据中的第一个，所述第一单元解码器电路包括：
反卷积电路，对所述第二单元解码器电路的输出执行反卷积运算；以及
第二运算电路，对所述多个特征数据中的第一个以及所述反卷积电路的输出执行运算。
8.根据权利要求7所述的装置，其中所述第二运算电路执行并置运算。
9.根据权利要求6所述的装置，其中所述多个单元解码器电路包括接收所述多个特征数据中相应的一个的单元解码器电路，所述单元解码器电路包括：
反卷积电路，对所述增强特征数据执行反卷积运算；以及
第二运算电路，对所述多个特征数据中被接收到的一个以及所述反卷积电路的输出执行运算。
10.根据权利要求1所述的装置，其中所述瓶颈电路包括：
池化电路，对所述第一瓶颈数据执行池化运算；
卷积电路，对所述池化电路的输出执行卷积运算；以及
反卷积电路，对所述卷积电路的输出执行反卷积运算以输出所述增强特征数据。
11.根据权利要求10所述的装置，其中所述池化电路包括空洞空间金字塔池化电路，即ASPP电路。
12.根据权利要求1所述的装置，进一步包括：特征提取电路，通过从所述图像中提取特征来生成第二瓶颈数据，
其中所述瓶颈电路通过使用所述第一瓶颈数据和所述第二瓶颈数据来生成所述增强特征数据。
13.根据权利要求12所述的装置，其中所述瓶颈电路包括：
池化电路，对所述第一瓶颈数据执行池化运算；
第三运算电路，对所述池化电路的输出和所述第二瓶颈数据执行运算；
卷积电路，对所述第三运算电路的输出执行卷积运算；以及
反卷积电路，对所述卷积电路的输出执行反卷积运算。
14.根据权利要求13所述的装置，进一步包括：第四运算电路，对所述反卷积电路的输出和所述第二瓶颈数据执行运算，以输出所述增强特征数据。
15.根据权利要求13所述的装置，其中所述第三运算电路对所述池化电路的输出和所述第二瓶颈数据执行并置运算。
16.根据权利要求12所述的装置，其中所述瓶颈电路包括：
池化电路，对所述第一瓶颈数据执行池化运算；
卷积电路，对所述池化电路的输出执行卷积运算；
反卷积电路，对所述卷积电路的输出执行反卷积运算；以及
第三运算电路，对所述反卷积电路的输出和所述第二瓶颈数据执行运算，以输出所述增强特征数据。
17.根据权利要求16所述的装置，进一步包括：第四运算电路，对所述池化电路的输出和所述第二瓶颈数据执行运算，并且向所述卷积电路提供所述第四运算电路的输出。
18.一种方法，包括：
通过对图像进行编码来生成多个特征数据，所述多个特征数据包括第一瓶颈数据；
从所述第一瓶颈数据生成增强特征数据；并且
通过对所述增强特征数据以及除所述第一瓶颈数据以外的所述多个特征数据进行解码来生成与所述图像相对应的深度图。
19.根据权利要求18所述的方法，进一步包括：
通过从所述图像中提取特征来生成第二瓶颈数据，
其中基于所述第一瓶颈数据和所述第二瓶颈数据来生成所述增强特征数据。
20.根据权利要求19所述的方法，其中生成所述增强特征数据包括：
对所述第一瓶颈数据执行池化运算；
对所述池化运算的结果和所述第二瓶颈数据执行第一并置运算；
对所述第一并置运算的结果执行卷积运算；
对所述卷积运算的结果执行反卷积运算；以及
对所述反卷积运算的结果和所述第二瓶颈数据执行第二并置运算。
CN202110248958.2A 2020-07-24 2021-03-08 生成深度图的装置 Pending CN113973209A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200092085A KR20220013071A (ko) 2020-07-24 2020-07-24 깊이 맵 생성 장치
KR10-2020-0092085 2020-07-24

Publications (1)

Publication Number Publication Date
CN113973209A true CN113973209A (zh) 2022-01-25

Family

ID=79586092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110248958.2A Pending CN113973209A (zh) 2020-07-24 2021-03-08 生成深度图的装置

Country Status (3)

Country Link
US (1) US11481912B2 (zh)
KR (1) KR20220013071A (zh)
CN (1) CN113973209A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897538A (zh) * 2017-03-14 2017-06-27 中国人民解放军军械工程学院 基于卷积神经网络的地磁图方向适配性计算方法
CN109685801A (zh) * 2018-12-10 2019-04-26 杭州帝视科技有限公司 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法
CN109741383A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 基于空洞卷积和半监督学习的图像深度估计系统与方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110418210A (zh) * 2019-07-12 2019-11-05 东南大学 一种基于双向循环神经网络和深度输出的视频描述生成方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110782395A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 图像处理方法及装置、电子设备和计算机可读存储介质
US20200175306A1 (en) * 2018-11-29 2020-06-04 NEC Laboratories Europe GmbH Method and system for contextualizing automatic image segmentation and regression
CN111354030A (zh) * 2020-02-29 2020-06-30 同济大学 嵌入SENet单元的无监督单目图像深度图生成方法
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109964237B (zh) 2016-09-15 2020-07-17 谷歌有限责任公司 图像深度预测神经网络
WO2018119807A1 (zh) 2016-12-29 2018-07-05 浙江工商大学 一种基于卷积神经网络的时空一致性深度图序列的生成方法
CN108520535B (zh) * 2018-03-26 2022-02-15 天津大学 基于深度恢复信息的物体分类方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897538A (zh) * 2017-03-14 2017-06-27 中国人民解放军军械工程学院 基于卷积神经网络的地磁图方向适配性计算方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
US20200175306A1 (en) * 2018-11-29 2020-06-04 NEC Laboratories Europe GmbH Method and system for contextualizing automatic image segmentation and regression
CN109685801A (zh) * 2018-12-10 2019-04-26 杭州帝视科技有限公司 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法
CN109741383A (zh) * 2018-12-26 2019-05-10 西安电子科技大学 基于空洞卷积和半监督学习的图像深度估计系统与方法
CN110633708A (zh) * 2019-06-28 2019-12-31 中国人民解放军军事科学院国防科技创新研究院 一种基于全局模型和局部优化的深度网络显著性检测方法
CN110418210A (zh) * 2019-07-12 2019-11-05 东南大学 一种基于双向循环神经网络和深度输出的视频描述生成方法
CN110782395A (zh) * 2019-10-28 2020-02-11 西安电子科技大学 图像处理方法及装置、电子设备和计算机可读存储介质
CN111369563A (zh) * 2020-02-21 2020-07-03 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法
CN111354030A (zh) * 2020-02-29 2020-06-30 同济大学 嵌入SENet单元的无监督单目图像深度图生成方法

Also Published As

Publication number Publication date
US11481912B2 (en) 2022-10-25
KR20220013071A (ko) 2022-02-04
US20220028096A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
US11315253B2 (en) Computer vision system and method
CN110084757B (zh) 一种基于生成对抗网络的红外深度图像增强方法
CN110909642A (zh) 一种基于多尺度语义特征融合的遥感图像目标检测方法
CN108229523B (zh) 图像检测、神经网络训练方法、装置和电子设备
KR20210012009A (ko) 이미지 처리를 위한 장치 및 방법, 및 신경 네트워크를 트레이닝하기 위한 시스템
CN111627078B (zh) 自动图像合成装置与方法
CN110533119B (zh) 标识识别方法及其模型的训练方法、装置及电子系统
CN111429466A (zh) 一种基于多尺度信息融合网络的空基人群计数与密度估计方法
CN111681273A (zh) 图像分割方法、装置、电子设备及可读存储介质
CN110598788A (zh) 目标检测方法、装置、电子设备及存储介质
KR102655999B1 (ko) 스테레오 카메라를 이용한 인스턴스 객체별 거리값 검출 장치 및 방법
CN111461129B (zh) 一种基于上下文先验的场景分割方法和系统
CN112861727A (zh) 一种基于混合深度可分离卷积的实时语义分割方法
CN115311454A (zh) 一种基于残差特征优化和注意力机制的图像分割方法
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN113850324A (zh) 一种基于Yolov4的多光谱目标检测方法
CN112464732B (zh) 基于双路径稀疏分层网络的光学遥感图像地物分类方法
CN114494823A (zh) 零售场景下的商品识别检测计数方法及系统
CN109523570B (zh) 运动参数计算方法及装置
CN107392948B (zh) 一种分振幅实时偏振成像系统的图像配准方法
CN113973209A (zh) 生成深度图的装置
CN115565148B (zh) 道路图像的检测方法、装置、存储介质和电子装置
CN114005020B (zh) 一种基于M3-YOLOv5的指定移动目标检测方法
CN116416534A (zh) 一种面向保护目标的无人机备降区域识别方法
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination