CN112364200B - 一种类脑成像的方法、装置、设备及存储介质 - Google Patents

一种类脑成像的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112364200B
CN112364200B CN202110051621.2A CN202110051621A CN112364200B CN 112364200 B CN112364200 B CN 112364200B CN 202110051621 A CN202110051621 A CN 202110051621A CN 112364200 B CN112364200 B CN 112364200B
Authority
CN
China
Prior art keywords
information
brain
neural network
level information
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110051621.2A
Other languages
English (en)
Other versions
CN112364200A (zh
Inventor
方璐
季梦奇
袁肖赟
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110051621.2A priority Critical patent/CN112364200B/zh
Publication of CN112364200A publication Critical patent/CN112364200A/zh
Application granted granted Critical
Publication of CN112364200B publication Critical patent/CN112364200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种类脑成像的方法、装置、设备及存储介质，其中，该方法包括对获取的图像进行处理，提取实例级别信息；判断实例级别信息的信息类别；在信息类别包括有效信息的情况下，通过脑启发神经网络根据有效信息对应的实例级别信息更新语义信息库；在信息类别包括可推理信息的情况下，根据可推理信息对应的实例级别信息确定图像中的新信息。通过上述处理方式可以降低数据冗余，更高效地分配带宽与算力，也能实现对新信息的推理，从而实现大场景下，多对象地高效感知与理解。

Description

一种类脑成像的方法、装置、设备及存储介质
技术领域
本申请涉及神经网络领域，尤其涉及一种类脑成像的方法、装置、设备及存储介质。
背景技术
在动态的大场景中，自然现象的表达和理解需要高感知分辨能力，虽然现有技术中的机器成像已达亿级分辨率，但却只关注像素集感知，通过局部细节信息的匹配迭代的方式提升感知分辨率，时空/硬件复杂度高，数据量大，需要极大的带宽和算力作为支撑。并且，基于局部感知的场景全局理解仅为前馈单向通路，成像系统整体感知理解能力严重受制于局部感知性能，面临鲁棒性低、适应性差的问题。
发明内容
为了解决上述至少一个技术问题，本申请提供了以下方案。
第一方面，本申请实施例还提供了一种类脑成像的方法，该方法包括：
对获取的图像进行处理，提取实例级别信息；
判断实例级别信息的信息类别；
在信息类别包括有效信息的情况下，通过脑启发神经网络根据有效信息对应的实例级别信息更新语义信息库；
在信息类别包括可推理信息的情况下，根据可推理信息对应的实例级别信息确定图像中的新信息。
第二方面，本申请实施例还提供了一种类脑成像的装置，该装置包括：
提取模块，用于对获取的图像进行处理，提取实例级别信息；
判断模块，用于判断实例级别信息的信息类别；
更新模块，用于在信息类别包括有效信息的情况下，通过脑启发神经网络根据有效信息对应的实例级别信息更新语义信息库；
确定模块，用于在信息类别包括可推理信息的情况下，根据可推理信息对应的实例级别信息确定图像中的新信息。
第三方面，本申请实施例还提供了一种电子设备，该设备包括存储器、控制器及存储在存储器上并可在控制器上运行的计算机程序，所述控制器执行所述计算机程序时，实现如本申请实施例所提供的类脑成像的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，在计算机程序被控制器执行时，实现如本申请实施例提供的类脑成像的方法。
本申请实施例提供一种类脑成像的方法、装置、设备及存储介质，其中，该方法包括对获取的图像进行处理，提取实例级别信息；判断实例级别信息的信息类别；在信息类别包括有效信息的情况下，通过脑启发神经网络根据有效信息对应的实例级别信息更新语义信息库；在信息类别包括可推理信息的情况下，根据可推理信息对应的实例级别信息确定图像中的新信息。通过上述处理方式可以降低数据冗余，更高效地分配带宽与算力，也能实现对新信息的推理，从而实现大场景下，多对象地高效感知与理解。
附图说明
图1为本申请实施例中的一种类脑成像的方法流程图；
图2为本申请实施例中的脑启发神经网络的结构示意图；
图3为本申请实施例中的判断实例级别信息的信息类别的方法流程图；
图4为本申请实施例提供的类脑成像方法与现有技术中传统成像方法的成像结果对比图；
图5为本申请实施例中的一种类脑成像装置的结构示意图；
图6为本申请实施例中的另一种类脑成像装置的结构示意图；
图7是本申请实施例中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
另外，在本申请实施例中，“可选地”或者“示例性地”等词用于表示作例子、例证或说明。本申请实施例中被描述为“可选地”或者“示例性地”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“可选地”或者“示例性地”等词旨在以具体方式呈现相关概念。
在相关领域中，通常采用超高分辨率成像系统和超分辨率算法实现大场景多对象的成像，其中，超分辨率算法旨在从低分辨率输入中恢复高分辨率细节，例如，常见的单图像超分辨率。早期的超分辨率算法常使用自然图像的稀疏性等先验，在深度神经网络面世后，超分辨率算法的性能得到极大的提升。但是，这些方法的性能有很大的瓶颈，特别是在较大的分辨率差别（例如，> 8x）下，由于高频细节信息在下采样期间完全丢失，并且在一般先验条件下无法恢复。因此，出现了基于参考的超分辨率（RefSR）算法，通过使用单反相机得到高分辨的图像作为参照图，并通过块匹配算法改进低分辨率的图像（如光场图像）。然而，超分辨技术作为后处理技术，只是在传统成像技术获得图像之后对图像进行一定程度上的增强，而不能反馈与成像，并且，超分辨技术对图像分辨率的增强非常有限，不能处理分辨率差距太大的情况。
除超分辨率算法之外，相关人员还通过研究超高分辨率成像系统以提高分辨率，比如gigapan等用于静态十亿像素图像拍摄的电动扫描台。布雷迪教授等人制造了世界上第一台十亿像素相机“AWARE2”，该相机由98个微型相机组成，单次拍摄即可产生9.6亿像素的图像。但是由于其极高分辨率带来的计算复杂性和带宽要求，AWARE2每分钟只能捕获三帧，而且由于其简单粗暴地通过拼接相机成像，极大地增加了对带宽和算力的要求，也增加了系统的成本。
基于上述技术缺陷，本申请实施例提供了一种类脑成像的方法，如图1所示，该方法可以包括但不限于以下步骤：
S101、对获取的图像进行处理，提取实例级别信息。
本步骤中获取的图像可以包括视频中的帧图像，即本申请实施例所提供的成像方法可以应用于图像和视频。对图像的处理过程可以包括利用跟踪和分割算法从获取的图像的底层像素级信息中提取实例级别信息。例如，可以通过faster R-CNN和mask R-CNN算法进行图像处理。
本步骤中的实例级别信息可以理解为图像中某一实例或物体的相关信息，例如，图像中某个人物的像素信息、某辆车的像素信息等，对应地，图像中的某一个人物、某一辆车、某个树木等具体的某一个物体可以理解为实例。本步骤中这一处理过程可以理解为人类视觉系统中的视觉皮层的处理环节。
S102、判断实例级别信息的信息类别。
本步骤中的实例级别信息的信息类别可以包括有效信息、可推理信息、无效信息。其中，有效信息可以理解为各类新信息、新实例、无法通过推理得到旧实例的新状态，可推理信息可以理解为通过推理得到的旧实例的新状态信息，无效信息可以包括旧实例的旧状态信息，或者无意义的实例信息。
进一步地，本申请实施例中，实例级别信息的信息类型可以基于各实例进行判断，即是基于该实例判断实例级别信息的类型属于有效信息、可推理信息、无效信息中的哪一种。该过程的实现方式可以理解为人类视觉系统中的前额叶语义分析过程。
S103、在信息类别包括有效信息的情况下，通过脑启发神经网络根据有效信息对应的实例级别信息更新语义信息库。
本申请实施例中的脑启发神经网络的结构如图2所示，该网络模型输入层中输入 的参数包括时间（t）、空间位置（x、y、z）和视角方向
Figure 381558DEST_PATH_IMAGE002
，第二层中的
Figure 33119DEST_PATH_IMAGE004
表示正弦位置 编码，用于对输入的参数进行编码，编码后的信息传输至第三层的多层感知机（Multilayer Perceptron，MLP），该多层感知机通常由全连接网络组成，比如9层全连接网络，每层可以包 括256个神经元。该多层感知机的输出为位置（x、y、z）在视角
Figure 547277DEST_PATH_IMAGE005
下的红绿蓝（RGB）颜色 和密度。紧接着的一层可以通过光线追踪算法对多层感知机的输出进行处理，以输出重建 图像。
在实例级别信息的信息类型为有效信息的情况下，本步骤的实现方式可以包括：通过上述脑启发神经网络获取有效信息对应的实例级别信息在对应角度下的图像，例如，生成该实例级别信息在一圈10个不同角度下的图像，通过特征提取神经网络提取生成的各角度下图像的语义信息，提取的语义信息也即为对应图像部分的特征向量（或者对应某一图像部分的实例级别信息），根据提取的语义信息即可更新语义信息库。这一过程可以理解为人类视觉系统中的前额叶语义理解过程。该语义信息库可用于判断实例级别信息的信息类别。
可选地，上述特征提取神经网络可以采用ResNet，VGG，MobileNet等神经网络。
需要说明的是，本申请实施例中的脑启发神经网络为基于实例级别信息进行训练、优化后得到的网络模型，即需要根据实例级别信息训练对应的脑启发神经网络，进而根据训练后的脑启发神经网络获取语义信息，更新语义信息库，关于脑启发神经网络的训练过程在下文进行详细描述。
S104、在信息类别包括可推理信息的情况下，根据可推理信息对应的实例级别信息确定图像中的新信息。
在本申请实施例中，每种实例级别信息都有对应的脑启发神经网络，那么在确定图像中的新信息时，可以确定图像中信息类别为可推理信息的各实例级别信息对应的脑启发神经网络，将该实例级别信息的输入至对应的脑启发神经网络中，以得到输出的推理信息，该推理信息即为图像中的新信息，基于该新信息即可获取高质量的图像。
例如，对于一个存储在脑启发神经网络中的实例，只要输入实例级别信息的空间位置、时间、视角等信息，即可以通过脑启发神经网络中多层感知机和光线追踪算法推理出该空间位置在当前时刻当前角度下的颜色。该过程可以对应人类视觉系统中通过提取记忆重建当前图像信息的过程。
本申请实施例提供了一种类脑成像的方法，该方法可以包括对获取的图像进行处理，提取实例级别信息；判断实例级别信息的信息类别；在信息类别包括有效信息的情况下，通过脑启发神经网络根据有效信息对应的实例级别信息更新语义信息库；在信息类别包括可推理信息的情况下，根据可推理信息对应的实例级别信息确定图像中的新信息。通过上述处理方式可以降低数据冗余，更高效地分配带宽与算力，也能实现对新信息的推理，从而实现大场景下，多对象地高效感知与理解。
如图3所示，在一种示例中，上述步骤S102的实现方式可以包括但不限于以下步骤：
S301、根据神经网络判断实例的类别。
可选地，这里的神经网络可以采用ResNet、VGG、MobileNet等，基于神经网络判断的实例类别可以理解为该实例属于人物、树木、车辆等不同的对象类别。
S302、根据实例的类别对应的特征提取神经网络确定实例的语义信息。
可选地，本申请实施例中的特征神经提取网络也可以采用ResNet、VGG、MobileNet等，其中，不同实例的类别对应不同的特征提取神经网络。
需要说明的是，在本申请实施例中，不同的特征神经提取网络可以理解为相同的网络结构但具有不同的网络模型参数。
本步骤的实现方式可以为根据步骤S301中判断的实例的类别调用该类别对应的特征提取神经网络，基于特征提取神经网络计算得到对应实例的特征向量，获取的特征向量即为该实例的语义信息。
S303、根据实例的语义信息和语义信息库确定实例级别信息的信息类别。
本步骤中的语义信息库可以为上述步骤S103中更新后的语义信息库，也可以为更新前的语义信息库，即本申请实施例为基于语义信息库确定实例级别信息的信息类别，并在信息类别包括有效信息的情况下，根据有效信息对应的实例级别信息更新语义信息库。
示例性地，本步骤的实现方式可以为计算实例的语义信息和语义信息库中实例对应语义信息的距离，根据该距离的范围确定实例级别信息的信息类别。例如，在距离属于第一距离范围的情况下，确定信息类别为有效信息；在距离属于第二距离范围的情况下，确定信息类别为可推理信息；在距离属于第三距离范围的情况下，确定信息类别为无效信息。
在确定信息类别为无效信息时，可以舍弃该实例级别信息，即该实例级别信息即不参与对于语义信息库的更新，也不用于推理确定图像中的新信息。
其中，上述的第一距离范围、第二距离范围和第三距离范围可以为本领域技术人员根据场景需要自行设定的阈值范围，本申请实施例对此不作限定。
在一种示例中，可以对上述确定的有效信息可以进行缓存，这一缓存的过程可对应于人类视觉系统中的海马体存储过程。在缓存容量不足的情况下，可以丢弃信息量最少的实例级别信息。这里的信息量可以理解为采集到的真实实例级别信息与利用现有语义信息推理得到的合成实例级别信息之间的信息差。若该实例级别信息可以通过现有的语义信息推理进行高质量重建，则表示信息量少，反之，表示信息量多。
由于上述缓存的信息为底层像素级信息，数据量大，信息密度低，无法长期大量存储，那么可以通过对缓存的实例级别信息进行学习，以形成长期存储的信息。例如，根据有效信息对应的实例级别信息对目标神经网络进行训练，得到脑启发神经网络；或者，在某一实例为新实例的情况下，生成该实例对应的目标神经网络，根据该实例的实例级别信息对生成的目标神经网络进行训练，得到脑启发神经网络。其中，目标神经网络与脑启发神经网络结构相同。即通过训练不断优化目标神经网络中的各个网络参数，得到训练后的网络模型，将训练后的网络模型确定为脑启发神经网络，训练后的脑启发神经网络可以用于更新语义信息库。这一处理过程可以对应于人类视觉系统中记忆巩固的过程。其中，上述生成实例的目标神经网络可以理解为对已有的网络模型参数进行初始化。
进一步地，上述训练过程中主要是训练模型中的多层感知机，例如，针对每一个实 例在时间（t）、空间位置（x、y、z）和视角方向
Figure 676907DEST_PATH_IMAGE005
等维度上进行训练，将缓存的底层像素 级信息输入网络模型中进行训练，优化该网络模型中的权重参数，在训练收敛时，实例级别 信息即可与多层感知机中的权重信息对应存储。上述处理过程具有信息密度高，可计算推 理等优点。
如图4所示，为本申请实施例提供的类脑成像方法与现有技术中传统成像方法的成像结果对比图。相比于现有技术，本申请实施例提供的上述实现方式通过双向反馈的机制可以对无效的信息进行抑制，降低成像系统的成本以及对带宽和算力的要求，使得成像系统具有对新信息的推理能力，从而实现大场景、多对象的高效成像。
图5为本申请实施例提供的一种类脑成像装置，如图5所示，该装置可以包括：提取模块501、判断模块502、更新模块503、确定模块504；
其中，提取模块，用于对获取的图像进行处理，提取实例级别信息；
判断模块，用于判断实例级别信息的信息类别；
更新模块，用于在信息类别包括有效信息的情况下，通过脑启发神经网络根据有效信息对应的实例级别信息更新语义信息库；
确定模块，用于在信息类别包括可推理信息的情况下，根据可推理信息对应的实例级别信息确定图像中的新信息。
在一种示例中，判断模块，用于根据神经网络判断实例的类别；根据实例的类别对应的特征提取神经网络确定实例的语义信息；以及，根据实例的语义信息和语义信息库确定实例级别信息的信息类别。
示例性地，上述判断模块可以包括计算单元和丢弃单元；
计算单元，用于计算实例的语义信息和语义信息库中实例对应语义信息的距离；在距离属于第一距离范围的情况下，确定信息类别为有效信息；在距离属于第二距离范围的情况下，确定信息类别为可推理信息；在距离属于第三距离范围的情况下，确定信息类别为无效信息。
丢弃单元，用于在信息类别为无效信息的情况下，舍弃与该信息类别对应的实例级别信息。
在一种示例中，更新模块，用于通过脑启发神经网络生成有效信息对应的实例级别信息在对应角度下的图像；根据特征提取神经网络确定各图像的语义信息；根据语义信息更新语义信息库。
在一种示例中，上述确定模块，用于获取实例级别信息对应的脑启发神经网络；将实例级别信息作为输入，通过脑启发神经网络得到输出的推理信息；将推理信息确定为图像中的新信息。
如图6所示，可选地，上述装置还可以包括训练模块505；
训练模块，用于根据有效信息对应的实例级别信息对目标神经网络进行训练，得到脑启发神经网络，或者，生成实例的目标神经网络，根据实例级别信息对生成的目标神经网络进行训练，得到脑启发神经网络。其中，目标神经网络与脑启发神经网络结构相同。
上述类脑成像装置可以执行图1所提供的类脑成像方法，具备该方法中相应的器件和有益效果。
图7为本发明实施例7提供的一种电子设备的结构示意图，如图7所示，该电子设备包括控制器701、存储器702、输入装置703、输出装置704；电子设备中控制器701的数量可以是一个或多个，图7中以一个控制器701为例；电子设备中的控制器701、存储器702、输入装置703和输出装置704可以通过总线或其他方式连接，图7中以通过总线连接为例。
存储器702作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如图1实施例中的类脑成像的方法对应的程序指令/模块（例如，类脑成像装置中的提取模块501、判断模块502、更新模块503、确定模块504）。控制器701通过运行存储在存储器702中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的类脑成像方法。
存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器702可进一步包括相对于控制器701远程设置的存储器，这些远程存储器可以通过网络连接至终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置703可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置704可包括显示屏等显示装置。
本申请实施例还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机控制器执行时用于执行一种类脑成像的方法，该方法包括图1所示的步骤。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器（Read-Only Memory, ROM）、随机存取存储器（RandomAccess Memory, RAM）、闪存（FLASH）、硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）实现本申请各个实施例所述的方法或功能。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种类脑成像的方法，其特征在于，包括：
对获取的图像进行处理，提取实例级别信息；
判断所述实例级别信息的信息类别；
在所述信息类别包括有效信息的情况下，通过脑启发神经网络根据所述有效信息对应的实例级别信息更新语义信息库，其中，所述脑启发神经网络包括输入层、用于正弦位置编码的网络层、多层感知机、用于通过光线追踪算法处理的网络层；
在所述信息类别包括可推理信息的情况下，根据所述可推理信息对应的实例级别信息确定所述图像中的新信息。
2.根据权利要求1所述的方法，其特征在于，判断所述实例级别信息的信息类别，包括：
根据神经网络判断实例的类别；
根据所述实例的类别对应的特征提取神经网络确定所述实例的语义信息；
根据所述实例的语义信息和所述语义信息库确定所述实例级别信息的信息类别。
3.根据权利要求2所述的方法，其特征在于，根据所述实例的语义信息和所述语义信息库确定所述实例级别信息的信息类别，包括：
计算所述实例的语义信息和语义信息库中所述实例对应语义信息的距离；
在所述距离属于第一距离范围的情况下，确定所述信息类别为有效信息；
在所述距离属于第二距离范围的情况下，确定所述信息类别为可推理信息；
在所述距离属于第三距离范围的情况下，确定所述信息类别为无效信息。
4.根据权利要求1所述的方法，其特征在于，通过脑启发神经网络根据所述有效信息对应的实例级别信息更新语义信息库，包括：
通过脑启发神经网络生成所述有效信息对应的实例级别信息在对应角度下的图像；
根据特征提取神经网络确定各所述对应角度下的图像的语义信息；
根据所述语义信息更新所述语义信息库。
5.根据权利要求1所述的方法，其特征在于，根据所述可推理信息对应的实例级别信息确定所述图像中的新信息，包括：
获取所述实例级别信息对应的脑启发神经网络；
将所述实例级别信息作为输入，通过所述脑启发神经网络得到输出的推理信息；
将所述推理信息确定为所述图像中的新信息。
6.根据权利要求4所述的方法，其特征在于，在通过脑启发神经网络生成所述有效信息对应的实例级别信息在对应角度下的图像之前，所述方法还包括：
根据有效信息对应的实例级别信息对目标神经网络进行训练，得到脑启发神经网络；
或者，生成所述实例的目标神经网络，根据所述实例级别信息对生成的目标神经网络进行训练，得到脑启发神经网络；
其中，所述目标神经网络与脑启发神经网络结构相同。
7.根据权利要求1所述的方法，其特征在于，在所述信息类别为无效信息的情况下，舍弃对应的所述实例级别信息。
8.一种类脑成像的装置，其特征在于，包括：
提取模块，用于对获取的图像进行处理，提取实例级别信息；
判断模块，用于判断所述实例级别信息的信息类别；
更新模块，用于在所述信息类别包括有效信息的情况下，通过脑启发神经网络根据所述有效信息对应的实例级别信息更新语义信息库，其中，所述脑启发神经网络包括输入层、用于正弦位置编码的网络层、多层感知机、用于通过光线追踪算法处理的网络层；
确定模块，用于在所述信息类别包括可推理信息的情况下，根据所述可推理信息对应的实例级别信息确定所述图像中的新信息。
9.一种电子设备，其特征在于，包括存储器、控制器及存储在存储器上并可在控制器上运行的计算机程序，所述控制器执行所述计算机程序时，实现如权利要求1-7任一项所述的类脑成像的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理控制器执行时，实现如权利要求1-7任一项所述的类脑成像的方法。
CN202110051621.2A 2021-01-15 2021-01-15 一种类脑成像的方法、装置、设备及存储介质 Active CN112364200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110051621.2A CN112364200B (zh) 2021-01-15 2021-01-15 一种类脑成像的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110051621.2A CN112364200B (zh) 2021-01-15 2021-01-15 一种类脑成像的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112364200A CN112364200A (zh) 2021-02-12
CN112364200B true CN112364200B (zh) 2021-04-13

Family

ID=74535033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110051621.2A Active CN112364200B (zh) 2021-01-15 2021-01-15 一种类脑成像的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112364200B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862338B (zh) * 2023-03-01 2023-05-16 天津大学 一种机场交通流量预测方法、系统、电子设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682442A (zh) * 2012-04-28 2012-09-19 东南大学 基于光流场的运动目标超分辨率图像重建方法
CN107633031A (zh) * 2017-09-06 2018-01-26 叶进蓉 一种对图像进行语义注释的方法及装置
CN109615608A (zh) * 2018-11-13 2019-04-12 昆明理工大学 一种人脑活动中自然图像贝叶斯重建的方法
CN110070107A (zh) * 2019-03-26 2019-07-30 华为技术有限公司 物体识别方法及装置
CN110163121A (zh) * 2019-04-30 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110781957A (zh) * 2019-10-24 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111598776A (zh) * 2020-04-29 2020-08-28 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9275079B2 (en) * 2011-06-02 2016-03-01 Google Inc. Method and apparatus for semantic association of images with augmentation data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682442A (zh) * 2012-04-28 2012-09-19 东南大学 基于光流场的运动目标超分辨率图像重建方法
CN107633031A (zh) * 2017-09-06 2018-01-26 叶进蓉 一种对图像进行语义注释的方法及装置
CN109615608A (zh) * 2018-11-13 2019-04-12 昆明理工大学 一种人脑活动中自然图像贝叶斯重建的方法
CN110070107A (zh) * 2019-03-26 2019-07-30 华为技术有限公司 物体识别方法及装置
CN110163121A (zh) * 2019-04-30 2019-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110781957A (zh) * 2019-10-24 2020-02-11 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111598776A (zh) * 2020-04-29 2020-08-28 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN111798475A (zh) * 2020-05-29 2020-10-20 浙江工业大学 一种基于点云深度学习的室内环境3d语义地图构建方法

Also Published As

Publication number Publication date
CN112364200A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
WO2022042049A1 (zh) 图像融合方法、图像融合模型的训练方法和装置
Rao et al. A Survey of Video Enhancement Techniques.
CN109102462A (zh) 一种基于深度学习的视频超分辨率重建方法
WO2021164731A1 (zh) 图像增强方法以及图像增强装置
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
TW202134997A (zh) 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備
CN113159019B (zh) 一种基于光流变换的暗光视频增强方法
CN112507617A (zh) 一种SRFlow超分辨率模型的训练方法及人脸识别方法
Peng et al. LVE-S2D: Low-light video enhancement from static to dynamic
WO2024002211A1 (zh) 一种图像处理方法及相关装置
WO2023151511A1 (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
Kinoshita et al. Convolutional neural networks considering local and global features for image enhancement
CN114627269A (zh) 一种基于深度学习目标检测的虚拟现实安防监控平台
CN112364200B (zh) 一种类脑成像的方法、装置、设备及存储介质
Sun et al. Learning adaptive patch generators for mask-robust image inpainting
Yang et al. Learning event guided high dynamic range video reconstruction
Tang et al. DRLIE: Flexible low-light image enhancement via disentangled representations
CN112614063B (zh) 用于楼宇内低照度环境的图像增强和噪声自适应去除方法
TWI826160B (zh) 圖像編解碼方法和裝置
WO2018157835A1 (zh) 基于运动注意力模型的360度全景视频编码方法
CN112819742B (zh) 一种基于卷积神经网络的事件场合成孔径成像方法
WO2021057091A1 (zh) 视点图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant