CN109410180A - 衰减系数的确定方法、装置、计算机设备和存储介质 - Google Patents

衰减系数的确定方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109410180A
CN109410180A CN201811155924.3A CN201811155924A CN109410180A CN 109410180 A CN109410180 A CN 109410180A CN 201811155924 A CN201811155924 A CN 201811155924A CN 109410180 A CN109410180 A CN 109410180A
Authority
CN
China
Prior art keywords
attenuation coefficient
light
image
water body
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811155924.3A
Other languages
English (en)
Other versions
CN109410180B (zh
Inventor
方璐
王丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Tsinghua Berkeley Shenzhen College Preparatory Office
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua Berkeley Shenzhen College Preparatory Office filed Critical Tsinghua Berkeley Shenzhen College Preparatory Office
Priority to CN201811155924.3A priority Critical patent/CN109410180B/zh
Publication of CN109410180A publication Critical patent/CN109410180A/zh
Application granted granted Critical
Publication of CN109410180B publication Critical patent/CN109410180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J11/00Measuring the characteristics of individual optical pulses or of optical pulse trains
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种衰减系数的确定方法、装置、计算机设备和存储介质。该方法包括:获取光线在当前水域中传输时的至少一个水体衰减系数;根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。本发明实施例通过采用上述技术方案,通过普通的图像采集装置即可确定光线在RGB空间的带宽衰减系数,能够降低确定带宽衰减系数过程中对高配置硬件的依赖性,提高带宽衰减系数的确定效率,减少确定带宽衰减系数所需的成本和所耗费的时间。

Description

衰减系数的确定方法、装置、计算机设备和存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种衰减系数的确定方法、装置、计算机设备和存储介质。
背景技术
在水下拍摄图像时,由于光线会收到水中悬浮粒子的吸收和散射作用,所拍摄的水下图像会出现对比度降低和颜色偏差等模糊退化问题,这对于计算机视觉技术的开发应用造成了挑战,比如鱼类种类需要根据鱼的颜色和形态进行识别、海洋生态系统检测需要通过观察珊瑚礁的颜色和种类来反映海洋生态环境的质量,等等。因此,在水下拍摄图像后,需要对图像进行重建,恢复图像的真实颜色。
尽管近年来水下图像重建受到了广泛关注,其算法也已逐渐成为计算机视觉应用的热点,但水下图像重建仍然是一个非常具有挑战性的问题。水下图像的精确重建需要了解每种颜色的带宽衰减系数,但现有技术中在确定带宽衰减系数时需要通过专门的高光谱吸收衰减测量仪进行测量,手段复杂、成本较大且难以将与波长相关的水体衰减系数映射到RGB域中。
发明内容
有鉴于此,本发明实施例提供一种衰减系数的确定方法、装置、计算机设备和存储介质,以解决现有技术中水土图像重建手段复杂且成本较大的技术问题。
第一方面,本发明实施例提供了一种衰减系数的确定,包括:
获取光线在当前水域中传输时的至少一个水体衰减系数;
根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。
第二方面,本发明实施例提供了一种衰减系数的确定装置,包括:
获取模块,用于获取光线在当前水域中传输时的至少一个水体衰减系数;
计算模块,用于根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。
第三方面,本发明实施例提供了一种计算机设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例所述的水下图像的重建方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例所述的水下图像的重建方法。
在上述确定衰减系数的技术方案中,获取光线在当前水域中传输时的至少一个水体衰减系数,根据该水体衰减系数以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的带宽衰减系数。本发明实施例通过采用上述技术方案,通过普通的图像采集装置即可确定光线在RGB空间的带宽衰减系数,能够降低确定带宽衰减系数过程中对高配置硬件的依赖性,提高带宽衰减系数的确定效率,减少确定带宽衰减系数所需的成本和所耗费的时间。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例一提供的一种衰减系数的确定方法的流程示意图;
图2为本发明实施例二提供的一种衰减系数的确定方法的流程示意图;
图3为本发明实施例三提供的一种衰减系数的确定方法的流程示意图;
图4为本发明实施例四提供的一种衰减系数的确定装置的结构框图;
图5为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
本发明实施例一提供一种衰减系数的确定方法。该方法可以由衰减系数的确定装置执行,其中,该装置可由软件和/或硬件实现,一般可集成在具有图像处理能力的计算机设备中。图1是本发明实施例一提供的衰减系数的确定方法的流程示意图,如图1所示,该方法包括:
S110、获取光线在当前水域中传输时的至少一个水体衰减系数。
本实施例中,光线在当前水域传输时的水体衰减系数可以根据当前水域的水体类型和/或在当前水域采集的样本图像确定。其中,光线在当前水域的水体衰减系数为在当前水域传输单位距离时光线的衰减程度。
针对根据当前水域的水体类型确定当前水域的水体衰减系数的情况,示例性的,可以预先设置包含不同水体类型对应的水体衰减系数的数据集,在获取当前水域的水体衰减系数时,对当前水域的水体进行分析以确定当前水域的水体类型,并基于上述预先设置的数据集确定该水体类型对应的水体衰减系数。在此,工作人员可以基于当前水域中水体的来源、水体的浑浊程度、水体中水草等植物的种类和/或生长程度等估算当前水域的水体类型;也可以采集当前水域的水体样本,通过物理器具(如显微镜等)或化学试剂对所采集的水体样本进行分析,确定水体样本的组成成分,并根据该组成成分确定水体样本的水体类型,即根据该组成成分确定当前水土的水体类型,此处不作限制。
针对根据在当前水域采集的样本图像确定当前水域的水体衰减系数的情况,示例性的,可以首先通过同一图像采集装置先后在两个位于当前水域中的采集点采集位于当前水域中的样本物体的图像,或者,通过位于当前水域中的采集参数(如曝光时间、镜头的焦距、图像传感器的感光系数等等)完全相同的两个图像采集装置分别采集位于当前水域中的样本物体的图像;然后,根据采集得到样本物体的两张图像中样本物体的颜色信息以及两采集点与样本物体的距离确定当前水域的水体衰减系数。其中,两采集点可以位于或不位于同一条经过样本物体的直线上,相应的,在采集点拍摄样本物体时的拍摄角度可以相同或不相同。当两采集点不位于经过样本物体的同一条直线上时,在两采集点拍摄的两张图像中应至少包含一个样本物体的相同部位的子图像,以便于根据在相同部位在两图像中的颜色信息以及两采集点与样本物体的距离确定当前水域的水体衰减系数。为了进一步提高所确定水体衰减系数的准确性,优选的,两采集点可以位于同一条经过样本物体的直线上,且在两采集点的图像拍摄方向均为该直线所指向的方向。
S120、根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。
本实施例中,可以根据一个或多个水体衰减系数确定该光线在RGB空间的带宽衰减系数,如可以根据一个或两个水体衰减系数以及在该光线下采集图像时的图像采集参数确定光线在RGB空间的一个原始衰减系数,并将该原始衰减系数确定为该光线在RGB空间的带宽衰减系数;也可以根据两个或更多个水体衰减系数以及在该光线下采集图像时的图像采集参数确定光线在RGB空间的多个原始衰减系数,并根据该多个原始衰减系数确定光线在RGB空间的带宽衰减系数,本实施例并不对此进行限制。考虑到确定水体衰减系数时的误差以及图像采集参数自身的误差,优选的,可以根据两个水体衰减系数和在该光线下采集图像时的图像采集参数确定一个原始衰减系数,并根据多个原始衰减系数确定光线在RGB空间的带宽衰减系数。其中,光线在RGB空间的带宽衰减系数为光线在当前水域传输时在RGB空间的带宽衰减系数。
本发明实施例一提供的衰减系数的确定方法,获取光线在当前水域中传输时的至少一个水体衰减系数,根据该水体衰减系数以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的带宽衰减系数。本实施例通过采用上述技术方案,通过普通的图像采集装置即可确定光线在RGB空间的带宽衰减系数,能够降低确定带宽衰减系数过程中对高配置硬件的依赖性,提高带宽衰减系数的确定效率,减少确定带宽衰减系数所需的成本和所耗费的时间。
实施例二
图2为本发明实施例二提供的衰减系数的确定方法的流程示意图。本实施例在上述实施例的基础上将“获取光线在当前水域中传输时的至少一个水体衰减系数”优化为:在获取每个水体衰减系数时,通过图像采集装置分别在随机确定的第一采集点和第二采集点对样本物体进行图像采集,得到两张原始图像样本,其中,所述第一采集点、所述第二采集点和所述样本物体位于当前水域中的同一条直线上;将所述两张原始图像样本处理为样本物体成像位置相同的两张图像样本,并将所述两张图像样本确定为目标图像样本;根据所述两张目标图像样本的灰度值矩阵确定光线在所述当前水域传输时的水体衰减系数。
进一步的,所述根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数,包括:将多个所述水体衰减系数任意两两组合,得到多个衰减系数对,其中,各水体衰减系数对应的采集点位于同一条经过物体样本的直线上;分别采用每个衰减系数对以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的原始衰减系数;根据各所述原始衰减系数确定所述光线在RGB空间的带宽衰减系数。
进一步的,所述方法还可以包括:采用所述带宽衰减系数对水下图像的颜色进行修正,得到目标物体的标准图像,所述水下图像为图像采集装置在所述当前水域中采集得到的目标物体的图像。
相应的,如图2所示,本实施例提供的衰减系数的确定方法包括:
S210、通过图像采集装置分别在随机确定的第一采集点和第二采集点对样本物体进行图像采集,得到两张原始图像样本,其中,所述第一采集点、所述第二采集点和所述样本物体位于当前水域中的同一条直线上。
本实施例中,可以首先确定第一采集点与第二采集点,然后采用图像采集装置分别在第一采集点和第二采集点对样本物体进行图像采集,从而得到在第一采集点拍摄的样本物体的第一原始图像样本,以及,在第二采集点拍摄的样本物体的第二原始图像样本。其中,第一采集点和第二采集点优选位于图像采集装置的拍摄范围之内,以确保在第一采集点和第二采集点均能采集到样本物体的图像,和/或,第一采集点和第二采集点优选位于样本物体的同一侧,以确保第一原始图像样本和第二原始图像样本中至少包含一个样本物体的同一部位的子图像,即第一原始图像样本和第二原始图像样本中均包含该同一部位的图像。
在此,第一采集点、第二采集点和样本物体的相对位置的确定方式可以根据需要选取。示例性的,可以随机放置样本物体,在图像采集装置位于样本物体位置处时的拍摄范围内随机确定第一采集点,并在以样本物体为端点且经过第一采集点的射线上随机选取图像采集装置位于样本物体处时的拍摄范围之内的一点作为第二采集点。也可以在当前水域随机中选取距离不超过图像采集装置的拍摄范围的两个点作为第一采集点和第二采集点;以第一采集点/第二采集点为圆心,以图像采集装置的最大拍摄距离为半径绘制圆形,将该圆形与以第一采集点/第二采集点为端点且经过第二采集点/第一采集点的射线的交点确定为第一交点/第二交点;在第一交点与第二采集点之间的连线和/或第二交点与第一采集点之间的连线上随机选取一点放置样本物体。考虑到获取多个水体衰减系数时的简捷性,优选可以首先确定样本物体的位置和拍摄角度,然后在该拍摄角度下随机选取位于图像采集装置位于样本物体位置处的拍摄范围之内的两个点作为第一采集点和第二采集点。
S220、将所述两张原始图像样本处理为样本物体成像位置相同的两张图像样本,并将所述两张图像样本确定为目标图像样本。
本实施例中,可以对两张原始图像样本均进行处理,也可以仅对一张原始图像样本进行处理,本实施例不对此进行限制。其中,所得到的目标图像样本优选具有相同的分辨率。
示例性的,当仅对一张原始图像样本进行处理时,可以首先确定需要进行处理的原始图像样本作为待处理图像样本,根据该原始图像样本的拍摄距离与另一不需要进行处理的原始图像样本(以下以非待处理图像样本代替)的拍摄距离之间的大小关系对待处理图像样本进行处理。举例而言,可以将拍摄距离较大的原始图像样本确定为待处理图像样本,并将拍摄距离较小的原始图像样本确定为非待处理图像样本,根据两个拍摄距离的相对大小或比值对待处理图像样本进行剪裁和上采样,以得到样本物体的成像位置与非待处理图像样本中样本物体的成像位置相同的目标图像样本,并将非待处理图像样本也同时确定为目标图像样本。
当对两张原始图像样本均进行处理时,可以对拍摄距离较近的原始图像样本进行下采样和/或剪裁处理,并对拍摄距离较远的原始图像样本进行剪裁和/或上采样处理,如可以对拍摄距离较近的原始图像样本进行下采样处理,并对拍摄距离较远的原始图像样本进行剪裁处理;也可以对拍摄距离较近的原始图像样本进行下采样处理,并对拍摄距离较远的图像样本进行剪裁和上采样处理,或者对拍摄距离较近的原始图像样本进行剪裁和下采样处理,并对拍摄距离较远的图像样本剪裁处理,等等。
考虑到最终确定的水体衰减系数的实用性,优选可以以拍摄距离较近的原始图像样本为基准,对拍摄距离较远的原始图像样本进行剪裁和上采样处理,并在处理完成后,将处理得到的图像样本和该拍摄距离较近的原始图像样本确定为目标图像样本,以确保最终得的目标图像样本的分辨率与图像采集装置采集得到的图像(如原始图像样本)的分辨率相同,并优选可以将根据此两个目标图像样本得到的水体衰减系数确定为光线在该拍摄距离较近的原始图像样本对应的采集点出的水体衰减系数。以下以目标图像样本的分辨率与图像采集装置采集得到的图像的分辨率相同为例进行说明。
S230、根据所述两张目标图像样本的灰度值矩阵确定光线在所述当前水域传输时的水体衰减系数。
其中,水体衰减系数可以为数值或矩阵,此处不作限制。示例性的,当水体衰减系数为数值时,可以根据两张目标图像样本中的各组坐标位置相同的像素点的颜色信息(如灰度值)得到多个子水体衰减系数,计算多个子水体衰减系数的平均值,并将该平均值确定为由此两张目标图像样本确定的水体衰减系数,此时,后续可以采用该水体衰减系数分别对图像采集装置在当前水域采集得到的水下图像的各像素点的颜色进行修复。当水体衰减系数为矩阵时,可以根据两张目标图像样本的灰度值矩阵以及第一采集点与第二采集点之间的距离确定光线在当前水域传输时的水体衰减系数。
考虑到不同像素点所对应水体衰减系数的差异性,水体衰减系数优选为矩阵,该矩阵中的各元素表征图像中相应位置处的像素点对应的水体衰减系数值。此时,优选的,可以采用下述公式计算光线在当前水域传输时在第一采集点处的水体衰减系数:
其中,β(θ)z为光线在第一采集点处的水体衰减系数,DC(z)为第一采集点对应的第一目标图像样本的灰度值矩阵,DC(z+Δz)为第二采集点对应的第二目标图像样本的灰度值矩阵,θ为光线的波长,z为第一采集点与样本物体的距离,z+Δz为第二采集点与样本物体的距离。在此,某一目标图像样本的灰度值矩阵由该目标图像中各像素点的灰度值构成,灰度值矩阵中的各元素表征在目标图像样本中的位置与该元素在灰度值矩阵中的位置相同的像素点的灰度值。
S240、将多个所述水体衰减系数任意两两组合,得到多个衰减系数对,其中,各水体衰减系数对应的采集点位于同一条经过物体样本的直线上。
本实施例中,在确定衰减系数对时,可以将多个水体衰减系数不重复的进行两两组合,组合后,同一水体衰减系数至多位于一个衰减系数对中;也可以将多个衰减系数随机进行组合,组合后,同一水体衰减系数至少位于两个衰减系数对中,本实施例不对此进行限制。
S250、分别采用每个衰减系数对以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的原始衰减系数。
其中,图像采集参数可以包括图像采集装置的采集参数(如光谱响应、色彩误差系数、色彩平滑系数和/或缩放常数等)和/或样本物体的采集参数(如光照强度和/或样本物体表面的反射光谱等)。考虑到所确定原始衰减系数的准确性,图像采集参数优选可以包括图像采集装置的采集参数和样本物体的采集参数。此时,对于每个衰减系数对,可采用下述公式计算光线在RGB空间的原始衰减系数:
其中,θ为光线的波长,β′C(θ)为光线的原始衰减系数,为光线在与样本物体的距离为z1的采集点处的水体衰减系数,光线在与样本物体的距离为z2的采集点处的水体衰减系数,τ为缩放常数,τ∈(0,1),SC(θ)为图像采集装置的光谱响应,σ为图像采集装置采集图像时的色彩误差系数,ρ(θ)为样本物体的反射光谱,E(θ)为光线的光照强度,μψ为色彩平滑系数。
本步骤中,τ为控制图像参数(如曝光时间等)的缩放常数,其可以根据图像采集装置的曝光时间等进行确定,如果图像采集装置的曝光时间较长,则τ可以取一个较小的数值,如果图像采集装置的曝光时间较短,则τ可以取一个较大的数值;样本物体的反射光谱可以通过测量获得,也可以根据样本物体表面的颜色确定。
σ是图像采集装置的色彩误差系数,由于图像采集装置镜头采集的颜色因畸变的存在而存在一定的偏差,因此需要经过多次测定计算出平均误差(即色彩误差系数)σ并在确定原始衰减系数时减去该误差。示例性的,可以首先通过图像采集装置采集多张图像,计算每张图像的原始误差然后计算各原始误差的平均值,并将该平均值确定为图像采集装置的色彩误差系数。
色彩平滑系数μψ是考虑到重建时图像整体色彩的均衡进行的一种色彩平滑。μ可以根据当前水域的水体类型确定,如果当前水域为海岸附近的水域,则μ可以取0.1,如果当前水域为中心水域(即非海岸附近的水域),则μ可以取0.01。ψ可以仅基于图像采集装置采集的一张图像确定,此时,ψ=lnμ||X||;也可以基于图像采集装置的多张图像的原始值ψ′的平均值确定,此时,原始值ψ′=lnμ||X||。其中,X为确定色彩平滑系数时图像采集装置所采集图像的灰度值矩阵,该灰度值矩阵中的各元素表征图像采集装置所采集图像种相应像素点的灰度值。
S260、根据各所述原始衰减系数确定所述光线在RGB空间的带宽衰减系数。
本实施例中,可以将各原始衰减系数的最大值、最小值、中值或平均值等确定为光线在RGB空间的带宽衰减系数。考虑到带宽衰减系数的准确性,优选的,可以计算各原始衰减系数的平均值,并将该平均值确定为光线在RGB空间的带宽衰减系数。
S270、采用所述带宽衰减系数对水下图像的颜色进行修正,得到目标物体的标准图像,所述水下图像为图像采集装置在所述当前水域中采集得到的目标物体的图像。
本实施例中,可以采用带宽衰减系数对水下图像各像素点的灰度值进行修正,根据修正后的各像素点的灰度值确定各像素点在R通道、G通道和B通道的颜色分量,并根据各颜色分量构建目标物体的标准图像;也可以首先根据所得到的带宽衰减系数计算该带宽衰减系数在R通道、G通道和B通道的衰减系数分量,然后根据各衰减系数分量对水下图像在相应颜色通道的颜色分量进行修复,并根据修复后的各颜色分量构建目标图像的标准图像,此处不作限制。
本发明实施例二提供的衰减系数的确定方法,根据在两不同采集点采集得到的原始图像样本确定一个水体衰减系数,根据两个水体衰减系数确定一个原始衰减系数,根据多个原始衰减系数确定光线在当前水域传输时的带宽衰减系数,并采用该带宽衰减系数对图像采集装置采集得到的水下图像的颜色进行修正,从而得到目标物体的标准图像。本实施例通过采用上述技术方案,能够提高所确定的带宽衰减系数的准确性,进而提高修复得到的标准图像的图像内容的精确度,提高用户的使用体验。
实施例三
图3为本发明实施例三提供的一种衰减系数的确定方法的流程示意图。本实施例在上述实施例的基础上将“采用所述带宽衰减系数对水下图像的颜色进行修正,得到目标物体的标准图像”优化为:计算所述带宽衰减系数在各颜色通道的衰减系数分量;分别采用所述衰减系数分量对所述水下图像在相应颜色通道的颜色分量进行修正;基于修正后的各颜色分量构建目标物体的标准图像。
相应的,如图3所示,本实施例提供的衰减系数的确定方法包括:
S310、获取光线在当前水域中传输时的至少一个水体衰减系数;
S320、根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。
S330、计算所述带宽衰减系数在各颜色通道的衰减系数分量。
本实施例中,可以根据所得到的带宽衰减系数β(θ)和RGB空间的映射关系计算带宽衰减系数在各颜色通道的衰减系数分量,如可以采用公式βR(θ)=β(θ)×p、βG(θ)=β(θ)×q和βB(θ)=β(θ)×t计算带宽衰减系数在各颜色通道的衰减系数分量。其中,βR(θ)为带宽衰减系数在R通道的颜色分量,βG(θ)为带宽衰减系数在G通道的颜色分量,βB(θ)为带宽坏件系数在B通道的颜色分量;系数p、q和t可以根据需要设置,如可以将p、q和t设置为:p=0.2989,q=0.5870,t=0.1140。
S340、分别采用所述衰减系数分量对所述水下图像在相应颜色通道的颜色分量进行修正。
本实施例中,可以采用R通道的衰减系数分量对水下图像在R通道的颜色分量进行修正,采用G通道的衰减系数分量对水下图像在G通道的颜色分量进行修正,采用B通道的衰减系数分量对水下图像在B通道的颜色分量进行修正。其中,修正方式可以根据需要选取。为了进一步提高修正后的颜色分量的准确性,优选的,可以分别采用下述公式对所述水下图像的在R通道、G通道和B通道的颜色分量进行修正:
其中,JP为修正后的P通道的颜色分量矩阵,DP为修正前的P通道的颜色分量矩阵,βP(θ)为带宽衰减系数在P通道的衰减系数分量,z为所述水下图像的拍摄距离。在此,颜色分量矩阵中的各元素为水下图像相应位置处的像素点的相应颜色分量。
S350、基于修正后的各颜色分量构建目标物体的标准图像。
本实施例中,可以基于修正后的R通道的颜色分量、修正后的G通道的颜色分量和修正后的B通道的颜色分量渲染图像,从而得到目标物体的标准图像。在此,可以按照像素点的顺序或颜色分量的顺序对标准图像进行渲染,如可以获取当前像素点的各颜色分量,并基于所获取的当前像素点的各颜色分量对当前像素点进行渲染,在渲染完成后,将下一像素点确定为当前像素点,并重复上述操作,直至各像素点均渲染完成为止;也可以采用当前通道的颜色分量对标准图像进行渲染,在渲染完成后,将下一通道确定为当前通道,并重复上述操作,直至各通道的颜色分量均渲染完成为止,本实施例不对此进行限制。
在此,需要说明的是,本实施例中可以直接采用修正后的各颜色分量构建目标物体的标准图像;也可以在得到修正后的各颜色分量后,进一步采用光线在图像采集装置各通道的后向散射分量对修正后的各颜色分量再次进行修正,并采用经后向散射分量修正后的各颜色分量构建目标物体的标准图像,以进一步提高标准图像的清晰度。
本发明实施例三提供的衰减系数的确定方法,根据带宽衰减系数在各通道的衰减系数分量对水下图像相应颜色通道的颜色分量进行修正,并基于修正后的颜色分量构建目标物体的标准图像,可以提高标准图像所显示内容的准确性。提高用户的使用体验。
实施例四
本发明实施例四提供一种衰减系数的确定装置。该装置可由软件和/或硬件实现,一般可集成在具有图像处理能力的计算机设备中,可通过执行衰减系数的确定方法确定所述光线在RGB空间的带宽衰减系数。图4为本发明实施例四提供的衰减系数的确定装置的结构框图,如图4所示,该装置包括:
获取模块401,用于获取光线在当前水域中传输时的至少一个水体衰减系数;
计算模块402,用于根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。
本发明实施例四提供的衰减系数的确定装置,通过获取模块获取光线在当前水域中传输时的至少一个水体衰减系数;通过计算模块根据该水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。本发明实施例通过采用上述技术方案,通过普通的图像采集装置即可确定光线在RGB空间的带宽衰减系数,能够降低确定带宽衰减系数过程中对高配置硬件的依赖性,提高带宽衰减系数的确定效率,减少确定带宽衰减系数所需的成本和所耗费的时间。
在上述方案中,所述获取模块401可以包括:采集单元,用于在获取每个水体衰减系数时,通过图像采集装置分别在随机确定的第一采集点和第二采集点对样本物体进行图像采集,得到两张原始图像样本,其中,所述第一采集点、所述第二采集点和所述样本物体位于当前水域中的同一条直线上;处理单元,用于将所述两张原始图像样本处理为样本物体成像位置相同的两张图像样本,并将所述两张图像样本确定为目标图像样本;第一确定单元,用于根据所述两张目标图像样本的灰度值矩阵确定光线在所述当前水域传输时的水体衰减系数。
在上述方案中,所述处理单元可以用于:采用下述公式计算光线在当前水域传输时在第一采集点处的水体衰减系数:
其中,β(θ)z为光线在第一采集点处的水体衰减系数,DC(z)为第一采集点对应的第一目标图像样本的灰度值矩阵,DC(z+Δz)为第二采集点对应的第二目标图像样本的灰度值矩阵,θ为光线的波长,z为第一采集点与样本物体的距离,z+Δz为第二采集点与样本物体的距离。
在上述方案中,所述计算模块402可以包括:组合单元,用于将多个所述水体衰减系数任意两两组合,得到多个衰减系数对,其中,各水体衰减系数对应的采集点位于同一条经过物体样本的直线上;系数计算单元,用于分别采用每个衰减系数对以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的原始衰减系数;第二确定单元,用于根据各所述原始衰减系数确定所述光线在RGB空间的带宽衰减系数。
在上述方案中,所述计算单元可以用于:对于每个衰减系数对,采用下述公式计算光线在RGB空间的原始衰减系数:
其中,θ为光线的波长,β′C(θ)为光线的原始衰减系数,为光线在与样本物体的距离为z1的采集点处的水体衰减系数,光线在与样本物体的距离为z2的采集点处的水体衰减系数,τ为缩放常数,τ∈(0,1),SC(θ)为图像采集装置的光谱响应,σ为图像采集装置采集图像时的色彩误差系数,ρ(θ)为样本物体的反射光谱,E(θ)为光线的光照强度,μψ为色彩平滑系数。
在上述方案中,所述第二确定单元可以用于:计算各原始衰减系数的平均值,并将所述平均值确定为所述光线在RGB空间的带宽衰减系数。
进一步的,所述方法还可以包括:重建模块,用于采用所述带宽衰减系数对水下图像的颜色进行修正,得到目标物体的标准图像,所述水下图像为图像采集装置在所述当前水域中采集得到的目标物体的图像。
在上述方案中,所述重建模块可以包括:分量计算单元,用于计算所述带宽衰减系数在各颜色通道的衰减系数分量;修正单元,用于分别采用所述衰减系数分量对所述水下图像在相应颜色通道的颜色分量进行修正;重建单元,用于基于修正后的各颜色分量构建目标物体的标准图像。
在上述方案中,所述修正单元可以用于:分别采用下述公式对所述水下图像的在R通道、G通道和B通道的颜色分量进行修正:
其中,JP为修正后的P通道的颜色分量矩阵,DP为修正前的P通道的颜色分量矩阵,βP(θ)为带宽衰减系数在P通道的衰减系数分量,z为所述水下图像的拍摄距离。
本发明实施例四提供的衰减系数的确定装置可执行本发明任意实施例提供的衰减系数的确定方法,具备执行衰减系数的确定方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的衰减系数的确定方法。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图,如图5所示,该计算机设备包括处理器50和存储器51,还可以包括输入装置52和输出装置53;计算机设备中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;计算机设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的衰减系数的确定方法对应的程序指令/模块(例如,衰减系数的确定装置中的获取模块401和计算模块402)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的衰减系数的确定方法。
存储器51可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器51可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器51可进一步包括相对于处理器50远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置52可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种衰减系数的确定方法,该方法包括:
获取光线在当前水域中传输时的至少一个水体衰减系数;
根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的衰减系数的确定方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述衰减系数的确定装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种衰减系数的确定方法,其特征在于,包括:
获取光线在当前水域中传输时的至少一个水体衰减系数;
根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算所述光线在RGB空间的带宽衰减系数。
2.根据权利要求1所述的方法,其特征在于,所述获取光线在当前水域传输时的至少一个水体衰减系数,包括:
在获取每个水体衰减系数时,通过图像采集装置分别在随机确定的第一采集点和第二采集点对样本物体进行图像采集,得到两张原始图像样本,其中,所述第一采集点、所述第二采集点和所述样本物体位于当前水域中的同一条直线上;
将所述两张原始图像样本处理为样本物体成像位置相同的两张图像样本,并将所述两张图像样本确定为目标图像样本;
根据所述两张目标图像样本的灰度值矩阵确定光线在所述当前水域传输时的水体衰减系数。
3.根据权利要求2所述的方法,其特征在于,所述根据两张目标图像的灰度值矩阵确定光线在所述当前水域传输时的水体衰减系数,包括:
采用下述公式计算光线在当前水域传输时在第一采集点处的水体衰减系数:
其中,β(θ)z为光线在第一采集点处的水体衰减系数,DC(z)为第一采集点对应的第一目标图像样本的灰度值矩阵,DC(z+Δz)为第二采集点对应的第二目标图像样本的灰度值矩阵,θ为光线的波长,z为第一采集点与样本物体的距离,z+Δz为第二采集点与样本物体的距离。
4.根据权利要求1所述的方法,其特征在于,所述根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的带宽衰减系数,包括:
将多个所述水体衰减系数任意两两组合,得到多个衰减系数对,其中,各水体衰减系数对应的采集点位于同一条经过物体样本的直线上;
分别采用每个衰减系数对以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的原始衰减系数;
根据各所述原始衰减系数确定光线在RGB空间的带宽衰减系数。
5.根据权利要求4所述的方法,其特征在于,所述分别采用每个衰减系数对以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的原始衰减系数,包括:
对于每个衰减系数对,采用下述公式计算光线在RGB空间的原始衰减系数:
其中,θ为光线的波长,β′C(θ)为光线的原始衰减系数,为光线在与样本物体的距离为z1的采集点处的水体衰减系数,光线在与样本物体的距离为z2的采集点处的水体衰减系数,τ为缩放常数,τ∈(0,1),SC(θ)为图像采集装置的光谱响应,σ为图像采集装置采集图像时的色彩误差系数,ρ(θ)为样本物体的反射光谱,E(θ)为光线的光照强度,μψ为色彩平滑系数。
6.根据权利要求4所述的方法,其特征在于,所述根据各所述原始衰减系数确定光线在RGB空间的带宽衰减系数,包括:
计算各原始衰减系数的平均值,并将所述平均值确定为光线在RGB空间的带宽衰减系数。
7.根据权利要求1所述的方法,其特征在于,还包括:
采用所述带宽衰减系数对水下图像的颜色进行修正,得到目标物体的标准图像,所述水下图像为图像采集装置在所述当前水域中采集得到的目标物体的图像。
8.根据权利要求7所述的方法,其特征在于,所述采用所述带宽衰减系数对水下图像的颜色进行修正,得到目标物体的标准图像,包括:
计算所述带宽衰减系数在各颜色通道的衰减系数分量;
分别采用所述衰减系数分量对所述水下图像在相应颜色通道的颜色分量进行修正;
基于修正后的各颜色分量构建目标物体的标准图像。
9.根据权利要求8所述的方法,其特征在于,所述分别采用所述衰减系数分量对所述水下图像在相应颜色通道的颜色进行修正,包括:
分别采用下述公式对所述水下图像的在R通道、G通道和B通道的颜色分量进行修正:
其中,JP为修正后的P通道的颜色分量矩阵,DP为修正前的P通道的颜色分量矩阵,βP(θ)为带宽衰减系数在P通道的衰减系数分量,z为所述水下图像的拍摄距离。
10.一种衰减系数的确定装置,其特征在于,包括:
获取模块,用于获取光线在当前水域中传输时的至少一个水体衰减系数;
计算模块,用于根据所述水体衰减系数以及在所述光线下采集图像时的图像采集参数计算光线在RGB空间的带宽衰减系数。
11.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的水下图像的重建方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一所述的水下图像的重建方法。
CN201811155924.3A 2018-09-30 2018-09-30 衰减系数的确定方法、装置、计算机设备和存储介质 Active CN109410180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811155924.3A CN109410180B (zh) 2018-09-30 2018-09-30 衰减系数的确定方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811155924.3A CN109410180B (zh) 2018-09-30 2018-09-30 衰减系数的确定方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109410180A true CN109410180A (zh) 2019-03-01
CN109410180B CN109410180B (zh) 2021-09-21

Family

ID=65466680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811155924.3A Active CN109410180B (zh) 2018-09-30 2018-09-30 衰减系数的确定方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109410180B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111505659A (zh) * 2020-05-08 2020-08-07 中国科学院半导体研究所 水下去水体噪声计算三维成像方法及成像系统
CN112132925A (zh) * 2020-11-24 2020-12-25 上海彩虹鱼海洋科技股份有限公司 用于重建水下图像颜色的方法和装置
CN112804510A (zh) * 2021-01-08 2021-05-14 海南省海洋与渔业科学院 深水图像的色彩还真处理方法、装置、存储介质及相机

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104020088A (zh) * 2014-05-15 2014-09-03 清华大学深圳研究生院 一种基于图像处理获取空气中颗粒物浓度的方法
CN105654549A (zh) * 2015-12-31 2016-06-08 中国海洋大学 基于结构光技术和光度立体技术的水下三维重建装置及方法
CN105841813A (zh) * 2016-05-11 2016-08-10 浙江大学 水下空间三维光谱成像仪及成像方法
CN106248601A (zh) * 2016-09-14 2016-12-21 南京吉泽信息科技有限公司 一种利用oli数据估算水体漫衰减系数的模型方法
CN106802289A (zh) * 2017-01-20 2017-06-06 深圳大学 基于测深激光全波形数据的漫衰减系数提取方法及系统
CN107228842A (zh) * 2017-04-21 2017-10-03 苏州赛驰环境工程有限公司 一种水体透明度监测装置、方法以及系统
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN107256536A (zh) * 2017-06-05 2017-10-17 河海大学 一种基于色彩恒常性和群稀疏的水下图像复原方法
US9909927B1 (en) * 2016-06-22 2018-03-06 The United States Of America As Represented By The Secretary Of The Navy Optical attenuation coefficient meter
CN108564543A (zh) * 2018-04-11 2018-09-21 长春理工大学 一种基于电磁理论的水下图像色彩补偿方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104020088A (zh) * 2014-05-15 2014-09-03 清华大学深圳研究生院 一种基于图像处理获取空气中颗粒物浓度的方法
CN105654549A (zh) * 2015-12-31 2016-06-08 中国海洋大学 基于结构光技术和光度立体技术的水下三维重建装置及方法
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
CN105841813A (zh) * 2016-05-11 2016-08-10 浙江大学 水下空间三维光谱成像仪及成像方法
US9909927B1 (en) * 2016-06-22 2018-03-06 The United States Of America As Represented By The Secretary Of The Navy Optical attenuation coefficient meter
CN106248601A (zh) * 2016-09-14 2016-12-21 南京吉泽信息科技有限公司 一种利用oli数据估算水体漫衰减系数的模型方法
CN106802289A (zh) * 2017-01-20 2017-06-06 深圳大学 基于测深激光全波形数据的漫衰减系数提取方法及系统
CN107228842A (zh) * 2017-04-21 2017-10-03 苏州赛驰环境工程有限公司 一种水体透明度监测装置、方法以及系统
CN107256536A (zh) * 2017-06-05 2017-10-17 河海大学 一种基于色彩恒常性和群稀疏的水下图像复原方法
CN108564543A (zh) * 2018-04-11 2018-09-21 长春理工大学 一种基于电磁理论的水下图像色彩补偿方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
C. WAFO SOH: "Optimal filtering of measured spectral intensity, estimation of light attenuation coefficient and prediction of the euphotic zone in shallow waters", 《SPRINGERLINK》 *
DERYA AKKAYNAK 等: "What Is the Space of Attenuation Coefficients in Underwater Computer Vision?", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
JEFFERY D T 等: "Estimating sea-water volume attenuation coefficients from mid-frequency, deep-water experiments in the Atlantic and Pacific", 《ACOUSTICAL SOCIETY OF AMERICA》 *
S. SRIRANGAM 等: "Neural network-based estimation of light attenuation coefficient", 《PROCEEDINGS OF THE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 *
丁凯 等: "海南岛沿岸海域水体漫衰减系数光谱分析及LiDAR测深能力估算", 《光谱学与光谱分析》 *
杨宇: "水下多通道真彩色三维重建与颜色还原方法研究", 《中国博士学位论文全文数据库》 *
林婷婷: "基于比尔定律遍历像素矩阵的水下光学图像颜色恢复算法", 《中国科技信息》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111505659A (zh) * 2020-05-08 2020-08-07 中国科学院半导体研究所 水下去水体噪声计算三维成像方法及成像系统
CN111505659B (zh) * 2020-05-08 2023-10-03 中国科学院半导体研究所 水下去水体噪声计算三维成像方法及成像系统
CN112132925A (zh) * 2020-11-24 2020-12-25 上海彩虹鱼海洋科技股份有限公司 用于重建水下图像颜色的方法和装置
CN112804510A (zh) * 2021-01-08 2021-05-14 海南省海洋与渔业科学院 深水图像的色彩还真处理方法、装置、存储介质及相机

Also Published As

Publication number Publication date
CN109410180B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
Wang et al. Deep blind hyperspectral image fusion
Medina et al. A rapid and cost-effective pipeline for digitization of museum specimens with 3D photogrammetry
CA2460801C (en) Method for quantitative video-microscopy and associated system and computer software program product
CN100496402C (zh) 图像处理方法、图像处理系统以及x-射线ct系统
CN109410180A (zh) 衰减系数的确定方法、装置、计算机设备和存储介质
CN106897986B (zh) 一种基于多尺度分析的可见光图像与远红外图像融合方法
US20120082364A1 (en) Image processing system
US20030053712A1 (en) Method, program and apparatus for efficiently removing stray-flux effects by selected-ordinate image processing
CN108520488A (zh) 一种重构光谱并进行复制的方法以及电子设备
JP2010169467A (ja) 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
CN114170514A (zh) 水体蓝藻水华爆发的监测方法、装置、介质以及电子设备
Vlachos et al. An extensive literature review on underwater image colour correction
CN116972814A (zh) 主被动遥感融合的浅海水深探测方法、设备及存储介质
Cohn et al. Hubble Space Telescope/NICMOS observations of Terzan 5: stellar content and structure of the core
CN109662695A (zh) 荧光分子成像系统、装置、方法及存储介质
US8818124B1 (en) Methods, apparatus, and systems for super resolution of LIDAR data sets
Ahmad et al. Single-Image-Based 3D Reconstruction of Endoscopic Images
TW201250378A (en) Method and system for hybrid reticle inspection
CN114066873B (zh) 一种利用ct图像检测骨质疏松的方法及装置
CN109934342A (zh) 神经网络模型训练方法、深度图像修复方法及系统
Vernik et al. Mathematical estimation of particulate air pollution levels by aerosols tomography
Garrett et al. Accuracy of super-resolution for hyperspectral ocean observations
CN112700526B (zh) 凹凸材质图像渲染方法及装置
JP2003173449A (ja) リモートセンシング支援装置、そのプログラム並びにプログラム記録媒体
Maczkowski et al. Integrated method for three-dimensional shape and multispectral color measurement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221201

Address after: 518000 2nd floor, building a, Tsinghua campus, Shenzhen University Town, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Tsinghua Shenzhen International Graduate School

Address before: 518055 Nanshan Zhiyuan 1001, Xue Yuan Avenue, Nanshan District, Shenzhen, Guangdong.

Patentee before: TSINGHUA-BERKELEY SHENZHEN INSTITUTE