CN107105147A - 一种仿生超分辨成像传感器及成像方法 - Google Patents

一种仿生超分辨成像传感器及成像方法 Download PDF

Info

Publication number
CN107105147A
CN107105147A CN201710413455.XA CN201710413455A CN107105147A CN 107105147 A CN107105147 A CN 107105147A CN 201710413455 A CN201710413455 A CN 201710413455A CN 107105147 A CN107105147 A CN 107105147A
Authority
CN
China
Prior art keywords
mrow
mtd
eye
phase unit
compound eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710413455.XA
Other languages
English (en)
Other versions
CN107105147B (zh
Inventor
曹杰
郝群
闫雷
程雪岷
王子寒
张芳华
王新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute Of Beijing University Of Technology Jiaxing
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201710413455.XA priority Critical patent/CN107105147B/zh
Publication of CN107105147A publication Critical patent/CN107105147A/zh
Application granted granted Critical
Publication of CN107105147B publication Critical patent/CN107105147B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开的一种仿生超分辨成像传感器及成像方法,涉及一种成像传感器及成像方法,属于光学成像技术领域。本发明公开的一种仿生超分辨成像传感器,包括旋转双光楔、仿复眼探测相机组、分光镜、仿复眼凝视相机组、图像处理模块、中央控制器和伺服电机。旋转双光楔用于调整场景中感兴趣区域在视野中的位置;仿复眼探测组用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测。本发明还公开基于所述的一种仿生超分辨成像传感器实现的成像方法,本发明提供一种具有大视场成像和小凹成像的成像模式切换功能的成像传感器及成像方法,能够实现感兴趣区域的两次探测和判断,准确率较高。

Description

一种仿生超分辨成像传感器及成像方法
技术领域
本发明属于光学成像技术领域,涉及一种成像传感器及成像方法,尤其涉及一种具有大视场成像和小凹成像的成像模式切换功能的成像传感器及成像方法。
背景技术
仿生图像传感器是利用光学、微电子和机械等技术,模仿生物的结构和功能原理而进行成像视觉传感器。昆虫复眼具有大视场,体积小,高响应,时间分辨率高等优点,在运动目标探测、目标识别以及微小型超分辨率成像系统设计方面具有优势;人眼小凹成像可以实现对感兴趣区域的高分辨率成像,用于目标识别和跟踪,同时压缩边缘无关区域的信息量,用于显著特征(如运动)探测,这种空间非均匀采样结构提高了信息利用率,在目标识别、目标检索以及自动对焦等领域具有优势。复眼和人眼仿生吸引了大量研究者对仿生成像系统的研发。随着微机械加工技术、微电子以及图像处理算法的迅猛发展,仿生成像系统的集成度越来越高,运算能力不断增强,图像分辨率越来越高,现已广泛用于监控、制导、航空、航天等领域。
传统的仿生复眼系统分为平面型复眼和曲面型复眼。其中平面型复眼的相邻子眼视场基本相同,其图像之间存在亚像素级位移,根据人眼固视微动原理,平面型复眼主要用于超分辨率图像重构,所得图像的空间分辨率不仅超越了图像传感器的尼奎斯特采样频率,甚至可获得接近光学系统衍射极限的空间角分辨率。但由于超分辨率重构要求子眼阵列具有较大视场重叠,因此系统的全视场范围受限,同时全局超分辨率重构图像带来大量冗余数据,降低后端图像处理的效率。曲面型复眼主要用于大视场成像,相邻子眼的视场重叠是为了全视场覆盖,避免视场丢失,因此曲面型复眼容易获取大视场,但在超分辨率成像方面的性能受限。传统的仿人眼成像方法分为两种,一种是基于CMOS或CCD微电子制造技术设计和制造的仿人眼图像传感器,实现像素的空间非均匀排布(如对数极坐标映射),可通过辅助电路直接读取具有小凹视觉特征的图像,实现感兴趣区域高分辨率成像,边缘无关区域低分辨率成像。但该图像传感器成本太高,技术尚不成熟,且现阶段的凝视点选取策略仍然亟待解决。此外,对比曲面型复眼成像系统,单孔径成像方法不能满足大视场需求。另一种仿人眼成像方法利用多传感器结构,以大视场、低空间分辨率传感器实现大视场成像,可用于对目标细节要求低的任务,如目标探测,以小视场、高空间分辨率传感器实现感兴趣区域成像,用于精确目标识别等。该方法可利用市场上的已有成像模块进行集成,成本低,但与仿复眼成像系统的超分辨率重构相比,其分辨率仍受图像传感器的吉奎斯特频率限制,且该方法仍然依靠单目实现大视场成像,无法满足大视场需求。综上所述,单独依靠复眼仿生或人眼仿生的成像传感器已无法需求。
发明内容
本发明公开的一种仿生超分辨成像传感器及成像方法要解决的技术问题是:提供一种具有大视场成像和小凹成像的成像模式切换功能的成像传感器及成像方法,能够实现感兴趣区域的两次探测和判断,准确率较高。
本发明的目的是通过下述技术方案实现的。
本发明公开的一种仿生超分辨成像传感器包括旋转双光楔、仿复眼探测相机组、分光镜、仿复眼凝视相机组、图像处理模块、中央控制器和伺服电机。旋转双光楔用于调整场景中感兴趣区域在视野中的位置;仿复眼探测相机组用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测;分光镜将入射光线分为正交的两束光,分别进入仿复眼探测相机组和仿复眼凝视相机组成像;仿复眼凝视相机组用于实现小凹成像效果,对感兴趣区域清晰成像;图像处理模块对于接收的图像的重叠区域进行超分辨率重构,实现重叠区域的清晰成像,并实现感兴趣区域的识别和判断,将结果输出到中央控制器中;中央控制器根据参数和阈值对比控制伺服电机的相位调整,进而调节旋转双光楔的凝视点位置,实现感兴趣区域的优化凝视。
旋转双光楔与仿复眼凝视相机组的光轴重合,分光镜和光轴成45°角,仿复眼探测相机组的光轴旋转双光楔的光轴垂直,仿复眼探测相机组和仿复眼凝视相机组的成像结果可以输送到图像处理模块中,图像处理模块通过接收和处理不同的相机组的成像实现工作模式的选择。
所述的仿复眼探测相机组是由多个子眼相机组成的成像阵列,每个子眼相机之间的视场角都存在重合区域。仿复眼凝视相机组是多个子眼组成的成像阵列,每个子眼相机之间的视场角都存在重合区域。仿复眼凝视相机组中的子眼相机的视场角要小于仿复眼探测相机组中的子眼相机的视场角。所述的仿复眼探测相机组包含的子眼相机数量和子眼相机的视场角度根据探测视场角度范围大小和仿复眼探测相机组体积大小而定。所述的仿复眼凝视相机组包含的子眼相机数量和子眼相机的视场角度根据凝视视场角度范围大小和仿复眼凝视相机组体积大小而定。子眼相机的感光元件采用CCD或CMOS。
本发明还公开的基于所述的一种仿生超分辨成像传感器实现的成像方法,包括如下步骤:
步骤一:仿复眼探测相机组成像。初始模式为大视场探测模式。图像处理模块接收来自仿复眼探测相机组的大视场成像。外部光线经过旋转双光楔和分光镜进入仿复眼探测相机组,仿复眼探测相机组的相机对当前场景进行仿复眼大视场成像。
步骤二:对步骤一中得到的大视场图像进行超分辨率重构。
利用感兴趣区域探测算法进行感兴趣区域提取。步骤一中同时获得仿复眼探测相机组的多个子眼图像,相邻子眼相机的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨率重构算法能获得更多的重叠区域信息。此外,超分辨率重构图像还能够实现仿复眼探测相机组多子眼的视场拼接,得到仿复眼探测相机组的全视场图像。进而利用感兴趣区域的探测算法,对全视场图像中可能存在的感兴趣区域进行探测。若没有发现感兴趣区域,则返回步骤一;若发现感兴趣区域,将感兴趣区域的位置等信息输入到中央控制器中。
所述探测算法优选区域生长算法。
步骤三:通过调节旋转双光楔相位调整凝视点位置。
根据步骤二中的感兴趣区域位置,在中央控制器中生成指令,控制伺服电机的旋转角度,进而调节旋转双光楔的相位,实现凝视点的变化。
步骤三的具体实现方法为:旋转双光楔中第一光楔、第二光楔的楔角分别为α1和α2,材料折射率分别为n1、n2。旋转双光楔在初始状态(静态)下,第一光楔和第二光楔的光轴截面均与XOZ平面重合,且沿X轴负方向厚度递增。γ为入射光线与光轴的夹角。定义旋转双光楔厚度递减的方向为正。δ为出射光线与光轴的夹角。
笛卡尔坐标系下光学元件的静态作用矩阵R为:
其中cos(x,^x')指入射光坐标系x轴和出射光坐标系^x'轴的夹角余弦。公式中其他余弦值代表的含义与上述含义相同。单光楔(指第一光楔或第二光楔)的功能是对入射光矢量产生绕Y轴顺时针为δi的偏转,静态单光楔的作用矩阵RXi为:
式中:δi=(ni-1)αi,i=1,2。
旋转双光楔的特点在于每个光楔在伺服系统的控制下能够独立绕Z轴以ω1、ω2的角速度旋转,定义逆时针转动为正向转动。某一时刻t,每个单光楔与成像坐标系X轴负轴的绝对角度θ1t、θ2t分别为:
θit=ωiti0,i=1,2
式中,θi0为相应光楔的零时刻的绝对角度。绕Z轴旋转θit(逆时针为正)的旋转矩阵rit为:
某一时刻,出射光Outt(δ)的矢量表达式为:
式中:为rit的逆矩阵。根据出射光Outt(δ)公式,通过改变旋转双光楔的形状、旋转方向和速度,能够在XOY平面内获得出射光不同的轨迹,即实现仿复眼凝视相机组中凝视点的改变。
步骤四:仿复眼凝视相机组成像。
经过步骤三中旋转双光楔的相位调整,相机凝视在感兴趣区域。图像处理模块接收仿复眼凝视相机组的小视场、高分辨成像。外部光线经过旋转双光楔和分光镜进入仿复眼凝视相机组,此时的成像区域更多的凝视在步骤二中发现的感兴趣区域。仿复眼凝视相机组的视场角要小于仿复眼探测相机组的视场角,所以在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。
步骤五:对步骤四中的仿复眼凝视相机组成像的图像进行图像处理。
步骤四是工作在仿复眼凝视相机组模式下,能够同时获得多个仿复眼凝视相机组的子眼图像,相邻子眼的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨重构算法能获得更多的重叠区域信息。由于仿复眼凝视组相机的视场角小于仿复眼探测组相机的视场角,因此在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。步骤四中凝视在感兴趣区域,对此区域进行超分辨率重构,能获得感兴趣区域的更高空间分辨率图像。
步骤六:对步骤五中超分辨重构后的感兴趣区域进行优化凝视。
步骤五对感兴趣区域进行小视场、高分辨率成像,形成小凹成像效果,步骤六中首先利用感兴趣区域探测算法进行第二次判定,使得结果的准确率大大提高。若判定结果为区域并不是所要求的感兴趣区域,重新返回步骤一,进入仿复眼探测相机组工作模式;若判定结果是所要求的感兴趣区域,认为该区域是最终的感兴趣区域。将最终的感兴趣区域的位置信息等计算结果与步骤三中的凝视点区域进行重合度计算。若重合度小于阈值,认为凝视过程有待优化,返回步骤三;若重合度大于阈值,认为凝视过程工作在最优状态,即实现感兴趣区域的最优凝视。步骤六中的感兴趣区域探测算法采用区域生长法,重合度阈值大小可以人为设定。
步骤七:任务扩展。将步骤六中实现的感兴趣区域的最优凝视结果,应用于实现基于感兴趣区域的扩展任务。如目标识别和目标跟踪等。
有益效果:
1、本发明公开的一种仿生超分辨成像传感器及成像方法,可同时实现大视场和高分辨率成像,通过仿复眼探测相机组,多个子眼对可能存在感兴趣区域的场景实现大视场成像,并且通过超分辨率重构提高子眼重叠区域的图像分辨率。仿复眼凝视相机组进行小视场凝视成像,进一步提高感兴趣区域的图像分辨率,与仿复眼探测相机组(2)结合,实现小凹成像效果。
2、本发明公开的一种仿生超分辨成像传感器及成像方法,采用旋转双光楔像移补偿原理,通过精确控制旋转双光楔的相位能够实现凝视点位置的准确控制。
3、本发明公开的一种仿生超分辨成像传感器及成像方法,能够外扩各种基于感兴趣区域的后续应用,如目标识别、跟踪等,具有较好的扩展性。
附图说明
图1为本发明公开的一种仿生超分辨成像传感器结构图;
图2为实例中子眼阵列的排列方式;
图3为本发明公开的一种仿生超分辨成像传感器的成像方法工作流程图;
图4为旋转双光楔工作原理图;
其中:1-旋转双光楔、2-仿复眼探测相机组、3-分光镜,4-仿复眼凝视相机组,5-图像处理模块,6-中央控制器和7-伺服电机。
具体实施方式
以下结合附图对本发明的具体实施方式进行说明。
实施例一:
如图1所示,本实施例公开的一种仿生超分辨成像传感器包括旋转双光楔1、仿复眼探测相机组2、分光镜3、仿复眼凝视相机组4、图像处理模块5、中央控制器6和伺服电机7。旋转双光楔1用于调整场景中感兴趣区域在视野中的位置;仿复眼探测组2用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测;分光镜3将入射光线分为正交的两束光,分别进入仿复眼探测相机组2和仿复眼凝视相机组4成像;仿复眼凝视相机组4用于实现小凹成像效果,对感兴趣区域清晰成像;图像处理模块5对于接收的图像的重叠区域进行超分辨率重构,实现重叠区域的清晰成像,并实现感兴趣区域的识别和判断,将结果输出到中央控制器6中;中央控制器6根据参数和阈值对比控制伺服电机7的相位调整,进而调节旋转双光楔1的凝视点位置,实现仿复眼探测相机组2和仿复眼凝视相机组4的工作模式的选择或者优化。
如图2所示,子眼相机的参数选择如下:仿复眼探测相机组2中包含四个子眼相机,子眼水平和竖直方向成十字排列。水平子眼的视场角为18.26°,水平子眼视场角度重叠为9.13°,在水平方向上实现视场角扩大1.5倍,即27.39°.竖直子眼的视场角设计为13.75°,竖直的子眼视场角度设计重叠6.87°,在竖直方向上实现视场角扩大1.5倍,即20.62°在仿复眼探测相机组2中,通过子眼阵列实现大视场成像。图像处理模块5对成像区域进行超分辨率重构和感兴趣区域探测。
本实施例公开的仿复眼凝视相机组4中包含四个子眼相机,子眼水平和竖直方向成十字排列。水平子眼的视场角设计为4.08°,水平的子眼视场角度设计重叠2.04°,在水平方向上实现视场角扩大1.5倍,即6.12°竖直子眼的视场角设计为3.06°,竖直的子眼视场角度设计重叠1.53°,在竖直方向上实现视场角扩大1.5倍,即4.59°与仿复眼探测相机组2相比,仿复眼凝视相机组4的视场小,能对感兴趣区域更清晰成像,实现类似人眼的小凹成像效果。
仿复眼探测相机组2和仿复眼凝视相机组4中子眼阵列的成像器件采用CMOS元件。
如图3所示,本实施例还公开的基于所述的一种仿生超分辨成像传感器实现的成像方法,包括如下步骤:
步骤一:仿复眼探测相机组2成像。初始模式为大视场探测模式。图像处理模块5接收来自仿复眼探测相机组2的大视场成像。外部光线经过旋转双光楔1和分光镜3进入仿复眼探测相机组2,仿复眼探测相机组2的相机对当前场景进行仿复眼大视场成像。
步骤二:对步骤一中得到的大视场图像进行超分辨率重构。
利用感兴趣区域探测算法进行感兴趣区域提取。步骤一中同时获得仿复眼探测相机组2的多个子眼图像,相邻子眼相机的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨率重构算法能获得更多的重叠区域信息。此外,超分辨率重构图像还能够实现仿复眼探测相机组2多子眼的视场拼接,得到仿复眼探测相机组2的全视场图像。进而利用感兴趣区域的探测算法,对全视场图像中可能存在的感兴趣区域进行探测。若没有发现感兴趣区域,则返回步骤一;若发现感兴趣区域,将感兴趣区域的位置等信息输入到中央控制器6中。
所述探测算法优选区域生长算法。
步骤三:通过调节旋转双光楔1相位调整凝视点位置。
根据步骤二中的感兴趣区域位置,在中央控制器6中生成指令,控制伺服电机7的旋转角度,进而调节旋转双光楔1的相位,实现凝视点的变化。
步骤三的具体实现方法为:旋转双光楔1中第一光楔、第二光楔的楔角分别为α1和α2,材料折射率分别为n1、n2。旋转双光楔1在初始状态(静态)下,第一光楔和第二光楔的光轴截面均与XOZ平面重合,且沿X轴负方向厚度递增。γ为入射光线与光轴的夹角。定义旋转双光楔1厚度递减的方向为正。δ为出射光线与光轴的夹角。
笛卡尔坐标系下光学元件的静态作用矩阵R为:
其中cos(x,^x')指入射光坐标系x轴和出射光坐标系^x'轴的夹角余弦。公式中其他余弦值代表的含义与上述含义相同。所述的单光楔指第一光楔或第二光楔。单光楔的功能是对入射光矢量产生绕Y轴顺时针为δi的偏转,静态单光楔的作用矩阵RXi为:
式中:δi=(ni-1)αi,i=1,2。
旋转双光楔1的特点在于每个光楔在伺服系统的控制下能够独立绕Z轴以ω1、ω2的角速度旋转,定义逆时针转动为正向转动。某一时刻t,每个单光楔与成像坐标系X轴负轴的绝对角度θ1t、θ2t分别为:
θit=ωiti0,i=1,2
式中,θi0为相应光楔的零时刻的绝对角度。绕Z轴旋转θit(逆时针为正)的旋转矩阵rit为:
某一时刻,出射光Outt(δ)的矢量表达式为:
式中:为rit的逆矩阵。根据出射光Outt(δ)公式,通过改变旋转双光楔1的形状、旋转方向和速度,能够在XOY平面内获得出射光不同的轨迹,即实现仿复眼凝视相机组4中凝视点的改变。
步骤四:仿复眼凝视相机组4成像。
经过步骤三中旋转双光楔1的相位调整,相机凝视在感兴趣区域。图像处理模块5接收仿复眼凝视相机组4的小视场、高分辨成像。外部光线经过旋转双光楔1和分光镜3进入仿复眼凝视相机组4,此时的成像区域更多的凝视在步骤二中发现的感兴趣区域。仿复眼凝视相机组4的视场角要小于仿复眼探测相机组2的视场角,所以在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。
步骤五:对步骤四中的仿复眼凝视相机组4成像的图像进行图像处理。
步骤四是工作在仿复眼凝视相机组4模式下,能够同时获得多个仿复眼凝视相机组4的子眼图像,相邻子眼的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨重构算法能获得更多的重叠区域信息。由于仿复眼凝视组相机4的视场角小于仿复眼探测组相机2的视场角,因此在像素数量不变的情况下,视场角减小,图像的空间分辨率提高。步骤四中系统凝视在感兴趣区域,对此区域进行超分辨率重构,能获得感兴趣区域的更高空间分辨率图像。
步骤六:对步骤五中超分辨重构后的感兴趣区域进行优化凝视。
步骤五对感兴趣区域进行小视场、高分辨率成像,形成小凹成像效果,步骤六中首先利用感兴趣区域探测算法进行第二次判定,使得结果的准确率大大提高。若判定结果为区域并不是所要求的感兴趣区域,重新返回步骤一,进入仿复眼探测相机组2工作模式;若判定结果是所要求的感兴趣区域,认为该区域是最终的感兴趣区域。将最终的感兴趣区域的位置信息等计算结果与步骤三中的凝视点区域进行重合度计算。若重合度小于阈值,认为凝视过程有待优化,返回步骤三;若重合度大于阈值,认为凝视过程工作在最优状态,即实现感兴趣区域的最优凝视。步骤六中的感兴趣区域探测算法采用区域生长法,重合度阈值大小可以人为设定。
步骤七:任务扩展。将步骤六中实现的感兴趣区域的最优凝视结果,应用于实现基于感兴趣区域的扩展任务。如目标识别和目标跟踪等。
以上仅为本发明的较好工作流程,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种仿生超分辨成像传感器,其特征在于:包括旋转双光楔(1)、仿复眼探测相机组(2)、分光镜(3)、仿复眼凝视相机组(4)、图像处理模块(5)、中央控制器(6)和伺服电机(7);旋转双光楔(1)用于调整场景中感兴趣区域在视野中的位置;仿复眼探测相机组(2)用于模拟昆虫复眼实现大视场成像,能够对目标可能存在的区域进行大视场探测;分光镜(3)将入射光线分为正交的两束光,分别进入仿复眼探测相机组(2)和仿复眼凝视相机组(4)成像;仿复眼凝视相机组(4)用于实现小凹成像效果,对感兴趣区域清晰成像;图像处理模块(5)对于接收的图像的重叠区域进行超分辨率重构,实现重叠区域的清晰成像,并实现感兴趣区域的识别和判断,将结果输出到中央控制器(6)中;中央控制器(6)根据参数和阈值对比控制伺服电机(7)的相位调整,进而调节旋转双光楔(1)的凝视点位置,实现感兴趣区域的优化凝视;
旋转双光楔(1)与仿复眼凝视相机组(4)的光轴重合,分光镜(3)和光轴成45°角,仿复眼探测相机组(2)的光轴与旋转双光楔(1)的光轴垂直,仿复眼探测相机组(2)和仿复眼凝视相机组(4)的成像结果可以输送到图像处理模块(5)中,图像处理模块(5)通过接收和处理不同的相机组的成像实现工作模式的选择。
2.如权利要求1所述的一种仿生超分辨成像传感器,其特征在于:所述的仿复眼探测相机组(2)是由多个子眼相机组成的成像阵列,每个子眼相机之间的视场角都存在重合区域;仿复眼凝视相机组(4)是多个子眼组成的成像阵列,每个子眼相机之间的视场角都存在重合区域;仿复眼凝视相机组(4)中的子眼相机的视场角要小于仿复眼探测相机组(2)中的子眼相机的视场角;所述的仿复眼探测相机组(2)包含的子眼相机数量和子眼相机的视场角度根据探测视场角度范围大小和仿复眼探测相机组(2)体积大小而定;所述的仿复眼凝视相机组(4)包含的子眼相机数量和子眼相机的视场角度根据凝视视场角度范围大小和仿复眼凝视相机组(4)体积大小而定;子眼相机的感光元件采用CCD或CMOS。
3.如权利要求2所述的一种仿生超分辨成像传感器,其特征在于:仿复眼探测相机组(2)中包含四个子眼相机,子眼水平和竖直方向成十字排列;水平子眼的视场角为18.26°,水平子眼视场角度重叠为9.13°,在水平方向上实现视场角扩大1.5倍,即27.39°.竖直子眼的视场角设计为13.75°,竖直的子眼视场角度设计重叠6.87°,在竖直方向上实现视场角扩大1.5倍,即20.62°;在仿复眼探测相机组(2)中,通过子眼阵列实现大视场成像;图像处理模块(5)对成像区域进行超分辨率重构和感兴趣区域探测;
仿复眼凝视相机组(4)中包含四个子眼相机,子眼水平和竖直方向成十字排列;水平子眼的视场角设计为4.08°,水平的子眼视场角度设计重叠2.04°,在水平方向上实现视场角扩大1.5倍,即6.12°;竖直子眼的视场角设计为3.06°,竖直的子眼视场角度设计重叠1.53°,在竖直方向上实现视场角扩大1.5倍,即4.59°;与仿复眼探测相机组(2)相比,仿复眼凝视相机组(4)的视场小,能对感兴趣区域更清晰成像,实现类似人眼的小凹成像效果。
4.基于权利要求1、2或3所述的一种仿生超分辨成像传感器实现的一种仿生超分辨成像方法,其特征在于:包括如下步骤,
步骤一:仿复眼探测相机组(2)成像;初始模式为大视场探测模式;图像处理模块(5)接收来自仿复眼探测相机组(2)的大视场成像;外部光线经过旋转双光楔(1)和分光镜(3)进入仿复眼探测相机组(2),仿复眼探测相机组(2)的相机对当前场景进行仿复眼大视场成像;
步骤二:对步骤一中得到的大视场图像进行图像处理;
利用感兴趣区域探测算法进行感兴趣区域提取;步骤一中同时获得仿复眼探测相机组(2)的多个子眼图像,相邻子眼相机的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨率重构算法能获得更多的重叠区域信息;此外,超分辨率重构图像还能够实现仿复眼探测相机组(2)多子眼的视场拼接,得到仿复眼探测相机组(2)的全视场图像;进而利用感兴趣区域的探测算法,对全视场图像中可能存在的感兴趣区域进行探测;若没有发现感兴趣区域,则返回步骤一;若发现感兴趣区域,将感兴趣区域的位置等信息输入到中央控制器(6)中;
步骤三:通过调节旋转双光楔(1)相位调整凝视点位置;
根据步骤二中的感兴趣区域位置,在中央控制器(6)中生成指令,控制伺服电机(7)的旋转角度,进而调节旋转双光楔(1)的相位,实现凝视点的变化;
步骤四:仿复眼凝视相机组(4)成像;
经过步骤三中旋转双光楔(1)的相位调整,相机凝视在感兴趣区域;图像处理模块(5)接收仿复眼凝视相机组(4)的小视场、高分辨成像;外部光线经过旋转双光楔(1)和分光镜(3)进入仿复眼凝视相机组(4),此时的成像区域更多的凝视在步骤二中发现的感兴趣区域;仿复眼凝视相机组(4)的视场角要小于仿复眼探测相机组(2)的视场角,所以在像素数量不变的情况下,视场角减小,图像的空间分辨率提高;
步骤五:对步骤四中的仿复眼凝视相机组(4)成像的图像进行图像处理;
步骤四是工作在仿复眼凝视相机组(4)模式下,能够同时获得多个仿复眼凝视相机组(4)的子眼图像,相邻子眼的图像存在视场重叠,在重叠区域具有较高的采样频率,所获得的信息量更多,利用超分辨重构算法能获得更多的重叠区域信息;由于仿复眼凝视组相机(4)的视场角小于仿复眼探测组相机(2)的视场角,因此在像素数量不变的情况下,视场角减小,图像的空间分辨率提高;步骤四中凝视在感兴趣区域,对此区域进行超分辨率重构,能获得感兴趣区域的更高空间分辨率图像;
步骤六:对步骤五中超分辨重构后的感兴趣区域进行优化凝视;
步骤五对感兴趣区域进行小视场、高分辨率成像,形成小凹成像效果,步骤六中首先利用感兴趣区域探测算法进行第二次判定,使得结果的准确率大大提高;若判定结果为区域并不是所要求的感兴趣区域,重新返回步骤一,进入仿复眼探测相机组(2)工作模式;若判定结果是所要求的感兴趣区域,认为该区域是最终的感兴趣区域;将最终的感兴趣区域的位置信息等计算结果与步骤三中的凝视点区域进行重合度计算;若重合度小于阈值,认为凝视过程有待优化,返回步骤三;若重合度大于阈值,认为凝视过程工作在最优状态,即实现感兴趣区域的最优凝视;步骤六中的感兴趣区域探测算法采用区域生长法,重合度阈值大小人为设定。
5.如权利要求4所述的一种仿生超分辨成像方法,其特征在于:还包括步骤七:任务扩展;将步骤六中实现的感兴趣区域的最优凝视结果,应用于实现基于感兴趣区域的扩展任务。
6.如权利要求5所述的一种仿生超分辨成像方法,其特征在于:步骤七所述的扩展任务包括目标识别和目标跟踪。
7.如权利要求4或5所述的一种仿生超分辨成像方法,其特征在于:步骤三的具体实现方法为:旋转双光楔(1)中第一光楔、第二光楔的楔角分别为α1和α2,材料折射率分别为n1、n2;旋转双光楔(1)在初始状态(静态)下,第一光楔和第二光楔的光轴截面均与XOZ平面重合,且沿X轴负方向厚度递增;γ为入射光线与光轴的夹角;定义旋转双光楔(1)厚度递减的方向为正;δ为出射光线与光轴的夹角;
笛卡尔坐标系下光学元件的静态作用矩阵R为:
<mrow> <mi>R</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>y</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>z</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>z</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>z</mi> <mo>,</mo> <mo>^</mo> <msup> <mi>z</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中cos(x,^x')指入射光坐标系x轴和出射光坐标系^x'轴的夹角余弦;公式中其他余弦值代表的含义与上述含义相同;单光楔(指第一光楔或第二光楔)的功能是对入射光矢量产生绕Y轴顺时针为的偏转,静态单光楔的作用矩阵RXi为:
<mrow> <msub> <mi>R</mi> <mrow> <mi>X</mi> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>cos&amp;delta;</mi> <mi>i</mi> </msub> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <msub> <mi>sin&amp;delta;</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>sin&amp;delta;</mi> <mi>i</mi> </msub> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <msub> <mi>cos&amp;delta;</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> </mrow>
式中:δi=(ni-1)αi,i=1,2;
旋转双光楔(1)的特点在于每个光楔在伺服系统的控制下能够独立绕z轴以ω1、ω2的角速度旋转,定义逆时针转动为正向转动;某一时刻t,每个单光楔与成像坐标系X轴负轴的绝对角度θ1t、θ2t分别为:
θit=ωit+θi0,i=1,2
式中,θi0为相应光楔的零时刻的绝对角度;绕z轴旋转θit(逆时针为正)的旋转矩阵rit为:
<mrow> <msub> <mi>r</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <msub> <mi>cos&amp;theta;</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>sin&amp;theta;</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <msub> <mi>sin&amp;theta;</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> </mrow> </mtd> <mtd> <mrow> <msub> <mi>cos&amp;theta;</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> </mrow>
某一时刻,出射光Outt(δ)的矢量表达式为:
<mrow> <msub> <mi>Out</mi> <mi>t</mi> </msub> <mrow> <mo>(</mo> <mi>&amp;delta;</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>r</mi> <mrow> <mn>2</mn> <mi>t</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>R</mi> <mrow> <mi>X</mi> <mn>2</mn> </mrow> </msub> <msub> <mi>r</mi> <mrow> <mn>2</mn> <mi>t</mi> </mrow> </msub> <msubsup> <mi>r</mi> <mrow> <mn>1</mn> <mi>t</mi> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <msub> <mi>R</mi> <mrow> <mi>X</mi> <mn>1</mn> </mrow> </msub> <msub> <mi>r</mi> <mrow> <mn>1</mn> <mi>t</mi> </mrow> </msub> <mi>I</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>&amp;gamma;</mi> <mo>)</mo> </mrow> </mrow>
式中:为rit的逆矩阵;根据出射光Outt(δ)公式,通过改变旋转双光楔(1)的形状、旋转方向和速度,能够在XOY平面内获得出射光不同的轨迹,即实现仿复眼凝视相机组(4)中凝视点的改变。
8.如权利要求4或5所述的一种仿生超分辨成像方法,其特征在于:步骤二所述探测算法选区域生长算法。
CN201710413455.XA 2017-06-05 2017-06-05 一种仿生超分辨成像传感器及成像方法 Active CN107105147B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710413455.XA CN107105147B (zh) 2017-06-05 2017-06-05 一种仿生超分辨成像传感器及成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710413455.XA CN107105147B (zh) 2017-06-05 2017-06-05 一种仿生超分辨成像传感器及成像方法

Publications (2)

Publication Number Publication Date
CN107105147A true CN107105147A (zh) 2017-08-29
CN107105147B CN107105147B (zh) 2019-06-21

Family

ID=59659128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710413455.XA Active CN107105147B (zh) 2017-06-05 2017-06-05 一种仿生超分辨成像传感器及成像方法

Country Status (1)

Country Link
CN (1) CN107105147B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108548732A (zh) * 2018-05-28 2018-09-18 吉林大学 用于太赫兹原位冲击测试的仿生骨骼样品及制备方法
CN108648147A (zh) * 2018-05-08 2018-10-12 北京理工大学 一种人眼视网膜机理的超分辨率图像获取方法及系统
CN109163809A (zh) * 2018-09-25 2019-01-08 北京理工大学 多孔径视场部分重叠的双波段热成像方法与装置
CN109822574A (zh) * 2019-03-20 2019-05-31 华中科技大学 一种工业机器人末端六维力传感器标定的方法
CN110595624A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型四孔径视场部分重叠仿生热成像系统
CN110595625A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型五孔径视场部分重叠仿生热成像系统
CN110824490A (zh) * 2019-09-27 2020-02-21 深圳奥锐达科技有限公司 一种动态距离测量系统及方法
CN111398898A (zh) * 2020-04-08 2020-07-10 中国科学院长春光学精密机械与物理研究所 用于大视场三维运动探测的神经拟态仿生曲面复眼系统
CN111895934A (zh) * 2020-07-31 2020-11-06 北京理工大学 一种光学元件表面局部陡度面形误差干涉测量方法及装置
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微系统与信息技术研究所 一种目标定位方法、装置、系统、设备及存储介质
CN112987557A (zh) * 2021-02-04 2021-06-18 上海航天控制技术研究所 一种基于双光楔红外成像的跟踪控制方法
CN113132658A (zh) * 2021-04-16 2021-07-16 中国科学院上海高等研究院 基于仿生图像传感器的数据处理方法、装置、设备和介质
CN113759543A (zh) * 2021-09-18 2021-12-07 福州大学 一种基于旋转双棱镜成像系统实现灵活中央凹成像的方法
CN114630024A (zh) * 2022-01-21 2022-06-14 北京航空航天大学 一种基于阵列相机系统的仿视网膜非均匀成像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572220A (zh) * 2012-02-28 2012-07-11 北京大学 3-3-2空间信息转换新模式的仿生复眼运动目标检测
CN103200357A (zh) * 2012-01-04 2013-07-10 苏州科泽数字技术有限公司 全景凝视网络摄像机构建方法与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103200357A (zh) * 2012-01-04 2013-07-10 苏州科泽数字技术有限公司 全景凝视网络摄像机构建方法与装置
CN102572220A (zh) * 2012-02-28 2012-07-11 北京大学 3-3-2空间信息转换新模式的仿生复眼运动目标检测

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王永松,郝群,宋勇,黄涛: "基于昆虫复眼技术的全视场运动目标监测系统", 《光学技术》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648147B (zh) * 2018-05-08 2021-04-30 北京理工大学 一种人眼视网膜机理的超分辨率图像获取方法及系统
CN108648147A (zh) * 2018-05-08 2018-10-12 北京理工大学 一种人眼视网膜机理的超分辨率图像获取方法及系统
CN108548732A (zh) * 2018-05-28 2018-09-18 吉林大学 用于太赫兹原位冲击测试的仿生骨骼样品及制备方法
CN108548732B (zh) * 2018-05-28 2023-05-16 吉林大学 用于太赫兹原位冲击测试的仿生骨骼样品及制备方法
CN109163809A (zh) * 2018-09-25 2019-01-08 北京理工大学 多孔径视场部分重叠的双波段热成像方法与装置
CN109822574A (zh) * 2019-03-20 2019-05-31 华中科技大学 一种工业机器人末端六维力传感器标定的方法
CN110595624A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型四孔径视场部分重叠仿生热成像系统
CN110595625A (zh) * 2019-09-17 2019-12-20 北京理工大学 一种“十”字型五孔径视场部分重叠仿生热成像系统
CN110824490A (zh) * 2019-09-27 2020-02-21 深圳奥锐达科技有限公司 一种动态距离测量系统及方法
CN111398898A (zh) * 2020-04-08 2020-07-10 中国科学院长春光学精密机械与物理研究所 用于大视场三维运动探测的神经拟态仿生曲面复眼系统
CN111895934A (zh) * 2020-07-31 2020-11-06 北京理工大学 一种光学元件表面局部陡度面形误差干涉测量方法及装置
CN111895934B (zh) * 2020-07-31 2021-07-16 北京理工大学 一种光学元件表面局部陡度面形误差干涉测量方法及装置
CN112102401A (zh) * 2020-09-21 2020-12-18 中国科学院上海微系统与信息技术研究所 一种目标定位方法、装置、系统、设备及存储介质
CN112102401B (zh) * 2020-09-21 2024-05-28 中国科学院上海微系统与信息技术研究所 一种目标定位方法、装置、系统、设备及存储介质
CN112987557A (zh) * 2021-02-04 2021-06-18 上海航天控制技术研究所 一种基于双光楔红外成像的跟踪控制方法
CN113132658A (zh) * 2021-04-16 2021-07-16 中国科学院上海高等研究院 基于仿生图像传感器的数据处理方法、装置、设备和介质
CN113759543A (zh) * 2021-09-18 2021-12-07 福州大学 一种基于旋转双棱镜成像系统实现灵活中央凹成像的方法
CN114630024A (zh) * 2022-01-21 2022-06-14 北京航空航天大学 一种基于阵列相机系统的仿视网膜非均匀成像方法

Also Published As

Publication number Publication date
CN107105147B (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN107105147A (zh) 一种仿生超分辨成像传感器及成像方法
CN105698699B (zh) 一种基于时间转轴约束的双目视觉测量方法
CN108665537B (zh) 联合优化人体体态与外观模型的三维重建方法及系统
CN110223379A (zh) 基于激光雷达的三维点云重建方法
CN108765298A (zh) 基于三维重建的无人机图像拼接方法和系统
CN102692214B (zh) 一种狭窄空间双目视觉测量定位装置及方法
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
CN108594245A (zh) 一种目标物运动监测系统及方法
CN104237887B (zh) 一种sar遥感影像匹配方法
CN106826833A (zh) 基于3d立体感知技术的自主导航机器人系统
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN100417231C (zh) 立体视觉半实物仿真系统及方法
CN107452024A (zh) 一种用于旋转物体全场运动追踪的视觉测量方法
CN104748728A (zh) 智能机姿态矩阵计算方法及其应用于摄影测量的方法
CN110675453B (zh) 一种已知场景中运动目标的自定位方法
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN106871787A (zh) 大空间线扫描成像三维测量方法
CN110470226A (zh) 一种基于无人机系统的桥梁结构位移测量方法
CN111192235A (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN107390704A (zh) 一种基于imu姿态补偿的多旋翼无人机光流悬停方法
CN110319772A (zh) 基于无人机的视觉大跨度测距方法
CN104240262A (zh) 一种用于摄影测量的相机外参数标定装置及标定方法
Zhao et al. Reconstruction of textured urban 3D model by fusing ground-based laser range and CCD images
CN113205603A (zh) 一种基于旋转台的三维点云拼接重建方法
CN111060006A (zh) 一种基于三维模型的视点规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230925

Address after: 100081 No. 5 South Main Street, Haidian District, Beijing, Zhongguancun

Patentee after: BEIJING INSTITUTE OF TECHNOLOGY

Patentee after: Yangtze River Delta Research Institute of Beijing University of Technology (Jiaxing)

Address before: 100081 No. 5 South Main Street, Haidian District, Beijing, Zhongguancun

Patentee before: BEIJING INSTITUTE OF TECHNOLOGY