CN109087348A - 一种基于自适应区域投射的单像素成像方法 - Google Patents

一种基于自适应区域投射的单像素成像方法 Download PDF

Info

Publication number
CN109087348A
CN109087348A CN201710445901.5A CN201710445901A CN109087348A CN 109087348 A CN109087348 A CN 109087348A CN 201710445901 A CN201710445901 A CN 201710445901A CN 109087348 A CN109087348 A CN 109087348A
Authority
CN
China
Prior art keywords
image
single pixel
striped
projection
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710445901.5A
Other languages
English (en)
Other versions
CN109087348B (zh
Inventor
姜宏志
赵慧洁
朱曙光
刘颢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710445901.5A priority Critical patent/CN109087348B/zh
Publication of CN109087348A publication Critical patent/CN109087348A/zh
Application granted granted Critical
Publication of CN109087348B publication Critical patent/CN109087348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种基于自适应区域投射的单像素成像方法,用于提高单像素成像的速度。该方法首先利用条纹投射器向物体投射横向和纵向正弦条纹,获得所需的场景图像的二维傅立叶系数;然后由傅立叶切片原理,得到场景图像在图像域中横纵坐标轴上的投影;接着使用边缘提取算法,确定物体区域在场景中的尺寸和位置;最后对物体所在区域进行单像素成像,重建物体图像。该方法可以根据物体区域的大小自动调节成像区域的位置和大小,进而减少成像时间,在成像质量不变的情况下大幅提高成像速度。

Description

一种基于自适应区域投射的单像素成像方法
技术领域
本发明涉及一种基于自适应区域投射的单像素成像方法,可在物体只占据成像场景的部分区域时,对物体进行快速单像素成像,缩短单像素成像时间,提高成像速度。本发明属于计算成像领域。
背景技术
不同于普通CCD相机需要大量像元记录成像场景的空间特性,单像素成像技术只需一个像元即可对场景进行成像,而且在复杂的成像环境中仍能获得质量较好的图像。单像素成像在实施过程中需向被测区域投射大量已知条纹,反射光被单像素探测器探测感知,最后利用获得的数据,使用相应重建算法重建得到被成像区域图像。基于傅立叶频谱的单像素成像技术由于具有成像信噪比高、可进行高分辨率成像,得到了学术界的广泛关注。其成像时向待成像场景投射一系列不同频率的正弦条纹,经过解算后得到场景图像的二维傅立叶系数,最终对获得的系数进行二维傅立叶逆变换得到场景图像。然而对于现有的单像素成像方法,由于成像系统中的硬件设备通常保持不变,条纹的投射速率保持不变,因而其成像时间与成像分辨率成正比。单像素成像为获得清晰图像需要投射大量条纹,这意味着投射这些条纹会消耗大量时间。成像时间消耗大已经成为制约单像素成像技术应用的关键问题。
由于重建清晰图像所需条纹的数量与图像的分辨率成正比,而图像分辨率则正比于成像区域大小,因此成像区域面积降低则意味着投射的条纹数量减少。为提高单像素成像的成像速度,本发明提出一种基于自适应区域投射的单像素成像方法,通过预先确定物体在成像结果中的位置,只对物体所在区域投射条纹进行单像素成像,减少成像区域面积,在成像质量不变的前提下减小传统单像素成像重建图像的分辨率,从而减少单像素成像时间消耗。
发明内容
本发明的目的在于提供一种基于自适应区域投射的单像素成像方法,以减少单像素成像时所需投射的条纹数量,提高单像素成像的成像速度。
本发明的技术解决方案为:首先确定物体在场景中的区域位置,然后只对物体区域进行单像素成像。其特征在于
1、包括以下步骤:
(1)利用条纹投射器向物体分别投射横纵方向正弦条纹,进而获得场景图像在傅立叶域中横纵坐标轴上的二维傅立叶系数。
(2)利用傅立叶切片原理,由横向和纵向二维傅立叶系数得到场景图像在图像域中横纵坐标轴上的投影。
(3)使用提出的区域定位算法,由场景图像在图像域中横纵坐标轴上的投影定位物体在场景中的尺寸和位置。
(4)由条纹投射器向物体所在区域投射与其尺寸相同的条纹,对物体所在区域进行单像素成像。
2、根据权利要求1所述的一种基于自适应区域投射的单像素成像方法,其特征在于:所述的步骤(2)中提到的获取场景图像在图像域中横纵坐标轴上投影的方法为:
取(1)得到的二维傅立叶系数,分别进行一维傅立叶逆变换,分别得到场景图像在图像域中横纵坐标轴上的投影。
3、根据权利要求1所述的一种基于自适应区域投射的单像素成像方法,其特征在于:所述的步骤(3)中提到的区域定位算法为:
首先求解投影的一阶微分,然后分别确定两绝对值最大的极值点,这两点就是物体在该投影方向上的边缘位置。对两方向的投影进行该处理后,物体在场景中的位置已被确定。
4、根据权利要求1所述的一种基于自适应区域投射的单像素成像方法,其特征在于:所述的步骤(4)中提到的条纹投射器的投射的条纹生成方法为:
对于选定的单像素成像方法,首先生成与物体区域大小相同的对应条纹和与场景大小相同黑色图像,将生成的条纹放置在黑色图像中与物体区域相同位置处,即得到条纹投射器投射的条纹。
本发明的优点在于:
(1)成像速度快,通过减少成像面积,有效减少单像素成像时间,提高成像效率。例如如果物体区域占总场景区域面积的1/4,则成像时间降低为整视场成像时间的1/4。
(2)成像质量高,在相同的成像时间、相同的数据采集量情况下,本发明所得成像质量高于传统的单像素方法。
(3)环境适应性强,本发明适用于任何物体只占据场景部分区域的情况。
(4)实施方便,本发明相比传统单像素成像方法未增添任何硬件成本,仅需修改算法,即可大幅提高成像速度。
总之,本发明通过提出的自适应区域投射的方法,通过降低了成像区域的面积,减少重建清晰图像所需时间,提高单像素成像效率。另外本发明无需使用额外的硬件设备,实现起来简易便捷。同时,本发明适用于任何使用空间光调制器的单像素成像方法,以提高单像素成像的速度。
附图说明
图1为本发明实施的流程图;
图2为本发明实施时的系统结构图;
图3为本发明自适应地定位物体区域位置处理方法的示意图;
图4为本发明自适应区域投射的示意图;
具体实施方式
成像系统如图2所示,成像系统由条纹投射器(2)、单像素探测器(3)和计算机(1)组成。本发明实施流程图如图1所示,首先利用条纹投射器向物体投射横向和纵向正弦条纹,如图2(4)所示。进而获得场景图像在傅立叶域中横纵坐标轴上的二维傅立叶系数,图3(4)所示;然后利用傅立叶切片原理,对得到的横纵坐标轴上的傅里叶系数分别进行一维傅立叶逆变换,进而获得场景图像在在图像域中横纵坐标轴上投影,如图3(3)和图3(4);接着使用提出的区域定位算法,定位物体区域在场景成像图像中的位置和尺寸,如图3(1)中红色矩形框所示;最后由条纹投射器向物体区域投射与其尺寸相同的二维正弦条纹,示意如图4所示,完成物体所在区域的单像素成像。该方法通过预先确定物体所在位置,减少成像区域面积,从而保证在成像清晰度不变的情况下减小成像时间。具体操作如下:
1、利用条纹投射器向物体分别投射横纵方向正弦条纹,进而获得场景图像在傅立叶域中横纵坐标轴上的系数。
其中正弦条纹按照如下方式生成:频率为(fx,fy),相位为φ的正弦条纹的分布为:
Pφ(x,y;fx,fy)=a+bcos(2πfxx+2πfyy+φ)
其中a代表直流分量,b代表条纹的对比度。
则频率为(fx,0),相位为φ的横向正弦条纹可由如下公式生成:
Pφ(x,y;fx,0)=a+bcos(2πfxx+φ)
同理频率为(0,fy),相位为φ的纵向正弦条纹可由图下公式生成:
Pφ(x,y;0,fy)=a+bcos(2πfy+φ)
设物体所在场景图像(场景的反射率)为r(x,y),则使用频率为(fx,fy),相位为φ的条纹投射到场景中,反射光的光强可表示为:
空气对反射光的传播会产生衰减作用,同时环境光也会被探测器感知,最终探测器的响应为:
Dφ(fx,fy)=c[Dn+kEφ(fx,fy)]=cDn+ckEφ(fx,fy)
其中Dφ为响应信号,Dn为环境光强,k为空气对光的衰减系数,c为单像素探测器输出信号与输入信号的比例因子。
向场景投射频率为(fx,fy),相位分别为0、π和的一组正弦条纹P0(x,y;fx,fy)、Pπ(x,y;fx,fy)和并设单像素探测器测量结果分别为D0(fx,fy)、Dπ(fx,fy)和由四步相移法,有:
又因:
R(fx,fy)为场景图像的二维傅立叶系数,则:
从而计算得到物体所在场景图像的傅立叶系数值,此值与真实值相差一个比例因子2cbk。
从而物体所在场景图像在傅立叶域横向坐标轴上系数为:
物体所在场景图像在傅立叶域纵向坐标轴上系数为:
由此所需的场景图像的傅立叶系数。
2、然后利用傅立叶切片原理,由场景图像在傅立叶域中横纵坐标轴上的系数得到场景图像在图像域中横纵坐标轴上的投影。
设场景图像r(x,y)在x轴上的投影为r(x),在y轴上的投影为r(y)。则有:
r(x)=∫r(x,y)dy
r(y)=∫r(x,y)dx
由傅立叶切片定理,r(x)的一维傅立叶变换为R(fx,fy)在横坐标轴上的切片,即R(fx,0)。则有:
r(x)=F-1{R(fx,0)}
同理可得:
r(y)=F-1{R(0,fy)}
由步骤1得到2cbk·R(fx,0)和2cbk·R(0,fy),可得场景图像在x和y上的投影:
2cbk·r(x)=2cbk·F-1{R(fx,0)}
2cbk·r(y)=2cbk·F-1{R(0,fy)}
得到的图像投影值与真实值相差一个比例系数,这并不影响物体区域的定位。
3、使用提出的区域定位算法,由场景图像在图像域中横纵坐标轴上的投影定位物体区域的尺寸和位置。
对如图2所示的场景。由步骤2得到的场景图像在图像域中纵轴和横轴的投影如3(2)和3(3)所示。从图示可知由于投影曲线中物体边缘处存在明显阶跃,故场景图像在横轴上的投影中的左右位置x1、x2为物体在场景图像中的横向位置范围,场景图像在纵轴上投影的左右位置y1、y2为物体在场景图像中的纵向位置范围。
x1、x2和y1、y2的具体位置通过求解两投影曲线的一阶微分过零点确定。x1、x2和y1、y2确定后,则物体区域在场景图像中的尺寸和位置已确定,如图3中的1所示,红色矩形框为通过上述方式确定的物体区域位置。
4、由条纹投射器向物体区域处投射与其尺寸相同条纹,对物体区域进行单像素成像,对物体区域进行选择性投射的示意如图4所示。
以基于傅立叶频谱的单像素成像方法为例,条纹投射器对步骤3确定的物体区域投射条纹,可得物体所在区域图像的二维傅立叶系数:
对上式进行二维傅立叶逆变换,可得物体所在区域的图像:
即得到物体图像。

Claims (4)

1.一种基于自适应区域投射的单像素成像方法,其特征在于:包括以下步骤:
(1)利用条纹投射器向物体投射分别投射横纵方向正弦条纹,进而分别获得场景图像在傅立叶域中横纵坐标轴上的二维傅立叶系数;
(2)根据傅立叶切片原理,由获得的傅立叶系数得到场景图像在图像域中横纵坐标轴上的投影;
(3)使用区域定位算法,由场景图像在图像域中横纵坐标轴上的投影定位场景中物体区域的尺寸和位置;
(4)条纹投射器向物体区域处投射与其尺寸相同的条纹,对物体所在区域进行单像素成像,重建物体图像。
2.根据权利要求1所述的一种基于自适应区域投射的单像素成像方法,其特征在于:所述的步骤(2)中提到的获取场景图像在图像域中横纵坐标轴上投影的方法为:
取(1)得到的横向和纵向二维傅立叶系数,分别进行一维傅立叶逆变换,分别得到场景图像在纵向和横向上的投影。
3.根据权利要求1所述的一种基于自适应区域投射的单像素成像方法,其特征在于:所述的步骤(3)中提到的区域定位算法为:
首先求解投影的一阶微分,然后分别确定两绝对值最大的极值点,这两点就是物体在该投影方向上的边缘位置。对两方向的投影进行此处理后,物体在场景中的位置被确定。
4.根据权利要求1所述的一种基于自适应区域投射的单像素成像方法,其特征在于:所述的步骤(4)中提到的条纹投射器的投射的条纹生成方法为:
对于选定的单像素成像方法,首先生成与物体区域大小相同的条纹和与场景大小相同黑色条纹,将生成的条纹放置在黑色条纹中与物体区域相同位置处,即得到条纹投射器投射的条纹。
CN201710445901.5A 2017-06-14 2017-06-14 一种基于自适应区域投射的单像素成像方法 Active CN109087348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710445901.5A CN109087348B (zh) 2017-06-14 2017-06-14 一种基于自适应区域投射的单像素成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710445901.5A CN109087348B (zh) 2017-06-14 2017-06-14 一种基于自适应区域投射的单像素成像方法

Publications (2)

Publication Number Publication Date
CN109087348A true CN109087348A (zh) 2018-12-25
CN109087348B CN109087348B (zh) 2022-04-29

Family

ID=64838820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710445901.5A Active CN109087348B (zh) 2017-06-14 2017-06-14 一种基于自适应区域投射的单像素成像方法

Country Status (1)

Country Link
CN (1) CN109087348B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264540A (zh) * 2019-06-19 2019-09-20 北京航空航天大学 一种并行单像素成像方法
CN111006599A (zh) * 2019-10-30 2020-04-14 东北大学 基于像素光栅和计算机视觉的物体表面微尺度测量方法
CN111649691A (zh) * 2020-03-06 2020-09-11 福州大学 基于单像素探测器的数字条纹投影三维成像系统及方法
CN113709442A (zh) * 2021-08-30 2021-11-26 北京航空航天大学 一种基于投影重构的单像素成像方法
CN114216409A (zh) * 2021-08-30 2022-03-22 北京航空航天大学 一种基于切片并行单像素成像的平行轴三维测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280368A1 (en) * 2008-10-29 2011-11-17 Canon Kabushiki Kaisha X-ray imaging apparatus, x-ray imaging method, and x-ray imaging program
WO2013107076A1 (zh) * 2012-01-19 2013-07-25 东南大学 一种光学三维测量中的自适应窗口傅里叶相位提取法
CN103822577A (zh) * 2014-03-13 2014-05-28 中国电子科技集团公司第三十八研究所 单像素太赫兹全息成像装置和方法
CN104154878A (zh) * 2014-07-29 2014-11-19 暨南大学 一种使用单像素探测器的光学成像方法
US20150042764A1 (en) * 2013-08-06 2015-02-12 Board Of Trustees Of Michigan State University Three-dimensional hyperspectral imaging system
CN106791355A (zh) * 2016-11-09 2017-05-31 清华大学 基于图像频域拼接的单像素成像方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280368A1 (en) * 2008-10-29 2011-11-17 Canon Kabushiki Kaisha X-ray imaging apparatus, x-ray imaging method, and x-ray imaging program
WO2013107076A1 (zh) * 2012-01-19 2013-07-25 东南大学 一种光学三维测量中的自适应窗口傅里叶相位提取法
US20150042764A1 (en) * 2013-08-06 2015-02-12 Board Of Trustees Of Michigan State University Three-dimensional hyperspectral imaging system
CN103822577A (zh) * 2014-03-13 2014-05-28 中国电子科技集团公司第三十八研究所 单像素太赫兹全息成像装置和方法
CN104154878A (zh) * 2014-07-29 2014-11-19 暨南大学 一种使用单像素探测器的光学成像方法
WO2016015516A1 (zh) * 2014-07-29 2016-02-04 暨南大学 一种使用单像素探测器的光学成像方法
CN106791355A (zh) * 2016-11-09 2017-05-31 清华大学 基于图像频域拼接的单像素成像方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FU WENXING 等: "Conceptual Research on Application of Single Pixel Infrared Imaging to Missile Guidance", 《2009 ASIA-PACIFIC CONFERENCE ON INFORMATION PROCESSING》 *
呼有军 等: "基于压缩感知的单像素傅立叶全息成像系统", 《激光杂志》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264540A (zh) * 2019-06-19 2019-09-20 北京航空航天大学 一种并行单像素成像方法
CN111006599A (zh) * 2019-10-30 2020-04-14 东北大学 基于像素光栅和计算机视觉的物体表面微尺度测量方法
CN111006599B (zh) * 2019-10-30 2021-07-20 东北大学 基于像素光栅和计算机视觉的物体表面微尺度测量方法
CN111649691A (zh) * 2020-03-06 2020-09-11 福州大学 基于单像素探测器的数字条纹投影三维成像系统及方法
CN113709442A (zh) * 2021-08-30 2021-11-26 北京航空航天大学 一种基于投影重构的单像素成像方法
CN114216409A (zh) * 2021-08-30 2022-03-22 北京航空航天大学 一种基于切片并行单像素成像的平行轴三维测量方法

Also Published As

Publication number Publication date
CN109087348B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN109087348A (zh) 一种基于自适应区域投射的单像素成像方法
CN106530258B (zh) 基于高阶全变分正则化的快速迭代磁共振图像重建方法
Vogel et al. An evaluation of data costs for optical flow
Lin et al. Vehicle speed detection from a single motion blurred image
Xiao et al. Multi-focus image fusion based on depth extraction with inhomogeneous diffusion equation
CN109708842A (zh) 一种基于单像素成像的相机镜头点扩散函数测量方法
Přibyl et al. Feature point detection under extreme lighting conditions
JP2021520008A (ja) 車両検査システムとその方法
Duan et al. Multifocus image fusion with enhanced linear spectral clustering and fast depth map estimation
Chen et al. A color-guided, region-adaptive and depth-selective unified framework for Kinect depth recovery
CN110097634A (zh) 一种自适应多尺度的三维鬼成像方法
Chen et al. Kinect depth recovery using a color-guided, region-adaptive, and depth-selective framework
Duan et al. Automatic 3-D measurement method for nonuniform moving objects
Bijelic et al. Recovering the Unseen: Benchmarking the Generalization of Enhancement Methods to Real World Data in Heavy Fog.
Shen et al. Depth map enhancement method based on joint bilateral filter
Guo et al. Visibility detection approach to road scene foggy images
Schäfer et al. Depth and intensity based edge detection in time-of-flight images
Chen et al. Multidirectional edge detection based on gradient ghost imaging
KR102508384B1 (ko) 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치
Shi et al. A method for detecting pedestrian height and distance based on monocular vision technology
Li et al. A Bayesian approach to uncertainty-based depth map super resolution
Guo et al. Single Image Dehazing Using Adaptive Sky Segmentation
Jin et al. Reliable Image Dehazing by NeRF
CN107248167B (zh) 一种运动目标阴影检测方法、装置及计算机可读存储介质
Zhang et al. Traffic images enhancement based on vanishing point detection and atmospheric scattering model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant