CN107884782B - 基于人眼视觉和玫瑰扫描的移动物体关联成像方法 - Google Patents

基于人眼视觉和玫瑰扫描的移动物体关联成像方法 Download PDF

Info

Publication number
CN107884782B
CN107884782B CN201711084765.8A CN201711084765A CN107884782B CN 107884782 B CN107884782 B CN 107884782B CN 201711084765 A CN201711084765 A CN 201711084765A CN 107884782 B CN107884782 B CN 107884782B
Authority
CN
China
Prior art keywords
scanning
rose
moving object
light field
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711084765.8A
Other languages
English (en)
Other versions
CN107884782A (zh
Inventor
张雷洪
康祎
孙庆丽
占文杰
曾茜
熊锐
袁晓
叶华龙
田苗
齐梦瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201711084765.8A priority Critical patent/CN107884782B/zh
Publication of CN107884782A publication Critical patent/CN107884782A/zh
Application granted granted Critical
Publication of CN107884782B publication Critical patent/CN107884782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于人眼视觉和玫瑰扫描的移动物体关联成像方法,首先以较小的玫瑰扫描中的瞬时光场代替传统关联成像的调制光场,沿着玫瑰扫描轨迹去扫描包含移动物体的场景,经过一个玫瑰扫描周期,完成对场景的采集,利用关联成像算法重构出场景信息;利用人眼视觉特性,确定场景信息中移动物体所在区域;最后以确定区域的中心点作为玫瑰扫描的中心点,利用瞬时光场去采集移动物体区域,完成一个扫描周期,利用关联成像算法重构出移动物体的精确图像。此方法以极少的采样次数完成了对移动物体的精确成像,突破了关联成像图像越大采集次数越多的限制,同时作为调制光场的两个反向旋转的光学元件代替空间光调制器,精简了实验设施,提高了成像效率。

Description

基于人眼视觉和玫瑰扫描的移动物体关联成像方法
技术领域
本发明涉及一种成像技术,特别涉及一种基于人眼视觉和玫瑰扫描的移动物体关联成像方法。
背景技术
对于一幅图像,人眼对其中的内容并非一视同仁,而是往往表现出选择性和迁移性,即人眼下意识会将一副图像分为若干区域,并将注意力转移到人眼感兴趣的区域,如果感兴趣区域不止一处,注意力会呈现出一种逐渐迁移的过程。如果对于一个包含移动物体的视频画面,人眼显然会首先注意到移动物体所在的区域。因此在对移动物体成像的过程中充分考虑人眼的视觉特性,有助于在保证移动物体清晰的同时提高成像效率。
玫瑰扫描红外寻技术是一种常用的导弹红外自动寻的技术,通过单元件探测器的玫瑰形运动覆盖整个光场,来探测目标位置和图像信息。它因实现简单、抗干扰能力强、能区分多个目标等优点而成为具有重要应用价值的低成本红外寻的技术之一。
关联成像不同于一般的成像方案,实现了成像探测和物体的分离,也避免了因携带物体信息的光场受到扰乱而不可获得清晰物像的问题,解决了一些常规成像技术不易解决的问题。随着关联成像技术的不断发展,对重构图像的采样次数和信噪比要求逐渐提高。在关联成像中,激光调制后照射整个场景,采集范围大,造成了能量的损失,不利于图像的重构,尤其对于包含移动物体的场景,需要重构整个场景,大大增加了采样次数。而玫瑰扫描以瞬时光场扫描图像,采集范围小,能量集中,减少了能量损失,为关联成像提供了一种新的解决思路。
发明内容
本发明是针对现有的关联成像技术对移动物体成像需要大量采样,移动物体成像不突出的问题,提出了一种基于人眼视觉和玫瑰扫描的移动物体关联成像方法,实现在低采样率下精确重构出移动物体。
本发明的技术方案为:一种基于人眼视觉和玫瑰扫描的移动物体关联成像方法,具体包括如下步骤:
1)建立基于玫瑰扫描的关联成像光路,进行模糊采集:光源发出的光经过反射镜组进入由两个反向旋转光学元件组成的光学器件,生成的瞬时光场经过反射镜反射到目标场景上去采集目标场景信息,被目标场景反射或者透射的带采集信息光经过反射镜后被桶探测器接收,记为一次目标场景信息采集,光学器件中的两个反向旋转光学元件以不同的频率旋转,瞬时光场则按照玫瑰扫描轨迹逐次去采集目标场景信息,每次获得的部分物体信息光强值被桶探测器接收,经过一个玫瑰扫描周期完成对运动物体目标场景信息的采集;
2)成像:把桶探测器接收到的光强度值和瞬时光场的强度分布进行关联运算,得到包含移动物体的场景图像;
3)确定区域:根据人的视觉敏感特性,从步骤2)所得包含移动物体的场景图像中确定移动物体所在的区域,并划分出来;
4)精准成像:将步骤3)确定划分出的移动物体区域的中心点和区域大小,作为扫描轨迹的中心点和扫描半径参考值,在新确定的扫描轨迹的中心点和扫描半径下,再次用瞬时光场采集确定后移动物体区域,并用桶探测器接收每次获得的部分场景信息,一个玫瑰扫描周期后,将桶探测器接收到的光强度值和瞬时光场的强度分布进行关联运算,精确重构出移动物体的图像信息。
所述步骤1)模糊采集的具体方法如下:
根据所在场景的大小,设置玫瑰扫描系统中两个反向旋转的光学元件的频率和扫描半径,所述玫瑰扫描轨迹如下式
Figure BDA0001459815250000021
式中,f1和f2为两个反向旋转光学元件的旋转频率,ρ为设置扫描区域的半径大小;
以玫瑰扫描系统中的瞬时光场作为关联成像中的调制光场去采集物体所在区域,其瞬时光场的半径ω如下:
Figure BDA0001459815250000031
其中
Figure BDA0001459815250000032
ΔN=N1-N2,N=N1+N2,f为f1和f2的最大公约数;
每采集一次,桶探测器接收到的一个光强度值为Dr,其代表的是瞬时光场采集扫描场景信息的光强度值,所述光强值参见式(3),其中Kr(x,y)(r=1,2…M)为瞬时光场的空间强度分布,T(x,y)为采集的部分区域;
Dr=∫T(x,y)Kr(x,y)dxdy(r=1,2…M) (3)经过一个周期完成对场景的采集,在玫瑰扫描系统中用周期来描述采样,在图像采集中用采样次数来描述采样,对应于关联成像的采样次数
Figure BDA0001459815250000033
所述步骤2)中把桶探测器接收到的光强度值和瞬时光场的强度分布进行关联运算,得到包含移动物体的场景图像,所述场景图像信息为TRGI(x,y),关联运算如下:
TRGI(x,y)=<Kr(x,y)Dr>-<Kr(x,y)><Dr> (r=1,2…M) (5)
式中<>表示取平均值运算。
所述步骤4)中扫描半径为确定的物体区域半径的1.2倍,既防止遗漏边缘细节又克服过大的半径会造成的扫描时间增长和能量损失。
本发明的有益效果在于:本发明基于人眼视觉和玫瑰扫描的移动物体关联成像方法,首先关联成像算法能够在恶劣条件下对物体进行成像,即在看不见物体的情况下获取物体的信息,克服了常规成像方式在特殊场景下不能成像的问题。第二方面,采用玫瑰扫描系统中较小的瞬时光场代替关联成像中的调制光场,以较小的光场沿着玫瑰扫描轨迹采样,采集范围较小,光源能量集中,减少了在采样过程中能量的损失,提高了信噪比,克服了传统关联成像场景越大采集次数越多的限制,大大减少了采样次数和采样时间。第三方面,利用人眼视觉特性,可以很快的在视频图像中确定移动物体所在位置,提高了效率。
附图说明
图1为本发明基于玫瑰扫描的关联成像原理图;
图2为本发明方法下图像展示图。
具体实施方式
一种基于人眼视觉和玫瑰扫描的移动物体关联成像方法,具体步骤如下:
步骤(1)模糊采集:如图1所示基于玫瑰扫描的关联成像原理图,光源1发出的光经过反射镜组进入由两个反向旋转光学元件组成的光学器件2,生成的光场经过反射镜反射到目标场景上去采集目标场景信息,此时光场较小只能采集部分信息,被目标场景反射或者透射的带采集信息光经过反射镜后被桶探测器4接收,记为一次目标场景信息采集。光学器件2中的两个反向旋转光学元件会以不同的频率旋转,光场则会按照玫瑰扫描轨迹3逐次去采集目标场景信息,完成一次玫瑰扫描周期,则为对目标场景信息采集结束。
根据所在场景的大小,设置玫瑰扫描系统中两个反向旋转光学元件的旋转频率和扫描半径。光学元件的旋转频率f1和f2决定了玫瑰扫描的速度和形状,设f为f1和f2的最大公约数,
Figure BDA0001459815250000041
N1和N2都是正整数时,扫描形成一个封闭的图案,如图1中玫瑰扫描轨迹所示,因此设置频率需遵守这条法则。所述玫瑰扫描轨迹参见式(1);
Figure BDA0001459815250000042
其中ρ为设置玫瑰扫描区域的半径大小。
经过光学器件2生成的光场去采集物体,这里光场命名为瞬时光场。瞬时光场形成玫瑰扫描轨迹的大小受到光学元件频率的影响。相比较传统关联成像中的调制光场,瞬时光场远小于调制光场,且每次只采集场景部分信息。基于玫瑰扫描的关联成像就是将激光调制成玫瑰扫描中的瞬时光场去采集场景信息。其瞬时光场的半径ω如下(2):
Figure BDA0001459815250000051
其中ΔN=N1-N2,N=N1+N2
采集物体后反射或透射的光被桶探测器接收,生成一个光强度值Dr,记为一次采集,其代表的是瞬时光场采集扫描场景信息的光强度值,所述光强值参见式(3),其中Kr(x,y)(r=1,2…M)为瞬时光场的空间强度分布,T(x,y)为采集的部分区域;
Dr=∫T(x,y)Kr(x,y)dxdy (r=1,2…M) (3)
经过一个玫瑰扫描周期完成对场景的采集。在玫瑰扫描系统中用周期来描述采样,在图像采集中用采样次数来描述采样,对应于关联成像的采样次数参见式(4);
Figure BDA0001459815250000052
例如构建玫瑰扫描图案,设f1=275HZ,f2=175HZ,根据场景的大小设置瞬时光场大小,经过400次采样就可以采集完整个场景。
步骤(2)成像:将桶探测器(即光电二极管)接收到的光强度值Dr和瞬时光场的强度分布Kr进行关联运算,得到移动物体图像信息TRGI(x,y),所述关联运算参见式(5);
TRGI(x,y)=<Kr(x,y)Dr>-<Kr(x,y)><Dr> (r=1,2…M) (5)
式中<>表示取平均值运算。
步骤(3)确定区域:根据人眼的视觉敏感特性,确定移动物体的所在区域。图2中的(a)为原始场景图像,图2中的(b)所示的重构出来的场景图像,根据人眼的视觉敏感特性,首先注意到的是移动物体所在区域,因而可以利用编码的手段对图像感兴趣趋于进行划分,从包含移动物体的场景图像中确定了移动物体所在区域,如图2中的(c)所示。
步骤(4)精准成像:根据移动物体区域的位置和大小,设置扫描轨迹的中心点为确定的物体区域的中心,扫描半径为确定的物体区域半径的1.2倍(玫瑰扫描在中心采样次数多于边缘,为防止遗漏边缘细节扩大扫描半径,但过大的半径会造成扫描时间增长,能量损失,因此1.2是合适的放大倍率)。用瞬时光场沿着玫瑰轨迹扫描移动物体区域,经过一个扫描周期,将桶探测器接收到的光强度值和瞬时光场的强度分布进行关联运算,精确重构出移动物体的图像信息,如图2中的(d)中重构图像所示,相比较整个场景中的移动物体,重构图像移动物体更清晰,细节更明显。

Claims (2)

1.一种基于人眼视觉和玫瑰扫描的移动物体关联成像方法,其特征在于,具体包括如下步骤:
1)建立基于玫瑰扫描的关联成像光路,进行模糊采集:光源发出的光经过反射镜组进入由两个反向旋转光学元件组成的光学器件,生成的瞬时光场经过反射镜反射到目标场景上去采集目标场景信息,被目标场景反射或者透射的带采集信息光经过反射镜后被桶探测器接收,记为一次目标场景信息采集,光学器件中的两个反向旋转光学元件以不同的频率旋转,瞬时光场则按照玫瑰扫描轨迹逐次去采集目标场景信息,每次获得的部分物体信息光强值被桶探测器接收,经过一个玫瑰扫描周期完成对运动物体目标场景信息的采集;
2)成像:把桶探测器接收到的光强度值和瞬时光场的强度分布进行关联运算,得到包含移动物体的场景图像;
3)确定区域:根据人的视觉敏感特性,从步骤2)所得包含移动物体的场景图像中确定移动物体所在的区域,并划分出来;
4)精准成像:将步骤3)确定划分出的移动物体区域的中心点和区域大小,作为扫描轨迹的中心点和扫描半径参考值,在新确定的扫描轨迹的中心点和扫描半径下,再次用瞬时光场采集确定后移动物体区域,并用桶探测器接收每次获得的部分场景信息,一个玫瑰扫描周期后,将桶探测器接收到的光强度值和瞬时光场的强度分布进行关联运算,精确重构出移动物体的图像信息。
2.根据权利要求1所述基于人眼视觉和玫瑰扫描的移动物体关联成像方法,其特征在于,所述步骤1)模糊采集的具体方法如下:
根据所在场景的大小,设置玫瑰扫描系统中两个反向旋转的光学元件的频率和扫描半径,所述玫瑰扫描轨迹如下式
Figure FDA0003086327000000011
式中,f1和f2为两个反向旋转光学元件的旋转频率,ρ为设置扫描区域的半径大小;
以玫瑰扫描系统中的瞬时光场作为关联成像中的调制光场去采集物体所在区域,其瞬时光场的半径ω如下:
Figure FDA0003086327000000021
其中
Figure FDA0003086327000000022
f为f1和f2的最大公约数;
每采集一次,桶探测器接收到的一个光强度值为Dr,其代表的是瞬时光场采集扫描场景信息的光强度值,所述光强值参见式(3),其中Kr(x,y),r=1,2…M,为瞬时光场的空间强度分布,T(x,y)为采集的部分区域;
Dr=∫T(x,y)Kr(x,y)dxdy (3)
经过一个周期完成对场景的采集,在玫瑰扫描系统中用周期来描述采样,在图像采集中用采样次数来描述采样,对应于关联成像的采样次数
Figure FDA0003086327000000023
CN201711084765.8A 2017-11-07 2017-11-07 基于人眼视觉和玫瑰扫描的移动物体关联成像方法 Active CN107884782B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711084765.8A CN107884782B (zh) 2017-11-07 2017-11-07 基于人眼视觉和玫瑰扫描的移动物体关联成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711084765.8A CN107884782B (zh) 2017-11-07 2017-11-07 基于人眼视觉和玫瑰扫描的移动物体关联成像方法

Publications (2)

Publication Number Publication Date
CN107884782A CN107884782A (zh) 2018-04-06
CN107884782B true CN107884782B (zh) 2021-07-13

Family

ID=61778999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711084765.8A Active CN107884782B (zh) 2017-11-07 2017-11-07 基于人眼视觉和玫瑰扫描的移动物体关联成像方法

Country Status (1)

Country Link
CN (1) CN107884782B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835066A (zh) * 2021-01-07 2021-05-25 湖南大学 一种对远场进行全景扫描的关联成像方案

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201648A (zh) * 2010-06-28 2013-07-10 相位聚焦有限公司 重叠关联成像术中探测的校准
CN103363924A (zh) * 2013-07-15 2013-10-23 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100374323B1 (ko) * 2000-08-10 2003-03-03 최종수 로젯 주사 영상을 위한 클러스터링 방법
EP2050395A1 (en) * 2007-10-18 2009-04-22 Paracelsus Medizinische Privatuniversität Methods for improving image quality of image detectors, and systems therefor
CN103827920B (zh) * 2011-09-28 2018-08-14 皇家飞利浦有限公司 根据图像的对象距离确定
CN103428399A (zh) * 2012-06-29 2013-12-04 上海理工大学 基于压缩感知原理的关联成像光学加密方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201648A (zh) * 2010-06-28 2013-07-10 相位聚焦有限公司 重叠关联成像术中探测的校准
CN103363924A (zh) * 2013-07-15 2013-10-23 中国科学院空间科学与应用研究中心 一种压缩的三维计算鬼成像系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"All-Clear Image Based Synthesis using Clarity Degree";Xun Cao;《 2007 IEEE International Conference on Acoustics, Speech and Signal Processing - ICASSP "07》;20070604;全文 *
"Brightness preserving image enhancement based on a gradient and intensity histogram";Zebin Sun;《JOURNAL OF ELECTRONIC IMAGING》;20150910;第24卷(第5期);全文 *

Also Published As

Publication number Publication date
CN107884782A (zh) 2018-04-06

Similar Documents

Publication Publication Date Title
CN102647941B (zh) 用于执行远程光电容积描记的方法和系统
US6233003B1 (en) Parallax image input apparatus
US20120330162A1 (en) Modulated aperture imaging for automatic moving target detection
US20130222551A1 (en) Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision
CN108895985B (zh) 一种基于单像素探测器的物体定位方法
JP5354254B2 (ja) 形状測定装置及び方法、並びにプログラム
US9826161B2 (en) Camera system comprising a camera, camera, method of operating a camera and method for deconvoluting a recorded image
US20160157715A1 (en) System, method and computer accessible medium for determining eye motion by imaging retina and providing feedback for acquisition of signals from the retina
EP3149428A1 (en) Motion contrast depth scanning
CN108594418A (zh) 一种基于阵列单像素探测器的光场显微成像系统及其方法
EP3114831B1 (fr) Débruitage vidéo optimisé pour système multicapteur hétérogène
KR102001950B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
US20180340821A1 (en) Microscopic tomography device based on light-sheet and single-pixel imaging
JP2006046959A (ja) 画像処理装置
US20180302542A1 (en) Image capturing apparatus, image capturing method, and storage medium
CN107884782B (zh) 基于人眼视觉和玫瑰扫描的移动物体关联成像方法
CN109709103A (zh) 一种环形条纹打光成像的柑橘早期腐果识别系统及方法
JP5369563B2 (ja) 形状測定装置
CN110312957A (zh) 焦点检测设备、焦点检测方法和焦点检测程序
AU2020408599A1 (en) Light field reconstruction method and system using depth sampling
CN110230995B (zh) 一种基于鬼成像的感兴趣区域成像装置
CN116708744A (zh) 一种角度分辨率和成像时间可调的光场成像装置及方法
EP2862154A1 (fr) Regroupement de donnees attachees a des images
EP4034930A1 (en) System and methods for differential imaging using a lock-in camera
CN113192154B (zh) 基于边缘计算的水下鬼成像系统及深度学习图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant