CN107301663B - 一种基于集成成像摄像机阵列的隐藏物体成像方法 - Google Patents
一种基于集成成像摄像机阵列的隐藏物体成像方法 Download PDFInfo
- Publication number
- CN107301663B CN107301663B CN201710315492.7A CN201710315492A CN107301663B CN 107301663 B CN107301663 B CN 107301663B CN 201710315492 A CN201710315492 A CN 201710315492A CN 107301663 B CN107301663 B CN 107301663B
- Authority
- CN
- China
- Prior art keywords
- camera array
- integrated imaging
- imaging camera
- hidden object
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于集成成像摄像机阵列的隐藏物体成像方法,该方法利用隐藏物体拍摄参数的计算和隐藏物体光学图像的获取两个过程。基于集成成像摄像机阵列,结合集成成像标定原理,获取隐藏物体对应的拍摄参数。通过对集成成像摄像机阵列获取的微图像阵列进行变换,得到隐藏物体的光学图像。该方法同时具备高精度、高速率、可调节和成像范围广的优点,可在可见光环境下对隐藏物体进行高效成像。
Description
一、技术领域
本发明涉及隐藏物体拍摄技术,特别涉及一种基于集成成像摄像机阵列的隐藏物体成像方法。
二、背景技术
摄像机拍摄技术是将三维场景经过光学成像系统在二维的传感器上投影,进而获得与三维场景相关联的光学信息的技术。随着光学设计和传感器技术的发展,摄像机拍摄技术充满了生活的每个角落。但是,现实生活场景是三维的,由于光的直线传播原理,传统摄像机无法获取隐藏物体的光学图像。为此,X光检测、计算成像以及光子成像技术相继提出,分别可以对特定条件下的隐藏物体进行成像。上述方式或是利用电磁波的穿透性,或是基于对拍摄数据的大量关联计算,或对传感器件具有极高的灵敏度要求,无法做到利用可见光对隐藏物体进行高效成像。集成成像摄像机阵列是获取三维场景不同角度三维信息的装置,可以为集成成像裸眼三维显示提供显示片源。同时,由于集成成像摄像机阵列获取的三维信息数据的冗余性,集成成像摄像机阵列在拍摄隐藏物体方面具有极大的潜力。
三、发明内容
本发明旨在实现一种基于集成成像摄像机阵列且在可见光环境下对隐藏物体进行高效成像的方法。该方法同时具备高精度、高速率、可调节和成像范围广的优点。为了达到上述目的,本发明提出一种基于集成成像摄像机阵列的隐藏物体成像方法。该方法基于集成成像摄像机阵列,根据隐藏物体的空间三维坐标,结合集成成像标定原理,获取隐藏物体对应的拍摄参数。利用得到的拍摄参数,对集成成像摄像机阵列获取的微图像阵列进行变换,得到隐藏物体可见光环境下的光学图像。该方法包括隐藏物体拍摄参数的计算和隐藏物体光学图像的获取两个过程。
本发明所提方法可以由集成成像摄像机阵列、棋盘格标定板和遮挡场景实现,如附图1所示。在本发明中,根据隐藏物体在遮挡场景中的位置关系,利用棋盘格标定板对集成成像摄像机阵列进行标定,标定后的集成成像摄像机阵列拍摄遮挡场景,获取对应的微图像阵列。
本发明所提方法的流程如附图2所示,利用初步调节的集成成像摄像机阵列拍摄棋盘格标定板,通过检测棋盘格标定板角点坐标,计算集成成像摄像机阵列标定参数;同时根据遮挡场景和隐藏物体的相对关系,测量隐藏物体距离集成成像摄像机阵列的距离,结合集成成像摄像机阵列的标定参数,计算隐藏物体拍摄参数,隐藏物体拍摄参数包括每个摄像机对应的偏移量;利用计算得到的隐藏物体拍摄参数,计算由集成成像摄像机阵列获取的微图像阵列的偏移图像,进而计算隐藏物体的光学图像。
所述隐藏物体拍摄参数的计算过程,首先,计算集成成像摄像机阵列的标定参数。初步调节集成成像摄像机阵列,使得每个摄像机的拍摄范围都覆盖棋盘格标定板所在的空间,且集成成像摄像机阵列与棋盘格标定板之间的距离为ΔDb。在摄像机阵列中,摄像机数目为M×N,拍摄棋盘格标定板得到对应的M×N标定视差图像,标定视差图像分辨率为Wr×Hr,检测标定视差图像中的棋盘格角点像素坐标,基于单应性变换原理,计算集成成像摄像机阵列中每个摄像机对应的单应性变换矩阵Hm,n,作为集成成像摄像机阵列的标定参数,Hm,n表示为:
其中,m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引值,m∈{1,2,3,…,M},n∈{1,2,3,…,N}。然后,确定集成成像摄像机阵列与遮挡物体、隐藏物体的空间位置关系。通过测量,分别得到遮挡场景中遮挡物体距离集成成像摄像机阵列的距离ΔDo和隐藏物体距离集成成像摄像机阵列的距离ΔDh。集成成像摄像机阵列中的每一行、每一列相邻的摄像机之间的空间距离相同,都为ΔC,如附图3所示。同时根据棋盘格标定板的尺寸,计算集成成像摄像机阵列在棋盘格标定板所处平面处拍摄的遮挡场景范围大小Wb×Hb。最后,根据每个摄像机在集成成像摄像机阵列中的位置和遮挡场景与隐藏物体的空间关系,计算每个摄像机对应的偏移量Sm,n,满足:
Sm,n=(Sx,Sy)m,n (2)
其中,Sx、Sy分别为偏移量Sm,n在x轴和y轴的分量。如附图4所示,Sx、Sy分别满足:
其中,round(*)表示对*向最近整数四舍五入取整。
所述隐藏物体光学图像的获取过程,首先,利用集成成像摄像机阵列获取遮挡场景的视差图像,如附图5所示,遮挡场景视差图像分辨率同样为Wr×Hr。第m列、第n行摄像机拍摄得到遮挡场景视差图像为Im,n(x,y),其中,x和y分别为遮挡场景视差图像像素坐标。利用对应的单应性变换矩阵Hm,n,计算得到对应的校正图像I'm,n(x',y'),I'm,n(x',y')与Im,n(x,y)满足:
I′m,n(x′,y′)=Im,n(x,y) (5)
其中:
然后,根据摄像机对应的偏移量Sm,n,计算对应的偏移视差图像I″m,n(x″,y″),I″m,n(x″,y″)与I'm,n(x',y')满足:
I″m,n(x″,y″)=I′m,n(x′,y′) (7)
其中:
优选地,当x”不满足x”∈{1,2,3,…,Wr},或y”不满足y”∈{1,2,3,…,Hr}时,跳过该像素坐标的计算,以避免像素坐标的计算范围溢出。最后,利用偏移视差图像I”m,n(x”,y”),计算得到隐藏物体的光学图像O(x”,y”):
其中,m∈{1,2,3,…,M},n∈{1,2,3,…,N}。当隐藏物体与摄像机阵列的距离ΔDh发生变化时,重复上述过程,可以对场景变化后的隐藏物体图像。
本发明提出一种基于集成成像摄像机阵列的隐藏物体成像方法,该方法无需大量的关联计算,也无需极高灵敏度的传感器,同时具备高精度、高速率、可调节和成像范围广的优点,可在可见光环境下对隐藏物体进行高效地成像。
四、附图说明
附图1为一种基于集成成像摄像机阵列的隐藏物体成像方法的实现系统图
附图2为本发明所提方法的流程图
附图3为集成成像摄像机阵列与遮挡场景及棋盘格标定板的空间位置关系
附图4为第m列、第n行摄像机对应的偏移量的计算示意图
附图5为集成成像摄像机阵列获取的遮挡场景视差图像
附图6为(a)集成成像微图像阵列与(b)本发明所提方法得到的隐藏物体图像
上述附图中的图示标号为:
1集成成像摄像机阵列,2遮挡物体,3隐藏物体,4棋盘格标定板。
应该理解上述附图只是示意性的,并没有按比例绘制。
五、具体实施方式
下面详细说明本发明的一种基于集成成像摄像机阵列的隐藏物体成像方法的一个典型实施例,对本发明进行进一步的具体描述。有必要在此指出的是,以下实施例只用于本发明做进一步的说明,不能理解为对本发明保护范围的限制,该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整,仍属于本发明的保护范围。
本发明提出一种基于集成成像摄像机阵列的隐藏物体成像方法,该方法包括隐藏物体拍摄参数的计算和隐藏物体光学图像的获取两个过程。
本实施例由集成成像摄像机阵列、棋盘格标定板和遮挡场景实现,如附图1所示。在本实施例中,根据隐藏物体在遮挡场景中的位置关系,利用棋盘格标定板对集成成像摄像机阵列进行标定,标定后的集成成像摄像机阵列拍摄遮挡场景,获取对应的微图像阵列。
本实施例的流程如附图2所示,利用初步调节的集成成像摄像机阵列拍摄棋盘格标定板,通过检测棋盘格标定板角点坐标,计算集成成像摄像机阵列标定参数;同时根据遮挡场景和隐藏物体的相对关系,测量隐藏物体距离集成成像摄像机阵列的距离,结合集成成像摄像机阵列的标定参数,计算隐藏物体拍摄参数,隐藏物体拍摄参数包括每个摄像机对应的偏移量;利用计算得到的隐藏物体拍摄参数,计算由集成成像摄像机阵列获取的微图像阵列的偏移图像,进而计算隐藏物体的光学图像。
所述隐藏物体拍摄参数的计算过程,首先,计算集成成像摄像机阵列的标定参数。初步调节集成成像摄像机阵列,使得每个摄像机的拍摄范围都覆盖棋盘格标定板所在的空间,且集成成像摄像机阵列与棋盘格标定板之间的距离为ΔDb=5000mm。在摄像机阵列中,摄像机数目为M×N=8×8,拍摄棋盘格标定板得到对应的8×8标定视差图像,标定视差图像分辨率为Wr×Hr=1280×720,检测标定视差图像中的棋盘格角点像素坐标,基于单应性变换原理,计算集成成像摄像机阵列中每个摄像机对应的单应性变换矩阵Hm,n,作为集成成像摄像机阵列的标定参数,Hm,n表示为:
其中,m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引值,m∈{1,2,3,…,8},n∈{1,2,3,…,8}。然后,确定集成成像摄像机阵列与遮挡物体、隐藏物体的空间位置关系。通过测量,分别得到遮挡场景中遮挡物体距离集成成像摄像机阵列的距离ΔDo=2000mm和隐藏物体距离集成成像摄像机阵列的距离ΔDh=4000mm。集成成像摄像机阵列中的每一行、每一列相邻的摄像机之间的空间距离相同,都为ΔC=80mm,如附图3所示。同时根据棋盘格标定板的尺寸,计算集成成像摄像机阵列在棋盘格标定板所处平面处拍摄的遮挡场景范围大小Wb×Hb=2679mm×1507mm。最后,根据每个摄像机在集成成像摄像机阵列中的位置和遮挡场景与隐藏物体的空间关系,计算每个摄像机对应的偏移量Sm,n,满足:
Sm,n=(Sx,Sy)m,n (2)
其中,Sx、Sy分别为偏移量Sm,n在x轴和y轴的分量。如附图4所示,Sx、Sy分别满足:
其中,round(*)表示对*向最近整数四舍五入取整。本实施例中,以第7列、第3行摄像机拍摄得到的视差图像为例,其中,S7,2=(Sx,Sy)=(23,-14)。
所述隐藏物体光学图像的获取过程,首先,利用集成成像摄像机阵列获取遮挡场景的视差图像,如附图5所示,遮挡场景视差图像分辨率同样为Wr×Hr=1280×720。第m列、第n行摄像机拍摄得到遮挡场景视差图像为Im,n(x,y),其中,x和y分别为遮挡场景视差图像像素坐标。利用对应的单应性变换矩阵Hm,n,计算得到对应的校正图像I'm,n(x',y'),I'm,n(x',y')与Im,n(x,y)满足:
I′m,n(x′,y′)=Im,n(x,y) (5)
其中:
然后,根据摄像机对应的偏移量Sm,n,计算对应的偏移视差图像I”m,n(x”,y”),I”m,n(x”,y”)与I'm,n(x',y')满足:
I″m,n(x″,y″)=I′m,n(x′,y′) (7)
其中:
优选地,当x”不满足x”∈{1,2,3,…,1280},或y”不满足y”∈{1,2,3,…,720}时,跳过该像素坐标的计算,以避免像素坐标的计算范围溢出。最后,利用偏移视差图像I”m,n(x”,y”),计算得到隐藏物体的光学图像O(x”,y”):
其中,m∈{1,2,3,…,8},n∈{1,2,3,…,8}。当隐藏物体与摄像机阵列的距离ΔDh发生变化时,重复上述过程,可以对场景变化后的隐藏物体成像。
Claims (1)
1.一种基于集成成像摄像机阵列的隐藏物体成像方法,其特征在于,该方法包括隐藏物体拍摄参数的计算和隐藏物体光学图像的获取两个过程,所述隐藏物体拍摄参数的计算过程,首先,初步调节集成成像摄像机阵列,使得每个摄像机的拍摄范围都覆盖棋盘格标定板所在的空间,且集成成像摄像机阵列与棋盘格标定板之间的距离为ΔDb,在摄像机阵列中,摄像机数目为M×N,拍摄棋盘格标定板得到对应的M×N标定视差图像,标定视差图像分辨率为Wr×Hr,检测标定视差图像中的棋盘格角点,计算集成成像摄像机阵列中每个摄像机对应的单应性变换矩阵Hm,n,作为集成成像摄像机阵列的标定参数,Hm,n表示为其中,m和n分别为摄像机阵列的第m列、第n行摄像机对应的索引值,m∈{1,2,3,…,M},n∈{1,2,3,…,N};然后,通过测量,分别得到遮挡场景中遮挡物体距离集成成像摄像机阵列的距离ΔDo和隐藏物体距离集成成像摄像机阵列的距离ΔDh,集成成像摄像机阵列中的每一行、每一列相邻的摄像机之间的空间距离相同,都为ΔC,同时根据棋盘格标定板的尺寸,计算集成成像摄像机阵列在棋盘格标定板平面处拍摄的遮挡场景范围大小Wb×Hb;最后,根据每个摄像机在集成成像摄像机阵列中的位置和遮挡场景与隐藏物体的空间关系,计算每个摄像机对应的偏移量Sm,n,满足Sm,n=(Sx,Sy)m,n,其中,Sx、Sy分别为偏移量Sm,n在x轴和y轴的分量,Sx、Sy分别满足
其中,round(*)表示对*向最近整数四舍五入取整;所述隐藏物体光学图像的获取过程,首先,利用集成成像摄像机阵列获取遮挡场景的视差图像,遮挡场景视差图像分辨率同样为Wr×Hr,第m列、第n行摄像机拍摄得到遮挡场景视差图像为Im,n(x,y),其中,x和y分别为遮挡场景视差图像像素坐标,利用对应的单应性变换矩阵Hm,n,计算得到对应的校正图像I'm,n(x',y'),I'm,n(x',y')与Im,n(x,y)满足I′m,n(x′,y′)=Im,n(x,y),其中
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710315492.7A CN107301663B (zh) | 2017-05-08 | 2017-05-08 | 一种基于集成成像摄像机阵列的隐藏物体成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710315492.7A CN107301663B (zh) | 2017-05-08 | 2017-05-08 | 一种基于集成成像摄像机阵列的隐藏物体成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107301663A CN107301663A (zh) | 2017-10-27 |
CN107301663B true CN107301663B (zh) | 2020-05-12 |
Family
ID=60137756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710315492.7A Active CN107301663B (zh) | 2017-05-08 | 2017-05-08 | 一种基于集成成像摄像机阵列的隐藏物体成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107301663B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108234989B (zh) * | 2018-03-01 | 2019-12-06 | 四川大学 | 一种基于棋盘格标定板的会聚式集成成像拍摄方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103278815A (zh) * | 2012-01-11 | 2013-09-04 | 索尼公司 | 用于对隐藏物体成像的成像装置和方法 |
CN103745428A (zh) * | 2014-01-23 | 2014-04-23 | 中国科学院电子学研究所 | 一种基于雷达信号扩展的图像信息隐藏方法 |
CN105303574A (zh) * | 2015-07-30 | 2016-02-03 | 四川大学 | 一种基于单应性变换的集成成像摄像机阵列标定方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5469516B2 (ja) * | 2010-04-12 | 2014-04-16 | 任天堂株式会社 | 画像表示プログラム、画像表示システム、画像表示方法および画像表示装置 |
-
2017
- 2017-05-08 CN CN201710315492.7A patent/CN107301663B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103278815A (zh) * | 2012-01-11 | 2013-09-04 | 索尼公司 | 用于对隐藏物体成像的成像装置和方法 |
CN103745428A (zh) * | 2014-01-23 | 2014-04-23 | 中国科学院电子学研究所 | 一种基于雷达信号扩展的图像信息隐藏方法 |
CN105303574A (zh) * | 2015-07-30 | 2016-02-03 | 四川大学 | 一种基于单应性变换的集成成像摄像机阵列标定方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107301663A (zh) | 2017-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106643699B (zh) | 一种虚拟现实系统中的空间定位装置和定位方法 | |
US11503275B2 (en) | Camera calibration system, target, and process | |
CN113379822B (zh) | 一种基于采集设备位姿信息获取目标物3d信息的方法 | |
US20150381965A1 (en) | Systems and methods for depth map extraction using a hybrid algorithm | |
CN101825431B (zh) | 用于三维传感的参考图像技术 | |
CN109615663A (zh) | 全景视频校正方法及终端 | |
CN107113420B (zh) | 利用单个像机的三维成像 | |
CN109859272A (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
WO2022088103A1 (zh) | 一种图像标定方法及装置 | |
CN113327291B (zh) | 一种基于连续拍摄对远距离目标物3d建模的标定方法 | |
CN109615661A (zh) | 光场相机内参数标定装置及方法 | |
CN105959669B (zh) | 一种基于重映射的集成成像微图像阵列快速生成方法 | |
CN110505468B (zh) | 一种增强现实显示设备的测试标定及偏差修正方法 | |
JP6791341B2 (ja) | 校正方法、校正装置、及びプログラム | |
CN104596444B (zh) | 一种基于编码图案投影的三维照相系统及方法 | |
CN104634323B (zh) | 一种多级摄像三维照相系统及方法 | |
CN108305233A (zh) | 一种针对微透镜阵列误差的光场图像校正方法 | |
TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
CN111595254A (zh) | 一种透镜阵列与lcd显示屏轴向间距测量方法及系统 | |
CN113963065A (zh) | 一种基于外参已知的镜头内参标定方法及装置、电子设备 | |
CN107301663B (zh) | 一种基于集成成像摄像机阵列的隐藏物体成像方法 | |
JP2018179577A (ja) | 位置計測装置 | |
CN115049548A (zh) | 恢复从阵列相机获得的图像的方法和装置 | |
JP2013160602A (ja) | 写真測量装置 | |
CN112991457A (zh) | 手术导航中投影仪空间位置和内外参标定方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |