CN112929616B - 一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法 - Google Patents
一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法 Download PDFInfo
- Publication number
- CN112929616B CN112929616B CN202110084552.5A CN202110084552A CN112929616B CN 112929616 B CN112929616 B CN 112929616B CN 202110084552 A CN202110084552 A CN 202110084552A CN 112929616 B CN112929616 B CN 112929616B
- Authority
- CN
- China
- Prior art keywords
- image
- detector
- frequency
- filter
- barrel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明是一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法,计算机生成一系列彩色测量模板,将其通过彩色投影仪投射到三维目标上。彩色测量模板经过三维目标的反射被探测器接受。由于三组探测器之前分别放置了绿,红,蓝滤波片,使各探测器只能接收到相应滤波片所选通的波段范围。每投射一帧测量模板,各桶探测器就记录相应的测量值,并将其通过数据采集终端输送到计算机中,在计算机中进行二维图像重构。当重构出每一个桶探测器对应的二维图像,便进行三维图像的重构。该方法基于傅里叶单像素技术,提出基于彩色调制,针对每个桶探测器设计独立的调制模板,进而实现针对各探测器的独立调制,快速获取光度立体视觉所需的图源。
Description
技术领域
本发明涉及立体视觉图源获取技术领域,具体的说是一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法。
背景技术
基于光度立体视觉的单像素三维成像方法是一种具有一定应用潜力的,该方法成本较低且方便易行。在该方法中,不同位置的探测器对应了在不同光照角度条件下拍摄的图像。但由于每个探测器重构图像对应的光照角度不同,因此难以在该系统兼顾每张图像的特点,同时实现压缩自适应测量,从而降低了成像效率。
发明内容
本发明要解决的技术问题是提供一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法,基于傅里叶单像素技术,提出基于彩色调制,针对每个桶探测器设计独立的调制模板,进而实现针对各探测器的独立调制,快速获取光度立体视觉所需的图源。
为解决上述技术问题,本发明采用的技术方案为:
一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法,其特征在于:在待测物体周围设置有彩色投影仪、第一桶探测器、第二桶探测器和第三桶探测器,第一桶探测器、第二桶探测器和第三桶探测器的接收窗口前分别设置绿色滤波片,红色滤波片和蓝色滤波片;
通过彩色投影仪朝向待测物体投射多帧测量模板,第一桶探测器、第二桶探测器和第三桶探测器记录测量值,并将测量值通过数据采集终端输送到计算机中,在计算机中进行图像重构,具体步骤如下:
步骤1,标定系统;以任意一组桶探测器为标定探测器,获取系统中红色重构图像的放大系数αr、绿色重构图像的放大系数αg和蓝色重构图像的放大系数αb;
步骤2,通过彩色投影仪朝向待测物体投射灰度低频条纹,获取红色滤波片对应的谱强度图记为SL_R,绿色滤波片对应的谱强度图记为SL_G,蓝色滤波片对应的谱强度图记为SL_B;
步骤3,获得各探测器获取图像的显著低频信息;
步骤4,根据低频信息,获取对应图像的高频信息;
步骤7,结合红色重构图像的放大系数αr、绿色重构图像的放大系数αg,蓝色重构图像的放大系数αb,得到用于重构三维图像的图源IR_final、IG_final和IB_final。
步骤1中,标定系统的具体步骤如下:在选定为标定探测器的桶探测器的接收窗口前不放置任何滤波片,同时通过彩色投影仪朝向待测物体投射一帧灰度值为255的全白图像,标定探测器测量值为Iw;进一步为标定探测器依次更换红色滤波片、绿色滤波片和蓝色滤波片,根据测量值获取红色重构图像的放大系数αr、绿色重构图像的放大系数αg和蓝色重构图像的放大系数αb,计算公式如下:
式中,Ir为设置红色滤波片时标定探测器的测量值,Ig为设置绿色滤波片时标定探测器的测量值,Ib为设置蓝色滤波片时标定探测器的测量值。
步骤2中,获取红色滤波片、绿色滤波片和蓝色滤波片对应谱强度图的具体步骤为:通过彩色投影仪朝向待测物体投射灰度低频条纹,对给定的低分辨率区域进行全采样,重构图像的大小为m*m,低频区域的采样率为k,k<1,此时的采样点数为k*m*m;以(m/2,m/2)为中心,统计距离该中心最近的k*m*m个点的位置,作为低频采样点,低频采样点的集合标记为RL;测量RL中每个频点的系数;获取红色滤波片对应的谱强度图记为SL_R,绿色滤波片对应的谱强度图记为SL_G,蓝色滤波片对应的谱强度图记为SL_B。
步骤3中,获得各探测器的显著低频信息的具体步骤为:分别对SL_R、SL_G、SL_B所有频点的系数大小进行排序;SL_R、SL_G、SL_B均取前q个作为显著系数,组成的集合记为 均表示低频区域内的采样点,i=1…q;选取显著系数的数量不小于50%。
式中,c1,c2均为放大系数,大于1,可以根据实际需求进行设定;
通过投射由上式对应的图案结合四步相移法,可以获得每个滤波片对应图像在给定空间频率上的系数,用于重构空域图像。
步骤7中,每个探测器通过各自的窄带滤波片,接收到相应的波长对应的信号;红色滤波片对应桶探测器的低频频点系数为SL_R,高频频点系数测量结果为SH_R_F,则红色滤波片对应的重构图像为同理获得绿色滤波片和蓝色滤波片对应的图像IG_temp和IB_temp;将三者分别与放大系数αr,αg,αb相乘,得到最终用于重构三维图像的图源IR_final、IG_final和IB_final。
该种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法能够达到的有益效果为:对于三维目标而言,不同光照角度下拍摄的目标图像会出现显著区别,相应的其空间频率会各不相同。基于彩色调制,针对每个桶探测器设计独立的调制模板,进而实现针对各探测器的独立调制,快速获取光度立体视觉所需的图源,提高了成像效率。
附图说明
图1为本发明一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法的系统结构示意图。
图2为本发明一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法的流程图。
图3为本发明一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法中彩色投影方式示例图。
说明书附图说明:1、待测物体;2、第一桶探测器;3、第二桶探测器;4、第三桶探测器;5、绿色滤波片;6、红色滤波片;7、蓝色滤波片;8、彩色投影仪;9、数据采集终端;10、计算机。
具体实施方式
以下结合说明书附图和具体优选的实施例对本发明作进一步描述。
一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法,其所用系统如图1所示,在待测物体1周围设置有彩色投影仪8、第一桶探测器2、第二桶探测器3和第三桶探测器4,第一桶探测器、第二桶探测器和第三桶探测器的接收窗口前分别设置绿色滤波片5,红色滤波片6和蓝色滤波片7;
通过彩色投影仪朝向待测物体投射多帧测量模板,第一桶探测器、第二桶探测器和第三桶探测器记录测量值,并将测量值通过数据采集终端9输送到计算机10中,在计算机中进行图像重构,所述的彩色投影仪投射多帧测量模板均为彩色测量模板,彩色测量模板由计算机生成,如图2所示,具体步骤如下:
步骤1,标定系统;以任意一组桶探测器为标定探测器,获取系统中红色重构图像的放大系数αr、绿色重构图像的放大系数αg和蓝色重构图像的放大系数αb;
步骤2,通过彩色投影仪朝向待测物体投射灰度低频条纹,获取红色滤波片对应的谱强度图记为SL_R,绿色滤波片对应的谱强度图记为SL_G,蓝色滤波片对应的谱强度图记为SL_B;
步骤3,获得各探测器获取图像的显著低频信息;
步骤4,根据低频信息,获取对应图像的高频信息;
步骤7,结合红色重构图像的放大系数αr、绿色重构图像的放大系数αg,蓝色重构图像的放大系数αb,得到用于重构三维图像的图源IR_final、IG_final和IB_final。
本实施例中,步骤1中标定系统的具体步骤如下:在选定为标定探测器的桶探测器的接收窗口前不放置任何滤波片,同时通过彩色投影仪朝向待测物体投射一帧灰度值为255的全白图像,标定探测器测量值为Iw;进一步为标定探测器依次更换红色滤波片、绿色滤波片和蓝色滤波片,根据测量值获取红色重构图像的放大系数αr、绿色重构图像的放大系数αg和蓝色重构图像的放大系数αb,计算公式如下:
式中,Ir为设置红色滤波片时标定探测器的测量值,Ig为设置绿色滤波片时标定探测器的测量值,Ib为设置蓝色滤波片时标定探测器的测量值。
本实施例中,步骤2中获取红色滤波片、绿色滤波片和蓝色滤波片对应谱强度图的具体步骤为:通过彩色投影仪朝向待测物体投射灰度低频条纹,对给定的低分辨率区域进行全采样,重构图像的大小为m*m,低频区域的采样率为k,k<1,此时的采样点数为k*m*m;以(m/2,m/2)为中心,统计距离该中心最近的k*m*m个点的位置,作为低频采样点,低频采样点的集合标记为RL;测量RL中每个频点的系数;获取红色滤波片对应的谱强度图记为SL_R,绿色滤波片对应的谱强度图记为SL_G,蓝色滤波片对应的谱强度图记为SL_B。
本实施例中,步骤3中获得各探测器的显著低频信息的具体步骤为:分别对SL_R、SL_G、SL_B所有频点的系数大小进行排序;SL_R、SL_G、SL_B均取前q个作为显著系数,组成的集合记为 均表示低频区域内的采样点,i=1…q;选取显著系数的数量不小于50%。
式中,c1,c2均为放大系数,大于1,可以根据实际需求进行设定M、N删除;
通过投射由上式对应的图案结合四步相移法,可以获得每个滤波片对应图像在给定空间频率上的系数,用于重构空域图像。
本实施例中,步骤7中每个探测器通过各自的窄带滤波片,接收到相应的波长对应的信号;红色滤波片对应桶探测器的低频频点系数为SL_B,高频频点系数测量结果为SH_R_F,则红色滤波片对应的重构图像为同理获得绿色滤波片和蓝色滤波片对应的图像IG_temp和IB_temp;将三者分别与放大系数αr,αg,αb相乘,得到最终用于重构三维图像的图源IR_final、IG_final和IB_final。
本实施例中,数字图像可以通过离散傅里叶变换计算其空间频率,得到的结果称为频谱图像,标记为S。反之,如果直接测量目标的频谱,通过反傅里叶变换就可以得到目标的数字图像。在频谱图像中,一个位置代表一个频点,对应了一个正弦型的空域条纹作为基底。傅里叶单像素技术就是通过直接测量每个频点对应的系数,构成频谱图像,从而反演出目标图像。基于傅里叶单像素技术,基底图像的生成以及图像重构的方法如下:
其中,a、b、φ分别为基底图像的平均强度,对比度以及初相位。
那么重构图像就可以通过逆傅里叶变换求得,如下式所示:
进一步的,本实施例中,直接采用频域图像的坐标信息来表示频点的位置。当涉及到频域内图像坐标与空间频率fx,fy转换时,可按照下式进行转换:
fx=Px/m
fy=Py/m
式中,Px和Py为频谱图像中某点的坐标,fx,fy为其转换后的空间频率,图像大小为m×m。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。
Claims (1)
1.一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法,其特征在于:在待测物体周围设置有彩色投影仪、第一桶探测器、第二桶探测器和第三桶探测器,第一桶探测器、第二桶探测器和第三桶探测器的接收窗口前分别设置绿色滤波片,红色滤波片和蓝色滤波片;
通过彩色投影仪朝向待测物体投射多帧测量模板,第一桶探测器、第二桶探测器和第三桶探测器记录测量值,并将测量值通过数据采集终端输送到计算机中,在计算机中进行图像重构,具体步骤如下:
步骤1,标定系统;以任意一组桶探测器为标定探测器,获取系统中红色重构图像的放大系数αr、绿色重构图像的放大系数αg和蓝色重构图像的放大系数αb;其中,标定系统的具体步骤如下:在选定为标定探测器的桶探测器的接收窗口前不放置任何滤波片,同时通过彩色投影仪朝向待测物体投射一帧灰度值为255的全白图像,标定探测器测量值为Iw;进一步为标定探测器依次更换红色滤波片、绿色滤波片和蓝色滤波片,根据测量值获取红色重构图像的放大系数αr、绿色重构图像的放大系数αg和蓝色重构图像的放大系数αb,计算公式如下:
式中,Ir为设置红色滤波片时标定探测器的测量值,Ig为设置绿色滤波片时标定探测器的测量值,Ib为设置蓝色滤波片时标定探测器的测量值;
步骤2,通过彩色投影仪朝向待测物体投射灰度低频条纹,获取红色滤波片对应的谱强度图记为SL_R,绿色滤波片对应的谱强度图记为SL_G,蓝色滤波片对应的谱强度图记为SL_B;其中,获取红色滤波片、绿色滤波片和蓝色滤波片对应谱强度图的具体步骤为:通过彩色投影仪朝向待测物体投射灰度低频条纹,对给定的低分辨率区域进行全采样,重构图像的大小为m*m,低频区域的采样率为k,k<1,此时的采样点数为k*m*m;以(m/2,m/2)为中心,统计距离该中心最近的k*m*m个点的位置,作为低频采样点,低频采样点的集合标记为RL;测量RL中每个频点的系数;获取红色滤波片对应的谱强度图记为SL_R,绿色滤波片对应的谱强度图记为SL_G,蓝色滤波片对应的谱强度图记为SL_B;
步骤3,获得各探测器获取图像的显著低频信息;具体步骤为:分别对SL_R、SL_G、SL_B所有频点的系数大小进行排序;SL_R、SL_G、SL_B均取前q个作为显著系数,组成的集合记为 均表示低频区域内的采样点,i=1…q;选取显著系数的数量不小于50%;
式中,c1,c2均为放大系数,大于1,可以根据实际需求进行设定;
步骤5,对高频点进行筛选;将低频集合和高频点集合相比,去除位置相同的频点,得到筛选后的点集合和其中,红色滤波片对应图像中将与相比较,去除位置相同的频点,经过筛选的高频点记为同理可以得到蓝色滤波片和绿色滤波片对应的和
通过投射由上式对应的图案结合四步相移法,可以获得每个滤波片对应图像在给定空间频率上的系数,用于重构空域图像;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110084552.5A CN112929616B (zh) | 2021-01-21 | 2021-01-21 | 一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110084552.5A CN112929616B (zh) | 2021-01-21 | 2021-01-21 | 一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112929616A CN112929616A (zh) | 2021-06-08 |
CN112929616B true CN112929616B (zh) | 2022-12-20 |
Family
ID=76164265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110084552.5A Active CN112929616B (zh) | 2021-01-21 | 2021-01-21 | 一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112929616B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105915869A (zh) * | 2016-04-22 | 2016-08-31 | 南京理工大学 | 一种彩色自适应压缩计算鬼成像系统及方法 |
CN106131517A (zh) * | 2016-06-24 | 2016-11-16 | 南京理工大学 | 一种彩色图像获取方法 |
CN108259865A (zh) * | 2018-03-09 | 2018-07-06 | 暨南大学 | 一种基于单像素探测器的彩色成像方法和系统 |
CN110264540A (zh) * | 2019-06-19 | 2019-09-20 | 北京航空航天大学 | 一种并行单像素成像方法 |
CN111649691A (zh) * | 2020-03-06 | 2020-09-11 | 福州大学 | 基于单像素探测器的数字条纹投影三维成像系统及方法 |
-
2021
- 2021-01-21 CN CN202110084552.5A patent/CN112929616B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105915869A (zh) * | 2016-04-22 | 2016-08-31 | 南京理工大学 | 一种彩色自适应压缩计算鬼成像系统及方法 |
CN106131517A (zh) * | 2016-06-24 | 2016-11-16 | 南京理工大学 | 一种彩色图像获取方法 |
CN108259865A (zh) * | 2018-03-09 | 2018-07-06 | 暨南大学 | 一种基于单像素探测器的彩色成像方法和系统 |
CN110264540A (zh) * | 2019-06-19 | 2019-09-20 | 北京航空航天大学 | 一种并行单像素成像方法 |
CN111649691A (zh) * | 2020-03-06 | 2020-09-11 | 福州大学 | 基于单像素探测器的数字条纹投影三维成像系统及方法 |
Non-Patent Citations (2)
Title |
---|
单像素成像在三维测量中的应用;姜宏志等;《红外与激光工程》;20200325(第03期);全文 * |
基于压缩感知的光度立体视觉三维成像方法研究;梁亚舟等;《遥感技术与应用》;20170630;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112929616A (zh) | 2021-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113228628B (zh) | 用于转换非拜尔图案颜色滤波器阵列图像数据的系统和方法 | |
JP3819187B2 (ja) | マルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システム | |
US9179113B2 (en) | Image processing device, and image processing method, and program | |
US8837853B2 (en) | Image processing apparatus, image processing method, information recording medium, and program providing image blur correction | |
US8229212B2 (en) | Interpolation system and method | |
CN105993169B (zh) | 用于图像去马赛克的系统及方法 | |
Vora et al. | Digital color cameras—2—Spectral response | |
JP4328424B2 (ja) | 画像変換方法 | |
CN102356631A (zh) | 图像处理装置、信号处理方法以及程序 | |
JP2001243459A (ja) | 画像処理方法 | |
JP2012239103A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN108259865A (zh) | 一种基于单像素探测器的彩色成像方法和系统 | |
Webb et al. | Spectral and 3D cultural heritage documentation using a modified camera | |
Sun et al. | Design of four-band multispectral imaging system with one single-sensor | |
JP2002525722A (ja) | 画像処理方法とシステム | |
Hubel | Foveon technology and the changing landscape of digital cameras | |
CN106375675B (zh) | 一种航空相机多曝光图像融合方法 | |
Maschal et al. | New image quality assessment algorithms for CFA demosaicing | |
CN112929616B (zh) | 一种基于单像素成像系统和彩色调制的光度立体视觉图源获取方法 | |
JP2002305751A (ja) | カラーフィルタアレイ画像の再構成装置 | |
Bennett et al. | Video and image bayesian demosaicing with a two color image prior | |
US7433540B1 (en) | Decomposing natural image sequences | |
Paul et al. | Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method | |
Gaiani et al. | Evaluating smartphones color fidelity and metric accuracy for the 3D documentation of small artifacts | |
Tominaga et al. | Surface reconstruction of oil paintings for digital archiving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |