CN102737389A - 一种针对颜色编码结构光扫描系统的自适应反射率校正方法 - Google Patents
一种针对颜色编码结构光扫描系统的自适应反射率校正方法 Download PDFInfo
- Publication number
- CN102737389A CN102737389A CN2011100921120A CN201110092112A CN102737389A CN 102737389 A CN102737389 A CN 102737389A CN 2011100921120 A CN2011100921120 A CN 2011100921120A CN 201110092112 A CN201110092112 A CN 201110092112A CN 102737389 A CN102737389 A CN 102737389A
- Authority
- CN
- China
- Prior art keywords
- color
- passage
- reflectivity
- correction
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000002310 reflectometry Methods 0.000 title claims abstract description 23
- 238000012937 correction Methods 0.000 title claims abstract description 22
- 230000003044 adaptive effect Effects 0.000 title abstract description 8
- 238000000926 separation method Methods 0.000 claims abstract description 4
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 2
- 230000001915 proofreading effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 18
- 239000003086 colorant Substances 0.000 abstract description 4
- 239000011159 matrix material Substances 0.000 description 9
- 230000003068 static effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000032696 parturition Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
本发明是一种针对颜色编码结构光扫描系统的自适应反射率校正方法。所属技术领域为结构光三维扫描技术。本发明解决的技术问题是:针对颜色编码结构光扫描系统易受物体表面反射率和环境光等因素的影响,本发明提出了一种利用相对反射率进行自适应颜色校正的方法,这种方法通过估计两个颜色通道的相对反射率来对图像颜色进行自适应校正,从而达到减少物体反射率及环境光干扰的目的。解决该问题的技术方案要点是:将获取的图像进行投影仪与摄像头颜色(Crosstalk)校正,然后进行通道分离,将通道间的直方图进行匹配,并通过定义的相对反射率函数计算出每个灰度级的相对反射率,利用相对反射率函数对经过投影仪与摄像头颜色(Crosstalk)校正的图像进行颜色校正。本发明的主要用途是在颜色编码结构光扫描系统中进行自适应反射率校正颜色,从而提高颜色解码正确率,使颜色编码结构光扫描系统能适用于各种颜色物体的扫描以及在非暗室环境下扫描。
Description
一、技术领域:
本发明涉及结构光三维扫描技术,尤其涉及针对颜色编码结构光扫描系统的自适应反射率校正方法。
二、背景技术:
3D技术是国际性生研究热点,具有广阔的应用前景,如3D电视与3D电影、3D医学成像、3D游戏以及3D地图等等。3D技术主要包括3D信息采集技术、3D影像的制作技术、3D信息的理解与以别技术以及3D影像的显示技术等等。其中3D信息采集技术是整个3D技术的基础,决定着其它3D技术的发展。
从采集的方式来分类,3D信息采集技术又可分为被动式和和主动式两大类。被动式技术的特点是在获取物体形状时不对场景引入新能量。被动式技术的代表是立体视觉技术但由于立体视觉技术需要从多个视角的图像来重建3D物体,而多幅图像的特征点匹配比较困难。当物体没有纹理或角点时很难重建3D物体,同时立体视觉技术还有计算量大这一显著缺点。另一种3D信息采集技术是主动式技术。其中最具代表性的是激光雷达以及结构光扫描技术。激光雷达利用计算激光的飞行时间(Time Of Flight)等方式来获取深度图像,而结构光扫描通过投影设备、物体以及摄像头的三角关系计算出物体的深度。
结构光扫描技术主要分为两大类。第一类是时间编码技术,通过投射一系列的结构光,从而获得高精度的三维点云数据,但这类方法只能扫描静态场最。另一类是空间编码技术,这类技术的优点是能够通过一次结构光投射获取三维点云数据,但一些因素,如物体表面反射率、环境光等,对结构光编码的解码有很大的干扰。为了解决这一问题,文献《B.C.L.Zhang and S.Seitz,``Rapid shape acqmsition using colorStructured light and multi-pass dynamic programming,”Proc.of 3DPVT 2002,24--36(2002).》中提出了动态规划及基于边缘编码的结构光方法来解决这一问题,但基于边缘编码的结构光边缘定位不准确,影响了三维点云的精度。文献《C.C.J.Pages,J.Salvi and J.Forest,“Optimised de bruijn patterns for one-shotshape acquisition,”Image Vision Comput 23(8),707-720(2005).》中采用了基于亮度峰值的编码方法,保证了三维点云的精度,但对于反射率的校正采用了静态的方法,限制了这种方法的应用范围。
针对上述部题,本发明提出了一种针对基于亮度峰值编码方法的颜色编码结构光扫描系统的自适应反射率校正方法。这种方法通过估计两个颜色通道的相对反射率来对图像颜色进行自动校正,从而达到减少物体反射率及环境光干扰的目的。
三、发明内容:
本发明解决的技术问题是:针对颜色编码结构光扫描系统易受物体表面反射率和环境光等因素的影响,本发明提出了一种利用相对反射率进行自适应颜色校正的方法,这种方法通过估计两个颜色通道的相对反射率来对图像颜色进行自适应校正,从而达到减少物体反射率及环境光干扰的目的。解决该问题的技术方案要点是:将获取的图像进行投影仪与摄像头颜色(Crosstalk)校正,然后进行通道分离,将通道间的经过投影仪与摄像头颜色(Crosstalk)校正的图像进行颜色校正。本发明的主要用途是在颜色编码结构光扫描系统中进行自适应反射率校正颜色,从而提高颜色解码正确率,使颜色编码结构光扫描系统能适用于各种颜色物体的扫描以及在非暗室环境下扫描。
在颜色编码结构光扫描系统中,如图1所示,102投影仪投射103结构光,结构光由红、绿、蓝三种颜色构成,并进行编码,如一条光条的颜色只有红色组成,就可以编码为1,如果红色和绿色组成,就可以编码为2。由三种颜色组成的结构光可以构成7个有效编码(去除黑色),从中选择几个编码,然后生成Bruijin序列,每个编码间用黑色间隔,就形成了投射的103结构光。当光线投射到104物体表面上,经过物体表面反射,由101摄像头捕捉得到彩色图片。彩色图片每个像索的RGB值由文献《N.K.D.Caspi andJ.Shamir,″Range imaging with adaptive color structured light,″IEEE Trans Pattern Anal Mach Intell20(5),470-480(1998)》中的模型,即公式(1)得到,其中矩阵C是101摄像头捕捉得到彩色图片每个像索的颜色矩阵,矩阵A是102投影仪与101摄像头的Crosstalk,矩阵K是物体表面反射率矩阵,P是投影仪投射的颜色矩阵,O是环境光的颜色矩阵。其中KR,αKR,βKR分别是R,G,B三个迎巡的反色率:α,β分别是R与G通道的相反射率,R与B通道的相对反射率。通过采用本发明的方法自适应的估计出相对反射率如公式(2)所示,就可以得到颜色估计值如公式(3)所示。通过公式(4)的颜色解码,就可以消除物体反射率及其部分环境光的干扰。
四、附图说明:
图1是颜色编码结构光扫描系统架构图
图2是自气适应反射率校正流程图
五、具体实施方法:
下面说明本发明的其体实施过程,如图2所示:
步骤200Crosstalk参数获取:首先在暗室环境下通过102投影仪投射三幅纯色图片到白纸上,从101摄像头捕捉得到彩色图片,由公式(1)得到矩阵A,即Crosstalk参数。
步骤201获取图片:当102投影仪投射103结构光后,由101摄像头捕捉得到彩色图片。
步骤202RGB三个通道分离:将101摄像头捕捉得到彩色图片分离为RG3三个通道图片。
步骤203RGB三个通道直方图匹配:通过R,G,B三个通道图片的直方图匹配来估计相对反射率 其中公式(6)代表了G通道直方图到R通道直方图的匹配,F如公式(5)所示为G通道直方图到R通道直方图匹配的转移量,根据公式(7)到公式(10)的约束条件,最小化H(G),就得到了F。
F={fij} (5)
fij≥0,1≤x≤n,1≤j≤n (7)
步骤204计算相对反射率:本发明定义了每个灰度级的相对反射率的估汁方法,如公式(11)所示。由步骤203得到的G通道直方图到R通道直方图得匹配的转移量F,代入公式(11),就可以估计出每个灰度级的相对反射率同理B通道与R通道每个灰度级的相对反射率也可以估计出。
Claims (1)
1.一种针对颜色编码结构光扫描系统的自适应反射率校正方法,其特征包含以下几个步骤:
A.Crosstalk参数获取:首先在暗室环境下通过投影仪投射三幅纯色图片到白纸上,从摄像头捕捉得到彩色图片,从而得到Crosstalk参数。
B.获取图片:当投影仪投射结构光后,由摄像头捕捉得到彩色图片。
C.RGB三个通道分离:将摄像头捕捉得到彩色图片分离为RGB三个通道图片。
D.RGB三个通道直方图匹配:通过R,G,B三个通道图片进行两通道间的直方图匹配,通过G通道直方图到R通道直方图的匹配,得到G通道直方图到R通道直方图匹配的转移量。通过B通道直方图到R通道直方图的匹配,得到G通道直方图到R通道直方图匹配的转移量。
E.计算相对反射率:通过定义每个灰度级的相对反射率的估计方法,估计出每个灰度级的R与G通道的相对反射率以及每个灰度级的R与B通道的相对反射率。
F.得到校正后颜色:得到每个灰度级的R与G通道的相对反射率、每个灰度级的R与B通道的相对反射率以及Crosstalk参数后,经过计算得到自适应反射率校正后的颜色。通过颜色解码,就可以消除物体反射率及其部分环境光的干扰。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100921120A CN102737389A (zh) | 2011-04-13 | 2011-04-13 | 一种针对颜色编码结构光扫描系统的自适应反射率校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100921120A CN102737389A (zh) | 2011-04-13 | 2011-04-13 | 一种针对颜色编码结构光扫描系统的自适应反射率校正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102737389A true CN102737389A (zh) | 2012-10-17 |
Family
ID=46992812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100921120A Pending CN102737389A (zh) | 2011-04-13 | 2011-04-13 | 一种针对颜色编码结构光扫描系统的自适应反射率校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102737389A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106562833A (zh) * | 2015-10-11 | 2017-04-19 | 东莞市叁的打印技术科技有限公司 | 一种应用于牙颌模型的颜色信息扫描方法 |
CN108370435A (zh) * | 2015-12-21 | 2018-08-03 | 株式会社小糸制作所 | 车辆用图像获取装置、以及包括了车辆用图像获取装置的车辆 |
US11187805B2 (en) | 2015-12-21 | 2021-11-30 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
US11194023B2 (en) | 2015-12-21 | 2021-12-07 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
US11204425B2 (en) | 2015-12-21 | 2021-12-21 | Koito Manufacturing Co., Ltd. | Image acquisition device for vehicles and vehicle provided with same |
US11249172B2 (en) | 2015-12-21 | 2022-02-15 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050116952A1 (en) * | 2003-10-31 | 2005-06-02 | Changsoo Je | Method for generating structured-light pattern |
CN1809116A (zh) * | 2005-01-21 | 2006-07-26 | 夏普株式会社 | 图像处理装置、方法、图像形成装置、图像读取处理装置 |
-
2011
- 2011-04-13 CN CN2011100921120A patent/CN102737389A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050116952A1 (en) * | 2003-10-31 | 2005-06-02 | Changsoo Je | Method for generating structured-light pattern |
CN1809116A (zh) * | 2005-01-21 | 2006-07-26 | 夏普株式会社 | 图像处理装置、方法、图像形成装置、图像读取处理装置 |
Non-Patent Citations (3)
Title |
---|
DALIT CASPI,ET AL: "Range imaging with adaptive color structured light", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 31 May 1998 (1998-05-31) * |
JORDI PAGES, ET AL: "Optimised De Bruijn patterns for one-shot shape acquisition", 《IMAGE AND VISION COMPUTING》, 31 December 2005 (2005-12-31) * |
YOSSI RUBNER ,ET AL: "The earth Mover"s Distance as a Metric for Image Retrieval", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, 30 November 2000 (2000-11-30) * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106562833A (zh) * | 2015-10-11 | 2017-04-19 | 东莞市叁的打印技术科技有限公司 | 一种应用于牙颌模型的颜色信息扫描方法 |
CN108370435A (zh) * | 2015-12-21 | 2018-08-03 | 株式会社小糸制作所 | 车辆用图像获取装置、以及包括了车辆用图像获取装置的车辆 |
CN108370435B (zh) * | 2015-12-21 | 2020-12-29 | 株式会社小糸制作所 | 车辆用图像获取装置、以及包括了车辆用图像获取装置的车辆 |
US10953813B2 (en) | 2015-12-21 | 2021-03-23 | Koito Manufacturing Co., Ltd. | Image acquisition device to be used by vehicle and vehicle provided with same |
US11187805B2 (en) | 2015-12-21 | 2021-11-30 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
US11194023B2 (en) | 2015-12-21 | 2021-12-07 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
US11204425B2 (en) | 2015-12-21 | 2021-12-21 | Koito Manufacturing Co., Ltd. | Image acquisition device for vehicles and vehicle provided with same |
US11249172B2 (en) | 2015-12-21 | 2022-02-15 | Koito Manufacturing Co., Ltd. | Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101667303B (zh) | 一种基于编码结构光的三维重建方法 | |
CN101883291B (zh) | 感兴趣区域增强的视点绘制方法 | |
CN105825503B (zh) | 基于视觉显著性的图像质量评价方法 | |
CN102737389A (zh) | 一种针对颜色编码结构光扫描系统的自适应反射率校正方法 | |
CN109636732A (zh) | 一种深度图像的空洞修复方法以及图像处理装置 | |
CN105006021B (zh) | 一种适用于快速点云三维重建的颜色映射方法及装置 | |
CN103868460A (zh) | 基于视差优化算法的双目立体视觉自动测量方法 | |
CN105303616B (zh) | 基于单张照片的浮雕建模方法 | |
CN103248906B (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
CN102063706A (zh) | 一种快速去雾方法 | |
CN101610425B (zh) | 一种评测立体图像质量的方法和装置 | |
CN102903098A (zh) | 一种基于图像清晰度差异的深度估计方法 | |
CN102609950B (zh) | 一种二维视频深度图的生成方法 | |
CN110838092B (zh) | 一种基于卷积神经网络的水下图像复原方法 | |
CN103198459A (zh) | 雾霾图像快速去雾方法 | |
CN111354077B (zh) | 一种基于双目视觉的三维人脸重建方法 | |
CN102831601A (zh) | 基于联合相似性测度和自适应支持权重的立体匹配方法 | |
CN101706965A (zh) | 基于高斯混合模型区域图像彩色化处理的方法 | |
CN102890785A (zh) | 一种服务机器人目标识别与定位的方法 | |
CN103914820A (zh) | 一种基于图像分层增强的图像去雾方法及系统 | |
CN110428439A (zh) | 一种基于阴影区域颜色饱和度性质的阴影检测方法 | |
CN110288539A (zh) | 一种结合颜色空间移动与暗通道先验的水下图像清晰方法 | |
CN103106671B (zh) | 一种基于视觉注意机制的图像感兴趣区域检测方法 | |
CN103226816A (zh) | 基于快速高斯滤波的雾霾图像介质传输率估算与优化方法 | |
CN102223545B (zh) | 一种快速多视点视频颜色校正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20121017 |