CN102447933A - 基于双目架构的深度信息获取方法 - Google Patents
基于双目架构的深度信息获取方法 Download PDFInfo
- Publication number
- CN102447933A CN102447933A CN2011103397334A CN201110339733A CN102447933A CN 102447933 A CN102447933 A CN 102447933A CN 2011103397334 A CN2011103397334 A CN 2011103397334A CN 201110339733 A CN201110339733 A CN 201110339733A CN 102447933 A CN102447933 A CN 102447933A
- Authority
- CN
- China
- Prior art keywords
- parallax
- depth information
- passage
- algorithm
- adopt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种基于双目架构的深度信息获取方法，其是：利用相机芯片的帧同步输入输出接口，由左通道输出采样信号至右通道从而达到左右通道帧同步；采用Census变换结果作为特征，避开了左右通道亮度一致问题；合理的算法安排使其在嵌入式平台上达到实时；算法给出深度信息可靠性，为后续处理提供了更丰富的信息；采用嵌入式平台使相机结构小巧便于安装。
Description
技术领域：
本发明涉及一种立体视觉的领域，具体涉及基于双目架构的深度信息获取方法。
背景技术
目前的深度相机主要包括飞秒、结构光与立体视觉三种架构。相比于前两种架构，立体视觉精度低，准确性也较差，但其具有结构简单，价格低廉，受环境干扰小的优点，适用于一些要求不高的场合。
立体视觉是基于视差原理，通过立体匹配得到深度信息。双目立体视觉如下图所示，其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f。
设两摄像机在同一时刻观看空间物体的同一特征点 
，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为
，
。
现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即
，则由三角几何关系得到：
则视差为：
。由此可计算出特征点P在相机坐标系下的三维坐标为：
因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。
双目立体视觉实用化的问题如下：
1. 左右通道的同步问题。在实时状态下需要保证左右通道采样时间能保持一致，避免由于运动造成的左右图像不一致导致匹配错误；
2. 左右通道的亮度一致问题。因相机总是存在个体差异，无法做到两通道亮度一致；
3. 实时问题。处理速度应达到至少10-15FPS（帧/秒）以上，才能使图像成为视频；
4. 深度信息可靠性。由立体匹配得到的深度信息存在一定的错误率，特别是目标边缘，平坦区域等；
5. 小型化。作为实用型相机，其结构应小型化以便于安装架设。
发明内容
为了克服上述缺陷，本发明的目的是提出一种基于双目架构的深度信息获取方法，其实时获得场景中的深度信息供后续处理。
为了实现上述目的，本发明采用如下技术方案：
一种基于双目架构的深度信息获取方法，
1. 利用相机芯片的帧同步输入输出接口，由左通道输出采样信号至右通道从而达到左右通道帧同步；
2. 采用Census变换结果作为特征，避开了左右通道亮度一致问题；
3. 合理的算法安排使其在嵌入式平台上达到实时；
4. 算法给出深度信息可靠性，为后续处理提供了更丰富的信息；
采用嵌入式平台使相机结构小巧便于安装。
本发明包括电路是：两个独立的CMOS图像传感器、有源晶振时钟源、红外补光灯及其控制电路、DC/DC电源转换电路。各部分电路的连接关系如下：有源晶振时钟源为两个独立的CMOS图像传感器提供运行时钟，两个独立的CMOS图像传感器中的一个传感器为另一个提供场同步信号，红外补光灯控制电路中的光敏传感器感受环境光照度，自动控制红外补光灯的亮和灭，为CMOS图像传感器提供足够的光源，DC/DC电源转换电路为各个电路提供工作电源。
采用嵌入式系统（DSP）实现了相机小型化。
本发明与现有产品相比，具有如下优点：
1. 帧同步保证了每帧图像对的正确处理；
2. 避免了亮度一致问题，提高了深度信息的准确性；
3. 实时平台满足了视频处理的需求；
4. 可靠性进一步提高了深度信息的可利用性；
嵌入式系统保证了平台使用的灵活性。
附图说明
图1为本发明的原理示意图；
图2为电路原理图。
具体实施方式
下面结合附图进一步说明：
如图1所示，一种基于双目架构的深度信息获取方法，
1 通过左通道传输给右通道的同步信号保证左右通道帧同步；
2 利用Census变换避免了亮度一致问题；
图中为Census变换模板，右边为原始稠密模板。其计算公式如（1-3），所有邻域点与中心点做比较后组成一个256位的数。为简化计算加快速度，我们采用了如左边的稀疏模板，只取部分邻域点与中心点比较。一方面由于省略的是重复比较，信息量减少较少；另一方面该模板得到的是64位的结果，较原模板的256位很大提高了处理速度。
3 在算法上采用如下几点，
3.1 将匹配结果视差空间图（DSI）按图像行存放，横坐标为图像行坐标，纵坐标为视差等级。采用该内存结构可以同时快速获得左图至右图和右图至左图的匹配。，同时按图像行存放匹配结果便于整行匹配，提高了匹配速度；
3.2 采用线性插值得到亚像素级视差，视差结果平滑连续且提高了精度。公式如下，其中d是视差，函数y为匹配代价：
（1-4）
3.3 同时计算左右图视差并取其均值作为最终视差结果。
4 算法给出了深度信息的可靠性；
可靠性验证包括两部分：分别计算左右图的视差后进行左右视差校验，其差异大于一个像素的标记为不可靠；搜索最小匹配代价与次小匹配代价，标记两者差异过小的为不可靠；其他标记为可靠。公式如下：
Claims (2)
1.一种基于双目架构的深度信息获取方法，其特征在于：
利用相机芯片的帧同步输入输出接口，由左通道输出采样信号至右通道从而达到左右通道帧同步；
采用Census变换结果作为特征，避开了左右通道亮度一致问题；
合理的算法安排使其在嵌入式平台上达到实时；
算法给出深度信息可靠性，为后续处理提供了更丰富的信息；
采用嵌入式平台使相机结构小巧便于安装。
2.一种基于双目架构的深度信息获取方法，其特征在于：
通过左通道传输给右通道的同步信号保证左右通道帧同步；
利用Census变换避免了亮度一致问题；
图中为Census变换模板，右边为原始稠密模板；
其计算公式如（1-3），所有邻域点与中心点做比较后组成一个256位的数；
为简化计算加快速度，我们采用了如左边的稀疏模板，只取部分邻域点与中心点比较；
一方面由于省略的是重复比较，信息量减少较少；另一方面该模板得到的是64位的结果，较原模板的256位很大提高了处理速度；
在算法上采用如下几点，
将匹配结果视差空间图（DSI）按图像行存放，横坐标为图像行坐标，纵坐标为视差等级；
采用该内存结构可以同时快速获得左图至右图和右图至左图的匹配；
，同时按图像行存放匹配结果便于整行匹配，提高了匹配速度；
采用线性插值得到亚像素级视差，视差结果平滑连续且提高了精度；
公式如下，其中d是视差，函数y为匹配代价：
同时计算左右图视差并取其均值作为最终视差结果；
算法给出了深度信息的可靠性；
可靠性验证包括两部分：分别计算左右图的视差后进行左右视差校验，其差异大于一个像素的标记为不可靠；搜索最小匹配代价与次小匹配代价，标记两者差异过小的为不可靠；其他标记为可靠；
公式如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103397334A CN102447933A (zh) | 2011-11-01 | 2011-11-01 | 基于双目架构的深度信息获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011103397334A CN102447933A (zh) | 2011-11-01 | 2011-11-01 | 基于双目架构的深度信息获取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102447933A true CN102447933A (zh) | 2012-05-09 |
Family
ID=46009950
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011103397334A Pending CN102447933A (zh) | 2011-11-01 | 2011-11-01 | 基于双目架构的深度信息获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102447933A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104793910A (zh) * | 2014-01-20 | 2015-07-22 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
| CN106028018A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 面向裸眼3d显示的实拍双视点3d视频优化方法及系统 |
| CN106550228A (zh) * | 2015-09-16 | 2017-03-29 | 上海图檬信息科技有限公司 | 获取三维场景的深度图的设备 |
| CN107194931A (zh) * | 2017-05-09 | 2017-09-22 | 西安交通大学 | 一种基于双目图像匹配获取目标深度信息的方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037862A1 (en) * | 2006-06-29 | 2008-02-14 | Sungkyunkwan University Foundation For Corporate Collaboration | Extensible system and method for stereo matching in real-time |
| US20100142828A1 (en) * | 2008-12-10 | 2010-06-10 | Electronics And Telecommunications Research Institute | Image matching apparatus and method |
| CN101841730A (zh) * | 2010-05-28 | 2010-09-22 | 浙江大学 | 一种基于fpga的实时立体视觉实现方法 |
| CN102136136A (zh) * | 2011-03-17 | 2011-07-27 | 南京航空航天大学 | 基于自适应Census变换的光度不敏感立体匹配方法 |
-
2011
- 2011-11-01 CN CN2011103397334A patent/CN102447933A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080037862A1 (en) * | 2006-06-29 | 2008-02-14 | Sungkyunkwan University Foundation For Corporate Collaboration | Extensible system and method for stereo matching in real-time |
| US20100142828A1 (en) * | 2008-12-10 | 2010-06-10 | Electronics And Telecommunications Research Institute | Image matching apparatus and method |
| CN101841730A (zh) * | 2010-05-28 | 2010-09-22 | 浙江大学 | 一种基于fpga的实时立体视觉实现方法 |
| CN102136136A (zh) * | 2011-03-17 | 2011-07-27 | 南京航空航天大学 | 基于自适应Census变换的光度不敏感立体匹配方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104793910A (zh) * | 2014-01-20 | 2015-07-22 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
| CN106550228A (zh) * | 2015-09-16 | 2017-03-29 | 上海图檬信息科技有限公司 | 获取三维场景的深度图的设备 |
| CN106028018A (zh) * | 2016-05-31 | 2016-10-12 | 上海易维视科技股份有限公司 | 面向裸眼3d显示的实拍双视点3d视频优化方法及系统 |
| CN107194931A (zh) * | 2017-05-09 | 2017-09-22 | 西安交通大学 | 一种基于双目图像匹配获取目标深度信息的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107396080B (zh) | 产生深度信息的方法及系统 | |
| US10306254B2 (en) | Encoding free view point data in movie data container | |
| KR102130187B1 (ko) | 위성 디바이스 또는 디바이스들을 갖는 능동 스테레오 | |
| US10158939B2 (en) | Sound Source association | |
| EP3248374B1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
| CN101933335B (zh) | 将二维图像数据转换为立体图像数据的方法和系统 | |
| US20160191815A1 (en) | Camera array removing lens distortion | |
| US20200275079A1 (en) | Generating three-dimensional video content from a set of images captured by a camera array | |
| GB201107716D0 (en) | Methods and systems for capturing 3d surface geometry | |
| US20130271579A1 (en) | Mobile Stereo Device: Stereo Imaging, Measurement and 3D Scene Reconstruction with Mobile Devices such as Tablet Computers and Smart Phones | |
| CN103607568A (zh) | 立体街景视频投影方法及系统 | |
| TW201520973A (zh) | 三維立體模型之建立方法和裝置 | |
| CN103270759A (zh) | 用于基于反馈的三维视频的零视差平面 | |
| CN108616733B (zh) | 一种全景视频图像的拼接方法及全景相机 | |
| Lin et al. | A wearable stereo vision system for visually impaired | |
| US10186301B1 (en) | Camera array including camera modules | |
| US20220067974A1 (en) | Cloud-Based Camera Calibration | |
| GB201021571D0 (en) | Use of edof capable camera modules to produce anaglyph 3d images | |
| CN102447933A (zh) | 基于双目架构的深度信息获取方法 | |
| CN106256124A (zh) | 结构化立体 | |
| CN103475886A (zh) | 立体深度影像建立系统及其方法 | |
| CN103581649A (zh) | 裸眼三维影像显示装置及方法 | |
| US10586394B2 (en) | Augmented reality depth sensing using dual camera receiver | |
| CN107204015B (zh) | 基于色彩图像和红外图像融合的即时定位与建图系统 | |
| TW201724018A (zh) | 深度影像處理方法及深度影像處理系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 310013 West Street Wuchang No. 998 building 7 East Applicant after: Zhejiang iCare Vision Technology Co., Ltd. Address before: Hangzhou City, Zhejiang province 310013 Tianmushan Road No. 398 (ancient Pier Road) Shang Kun building four South Tower Applicant before: Zhejiang iCare Vision Technology Co., Ltd. |
|
| C53 | Correction of patent of invention or patent application | ||
| CB02 | Change of applicant information |
Address after: Hangzhou City, Zhejiang province Yuhang District 310013 West Street Wuchang No. 998 building 7 East Applicant after: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. Address before: Hangzhou City, Zhejiang province Yuhang District 310013 West Street Wuchang No. 998 building 7 East Applicant before: Zhejiang iCare Vision Technology Co., Ltd. |
|
| COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: HANGZHOU ICARE VISION TECHNOLOGY CO., LTD. TO: ZHEJIANG ICARE VISION TECHNOLOGY CO., LTD. |
|
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120509 |