CN108765482B - 一种基于硬件加速的低功耗实时双目摄像头及使用方法 - Google Patents
一种基于硬件加速的低功耗实时双目摄像头及使用方法 Download PDFInfo
- Publication number
- CN108765482B CN108765482B CN201810551228.8A CN201810551228A CN108765482B CN 108765482 B CN108765482 B CN 108765482B CN 201810551228 A CN201810551228 A CN 201810551228A CN 108765482 B CN108765482 B CN 108765482B
- Authority
- CN
- China
- Prior art keywords
- module
- unit
- data
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种基于硬件加速的低功耗实时双目摄像头及使用方法，属于图像采集与处理技术领域，特别是涉及到一种基于硬件加速的实时双目摄像头及使用方法，包括第一摄像头模组、第二摄像头模组、第一图像采集模块、第二图像采集模块、第一拜耳转灰度模块、第二拜耳转灰度模块、第一矫正模块、第二矫正模块、BM算法模块、图像输出模块、相机控制芯片和终端设备。本发明可以实时对图像数据进行处理，具有延迟小，功耗低等特点；可以直接输出深度图，提供工PC或者其他设备，降低了后续开发的成本，提高后续开发的速度；在摄像头的焦距和两镜头之间距离不匹配等因素导致左右输入图片的质量不理想时，也能得到较好的深度图。
Description
技术领域
本发明属于图像采集与处理技术领域，特别是涉及到一种基于硬件加速的实时双目摄像头及使用方法。
背景技术
图像深度图是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。随着科技的发展，以前的单目摄像头已经不能满足新领域的要求，比如机器视觉领域，双目摄像头应运而生，利用仿生学原理，通过标定后的双目摄像头得到同步图像，然后计算获取的二维图像像素点的第三维深度信息。具体的有基于bm的开源算法，先把输入的左右图片进行sobel运算，数据经过BUFF进入front-end模块，缓冲足够的传入图像行，控制左右图片数据传递给multi-pipe模块以计算绝对差的和，disparity模块负责根据sad计算视差值，最后对左视差图做后处理。但是当摄像头的焦距和两镜头之间距离不匹配等因素导致左右输入图片的质量不理想时，现有技术得到的深度图也不理想。
因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
发明内容
本发明所要解决的技术问题是：提供一种基于硬件加速的低功耗实时双目摄像头及使用方法，当摄像头的焦距和两镜头之间距离不匹配等因素导致左右输入图片的质量不理想时，本发明也能得到较好的深度图。
一种基于硬件加速的低功耗实时双目摄像头，包括第一摄像头模组、第二摄像头模组、第一图像采集模块、第二图像采集模块、第一拜耳转灰度模块、第二拜耳转灰度模块、第一矫正模块、第二矫正模块、BM算法模块、图像输出模块、相机控制芯片和终端设备；
所述第一摄像头模组、第一图像采集模块、第一拜耳转灰度模块和第一矫正模块依次电性连接；
所述第二摄像头模组、第二图像采集模块、第二拜耳转灰度模块和第二矫正模块依次电性连接；
所述第一矫正模块和所述第二矫正模块同时和所述BM算法模块连接，所述终端设备通过相机控制芯片和所述BM算法模块连接；
所述BM算法模块包括依次连接的sobel滤波单元、前端、mult-pipe单元、比较差异单元和后处理单元；
所述前端包括控制单元、左图缓存单元和右图缓存单元；所述mult-pipe单元包括绝对差单元、加法树单元及绝对差和积累单元；
所述比较差异单元包括左视差数据单元和右视差数据单元；
所述后处理单元包括置信区间模块、临时数据模块、扫描数据模块和视察图存储模块；
所述置信区间模块包括块滤波单元和左右检查单元；
所述扫描数据模块通过所述图像输出模块与相机控制芯片及终端设备连接。
所述mult-pipe单元由多个pipe组成。
一种基于硬件加速的低功耗实时双目摄像头的使用方法，包括以下步骤：
步骤一，所述第一摄像头模组和第二摄像头模组分别获得左图和右图并传输给所述第一图像采集模块、第二图像采集模块；再分别传输给所述第一拜耳转灰度模块、第二拜耳转灰度模块；再分别传输给所述第一矫正模块、第二矫正模块；
步骤二，所述第一矫正模块、第二矫正模块将经过矫正处理的左图和右图传输给所述BM算法模块中的sobel滤波单元，再传输给所述前端进行处理，左图和右图经所述前端中的控制单元、左图缓存单元和右图缓存单元处理后，左图缓存单元和右图缓存单元分别将左图缓存数据和右图缓存数据传输给所述mult-pipe单元及所述扫描数据模块；
步骤三，所述mult-pipe单元将获得的左图缓存数据和右图缓存数据处理传递给所述比较差异单元；
步骤四，所述比较差异单元比较得到最小的绝对差和，得到左视差数据和右视差数据并传输给所述后处理单元中的置信区间模块及所述临时数据模块；
步骤五，所述置信区间模块中的左右视差数据经过块滤波单元和左右检查单元得到置信图，置信图数据乘以一个系数N得到一组临时数据存储于临时数据模块
步骤六，步骤五中得到的临时数据、步骤二中得到的左图缓存数据和步骤五中得到的临时数据乘以步骤四中得到的左视差数据三部分输入所述扫描数据模块进行行扫描和列扫描；
步骤七，所述扫描数据模块将行扫描和列扫描的输出除以临时数据与系数M的和，得到处理后的深度图，再经过所述图像输出模块传输给相机控制芯片及终端设备。
通过上述设计方案，本发明可以带来如下有益效果：1.本发明可以实时对图像数据进行处理，具有延迟小，功耗低等特点。2.本发明可以直接输出深度图，提供工PC或者其他设备，降低了后续开发的成本，提高后续开发的速度。3.本发明在摄像头的焦距和两镜头之间距离不匹配等因素导致左右输入图片的质量不理想时，也能得到较好的深度图。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为本发明一种基于硬件加速的低功耗实时双目摄像头及使用方法的结构示意图。
图2为本发明一种基于硬件加速的低功耗实时双目摄像头及使用方法的BM算法模块的结构示意图。
图中，1-第一摄像头模组、2-第二摄像头模组、3-第一图像采集模块、4-第二图像采集模块、5-第一拜耳转灰度模块、6-第二拜耳转灰度模块、7-第一矫正模块、8-第二矫正模块、9-BM算法模块、10-图像输出模块、11-相机控制芯片、12-终端设备、91-sobel滤波单元、92-前端、93-mult-pipe单元、94-比较差异单元、95-后处理单元、921-控制单元、922-左图缓存单元、923-右图缓存单元、931-绝对差单元、932-加法树单元、933-绝对差和积累单元、941-左视差数据单元、942-右视差数据单元、951-置信区间模块、952-临时数据模块、953-扫描数据模块。
具体实施方式
一种基于硬件加速的低功耗实时双目摄像头，如图1和图2所示：包括第一摄像头模组1、第二摄像头模组2、第一图像采集模块3、第二图像采集模块4、第一拜耳转灰度模块5、第二拜耳转灰度模块6、第一矫正模块7、第二矫正模块8、BM算法模块9、图像输出模块10、相机控制芯片11和终端设备12；
所述第一摄像头模组1、第一图像采集模块3、第一拜耳转灰度模块5和第一矫正模块7依次电性连接；
所述第二摄像头模组2、第二图像采集模块4、第二拜耳转灰度模块6和第二矫正模块8依次电性连接；
所述第一矫正模块7和所述第二矫正模块8同时和所述BM算法模块9连接，所述终端设备12通过相机控制芯片11和所述BM算法模块9连接；
所述BM算法模块包括依次连接的sobel滤波单元91、前端92、mult-pipe单元93、比较差异单元94和后处理单元95；
所述前端92包括控制单元921、左图缓存单元922和右图缓存单元923；所述mult-pipe单元93包括绝对差单元931、加法树单元932及绝对差和积累单元933；
所述比较差异单元94包括左视差数据单元941和右视差数据单元942；
所述后处理单元95包括置信区间模块951、临时数据模块952和扫描数据模块953；
所述置信区间模块951包括块滤波单元和左右检查单元；
所述扫描数据模块953通过所述图像输出模块10与相机控制芯片11及终端设备12连接。
2、根据权利要求1所述的一种基于硬件加速的低功耗实时双目摄像头，其特征是：所述mult-pipe单元93由多个pipe组成。
3、一种基于硬件加速的低功耗实时双目摄像头的使用方法，其特征是，包括以下步骤：
步骤一，所述第一摄像头模组1和第二摄像头模组2分别获得左图和右图并传输给所述第一图像采集模块3、第二图像采集模块4；再分别传输给所述第一拜耳转灰度模块5、第二拜耳转灰度模块6；再分别传输给所述第一矫正模块7、第二矫正模块8；
步骤二，所述第一矫正模块7、第二矫正模块8将经过矫正处理的左图和右图传输给所述BM算法模块中的sobel滤波单元91，再传输给所述前端92进行处理，左图和右图经所述前端92中的控制单元921、左图缓存单元922和右图缓存单元923处理后，左图缓存单元922和右图缓存单元923分别将左图缓存数据和右图缓存数据传输给所述mult-pipe单元93及所述扫描数据模块953；
步骤三，所述mult-pipe单元93将获得的左图缓存数据和右图缓存数据处理传递给所述比较差异单元94；
步骤四，所述比较差异单元94比较得到最小的绝对差和，得到左视差数据和右视差数据并传输给所述后处理单元95中的置信区间模块951及所述临时数据模块952；
步骤五，所述置信区间模块951中的左右视差数据经过块滤波单元和左右检查单元得到置信图，置信图数据乘以一个系数N得到一组临时数据存储于临时数据模块952
步骤六，步骤五中得到的临时数据、步骤二中得到的左图缓存数据和步骤五中得到的临时数据乘以步骤四中得到的左视差数据三部分输入所述扫描数据模块953进行行扫描和列扫描；
步骤七，所述扫描数据模块953将行扫描和列扫描的输出除以临时数据与系数M的和，得到处理后的深度图，再经过所述图像输出模块10传输给相机控制芯片11及终端设备12。
其中，sobel滤波单元为索贝尔滤波单元，mult-pipe单元为多通道处理单元。
本发明在使用时，第一摄像头模组1、第二摄像头模组2获得的左图和右图图像信息，分别经第一图像采集模块3、第二图像采集模块4、第一拜耳转灰度模块5、第二拜耳转灰度模块6、第一矫正模块7、第二矫正模块8处理后进入BM算法模块9。矫正后的左右图片经过sobel滤波单元给前端92，前端92缓存左图和右图，控制数据向mult-pipe单元93传递，mult-pipe单元93由多个pipe组成，计算绝对差和，然后比较差异单元94通过比较得到最小的绝对差和，得到左右视差数据。后处理单元中，左右视差数据经过块滤波和左右检查单元得到置信图，然后置信图数据乘以一个系数N得到一组临时数据，临时数据、左图缓存数据和临时数据乘以左视差数据三部分输入扫描数据模块953，行扫描和列扫描的输出除以临时数据与系数M的和，得到处理后的深度图，再经过所述图像输出模块传输给相机控制芯片并显示在终端设备上。
本领域内的技术人员应明白，本申请的实施方式可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施方式仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (3)
1.一种基于硬件加速的低功耗实时双目摄像头，其特征是：包括第一摄像头模组(1)、第二摄像头模组(2)、第一图像采集模块(3)、第二图像采集模块(4)、第一拜耳转灰度模块(5)、第二拜耳转灰度模块(6)、第一矫正模块(7)、第二矫正模块(8)、BM算法模块(9)、图像输出模块(10)、相机控制芯片(11)和终端设备(12)；
所述第一摄像头模组(1)、第一图像采集模块(3)、第一拜耳转灰度模块(5)和第一矫正模块(7)依次电性连接；
所述第二摄像头模组(2)、第二图像采集模块(4)、第二拜耳转灰度模块(6)和第二矫正模块(8)依次电性连接；
所述第一矫正模块(7)和所述第二矫正模块(8)同时和所述BM算法模块(9)连接，所述终端设备(12)通过相机控制芯片(11)和所述BM算法模块(9)连接；
所述BM算法模块包括依次连接的sobel滤波单元(91)、前端(92)、mult-pipe单元(93)、比较差异单元(94)和后处理单元(95)；
所述前端(92)包括控制单元(921)、左图缓存单元(922)和右图缓存单元(923)；所述mult-pipe单元(93)包括绝对差单元(931)、加法树单元(932)及绝对差和积累单元(933)；
所述比较差异单元(94)包括左视差数据单元(941)和右视差数据单元(942)；
所述后处理单元(95)包括置信区间模块(951)、临时数据模块(952)和扫描数据模块(953)；
所述置信区间模块(951)包括块滤波单元和左右检查单元；
所述扫描数据模块(953)通过所述图像输出模块(10)与相机控制芯片(11)及终端设备(12)连接。
2.根据权利要求1所述的一种基于硬件加速的低功耗实时双目摄像头，其特征是：所述mult-pipe单元(93)由多个pipe组成。
3.一种基于硬件加速的低功耗实时双目摄像头的使用方法，其特征是，包括以下步骤：
步骤一，第一摄像头模组(1)和第二摄像头模组(2)分别获得左图和右图并传输给第一图像采集模块(3)、第二图像采集模块(4)；再分别传输给第一拜耳转灰度模块(5)、第二拜耳转灰度模块(6)；再分别传输给第一矫正模块(7)、第二矫正模块(8)；
步骤二，所述第一矫正模块(7)、第二矫正模块(8)将经过矫正处理的左图和右图传输给BM算法模块中的sobel滤波单元(91)，再传输给前端(92)进行处理，左图和右图经所述前端(92)中的控制单元(921)、左图缓存单元(922)和右图缓存单元(923)处理后，左图缓存单元(922)和右图缓存单元(923)分别将左图缓存数据和右图缓存数据传输给mult-pipe单元(93)及扫描数据模块(953)；
步骤三，所述mult-pipe单元(93)将获得的左图缓存数据和右图缓存数据处理传递给比较差异单元(94)；
步骤四，比较差异单元(94)比较得到最小的绝对差和，得到左视差数据和右视差数据并传输给后处理单元(95)中的置信区间模块(951)及临时数据模块(952)；
步骤五，所述置信区间模块(951)中的左右视差数据经过块滤波单元和左右检查单元得到置信图，置信图数据乘以一个系数N得到一组临时数据存储于临时数据模块(952)；
步骤六，步骤五中得到的临时数据、步骤二中得到的左图缓存数据和步骤五中得到的临时数据乘以步骤四中得到的左视差数据三部分输入所述扫描数据模块(953)进行行扫描和列扫描；
步骤七，所述扫描数据模块(953)将行扫描和列扫描的输出除以临时数据与系数M的和，得到处理后的深度图，再经过图像输出模块(10)传输给相机控制芯片(11)及终端设备(12)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810551228.8A CN108765482B (zh) | 2018-05-31 | 2018-05-31 | 一种基于硬件加速的低功耗实时双目摄像头及使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810551228.8A CN108765482B (zh) | 2018-05-31 | 2018-05-31 | 一种基于硬件加速的低功耗实时双目摄像头及使用方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108765482A CN108765482A (zh) | 2018-11-06 |
| CN108765482B true CN108765482B (zh) | 2021-07-13 |
Family
ID=64001267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810551228.8A Active CN108765482B (zh) | 2018-05-31 | 2018-05-31 | 一种基于硬件加速的低功耗实时双目摄像头及使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108765482B (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9030469B2 (en) * | 2009-11-18 | 2015-05-12 | Industrial Technology Research Institute | Method for generating depth maps from monocular images and systems using the same |
| KR101637491B1 (ko) * | 2009-12-30 | 2016-07-08 | 삼성전자주식회사 | 3차원 영상 데이터 생성 방법 및 장치 |
| CN103281548B (zh) * | 2013-05-13 | 2015-04-08 | 四川虹微技术有限公司 | 一种实时高清深度估计系统 |
| CN104639933A (zh) * | 2015-01-07 | 2015-05-20 | 前海艾道隆科技（深圳）有限公司 | 一种立体视图的深度图实时获取方法及系统 |
| CN104835164B (zh) * | 2015-05-11 | 2017-07-28 | 京东方科技集团股份有限公司 | 一种双目摄像头深度图像的处理方法及装置 |
| CN107025635B (zh) * | 2017-03-09 | 2020-01-24 | Oppo广东移动通信有限公司 | 基于景深的图像饱和度的处理方法、处理装置和电子装置 |
| CN107679542B (zh) * | 2017-09-27 | 2020-08-11 | 中央民族大学 | 一种双摄像头立体视觉识别方法及系统 |
| CN107909616A (zh) * | 2017-12-14 | 2018-04-13 | 元橡科技（北京）有限公司 | 一种双目视觉系统的自动矫正方法 |
-
2018
- 2018-05-31 CN CN201810551228.8A patent/CN108765482B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108765482A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416327B (zh) | 一种目标检测方法、装置、计算机设备及可读存储介质 | |
| US11830222B2 (en) | Bi-level optimization-based infrared and visible light fusion method | |
| CN205123933U (zh) | 用以决定深度图像内无效深度信息的图像装置 | |
| US20170270644A1 (en) | Depth image Denoising Method and Denoising Apparatus | |
| CN111652921B (zh) | 一种单目深度预测模型的生成方法及单目深度预测方法 | |
| CN103220545A (zh) | 一种立体视频实时深度估计系统硬件实现方法 | |
| CN111612878B (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| CN104252700A (zh) | 一种红外图像的直方图均衡化方法 | |
| EP3866112A3 (en) | Method, apparatus, device, storage medium and program for three-dimensional reconstruction | |
| CN101437171A (zh) | 一种具有视频处理速度的三目立体视觉装置 | |
| CN204206364U (zh) | 一种基于双目摄像头的影像预处理装置 | |
| CN109889799A (zh) | 基于rgbir摄像头的单目结构光深度感知方法及装置 | |
| CN102647602B (zh) | 一种基于gpu加速的2d视频转3d视频系统及方法 | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| CN102026012B (zh) | 平面视频立体化转换深度图生成方法和装置 | |
| CN214587004U (zh) | 一种立体匹配加速电路、图像处理器及三维成像电子设备 | |
| CN102075777B (zh) | 一种基于运动对象的视频图像平面转立体处理方法 | |
| CN102932661A (zh) | 视差图的中值滤波匹配误差校正方法和实施该方法的电路 | |
| CN106412560A (zh) | 一种基于深度图的立体图像生成方法 | |
| CN106570901B (zh) | 一种基于cuda的双目深度信息恢复加速方法 | |
| CN108765482B (zh) | 一种基于硬件加速的低功耗实时双目摄像头及使用方法 | |
| CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
| KR100795974B1 (ko) | 스트리밍 스테레오 영상을 처리하여 깊이-지도를 실시간으로 생성하는 장치 | |
| CN116071281A (zh) | 一种基于特征信息交互的多模态图像融合方法 | |
| CN112949504B (zh) | 立体匹配方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |