CN111836033A - 一种lvds接口的双目立体相机 - Google Patents

一种lvds接口的双目立体相机 Download PDF

Info

Publication number
CN111836033A
CN111836033A CN202010778353.XA CN202010778353A CN111836033A CN 111836033 A CN111836033 A CN 111836033A CN 202010778353 A CN202010778353 A CN 202010778353A CN 111836033 A CN111836033 A CN 111836033A
Authority
CN
China
Prior art keywords
camera
image
module
lvds interface
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010778353.XA
Other languages
English (en)
Inventor
朱建国
马晓飞
杨伟光
董成国
王鹏飞
于龙海
范冬伟
张健
李佳腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control and Electronic Technology
Original Assignee
Beijing Institute of Control and Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control and Electronic Technology filed Critical Beijing Institute of Control and Electronic Technology
Priority to CN202010778353.XA priority Critical patent/CN111836033A/zh
Publication of CN111836033A publication Critical patent/CN111836033A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Abstract

本发明公开一种LVDS接口的双目立体相机，包括：2个摄像头模组(1)、相机控制器(2)、HDMI视频电缆(3)和电池(4)。上电后，摄像头模组(1)采集图像数据，传输到相机控制器(2)的视频采集处理模块(10)进行处理，计算生成视差图和深度图，最后通过LVDS接口(8)经HDMI视频电缆(3)发送给用户设备使用。用户可通过液晶屏(5)看到视频图像，通过用户按键(6)设置相机的工作参数，通过LED状态指示灯(7)了解相机当前工作状态，通过TF存储卡(9)拍摄照片和录制视频。本发明能够应用到各类嵌入式设备中，解决当前双目相机产品只能和PC互联的难题，具有十分广阔的应用前景。

Description

一种LVDS接口的双目立体相机
技术领域
本发明涉及一种双目立体相机，特别是一种LVDS接口的双目立体相机。
背景技术
双目立体相机是根据视差原理和三角测量方法计算前方场景空间点的距离或深度，相机通过两个摄像头采集场景图像，对左右图像进行立体匹配，得到前方场景的视差图和深度图，输出给其他设备，包括：PC平台和嵌入式硬件平台，执行更高级的视觉计算任务。
当前市场上的双目立体相机均为面向计算机平台的，相机使用USB和1394火线的接口与计算机互连，而且其中部分相机不具备实时生成和输出视差图、深度图的能力，依赖计算机进行双目立体匹配获得视差图和深度图。如果要在微型无人机、微型机器人等嵌入式平台使用这些双目立体相机，则面临图像采集接口不匹配和缺少图像采集驱动程序的问题，另外，该类嵌入式平台的计算资源和计算能力非常有限和宝贵，不能用来实时生成和输出视差图和深度图。
发明内容
本发明目的在于提供一种LVDS接口的双目立体相机，解决当前市场上双目相机只能和计算机连接使用，无法在微型机器人、微型无人机上使用，以及且部分相机不具备实时输出视差图/深度图的问题。
一种LVDS接口的双目立体相机，包括：摄像头模组、相机控制器、HDMI视频电缆和电池。
相机控制器的两端分别各与一个摄像头模组刚性连接；摄像头模组的光学镜头外端面不高出相机控制器外壳，外壳上开有与摄像头模组的光学镜头相匹配的圆形孔或方形孔，孔外侧安装透明有机玻璃罩。
HDMI视频电缆一端与相机控制器的LVDS接口连接，另一端与外界用户设备的LVDS接口连接；电池置于相机控制器后面的电池仓中。摄像头模组，包括：图像传感器、光学镜头和接口模块；摄像头模组从前至后安装顺序依次为光学镜头、图像传感器和接口模块。图像传感器安装在接口模块的上表面，且使其像素阵列平面位于光学镜头后焦距截面。光学镜头和图像接口模块通过摄像头模组的外壳固定。光学镜头用于汇聚光线，使其在图像传感器表面成像；图像传感器用于光电转换，实现景物成像；
接口模块的功能为：实现传感器供电电压转换、输出传感器图像和通信控制。
相机控制器，包括：视频采集处理模块、液晶屏、用户按键、LED状态指示灯、LVDS接口和TF存储卡。其中，所述用户按键为多个，LED状态指示灯为多个。
所述视频采集处理模块安装在相机控制器里面；所述液晶屏、用户按键、LED状态指示灯、LVDS接口和TF存储卡安装在相机控制器背面，通过连接器、线缆和所述视频采集处理模块相连。
视频采集处理模块的功能为：计算生成稠密立体视差图或深度图、输出原始图像或处理后图像到外接用户设备、用户人机交互和存储录制视频。
首先将电池装入相机控制器电池仓，用HDMI视频电缆连接相机控制器和外接用户设备，按开机键开机；再通过用户按键设置相机工作参数，选择输出图像类型、设置图像传感器曝光时间和视频录制选项，液晶屏实时显示相机工作参数设置界面。两个摄像头模组同步曝光生成原始图像对，接口模块转换传感器供电电压和输出传感器图像；视频采集处理模块采集原始图像对，经过一系列图像处理确定视差图和深度图，图像在液晶屏中实时显示，图像通过LVDS接口经HDMI视频电缆传输给外接用户设备使用，外接用户设备使用双目立体相机输出的视差图和深度图的不同类型图像，完成：包括：视觉导航、3D场景重建、vSLAM、VR/AR和目标检测的高级任务。外接设备是各类嵌入式设备和安装LVDS接口PCIE采集卡的通用计算机或图形工作站。双目相机工作过程中，使用TF卡存储拍摄图像、视差图/深度图和录制视频，使用LED状态指示灯指示相机工作状态，包括：开/关机、正常/故障状态和连接状态。使用完毕后，关机拔下HDMI视频电缆并取下电池。
本发明充分考虑了双目立体相机和PC以外的各种嵌入式设备通过LVDS接口互连的能力，以及相机实时生成视差图/深度图的需求。本发明能够广泛应用到各种无法使用PC的视觉应用场合，如微型无人机、微型机器人等平台的小型嵌入式硬件平台，为它们提供实时深度图，从而摆脱繁重的视觉计算任务，更专注执行其他高级任务，如视觉导航、3D场景重建、目标检测等。
附图说明
图1一种基于LVDS接口的双目立体相机的组成示意图的前视图；
图2一种基于LVDS接口的双目立体相机的组成示意图的后视图。
1.摄像头模组 2.相机控制器 3.HDMI视频电缆 4.电池 5.液晶屏 6.用户按键7.LED状态指示灯 8.LVDS接口 9.TF存储卡
具体实施方式
一种LVDS接口的双目立体相机，包括：摄像头模组1、相机控制器2、HDMI视频电缆3和电池4。
相机控制器2的两端分别各与一个摄像头模组1刚性连接；摄像头模组1的光学镜头外端面不高出相机控制器2外壳，外壳上开有与摄像头模组1的光学镜头相匹配的方形孔，孔外侧安装透明有机玻璃罩。
HDMI视频电缆3一端与相机控制器2的LVDS接口8连接，另一端与外界用户设备的LVDS接口连接；电池4置于相机控制器2后面的电池仓中。摄像头模组1，包括：图像传感器、光学镜头和接口模块；摄像头模组1从前至后安装顺序依次为光学镜头、图像传感器和接口模块。图像传感器安装在接口模块的上表面，且使其像素阵列平面位于光学镜头后焦距截面。光学镜头和图像接口模块通过摄像头模组1的外壳固定。光学镜头用于汇聚光线，使其在图像传感器表面成像；图像传感器用于光电转换，实现景物成像。
接口模块的功能为：实现传感器供电电压转换、输出传感器图像和通信控制。
相机控制器2，包括：视频采集处理模块、液晶屏5、用户按键6、LED状态指示灯7、LVDS接口8和TF存储卡9。其中，所述用户按键6为多个，LED状态指示灯7为多个。
所述视频采集处理模块安装在相机控制器2里面；所述液晶屏5、用户按键6、LED状态指示灯7、LVDS接口8和TF存储卡9安装在相机控制器2背面，通过连接器、线缆和所述视频采集处理模块相连。
视频采集处理模块的功能为：计算生成稠密立体视差图或深度图、输出原始图像或处理后图像到外接用户设备、用户人机交互和存储录制视频。
首先将电池4装入相机控制器2电池仓，用HDMI视频电缆3连接相机控制器2和外接用户设备，按开机键6开机；再通过用户按键6设置相机工作参数，选择输出图像类型、设置图像传感器曝光时间和视频录制选项等，液晶屏5实时显示相机工作参数设置界面。两个摄像头模组1同步曝光生成原始图像对，接口模块转换传感器供电电压和输出传感器图像；视频采集处理模块采集原始图像对，经过一系列图像处理步骤计算得到视差图/深度图，图像在液晶屏5中实时显示，图像通过LVDS接口8经HDMI视频电缆3传输给外接用户设备使用，外接用户设备使用双目立体相机输出的视差图、深度图等不同类型图像，完成包括：视觉导航、3D场景重建、vSLAM、VR/AR和目标检测的高级任务。外接设备是各类嵌入式设备和安装LVDS接口PCIE采集卡的通用计算机或图形工作站。双目相机工作过程中，使用TF卡9存储拍摄图像、视差图/深度图和录制视频，使用LED状态指示灯7指示相机工作状态，包括开/关机、正常/故障状态和连接状态。使用完毕后，关机拔下HDMI视频电缆3并取下电池4。

Claims (5)

1.一种LVDS接口的双目立体相机，其特征在于包括：摄像头模组(1)、相机控制器(2)、HDMI视频电缆(3)和电池(4)；
相机控制器(2)的两端分别各与一个摄像头模组(1)刚性连接；摄像头模组(1)的光学镜头外端面不高出相机控制器(2)外壳，外壳上开有与摄像头模组(1)的光学镜头相匹配的圆形孔或方形孔，孔外侧安装透明有机玻璃罩；
HDMI视频电缆(3)一端与相机控制器(2)的LVDS接口(8)连接，另一端与外界用户设备的LVDS接口连接；电池(4)置于相机控制器(2)后面的电池仓中；图像传感器安装在接口模块的上表面，且使其像素阵列平面位于光学镜头后焦距截面；光学镜头和图像接口模块通过摄像头模组(1)的外壳固定；光学镜头用于汇聚光线，使其在图像传感器表面成像；图像传感器用于光电转换，实现景物成像；
所述视频采集处理模块安装在相机控制器(2)里面；所述液晶屏(5)、用户按键(6)、LED状态指示灯(7)、LVDS接口(8)和TF存储卡(9)安装在相机控制器(2)背面，通过连接器、线缆和所述视频采集处理模块相连；
首先将电池(4)装入相机控制器(2)电池仓，用HDMI视频电缆(3)连接相机控制器(2)和外接用户设备，按开机键(6)开机；再通过用户按键(6)设置相机工作参数，选择输出图像类型、设置图像传感器曝光时间和视频录制选项等，液晶屏(5)实时显示相机工作参数设置界面；两个摄像头模组(1)同步曝光生成原始图像对，接口模块转换传感器供电电压和输出传感器图像；视频采集处理模块采集原始图像对，经过一系列图像处理步骤计算得到视差图/深度图，图像在液晶屏(5)中实时显示，图像通过LVDS接口(8)经HDMI视频电缆(3)传输给外接用户设备使用，外接用户设备使用双目立体相机输出的视差图和深度图不同类型图像，完成包括：视觉导航、3D场景重建、vSLAM、VR/AR和目标检测的高级任务；外接设备是各类嵌入式设备和安装LVDS接口PCIE采集卡的通用计算机或图形工作站；双目相机工作过程中，使用TF卡(9)存储拍摄图像、视差图/深度图和录制视频，使用LED状态指示灯(7)指示相机工作状态，包括：开/关机、正常/故障状态和连接状态；使用完毕后，关机拔下HDMI视频电缆(3)并取下电池(4)。
2.根据权利要求1所述的一种LVDS接口的双目立体相机，其特征在于所述摄像头模组(1)，包括：图像传感器、光学镜头和接口模块；摄像头模组(1)从前至后安装顺序依次为光学镜头、图像传感器和接口模块。
3.根据权利要求1所述的一种LVDS接口的双目立体相机，其特征在于所述接口模块的功能为：实现传感器供电电压转换、输出传感器图像和通信控制。
4.根据权利要求1所述的一种LVDS接口的双目立体相机，其特征在于所述相机控制器(2)，包括：视频采集处理模块、液晶屏(5)、用户按键(6)、LED状态指示灯(7)、LVDS接口(8)和TF存储卡(9)；其中，所述用户按键(6)为多个，LED状态指示灯(7)为多个。
5.根据权利要求1所述的一种LVDS接口的双目立体相机，其特征在于所述视频采集处理模块的功能为：计算生成稠密立体视差图或深度图、输出原始图像或处理后图像到外接用户设备、用户人机交互和存储录制视频。
CN202010778353.XA 2020-08-05 2020-08-05 一种lvds接口的双目立体相机 Pending CN111836033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778353.XA CN111836033A (zh) 2020-08-05 2020-08-05 一种lvds接口的双目立体相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778353.XA CN111836033A (zh) 2020-08-05 2020-08-05 一种lvds接口的双目立体相机

Publications (1)

Publication Number Publication Date
CN111836033A true CN111836033A (zh) 2020-10-27

Family

ID=72919973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778353.XA Pending CN111836033A (zh) 2020-08-05 2020-08-05 一种lvds接口的双目立体相机

Country Status (1)

Country Link
CN (1) CN111836033A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053551A1 (en) * 2007-03-22 2010-03-04 Cesare Tanassi Method to represent images for dissociative stereoscopic vision and related system
US8390675B1 (en) * 2005-10-21 2013-03-05 Thomas Paul Riederer Stereoscopic camera and system
CN104270570A (zh) * 2014-10-17 2015-01-07 北京英泰智软件技术发展有限公司 双目摄像机及其图像处理方法
CN104835163A (zh) * 2015-05-11 2015-08-12 华中科技大学 一种针对运动目标检测的嵌入式实时高速双目视觉系统
CN105611270A (zh) * 2015-12-18 2016-05-25 华中科技大学 一种双目视觉自由立体显示系统
CN105931240A (zh) * 2016-04-21 2016-09-07 西安交通大学 三维深度感知装置及方法
CN106931906A (zh) * 2017-03-03 2017-07-07 浙江理工大学 一种基于双目立体视觉的物体三维尺寸简便测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8390675B1 (en) * 2005-10-21 2013-03-05 Thomas Paul Riederer Stereoscopic camera and system
US20100053551A1 (en) * 2007-03-22 2010-03-04 Cesare Tanassi Method to represent images for dissociative stereoscopic vision and related system
CN104270570A (zh) * 2014-10-17 2015-01-07 北京英泰智软件技术发展有限公司 双目摄像机及其图像处理方法
CN104835163A (zh) * 2015-05-11 2015-08-12 华中科技大学 一种针对运动目标检测的嵌入式实时高速双目视觉系统
CN105611270A (zh) * 2015-12-18 2016-05-25 华中科技大学 一种双目视觉自由立体显示系统
CN105931240A (zh) * 2016-04-21 2016-09-07 西安交通大学 三维深度感知装置及方法
CN106931906A (zh) * 2017-03-03 2017-07-07 浙江理工大学 一种基于双目立体视觉的物体三维尺寸简便测量方法

Similar Documents

Publication Publication Date Title
CN108830894B (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
US10008028B2 (en) 3D scanning apparatus including scanning sensor detachable from screen
US8730302B2 (en) Method and system for enhancing 3D effects for 3D video rendering
KR101609486B1 (ko) 모션 패럴랙스를 이용한 2d 이미지로부터의 3d 지각 생성
CN108153502B (zh) 基于透明屏幕的手持式增强现实显示方法及装置
CN209964215U (zh) 一种球形三维全景成像系统
CN103063193A (zh) 一种利用摄像头测距的方法、装置及电视机
CN108616733B (zh) 一种全景视频图像的拼接方法及全景相机
CN108965853B (zh) 一种集成成像三维显示方法、装置、设备及存储介质
CN103412401B (zh) 内窥镜和管道内壁三维图像重建方法
CN111836033A (zh) 一种lvds接口的双目立体相机
CN103155576A (zh) 立体图像显示装置和立体图像显示方法
CN205193366U (zh) 一种跟随人眼位置的立体显示装置
CN116309873A (zh) 视线数据样本的采集系统、方法、计算设备及存储介质
JP7414090B2 (ja) 撮像装置および撮像装置の制御方法
CN205123855U (zh) 一种图像采集设备和模块化相机及监控系统
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
CN114199132A (zh) 一种基于机器视觉的激光三维扫描仪及扫描方法
CN105979150A (zh) 高清三维全景信息采集与拼接系统
CN107067468B (zh) 一种信息处理方法及电子设备
CN207603821U (zh) 一种基于集群和渲染的裸眼3d系统
CN112526749A (zh) 显示装置、记录介质、显示装置的控制方法和显示系统
CN210270982U (zh) 一种基于gpu实时三维建模显示装置
CN114466175A (zh) 3d采集装置、3d结构光建模方法及虚拟现实一体机
CN219107517U (zh) 一种摄像主板、摄像模组

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201027