CN105184784A - 基于运动信息的单目相机获取深度信息的方法 - Google Patents

基于运动信息的单目相机获取深度信息的方法 Download PDF

Info

Publication number
CN105184784A
CN105184784A CN201510535760.7A CN201510535760A CN105184784A CN 105184784 A CN105184784 A CN 105184784A CN 201510535760 A CN201510535760 A CN 201510535760A CN 105184784 A CN105184784 A CN 105184784A
Authority
CN
China
Prior art keywords
camera
depth information
image
obtains
monocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510535760.7A
Other languages
English (en)
Other versions
CN105184784B (zh
Inventor
罗天明
蒋琛儒
程飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong Liverpool University
Original Assignee
Xian Jiaotong Liverpool University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong Liverpool University filed Critical Xian Jiaotong Liverpool University
Priority to CN201510535760.7A priority Critical patent/CN105184784B/zh
Publication of CN105184784A publication Critical patent/CN105184784A/zh
Application granted granted Critical
Publication of CN105184784B publication Critical patent/CN105184784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Image Processing (AREA)

Abstract

<b>本发明公开了一种基于运动信息的单目相机获取深度信息的方法，包括以下步骤：相机在运动过程中拍摄不同清晰度的至少两幅图像，所述图像的光照条件相同；对拍摄的图像进行分块处理，选出所需计算的小块图像；将较清晰的图像中的各个块按照不同的模糊矩阵</b><b>H</b><b>进行滤波处理，并通过匹配较模糊的图像找出相似程度最高的模糊矩阵；通过相似程度最高的模糊矩阵，结合相机成像原理，获取该块的深度信息，重复</b><b>上一</b><b>步骤获得整个场景的深度信息。该方法通过简单的算法计算将图像中物体的前后距离计算出来，既适用于近距离测量也适用于远距离测量。</b>

Description

基于运动信息的单目相机获取深度信息的方法
技术领域
本发明涉及一种深度数据提取方法，具体涉及一种基于运动信息的单目相机获取深度信息的方法。
背景技术
目前，主要有两种深度数据提取方法，一种是使用深度相机来拍摄图片从而获取图片的深度数据。目前的深度相机常用的实现方法有TOF（Timeofflight），结构光，激光扫描等几种。其中使用较多的是TOF相机，主要用于机器人，互动游戏等应用。TOF为光飞行时间法3D成像，是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物体距离。TOF相机其绝对精度为 + 15毫米。然而，该类型的深度相机分辨率低，仅为172*176，需要通过采样去扩大图片的分辨率。并且测量范围为0.1米到10.0米，一般不超过10米，不适合远距离测距。另一方面是其价格昂贵，因此其不适合普遍深度测量应用。
另一种深度数据获取方法为双目测距。其方法运用两台相机从两个不同视角对同一场景进行拍摄，利用左右视角的不同来评估深度。双目测距的精度和基线长度（两台相机之间的距离）有关，两台相机布放的距离越远，测距精度越高。然而在实际应用中，相机布放空间是有限的，最多只有几米或几十米的基线长度，这就导致双目测距在远距离条件下的精度较低；并且由于图像质量受外界光照等条件制约太大，性能不够稳定；加之算法相对复杂等原因，都限制其应用，并且在双目测距当中，必须保证所有所得的图像都为清晰图像，模糊图像则不能进行进一步处理而仅仅作为无效图像丢弃。
发明内容
针对上述存在的技术问题，本发明目的是：提供一种基于运动信息的单目相机获取深度信息的方法，该方法通过简单的算法计算将图像中物体的前后距离计算出来，既适用于近距离测量也适用于远距离测量。
本发明的技术方案是：一种基于运动信息的单目相机获取深度信息的方法，包括以下步骤：
S01：相机在运动过程中拍摄不同清晰度的至少两幅图像，所述图像的光照条件相同；
S02：对拍摄的图像进行分块处理，选出所需计算的小块图像；
S03：将较清晰的图像中的各个块按照不同的模糊矩阵H进行滤波处理，并通过匹配较模糊的图像找出相似程度最高的模糊矩阵；
S04：通过相似程度最高的模糊矩阵，结合相机成像原理，获取该块的深度信息，重复步骤S03获得整个场景的深度信息。
优选的，所述步骤S01中的相机为单目相机，所述单目相机放置在水平轨道上，该轨道可以控制相机移动。
优选的，在拍摄图像之前对相机进行标定。
优选的，所述模糊矩阵H=f(M,d,P)，其中M为相机的运动矩阵，d为深度信息，P为相机参数，f为相机成像原理。
优选的，在步骤S03中，较清晰的图像块设为Ic，较模糊的图像块设为I b ，将较清晰的图像块与不同的模糊矩阵H进行卷积运算，即，Ic’=Ic*H，将Ic’与模糊图像I b 进行匹配，得出相似程度最高的模糊矩阵H。
优选的，步骤S03中清晰图像通过低通滤波器进行模糊处理。
与现有技术相比，本发明的优点是：
1．通过一台相机拍摄图像，可以通过不同的快门速度在相机运动中获取清晰图像和模糊图像，可以在相机运动过程中持续获取深度。
2．通过简单模糊及匹配算法可以迅速得出计算深度信息所需参数，并且仅仅基于相机成像原理来计算，降低了算法的计算复杂度及算法的时间复杂度。
3．降低了实现深度数据获取所需的硬件成本，并且适用于近距离及远距离的深度数据获取。
4.本发明将模糊图像也可以用于计算深度信息，而在双目相机获取深度信息方法中则必须保证图像都是清晰的，模糊图像则作为无效信息处理。
附图说明
下面结合附图及实施例对本发明作进一步描述：
图1为本发明基于运动信息的单目相机获取深度信息的方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
实施例：
一种基于运动信息单目相机获取深度信息的方法，包括硬件和软件两部分。
硬件部分：使用一台单目相机来支持拍摄，相机自带全手动模式和手控快门模式，并且该相机放置在水平轨道上来实现运动中拍摄，该轨道可以控制相机运动模式为匀速运动，该轨道也可以控制相机精准移动。
软件部分：需要分块算法，用于将两张图像分块并选出所需计算的小块图像。
模糊算法，用于对拍摄所得清晰图像进行模糊处理。
匹配算法，用于评估其匹配程度来返回最匹配的模糊矩阵，然后再基于相机成像原理计算该物体与相机之间距离。
如图1所示，该方法的具体步骤如下：
（1）对同一场景拍摄一张清晰图像，一张模糊图像。第一次使用全手动模式拍摄清晰图片，第二次使用手动控制快门模式拍摄模糊图片，在拍摄前进行镜头校正并选取合适的对焦点进行自动对焦，之后不再调整对焦点，在两次拍摄中调整快门速度，感光度大小和光圈大小来保证两张照片光照条件相同，在此实施例中，在拍摄模糊图像时，轨道控制相机向左或向右进行匀速运动，在此期间，使用手动控制快门模式拍摄模糊图像。
拍摄图像之前对相机进行标定，由于相机处于运动状态，因此快门时间短则拍摄出的图像较清晰，反之亦然；运动中获取的图像至少需要两幅，更多的图像可以使深度信息更加准确。
（2）对拍摄所得的两幅图像进行分块处理，在本实施例中图像尺寸固定，对两幅图像进行均匀分块处理。根据场景的复杂程度进行分块，复杂的场景需要更小的分块尺寸，反之亦然。
（3）模糊清晰图像来确定最匹配模糊图像的模糊矩阵，清晰图像设为Ic，模糊图像设为I b ，将清晰图像与不同的模糊矩阵H进行卷积：
I c ’ =I c *H
卷积所得I c ’ 与模糊图像I b 进行匹配，从而得出相似程度最高的模糊矩阵H。
模糊矩阵H与相机的运动矩阵M，深度信息d，相机参数P以及相机成像原理f有关，即：H=f(M,d,P)。
模糊清晰图像可选用多种低通滤波器来对图像进行模糊处理。低通滤波器有：均值滤波，中值滤波，高斯滤波。
在搜索相似程度最高的模糊矩阵H的过程中，可以使用各种迭代算法进行优化，以降低运算复杂度。
（4）基于相机成像原理计算得出图像中物体深度信息，将步骤（3）中所得的模糊矩阵H，计算深度信息d，然后反复步骤（4）得出相机与各物体之间的距离从而得出物体之间的深度信息。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (6)

1.一种基于运动信息的单目相机获取深度信息的方法，其特征在于，包括以下步骤：
S01：相机在运动过程中拍摄不同清晰度的至少两幅图像，所述图像的光照条件相同；
S02：对拍摄的图像进行分块处理，选出所需计算的小块图像；
S03：将较清晰的图像中的各个块按照不同的模糊矩阵H进行滤波处理，并通过匹配较模糊的图像找出相似程度最高的模糊矩阵；
S04：通过相似程度最高的模糊矩阵，结合相机成像原理，获取该块的深度信息，重复步骤S03获得整个场景的深度信息。
2.根据权利要求1所述的基于运动信息的单目相机获取深度信息的方法，其特征在于，所述步骤S01中的相机为单目相机，所述单目相机放置在水平轨道上，该轨道可以控制相机移动。
3.根据权利要求1所述的基于运动信息的单目相机获取深度信息的方法，其特征在于，在拍摄图像之前对相机进行标定。
4.根据权利要求1所述的基于运动信息的单目相机获取深度信息的方法，其特征在于，所述模糊矩阵H=f(M,d,P)，其中M为相机的运动矩阵，d为深度信息，P为相机参数，f为相机成像原理。
5.根据权利要求1所述的基于运动信息的单目相机获取深度信息的方法，其特征在于，在步骤S03中，较清晰的图像块设为Ic，较模糊的图像块设为Ib，将较清晰的图像块与不同的模糊矩阵H进行卷积运算，即，Ic’=Ic*H，将Ic’与模糊图像Ib进行匹配，得出相似程度最高的模糊矩阵H。
6.根据权利要求1所述的基于运动信息的单目相机获取深度信息的方法，其特征在于，步骤S03中清晰图像通过低通滤波器进行模糊处理。
CN201510535760.7A 2015-08-28 2015-08-28 基于运动信息的单目相机获取深度信息的方法 Active CN105184784B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510535760.7A CN105184784B (zh) 2015-08-28 2015-08-28 基于运动信息的单目相机获取深度信息的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510535760.7A CN105184784B (zh) 2015-08-28 2015-08-28 基于运动信息的单目相机获取深度信息的方法

Publications (2)

Publication Number Publication Date
CN105184784A true CN105184784A (zh) 2015-12-23
CN105184784B CN105184784B (zh) 2018-01-16

Family

ID=54906837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510535760.7A Active CN105184784B (zh) 2015-08-28 2015-08-28 基于运动信息的单目相机获取深度信息的方法

Country Status (1)

Country Link
CN (1) CN105184784B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106405531A (zh) * 2016-09-05 2017-02-15 南京理工大学 基于图像处理技术的被动毫米波辐射成像系统测距方法
CN106913461A (zh) * 2017-03-06 2017-07-04 西安电子科技大学 基于单目相机的非接触式针刺手法测量装置及测量方法
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN109115182A (zh) * 2017-06-23 2019-01-01 松下电器（美国）知识产权公司 距离测定装置及距离测定方法
CN109215066A (zh) * 2017-07-05 2019-01-15 株式会社东芝 图像处理装置和测距装置
CN110879398A (zh) * 2018-09-05 2020-03-13 英飞凌科技股份有限公司 飞行时间相机和用于校准飞行时间相机的方法
CN110969652A (zh) * 2019-11-20 2020-04-07 上海交通大学 基于机械手单目相机充当双目立体视觉的拍摄方法及系统
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN112907559A (zh) * 2021-03-16 2021-06-04 湖北工程学院 基于单目相机的深度图生成装置及方法
CN116051390A (zh) * 2022-08-15 2023-05-02 荣耀终端有限公司 运动模糊程度检测方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284998B2 (en) * 2010-07-01 2012-10-09 Arcsoft Hangzhou Co., Ltd. Method of estimating depths from a single image displayed on display
CN102903096A (zh) * 2012-07-04 2013-01-30 北京航空航天大学 一种基于单目视频的对象深度提取方法
CN102997891A (zh) * 2012-11-16 2013-03-27 上海光亮光电科技有限公司 场景深度的测量装置和方法
CN103413347A (zh) * 2013-07-05 2013-11-27 南京邮电大学 基于前景背景融合的单目图像深度图提取方法
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284998B2 (en) * 2010-07-01 2012-10-09 Arcsoft Hangzhou Co., Ltd. Method of estimating depths from a single image displayed on display
CN102903096A (zh) * 2012-07-04 2013-01-30 北京航空航天大学 一种基于单目视频的对象深度提取方法
CN102997891A (zh) * 2012-11-16 2013-03-27 上海光亮光电科技有限公司 场景深度的测量装置和方法
CN103413347A (zh) * 2013-07-05 2013-11-27 南京邮电大学 基于前景背景融合的单目图像深度图提取方法
CN103528571A (zh) * 2013-10-12 2014-01-22 上海新跃仪表厂 单目立体视觉相对位姿测量方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106405531B (zh) * 2016-09-05 2019-05-07 南京理工大学 基于图像处理技术的被动毫米波辐射成像系统测距方法
CN106405531A (zh) * 2016-09-05 2017-02-15 南京理工大学 基于图像处理技术的被动毫米波辐射成像系统测距方法
CN106913461A (zh) * 2017-03-06 2017-07-04 西安电子科技大学 基于单目相机的非接触式针刺手法测量装置及测量方法
CN106913461B (zh) * 2017-03-06 2019-02-15 西安电子科技大学 基于单目相机的非接触式针刺手法测量装置及测量方法
CN109115182A (zh) * 2017-06-23 2019-01-01 松下电器（美国）知识产权公司 距离测定装置及距离测定方法
CN109115182B (zh) * 2017-06-23 2022-03-08 松下电器（美国）知识产权公司 距离测定装置及距离测定方法
CN109215066A (zh) * 2017-07-05 2019-01-15 株式会社东芝 图像处理装置和测距装置
CN108537876B (zh) * 2018-03-05 2020-10-16 清华-伯克利深圳学院筹备办公室 三维重建方法、装置、设备及存储介质
CN108537876A (zh) * 2018-03-05 2018-09-14 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN110879398A (zh) * 2018-09-05 2020-03-13 英飞凌科技股份有限公司 飞行时间相机和用于校准飞行时间相机的方法
CN111089579B (zh) * 2018-10-22 2022-02-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN111089579A (zh) * 2018-10-22 2020-05-01 北京地平线机器人技术研发有限公司 异构双目slam方法、装置及电子设备
CN110969652A (zh) * 2019-11-20 2020-04-07 上海交通大学 基于机械手单目相机充当双目立体视觉的拍摄方法及系统
CN110969652B (zh) * 2019-11-20 2023-10-03 上海交通大学 基于机械手单目相机充当双目立体视觉的拍摄方法及系统
CN112907559A (zh) * 2021-03-16 2021-06-04 湖北工程学院 基于单目相机的深度图生成装置及方法
CN112907559B (zh) * 2021-03-16 2022-06-07 湖北工程学院 基于单目相机的深度图生成装置
CN116051390A (zh) * 2022-08-15 2023-05-02 荣耀终端有限公司 运动模糊程度检测方法和设备
CN116051390B (zh) * 2022-08-15 2024-04-09 荣耀终端有限公司 运动模糊程度检测方法和设备

Also Published As

Publication number Publication date
CN105184784B (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
CN105184784A (zh) 基于运动信息的单目相机获取深度信息的方法
CN106412426B (zh) 全聚焦摄影装置及方法
JP7043085B2 (ja) 視点から距離情報を取得するための装置及び方法
CN106412433B (zh) 基于rgb-ir深度相机的自动对焦方法及系统
CN102494609B (zh) 一种基于激光探针阵列的三维摄影方法及装置
CN105744163B (zh) 一种基于深度信息跟踪对焦的摄像机及摄像方法
US20070189750A1 (en) Method of and apparatus for simultaneously capturing and generating multiple blurred images
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
JP2016213825A (ja) 非ライトフィールドイメージングデバイスを用いてライトフィールドデータを取得する方法、対応するデバイス、コンピュータプログラム製品、および非一時的コンピュータ可読キャリア媒体
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
CN109883391B (zh) 基于微透镜阵列数字成像的单目测距方法
US9063323B2 (en) Super light-field lens and image processing methods
CN106454318B (zh) 立体成像方法及立体成像装置
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2013044844A (ja) 画像処理装置および画像処理方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN112333379A (zh) 图像对焦方法、装置及图像采集设备
KR101715553B1 (ko) 합초 위치 검출 장치, 합초 위치 검출 방법 및 합초 위치 검출용 컴퓨터 프로그램
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN108347577B (zh) 一种成像系统和方法
Nocerino et al. Good vibrations? How image stabilisation influences photogrammetry
CN108431660B (zh) 范围优化的全光变焦
JP7254562B2 (ja) 撮像装置及びその制御装置
CN110708532A (zh) 一种普适光场单元图像生成方法和系统
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant