CN101936731A - 获取3d距离信息和图像的装置 - Google Patents

获取3d距离信息和图像的装置 Download PDF

Info

Publication number
CN101936731A
CN101936731A CN2010102097978A CN201010209797A CN101936731A CN 101936731 A CN101936731 A CN 101936731A CN 2010102097978 A CN2010102097978 A CN 2010102097978A CN 201010209797 A CN201010209797 A CN 201010209797A CN 101936731 A CN101936731 A CN 101936731A
Authority
CN
China
Prior art keywords
image
range information
sensor
imageing sensor
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102097978A
Other languages
English (en)
Inventor
李炳洙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix System IC Inc
Original Assignee
Siliconfile Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siliconfile Technologies Inc filed Critical Siliconfile Technologies Inc
Publication of CN101936731A publication Critical patent/CN101936731A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

获取距离信息和图像的装置包括图像传感器单元，其具有左图像传感器、中心图像传感器以及右图像传感器，左图像传感器、中心图像传感器以及右图像传感器被排列在一个板上并以预定间隔彼此分开；和距离信息提取单元，其通过将由中心图像传感器获取的参照物图像和由左图像传感器获取的参照物图像及由右图像传感器获取的参照物图像相比较，提取距离信息。

Description

获取3D距离信息和图像的装置
技术领域
本发明涉及获取距离和图像的装置，更具体地涉及获取三维距离信息和图像的装置，其能够通过将由中心图像传感器获取的图像和由左与右图像传感器获取的图像相比较来提取关于目标的距离信息，并通过利用提取的位置信息在特定位置输出图像，中心图像传感器、左图像传感器和右图像传感器设置在一个板上。
背景技术
随着信息通信技术的发展，凭借高速处理字符、语音和图像的数字终端，已经提供了支持二维图像和声音的多媒体服务，并已经积极进行了提供三维实际多媒体服务的三维信息通信服务的研究。
一般而言，具有三维效果的三维图像可通过双眼根据立体视觉原理获取。三维效果的重要因素是双眼的视差，即由双眼间的间隔(大约65mm)引起的双眼视差。这样，人通过左右眼看见不同的二维图像，两个图像经过视网膜传递给大脑，大脑结合该两个图像以产生三维图像原始深度和实际效果，其通常被称为立体空间图形。
近来，已经进行了立体视觉系统的研究，该系统能够检测距位于系统前面的目标的距离。这种立体视觉系统使用两个立体相机，其通过预期变换将三维空间映射到二维空间中，并通过立体相机的几何布置恢复三维信息。
根据上述得到距离信息的常规方法，使用两个相机获取左边图像数据和右边图像数据。对该左边图像数据和右边图像数据进行轮廓检测处理，发现该左边图像数据和右边图像数据之间的匹配点，从而获取距离信息。
然而，在上述方法中，需要复杂的计算以通过比较两个图像来发现相同的点。在大多数情况下，图像边缘被提取，角等被认为是相同的点，并且深度信息被获取。由于这种图像处理和相同点的确定等是复杂的，并且在距离测量的准确性方面存在不便，所以不能测量准确距离，并且需要用于校正不便的多个处理。
近来，已经进行了圆片级立体相机的研究，其通过处理由提供在一个板上的左右图像传感器所获取的图像而在短距离上提取三维信息。
然而，当有障碍位于这种圆片级立体相机前面时，由于在左右图像上的隐藏物体或闭塞区的存在，因而不能容易地提取准确的距离信息。
发明内容
因此，努力作出本发明以解决在现有技术中出现的问题，且本发明的目的在于提供获取三维距离信息和图像的装置，其中圆片级包括中心图像传感器、左图像传感器、以及右图像传感器的立体相机，可以通过将由中心图像传感器获取的图像与由左图像传感器和右图像传感器获取的图像相比较，提取关于参照物的准确距离信息，并使用所提取的距离信息在特定位置输出图像。
为了实现上述目的，根据本发明的一方面，提供了一种获取距离信息和图像的装置，包括：图像传感器单元，其具有左图像传感器、中心图像传感器和右图像传感器，所述左图像传感器、所述中心图像传感器和所述右图像传感器被布置在一个板上并以预定间隔彼此分开；以及距离信息提取单元，其通过将由中心图像传感器获取的参照物图像和由左图像传感器获取的参照物图像及由右图像传感器获取的参照物图像相比较，提取距离信息。
获取距离信息和图像的装置可以进一步包括图像处理单元，其根据所获取的距离信息在特定的位置提取参照物的图像。
由于根据本发明的获取三维距离信息和图像的装置以圆片级排列，因此不需要针对排列的单独校正处理，便于距离信息的提取，并且其计算处理较简单。
而且，将由中心图像传感器获取的图像和由左图像传感器获取的图像及由右图像传感器获取的图像相比较，从而能够提取没有隐藏物体的准确的距离信息。
附图简介
结合附图阅读下面的具体实施方式之后，将更清晰地理解上述目的、以及本发明的其他特征和优点，其中：
图1是示出根据本发明的实施方式获取三维距离信息和图像的装置的构造的示意图；
图2是示出根据本发明获取三维距离信息和图像的装置输出距离信息和图像的方法的示意图；以及；
图3是示意性示出根据本发明获取三维距离信息和图像的装置在特定位置提取图像的方法的示意图。
具体实施方式
下面将更详细地描述本发明的优选实施方式，其示例在附图中图示。
图1是示出根据本发明的实施方式获取三维距离信息和图像的装置构造的示意图。
参照图1，根据本发明获取三维距离信息和图像的装置100包括图像传感器单元110、距离信息提取单元120和图像处理单元130。
图像传感器单元110包括左图像传感器111、中心图像传感器112和右图像传感器113，左图像传感器111、中心图像传感器112和右图像传感器113被安置在一个板上并以预定间隔彼此分开。左图像传感器111、中心图像传感器112和右图像传感器113分别获取关于参照物的左图像、中心图像和右图像。
距离信息提取单元120比较并将由中心图像传感器112获取的参照物中心图像与由左图像传感器111获取的参照物左图像及由右图像传感器113获取的参照物右图像相匹配，从而提取关于参照物的没有隐藏物体的准确距离信息。
也就是说，将中心图像与左图像及右图像相匹配，从而中心图像上的一点与左图像或右图像的至少一点相匹配，使得移位的不确定面积消失，并使得距离信息准确性提高。
图像处理单元130输出参照物的中心图像，其通过中心图像传感器112获取。而且，图像处理单元130能够通过使用由距离信息提取单元120提取的距离信息和中心图像，在特定位置提取图像。
图2是示出根据本发明获取三维距离信息和图像的装置输出距离信息和图像的方法的示意图。
如图2所示，中心图像上的一点与左图像或右图像的至少一点相匹配。该中心图像通过图像处理单元130被输出到装置100的外面。
同时，中心图像与左图像及右图像相匹配，以提取关于参照物的距离信息。此时，在提取的深度图上形成根据距离的不连续图像。这种深度图不连续图像与中心边缘图像相结合以校正深度图，使得距离信息准确性提高。
图3是示意性示出根据本发明获取三维距离信息和图像的装置在特定位置提取图像的方法的示意图。
如图3所示，左图像传感器“相机L”、中心图像传感器“相机C”和右图像传感器“相机R”分别提取线图像。接下来，将中心图像传感器“相机C”的线图像与左图像传感器“相机L”及右图像传感器“相机R”的线图像相匹配，以提取距离信息，从而获取深度图。
接下来，虚拟相机“相机V”位于图像将被获取的特定观察点，并且使用提取的距离信息获取虚拟相机“相机V”的线图像，从而可以在左图像或右图像的特定位置提取图像。
如上所述，本发明的特征在于将中心图像与左图像及右图像相匹配，以提取关于参照物的距离信息，并且根据提取的距离信息在左图像或右图像的任意位置提取图像。
虽然为说明的目的描述了本发明的优选实施方式，但本领域技术人员应理解，在不脱离本发明所附权利要求书公开的范围和精神的情况下，可进行不同的改进、附加和替代。

Claims (4)

1.一种获取距离信息和图像的装置，包括：
图像传感器单元，包括左图像传感器、中心图像传感器以及右图像传感器，所述左图像传感器、所述中心图像传感器以及所述右图像传感器被排列在一个板上，并以预定间隔彼此分开；以及
距离信息提取单元，通过将由所述中心图像传感器获取的参照物的图像与由所述左图像传感器获取的所述参照物的图像及由所述右图像传感器获取的所述参照物的图像相比较，提取距离信息。
2.如权利要求1所述的获取距离信息和图像的装置，进一步包括图像处理单元，其使用提取的距离信息在特定位置提取所述参照物的图像。
3.如权利要求1所述的获取距离信息和图像的装置，其中所述距离信息提取单元通过将由所述中心图像传感器获取的图像的边缘图像与深度图不连续图像相结合来校正所述距离信息，从而提取校正的距离信息。
4.如权利要求2所述的获取距离信息和图像的装置，其中所述距离信息提取单元通过将由所述中心图像传感器获取的图像的边缘图像与深度图不连续图像相结合来校正所述距离信息，从而提取校正的距离信息。
CN2010102097978A 2009-06-29 2010-06-25 获取3d距离信息和图像的装置 Pending CN101936731A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0058146 2009-06-29
KR1020090058146A KR20110000848A (ko) 2009-06-29 2009-06-29 3차원 거리정보 및 영상 획득 장치

Publications (1)

Publication Number Publication Date
CN101936731A true CN101936731A (zh) 2011-01-05

Family

ID=42320733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102097978A Pending CN101936731A (zh) 2009-06-29 2010-06-25 获取3d距离信息和图像的装置

Country Status (5)

Country Link
US (1) US20100328457A1 (zh)
EP (1) EP2271123A3 (zh)
KR (1) KR20110000848A (zh)
CN (1) CN101936731A (zh)
TW (1) TW201123842A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103370224A (zh) * 2011-02-10 2013-10-23 戴姆勒股份公司 具有用于监控车辆周边环境的装置的车辆
CN107211085A (zh) * 2015-02-20 2017-09-26 索尼公司 摄像装置和摄像方法
CN107396080A (zh) * 2016-05-17 2017-11-24 纬创资通股份有限公司 产生深度信息的方法及系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2490872B (en) * 2011-05-09 2015-07-29 Toshiba Res Europ Ltd Methods and systems for capturing 3d surface geometry
JP2013089981A (ja) * 2011-10-13 2013-05-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US20130329985A1 (en) * 2012-06-07 2013-12-12 Microsoft Corporation Generating a three-dimensional image
US9282265B2 (en) 2013-09-09 2016-03-08 Omnivision Technologies, Inc. Camera devices and systems based on a single image sensor and methods for manufacturing the same
KR101654071B1 (ko) * 2014-12-11 2016-09-05 한국항공우주연구원 이미지 센서를 다각도로 결합한 카메라
KR102224637B1 (ko) 2019-07-05 2021-03-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102275300B1 (ko) 2019-07-05 2021-07-08 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102361130B1 (ko) 2019-07-11 2022-02-09 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102297496B1 (ko) * 2019-07-11 2021-09-02 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP2008066773A (ja) * 2006-09-04 2008-03-21 Funai Electric Co Ltd オーディオ機器
CN101401443A (zh) * 2006-03-09 2009-04-01 （株）赛丽康 用于获得三维图像的cmos立体照相机

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5383013A (en) * 1992-09-18 1995-01-17 Nec Research Institute, Inc. Stereoscopic computer vision system
US20020047798A1 (en) * 1999-06-25 2002-04-25 Timothy James Platt Image acquisition and retrieval system employing position data
KR100424287B1 (ko) * 2001-09-10 2004-03-24 주식회사 제이앤에이치테크놀러지 비평행 광축 실시간 입체 영상 처리 시스템 및 방법
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling
US8442267B2 (en) * 2008-12-24 2013-05-14 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body posture and hand posture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
CN101401443A (zh) * 2006-03-09 2009-04-01 （株）赛丽康 用于获得三维图像的cmos立体照相机
JP2008066773A (ja) * 2006-09-04 2008-03-21 Funai Electric Co Ltd オーディオ機器

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103370224A (zh) * 2011-02-10 2013-10-23 戴姆勒股份公司 具有用于监控车辆周边环境的装置的车辆
CN107211085A (zh) * 2015-02-20 2017-09-26 索尼公司 摄像装置和摄像方法
CN107211085B (zh) * 2015-02-20 2020-06-05 索尼公司 摄像装置和摄像方法
CN107396080A (zh) * 2016-05-17 2017-11-24 纬创资通股份有限公司 产生深度信息的方法及系统
CN107396080B (zh) * 2016-05-17 2019-04-09 纬创资通股份有限公司 产生深度信息的方法及系统

Also Published As

Publication number Publication date
TW201123842A (en) 2011-07-01
US20100328457A1 (en) 2010-12-30
EP2271123A2 (en) 2011-01-05
KR20110000848A (ko) 2011-01-06
EP2271123A3 (en) 2012-01-04

Similar Documents

Publication Publication Date Title
CN101936731A (zh) 获取3d距离信息和图像的装置
EP2268048A2 (en) Distance measuring apparatus having dual stereo camera
EP3251090B1 (en) Occlusion handling for computer vision
US10424078B2 (en) Height measuring system and method
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
CN109271944A (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
US20140192210A1 (en) Mobile device based text detection and tracking
KR20070092890A (ko) 3차원 영상 획득용 씨모스 스테레오 카메라
CN103971408A (zh) 三维人脸模型生成系统及方法
CN104677330A (zh) 一种小型双目立体视觉测距系统
CN102036094B (zh) 一种基于数字分数延时技术的立体匹配方法
KR101709317B1 (ko) 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법
EP2672426A3 (en) Security by z-face detection
CN103248822A (zh) 摄像终端的对焦方法及摄像终端
EP2239538A1 (en) Apparatus for detecting three-dimensional distance
CN104864849B (zh) 视觉导航方法和装置以及机器人
KR20100112840A (ko) 스테레오 카메라 시스템 및 이를 이용한 시차검출방법
CN115909025A (zh) 一种小天体表面采样点地形视觉自主检测识别方法
CN112330747B (zh) 基于无人机平台的多传感器联合探测和显示方法
CN108399630B (zh) 一种复杂场景下感兴趣区域内目标快速测距方法
CN113259650A (zh) 一种基于人眼追踪立体影像显示方法、装置、介质及系统
CN105447007B (zh) 一种电子设备及数据处理方法
CN110087059B (zh) 一种针对真实三维场景的交互式自由立体显示方法
CN112686937B (zh) 一种深度图像的生成方法、装置及设备
KR101982650B1 (ko) 거리 측정 장치 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110105