CN111726515A - 一种深度相机系统 - Google Patents

一种深度相机系统 Download PDF

Info

Publication number
CN111726515A
CN111726515A CN201910456046.7A CN201910456046A CN111726515A CN 111726515 A CN111726515 A CN 111726515A CN 201910456046 A CN201910456046 A CN 201910456046A CN 111726515 A CN111726515 A CN 111726515A
Authority
CN
China
Prior art keywords
imaging device
depth
baseline
camera system
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910456046.7A
Other languages
English (en)
Inventor
亚当·鲍伯格
马克·米德尔布鲁克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ulsee Inc
Original Assignee
Ulsee Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ulsee Inc filed Critical Ulsee Inc
Publication of CN111726515A publication Critical patent/CN111726515A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种深度相机系统，其特征在于，包括：一第一成像装置，用来撷取影像；一第二成像装置，用来撷取影像；一滑动底座，该第一成像装置以及该第二成像装置安装于该滑动底座；一检测单元，用来实时检测影像的一目标区域；一估算单元，用来估算该目标区域的一初始深度；一计算单元，用来计算对应于该初始深度的一基线；以及一控制单元，耦接于该滑动底座，用来控制该第一成像装置以及该第二成像装置的移动，以确保调整后的基线距离更接近计算后的该基线。本发明至少包括以下优点：能够调整最佳的基线来得到精确的深度信息。

Description

一种深度相机系统
技术领域
本发明涉及了机器视觉领域，具体的是一种深度相机系统。
背景技术
在用于面部识别的监视中，3D信息可用于从面部特征数据可靠地识别人脸。此外，3D深度数据有助于监控和对图像的理解。
捕获3D深度信息的一种已知方法是使用深度相机，深度相机在相隔一定距离的一对视图(“基线”)之间匹配图像特征。通常，基线(baseline)定义深度数据可靠的3D空间区域。为了“三角测量”3D点，识别该点的两个视图，并且通过从每个相机反向投射和交叉两条光线(3D线)，计算3D点。但是，如果线条太靠近并行线，则交叉点定义不明确。因此，为了获得靠近相机的可靠深度，相机之间的基线需要很小以确保两个相机都能看到该点并且光线之间的角度足够大。同样，为了获得远离相机的可靠深度，立体基线需要更大。
因此，如何精确的获取深度信息，是本领域的一重要课题。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
为了克服现有技术中的缺陷，本发明实施例提供了一种深度相机系统。
本申请实施例公开了：一种深度相机系统，其特征在于，包括：一第一成像装置，用来撷取影像；一第二成像装置，用来撷取影像；一滑动底座，该第一成像装置以及该第二成像装置安装于该滑动底座；一检测单元，用来实时检测影像的一目标区域；一估算单元，用来估算该目标区域的一初始深度；一计算单元，用来计算对应于该初始深度的一基线；以及一控制单元，耦接于该滑动底座，用来控制该第一成像装置以及该第二成像装置的移动，以确保调整后的基线距离更接近计算后的该基线。
进一步地，该第一成像装置及该第二成像装置的焦距可以自动地调整，以使目标区域填充使用变焦后的图像。
进一步地，该第一成像装置及该第二成像装置为两个相机或投影机。
进一步地，该估算单元对场景的中心区域进行采样并计算平均或中间值的近似深度。
进一步地，该计算单元依据基线是深度值的固定线性缩放来计算该基线。
借由以上的技术方案，本发明的有益效果如下：能够调整最佳的基线来得到精确的深度信息。
附图说明
图1是本发明实施例中的一种深度相机系统100的示意图；
图2是本发明实施例中的一种深度相机系统100的操作示意图；
附图标记说明：
一深度相机系统100、
一第一成像装置110、
一第二成像装置120、
一滑动底座130、
一检测单元140、
一估算单元150、
一计算单元160、
一控制单元170。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的和区别类似的对象，两者之间并不存在先后顺序，也不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
请参考图1。图1是本发明实施例中的一种深度相机系统100的示意图。
该深度相机系统100，包括：一第一成像装置110、一第二成像装置120、一滑动底座130、一检测单元140、一估算单元150、一计算单元160以及一控制单元170。该第一成像装置110以及该第二成像装置120用来撷取影像；该第一成像装置110以及该第二成像装置120安装于该滑动底座130上；该检测单元140用来实时检测影像的一目标区域；该估算单元150用来估算该目标区域的一初始深度；一计算单元160用来计算对应于该初始深度的一基线；以及该控制单元170耦接于该滑动底座130，用来控制该第一成像装置110以及该第二成像装置120的移动，以确保调整后的基线距离更接近计算后的该基线。
举例来说，深度相机系统100具有布置在可以滑动的滑动底座130上的该第一成像装置110以及该第二成像装置120，该第一成像装置110及该第二成像装置120可以为两个相机或投影机，使得该控制单元170可以使用电子控制马达来改变该基线。如图2所示，图2是本发明实施例中的一种深度相机系统100的操作示意图。滑动底座130可以使用电子控制来滑动该第一成像装置110或该第二成像装置120,也可以同时滑动该第一成像装置110及该第二成像装置120来改变该基线，另外,该第一成像装置110以及该第二成像装置120可以放置在可以电子控制的滑动底座130的平移/倾斜平台上。
最初，该第一成像装置110以及该第二成像装置120将缩小影像以查看整个场景。使用者可以观察场景并且该第一成像装置110以及该第二成像装置120相距足够远以获得可靠的深度。
用户可以通过选择影像中的一点或一区域来选择缩放到特定区域或特定人脸。该检测单元140实时检测影像的特定区域或特定人脸，该估算单元150对该点或该区域处的当前估计深度数据进行采样。另外，如果物体朝向相机移动，或者初始基线不是最佳的，则该估算单元150对场景的中心区域进行采样并计算平均或中间值的近似深度。
透过给定先前获得的近似深度值，计算单元160便可以通过简单的计算来确定正确的基线，该基线将为该深度提供所需的反投影光线之间的交叉角。在本发明一实施例中，该计算单元依据该基线是深度值的固定线性缩放来计算该基线例如，基线(mm)＝0.1x深度(mm)。
因此，计算单元160估计所需的深度基线，该控制单元170将该滑动底座130缓慢地朝向期望的基线进行电子调节。一旦达到所需的基线，该第一成像装置110以及该第二成像装置120就停止运动并且可以该估算单元150估计新的更可靠的深度数据。在本发明的另一实施例中，该第一成像装置110及该第二成像装置120的焦距可以自动地调整，以使目标区域填充使用变焦后的图像，也就是说，如果使用者选择调整该第一成像装置110以及该第二成像装置120的光学变焦，则可以同时进行。
以这种方式，当使用者将兴趣集中在特定区域上时，或者当物体朝向该第一成像装置110以及该第二成像装置120移动时，该控制单元17可以调节该深度相机系统100的基线以确保可以实现最佳可靠的深度数据。
在任何时候，使用者都可以捕获感兴趣区域的“屏幕抓取”，包括3D数据，然后可以将其用于安全目的，例如自动对象识别或3D面部识别。或者，3D数据可用于允许视点的轻微变化，因此使用者能够感知深度-例如，通过手动控制视点调整或通过向每只眼睛呈现不同视图以用于立体显示和人类深度感知。
感兴趣区域的识别也可以在没有人控制的情况下自动发生。例如，使用2D图像面部跟踪器，可以在视频馈送中自动找到感兴趣的面部并调整立体基线以确保为该人的面部准确地提取3D深度数据。
本发明的有益效果之一是能够调整最佳的基线来得到精确的深度信息。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种深度相机系统，其特征在于，包括：
一第一成像装置，用来撷取影像；
一第二成像装置，用来撷取影像；
一滑动底座，该第一成像装置以及该第二成像装置安装于该滑动底座；
一检测单元，用来实时检测影像的一目标区域；
一估算单元，用来估算该目标区域的一初始深度；
一计算单元，用来计算对应于该初始深度的一基线；
一控制单元，耦接于该滑动底座，用来控制该第一成像装置以及该第二成像装置的移动，以确保调整后的基线距离更接近计算后的该基线。
2.如权利要求1所述的深度相机系统，其特征在于，该第一成像装置及该第二成像装置的焦距可以自动地调整，以使目标区域填充使用变焦后的图像。
3.如权利要求1所述的深度相机系统，其特征在于，该第一成像装置及该第二成像装置为两个相机或投影机。
4.如权利要求1所述的深度相机系统，其特征在于，该估算单元对场景的中心区域进行采样并计算平均或中间值的近似深度。
5.如权利要求1所述的深度相机系统，其特征在于，该计算单元依据基线是深度值的固定线性缩放来计算该基线。
6.如权利要求5所述的深度相机系统，其特征在于，基线＝0.1x深度。
CN201910456046.7A 2019-03-22 2019-05-29 一种深度相机系统 Pending CN111726515A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962822079P 2019-03-22 2019-03-22
US62/822079 2019-03-22

Publications (1)

Publication Number Publication Date
CN111726515A true CN111726515A (zh) 2020-09-29

Family

ID=71520068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910456046.7A Pending CN111726515A (zh) 2019-03-22 2019-05-29 一种深度相机系统

Country Status (2)

Country Link
US (1) US10715787B1 (zh)
CN (1) CN111726515A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926498B (zh) * 2021-03-20 2024-05-24 杭州知存智能科技有限公司 基于多通道融合和深度信息局部动态生成的活体检测方法及装置
US11706399B2 (en) * 2021-09-27 2023-07-18 Hewlett-Packard Development Company, L.P. Image generation based on altered distances between imaging devices
CN114627174A (zh) * 2022-03-30 2022-06-14 杭州萤石软件有限公司 一种深度图生成系统、方法及自主移动设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071286A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법
CN103793046A (zh) * 2012-11-01 2014-05-14 威达科股份有限公司 微体感检测模块及其微体感检测方法
US20150310622A1 (en) * 2014-04-24 2015-10-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Depth Image Generation Utilizing Pseudoframes Each Comprising Multiple Phase Images
CN109478320A (zh) * 2016-07-12 2019-03-15 深圳市大疆创新科技有限公司 处理图像以获得环境信息

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6292790B2 (ja) * 2013-08-08 2018-03-14 キヤノン株式会社 距離検出装置、撮像装置および距離検出方法
US10061029B2 (en) * 2015-01-06 2018-08-28 Samsung Electronics Co., Ltd. Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071286A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 다중 카메라를 이용한 영상 매팅 장치 및 알파맵 생성 방법
CN103793046A (zh) * 2012-11-01 2014-05-14 威达科股份有限公司 微体感检测模块及其微体感检测方法
US20150310622A1 (en) * 2014-04-24 2015-10-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Depth Image Generation Utilizing Pseudoframes Each Comprising Multiple Phase Images
CN109478320A (zh) * 2016-07-12 2019-03-15 深圳市大疆创新科技有限公司 处理图像以获得环境信息

Also Published As

Publication number Publication date
US10715787B1 (en) 2020-07-14

Similar Documents

Publication Publication Date Title
US8760502B2 (en) Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same
US10116922B2 (en) Method and system for automatic 3-D image creation
EP3190781B1 (en) Autofocus method, device and electronic apparatus
EP3534109B1 (en) Depth measuring method and system
US9344701B2 (en) Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US8139935B2 (en) 3D camera with foreground object distance sensing
US9635348B2 (en) Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional images
US8436893B2 (en) Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
KR102101438B1 (ko) 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
US9025009B2 (en) Method and systems for obtaining an improved stereo image of an object
US8026950B2 (en) Method of and apparatus for selecting a stereoscopic pair of images
US20200267309A1 (en) Focusing method and device, and readable storage medium
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
CN111726515A (zh) 一种深度相机系统
CN109451240B (zh) 对焦方法、装置、计算机设备和可读存储介质
EP3245616A1 (en) Event triggered by the depth of an object in the field of view of an imaging device
CN110740246A (zh) 一种图像矫正方法、移动设备和终端设备
KR20120102202A (ko) 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
CN107820071A (zh) 移动终端及其立体成像方法、装置及计算机可读存储介质
CN106131448B (zh) 可自动调节成像亮度的三维立体视觉系统
CN111935389B (zh) 拍摄对象切换方法、装置、拍摄设备及可读存储介质
US20110001798A1 (en) 3-d auto-convergence camera
CN112232121A (zh) 活体检测方法、装置、设备及介质
JP2007096480A (ja) 対象物追跡装置及び対象物追跡方法
KR20130120914A (ko) 스테레오 카메라를 이용한 팬/틸트/줌 카메라 장치 및 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20220909