CN107172407A - 适于产生深度图的电子装置与方法 - Google Patents

适于产生深度图的电子装置与方法 Download PDF

Info

Publication number
CN107172407A
CN107172407A CN201610711984.3A CN201610711984A CN107172407A CN 107172407 A CN107172407 A CN 107172407A CN 201610711984 A CN201610711984 A CN 201610711984A CN 107172407 A CN107172407 A CN 107172407A
Authority
CN
China
Prior art keywords
image
depth information
scene
depth
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610711984.3A
Other languages
English (en)
Other versions
CN107172407B (zh
Inventor
周宏隆
魏守德
廖元麟
王煜智
曾开瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glomerocryst Semiconductor Ltd Co
Altek Semiconductor Corp
Original Assignee
Glomerocryst Semiconductor Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glomerocryst Semiconductor Ltd Co filed Critical Glomerocryst Semiconductor Ltd Co
Publication of CN107172407A publication Critical patent/CN107172407A/zh
Application granted granted Critical
Publication of CN107172407B publication Critical patent/CN107172407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种适于产生深度图的电子装置与方法。电子装置包括投光装置、第一摄像装置、第二摄像装置与处理装置。投光装置投影图案化的不可见光于场景上。第一摄像装置获取可见光信息以产生场景的第一影像。第二摄像装置获取可见光信息与不可见光信息以产生场景的第二影像。处理装置接收第一影像与第二影像，并且处理装置中的第一深度信息单元比对第一影像与第二影像的可见光影像以取得第一深度信息，而处理装置中的第二深度信息单元辨识第二影像中的不可见光影像以取得第二深度信息。处理装置选择性地由第一深度信息与第二深度信息产生场景的深度图。本发明可适应不同的拍摄场景而准确且有效地取得该场景的深度信息与深度图。

Description

适于产生深度图的电子装置与方法
技术领域
本发明涉及运用在影像处理的一种电子装置与方法，尤其涉及一种适于产生深度图的电子装置与方法。
背景技术
随着科技的发展，各式各样的智能型电子装置，例如平板型电脑、个人数字化助理、智能型手机、智能型相机等，如今都已经具有拍摄三维影像的功能。更进一步而言，搭配不同的后端演算功能，三维影像还可运用于立体建模、动作辨识等用途。
在利用前述智能型电子装置来针对特定场景拍摄三维影像时，该场景的深度信息是呈现立体视觉效果的一个重要依据。一般而言，由对应的深度图，运算元件可以判断该场景中的多个物件或特征的相对距离，进而精确地呈现相关于该场景的立体影像。
然而，取得拍摄场景的深度图仍是困难的。具体而言，受限于拍摄场景的环境、距离等因素，由所获取的影像计算深度信息不总是正确的。因此，如何有效且较佳地取得拍摄场景的深度信息与深度图，仍是本领域人员努力的目标之一。
发明内容
本发明提供适于产生深度图的电子装置与方法，其可适应不同的拍摄场景而准确且有效地取得该场景的深度信息与深度图。
本发明的实施例提供一种适于产生深度图的电子装置。电子装置包括投光装置、第一摄像装置、第二摄像装置与处理装置。投光装置投影图案化的不可见光于场景上。第一摄像装置获取可见光信息以产生前述场景的第一影像。第二摄像装置获取可见光信息与不可见光信息以产生前述场景的第二影像。处理装置耦接投光装置、第一摄像装置与第二摄像装置以接收第一影像与第二影像。处理装置由第一影像与第二影像取得第一深度信息与第二深度信息，并且选择性地由第一深度信息与第二深度信息产生前述场景的深度图。更详细而言，处理装置包括第一深度信息单元与第二深度信息单元。第一深度信息单元比对第一影像的可见光影像与第二影像的可见光影像以取得第一深度信息。第二深度信息单元辨识第二影像中的不可见光影像以取得第二深度信息。
本发明的实施例提供一种深度图产生方法，适于具有第一摄像装置与第二摄像装置的电子装置。前述方法包括下列步骤。投影图案化的不可见光于场景上。获取前述场景的第一影像，其中第一影像包含可见光信息。获取前述场景的第二影像，其中第二影像包含可见光信息与不可见光信息，并且不可见光信息包含由前述场景反射图案化的不可见光所产生的影像信息。由第一影像与第二影像取得第一深度信息与第二深度信息。更详细而言，取得第一深度信息与第二深度信息的步骤，包括比对第一影像的可见光影像与第二影像的可见光影像以取得第一深度信息，以及辨识第二影像中的不可见光影像以取得第二深度信息。选择性地由第一深度信息与第二深度信息产生前述场景的深度图。
本发明的实施例提供另一种适于产生深度图的电子装置。电子装置包括投光装置、第一摄像装置、第二摄像装置与处理装置。投光装置投影图案化的红外光于场景上。第一摄像装置获取红绿蓝(RGB)光信息以产生前述场景的第一影像。第二摄像装置，获取红绿蓝(RGB)光信息与红外光信息以产生前述场景的第二影像。处理装置耦接投光装置、第一摄像装置与第二摄像装置以接收第一影像与第二影像。处理装置由第一影像与第二影像取得第一深度信息与第二深度信息，并且选择性地由第一深度信息与第二深度信息产生前述场景的深度图。更详细而言，处理装置包括第一深度信息单元与第二深度信息单元。第一深度信息单元比对第一影像的红绿蓝(RGB)影像与第二影像的红绿蓝(RGB)影像以取得第一深度信息。第二深度信息单元辨识第二影像中的红外光影像以取得第二深度信息。
本发明的实施例提供又一种适于产生深度图的电子装置。电子装置包括投光装置、第一摄像装置、第二摄像装置、第三摄像装置与处理装置。投光装置投影图案化的红外光于场景上。第一摄像装置获取红绿蓝(RGB)光信息以产生前述场景的第一影像。第二摄像装置获取红绿蓝(RGB)光信息以产生前述场景的第二影像。第三摄像装置获取红外光信息以产生前述场景的第三影像。处理装置耦接投光装置、第一摄像装置、第二摄像装置与第三摄像装置以接收第一影像、第二影像与第三影像。处理装置由第一影像、第二影像与第三影像取得第一深度信息与第二深度信息，并且选择性地由第一深度信息与第二深度信息产生前述场景的深度图。更详细而言，处理装置包括第一深度信息单元与第二深度信息单元。第一深度信息单元比对第一影像与第二影像以取得第一深度信息。第二深度信息单元辨识第三影像以取得第二深度信息。
基于上述，本发明实施例所提供的适于产生深度图的电子装置与方法，首先投影图案化的不可见光于拍摄场景，然后利用成对的第一摄像装置与第二摄像装置来分别取得拍摄场景的第一影像与第二影像。通过第一影像与第二影像内的可见光影像与不可见光影像来分别取得第一深度信息与第二深度信息，然后选择性地依据第一深度信息与第二深度信息产生前述拍摄场景的深度图，可以避免单一深度信息受外在环境因素或不同拍摄场景的影响而产生误差，进而影响前述场景的深度图的准确性。另一方面，摄像装置的数量与设置形式还可对应地调整而不限于前述成对的第一摄像装置与第二摄像装置。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1为依据本发明一实施例所显示的电子装置的方框示意图；
图2为依据本发明一实施例所显示的深度图产生方法的流程图；
图3为依据本发明一实施例所显示的处理装置的方框示意图；
图4为依据本发明一实施例所显示的从第一深度信息与第二深度信息产生深度图的方法流程图；
图5A为依据本发明一实施例所显示的评估单元的示意图；
图5B为依据本发明另一实施例所显示的评估单元的示意图；
图6为依据本发明另一实施例所显示的处理装置的方框示意图；
图7A、图7B与图7C分别为依据本发明一实施例所显示的电子装置的运作示意图；
图8为依据本发明一实施例所显示的电子装置的示意图。
附图标记：
100、200：电子装置；
120：投光装置；
140：第一摄像装置；
160：第二摄像装置；
180：处理装置；
181：影像信息纯化单元；
182：第一深度信息单元；
184：第二深度信息单元；
186：评估单元；
1862：亮度计算单元；
1864：初步深度计算单元；
188：深度图产生单元；；
190：第三摄像装置；
FDI：第一深度信息；
SDI：第二深度信息；
FPI：第一先前影像；
SPI：第二先前影像；
EP：曝光参数；
FLDI：最终深度信息；
DM：深度图；
RGB：红绿蓝(RGB)影像；
IR：红外光影像；
M：灰阶影像；
S120、S130、S140、S160、S162、S164、S180：深度图产生方法的步骤；
S182、S184：从第一深度信息与第二深度信息产生深度图的步骤。
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的装置与方法的范例。
于本发明实施例中所提出的电子装置与其方法，通过不同的方式来分别取得同一场景的多组深度信息，并且依据前述场景的环境条件或其他因素来评估该些深度信息，进而准确地取得前述场景的深度图。
图1为依据本发明一实施例所显示的电子装置的方框示意图。参照图1，于本实施例中，适于产生深度图的电子装置100包括投光装置120、第一摄像装置140、第二摄像装置160以及处理装置180。电子装置100例如是数字相机、单反相机、数字摄影机或是其他具有影像获取功能的智能型手机、平板电脑、个人数字助理、笔记型电脑等电子装置，但本发明不以此为限。
于本实施例中，投光装置120可以投射图案化的不可见光。换言之，投光装置120可以依据一个预设图案而以不可见光的形式来投影图案于任意场景上。投光装置120例如是不可见光源搭配光源遮罩的组合、不可见光源搭配绕射光学元件(Diffractive OpticalElement,DOE)的组合或者是可以投射不可见光的投光器。举例而言，不可见光源例如是红外光源(Infrared Light Source,IR Light Source)，而投光装置120例如为红外线投光器(IR Illuminator)或者是利用微机电系统(MEMS)谐振镜片而实现的扫描式红外线投影机(IR projector)，但本发明不以此为限。
于本实施例中，第一摄像装置140、第二摄像装置160包括感光元件，用以拍摄任意场景并且分别产生第一影像与第二影像。感光元件例如是电荷耦合元件(Charge CoupledDevice，CCD)、互补性氧化金属半导体(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件。更详细而言，第一摄像装置140与第二摄像装置160内的感光元件以阵列形式排列，并且覆盖不同类型的拜尔滤镜(Bayer Filter)以获取可见光信息和/或不可见光信息。
举例而言，第一摄像装置140的感光元件阵列上例如是覆盖由红色滤片、蓝色滤片与绿色滤片所组成的拜尔滤镜以获取红绿蓝(RGB)光信息而产生第一影像。第二摄像装置160的感光元件阵列上例如是覆盖红色滤片、蓝色滤片、绿色滤片与红外光滤片所组成的拜尔滤镜以取得红绿蓝(RGB)光信息与红外光信息而产生第二影像。值得注意的是，本发明的第一摄像装置140与第二摄像装置160不以前述设计为限。举例来说，第一摄像装置140及第二摄像装置160包含下列几种可能的组合，如红绿蓝相机(RGB camera)与红绿蓝-红外光相机(RGB-IR camera)的组合、红绿蓝相机与单色光-红外光相机(MONO-IR camera)的组合以及单色光相机(MONO Camera)与红绿蓝-红外光相机的组合，并且为前述多种组合之一。
于本实施例中，处理装置180可以例如是中央处理单元(Central ProcessingUnit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(ProgrammableLogic Device，PLD)或其他类似装置或这些装置的组合。处理装置180耦接投光装置120、第一摄像装置140与第二摄像装置160以接收第一影像与第二影像。更详细而言，处理装置180含包括第一深度信息单元182与第二深度信息单元184。
于本实施例中，电子装置100还例如是包括存储器装置(未显示)。存储器装置耦接至第一摄像装置140、第二摄像装置160与处理装置180，并且用以储存第一影像与第二影像。存储器装置例如是任意型式的固定式或可移动式随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、快闪存储器(Flash Memory)、硬盘或其他类似装置或这些装置的组合。
以下即列举实施例说明电子装置100产生深度图的详细步骤。图2为依据本发明一实施例所显示的深度图产生方法的流程图。本实施例的深度图产生方法适用于图1所示的电子装置100。参照图1与图2，利用投光装置120投影图案化的不可见光于一个场景上(步骤S120)。
更具体而言，于本实施例中，投光装置120可以由不同的元件或元件组合来实现，例如是不可见光源与绕射光学元件或者是不可见光源与光源遮罩的组合。藉由绕射光学元件或光源遮罩，投光装置120可以依据一个预设图案而将图案化的不可见光投影至一个场景上。换言之，一个由不可见光构成的图案会投影在前述场景上。值得注意的是，当不可见光源为前述的红外光源时，投光装置120例如是红外线投光装置(IR Illuminator)或红外线投影机(IR projector)，可依据预设图案或使用者操作而将图案化的红外光投影至前述场景上。
参照图1与图2，接着，于本实施例中，利用第一摄像装置140获取前述场景的第一影像(步骤S130)，而第一影像包括可见光信息，并且利用第二摄像装置160获取前述场景的第二影像(步骤S140)，而第二影像包括可见光信息与不可见光信息。第一摄像装置140与第二摄像装置160分别由不同的视角来对同一场景进行摄像，而前述场景即为投光装置120投影不可见光的场景。于本实施例中，第一摄像装置140获取可见光信息而产生前述场景的第一影像，但第二摄像装置160除了获取可见光信息外，还获取不可见光信息而产生前述场景的第二影像。不可见光信息包含由前述场景反射图案化的不可见光所产生的影像信息。换言之，第二摄像装置160还可以获取由前述投光装置120所投射的图案化的不可见光在前述场景上反射的不可见光影像。
参照图1与图2，取得第一影像与第二影像后，于本实施例中，处理装置180由第一影像与第二影像取得第一深度信息与第二深度信息(步骤S160)，然后选择性地由第一深度信息与第二深度信息产生前述场景的深度图(步骤S180)。
图3为依据本发明一实施例所显示的处理装置的方框示意图。参照图3，在本发明的实施例中，处理装置180还包括第一深度信息单元182、第二深度信息单元184、评估单元186与深度图产生单元188，藉以根据第一摄像装置140与第二摄像装置160所产生的第一影像与第二影像来产生前述场景的深度图DM。
更详细而言，于本实施例中，处理装置180利用第一深度信息单元182与第二深度信息单元184，由第一影像与第二影像取得第一深度信息与第二深度信息。参照图1、图2与图3，当处理装置180由第一摄像装置140与第二摄像装置160接收第一影像与第二影像后，第一深度信息单元182比对第一影像的可见光影像与第二影像的可见光影像以取得第一深度信息FDI(步骤S162)。另一方面，第二深度信息单元184辨识第二影像的不可见光影像以取得第二深度信息SDI(步骤S164)。取得第一深度信息FDI与第二深度信息SDI后，处理装置180进一步地产生前述场景的深度图DM。
在本发明的一实施例中，利用从不同视角摄取的可见光影像，第一深度信息单元182计算相关于前述场景的第一深度信息FDI。换句话说，第一深度信息单元182利用可见光影像之间的视差来计算前述场景的深度信息。详细而言，处理装置180或第一深度信息单元182首先由第一影像与第二影像中取得可见光影像，然后比较第一影像的可见光影像与第二影像的可见光影像之间的多个影像特征以取得前述场景的多个深度值来作为第一深度信息FDI。
在本发明的一实施例中，第二深度信息单元184则利用第二摄像装置160所拍摄的图案化的不可见光影像来取得第二深度信息SDI。详细而言，投光装置120是依据一个预设图案来投影图案化的不可见光，而第二摄像装置160则摄取了由前述场景所反射的不可见光图案。因此，处理装置180由第二摄像装置拍摄的第二影像取得不可见光影像信息后，第二深度信息单元184更进一步地基于预设图案来分析不可见光影像中的不可见光图案，并且依据不可见光图案的扭曲、歪斜、缩放、位移等情况来判断前述场景的多个深度距离，进而取得第二深度信息SDI。
图4为依据本发明一实施例所显示的从第一深度信息与第二深度信息产生深度图的方法流程图。参照图3与图4，在本实施例中，取得第一深度信息FDI与第二深度信息SDI后，评估单元186评估第一深度信息FDI与第二深度信息SDI的准确度以产生前述场景的最终深度信息FLDI(步骤S182)。最后，深度图产生单元188由最终深度信息FLDI产生前述场景的深度图DM(步骤S184)。
评估单元186评估第一深度信息FDI与第二深度信息SDI以决定合适的最终深度信息FLDI。在本发明的一实施例中，评估单元186评估第一深度信息FDI所包含的深度值与第二深度信息SDI所包含的深度值的准确度。当第一深度信息FDI与第二深度信息SDI在相对位置或相对像素的深度值相符合时，则保留前述深度值。相反而言，当第一深度信息FDI与第二深度信息SDI在相对位置或相对像素的深度值不符合时，评估单元186例如是选择第一深度信息FDI或第二深度信息SDI在相对位置或相对像素的深度值来进行填补，或者是由第一深度信息FDI与第二深度信息SDI在相对位置或相对像素的深度值进行计算以取得新的深度值来对前述相对位置或相对像素进行填补。
换言之，在前述实施例中，评估单元186保留第一深度信息FDI与第二深度信息SDI相符的部分深度信息，并且针对第一深度信息FDI与第二深度信息SDI不相符的另一部分深度信息进行填补，藉以产生前述场景的最终深度信息FLDI。值得注意的是，决定最终深度信息FLDI的方式并不限于此。
于本发明的另一实施例中，评估单元186依据前述场景的环境条件，选择第一深度信息FDI与第二深度信息SDI的至少一个以取得前述场景的最终深度信息FLDI。
详细而言，基于可见光影像所取得的第一深度信息FDI以及基于不可见光影像所取得的第二深度信息SDI，随着前述场景的环境条件不同而有不同的适用情形。具体而言，当前述场景在户外或者是前述场景离第一摄像装置140、第二摄像装置160太远时，第二摄像装置160所拍摄的图案化的不可见光影像较容易模糊不清，使得第二深度信息SDI较不精确。相对而言，对于不具有明显影像特征或较白的场景而言，以视差的方式所取得的第一深度信息FDI较易产生误差。因此，评估单元186需要理清前述场景的环境条件，才能较佳地去评估第一深度信息FDI与第二深度信息SDI以产生前述场景的最终深度信息FLDI。
图5A为依据本发明一实施例所显示的评估单元的示意图。参照图5A，评估单元186包括亮度计算单元1862以及初步深度计算单元1864。于本实施例中，在产生最终深度信息FLDI前，亮度计算单元1862首先计算前述场景的环境亮度。在本发明的一实施例中，亮度计算单元1862由电子装置100内部的曝光系统(未显示)取得曝光参数EP，例如是曝光时间、光圈大小、感光度等，然后基于曝光参数EP计算前述场景的环境亮度，但本发明不限于此。
基于亮度计算单元1862所取得的环境亮度，评估单元186判断前述场景是否位于户外。若前述场景位于户外，于本实施例中，评估单元186以第一深度信息FDI作为前述场景的最终深度信息FLDI。于本发明的一实施例中，若亮度计算单元1862基于环境亮度判断前述场景位于户外，则处理装置180关闭投光装置120以停止投影图案化的不可见光。具体而言，在户外时，第二摄像装置160所拍摄的图案化的不可见光影像可能较模糊或不清晰。因此，评估单元186选择以第一深度信息FDI作为前述场景的最终深度信息FLDI，而处理装置180关闭投光装置120以节省电源消耗。
相对而言，若前述场景不位于户外，则初步深度计算单元1864更由第一摄像装置140在第一影像前对前述场景所获取的第一先前影像与第二摄像装置160在第二影像前对前述场景所获取的第二先前影像，计算前述场景与第一摄像装置140、第二摄像装置160的估计距离，而评估单元186判断估计距离是否大于距离阀值。
在本实施例中，第一摄像装置140在获取第一影像前，更获取可见光信息以产生前述场景的第一先前影像FPI。另一方面，第二摄像装置160在获取第二影像前，更获取可见光信息与不可见光信息以产生前述场景的第二先前影像SPI。换言之，第一先前影像FPI与第二先前影像SPI的取得时间早于第一影像与第二影像。于一实施例中，初步深度计算单元1864由第一先前影像FPI与第二先前影像SPI的可见光影像计算前述场景与第一摄像装置140、第二摄像装置160的估计距离，但本发明不限于此。于另一实施例中，初步深度计算单元1864由第二先前影像SPI的不可见光影像计算前述场景与第一摄像装置140、第二摄像装置160的估计距离。
为了减少计算估计距离的时间，第一先前影像FPI与第二先前影像SPI可以是缩小后的影像。另一方面，初步深度计算单元1864还可以先行对第一先前影像FPI与第二先前影像SPI进行边缘检测后，仅对边缘部分进行深度估测来计算前述场景与第一摄像装置140、第二摄像装置160的估计距离，藉以降低计算估计距离的时间。
需要注意的是，在本发明的一实施例中，第一摄像装置140与第二摄像装置160的设置位置并不一致，而估计距离可能是考量设置位置差异后所得到的一个估算值，但不限于此。初步深度计算单元1864还可以是直接地计算前述场景与第一摄像装置140的估计距离或者是前述场景与第二摄像装置160的估计距离。
参照图5A，于本实施例中，若评估单元186判断估计距离大于距离阀值，则代表前述场景距离第一摄像装置140与第二摄像装置160是较远的。此时，评估单元186选择以第一深度信息FDI作为前述场景的最终深度信息FLDI。然而，若评估单元186判断估计距离不大于距离阀值，则评估单元186至少基于第二深度信息SDI产生前述场景的最终深度信息FLDI。
在本发明的一实施例中，初步深度计算单元1864还可依据第二先前影像SPI的不可见光影像的完整度(不可见光影像的多寡)来决定是否基于第二深度信息SDI产生前述场景的最终深度信息FLDI。详细来说，当不可见光影像的完整度较低时，代表前述场景与第一摄像装置140、第二摄像装置160距离较远，因而较不适合基于第二深度信息SDI来产生前述场景的最终深度信息FLDI。
于本发明的实施例中，若评估单元186判断估计距离不大于距离阀值，评估单元186直接以第二深度信息SDI作为前述场景的最终深度信息FLDI，但本发明不限于此。图5B为依据本发明一实施例所显示的评估单元的示意图。参照图5B，于本实施例中，若评估单元186判断估计距离不大于距离阀值，评估单元186合并第一深度信息FDI与第二深度信息SDI以产生前述场景的最终深度信息FLDI。在本实施例中，评估单元186保留第一深度信息FDI与第二深度信息SDI相符的部分深度信息，并且针对第一深度信息FDI与第二深度信息SDI不相符的另一部分深度信息进行填补，藉以产生前述场景的最终深度信息FLDI。保留、填补深度信息的方式，请参照前述实施例，在此不再赘述。
深度图产生单元188由最终深度信息FLDI产生前述场景的深度图DM，并且输出深度图DM。前述场景的深度图DM例如是运用以产生前述场景的立体影像。另一方面，前述场景的深度图DM还可以是储存于存储器装置。
图6为依据本发明另一实施例所显示的处理装置的方框示意图。参照图6，相较于图3所示的处理装置180，在本实施例中，处理装置180还包括影像信息纯化单元181。影像信息纯化单元181取得第二影像中的可见光影像后，首先分离第二影像中的不可见光信号留下可见光影像，然后传输滤除不可见光信号的第二影像中的可见光影像至第一深度信息单元182。具体而言，第二摄像装置160可以取得同时包含不可见光信息与可见光信息所构成的影像。为了避免可见光影像受到不可见光无用信息的干扰，在本实施例中，处理装置180还包括影像信息纯化单元181以优先地分离第二影像中的不可见光无用信息留下可见光影像。其余元件与处理装置180运作情形，请参照前述图3、图4、图5A、图5B以及相关实施例，在此不再赘述。
图7A、图7B与图7C分别为依据本发明一实施例所显示的电子装置的运作示意图。参照图7A，在本实施例中，电子装置100的投光装置120主要是投影图案化的红外光于一个场景上。相对的，第一摄像装置140获取红绿蓝(RGB)光信息以产生前述场景的第一影像，而第二摄像装置160获取红绿蓝(RGB)光信息与红外光信息以产生前述场景的第二影像。换言之，第一影像与第二影像中的可见光影像为红绿蓝(RGB)影像RGB。另一方面，第二影像中的不可见光影像为红外光影像IR。
然而，值得注意的是，用于产生深度图的可见光影像与不可见光影像并不限于此。参照图7B，在本发明的另一实施例中，第一摄像装置140获取光强度信息以产生前述场景的第一影像，而第二摄像装置160获取红绿蓝(RGB)光信息与红外光信息以产生前述场景的第二影像。换言之，在本实施例中，第一影像中的可见光影像为灰阶影像M。
类似地，参照图7C，在本发明的另一实施例中，第一摄像装置140获取红绿蓝(RGB)光信息以产生前述场景的第一影像，而第二摄像装置160获取光强度信息与红外光信息以产生前述场景的第二影像。在本实施例中，第二影像中的可见光影像为灰阶影像M。
由前实施例可知，可见光影像与不可见光影像并不局限于前述影像格式，并且可基于各影像格式对应地调整并适用于前述电子装置100。
图8为依据本发明一实施例所显示的电子装置的示意图。参照图8，相较于电子装置100，适于产生深度图的电子装置200还包括第三摄像装置190。于本实施例中，第一摄像装置140及第二摄像装置160获取红绿蓝(RGB)光信息以分别产生前述场景的第一影像与第二影像。另一方面，第三摄像装置190获取红外光光信息以产生前述场景的第三影像。第一摄像装置140、第二摄像装置160与第三摄像装置190例如是红绿蓝相机(RGB camera)、红绿蓝相机(RGB camera)与红外光相机(IR camera)的组合，但本发明不以此为限。
于本实施例中，处理装置180不需要对第一影像、第二影像与第三影像进行可见光影像、不可见光影像的辨识与分离。第一深度信息单元182直接比对第一影像与第二影像以产生第一深度信息，而第二深度信息单元184辨识第三影像以产生第二深度信息。另一方面，处理装置180的评估单元在产生前述场景的最终深度信息时，可利用第一摄像装置140、第二摄像装置160以及第三摄像装置180分别获取可见光信息、不可见光信息所产生的前述场景的第一先前影像、第二先前影像以及第三先前影像，进一步地计算前述场景与第一摄像装置140、第二摄像装置160、第三摄像装置180的估计距离。需要注意的是，第一先前影像、第二先前影像与第三先前影像的取得时间早于第一影像、第二影像与第三影像。
除了设置第三摄像装置190所造成的运作差异外，电子装置200其余的元件结构以及产生深度图的详细运作流程，请参照前述电子装置100的相关技术内容，在此不再赘述。
综上所述，本发明实施例所提供的适于产生深度图的电子装置与方法，首先投影图案化的不可见光于拍摄场景，然后利用成对的第一摄像装置与第二摄像装置来分别取得拍摄场景的第一影像与第二影像。通过第一影像与第二影像内的可见光影像与不可见光影像来分别取得第一深度信息与第二深度信息，然后进一步地依据第一深度信息与第二深度信息产生前述拍摄场景的深度图，可以避免单一深度信息受外在环境因素或不同拍摄场景的影响而产生误差，进而影响前述场景的深度图的准确性。另一方面，摄像装置的数量与设置形式还可对应地调整而不限于成对的第一摄像装置与第二摄像装置。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，均在本发明范围内。

Claims (20)

1.一种适于产生深度图的电子装置，其特征在于，包括：
投光装置，投影图案化的不可见光于场景上；
第一摄像装置，获取可见光信息以产生所述场景的第一影像；
第二摄像装置，获取可见光信息与不可见光信息以产生所述场景的第二影像；以及
处理装置，耦接所述投光装置、所述第一摄像装置与所述第二摄像装置以接收所述第一影像与所述第二影像，所述处理装置由所述第一影像与所述第二影像取得第一深度信息与第二深度信息，并且选择性地由所述第一深度信息与所述第二深度信息产生所述场景的深度图，其中所述处理装置包括：
第一深度信息单元，比对所述第一影像的可见光影像与所述第二影像的可见光影像以取得所述第一深度信息；以及
第二深度信息单元，辨识所述第二影像中的不可见光影像以取得所述第二深度信息。
2.根据权利要求1所述的电子装置，其特征在于，所述处理装置包括：
影像信息纯化单元，取得所述第二影像中的所述可见光影像，滤除所述第二影像中的不可见光信号，并且传输滤除所述不可见光信号的所述第二影像中的所述可见光影像至所述第一深度信息单元。
3.根据权利要求1所述的电子装置，其特征在于，所述处理装置包括：
评估单元，评估所述第一深度信息与所述第二深度信息的准确度以产生所述场景的最终深度信息；以及
深度图产生单元，由所述最终深度信息产生所述场景的所述深度图。
4.根据权利要求3所述的电子装置，其特征在于，所述评估单元评估所述第一深度信息所包含的深度值与所述第二深度信息所包含的深度值的准确度，并保留二者相符的部分深度信息，并且针对所述第一深度信息与所述第二深度信息不相符的另一部分深度信息进行填补，藉以产生所述场景的所述最终深度信息。
5.根据权利要求3所述的电子装置，其特征在于，所述评估单元依据所述场景的环境条件，选择所述第一深度信息与所述第二深度信息的至少一个以取得所述场景的所述最终深度信息。
6.根据权利要求3所述的电子装置，其特征在于，所述评估单元还包括：
亮度计算单元，计算所述场景所对应的环境亮度，并且基于所述环境亮度判断所述场景是否位于户外，若基于所述环境亮度判断所述场景位于户外，所述评估单元以所述第一深度信息作为所述场景的所述最终深度信息。
7.根据权利要求6所述的电子装置，其特征在于，若所述亮度计算单元基于所述环境亮度判断所述场景位于户外，则所述处理装置关闭所述投光装置以停止投影图案化的所述不可见光。
8.根据权利要求6所述的电子装置，其特征在于，所述评估单元还包括：
初步深度计算单元，若基于所述环境亮度判断所述场景不位于户外，则所述初步深度计算单元由所述第一摄像装置在所述第一影像前对所述场景所获取的第一先前影像与所述第二摄像装置在所述第二影像前对所述场景所获取的第二先前影像，计算所述场景与所述第一摄像装置、所述第二摄像装置的估计距离，并且判断所述估计距离是否大于距离阀值，若判断所述估计距离大于所述距离阀值，所述评估单元以所述第一深度信息作为所述场景的所述最终深度信息，而若判断所述估计距离不大于所述距离阀值，所述评估单元至少基于所述第二深度信息产生所述场景的所述最终深度信息。
9.根据权利要求8所述的电子装置，其特征在于，若判断所述估计距离不大于所述距离阀值，所述评估单元以所述第二深度信息作为所述场景的所述最终深度信息。
10.根据权利要求8所述的电子装置，其特征在于，若判断所述估计距离不大于所述距离阀值，所述评估单元评估所述第一深度信息所包含的深度值与所述第二深度信息所包含的深度值的准确度，并保留二者相符的部分深度信息，并且针对所述第一深度信息与所述第二深度信息不相符的另一部分深度信息进行填补，藉以产生所述场景的所述最终深度信息。
11.根据权利要求8所述的电子装置，其特征在于，所述初步深度计算单元由所述第一先前影像与所述第二先前影像的可见光影像计算所述场景与所述第一摄像装置、所述第二摄像装置的所述估计距离，或者由所述第二先前影像的不可见光影像计算所述场景与所述第一摄像装置、所述第二摄像装置的所述估计距离。
12.根据权利要求1所述的电子装置，其特征在于，所述第一摄像装置及所述第二摄像装置的组合包含:红绿蓝相机与红绿蓝-红外光相机的组合、红绿蓝相机与单色光-红外光相机的组合以及单色光相机与红绿蓝-红外光相机的组合。
13.一种深度图产生方法，适于具有第一摄像装置与第二摄像装置的电子装置，其特征在于，所述方法包括下列步骤：
投影图案化的不可见光于场景上；
获取所述场景的第一影像，所述第一影像包含可见光信息；
获取所述场景的第二影像，所述第二影像包含可见光信息与不可见光信息，其中所述不可见光信息包含由所述场景反射所述图案化的不可见光所产生的影像信息；
由所述第一影像与所述第二影像取得第一深度信息与第二深度信息，其中取得所述第一深度信息与所述第二深度信息的步骤，还包括：
比对所述第一影像的可见光影像与所述第二影像的可见光影像以取得所述第一深度信息；以及
辨识所述第二影像中的不可见光影像以取得所述第二深度信息；以及
选择性地由所述第一深度信息与所述第二深度信息产生所述场景的深度图。
14.一种适于产生深度图的电子装置，其特征在于，包括：
投光装置，投影图案化的红外光于场景上；
第一摄像装置，获取红绿蓝光信息以产生所述场景的第一影像；
第二摄像装置，获取红绿蓝光信息与红外光信息以产生所述场景的第二影像；以及
处理装置，耦接所述投光装置、所述第一摄像装置与所述第二摄像装置以接收所述第一影像与所述第二影像，所述处理装置由所述第一影像与所述第二影像取得第一深度信息与第二深度信息，并且选择性地由所述第一深度信息与所述第二深度信息产生所述场景的深度图，其中所述处理装置包括：
第一深度信息单元，比对所述第一影像的红绿蓝影像与所述第二影像的红绿蓝影像以取得所述第一深度信息；以及
第二深度信息单元，辨识所述第二影像中的红外光影像以取得所述第二深度信息。
15.一种适于产生深度图的电子装置，其特征在于，包括：
投光装置，投影图案化的红外光于场景上；
第一摄像装置，获取红绿蓝光信息以产生所述场景的第一影像；
第二摄像装置，获取红绿蓝光信息以产生所述场景的第二影像；
第三摄像装置，获取红外光信息以产生所述场景的第三影像；以及
处理装置，耦接所述投光装置、所述第一摄像装置、所述第二摄像装置与所述第三摄像装置以接收所述第一影像、所述第二影像与所述第三影像，所述处理装置由所述第一影像、所述第二影像与所述第三影像取得第一深度信息与第二深度信息，并且选择性地由所述第一深度信息与所述第二深度信息产生所述场景的深度图，其中所述处理装置包括：
第一深度信息单元，比对所述第一影像与所述第二影像以取得所述第一深度信息；以及
第二深度信息单元，辨识所述第三影像以取得所述第二深度信息。
16.根据权利要求15所述的电子装置，其特征在于，所述处理装置包括：
评估单元，评估所述第一深度信息与所述第二深度信息的准确度以产生所述场景的最终深度信息；以及
深度图产生单元，由所述最终深度信息产生所述场景的所述深度图。
17.根据权利要求16所述的电子装置，其特征在于，所述评估单元评估所述第一深度信息所包含的深度值与所述第二深度信息所包含的深度值的准确度，并保留二者相符的部分深度信息，并且针对所述第一深度信息与所述第二深度信息不相符的另一部分深度信息进行填补，藉以产生所述场景的所述最终深度信息。
18.根据权利要求16所述的电子装置，其特征在于，所述评估单元还包括：
亮度计算单元，计算所述场景所对应的环境亮度，并且基于所述环境亮度判断所述场景是否位于户外，若基于所述环境亮度判断所述场景位于户外，所述评估单元以所述第一深度信息作为所述场景的所述最终深度信息。
19.根据权利要求18所述的电子装置，其特征在于，所述评估单元还包括：
初步深度计算单元，若基于所述环境亮度判断所述场景不位于户外，则所述初步深度计算单元由所述第一摄像装置在所述第一影像前对所述场景所获取的第一先前影像、所述第二摄像装置在所述第二影像前对所述场景所获取的第二先前影像与所述第三摄像装置在所述第三影像前对所述场景所获取的第三先前影像，计算所述场景与所述第一摄像装置、所述第二摄像装置、所述第三摄像装置的估计距离，并且判断所述估计距离是否大于距离阀值，若判断所述估计距离大于所述距离阀值，所述评估单元以所述第一深度信息作为所述场景的所述最终深度信息，而若判断所述估计距离不大于所述距离阀值，所述评估单元至少基于所述第二深度信息产生所述场景的所述最终深度信息，
所述初步深度计算单元由所述第一先前影像与所述第二先前影像计算所述场景与所述第一摄像装置、所述第二摄像装置、所述第三摄像装置的所述估计距离，或者由所述第三先前影像计算所述场景与所述第一摄像装置、所述第二摄像装置、所述第三摄像装置的所述估计距离。
20.根据权利要求19所述的电子装置，其特征在于，若判断所述估计距离不大于所述距离阀值时，所述评估单元以所述第二深度信息作为所述场景的所述最终深度信息，或所述评估单元评估所述第一深度信息所包含的深度值与所述第二深度信息所包含的深度值的准确度，并保留二者相符的部分深度信息，并且针对所述第一深度信息与所述第二深度信息不相符的另一部分深度信息进行填补，藉以产生所述场景的所述最终深度信息。
CN201610711984.3A 2016-03-08 2016-08-24 适于产生深度图的电子装置与方法 Active CN107172407B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662304952P 2016-03-08 2016-03-08
US62/304,952 2016-03-08

Publications (2)

Publication Number Publication Date
CN107172407A true CN107172407A (zh) 2017-09-15
CN107172407B CN107172407B (zh) 2019-03-12

Family

ID=59367527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610711984.3A Active CN107172407B (zh) 2016-03-08 2016-08-24 适于产生深度图的电子装置与方法

Country Status (3)

Country Link
US (1) US10455217B2 (zh)
CN (1) CN107172407B (zh)
TW (1) TWI584634B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682607A (zh) * 2017-10-27 2018-02-09 广东欧珀移动通信有限公司 图像获取方法、装置、移动终端和存储介质
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
CN110099225A (zh) * 2018-01-31 2019-08-06 宁波舜宇光电信息有限公司 阵列摄像模组及其深度信息采集方法和电子设备
CN110324604A (zh) * 2018-03-30 2019-10-11 联发科技股份有限公司 立体视觉处理方法和装置
CN110533709A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
WO2021237493A1 (zh) * 2020-05-27 2021-12-02 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206698308U (zh) * 2016-11-08 2017-12-01 聚晶半导体股份有限公司 摄像模块和摄像装置
TWI647661B (zh) 2017-08-10 2019-01-11 緯創資通股份有限公司 影像深度感測方法與影像深度感測裝置
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US10334232B2 (en) 2017-11-13 2019-06-25 Himax Technologies Limited Depth-sensing device and depth-sensing method
TWI646504B (zh) * 2017-11-21 2019-01-01 奇景光電股份有限公司 深度感測裝置及深度感測方法
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US10764562B2 (en) 2018-01-28 2020-09-01 Eys3D Microelectronics, Co. Depth generation system with adjustable light intensity
US10529084B2 (en) * 2018-02-06 2020-01-07 Htc Corporation Image processing method, electronic device, and non-transitory computer readable storage medium
US20190387165A1 (en) 2018-06-07 2019-12-19 Eys3D Microelectronics, Co. Image device for generating depth images and related electronic device
US20210274108A1 (en) * 2018-07-17 2021-09-02 Vestel Elektronik Sanayi Ve Ticaret A.S. A Device Having Exactly Two Cameras and a Method of Generating Two Images Using the Device
US10771717B2 (en) * 2018-07-30 2020-09-08 Lumileds Llc Use of IR pre-flash for RGB camera's automatic algorithms
WO2022016331A1 (en) * 2020-07-20 2022-01-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of compensating tof depth map and electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104391A1 (en) * 2012-10-12 2014-04-17 Kyung Il Kim Depth sensor, image capture mehod, and image processing system using depth sensor
CN104604220A (zh) * 2012-09-03 2015-05-06 Lg伊诺特有限公司 图像处理系统
CN104918035A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9674504B1 (en) * 2015-12-22 2017-06-06 Aquifi, Inc. Depth perceptive trinocular camera system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104604220A (zh) * 2012-09-03 2015-05-06 Lg伊诺特有限公司 图像处理系统
US20140104391A1 (en) * 2012-10-12 2014-04-17 Kyung Il Kim Depth sensor, image capture mehod, and image processing system using depth sensor
CN104918035A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107682607A (zh) * 2017-10-27 2018-02-09 广东欧珀移动通信有限公司 图像获取方法、装置、移动终端和存储介质
CN107682607B (zh) * 2017-10-27 2019-10-22 Oppo广东移动通信有限公司 图像获取方法、装置、移动终端和存储介质
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
CN110099225A (zh) * 2018-01-31 2019-08-06 宁波舜宇光电信息有限公司 阵列摄像模组及其深度信息采集方法和电子设备
CN110324604A (zh) * 2018-03-30 2019-10-11 联发科技股份有限公司 立体视觉处理方法和装置
CN110533709A (zh) * 2018-05-23 2019-12-03 杭州海康威视数字技术股份有限公司 深度图像获取方法、装置及系统、图像采集设备
WO2021237493A1 (zh) * 2020-05-27 2021-12-02 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质
CN114073063A (zh) * 2020-05-27 2022-02-18 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质
JP2022538947A (ja) * 2020-05-27 2022-09-07 北京小米移動軟件有限公司南京分公司 画像処理方法及び装置、カメラアセンブリ、電子機器、記憶媒体
JP7321187B2 (ja) 2020-05-27 2023-08-04 北京小米移動軟件有限公司南京分公司 画像処理方法及び装置、カメラアセンブリ、電子機器、記憶媒体
CN114073063B (zh) * 2020-05-27 2024-02-13 北京小米移动软件有限公司南京分公司 图像处理方法及装置、相机组件、电子设备、存储介质
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法

Also Published As

Publication number Publication date
TWI584634B (zh) 2017-05-21
CN107172407B (zh) 2019-03-12
US10455217B2 (en) 2019-10-22
TW201733350A (zh) 2017-09-16
US20170264884A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN107172407B (zh) 适于产生深度图的电子装置与方法
CN106572340B (zh) 摄像系统、移动终端及图像处理方法
US10404969B2 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN102164233B (zh) 摄像装置和3d建模数据的生成方法
CN109118581B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
TWI640199B (zh) 影像擷取裝置及其攝影構圖的方法
US8363093B2 (en) Stereoscopic imaging using split complementary color filters
JP5620990B2 (ja) 形状抽出方法及び装置、並びに寸法測定装置及び距離測定装置
CN104980646A (zh) 阻挡检测方法及电子装置
CN106878605A (zh) 一种基于电子设备的图像生成的方法和电子设备
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN104918019A (zh) 一种能全天候同时看清车牌和车内人员的双目摄像机
TW201813371A (zh) 鬼偽影去除系統和方法
EP3381015B1 (en) Systems and methods for forming three-dimensional models of objects
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN109040746A (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
WO2017077277A1 (en) System and methods for imaging three-dimensional objects
CN107547789B (zh) 影像获取装置及其摄影构图的方法
CN112153300A (zh) 多目摄像头曝光方法、装置、设备及介质
CN107370952A (zh) 图像拍摄方法和装置
CN108732178A (zh) 一种大气能见度检测方法和装置
TW201534103A (zh) 電子裝置及其校正方法
CN108629329B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106878604A (zh) 一种基于电子设备的图像生成的方法和电子设备
TWI797528B (zh) 雙感測器攝像系統及其隱私保護攝像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant