CN116097306A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN116097306A
CN116097306A CN202180058359.2A CN202180058359A CN116097306A CN 116097306 A CN116097306 A CN 116097306A CN 202180058359 A CN202180058359 A CN 202180058359A CN 116097306 A CN116097306 A CN 116097306A
Authority
CN
China
Prior art keywords
image
depth image
depth
electronic device
composition ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180058359.2A
Other languages
English (en)
Inventor
李太熙
金成元
金世暎
李侑贞
李廷桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116097306A publication Critical patent/CN116097306A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种电子装置。电子装置可包括第一图像传感器、第二图像传感器和处理器，其中，处理器可：通过使用第一图像传感器，获取第一深度图像和置信图；通过使用第二图像传感器，获取RGB图像；基于置信图和RGB图像，获取第二深度图像；以及通过基于置信图的像素值合成第一深度图像和第二深度图像，获取第三深度图像。

Description

电子装置及其控制方法
技术领域
本公开涉及一种电子装置及其控制方法，更具体地，涉及一种用于获取深度图像的电子装置及其控制方法。
背景技术
近年来，随着电子技术的发展，对自动驾驶机器人的研究正在积极进行。为了机器人的平稳驱动，重要的是获得关于机器人周围环境的准确深度信息。作为用于获取深度信息的传感器，存在基于光的飞行时间或相位信息来获取深度图像的飞行时间(ToF)传感器、用于基于由两个相机捕获的图像来获取深度图像的立体相机等。
另一方面，与立体相机相比，ToF传感器对于长距离具有优异的角分辨率，但是具有由于多次反射而导致近场信息的精度相对较低的限制。另外，尽管立体相机可以以相对高的精度获取短距离信息，但是为了长距离测量，两个相机需要彼此远离，因此立体相机具有难以制造为小尺寸的缺点。
因此，需要一种用于获取具有高精度近场信息的深度图像同时易于小型化的技术。
发明内容
技术问题
本公开提供了一种易于小型化并且针对短距离具有改善的距离信息精度的电子装置。
本公开的目的不限于上述目的。也就是说，本领域技术人员可从以下描述中显而易见地理解未提及的其他目的。
技术方案
根据本公开的实施例，一种电子装置包括：第一图像传感器；第二图像传感器；以及处理器，其中，所述处理器进行以下操作：通过使用第一图像传感器，获取第一深度图像和与第一深度图像相应的置信图，通过使用第二图像传感器，获取与第一深度图像相应的RGB图像，基于所述置信图和所述RGB图像，获取第二深度图像，并且通过基于所述置信图的像素值合成第一深度图像和第二深度图像，获取第三深度图像。
所述处理器可获取所述RGB图像的灰度图像，并且可通过对所述置信图和所述灰度图像进行立体匹配，获取第二深度图像。
所述处理器可通过基于包括在所述置信图和所述灰度图像中的对象的形状对所述置信图和所述灰度图像进行立体匹配，获取第二深度图像。
所述处理器可基于所述置信图的像素值，确定第一深度图像和第二深度图像的合成比率；并且通过基于所述确定的合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
所述处理器可针对所述置信图的多个区域中的像素值大于预设值的区域，确定第一合成比率和第二合成比率，使得第一深度图像的第一合成比率大于第二深度图像的第二合成比率，并且可针对所述置信图的多个区域中的像素值小于所述预设值的区域，确定第一合成比率和第二合成比率，使得第一合成比率小于第二合成比率。
所述处理器可针对第一深度图像的多个区域中的深度值小于第一阈值距离的第一区域，获取第二深度图像的深度值作为第三深度图像的深度值，并且针对第一深度图像的多个区域中的深度值大于第二阈值距离的第二区域，获取第一深度图像的深度值作为第三深度图像的深度值。
所述处理器可识别包括在所述RGB图像中的对象，识别第一深度图像和第二深度图像中的与所述识别的对象相应的每个区域，并且通过针对每个区域以预定合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
第一图像传感器可以是飞行时间(ToF)传感器，并且第二图像传感器可以是RGB传感器。
根据本公开的另一实施例，一种用于控制电子装置的方法包括：通过使用第一图像传感器，获取第一深度图像和与第一深度图像相应的置信图；通过使用第二图像传感器，获取与第一深度图像相应的RGB图像；基于所述置信图和所述RGB图像，获取第二深度图像；并且通过基于所述置信图的像素值合成第一深度图像和第二深度图像，获取第三深度图像。
在获取第二深度图像的步骤中，可获取所述RGB图像的灰度图像，并且可通过对所述置信图和所述灰度图像进行立体匹配，获取第二深度图像。
在获取第二深度图像的步骤中，可通过基于包括在所述置信图和所述灰度图像中的对象的形状对所述置信图和所述灰度图像进行立体匹配，获取第二深度图像。
在获取第三深度图像的步骤中，可基于所述置信图的像素值，确定第一深度图像和第二深度图像的合成比率，并且可通过基于所述确定的合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
在确定所述合成比率的步骤中，可针对所述置信图的多个区域中的像素值大于预设值的区域，确定第一合成比率和第二合成比率，使得第一深度图像的第一合成比率大于第二深度图像的第二合成比率，并且可针对所述置信图的多个区域中的像素值小于所述预设值的区域，确定第一合成比率和第二合成比率，使得第一合成比率小于第二合成比率。
在获取第三深度图像的步骤中，可针对第一深度图像的多个区域中的深度值小于第一阈值距离的第一区域，获取第二深度图像的深度值作为第三深度图像的深度值，并且可针对第一深度图像的多个区域中的深度值大于第二阈值距离的第二区域，获取第一深度图像的深度值作为第三深度图像的深度值。
获取第三深度图像的步骤可包括：识别包括在所述RGB图像中的对象；识别第一深度图像和第二深度图像中的与所述识别的对象相应的每个区域，并且通过针对所述识别的每个区域以预定合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
本公开的技术方案不限于上述方案，并且本公开所属领域的技术人员将从本说明书和附图中清楚地理解未提及的方案。
有益效果
根据如上所述的本公开的各种实施例，与传统ToF传感器相比，电子装置可以以短距离的距离信息的改进精度来获取距离信息。
另外，通过本公开的实施例可获得或预测的效果将在本公开的实施例的详细描述中直接或隐含地公开。例如，将在稍后描述的详细描述中公开根据本公开的实施例预测的各种效果。
附图说明
图1是用于描述根据本公开的实施例的获取深度图像的方法的示图。
图2是示出根据本公开的实施例的根据第一深度图像的深度值的第一合成比率和第二合成比率的曲线图。
图3是示出根据本公开实施例的根据置信图的像素值的第一合成比率和第二合成比率的曲线图。
图4是用于描述根据本公开的实施例的获取第三深度图像的方法的示图。
图5是示出根据本公开的实施例的RGB图像的示图。
图6是示出根据本公开的实施例的用于控制电子装置的方法的流程图。
图7是示出根据本公开的实施例的电子装置的透视图。
图8a是示出根据本公开的实施例的电子装置的配置的框图。
图8b是示出根据本公开的实施例的处理器的配置的框图。
具体实施方式
在示意性地描述说明书中使用的术语之后，将详细描述本公开。
考虑到本公开中的功能，选择当前广泛使用的一般术语作为本公开的实施例中使用的术语，但是可根据本领域技术人员的意图或司法先例、新技术的出现等进行改变。另外，在特定情况下，可能存在申请人任意选择的术语。在这种情况下，这些术语的含义将在本公开的相应描述部分中详细提及。因此，在本公开的实施例中使用的术语应当基于贯穿本公开的术语和内容的含义而不是术语的简单名称来定义。
因为本公开可进行各种修改并且具有若干实施例，所以本公开的具体实施例将在附图中示出并且在具体实施方式中详细描述。然而，应当理解，本公开不限于具体实施例，而是包括在不脱离本公开的范围和精神的情况下的所有修改、等同物和替换。当决定对与本公开相关的已知技术的详细描述可能模糊本公开的主旨时，将省略该详细描述。
术语“第一”、“第二”等可用于描述各种组件，但是组件不应被解释为受这些术语的限制。这些术语仅用于将一个组件与另一个组件区分开。
除非上下文另有明确说明，否则单数形式旨在包括复数形式。应当理解，本说明书中使用的术语“包括”或“包含”指定本说明书中提及的特征、数字、步骤、操作、组件、部件或它们的组合的存在，但不排除存在或添加一个或更多个其他特征、数字、步骤、操作、组件、部件或它们的组合。
在下文中，将参照附图详细描述本公开的实施例，使得本公开所属领域的技术人员可容易地实践本公开。然而，本公开可以以各种不同的形式实现，并且不限于本文描述的示例性实施例。另外，在附图中，将省略与描述无关的部分以明显地描述本公开，并且在整个说明书中将使用类似的附图标记来描述类似的部分。
图1是用于描述根据本公开的实施例的获取深度图像的方法的示图。
电子装置100可通过使用第一图像传感器110来获取第一深度图像10。具体地，电子装置100可基于从第一图像传感器110输出的信号来获取第一深度图像10。这里，第一深度图像10是指示从电子装置100到对象的距离的图像，并且第一深度图像的每个像素的深度值(或距离值)可指与每个像素相应的从电子装置100到对象的距离。
电子装置100可通过使用第一图像传感器110来获取置信图20。这里，置信图(或置信图像)20是指表示针对第一深度图像10的每个区域的深度值的可靠性的图像。在这种情况下，置信图20可以是与第一深度图像10相应的红外(IR)图像。另外，电子装置100可基于置信图20确定针对第一深度图像10的每个区域的深度值的可靠性。
同时，电子装置100可基于从第一图像传感器110输出的信号来获取置信图20。具体地，第一图像传感器110可包括按照预设时间差激活的多个传感器。在这种情况下，电子装置100可通过所述多个传感器中的每一个传感器获取多个图像数据。另外，电子装置100可从多个获取的图像数据获取置信图20。例如，电子装置100可通过[数学式1]获取置信图20。
[数学式1]
[Confidencc]＝abs(I2-I4)-abs(I1-I3)
这里，I1至I4分别表示第一图像数据至第四图像数据。
同时，第一图像传感器110可被实现为飞行时间(ToF)传感器或结构光传感器。
电子装置100可使用第二图像传感器120获取RGB图像30。具体地，电子装置100可基于从第二图像传感器120输出的信号获取RGB图像。在这种情况下，RGB图像30可分别与第一深度图像10和置信图20相应。例如，RGB图像30可以是针对与第一深度图像10和置信图20相同的定时的图像。
电子装置100可通过调整第一图像传感器110和第二图像传感器120的激活定时，获取与第一深度图像10和置信图20相应的RGB图像30。另外，电子装置100可基于RGB图像30的R值、G值和B值来生成灰度图像40。同时，第二图像传感器120可被实现为诸如互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)的图像传感器。
电子装置100可基于置信度图20和灰度图像40获取第二深度图像50。具体地，电子装置100可通过对置信度图20和灰度图像40执行立体匹配来获取第二深度图像50。这里，立体匹配是指通过检测一个图像中的任意点位于另一个图像中的哪个位置并获得检测到的结果点的移位量来计算深度值的方法。电子装置100可识别置信度图20和灰度图像40中的相应点。在这种情况下，电子装置100可通过识别置信度图20和灰度图像40中包括的对象的形状或轮廓来识别相应点。然后，电子装置100可基于在置信度图20和灰度图像40中的每一个中识别的相应点之间的视差以及基线的长度(即，第一图像传感器100和第二图像传感器200之间的距离)来生成第二深度图像50。同时，当可基于作为IR图像的置信度图20和RGB图像30来执行立体匹配时，由于像素值的差异，可能难以找到精确的相应点。因此，电子装置100可基于灰度图像40而不是RGB图像30来执行立体匹配。因此，电子装置100可更准确地识别相应点，并且可提高第二深度图像50中包括的深度信息的准确度。同时，电子装置100可在执行立体匹配之前执行预处理，诸如校正置信度图20和灰度图像40之间的亮度差。
同时，ToF传感器在预设距离之外(例如，在距ToF传感器5m内)具有比立体传感器更高的角分辨率(即，区分彼此分离的两个对象的能力)和距离精度，但是在预设距离内可能具有比立体传感器更低的角分辨率和距离精度。例如，当反射光的强度大于阈值时，近场虚拟图像可由于镜头闪光或重影现象而出现在深度图像上。结果，存在通过ToF传感器获取的深度图像包括近场误差的问题。因此，电子装置100可通过使用通过立体匹配获取的第二深度图像50，获取与第一深度图像10相比具有改善的近场精度的第三深度图像60。
电子装置100可基于第一深度图像10和第二深度图像50来获取第三深度图像60。具体地，电子装置100可通过合成第一深度图像10和第二深度图像50来产生第三深度图像60。在这种情况下，电子装置100可基于第一深度图像10的深度值和置信图20的像素值中的至少一个，确定第一深度图像10的第一合成比率α和第二深度图像50的第二合成比率β。这里，第一合成比率α和第二合成比率β可具有0与1之间的值，并且第一合成比率α和第二合成比率β的总和可以是1。例如，当第一合成比率α是0.6(或60％)时，第二合成比率β可以是0.4(或40％)。在下文中，将更详细地描述确定第一合成比率α和第二合成比率β的方法。
图2是示出根据本公开的实施例的根据第一深度图像的深度值的第一合成比率和第二合成比率的曲线图。参照图2，电子装置100可基于第一深度图像10的深度值D来确定第一合成比率α和第二合成比率β。
在电子装置100中，针对第一深度图像10的多个区域中的深度值D小于第一阈值距离(例如，20cm)Dth1的第一区域R1，第一合成比率α可被确定为0，并且第二合成比率β可被确定为1。也就是说，电子装置100可针对多个区域中的深度值D小于第一阈值距离Dth1的区域，获取第二深度图像50的深度值作为第三深度图像60的深度值。因此，电子装置100可获取与第一深度图像10相比具有改善的近场精度的第三深度图像60。
在电子装置100中，针对第一深度图像10的多个区域中的深度值D大于第二阈值距离(例如，3m)Dth2的第二区域R2，第一合成比率α可被确定为1，并且第二合成比率β可被确定为0。也就是说，电子装置100可针对多个区域中的深度值D大于第二阈值距离Dth2的区域，获取第一深度图像50的深度值作为第三深度图像60的深度值。
在电子装置100中，针对第一深度图像10的多个区域中的深度值D大于第一阈值距离Dth1并且小于第二阈值距离Dth2的第三区域R3，第一合成比率α和第二合成比率β可被确定为使得随着深度值D增加，第一合成比率α增加而第二合成比率β减小。由于第一图像传感器110具有比第二图像传感器120更高的远场角分辨率，因此随着深度值D增加，当第一合成比率α增加时，可提高第三深度图像60的深度值的精度。
同时，电子装置100可基于置信图20的像素值P来确定第一合成比率α和第二合成比率β。
图3是示出根据本公开实施例的根据置信图的像素值的第一合成比率和第二合成比率的曲线图。
电子装置100可识别置信图20的多个区域中的像素值P小于第一阈值Pth1的第四区域R4。另外，当合成第一深度图像10和第二深度图像50的与第四区域R4相应的每个区域时，电子装置100可将第一合成比率α确定为0并且将第二合成比率β确定为1。也就是说，当确定第一深度图像10的可靠性小于第一阈值Pth1时，电子装置100可获取第二深度图像50的深度值作为第三深度图像60的深度值。因此，电子装置100可获取与第一深度图像10相比具有改善的距离精度的第三深度图像60。
电子装置100可识别置信图20的多个区域中的像素值大于第二阈值Pth2的第五区域R5。另外，当合成第一深度图像10和第二深度图像50的与第五区域R5相应的每个区域时，电子装置100可将第一合成比率α确定为1并且将第二合成比率β确定为0。也就是说，当确定第一深度图像10的可靠性小于第二阈值Pth2时，电子装置100可获取第一深度图像10的深度值作为第三深度图像60的深度值。
电子装置100可识别置信图20的多个区域中的像素值P大于第一阈值Pth1并且小于第二阈值Pth2的第六区域R6。另外，当合成第一深度图像10和第二深度图像50的与第六区域R6相应的每个区域时，电子装置100可确定第一合成比率α和第二合成比率β，使得随着像素值P增大，第一合成比率α增大并且第二合成比率β减小。也就是说，电子装置100可随着第一深度图像10的可靠性增大而增大第一合成比率α。因此，可提高第三深度图像60的深度值的精度。
同时，电子装置100可基于第一深度图像10的深度值D和置信图20的像素值P来确定第一合成比率α和第二合成比率β。具体地，电子装置100可在确定针对第三区域R3的第一合成比率α和第二合成比率β时，考虑置信图20的像素值P。例如，当置信图20的与第三区域R3相应的像素值大于预设值时，电子装置100可确定第一合成比率α和第二合成比率β，使得第一合成比率α大于第二合成比率β。另一方面，当置信图20的与第三区域R3相应的像素值小于预设值时，电子装置100可确定第一合成比率α和第二合成比率β，使得第一合成比率α小于第二合成比率β。电子装置100可随着置信图20的与第三区域R3相应的像素值增大而增大第一合成比率α。也就是说，电子装置100可随着第一深度图像10的可靠性增大而增大针对第三区域R3的第一合成比率α。
电子装置100可基于由此获得的第一合成比率α和第二合成比率β来获取第三深度图像60。电子装置100可基于第三深度图像60获取关于对象的距离信息。可选地，电子装置100可基于第三深度图像60生成电子装置100的驱动路径。同时，图2和图3示出了第一合成比率α和第二合成比率β线性地变化，但这仅是示例，并且第一合成比率α和第二合成比率β可非线性地变化。
图4是用于描述根据本公开的实施例的获取第三深度图像的方法的示图。参照图4，第一深度图像10可包括第1-1区域R1-1、第2-1区域R2-1和第3-1区域R3-1。第1-1区域R1-1可与图2的第一区域R1相应，并且第2-1区域R2-1可与图2的第二区域R2相应。也就是说，第1-1区域R1-1的深度值D11可小于第一阈值距离Dth1，并且第2-1区域R2-1的深度值D12可大于第二阈值距离Dth2。另外，第3-1区域R3-1可与图2的第三区域R3相应。也就是说，第3-1区域R3-1的深度值D13可大于第一阈值距离Dth1并且小于第二阈值距离Dth2。
当针对第1-1区域R1-1合成第一深度图像10和第二深度图像50时，电子装置100可将第一合成比率α确定为0并且将第二合成比率β确定为1。因此，电子装置100可获取第二深度图像50的深度值D21作为第三深度图像60的深度值D31。
当针对第2-1区域R2-1合成第一深度图像10和第二深度图像50时，电子装置100可将第一合成比率α确定为1并且将第二合成比率β确定为0。因此，电子装置100可获取第一深度图像10的深度值D12作为第三深度图像60的深度值D32。
当针对第3-1区域R3-1合成第一深度图像10和第二深度图像50时，电子装置100可基于置信图20确定第一合成比率α和第二合成比率β。例如，如果置信图20的深度值P3小于预设值，则当针对第3-1区域R3-1合成第一深度图像10和第二深度图像50时，电子装置100可确定第一合成比率α和第二合成比率β，使得第一合成比率α小于第二合成比率β。作为另一示例，如果置信图20的深度值P3大于预设值，则当针对第3-1区域R3-1合成第一深度图像10和第二深度图像50时，电子装置100可确定第一合成比率α和第二合成比率β，使得第一合成比率α大于第二合成比率β。如上所述，电子装置100可通过将第一合成比率α应用于第一深度图像10的深度值D13并且将第二合成比率β应用于第二深度图像50的深度值D23，获取第三深度图像60的深度值D33。
同时，电子装置100可通过将预定合成比率应用于包括在第一深度图像10和第二深度图像50中的相同对象，获取第三深度图像60。
图5是示出根据本公开的实施例的RGB图像的示图。参照图5，RGB图像30可包括第一对象ob1和第二对象ob2。
电子装置100可分析RGB图像30以识别第一对象ob1。在这种情况下，电子装置100可使用对象识别算法来识别第一对象ob1。可选地，电子装置100可通过将RGB图像30输入到被训练为包括在识别图像中的对象的神经网络模型来识别第一对象ob1。
当针对与第一对象ob1相应的区域合成第一深度图像10和第二深度图像50时，电子装置100可应用预定合成比率。例如，电子装置100可将是固定值的第1-1合成比率α1和第2-1合成比率β1应用于与第一对象ob1相应的区域。因此，电子装置100可获取第一对象ob1的距离误差得到改善的第三深度图像60。
图6是示出根据本公开的实施例的用于控制电子装置的方法的流程图。
电子装置100可使用第一图像传感器获取第一深度图像和与第一深度图像相应的置信图(S610)，并且使用第二图像传感器获取与第一深度图像相应的RGB图像(S620)。由于已经参照图1描述了其详细描述，因此将省略其冗余描述。
电子装置100可基于置信图和RGB图像获取第二深度图像(S630)。电子装置100可获取针对RGB图像的灰度图像，并且通过对置信图和灰度图像执行立体匹配来获取第二深度图像。在这种情况下，电子装置100可通过基于包括在置信图和灰度图像中的对象的形状对置信图和灰度图像执行立体匹配，获取第二深度图像。
电子装置100可通过基于置信图的像素值合成第一深度图像和第二深度图像，获得第三深度图像(S640)。电子装置100可基于置信图的像素值确定第一深度图像和第二深度图像的合成比率，并且基于确定的合成比率合成第一深度图像和第二深度图像，以获取第三深度图像。在这种情况下，电子装置100可针对置信图的多个区域中的像素值大于预设值的区域，确定第一合成比率和第二合成比率，使得第一深度图像的第一合成比率大于第二深度图像的第二合成比率。电子装置100可针对置信图的多个区域中的像素值小于预设值的区域，确定第一合成比率和第二合成比率，使得第一合成比率小于第二合成比率。
图7是示出根据本公开的实施例的电子装置的透视图。
电子装置100可包括第一图像传感器110和第二图像传感器120。在这种情况下，第一图像传感器110与第二图像传感器120之间的距离可被定义为基线的长度L。
使用两个相机的传统立体传感器的限制在于，由于基线的长度有限，因此长距离的角分辨率降低。另外，由于为了提高针对长距离的角分辨率需要增加基线的长度，因此存在难以使现有的立体传感器小型化的问题。
另一方面，如上所述，与如上所述的立体传感器相比，即使基线的长度L没有增加，根据本公开的电子装置100也使用针对长距离具有更高角分辨率的第一图像传感器110来获取远场信息。因此，与传统的立体传感器相比，电子装置100可具有更容易小型化的技术效果。
图8a是示出根据本公开的实施例的电子装置的配置的框图。参照图8a，电子装置100可包括发光单元105、第一图像传感器110、第二图像传感器120、存储器130、通信接口140、驱动单元150和处理器160。具体地，根据本公开实施例的电子装置100可实现为可移动机器人。
发光单元105可朝向对象发射光。在这种情况下，从发光单元105发射的光(在下文中，发射光)可具有正弦波形式的波形。然而，这仅是示例，并且发射光可具有方波形式的波形。另外，发光单元105可包括各种类型的激光装置。例如，发光单元105可包括垂直腔表面发射激光器(VCSEL)或激光二极管(LD)。同时，发光单元105可包括多个激光装置。在这种情况下，多个激光装置可排列成阵列形式。另外，发光单元105可发射各种频带的光。例如，发光单元105可发射频率为100MHz的激光束。
第一图像传感器110被配置为获取深度图像。第一图像传感器110可获取在从发光单元105发射之后从对象反射的反射光。处理器160可基于由第一图像传感器110获取的反射光，获取深度图像。例如，处理器160可基于从发光单元105发射的光的发射定时与图像传感器110接收反射光的定时之间的差(即，光的飞行时间)，获取深度图像。可选地，处理器160可基于从发光单元105发射的光的相位与由图像传感器110获取的反射光的相位之间的差，获取深度图像。同时，第一图像传感器110可被实现为飞行时间(ToF)传感器或结构光传感器。
第二图像传感器120被配置为获取RGB图像。例如，第二图像传感器120可实现为例如互补金属氧化物半导体(CMOS)及电荷耦合器件(CCD)的图像传感器。
存储器130可存储用于控制电子装置100的组件的一般操作的操作系统(OS)以及与电子装置100的组件相关的命令或数据。为此，存储器130可被实现为非易失性存储器(例如，硬盘、固态驱动器(SSD)、闪存)、易失性存储器等。
通信接口140包括至少一个电路，并且可根据各种类型的通信方法与各种类型的外部装置通信。通信接口140可包括Wi-Fi通信模块、蜂窝通信模块、第3代(3G)移动通信模块、第4代(4G)移动通信模块、第4代长期演进(LTE)通信模块和第5代(5G)移动通信模块中的至少一个。例如，电子装置100可通过通信接口140将使用第二图像传感器120获取的图像发送到用户终端。
驱动单元150被配置为移动电子装置100。具体地，驱动单元150可包括用于驱动电子装置100的致动器。另外，驱动单元150可包括用于驱动电子装置100的另一物理组件(例如，臂等)的运动的致动器。例如，电子装置100可基于通过第一图像传感器110和第二图像传感器120获得的深度信息，控制驱动单元150移动或操作。
处理器160可控制电子装置100的整体操作。
参照图8b，处理器160可包括第一深度图像获取模块161、置信图获取模块162、RGB图像获取模块163、灰度图像获取模块164、第二深度图像获取模块165和第三深度图像获取模块166。同时，处理器160的每个模块可被实现为软件模块，但是也可以以软件和硬件组合的形式来实现。
第一深度图像获取模块161可基于从第一图像传感器110输出的信号，获取第一深度图像。具体地，第一图像传感器110可包括按照预设时间差激活的多个传感器。在这种情况下，第一深度图像获取模块161可基于通过多个传感器获取的多个图像数据，计算光的飞行时间，并且基于计算出的光的飞行时间，获取第一深度图像。
置信图获取模块162可基于从第一图像传感器110输出的信号，获取置信图。具体地，第一图像传感器110可包括按照预设时间差激活的多个传感器。在这种情况下，置信图获取模块162可通过多个传感器中的每一个传感器获取多个图像数据。另外，置信图获取模块162可使用多个获取的图像数据来获取置信图20。例如，置信图获取模块162可基于上述[数学式1]来获取置信图20。
RGB图像获取模块163可基于从第二图像传感器120输出的信号获取RGB图像。在这种情况下，所获取的RGB图像可与第一深度图像和置信图相应。
灰度图像获取模块164可基于由RGB图像获取模块163获取的RGB图像来获取灰度图像。具体地，灰度图像获取模块164可基于RGB图像的R值、G值和B值来生成灰度图像。
第二深度图像获取模块165可基于由置信图获取模块162获取的置信图和由灰度图像获取模块164获取的灰度图像，获取第二深度图像。具体地，第二深度图像获取模块165可通过对置信图和灰度图像执行立体匹配，生成第二深度图像。第二深度图像获取模块165可识别置信图和灰度图像中的相应点。在这种情况下，第二深度图像获取模块165可通过识别包括在置信图和灰度图像中的对象的形状或轮廓，识别相应点。另外，第二深度图像获取模块165可基于在置信图和灰度图像中的每一个中识别的相应点之间的视差以及基线的长度，生成第二深度图像。
这样，第二深度图像获取模块165可通过基于灰度图像而不是RGB图像执行立体匹配来更准确地识别相应点。因此，可提高包括在第二深度图像中的深度信息的精度。同时，第二深度图像获取模块165可在执行立体匹配之前执行预处理，诸如校正置信图与灰度图像之间的亮度差。
第三深度图像获取模块166可基于第一深度图像和第二深度图像，获取第三深度图像。详细地，第三深度图像获取模块166可通过合成第一深度图像和第二深度图像，生成第三深度图像。在这种情况下，第三深度图像获取模块166可基于第一深度图像的深度值，确定针对第一深度图像的第一合成比率和针对第二深度图像的第二合成比率。例如，针对第一深度图像的多个区域中的深度值小于第一阈值距离的第一区域，第三深度图像获取模块166可将第一合成比率确定为0并且将第二合成比率确定为1。另外，针对第一深度图像的多个区域中的深度值大于第二阈值距离的第二区域，第三深度图像获取模块166可将第一合成比率确定为1并且将第二合成比率确定为0。
同时，第三深度图像获取模块166可基于第一深度图像的多个区域中的第三区域的置信图的像素值来确定合成比率，其中，第三区域的深度值大于第一阈值距离且小于第二阈值距离。例如，当与第三区域相应的置信图的像素值小于预设值时，第三深度图像获取模块166可确定第一合成比率和第二合成比率，使得第一合成比率小于第二合成比率。当与第三区域相应的置信图的像素值大于预设值时，第三深度图像获取模块166可确定第一合成比率和第二合成比率，使得第一合成比率大于第二合成比率。也就是说，第三深度图像获取模块166可确定第一合成比率和第二合成比率，使得随着与第三区域相应的置信图的像素值增大，第一合成比率增大并且第二合成比率减小。
同时，第三深度图像获取模块166可针对同一对象以预定合成比率合成第一深度图像和第二深度图像。例如，第三深度图像获取模块166可分析RGB图像以识别包括在RGB图像中的对象。另外，第三深度图像获取模块166可将预定合成比率应用于第一深度图像的与所识别的对象相应的第一区域和第二深度图像中的与所识别的对象相应的第二区域，以合成第一深度图像和第二深度图像。
同时，处理器160可调整第一图像传感器110和第二图像传感器120的同步。因此，第一深度图像、置信图和第二深度图像可彼此相应。也就是说，第一深度图像、置信图和第二深度图像可以是针对相同时间的图像。
同时，可使用软件、硬件或软件和硬件的组合在计算机或类似于计算机的装置中实现上述各种实施例。在一些情况下，本公开中描述的实施例可被实现为处理器本身。根据软件实现，实施例(诸如说明书中描述的过程和功能)可被实现为分立的软件模块。每个软件模块可执行说明书中描述的一个或更多个功能和操作。
同时，用于执行根据上述本公开的各种实施例的处理操作的计算机指令可存储在非暂时性计算机可读介质中。当由处理器执行时，存储在非暂时性计算机可读介质中的计算机指令可使特定装置执行根据上述各种实施例的处理操作。
非暂时性计算机可读介质不是暂时存储数据的介质，诸如寄存器、高速缓存、内存等，而是指半永久地存储数据并且可由设备读取的介质。非暂时性计算机可读介质的具体示例可包括压缩盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、USB、存储卡、只读存储器(ROM)等。
尽管上文已经示出和描述了本公开的实施例，但是本公开不限于上述具体实施例，而是可由本公开所属领域的技术人员在不脱离如所附权利要求中公开的本公开的主旨的情况下进行各种修改。这些修改也应被理解为落入本公开的范围和精神内。

Claims (15)

1.一种电子装置，包括：
第一图像传感器；
第二图像传感器；以及
处理器，
其中，所述处理器进行以下操作：通过使用第一图像传感器，获取第一深度图像和与第一深度图像相应的置信图，
通过使用第二图像传感器，获取与第一深度图像相应的RGB图像，
基于所述置信图和所述RGB图像，获取第二深度图像，并且
通过基于所述置信图的像素值合成第一深度图像和第二深度图像，获取第三深度图像。
2.如权利要求1所述的电子装置，其中，所述处理器进行以下操作：获取所述RGB图像的灰度图像，并且
通过对所述置信图和所述灰度图像执行立体匹配，获取第二深度图像。
3.如权利要求2所述的电子装置，其中，所述处理器进行以下操作：通过基于包括在所述置信图和所述灰度图像中的对象的形状对所述置信图和所述灰度图像执行立体匹配，获取第二深度图像。
4.如权利要求1所述的电子装置，其中，所述处理器进行以下操作：基于所述置信图的像素值，确定第一深度图像和第二深度图像的合成比率，并且
通过基于所述确定的合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
5.如权利要求4所述的电子装置，其中，所述处理器进行以下操作：针对所述置信图的多个区域中的像素值大于预设值的区域，确定第一合成比率和第二合成比率，使得第一深度图像的第一合成比率大于第二深度图像的第二合成比率，并且
针对所述置信图的多个区域中的像素值小于所述预设值的区域，确定第一合成比率和第二合成比率，使得第一合成比率小于第二合成比率。
6.如权利要求1所述的电子装置，其中，所述处理器进行以下操作：针对第一深度图像的多个区域中的深度值小于第一阈值距离的第一区域，获取第二深度图像的深度值作为第三深度图像的深度值，并且
针对第一深度图像的多个区域中的深度值大于第二阈值距离的第二区域，获取第一深度图像的深度值作为第三深度图像的深度值。
7.如权利要求1所述的电子装置，其中，所述处理器进行以下操作：识别包括在所述RGB图像中的对象，
识别第一深度图像和第二深度图像中的与所述识别的对象相应的每个区域，并且
通过针对所述区域中的每个区域以预定合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
8.如权利要求1所述的电子装置，其中，第一图像传感器是飞行时间ToF传感器，并且
第二图像传感器是RGB传感器。
9.一种用于控制电子装置的方法，包括：
通过使用第一图像传感器获取第一深度图像和与第一深度图像相应的置信图；
通过使用第二图像传感器，获取与第一深度图像相应的RGB图像；
基于所述置信图和所述RGB图像，获取第二深度图像；并且
通过基于所述置信图的像素值合成第一深度图像和第二深度图像，获取第三深度图像。
10.如权利要求9所述的方法，其中，在获取第二深度图像的步骤中，获取所述RGB图像的灰度图像，并且
通过对所述置信图和所述灰度图像进行立体匹配，获取第二深度图像。
11.如权利要求10所述的方法，其中，在获取第二深度图像的步骤中，通过基于包括在所述置信图和所述灰度图像中的对象的形状对所述置信图和所述灰度图像进行立体匹配，获取第二深度图像。
12.如权利要求9所述的方法，其中，在获取第三深度图像的步骤中，基于所述置信图的像素值，确定第一深度图像和第二深度图像的合成比率，并且
通过基于所述确定的合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
13.如权利要求12所述的方法，其中，在确定所述合成比率的步骤中，针对所述置信图的多个区域中的像素值大于预设值的区域，确定第一合成比率和第二合成比率，使得第一深度图像的第一合成比率大于第二深度图像的第二合成比率，并且
针对所述置信图的多个区域中的像素值小于所述预设值的区域，确定第一合成比率和第二合成比率，使得第一合成比率小于第二合成比率。
14.如权利要求9所述的方法，其中，在获取第三深度图像的步骤中，针对第一深度图像的多个区域中的深度值小于第一阈值距离的第一区域，获取第二深度图像的深度值作为第三深度图像的深度值，并且
针对第一深度图像的多个区域中的深度值大于第二阈值距离的第二区域，获取第一深度图像的深度值作为第三深度图像的深度值。
15.如权利要求9所述的方法，其中，获取第三深度图像的步骤包括：
识别包括在所述RGB图像中的对象；
识别第一深度图像和第二深度图像中的与所述识别的对象相应的每个区域，并且
通过针对所述识别的每个区域以预定合成比率合成第一深度图像和第二深度图像，获取第三深度图像。
CN202180058359.2A 2020-07-29 2021-07-02 电子装置及其控制方法 Pending CN116097306A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200094153A KR20220014495A (ko) 2020-07-29 2020-07-29 전자 장치 및 그 제어 방법
KR10-2020-0094153 2020-07-29
PCT/KR2021/008433 WO2022025458A1 (ko) 2020-07-29 2021-07-02 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
CN116097306A true CN116097306A (zh) 2023-05-09

Family

ID=80035582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180058359.2A Pending CN116097306A (zh) 2020-07-29 2021-07-02 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US20230177709A1 (zh)
EP (1) EP4148671A4 (zh)
KR (1) KR20220014495A (zh)
CN (1) CN116097306A (zh)
WO (1) WO2022025458A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457099B (zh) * 2022-09-09 2023-05-09 梅卡曼德（北京）机器人科技有限公司 深度补全方法、装置、设备、介质及产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
KR101706093B1 (ko) * 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
KR101272574B1 (ko) * 2011-11-18 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
KR101714224B1 (ko) * 2015-09-21 2017-03-08 현대자동차주식회사 센서 융합 기반 3차원 영상 복원 장치 및 방법
CN110852134A (zh) * 2018-07-27 2020-02-28 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质

Also Published As

Publication number Publication date
KR20220014495A (ko) 2022-02-07
WO2022025458A1 (ko) 2022-02-03
EP4148671A1 (en) 2023-03-15
EP4148671A4 (en) 2024-01-03
US20230177709A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN103154666B (zh) 距离测量装置以及环境地图生成装置
CN110799918A (zh) 车辆用的方法、设备和计算机程序
US10104359B2 (en) Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program
US20200278450A1 (en) Three-dimensional point cloud generation method, position estimation method, three-dimensional point cloud generation device, and position estimation device
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
US10107899B1 (en) System and method for calibrating light intensity
US11803982B2 (en) Image processing device and three-dimensional measuring system
US20210004978A1 (en) Method for acquiring depth information of target object and movable platform
CN111080784A (zh) 一种基于地面图像纹理的地面三维重建方法和装置
CN111684382A (zh) 可移动平台状态估计方法、系统、可移动平台及存储介质
US20230177709A1 (en) Electronic device and method for controlling same
CN111292368A (zh) 用于确定相对于飞行时间相机的深度运动的装置和方法
CN109031333B (zh) 距离测量方法和装置、存储介质、电子设备
JP2018116004A (ja) データ圧縮装置、制御方法、プログラム及び記憶媒体
US11921216B2 (en) Electronic apparatus and method for controlling thereof
CN112213711A (zh) 一种tof相机的校准方法
CN114761825A (zh) 飞行时间成像电路、飞行时间成像系统、飞行时间成像方法
CN113671458A (zh) 一种目标物体识别方法及装置
CN111373222A (zh) 光投射系统
US20240053168A1 (en) Mapping method for robot, robot and computer-readable storage medium
US20220245766A1 (en) Image processing device, image processing method, image processing program, and image processing system
CN113189601B (zh) 混合型深度估算系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination