CN114745509B - 图像采集方法、设备、足式机器人及存储介质 - Google Patents

图像采集方法、设备、足式机器人及存储介质 Download PDF

Info

Publication number
CN114745509B
CN114745509B CN202210368666.7A CN202210368666A CN114745509B CN 114745509 B CN114745509 B CN 114745509B CN 202210368666 A CN202210368666 A CN 202210368666A CN 114745509 B CN114745509 B CN 114745509B
Authority
CN
China
Prior art keywords
image
natural color
infrared
depth
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210368666.7A
Other languages
English (en)
Other versions
CN114745509A (zh
Inventor
梅勇
肖志光
管勋
李杏文
周晶磊
郭元臻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pengxing Intelligent Research Co Ltd
Original Assignee
Shenzhen Pengxing Intelligent Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pengxing Intelligent Research Co Ltd filed Critical Shenzhen Pengxing Intelligent Research Co Ltd
Priority to CN202210368666.7A priority Critical patent/CN114745509B/zh
Publication of CN114745509A publication Critical patent/CN114745509A/zh
Application granted granted Critical
Publication of CN114745509B publication Critical patent/CN114745509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种图像采集方法、设备、足式机器人及存储介质，图像采集设备包括第一摄像头、第二摄像头和补光装置，图像采集设备用于采集图像并生成结果深度图像，图像采集方法包括：获取第一摄像头采集的第一图像和第二摄像头采集的第二图像，其中，第一图像包括第一自然色图像和第一红外图像，第二图像包括第二自然色图像和第二红外图像；确定第一图像或第二图像是否满足预设的补光工作条件；若第一图像或第二图像满足补光工作条件，则输出补光信号以控制补光装置对环境补充红外光；根据第一图像和第二图像生成结果深度图像。采用本申请的实施例，可以提高了结果深度图像的准确性，以提高对图像采集设备与各特征之间距离检测的准确性。

Description

图像采集方法、设备、足式机器人及存储介质
技术领域
本申请涉及图像识别技术领域，特别涉及一种通过产生深度图像以实现距离检测的图像采集方法、设备、足式机器人及存储介质。
背景技术
通过摄像头测距为目前常见的测距方法，当前摄像头测距时常采用RGB摄像头，RGB摄像头可以生成自然色图像，通过自然色图像可以生成深度图像，以确定自然色图像中各点位与RGB摄像头之间的间距。
在亮度低的环境下，RGB摄像头生成的自然色图像亮度低，噪声多，导致测距误差大；通过补光设备箱环境中补充自然光易对人眼造成干扰，而限制操作人员操控摄像头；因此，在亮度低的环境下提高测距的准确率仍是图像识别技术领域急需解决的重要课题。
发明内容
鉴于以上内容，有必要提供一种图像采集方法、设备、足式机器人及存储介质，可以结合自然色图像和红外图像生成准确度高的深度图像，从而提高了在低亮度环境下距离检测的准确度。
第一方面，本申请的实施例提供一种图像采集方法，应用于图像采集设备，所述图像采集设备包括第一摄像头、第二摄像头和补光装置，所述图像采集设备用于采集图像并生成结果深度图像，所述图像采集方法包括：获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，其中，所述第一图像包括第一自然色图像和第一红外图像，所述第二图像包括第二自然色图像和第二红外图像；确定所述第一图像或所述第二图像是否满足预设的补光工作条件；若所述第一图像或所述第二图像满足所述补光工作条件，则输出补光信号以控制所述补光装置对环境补充红外光；根据所述第一图像和所述第二图像生成所述结果深度图像。
可选地，所述补光工作条件包括：自然色亮度小于第一自然色亮度阈值，其中，所述自然色亮度对应于所述第一自然色图像或所述第二自然色图像的亮度；且自动曝光时间大于或等于第一时间阈值，其中，所述自动曝光时间对应于采集所述第一自然色图像或所述第二自然色图像时的自动曝光时间；且增益大于或等于第一增益阈值，其中，所述增益对应于所述图像采集设备对所述第一自然色图像或所述第二自然色图像进行信号放大处理时的放大倍数。
可选地，所述图像采集方法还包括：确定所述第一图像或所述第二图像是否满足预设的停止补光条件；若所述第一图像或所述第二图像满足所述停止补光条件，则输出停止信号以控制所述补光装置停止补充红外光；其中，所述停止补光条件包括：所述自然色亮度大于或等于第二自然色亮度阈值，所述第二自然色亮度阈值大于所述第一自然色亮度阈值；且所述自动曝光时间小于第二时间阈值，所述第二时间阈值小于所述第一时间阈值；且所述增益小于第二增益阈值，所述第二增益阈值小于所述第一增益阈值。
可选地，所述补光工作条件还包括：红外亮度小于第一红外亮度阈值，其中，所述红外亮度对应于所述第一红外图像或所述第二红外图像的亮度。
可选地，所述停止补光条件还包括：所述红外亮度大于或等于第二红外亮度阈值，所述第二红外亮度阈值大于所述第一红外亮度阈值。
可选地，所述图像采集方法还包括：获取温度信息，其中，所述温度信息与所述图像采集设备的温度对应；确定所述温度信息是否满足温度条件；若所述温度信息满足所述温度条件，则输出控温信号以调节补光功率。
可选地，所述根据所述第一图像和所述第二图像生成所述结果深度图像包括：根据所述第一自然色图像和所述第二自然色图像生成自然色深度图像；根据所述第一红外图像和所述第二红外图像生成红外深度图像；根据所述自然色深度图像和所述红外深度图像生成所述结果深度图像。
可选地，所述根据所述自然色深度图像和所述红外深度图像生成所述结果深度图像包括：根据所述自然色亮度为所述自然色深度图像和所述红外深度图像分配权重，当所述自然色亮度提高时，所述自然色深度图像的所述权重增大，所述红外深度图像的所述权重降低；根据所述自然色深度图像、所述红外深度图像以及所述权重生成所述结果深度图像。
可选地，所述根据所述自然色深度图像和所述红外深度图像生成所述结果深度图像包括：确定所述自然色深度图像或所述红外深度图像中各点位深度值的置信度，其中，所述自然色深度图像中的各所述点位、所述红外深度图像中的各所述点位及所述结果深度图像中的各所述点位一一对应；确定所述置信度是否小于置信度阈值；若所述置信度小于所述置信度阈值，则确定所述点位为不可信点位，并结合所述自然色深度图像和所述红外深度图像中所述不可信点位的深度值，计算所述不可信点位的结果深度值；若所述置信度大于或等于所述置信度阈值，则确定所述自然色深度图像或所述红外深度图像中所述点位的深度值为所述点位的所述结果深度值；根据各所述点位的所述结果深度值生成所述结果深度图像。
第二方面，本申请的实施例提供一种图像采集设备，包括：第一摄像头，用于采集第一图像，其中，所述第一图像包括第一自然色图像和第一红外图像；第二摄像头，用于采集第二图像，其中，所述第二图像包括第二自然色图像和第二红外图像：补光装置，用于对所述第一摄像头和所述第二摄像头所在环境补充红外光；存储器，用于存储计算机程序；处理器，用于执行所述存储器存储的所述计算机程序，当所述计算机程序被执行时，所述处理器用于执行如上述任一项所述的图像采集方法。
第三方面，本申请的实施例提供一种足式机器人，包括：机械单元；如上述图像采集设备，安装于所述机械单元，所述图像采集设备用于采集图像并生成结果深度图像。
第四方面，本申请的实施例提供一种存储介质，所述存储介质包括计算机指令，当所述计算机指令在终端设备上运行时，使得终端设备执行如上述任一项所述的图像采集方法。
本申请实现方式提供的图像采集方法、设备、足式机器人及存储介质，可以在环境中自然光亮度较低时通过补光装置对环境补充红外光，并通过自然色图像与红外图像结合产生的结果深度图像，提高了在环境中自然光亮度低时，生成结果深度图像中的准确性。通过对结果深度图像各点位深度值的分析，可以确定各点位对应的特征与图像采集设备之间的距离，提高了对图像采集设备与各特征之间距离检测的准确性。
附图说明
图1是本申请实施例中足式机器人的系统示意图。
图2是本申请实施例中足式机器人的结构示意图。
图3是本申请实施例中图像采集设备的系统示意图。
图4是本申请实施例中图像采集方法的流程图。
图5是本申请实施例中图像采集方法的另一流程图。
图6是本申请实施例中图像采集方法的另一流程图。
图7是本申请实施例中图像采集方法的另一流程图。
图8是本申请实施例中图像采集方法的另一流程图。
主要元件符号说明
足式机器人 100
机械单元 101
驱动板 1011
电机 1012
机械结构 1013
机身主体 1014
腿部 1015
足部 1016
头部结构 1017
尾巴结构 1018
载物结构 1019
鞍座结构 1020
通讯单元 102
传感单元 103
接口单元 104
存储单元 105
显示单元 106
显示面板 1061
输入单元 107
触控面板 1071
输入设备 1072
触摸检测装置 1073
触摸控制器 1074
控制模块 110
电源 111
图像采集设备 200
第一摄像头 10
第二摄像头 20
补光装置 30
存储器 40
处理器 50
温度检测装置 60
具体实施方式
下面将结合本申请实现方式中的附图，对本申请实现方式中的技术方案进行清楚、完整地描述，显然，所描述的实现方式仅是本申请一部分实现方式，而不是全部的实现方式。
在后续的描述中，使用用于表示部件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
请参阅图1，图1为本发明其中一个实施方式的足式机器人100的硬件结构示意图。在图1所示的实施方式中，足式机器人100可以包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、控制模块110、显示单元106、输入单元107、电源111。足式机器人100的各种部件可以以任何方式连接，包括有线或无线连接等。本领域技术人员可以理解，图1中示出的足式机器人100的具体结构并不构成对足式机器人100的限定，足式机器人100可以包括比图示更多或更少的部件，某些部件也并不属于足式机器人100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者组合某些部件。
请一并参阅图2，下面结合图2对足式机器人100的各个部件进行具体的介绍：
机械单元101为足式机器人100的硬件。如图1所示，机械单元101可包括驱动板1011、电机1012、机械结构1013，如图2所示，机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016，在其他实施方式中，机械结构1013还可包括可伸展的机械臂(图未示)、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020等。需要说明的是，机械单元101的各个部件模块可以为一个也可以为多个，可根据具体情况设置，比如腿部1015可为4个，每个腿部1015可配置3个电机1012，对应的电机1012为12个。
通讯单元102可用于信号的接收和发送，还可以通过与网络和其他设备通信，比如，接收遥控器或其他足式机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后，传输给控制模块110处理。通讯单元102可以包括如WiFi模块、4G模块、5G模块、蓝牙模块、红外模块等。
传感单元103用于获取足式机器人100周围环境的信息数据以及监控足式机器人100内部各部件的参数数据，并发送给控制模块110。传感单元103可以包括多种传感器，如获取周围环境信息的传感器：激光雷达(用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达(用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星系统(GNSS，Global Navigation Satellite System)等。如监控足式机器人100内部各部件的传感器：惯性测量单元(IMU，Inertial Measurement Unit)(用于测量速度值、加速度值和角速度值的值)，足底传感器(用于监测足底着力点位置、足底姿态、触地力大小和方向)、温度传感器(用于检测部件温度)。至于足式机器人100还可配置的载荷传感器、触摸传感器、电机角度传感器、扭矩传感器等其他传感器，在此不再赘述。
接口单元104可以用于接收来自外部装置的输入(例如，数据信息、电力等)并且将接收到的输入传输到足式机器人100内的一个或多个部件，或者可以用于向外部装置输出(例如，数据信息、电力等)。接口单元104可包括电源端口、数据端口(如USB端口)、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口等。
存储单元105用于存储软件程序以及各种数据。存储单元105可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统程序、运动控制程序、应用程序(比如文本编辑器)等；数据存储区可存储足式机器人100在使用中所生成的数据(比如传感单元103获取的各种传感数据，日志文件数据)等。此外，存储单元105可以包括高速随机存取存储器，还可以包括非易失性存储器，例如磁盘存储器、闪存器、或其他易失性固态存储器。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
输入单元107可用于接收输入的数字或字符信息。具体地，输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户的触摸操作(比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程序驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074。其中，触摸检测装置1073检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器1074；触摸控制器1074从触摸检测装置1073上接收触摸信息，并将它转换成触点坐标，再送给控制模块110，并能接收控制模块110发来的命令并加以执行。除了触控面板1071，输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种，具体此处不做限定。
进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给控制模块110以确定触摸事件的类型，随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现输入和输出功能，具体此处不做限定。
控制模块110是足式机器人100的控制中心，利用各种接口和线路连接整个足式机器人100的各个部件，通过运行或执行存储在存储单元105内的软件程序，以及调用存储在存储单元105内的数据，从而对足式机器人100进行整体控制。
电源111用于给各个部件供电，电源111可包括电池和电源控制板，电源控制板用于控制电池充电、放电、以及功耗管理等功能。在图1所示的实施方式中，电源111电连接控制模块110，在其它的实施方式中，电源111还可以分别与传感单元103(比如摄像头、雷达、音箱等)、电机1012电性连接。需要说明的是，各个部件可以各自连接到不同的电源111，或者由相同的电源111供电。
在上述实施方式的基础上，具体地，在一些实施方式中，可以通过终端设备来与足式机器人100进行通信连接，在终端设备与足式机器人100进行通信时，可以通过终端设备来向足式机器人100发送指令信息，足式机器人100可通过通讯单元102来接收指令信息，并可在接收到指令信息的情况下，将指令信息传输至控制模块110，使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于：具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。
指令信息可以根据预设条件来确定。在一个实施方式中，足式机器人100可以包括传感单元103，传感单元103可根据足式机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断足式机器人100的当前速度值是否满足对应的预设条件。若满足，则会保持足式机器人100的当前速度值和当前步态移动；若不满足，则会根据对应的预设条件来确定目标速度值和相应的目标步态，从而可控制足式机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信，也可以为无线通信。无线通信的方式包括但不限于：无线网络、移动通信网络(3G、4G、5G等)、蓝牙、红外。
请参阅图1-图3，一些实施例中，足式机器人100还可以包括图像采集设备200，图像采集设备200可以固定安装在机械单元101上，图像采集设备200可以对足式机器人100所处环境采集图像，并根据采集的图像生成结果深度图像。结果深度图像可以用于确定图像采集设备200与任意物体之间的间隔距离，即通过结果深度图像可以确定足式机器人100与所处环境中任意物体之间的间隔距离。
可以理解，图像采集设备200可以与电源111电连接，电源111为图像采集设备200供电。
可以理解，图像采集设备200可以固定安装在机身主体1014、腿部1015、足部1016、机械臂(图未示)、头部结构1017、尾巴结构1018、载物结构1019或鞍座结构1020上，本申请的实施例对此不作限定。
可以理解，图像采集设备200与机械单元101固定的具体方式，可以是但不局限于螺钉固定、焊接固定等。
本实施例中，图像采集设备200可以包括第一摄像头10、第二摄像头20、补光装置30、存储器40和处理器50。第一摄像头10、第二摄像头20均为可以获取彩色图像和红外图像的摄像。补光装置30用于对第一摄像头10和第二摄像头20所在的环境补充红外光，即补光装置30用于对图像采集设备200、足式机器人100所在环境补充红外光。
处理器50可以是通用中央处理器(CPU)、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)、或一个或多个用于控制以上方案程序执行的集成电路。
存储器40可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可以理解，存储器40可以是独立存在，也可以是处理器50集成在一起，本申请的实施例对此不作限定。
可以理解，存储器40与存储单元105可以分别设置，也可以由存储单元105作为图像采集设备200中的存储器40，本申请的实施例对此不作限定。
可以理解，处理器50与控制模块110可以分别设置，也可以由控制模块110作为图像采集设备200中的处理器50，本申请的实施例对此不作限定。
本实施例中，第一摄像头10、第二摄像头20及补光装置30均与处理器50通信连接。处理器50可以控制第一摄像头10采集第一图像，可以控制第二摄像头20采集第二图像。其中，第一图像可以包括第一自然色图像和第一红外图像，第二图像可以包括第二自然色图像和第二红外图像。处理器50可以控制补光装置30工作或停止工作，以对所在环境补充红外光或停止补充红外光。
可以理解，通信连接可以是通过无线网络实现的无线通信连接，也可以是通过数据线或电线连接实现的有线通信连接，本申请的实施例对此不作限定。
本实施例中，存储器40与处理器50通信连接，存储器40用于存储计算机程序，处理器50用于执行存储器40存储的计算机程序，以执行图像采集方法。
本实施例中，第一摄像头10和第二摄像头20可以均为RGBIR摄像头，第一摄像头10、第二摄像头20的镜头可以是日夜共焦的镜头；镜头的滤光片可以是自然可见光波段和红外光波段双带通的滤光片，从而使第一摄像头10、第二摄像头20可以采集并输出RGB图像即自然光图像和红外图像。
可以理解，相关技术中，可以通过两个IR摄像头和一个RGB摄像头形成一个三目摄像设备。两个IR摄像头采集两个红外图像，并通过采集的红外图像改成深度图。RGB摄像头采集自然色图像。由于RGB摄像头与IR摄像头的位置存在差异，因此同一特征在深度图和自然色图像中的位置不一致。在确定一特征与三目摄像设备之间的距离时，需要对深度图和自然色图像进行对齐，以调整特征在深度图中的位置，使特征在深度图中的位置与在自然色图像中的位置相同。
而本申请的实施例中提出的图像采集设备200，为包括第一摄像头10和第二摄像头20的双目摄像头设备，减少了图像采集设备200的体积，降低了硬件成本、人力成本和软件系统设计的复杂性。第一摄像头10可以采集第一自然色图像和第一红外图像，第二摄像头20可以采集第二自然色图像和第二红外图像。根据第一摄像头10和第二摄像头20的视差，结合第一自然色图像、第一红外图像、第二自然色图像和第二红外图像，可以生成结果深度图像。结果深度图像生成时，可以依照特征在第一自然色图像或第二自然色图像中的位置，确定特征在结果深度图像中的位置。通过本申请的实施例提出的图像采集设备200，通过结果深度图像和第一自然色图像或第二自然色图像，即可在结果深度图像中确定在第一自然色图像或第二自然色图像中的某一特征与图像采集设备200之间的距离。
可以理解，第一摄像头10对第一图像的采集和输出，与第二摄像头20对第二图像的采集和输出互不干涉。
本申请的实施例中，处理器50生成结果深度图像后，可以输出结果深度图像，同时还可以输出第一自然色图像和/或第二自然色图像，操作人员可以根据结果深度图像及第一自然色图像和/或第二自然色图像，确定环境中多个特征与图像采集设备200或足式机器人100的间隔距离。
一些实施例中，图像采集设备200还可以包括温度检测装置60，温度检测装置60用于检测第一摄像头10和/或第二摄像头20的温度。温度检测装置60与处理器50通信连接，温度检测装置60可以根据检测的温度生成温度信息，并输出温度信息给处理器50。处理器50对温度信息进行分析，可以确定第一摄像头10和/或第二摄像头20的温度，并根据确定的温度调节补光装置30的补光功率。
可以理解，温度检测装置60可以是具有将温度信号转化为电信号的电子装置，可以是但不局限于温度传感器。
可以理解，温度检测装置60可以设置有一个或多个，本申请的实施例对此不作限定。当温度检测装置60设置有一个时，温度检测装置60可以安装在第一摄像头10或第二摄像头20上；当温度检测装置60设置有多个时，多个温度检测装置60可以分别安装在第一摄像头10或第二摄像头20上。
可以理解，补光装置30工作时产生热量，热量可以传递到第一摄像头10和第二摄像头20处，从而导致第一摄像头10、第二摄像头20温度上升，易导致第一摄像头10、第二摄像头20因高温而故障。温度检测装置60可以检测第一摄像头10或第二摄像头20的温度，当处理器50根据温度信息确定第一摄像头10或第二摄像头20的温度过高，而易引起第一摄像头10、第二摄像头20故障时，处理器50可以降低补光装置30的补光功率，从而减少补光装置30产生的热量，降低第一摄像头10、第二摄像头20的温度，减少第一摄像头10、第二摄像头20因高温而发生故障的情况。
请参阅图4，本申请的实施例中，图像采集方法可以包括以下步骤：
步骤S41：获取第一图像和第二图像。
可以理解，第一摄像头10可以采集第一自然色图像和第一红外图像，第二摄像头20可以采集第二自然色图像和第二红外图像，处理器50可以同时获取第一自然色图像、第一红外图像、第二自然色图像和第二红外图像，并对第一自然色图像、第一红外图像、第二自然色图像和第二红外图像分别进行分析处理。
步骤S42：确定补光装置30是否工作，若补光装置30未工作，则进入步骤S43；若补光装置30工作，则进入步骤S45。
可以理解，图像采集方法运行时，补光装置30可能处于工作或未工作状态，即图像采集设备200所处环境可能处于未补充红外光或已补充红外光的状态。对于两种情况，需要区别处理。
步骤S43：确定第一图像或第二图像是否满足预设的补光工作条件，若满足补光工作条件则进入步骤S44；若不满足补光工作条件则进入步骤S48。
可以理解，处理器50可以根据分析第一图像或第二图像，得出第一图像或第二图像的亮度，从而确定图像采集设备200所处环境的自然光亮度是否充足。当第一图像或第二图像满足补光工作条件时，即当前环境自然光亮度不足。
本实施例中，第一摄像头10、第二摄像头20所在的环境相同，因此可以仅通过第一图像、第二图像之一的亮度确定图像采集设备200所处环境的自然光是否充足，即仅确定第一图像、第二图像之一是否满足补光工作条件即可。
一些实施例中，补光工作条件可以包括：自然色亮度小于第一自然色亮度阈值，且自动曝光时间大于或等于第一时间阈值，且增益大于或等于第一增益阈值。其中，自然色亮度对应于第一自然色图像或第二自然色图像的亮度，自动曝光时间对应于采集第一自然色图像或采集第二自然色图像时的自动曝光时间，增益对应于第一摄像头10或第二摄像头20对第一自然色图像或第二自然色图像进行信号放大处理时的放大倍数。
可以理解，第一自然色图像的亮度与图像采集设备200所处环境的自然光亮度及第一摄像头10的曝光时间、增益相关，第二自然色图像的亮度均与图像采集设备200所处环境的自然光亮度及第一摄像头10的曝光时间、增益相关。
可以理解，当第一摄像头10或第二摄像头20拍摄第一图像或第二图像时，第一摄像头10或第二摄像头20可以自动识别所采集的第一图像或第二图像的亮度，并根据识别的亮度自动调整下一次采集图像时的自动曝光时间和增益，以使下一次采集图像时第一图像或第二图像的亮度可以达更接近预设的目标亮度值。其中，目标亮度值可以对应于深度计算算法性能表现最佳时的亮度。当第一图像的亮度或第二图像的亮度达到目标亮度值时，结果深度图像的准确性可以达到最高。
可以理解，深度计算算法可以用于计算各个特征的深度，并根据计算结果生成结果深度图像。
可以理解，目标亮度值可以是可调的。深度计算算法可以根据性能，即根据生成的结果深度图像的准确性，对目标亮度值进行自动调节。
本实施例中，当第一摄像头10对第一图像识别的亮度较低时，第一摄像头10将增加下一次采集第一图像时的自动曝光时间和/或增益。当第一摄像头10对第一图像识别的亮度较高时，第一摄像头10将降低下一次采集第一图像时的自动曝光时间和/或增益。当第一摄像头10对第一图像识别的亮度接近于目标亮度值时，第一摄像头10可以维持下一次采集第一图像时的自动曝光时间和增益。
当第二摄像头20对第二图像识别的亮度较低时，第二摄像头20将增加下一次采集第二图像时的自动曝光时间和/或增益。当第二摄像头20对第二图像识别的亮度较高时，第二摄像头20将降低下一次采集第二图像时的自动曝光时间和/或增益。当第二摄像头20对第二图像识别的亮度接近于目标亮度值时，第二摄像头20可以维持下一次采集第二图像时的自动曝光时间和增益。
可以理解，当第一图像和第二图像的亮度相对于目标亮度值的差异较小时，可以仅对自动曝光时间和增益之一进行调节，从而对第一图像和第二图像的亮度进行小幅度调整。当第一图像和第二图像的亮度相对于目标亮度值的差异较大时，可以对自动曝光时间和增益均进行调节，从而对第一图像和第二图像的亮度进行大幅度调整。
举例说明，当图像采集设备200所处环境的亮度由于时间推移而出现变化时，第一图像和第二图像的亮度发生变化，此时第一图像和第二图像的亮度与目标亮度值的差距变大，但差距值较小。第一摄像头10和第二摄像头20可以仅对增益或自动曝光时间进行调节，以对第一图像和第二图像的亮度进行小幅度调整。
可以理解，在第一摄像头10和第二摄像头20采集一次第一图像和第二图像时，处理器50可以从第一摄像头10和第二摄像头20获取自动曝光时间和增益，以进行是否满足补光工作条件的确定；处理器50获取的自动曝光时间和增益对应于第一摄像头10、第二摄像头20当次所采集的第一图像和第二图像。
一些实施例中，第一摄像头10和第二摄像头20可以以相同的自动曝光时间和增益生成第一图像和第二图像。处理器在确定第一图像及第二图像亮度，从而确定是否需要对自动曝光时间和增益进行调整时，可以仅识别第一图像和第二图像之一的亮度，并根据第一图像和第二图像之一的亮度，同时对第一摄像头10和第二摄像头20的自动曝光时间和增益进行同步调整。
可以理解，以相同的自动曝光时间和增益生成亮度接近的第一图像和第二图像，并根据第一图像和第二图像生成结果深度图像，可以提高结果深度图像的准确性。
可以理解，第一时间阈值、第一增益阈值和第一自然色亮度阈值，可以是根据图像采集设备200的感光性能、补光强度及可进行深度测试的距离，经过操作人员测试后调节产生的，或经过应用于图像采集设备200的算法自动调节产生的。当第一摄像头10和第二摄像头20的自动曝光时间小于第一时间阈值，增益小于第一增益阈值，且自然色亮度大于或等于第一自然色亮度阈值时，处理器50可以生成准确的结果深度图像。
当自动曝光时间、增益已经分别大于或等于第一时间阈值、第一增益阈值时，若自然色亮度仍小于第一自然色亮度阈值，此时处理器50生成的结果深度图像准确性不足，即通过采集的第一自然色图像及第二自然色图像无法生成准确的结果深度图像。
一些实施例中，补光工作条件还可以包括：红外亮度小于第一红外亮度阈值。其中，红外亮度对应于第一红外图像或第二红外图像的亮度。
可以理解，第一红外图像的亮度与图像采集设备200所处环境的红外光亮度及第一摄像头10的曝光时间、增益相关。第二红外图像的亮度与图像采集设备200所处环境的红外光亮度及第二摄像头20的曝光时间、增益相关。
可以理解，当处理器50以第一自然色图像对应的自然色亮度、自动曝光时间和增益作为确定是否满足补光工作条件的依据，处理器50同时以第一红外图像的红外亮度作为确定是否满足补光工作条件的依据；当处理器50以第二自然色图像对应的自然色亮度、自动曝光时间和增益作为确定是否满足补光工作条件的依据，处理器50同时以第二红外图像的红外亮度作为确定是否满足补光工作条件的依据。
可以理解，第一红外亮度阈值可以是根据图像采集设备200的感光性能、补光强度及可进行深度测试的距离，经过操作人员测试后调节产生的，或经过应用于图像采集设备200的算法自动调节产生的。当第一摄像头10和第二摄像头20的自动曝光时间小于第一时间阈值，增益小于第一增益阈值，自然色亮度大于或等于第一自然色亮度阈值，且红外亮度大于或等于第一红外亮度阈值时，处理器50可以生成准确的结果深度图像。
可以理解，当自动曝光时间、增益已分别大于或等于第一时间阈值、第一增益阈值，红外亮度及自然色亮度仍分别小于第一红外亮度阈值和第一自然色亮度阈值时，此时处理器50生成的结果深度图像准确性不足，即通过采集的第一自然色图像、第一红外图像、第二自然色图像及第二红外图像无法生成准确的结果深度图像。
可以理解，处理器50确定第一图像或第二图像是否满足补光工作条件时，可以根据第一摄像头10或第二摄像头20对应的自然色亮度、红外亮度、自动曝光时间和增益作为确定依据，不需对第一摄像头10和第二摄像头20分别确定对应的自然色亮度、红外亮度和自动曝光时间和增益。
步骤S44：输出补光信号给补光装置30，以控制补光装置30对环境补充红外光，并进入步骤S48。
可以理解，当确定环境中自然光不足，或自然光、红外光均不足时，处理器50可以输出补光信号给补光装置30，控制补光装置30工作，以对环境补充红外光。如此，可以提高第一红外图像、第二红外图像的亮度，提高第一红外图像、第二红外图像的清晰度。当需要根据第一自然色图像、第一红外图像、第二自然色图像及第二红外图像生成结果深度图像时，由于第一红外图像、第二红外图像的清晰度的提高，可以提高结果深度图像的准确度。
步骤S45：确定第一图像或第二图像是否满足预设的停止补光条件；若满足停止补光条件则进入步骤S46；若不满足停止补光条件则进入步骤S47。
可以理解，处理器50可以根据分析第一图像或第二图像，得出第一图像或第二图像的亮度，从而确定图像采集设备200所处环境的自然光亮度是否充足。当第一图像或第二图像满足停止工作条件时，即当前环境自然光亮度充足，不需再补充红外光即可得到准确的结果深度图像。
一些实施例中，停止补光条件可以包括：自然色亮度大于或等于第二自然色亮度阈值，且自动曝光时间小于第二时间阈值，且增益小于第二增益阈值。其中，第二自然色亮度阈值大于第一自然色亮度阈值，第二时间阈值小于第一时间阈值，第二增益阈值小于第一增益阈值。
可以理解，第二时间阈值、第二增益阈值和第二自然色亮度阈值，可以是根据图像采集设备200的感光性能、补光强度及可进行深度测试的距离，经过操作人员测试后调节产生的，或经过应用于图像采集设备200的算法自动调节产生的。当第一摄像头10和第二摄像头20的自动曝光时间大于或等于第二时间阈值，增益大于或等于第二增益阈值，且自然色亮度小于第二自然色亮度阈值时，处理器50可以生成准确的结果深度图像。
当自动曝光时间、增益已经分别小于第二时间阈值、第二增益阈值时，若自然色亮度大于或等于第一自然色亮度阈值，可以确定在当前环境的自然光亮度下，仅根据采集的第一自然色图像及第二自然色图像，即可产生准确的结果深度图像，无需再考虑第一红外图像或第二红外图像。
一些实施例中，停止补光条件还可以包括：红外亮度大于或等于第二红外亮度阈值。其中，第二红外亮度阈值大于第一红外亮度阈值。
可以理解，当处理器50以第一自然色图像对应的自然色亮度、自动曝光时间和增益作为确定是否满足停止补光条件的依据，处理器50同时以第一红外图像的红外亮度作为确定是否满足停止补光条件的依据；当处理器50以第二自然色图像对应的自然色亮度、自动曝光时间和增益作为确定是否满足停止补光条件的依据，处理器50同时以第二红外图像的红外亮度作为确定是否满足停止补光条件的依据。
可以理解，第二红外亮度阈值可以是根据图像采集设备200的感光性能、补光强度及可进行深度测试的距离，经过操作人员测试后调节产生的，或经过应用于图像采集设备200的算法自动调节产生的。当第一摄像头10和第二摄像头20的自动曝光时间大于或等于第二时间阈值，增益大于或等于第二增益阈值，自然色亮度小于第二自然色亮度阈值，且红外亮度小于第二红外亮度阈值时，处理器50可以生成准确的结果深度图像。
可以理解，当自动曝光时间、增益已分别小于第二时间阈值、第二增益阈值，红外亮度及自然色亮度仍分别大于或等于第二红外亮度阈值和第二自然色亮度阈值，可以确定在当前环境的自然光亮度及红外光亮度下，不需通过补光装置30补充红外光，即可根据第一自然色图像、第一红外图像、第二自然色图像及第二红外图像生成准确的结果深度图像。
可以理解，处理器50确定第一图像或第二图像是否满足停止补光条件时，可以根据第一摄像头10或第二摄像头20对应的自然色亮度、红外亮度、自动曝光时间和增益作为确定依据，不需对第一摄像头10和第二摄像头20分别确定对应的自然色亮度、红外亮度和自动曝光时间和增益。
步骤S46：输出停止信号给补光装置30，以控制补光装置30停止补充红外光。
可以理解，当确定环境中自然光充足，或自然光、红外光均充足时，处理器50可以输出停止信号给补光装置30，控制补光装置30停止工作，以停止对环境补充红外光。如此，可以在维持第一自然色图像及第二自然色图像的亮度和清晰度，或维持第一自然色图像、第一红外图像、第二自然色图像和第二红外图像的亮度和清晰度的前提下，即确定结果深度图像的高准确度的前提下，减少能量损耗。
步骤S47：根据温度信息调节补光装置30的补光功率，并进入步骤S48。
可以理解，温度检测装置60检测第一摄像头10和/或第二摄像头20的温度，生成温度信息并输出给处理器50，处理器50可以根据温度信息确定检测的温度数值，并对补光装置30的补光功率进行调整，以在检测的温度数值较高时降低补光功率，减少补光装置30的发热，降低第一摄像头10和第二摄像头20的温度。
请参阅图5，一些实施例中，根据温度信息调节补光装置30的补光功率的方法可以包括以下步骤：
步骤S51：获取温度信息。
可以理解，温度检测装置60实时对第一摄像头10和/或第二摄像头20的温度进行检测，处理器50可以在工作过程中实时获取温度检测装置60生成的温度信息。
步骤S52：确定温度信息是否满足温度条件，若温度信息满足温度条件，则进入步骤S53；若温度信息不满足温度信息，则进入步骤S48。
一些实施例中，实施例中，温度条件可以是温度信息所对应的温度是否大于预设的温度阈值，温度阈值可以是第一摄像头10或第二摄像头20正常运行时的额定最高温度，当第一摄像头10或第二摄像头20温度大于温度阈值时，第一摄像头10或第二摄像头20存在故障风险。
举例说明，温度条件可以是温度大于或等于70度。当处理器50根据分析温度信息，确定第一摄像头10或第二摄像头20的温度为80度时，温度信息满足温度条件；当处理器50根据分析温度信息确定第一摄像头10或第二摄像头20温度为30度时，温度信息不满足温度条件。
步骤S53：输出控温信号给补光装置30，以调节补光功率。
可以理解，处理器50确定温度信息满足温度条件时，可以输出控温信号给补光装置30，以降低补光装置30的补光功率，从而减少补光装置30的发热。
可以理解，处理器50可以通过改变对补光装置30的输出电流，从而调节补光功率。
可以理解，处理器50降低补光功率时，对补光功率降低的差值可以是预设的，也可以是处理器50在确定第一摄像头10或第二摄像头20温度后实时计算的，本申请的实施例对此不作限定。
一些实施例中，当处理器50根据实时计算的结果调节补光功率时，可以根据当前温度信息对应的温度超出温度阈值的数值，确定对补光功率调节的数值。
可以理解，补光功率与温度信息对应的温度为正相关关系，当温度信息对应的温度超出温度阈值较少时，需要降低的补光功率数值相对较少；当温度信息对应的温度超出温度阈值较多时，需降低的补光功率数值相对较多。当温度信息对应的温度远高于温度阈值时，处理器50可以将补光功率调节至0，即停止补光装置30的工作。
步骤S48：根据第一图像和第二图像生成结果深度图像。
可以理解，结果深度图像中包括多个特征，多个特征的颜色深浅对应于多个特征与图像采集设备200的实际间距。
本实施例中，处理器50可以结合分析第一自然色图像、第一红外图像、第二自然色图像和第二红外图像，通过分析第一自然色图像、第一红外图像、第二自然色图像和第二红外图像中各个特征的色彩、亮度等因素，从而确定各个特征与图像采集设备200的实际间距，并生成结果深度图像。
请参阅图6，一些实施例中，根据第一图像和第二图像生成结果深度图像的方法可以包括以下步骤：
步骤S61：根据第一自然色图像和第二自然色图像生成自然色深度图像。
可以理解，第一摄像头10和第二摄像头20之间的相对位置关系的确定的，当生成自然色深度图像时，处理器50可以分析第一自然色图像中的特征、第二自然色图像中的特征，同时处理器50可以根据第一摄像头10和第二摄像头20之间的相对位置关系，计算得出第一摄像头10和第二摄像头20之间的视差。处理器50结合第一自然色图像、第二自然色图像和视差，可以将第一自然色图像中的特征和第二自然色图像中的特征一一对应，并确定多个特征与图像采集设备200之间的间隔距离。处理器50可以根据得出的多个特征与图像采集设备200之间的间隔距离，生成自然色深度图像。
步骤S62：根据第一红外图像和第二红外图像生成红外深度图像。
可以理解，处理器50结合第一红外图像、第二红外图像和视差，可以将第一红外图像中的特征和第二红外图像中的特征一一对应，并确定多个特征与图像采集设备200之间的间隔距离。处理器50可以根据得出的多个特征与图像采集设备200之间的间隔距离，生成红外深度图像。
步骤S63：根据自然色深度图像和红外深度图像生成结果深度图像。
可以理解，一些场景中，自然光存在不足，导致第一自然色图像、第二自然色图像的亮度、清晰度不足，产生的自然色深度图像中各处的深度存在准确度低的情况。因此，可以在对环境补充红外光时，采集清晰度和亮度较高的第一红外图像和第二红外图像，并根据第一红外图像和第二红外图像生成红外深度图像。处理器50可以通过红外深度图像配合自然色深度图像，生成准确度更高的结果深度图像。
请参阅图7，一些实施例中，根据自然色深度图像和红外深度图像生成结果深度图像的方法可以包括以下步骤：
步骤S71：根据自然色亮度，为自然色深度图像和红外深度图像分配权重。
可以理解，由于在步骤S43中可以根据自然色亮度确定第一图像或第二图像是否满足补光工作条件，因此步骤S71运行时自然色亮度是已知的。自然色亮度可以是第一自然色图像或第二自然色图中任一的亮度。
本实施例中，当自然色亮度高时，可以确定当前自然色深度图像的准确度高，可以给自然色深度图像分配高权重，给红外深度图像分配低权重。当自然色亮度低时，可以确定当前自然色深度图像的准确度低，且补光装置30已对环境补充红外光，因此红外深度图像准确度可以高于自然色深度图像的准确度。因此可以给自然色深度图像分配低权重，给红外深度图像分配高权重。
举例说明，在白天时，室内存在高亮度的自然光，当前室内环境不满足补光条件，而室内仅存在低亮度的红外光。在此室内环境下采集第一图像和第二图像，并生成自然色深度图像和红外深度图像后，由于当前环境红外光亮度低，导致第一红外图像、第二红外图像的亮度低，红外深度图像的准确性下降。此时，为了提高结果深度图像的准确性，可以对自然色深度图像分配高权重、给红外深度图像分配低权重，或不考虑红外深度图像，以自然深度图像直接作为接过深度图像。
一种实现方式中，处理器50可以是根据自然色亮度实时计算，以确定分配的权重。另一种实现方式中，存储器40中可以存储有权重数据库，权重数据库中记载有不同的自然色亮度，及不同的自然色亮度所对应的分配给自然色深度图像、红外深度图像的权重。处理器50可以根据在确定自然色亮度后，调取权重数据库以确定需要分配给自然色深度图像和红外深度图像的权重分别是多少。
一些实施例中，步骤S71运行时，处理器50可以确定是否自然色亮度大于或等于第二自然色亮度阈值，且自然色亮度与目标亮度值差异较小，即第一自然色图像、第二自然色图像不过曝，若自然色亮度高于第二自然色亮度阈值且自然色亮度与目标亮度值差异较小，处理器50为自然色深度图像分配的权重为100％，为红外深度图像分配的权重为0。
可以理解，在运行步骤S71时，处理器50可以执行确定自然色亮度是否高于第二自然色亮度阈值的流程，也可以通过步骤S45中直接获取确定结果，本申请的实施例对此不作限定。
步骤S72：根据自然色深度图像、红外深度图像以及权重，生成结果深度图像。
可以理解，自然色深度图像、红外深度图像及结果深度图像中，均包括相同的多个点位。自然色深度图像中的点位、红外深度图像中的点位及结果深度图像中的点位一一对应。点位可以对应于第一自然色图像、第二自然色图像、第一红外图像和第二红外图像中的特征，或特征上的一个或多个特征点。
处理器50识别自然色深度图像可以确定多个点位在自然色深度图像中的深度值，识别红外深度图像可以确定多个点位在自然色深度图像中的深度值，根据权重可以按比例计算多个点位在自然色深度图像中的深度值及在红外深度图像中的深度值，从而得出多个点位的结果深度值。其中，结果深度值为点位在结果深度图像中的深度值。
举例说明，当分配给自然色深度图像的权重为70％，分配给红外深度图像的权重为30％时，若一点位在自然色深度图像中深度值为10，在红外深度图像中深度值为9，则该点位的结果深度值可以为10*0.7+9*0.3＝9.7。
可以理解，处理器50在计算出各个点位的结果深度值后，结合多个点位和对应的结果深度值，处理器50可以生成结果深度图像。
可以理解，处理器50可以输出结果深度图像给其他设备，用户可以通过其他设备查看结果深度图像，并对结果深度图像做进一步分析。例如，处理器50可以与显示单元106通信连接，并将结果深度图像输出给显示单元106，显示单元106可以显示结果深度图像。又例如，处理器50可以输出结果深度图像给用户终端，操作人员可以通过用户终端查看结果深度图像；还可以通过分析结果深度图像，确定结果深度图像中各点位对应的特征距离图像采集设备200的实际距离。用户终端为具有数据分析功能、信号传输功能和人机交互功能的电子设备，用户终端可以是但不局限于个人电脑、工业电脑、智能手机、平板电脑等。
请参阅图8，另一些实施例中，根据自然色深度图像和红外深度图像生成结果深度图像的方法可以包括以下步骤：
步骤S81：确定自然色深度图像或红外深度图像中各点位深度值的置信度。
可以理解，在进行步骤S81时，可以以自然色深度图像、红外深度图像之一作为执行对象，即仅对自然色深度图像或红外深度图像之一进行各点位深度值置信度的确定即可。
可以理解，各点位深度值的置信度，可以是根据该点位在自然色深度图像或红外深度图像中，点位附近特征的数量、点位附近区域内的深度连续性、自然色亮度、红外亮度、生成自然色深度图像或红外深度图像时的匹配代价及噪声等因素，由应用于图像采集设备200的算法进行综合评估后确定的。点位附近特征数量多，点位附近区域内深度连续性高，自然色亮度和红外亮度与目标亮度值之间的差距小，匹配代价低和噪声低等情况，可以提高点位深度值的置信度。
步骤S82：确定各点位对应的置信度是否小于预设的置信度阈值，若置信度小于置信度阈值则进入步骤S83；若置信度大于或等于置信度阈值则进入步骤S84。
可以理解，置信度阈值可以是在图像采集方法运行前人为预设的置信度阈值。当置信度小于置信度阈值时，可以确定置信度对应的点位的深度值置信度低，需要结合自然色深度图像和红外深度图像中该点位的深度值进行结合计算，方可得出该点位的结果深度值。
步骤S83：确定点位为不可信点位，并结合自然色深度图像和红外深度图像中不可信点位的深度值，计算不可信点位的结果深度值，并进入步骤S85。
可以理解，在自然色深度图像或红外深度图像中，若确定存在不可信点位，则需要结合自然色深度图像或红外深度图像中该点位的深度值进行计算，方可得出该点位较为准确的深度值，并以计算得出的深度值作为该点位的结果深度值。
一种实现方式中，计算不可信点位的结果深度值时，可以是以预设的权重比例计算该不可信点位在自然色深度图像和所述红外深度图像中的深度值得出的。例如计算不可信点位的结果深度值时，对自然色深度图像和红外深度图像预设的权重比例可以是1:1，即结果深度值可以是该点位在自然色深度图像中深度值的一半，与该点位在红外深度图像中深度值的一半之和。
另一种实现方式中，计算不可信点位的结果深度值时，可以执行步骤S71，从而根据自然色亮度，为自然色深度图像和红外深度图像分配权重，并根据不可信点位在自然色深度图像和红外深度图像中的深度值，以及分配的权重，计算出不可信点位的结果深度值。
举例说明，执行步骤S71时，处理器50可以确定各个点位对应的置信度是否低于预设的置信度阈值。若确定自然色深度图像中一点位的置信度低于置信度阈值，则可以在自然色深度图像中对该点位分配0权重，在红外深度图像对该点位分配100％权重，即在确定结果深度图像中该点位的位置时，不考虑该点位在自然色深度图像中的深度值。若确定红外深度图像中一点位的置信度低于置信度阈值，则可以在红外深度图像中对该点位分配0权重，在自然色深度图像对该点位分配100％权重，即在确定结果深度图像中该点位的位置时，不考虑该点位在红外深度图像中的深度值。
步骤S84：确定自然色深度图像或红外深度图像中点位的深度值为结果深度值，并进入步骤S85。
可以理解，当点位对应的深度值置信度高于置信度阈值时，即该点位在自然色深度图像或红外深度图像中的深度值准确度高，可以直接以该点位在自然色深度图像或红外深度图像中的深度值作为结果深度值，而不需要结合该点位在自然色深度图像和红外深度图像中的深度值进行计算，减少了运算量。
可以理解，若步骤S81确定的是自然色深度图像中各点位的置信度，则步骤S84确定自然色深度图像中置信度高的深度值作为结果深度值；若步骤S81确定的是红外深度图像中各点位的置信度，则步骤S84确定红外深度图像中置信度高的深度值作为结果深度值。
步骤S85：根据各点位的结果深度值生成结果深度图像。
可以理解，处理器50在计算出各个点位的结果深度值后，结合多个点位和对应的结果深度值，处理器50可以生成结果深度图像。
基于同一构思，本申请实施例还提供一种存储介质，所述存储介质包括计算机指令，当计算机指令在图像采集设备200上运行时，使得图像采集设备200执行本申请实施例提供的图像采集方法。
本申请的实施例提出的足式机器人100、图像采集方法和存储介质，可以通过第一自然色图像、第二自然色图像生成自然色深度图像，通过第一红外图像、第二红外图像生成红外深度图像，再结合自然色深度图像和红外深度图像生成各点位深度值准确度高的结果深度图像。
当环境中自然色亮度低时，补光装置30可以补充红外光，提高第一红外图像、第二红外图像的亮度和清晰度，从而提高红外深度图像的准确度，再以红外深度图像、自然色深度图像结合生成结果深度图像，提高了在环境中自然光亮度低时结果深度图像中各点位深度值的准确性。通过对结果深度图像各点位深度值的分析，可以确定各点位对应的特征与图像采集设备200之间的距离，由此，也提高了对图像采集设备200与各特征之间距离检测的准确性。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将本申请上述的实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。

Claims (10)

1.一种图像采集方法，应用于图像采集设备，所述图像采集设备包括第一摄像头、第二摄像头和补光装置，所述图像采集设备用于采集图像并生成结果深度图像，其特征在于，所述图像采集方法包括：
获取所述第一摄像头采集的第一图像和所述第二摄像头采集的第二图像，其中，所述第一图像包括第一自然色图像和第一红外图像，所述第二图像包括第二自然色图像和第二红外图像；
确定所述第一图像或所述第二图像是否满足预设的补光工作条件；
若所述第一图像或所述第二图像满足所述补光工作条件，则输出补光信号以控制所述补光装置对环境补充红外光；
根据所述第一图像和所述第二图像生成所述结果深度图像；
其中，所述根据所述第一图像和所述第二图像生成所述结果深度图像包括：根据所述第一自然色图像和所述第二自然色图像生成自然色深度图像；根据所述第一红外图像和所述第二红外图像生成红外深度图像；根据所述自然色深度图像和所述红外深度图像生成所述结果深度图像；
所述根据所述自然色深度图像和所述红外深度图像生成所述结果深度图像包括：确定所述自然色深度图像或所述红外深度图像中各点位深度值的置信度，所述自然色深度图像中的各所述点位、所述红外深度图像中的各所述点位及所述结果深度图像中的各所述点位一一对应；确定所述置信度是否小于置信度阈值；若所述置信度小于所述置信度阈值，则确定所述点位为不可信点位，并结合所述自然色深度图像和所述红外深度图像中所述不可信点位的深度值，计算所述不可信点位的结果深度值；若所述置信度大于或等于所述置信度阈值，则确定所述自然色深度图像或所述红外深度图像中所述点位的深度值为所述点位的所述结果深度值；根据各所述点位的所述结果深度值生成所述结果深度图像；其中所述点位附近特征数量及所述点位附近区域内深度连续性均与所述点位深度值的所述置信度正相关；生成所述自然色深度图像或所述红外深度图像时的匹配代价和噪声与所述点位深度值的所述置信度负相关。
2.如权利要求1所述的图像采集方法，其特征在于，所述补光工作条件包括：
自然色亮度小于第一自然色亮度阈值，其中，所述自然色亮度对应于所述第一自然色图像或所述第二自然色图像的亮度；且
自动曝光时间大于或等于第一时间阈值，其中，所述自动曝光时间对应于采集所述第一自然色图像或所述第二自然色图像时的自动曝光时间；且
增益大于或等于第一增益阈值，其中，所述增益对应于所述图像采集设备对所述第一自然色图像或所述第二自然色图像进行信号放大处理时的放大倍数。
3.如权利要求2所述的图像采集方法，其特征在于，所述图像采集方法还包括：
确定所述第一图像或所述第二图像是否满足预设的停止补光条件；
若所述第一图像或所述第二图像满足所述停止补光条件，则输出停止信号以控制所述补光装置停止补充红外光；
其中，所述停止补光条件包括：
所述自然色亮度大于或等于第二自然色亮度阈值，所述第二自然色亮度阈值大于所述第一自然色亮度阈值；且
所述自动曝光时间小于第二时间阈值，所述第二时间阈值小于所述第一时间阈值；且
所述增益小于第二增益阈值，所述第二增益阈值小于所述第一增益阈值。
4.如权利要求3所述的图像采集方法，其特征在于，所述补光工作条件还包括：
红外亮度小于第一红外亮度阈值，其中，所述红外亮度对应于所述第一红外图像或所述第二红外图像的亮度。
5.如权利要求4所述的图像采集方法，其特征在于，所述停止补光条件还包括：
所述红外亮度大于或等于第二红外亮度阈值，所述第二红外亮度阈值大于所述第一红外亮度阈值。
6.如权利要求1所述的图像采集方法，其特征在于，所述图像采集方法还包括：
获取温度信息，其中，所述温度信息与所述图像采集设备的温度对应；
确定所述温度信息是否满足温度条件；
若所述温度信息满足所述温度条件，则输出控温信号以调节补光功率。
7.如权利要求1所述的图像采集方法，其特征在于，所述根据所述自然色深度图像和所述红外深度图像生成所述结果深度图像包括：
根据自然色亮度为所述自然色深度图像和所述红外深度图像分配权重，当所述自然色亮度提高时，所述自然色深度图像的所述权重增大，所述红外深度图像的所述权重降低，其中，所述自然色亮度对应于所述第一自然色图像或所述第二自然色图像的亮度；
根据所述自然色深度图像、所述红外深度图像以及所述权重生成所述结果深度图像。
8.一种图像采集设备，其特征在于，包括：
第一摄像头，用于采集第一图像，其中，所述第一图像包括第一自然色图像和第一红外图像；
第二摄像头，用于采集第二图像，其中，所述第二图像包括第二自然色图像和第二红外图像：
补光装置，用于对所述第一摄像头和所述第二摄像头所在环境补充红外光；
存储器，用于存储计算机程序；
处理器，用于执行所述存储器存储的所述计算机程序，当所述计算机程序被执行时，所述处理器用于执行如权利要求1至7中任一项所述的图像采集方法。
9.一种足式机器人，其特征在于，包括：
机械单元；
如权利要求8所述的图像采集设备，安装于所述机械单元，所述图像采集设备用于采集图像并生成结果深度图像。
10.一种存储介质，其特征在于，所述存储介质包括计算机指令，当所述计算机指令在终端设备上运行时，使得终端设备执行如权利要求1至7中任一项所述的图像采集方法。
CN202210368666.7A 2022-04-08 2022-04-08 图像采集方法、设备、足式机器人及存储介质 Active CN114745509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210368666.7A CN114745509B (zh) 2022-04-08 2022-04-08 图像采集方法、设备、足式机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210368666.7A CN114745509B (zh) 2022-04-08 2022-04-08 图像采集方法、设备、足式机器人及存储介质

Publications (2)

Publication Number Publication Date
CN114745509A CN114745509A (zh) 2022-07-12
CN114745509B true CN114745509B (zh) 2024-06-07

Family

ID=82279900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210368666.7A Active CN114745509B (zh) 2022-04-08 2022-04-08 图像采集方法、设备、足式机器人及存储介质

Country Status (1)

Country Link
CN (1) CN114745509B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015510259A (ja) * 2013-01-10 2015-04-02 ソフトキネティック センサー エヌブイ カラー不可視光センサ、例えば、ｉｒセンサ、すなわち、マルチスペクトルセンサ
CN105388687A (zh) * 2014-08-29 2016-03-09 晶睿通讯股份有限公司 摄影机及其控制方法
WO2017108413A1 (en) * 2015-12-21 2017-06-29 Koninklijke Philips N.V. Processing a depth map for an image
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110139014A (zh) * 2019-06-10 2019-08-16 北京迈格威科技有限公司 异目相机及应用于异目相机的数据处理方法
WO2020066236A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
CN111091592A (zh) * 2018-10-24 2020-05-01 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
WO2020119504A1 (zh) * 2018-12-12 2020-06-18 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
CN112052830A (zh) * 2020-09-25 2020-12-08 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN112150528A (zh) * 2019-06-27 2020-12-29 Oppo广东移动通信有限公司 一种深度图像获取方法及终端、计算机可读存储介质
WO2022025458A1 (ko) * 2020-07-29 2022-02-03 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114119680A (zh) * 2021-09-09 2022-03-01 北京的卢深视科技有限公司 图像获取方法、装置、电子设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015510259A (ja) * 2013-01-10 2015-04-02 ソフトキネティック センサー エヌブイ カラー不可視光センサ、例えば、ｉｒセンサ、すなわち、マルチスペクトルセンサ
CN105388687A (zh) * 2014-08-29 2016-03-09 晶睿通讯股份有限公司 摄影机及其控制方法
WO2017108413A1 (en) * 2015-12-21 2017-06-29 Koninklijke Philips N.V. Processing a depth map for an image
CN108432244A (zh) * 2015-12-21 2018-08-21 皇家飞利浦有限公司 处理图像的深度图
WO2020066236A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
CN110971889A (zh) * 2018-09-30 2020-04-07 华为技术有限公司 一种获取深度图像的方法、摄像装置以及终端
CN111091592A (zh) * 2018-10-24 2020-05-01 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
WO2020119504A1 (zh) * 2018-12-12 2020-06-18 杭州海康威视数字技术股份有限公司 一种图像处理方法和系统
CN109767467A (zh) * 2019-01-22 2019-05-17 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN110139014A (zh) * 2019-06-10 2019-08-16 北京迈格威科技有限公司 异目相机及应用于异目相机的数据处理方法
CN112150528A (zh) * 2019-06-27 2020-12-29 Oppo广东移动通信有限公司 一种深度图像获取方法及终端、计算机可读存储介质
CN111866490A (zh) * 2020-07-27 2020-10-30 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
WO2022025458A1 (ko) * 2020-07-29 2022-02-03 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112052830A (zh) * 2020-09-25 2020-12-08 北京百度网讯科技有限公司 人脸检测的方法、装置和计算机存储介质
CN114119680A (zh) * 2021-09-09 2022-03-01 北京的卢深视科技有限公司 图像获取方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
红外球形摄像机补光系统的设计与实现;汪旭莹;邓卫燕;张飞;韩朋;;电子技术应用;20150106(第01期);全文 *

Also Published As

Publication number Publication date
CN114745509A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
US20210289141A1 (en) Control method and apparatus for photographing device, and device and storage medium
KR100812506B1 (ko) 원격 조작 로봇 및 로봇 자기 위치 추정 방법
CN111784748A (zh) 目标跟踪方法、装置、电子设备及移动载具
CN109068116B (zh) 基于补光的图像处理方法、装置、移动终端和存储介质
KR102552923B1 (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
KR102627014B1 (ko) 전자 장치 및 제스처 인식 방법
KR20190051230A (ko) 신뢰도에 기반하여 객체를 인식하는 전자 장치 및 방법
WO2022142830A1 (zh) 应用设备及其隔空手势识别方法
CN115880213A (zh) 显示异常检测方法、装置及系统
JP2016224547A (ja) 画像処理装置、画像処理システム及び画像処理方法
KR102448233B1 (ko) 정밀 착륙을 위한 드론 제어 방법
CN114745509B (zh) 图像采集方法、设备、足式机器人及存储介质
RU154324U1 (ru) Устройство контроля положения и управления движением мобильных технологических машин и роботов
CN111179628B (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质
TWI737588B (zh) 拍照系統及方法
US20200184664A1 (en) Electronic device and method for acquiring depth information of object by using the same
CN108550182B (zh) 一种三维建模方法和终端
KR20200117460A (ko) 전자 장치 및 그의 발열 제어 방법
CN115830280A (zh) 数据处理方法、装置、电子设备及存储介质
CN112601021B (zh) 一种网络摄像机监控视频的处理方法及系统
CN109257543B (zh) 拍摄模式控制方法及移动终端
CN112400082B (zh) 基于用户的位置使用发光元件提供视觉效果的电子装置及其方法
KR102043405B1 (ko) 지아이에스를 기반으로 하는 지형지물 변형 편집용 영상처리 편집시스템
KR20210144151A (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
CN114603557B (zh) 机器人投影方法及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant