CN112767293B - 获取视差图像的方法、电子设备及存储介质 - Google Patents

获取视差图像的方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112767293B
CN112767293B CN202110034180.5A CN202110034180A CN112767293B CN 112767293 B CN112767293 B CN 112767293B CN 202110034180 A CN202110034180 A CN 202110034180A CN 112767293 B CN112767293 B CN 112767293B
Authority
CN
China
Prior art keywords
image
parallax
reduced
binocular
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110034180.5A
Other languages
English (en)
Other versions
CN112767293A (zh
Inventor
李敬雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shanghai Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shanghai Robotics Co Ltd filed Critical Cloudminds Shanghai Robotics Co Ltd
Priority to CN202110034180.5A priority Critical patent/CN112767293B/zh
Publication of CN112767293A publication Critical patent/CN112767293A/zh
Priority to PCT/CN2021/143444 priority patent/WO2022148307A1/zh
Application granted granted Critical
Publication of CN112767293B publication Critical patent/CN112767293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例涉及视觉领域，公开了一种获取视差图像的方法、电子设备及存储介质。本发明中获取视差图像的方法，包括：按照预设比例缩小输入的至少一对双目原始图像，获得至少一对双目缩小图像；根据所述双目缩小图像，获取所述双目缩小图像的缩小视差图像；在传输所述缩小视差图像至指定应用后，将所述缩小视差图像分辨率调整为所述双目原始图像的分辨率，生成所述双目原始图像的目标视差图像。采用本实施例，能够减少视差图像的计算量，提高获取视差图像的帧率，降低获取成本，同时提高设备支持的最大视差。

Description

获取视差图像的方法、电子设备及存储介质
技术领域
本发明实施例涉及视觉领域，特别涉及一种获取视差图像的方法、电子设备及存储介质。
背景技术
在双目立体视觉中计算视差图像是常用的算法有半全局块匹配(semi-globalblock matching，SGBM)和半全局匹配(semi-global matching，SGM)等，这些算法基本的处理流程包括：代价计算，代价聚合，视差计算，视差优化四个步骤，整个过程的计算量非常大。其中，视差图像是以图像对中任一幅图像为基准,其大小为该基准图像的大小,元素值为视差的图像。
然而，目前为了提升计算视差图像的速度，通常做法是将算法固化到硬件，或是使用GPU等高性能计算机，不仅成本高，还普遍存在着一些问题，例如，随着原始图像分辨率的增加(如分辨率为：1280×720)，对应的视差图像的计算量也随之增大，导致算法的输出帧率降低，难以满足实时获取视差图像的应用场景；再如，双目视觉设备距离被摄物体越近，视差越大，视差图像的计算量也将增加，而受到计算设备的计算资源的限制，目前设备支持的最大视差通常比较小，如支持视差64、128等，这导致双目视觉设备不能近距离使用。
发明内容
本发明实施方式的目的在于提供一种获取视差图像的方法、电子设备及存储介质，能够减少视差图像的计算量，提高获取视差图像的帧率，降低获取成本，同时提高设备支持的最大视差。
为解决上述技术问题，本发明的实施方式提供了一种获取视差图像的方法，包括：按照预设比例缩小至少一个双目原始图像，获得双目缩小图像，其中，双目原始图像包括左视图和右视图；根据所述双目缩小图像，获取所述双目缩小图像的缩小视差图像；在传输所述缩小视差图像至指定应用后，将所述缩小视差图像分辨率调整为所述双目原始图像的分辨率，生成所述双目原始图像的目标视差图像。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的获取视差图像的方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的获取视差图像的方法。
本申请实施例中，根据预设比例缩小至少一个双目原始图像，获得至少一个双目缩小图像，根据该对双目缩小图像生成缩小视差图像，一个双目原始图像包括左视图和右视图，由于缩小后的左视图和缩小后的右视图中包含的像素少，使得对应生成的缩小视差图像的计算量少，速度快，而缩小视差图像与该双目缩小图像的分辨率相同，故该缩小视差图像的数据量也变少，使得将该缩小视差图像传输至指定应用的速度快，提高获取缩小视差图像的帧率，以便指定应用可以快速基于该缩小视差图像还原为双目原始图像的目标视差图像，提高获取目标视差图像的速度；由于无需安装高成本的固化硬件，降低获取成本，同时可以按照预设比例进行缩小，使得可以支持的更大的最大视差，即可以使用更高的分辨率的双目原始图像。
另外，获取所述双目原始图像中的指定区域的图像；根据所述指定区域的图像，获取所述指定区域的图像的指定视差图像；在传输所述指定视差图像至所述指定应用后，将所述指定视差图像叠加在所述目标视差图像对应的指定区域上，生成新的所述目标视差图像。将该指定视差图像叠加在目标视差图像上，由于指定视差图像是基于未缩小的指定区域确定，该指定视差图像的准确度高，进而提升了新的目标视差图像的准确度。
另外，在传输所述缩小视差图像至指定应用后，将所述缩小视差图像分辨率调整为所述双目原始图像的分辨率，生成所述双目原始图像的目标视差图像，包括：根据所述双目原始图像的分辨率，生成待填充视差值的空白像素图像；根据所述预设比例以及所述缩小视差图像中的每个所述缩小视差值，确定所述空白像素图像中每个像素的目标视差值；根据每个所述目标视差值，填充所述空白像素图像中对应的像素，生成所述目标视差图像。通过缩小视差图像中的缩小视差值确定出空白像素图像中每个像素的目标视差值，确定速度快。
另外，根据所述预设比例以及所述缩小视差图像中的每个所述缩小视差值，确定所述空白像素图像中每个像素的目标视差值，包括：根据所述预设比例以及所述缩小视差值，确定第一像素位置以及所述第一像素位置的目标视差值；根据所述第一像素位置以及所述第一像素位置的目标视差值，确定其余像素位置的目标视差值。
另外，缩小视差图像包括m行n列的像素，m和n均为大于等于0的整数；根据所述预设比例以及所述缩小视差值，确定第一像素位置以及所述第一像素位置的目标视差值，包括：针对第m行第n列位置的所述缩小视差值进行如下处理：将N×m的值作为第一像素位置的行数，将N*n作为第一像素位置的列数，获取每个所述第一像素位置，其中，N表示预设比例，N为大于1的整数；获取N倍的所述缩小视差值作为所述第一像素位置的目标视差值。提供了一种快速确定第一像素位置以及该第一像素位置的目标视差值的方式。
另外，根据所述第一像素位置以及所述第一像素位置的目标视差值，确定其余像素位置的目标视差值，包括：针对每个所述第一像素位置进行如下处理：分别获取所述第一像素位置在第一方向上相邻的第一像素位置和在第二方向上相邻的第一像素位置；获取所述第一像素位置、在第一方向上相邻的第一像素位置以及在第二方向上相邻的第一像素位置之间空白的像素位置作为所述第一像素位置的待填充位置，所述第一方向和所述第二方向相互垂直；根据所述第一像素位置的目标视差值、在第一方向上相邻的第一像素位置的目标视差值以及在第二方向上相邻的第一像素位置的目标视差值，对所述第一像素位置的待填充位置进行插值运算，获得所述第一像素位置的待填充位置的目标视差值。按照固定的方向确定该第一像素位置周围的其它像素对应的目标视差值，避免漏填充的情况，同时基于第一像素位置的目标视差值、在第一方向上相邻的第一像素位置的目标视差值以及在第二方向上相邻的第一像素位置的目标视差值，确定待填充位置的目标视差值，使得确定的待填充位置的目标视差值更为准确。
另外，该方法还包括，包括：对所述目标视差图像进行平滑处理；对平滑处理后的所述目标时差图像进行优化处理，生成新的目标视差图像，所述优化处理包括：多帧时域滤波和/或去抖动处理。通过平滑处理使得目标视差图像更为准确。
另外，在所述根据所述双目缩小图像，获取所述双目缩小图像的缩小视差图像之前，所述方法还包括：获取所述预设比例以及当前最大支持视差值；将缩小预设比例的所述最大支持视差值作为新的最大支持视差值。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明中提供的视差图像的示意图；
图2是根据本发明第一实施例中提供的一种获取视差图像的方法的流程图；
图3是根据本发明第二实施例中提供的一种获取视差图像的方法的流程图；
图4是根据本发明第二实施例中提供的一种变换为双目缩小视图的示意图；
图5是根据本发明第二实施例中提供的一种变换为缩小视差图像的示意图；
图6是根据本发明第二实施例中提供的一种空白像素图像的示意图；
图7是根据本发明第二实施例中提供的确定该空白像素图像中每个像素的目标视差值的一种具体实现示意图；
图8是根据本发明第二实施例中提供的一种第一像素位置的示意图；
图9是根据本发明第二实施例中提供的确定其他像素的目标视差值的示意图；
图10是根据本发明第二实施例中提供的生成目标视差图像的示意图；
图11是根据本发明第三实施例中提供的一种获取视差图像的方法的示意图；
图12是根据本发明第四实施例中提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
现有的双目立体视觉方案中，图像的分辨率通常小于或等于1280×720。低分辨率不利于依赖原始图像内容进行信息挖掘的设备的开发，比如：对图像中的物体识别的装置。而若提高分辨率，视差图像的计算量将变大，导致输出视差图像的帧率降低，同时较大数据量的视差图也需要更高带宽进行传输，难以应用于实时性要求较高的场景。
物体离双目摄像机越近，视差将越大，视差图像的计算量也相应增大。而目前已有的方案中，最大视差通常小于256，例如，一般设备支持的最大视差值为64或者128，导致无法双目视觉装置无法获取更近处物体的视差图像。此外，现有的双目立体视觉方案中，输出的视差图分辨率与原图基本一致，在带宽有限的情况下，传输的帧率较低，如图1所示，图1中左侧为原照片，右侧为该原照片的视差图像，该视差图像的分辨率与原照片的分辨率相同。
本发明的第一实施方式涉及一种获取视差图像的方法，其流程如图2所示：
步骤101：按照预设比例缩小至少一个双目原始图像，获得双目缩小图像，其中，双目原始图像由左视图和右视图组成。
步骤102：根据双目缩小图像，获取双目缩小图像的缩小视差图像。
步骤103：在传输缩小视差图像至指定应用后，将缩小视差图像分辨率调整为双目原始图像的分辨率，生成双目原始图像的目标视差图像。
本申请实施例中，根据预设比例缩小至少一个双目原始图像，获得至少一个双目缩小图像，根据该对双目缩小图像生成缩小视差图像，一个双目原始图像包括左视图和右视图，由于缩小后的左视图和缩小后的右视图中包含的像素少，使得对应生成的缩小视差图像的计算量少，速度快，而缩小视差图像与该双目缩小图像的分辨率相同，故该缩小视差图像的数据量也变少，使得将该缩小视差图像传输至指定应用的速度快，提高获取缩小视差图像的帧率，以便指定应用可以快速基于该缩小视差图像还原为双目原始图像的目标视差图像，提高获取目标视差图像的速度；由于无需安装高成本的固化硬件，降低获取成本，同时可以按照预设比例进行缩小，使得可以支持的更大的最大视差，即可以使用更高的分辨率的双目原始图像。
本发明的第二实施方式涉及一种获取视差图像的方法。第二实施方式是对第一实施方式的详细介绍，其流程如图3所示。
步骤201：按照预设比例缩小至少一个双目原始图像，获得双目缩小图像，其中，双目原始图像由左视图和右视图组成。
本示例中的方法应用在具有双目视觉装置的设备中，如：机器人。该双目视觉装置可以包括至少两个图像采集装置，例如，间隔设置的2个摄像头、间隔设置的3个摄像头。若包括3个以上的摄像头时，该双目视觉装置在同一时刻选取两个摄像头组成一对，进行图像采集。一个双目原始图像包括左视图和右视图。一个双目原始图像的分辨率可以设置为高分辨率，以提高该对该双目原始图像的识别，其中，大于1280×720的分辨率可以为高分辨率，例如，双目原始图像为高分辨率：1280×960，即该双目原始图像中的左视图和右视图的分辨率均为1280×960。
需要说明的是，双目视觉装置采集的原始左视图和原始右视图分别记为“AR”和“AL”，对该原始左视图和原始右视图进行去畸变处理，得到去畸变处理后的原始左视图和去畸变处理后的原始右视图，分别记为“BR”和“BL”，将“BR”和“BL”组成一个双目原始图像。去畸变处理中的参数是通过对相机标定得到，具体的去畸变处理及标定的过程此处不再进行赘述。
本示例中，预设比例可以根据需要进行设置，例如，当前电子设备支持的最大时差为256，通常最大视差256时，对应的最大计算的原始图像的分辨率为1280×720；双目原始图像的分辨率为1280×960，则可以将该预设比例设置为2，即需要对该双目原始图像缩小2倍。缩小是指将图像的宽度和高度均缩小预设比例，例如，双目原始图像的分辨率为1280×960，预设比例为2，则将该左视图的宽度缩小1/2，将左视图的高度缩小1/2；将右视图的宽度缩小1/2，右视图的高度缩小1/2，得到分辨率为640x480的视图，将缩小后的左视图记为“CL”，将缩小后的右视图记为“CR”如图4所示，箭头左侧为双目原始图像中的一个视图，右侧为缩小后的视图。
步骤202：根据双目缩小图像，获取双目缩小图像的缩小视差图像。
在一个例子中，在获取双目缩小图像的缩小视差图像之前，可以获取预设比例以及当前最大支持视差值；将缩小预设比例的最大支持视差值作为新的最大支持视差值。
具体地，获取视差图像需要设置最大支持视差值，本示例中，可以按照预设比例缩小当前设备的最大支持视差值，例如，该设备的最大支持视差为256，预设比例为2，那么将128作为当前的计算的最大支持视差值。将缩小后的左视图“CL”，将缩小后的右视图“CR”作为视差图像算法的输入图像，设置最大支持视差值，即可计算得到对应的缩小视差图像Cdis。图5为缩小视差图像的一个示意图，图5中箭头左侧为双目缩小图像中的一个视图，右侧为基于双目缩小图像确定的缩小视差图像，其中，双目缩小图像中一个格子表示一个像素，一个点表示该像素的视差值。
步骤203：在传输缩小视差图像至指定应用后，根据双目原始图像的分辨率，生成待填充视差值的空白像素图像。
具体地，可以按照双目原始图像的分辨率生成待填充视差值得空白像素图像，例如，双目原始图像的分辨率为16×12，那么可以生成如图6所示的空白像素图像，其中，每个格子表示一个像素。
需要说明的是，可以将该缩小视差图像发送至指定应用，指定应用可以是发起获取视差图像请求的应用，例如，物体识别应用等，该应用还可以位于机器人上。
值得一提的是，由于缩小视差图像的数据量小，无需使用高带宽进行传输，同时与其它获取视差图像的方式相比，在相同带宽下，输出该缩小视差图像的帧率高，速度快。
步骤204：根据预设比例以及缩小视差图像中的每个缩小视差值，确定空白像素图像中每个像素的目标视差值。
确定该空白像素图像中每个像素的目标视差值可以采用如图7所示的子步骤。
S21：根据预设比例以及缩小视差值，确定第一像素位置以及第一像素位置的目标视差值。
在一个例子中，缩小视差图像包括m行n列的像素，m和n均为大于等于0的整数；根据预设比例以及缩小视差值，确定第一像素位置以及第一像素位置的目标视差值，包括：针对第m行第n列位置的缩小视差值进行如下处理：将N×m的值作为第一像素位置的行数，将N×n作为第一像素位置的列数，获取每个第一像素位置，其中，N表示预设比例，N为大于1的整数；获取N倍的缩小视差值作为第一像素位置的目标视差值。
本示例中以Cm,n表示Cdis中第m行第n列的缩小视差值，m,n均为整数，初始值均为0。由于双目缩小图像是基于双目原始图像缩小预设比例获得，可以根据缩小的关系，将该缩小视差图像的分辨率调整为双目原始图像的分辨率。下面以具体的例子介绍确定第一像素位置以及第一像素位置的目标视差值的过程。
例如，预设比例为2，针对第m行第n列位置的缩小视差值进行如下处理：将2m作为第一像素位置的行数，将2n作为第一像素位置的列数；B2m,2n表示第2m行第2n列位置的目标视差值，获取该m行第n列的缩小视差值Cm,n，那么该B2m,2n的值如公式(1)所示：
B2m,2n＝2Cm,n  公式(1)；
其中，m和n均为整数，且初始值均为0，且m的最大值等于双目缩小图像的水平像素值-1，n的最大值等于双目缩小图像的垂直像素值-1，如，双目缩小图像的分辨率为640*480，那m的最大值等于(640-1)，n的最大值等于(480-1)。
若m＝n＝0,则第一像素位置为第0行第0列的位置，该第一像素位置的目标视差值等于2C0,0。
按照上述处理即可确定出该空白像素图像中所有第一像素位置以及所有第一像素位置的目标视差值。如图8所示，箭头左侧为缩小视差图像，右侧为空白像素图像，其中，黑点所在格子的位置为第一像素位置，黑点表示该第一像素位置的目标视差值。
S22：根据第一像素位置以及第一像素位置的目标视差值，确定其余像素位置的目标视差值。
在一个例子中，针对每个第一像素位置进行如下处理：分别获取第一像素位置在第一方向上相邻的第一像素位置和在第二方向上相邻的第一像素位置；获取第一像素位置、在第一方向上相邻的第一像素位置以及在第二方向上相邻的第一像素位置之间空白的像素位置作为第一像素位置的待填充位置，第一方向和第二方向相互垂直；根据第一像素位置的目标视差值、在第一方向上相邻的第一像素位置的目标视差值以及在第二方向上相邻的第一像素位置的目标视差值，对第一像素位置的待填充位置进行插值运算，获得待填充位置的目标视差值。
具体地，下面结合图9介绍确定其它像素位置的目标视差值的过程。图9中，针对第0行第0列位置标记为0，该第0行第2列位置标记为2，第2行第0列位置标记为8；第一像素位置0的第一方向如实线所示方向，该第一像素位置0的第二方向如虚线箭头所示方向，该第一像素位置0的第一方向上相邻的第一像素位置为2位置，该第一像素0在第二方向上相邻的第一像素位置为8，由于0位置与3位置之间的空白像素为a位置，0位置和8位置之间的空白像素位置为b位置，3位置和8位置之间的空白像素位置为c位置，故0位置、3位置以及8位置之间包括3个标空白像素位置，分别为a位置、b位置和c位置；将a位置、b位置和c位置作为该0位置的待填充位置。按照该方式获取该空白像素图像中所有第一像素位置的待填充位置。
需要说明的是，图9中第一像素位置7所在列的其它第一像素位置，在第一方向上没有其它相邻的第一像素位置，故该虚线所在列的空白像素位置可以不进行填充，同理，最后一行空白像素也可以不进行填充。
故本示例中采用插值运算确定第一像素位置的待填充位置的目标视差值，本示例中可以采用公式(2)～公式(4)的方式分别计算出3个待填充位置的目标视差值。
B2m,2n+1＝Cm,n+Cm,n+1  公式(2)；
其中，m和n均为整数，且初始值均为0，且m的最大值等于双目缩小图像的水平像素值-1，n的最大值等于双目缩小图像的垂直像素值-1。Cm,n,Cm,n+1同时非0，以确保B2m,2n+1不等于0。
B2m+1,2n＝Cm,n+Cm+1,n  公式(3)；
其中Cm,n,Cm+1,n同时非0，以确保B2m+1,2n不等于0。
B2m+1,2n+1＝(B2m,2n+1+B2m+1,2n)/2  公式(4)；
其中，B2m,2n+1,B2m+1,2n同时非0，以确保B2m+1,2n+1不等于0。
需要说明的是，还可以将相邻两个第一像素位置的目标视差值的均值作为待填充位置的目标视差值。例如，将0位置的目标视差值和2位置的目标视差值之间的均值作为a位置的目标视差值；若预设比例为4，那么相邻第一像素位置之间空白像素包括3个，也可以将相邻两个第一像素位置的目标视差值的均值作为该3个空白像素的目标视差值。
步骤205：根据每个目标视差值，填充空白像素图像中对应的像素，生成目标视差图像。
将确定的目标视差值填充至空白像素图像中对应的像素，生成目标视差图像。如图10所示的目标视差图像。
在一个例子中，对目标视差图像进行平滑处理；对平滑处理后的目标时差图像进行优化处理，生成新的目标视差图像，优化处理包括：多帧时域滤波和/或去抖动处理。
具体地，平滑处理可以是空间滤波的方式实现，以形成连续的目标视差值，提高目标视差图像的准确性。在平滑处理后，还可以进行多帧时域滤波和/或去抖动处理。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种获取视差图像的方法。第三实施方式是对第二实施方式的进一步改进，主要改进之处在于，获取双目原始图像中指定区域的指定视差图像，将该指定视差图像叠加在目标视差图像上，形成新的目标视差图像，其流程如图11所示：
步骤301：按照预设比例缩小至少一个双目原始图像，获得双目缩小图像，其中，所述双目原始图像由左视图和右视图组成。
步骤302：根据双目缩小图像，获取双目缩小图像的缩小视差图像。
步骤303：在传输缩小视差图像至指定应用后，根据双目原始图像的分辨率，生成待填充视差值的空白像素图像。
步骤304：根据预设比例以及缩小视差图像中的每个缩小视差值，确定空白像素图像中每个像素的目标视差值。
步骤305：根据每个目标视差值，填充空白像素图像中对应的像素，生成目标视差图像。
步骤301至步骤305与第二实施方式中步骤201至步骤205大致相同，此处将不再赘述。
步骤306：获取双目原始图像中的指定区域的图像。
具体地，双目原始图像中的指定区域的图像可以是待识别物体所处区域，例如，将杯子所在区域作为指定区域，则可以获取双目原始图像中左视图的指定区域的图像，以及获取双目原始图像中右视图中指定区域的图像。
步骤307：根据指定区域的图像，获取指定区域的图像的指定视差图像。
根据左视图中指定区域的图像和右视图中指定区域的图下个，按照步骤302的方式获取该指定区域的图像的指定视差图像。
步骤308：在传输指定视差图像至指定应用后，将指定视差图像叠加在目标视差图像对应的指定区域上，生成新的目标视差图像。
在目标视差图像上叠加指定视差图像，即可生成新的目标视差图像。
本实施例中，将该指定视差图像叠加在目标视差图像上，由于指定视差图像是基于未缩小的指定区域确定，该指定视差图像的准确度高，进而提升了新的目标视差图像的准确度。
本发明第四实施方式涉及一种电子设备，其结构如图12所示，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的获取视差图像的方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的获取视差图像的方法。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (8)

1.一种获取视差图像的方法，其特征在于，包括：
按照预设比例缩小至少一个双目原始图像，获得双目缩小图像，其中，所述双目原始图像包括左视图和右视图；
根据所述双目缩小图像，获取所述双目缩小图像的缩小视差图像；
在传输所述缩小视差图像至指定应用后，将所述缩小视差图像分辨率调整为所述双目原始图像的分辨率，生成所述双目原始图像的目标视差图像；
在传输所述缩小视差图像至指定应用后，根据所述双目原始图像的分辨率，生成待填充视差值的空白像素图像；
根据所述预设比例以及所述缩小视差图像中的每个缩小视差值，确定所述空白像素图像中每个像素的目标视差值；
根据每个所述目标视差值，填充所述空白像素图像中对应的像素，生成所述目标视差图像；
根据所述预设比例以及所述缩小视差图像中的每个所述缩小视差值，确定所述空白像素图像中每个像素的目标视差值，包括：
根据所述预设比例以及所述缩小视差值，确定第一像素位置以及所述第一像素位置的目标视差值；
根据所述第一像素位置以及所述第一像素位置的目标视差值，确定其余像素位置的目标视差值；
所述缩小视差图像包括m行n列的像素，m和n均为大于等于0的整数；
将N*m的值作为第一像素位置的行数，将N*n作为第一像素位置的列数，获取每个所述第一像素位置，其中，N表示预设比例，N为大于1的整数。
2.根据权利要求1所述的获取视差图像的方法，其特征在于，所述方法还包括：
获取所述双目原始图像中的指定区域的图像；
根据所述指定区域的图像，获取所述指定区域的图像的指定视差图像；
在传输所述指定视差图像至所述指定应用后，将所述指定视差图像叠加在所述目标视差图像对应的指定区域上，生成新的所述目标视差图像。
3.根据权利要求1所述的获取视差图像的方法，其特征在于，所述根据所述预设比例以及所述缩小视差值，确定第一像素位置以及所述第一像素位置的目标视差值，包括：
针对第m行第n列位置的所述缩小视差值进行如下处理：
将N*m的值作为第一像素位置的行数，将N*n作为第一像素位置的列数，获取每个所述第一像素位置，其中，N表示预设比例，N为大于1的整数；
获取N倍的所述缩小视差值作为所述第一像素位置的目标视差值。
4.根据权利要求1所述的获取视差图像的方法，其特征在于，根据所述第一像素位置以及所述第一像素位置的目标视差值，确定其余像素位置的目标视差值，包括：
针对每个所述第一像素位置进行如下处理：
分别获取所述第一像素位置在第一方向上相邻的第一像素位置和在第二方向上相邻的第一像素位置；
获取所述第一像素位置、在第一方向上相邻的第一像素位置以及在第二方向上相邻的第一像素位置之间空白的像素位置作为所述第一像素位置的待填充位置，所述第一方向和所述第二方向相互垂直；
根据所述第一像素位置的目标视差值、在第一方向上相邻的第一像素位置的目标视差值以及在第二方向上相邻的第一像素位置的目标视差值，对所述第一像素位置的待填充位置进行插值运算，获得所述待填充位置的目标视差值。
5.根据权利要求3至4中任一项所述的获取视差图像的方法，其特征在于，所述方法还包括，包括：
对目标视差图像进行平滑处理；
对平滑处理后的所述目标视差图像进行优化处理，生成新的目标视差图像，所述优化处理包括：多帧时域滤波和/或去抖动处理。
6.根据权利要求3至4中任一项所述的获取视差图像的方法，其特征在于，在所述根据所述双目缩小图像，获取所述双目缩小图像的缩小视差图像之前，所述方法还包括：
获取所述预设比例以及当前最大支持视差值；
将缩小预设比例的所述最大支持视差值作为新的最大支持视差值。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一所述的获取视差图像的方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的获取视差图像的方法。
CN202110034180.5A 2021-01-11 2021-01-11 获取视差图像的方法、电子设备及存储介质 Active CN112767293B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110034180.5A CN112767293B (zh) 2021-01-11 2021-01-11 获取视差图像的方法、电子设备及存储介质
PCT/CN2021/143444 WO2022148307A1 (zh) 2021-01-11 2021-12-30 获取视差图像的方法、装置、电子设备、存储介质及计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110034180.5A CN112767293B (zh) 2021-01-11 2021-01-11 获取视差图像的方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112767293A CN112767293A (zh) 2021-05-07
CN112767293B true CN112767293B (zh) 2023-04-11

Family

ID=75701376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110034180.5A Active CN112767293B (zh) 2021-01-11 2021-01-11 获取视差图像的方法、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN112767293B (zh)
WO (1) WO2022148307A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079506A (ja) * 2008-09-25 2010-04-08 Kddi Corp 画像生成装置、方法、通信システム及びプログラム
WO2012096054A1 (ja) * 2011-01-13 2012-07-19 富士フイルム株式会社 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム
WO2014030630A1 (ja) * 2012-08-20 2014-02-27 株式会社日本自動車部品総合研究所 視差マップを生成する装置及びその方法
CN107358638A (zh) * 2017-07-19 2017-11-17 智车优行科技（北京）有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN108520536A (zh) * 2018-03-27 2018-09-11 海信集团有限公司 一种视差图的生成方法、装置及终端
CN110660088A (zh) * 2018-06-30 2020-01-07 华为技术有限公司 一种图像处理的方法和设备
CN111553850A (zh) * 2020-03-30 2020-08-18 深圳一清创新科技有限公司 基于双目立体视觉的三维信息获取方法和装置
CN111626927A (zh) * 2020-04-09 2020-09-04 上海交通大学 采用视差约束的双目图像超分辨率方法、系统及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL411631A1 (pl) * 2015-03-18 2016-09-26 Politechnika Poznańska System do generowania mapy głębi i sposób generowania mapy głębi
TWI637350B (zh) * 2018-01-09 2018-10-01 緯創資通股份有限公司 產生視差圖的方法及其影像處理裝置與系統
CN112767293B (zh) * 2021-01-11 2023-04-11 达闼机器人股份有限公司 获取视差图像的方法、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079506A (ja) * 2008-09-25 2010-04-08 Kddi Corp 画像生成装置、方法、通信システム及びプログラム
WO2012096054A1 (ja) * 2011-01-13 2012-07-19 富士フイルム株式会社 視差画像表示装置、視差画像表示方法及び視差画像表示プログラム
WO2014030630A1 (ja) * 2012-08-20 2014-02-27 株式会社日本自動車部品総合研究所 視差マップを生成する装置及びその方法
CN107358638A (zh) * 2017-07-19 2017-11-17 智车优行科技（北京）有限公司 视差图计算方法和装置、电子设备、计算机存储介质
CN108520536A (zh) * 2018-03-27 2018-09-11 海信集团有限公司 一种视差图的生成方法、装置及终端
CN110660088A (zh) * 2018-06-30 2020-01-07 华为技术有限公司 一种图像处理的方法和设备
CN111553850A (zh) * 2020-03-30 2020-08-18 深圳一清创新科技有限公司 基于双目立体视觉的三维信息获取方法和装置
CN111626927A (zh) * 2020-04-09 2020-09-04 上海交通大学 采用视差约束的双目图像超分辨率方法、系统及装置

Also Published As

Publication number Publication date
WO2022148307A1 (zh) 2022-07-14
CN112767293A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
JP6951565B2 (ja) 深度推定方法及び装置、電子機器並びに媒体
US9412151B2 (en) Image processing apparatus and image processing method
CN102682446B (zh) 使用自适应联合双边滤波器生成稠密深度图的设备和方法
JP4958233B2 (ja) 多眼視画像作成システム及び多眼視画像作成方法
EP2293586A1 (en) Method and system to transform stereo content
JP2013225740A (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
EP3001382B1 (en) Method and apparatus for generating disparity map based on image frames photographed by stereo camera
WO2014155290A1 (en) Enhancing motion pictures with accurate motion information
US9998725B2 (en) Apparatus and method for generating depth information
CN112767293B (zh) 获取视差图像的方法、电子设备及存储介质
WO2018133027A1 (zh) 基于灰度约束的三维数字散斑的整像素搜索方法及装置
KR101262164B1 (ko) 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113111770B (zh) 一种视频处理方法、装置、终端及存储介质
CN112365400B (zh) 一种快速光场角度超分辨重建方法
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及系统
CN109599056A (zh) 图像数据处理方法及装置、图像数据处理器及其应用
US20160286198A1 (en) Apparatus and method of converting image
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
CN115176459A (zh) 虚拟视点合成方法、电子设备和计算机可读介质
KR101920159B1 (ko) 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치
US9330445B2 (en) Local contrast enhancement method and apparatus
CN104185005A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant