CN110933364A - 全向视觉避障实现方法、系统、装置及存储介质 - Google Patents

Abstract

本发明涉及无人机领域，提供一种全向视觉避障实现方法、系统、装置和存储介质。所述全向视觉避障实现方法包括：步骤S10、发送触发信号到图像采集设备，以使所述采集设备采集图像信号；步骤S20、对所述图像信号进行合并处理，以获得合并的图像数据；步骤S30、对所述合并的图像数据进行拆解处理，以获得拆解的图像数据；步骤S40、对所述拆解的图像数据进行视觉处理，以获得视觉图像。通过本发明提供的技术方案，解决现有无人机全向视觉避障多个镜头接入问题，同时提升图像处理效率和性能。

Description

全向视觉避障实现方法、系统、装置及存储介质

技术领域

本发明实施例涉及无人机领域，尤其涉及一种全向视觉避障实现方法、系统、装置及存储介质。

背景技术

随着无人机技术的发展，无人机避障已经要求支持前方、下方、后方、左方、右方和上方6个方向的全方位避障，同一个物体在两个镜头画面中的坐标稍有不同，经过转换即可得到障碍物的距离，双目视觉方法也可以获得障碍物的深度图像，因此，实现全向视觉避障，至少需要6对12个镜头，再加上主镜头，共13个镜头，但目前市面上的主芯片最多支持8个镜头输入，远远满足不了全向避障的需求。同时，针对采集到的多路图像信号，对现有的图像信号处理器(Image Signal Processing，ISP)和主芯片的图像处理就成为瓶颈，当同时有大量的图像信息需要同步处理时，单芯片无法满足同步处理大量图像信息的性能，同时，无人机避障要求实时性高，处理速度快，但现有技术不能满足这方面的需求。现有无人机多个镜头采集到的图像信号还不能及时快速处理，同时还存在处理效率和性能不足的问题。

发明内容

本发明主要目的是提供一种全向视觉避障实现方法、系统、装置及存储介质，旨在解决现有无人机全向视觉避障多个镜头接入问题及图像处理效率和性能的问题。

为了实现上述目的，本发明提供一种全向视觉避障实现方法，该方法包括：

步骤S10：发送触发信号到图像采集设备，以使所述采集设备采集图像信号；

步骤S20：对所述图像信号进行合并处理，以获得合并的图像数据；

步骤S30：对所述合并的图像数据进行拆解处理，以获得拆解的图像数据；

步骤S40：对所述拆解的图像数据进行视觉处理，以获得视觉图像。

进一步地，通过同步触发时钟发送所述触发信号至所述采集设备；更进一步地，所述触发信号是脉冲信号。

进一步地，所述步骤S20中，通过图像信号处理器(Image Signal Processing，ISP)对所述图像信号进行合并处理以获得合并的图像数据。

进一步地，所述步骤S30中所述拆解处理包括：

将所述合并的图像数据根据所述图像行号依次拷贝出来，得到拆解的图像数据；或者

将所述合并的图像数据根据被合并图像起始地址偏移和图像宽度跨度大小进行拆解，得到拆解的图像数据。

此外，本发明还提供了一种全向视觉避障实现系统，包括：

同步触发时钟，用于发送所述触发信号至所述采集设备，以触发所述图像采集设备采集图像信号；

多个ISP及主芯片，用于对所述图像信号进行合并处理以获得合并的图像数据；及

主芯片，用于对所述合并的图像数据进行拆解处理及对所述拆解的图像数据进行视觉处理，以获得视觉图像。

进一步地，所述触发信号是脉冲信号。

进一步地，所述主芯片用于进行拆解处理的步骤包括：

将所述合并的图像数据根据所述图像行号依次拷贝，得到拆解的图像数据；或者

将所述合并的图像数据根据被合并图像起始地址偏移和图像宽度跨度大小进行拆解，得到拆解的图像数据。

为实现上述目的，本发明还提供了一种全向视觉避障实现装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的全向视觉避障程序，所述全向视觉避障程序被所述处理器执行时实现上述全向视觉避障实现方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述存储介质上存储有全向视觉避障程序，所述全向视觉避障程序可被一个或者多个处理器执行，以实现上述全向视觉避障方法的步骤。

本发明提出的全向视觉避障实现方法、装置及计算机可读存储介质，解决现有技术无人机全向视觉避障多个镜头接入问题及图像处理性能不足的问题，实现无人机全向视觉避障。

附图说明

图1为本发明一实施例提供的全向视觉避障实现方法流程示意图。

图2为本发明一实施例全向视觉避障实现系统示意图；

图3为本发明一实施例同步触发时钟发送所述触发信号示意图；

图4为本发明一实施例提供的图像信号2路合并成1路示意图；

图5为本发明一实施例提供的图像信号两路合并成一路然后再次进行合并的示意图；

图6为本发明一实施例提供的图像信号四路直接合并为一路的示意图；

图7为本发明一实施例提供的拆解图像数据方法一示意图；

图8为本发明一实施例提供的拆解图像数据方法二示意图；

图9为本发明一实施例提供的全向视觉避障实现装置的内部结构示意图；

图10为本发明一实施例提供的全向视觉避障实现装置中全向视觉避障程序的模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，是本发明一实施例提供的全向视觉避障实现方法流程示意图，本发明提供的全向视觉避障实现方法，应用于无人机中，所述全向视觉避障实现方法包括：

步骤S10：发送触发信号到图像采集设备，以使所述采集设备采集图像信号；具体地，通过同步触发时钟发送所述触发信号至所述采集设备；更进一步地，所述触发信号是脉冲信号。在一实施例中，所述图像采集设备是无人机的镜头，所述图像采集设备在收到所述触发信号之后会采集图像信号。

步骤S20：对所述图像信号进行合并处理，以获得合并的图像数据。具体地，通过图像信号处理器(Image Signal Processing，ISP)对所述图像信号进行合并处理以获得合并的图像数据。

步骤S30：对所述合并的图像数据进行拆解处理，以获得拆解的图像数据。

步骤S40：对所述拆解的图像数据进行视觉处理，以获得视觉图像。

请参阅图2，是本发明一实施例提供的全向视觉避障实现系统的示意图，所述全向视觉避障系统包括同步触发时钟100、多个ISP及主芯片200。所述同步触发时钟100用于发送所述触发信号至所述采集设备，以触发所述图像采集设备采集图像信号，所述ISP用于对所述图像信号进行合并处理以获得合并的图像数据。所述主芯片200用于对所述合并的图像数据进行拆解处理及对所述拆解的图像数据进行视觉处理，以获得视觉图像。

所述图像采集设备在本实施例中是指无人机六个方位的多个镜头，所述六个方位包括分布在无人机前后上下左右方位，每个方位2个镜头，分别为前左镜头11、前右镜头12、后左镜头21、后右镜头22、下左镜头31、下右镜头32、上左镜头41、上右镜头42、左左镜头51、左右镜头52、右左镜头61、右右镜头62。

请参阅图3，为本发明一实施例同步触发时钟发送所述触发信号示意图，所述同步触发时钟周期性每隔一段固定的时间发送一次所述脉冲信号，如图3所示，每隔t毫秒发送一次脉冲信号，所述t毫秒根据无人机飞行速度和处理速度设置，本实施例分别设置10毫秒、40毫秒、100毫秒进行成功测试，所述同步触发时钟100发送脉冲信号给所有12个镜头，该12个镜头在收到所述脉冲信号后触发采集图像，生成图像信号。

通过ISP将图像信号进行合并处理，如图2所示，在一实施例中，所述全向视觉避障实现系统包括四个ISP，前左镜头11和前右镜头12输出图像信号给ISP1，后左镜头21和后右镜头22输出图像信号给ISP2、下左镜头31、下右镜头32、上左镜头41和上右镜头42输出图像信号给ISP3、左左镜头51、左右镜头52、右左镜头61和右右镜头62输出图像信号给ISP4。

所述合并是基于图像行号依次将多个镜头采集的图像信号合并为图像数据。请参阅图4，是本发明一实施例提供的图像信号2路合并成1路示意图，第一幅图像的第一行放到目标图像第一行，第二幅图像的第一行放到目标图像第二行，第一幅图像的第二行放到目标图像第三行，第二幅图像的第二行放到目标图像第四行，第一幅图像的第三行放到目标图像第五行，第二幅图像的第三行放到目标图像第六行……，如此拼成新的目标图像。

图像采集本身是从上到下逐行产生的，镜头采集到图像行可立即送给ISP合并，通过交叉合并完图像行，立即送给后端处理，这种方式，不需要等待一张图像完全采集到之后再做拼接处理，降低了数据处理的延时时间，同时也降低了缓存使用空间。

所述ISP还包括图像处理，所述图像处理包括自动曝光，所述多个镜头的自动曝光参数设置相同并基于所述ISP处理的图像自动进行曝光调整。由于同侧左右镜头是同一方向的，要求图像亮度是一致的，所以曝光参数相同。曝光统计信息可以基于单个的左镜头或右镜头的曝光统计信息，或者基于两个双镜头合并之后的统计信息，如果基于左镜头，则左镜头图像变化时，右镜头会跟随左镜头自动进行曝光调整变化；如果基于右镜头，则右镜头图像变化时，左镜头会跟随右镜头自动进行曝光调整变化；如果基于合并曝光，则左右任意单镜头有变化，双镜头同时进行调整，或双镜头都有图像变化，双镜头同时进行调整。

再次参阅图1，下左镜头31、下右镜头32、上左镜头41和上左镜头42，同时采集到一帧图像数据之后输出给ISP3合并处理，左左镜头51、左右镜头52、右左镜头61和右左镜头62，同时采集到一帧图像数据之后输出给ISP4合并处理。

所述合并处理中，通过以下两种方式实现4路图像合并为1路图像：

第一种合并方法是先对两路图像合并成一路图像，然后再对合并后的两路图像再次合并。请参阅图5，是本发明一实施例提供的图像信号两路合并成一路然后再次进行合并的示意图，经过两次二路合并成一路的处理，将所述ISP完成图像合并的图像数据输出给主芯片。

第二种合并方法是直接完成四路合并成一路图像，请参阅图6，是本发明一实施例提供的图像信号四路直接合并为一路的示意图。

对所述合并的图像数据拆解处理有两种方法，方法一是将所述合并的图像数据根据所述图像行号依次拷贝出来，得到拆解的图像数据；方法二是将所述合并的图像数据根据被合并图像起始地址偏移和图像宽度跨度大小进行拆解，得到拆解的图像数据。

请参阅图7，是本发明一实施例提供的拆解图像数据方法一示意图，所述主芯片获取到合并后的图像数据，需要拆解成各个单路的图像再送视觉处理，方法一是把合并后的图像逐行拆解拷贝出来，图7中显示的是四路合并成一路图像的拆解还原过程，第一行图像拆解到目标第一幅图像的第一行，第二行拆解到目标第二幅图像的第一行，第三行拆解到目标第三幅图像第一行，第四行拆解到目标第四幅图像第一行，第五行拆解到目标第一幅图像第二行，第六行拆解到目标第二幅图像的第二行……，依次完成图像的拆解还原。

请参阅图8，是本发明一实施例提供的拆解图像数据方法二示意图，根据图像起始地址偏移和跨度进行拆解还原。图像数据在内存中第一行的尾地址和第二行的起始地址是相连的，第二行尾地址和第三行起始地址是相连的，设定第一列图像起始地址为p1，宽度为width，跨度为stride，则跨度stride＝width*4，把其他三列图像通过跨度扩大方式当空白处理，则第一列就是就一副完整的图像。设定第二列起始地址为p2，宽度为width，跨度为stride＝width*4，把其他三列类似的当作空白图像处理，则第二列就是一副完整的图像。同样，对第三列、第四列图像做同样的处理，相比所述方法一，不需要任何数据拷贝，通过起始地址偏移和跨度的放大，就实现了图像数据的还原拆解。2路合并为1路图像的拆解方法类似。

此外，本发明还提供一种全向视觉避障实现装置。

请参阅图9，是本发明实施例提供了一种全向视觉避障实现装置的内部结构示意图，所述人机多镜头全向视觉避障装置至少包括存储器91、处理器92、通信总线93，以及网络接口94。

其中，存储器91至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器91在一些实施例中可以是全向视觉避障实现装置的内部存储单元，例如该全向视觉避障实现装置的硬盘。存储器91在另一些实施例中也可以是全向视觉避障实现装置的外部存储设备，例如全向视觉避障实现装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器91还可以既包括全向视觉避障实现装置的内部存储单元也包括外部存储设备。存储器91不仅可以用于存储安装于全向视觉避障实现装置的应用软件及各类数据，例如全向视觉避障程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器92在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、图像信号处理器ISP(Image Signal Processing，ISP)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器91中存储的程序代码或处理数据，例如执行全向视觉避障程序等。

通信总线93用于实现这些组件之间的连接通信。

网络接口94可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该全向视觉避障实现装置与其他电子设备之间建立通信连接。

可选地，该全向视觉避障实现装置还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在全向视觉避障实现装置中处理的信息以及用于显示可视化的用户界面。

图9仅示出了具有组件91-94以及全向视觉避障程序的全向视觉避障实现装置，本领域技术人员可以理解的是，图9示出的结构并不构成对全向视觉避障实现装置的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图9所示的全向视觉避障实现装置实施例中，存储器91中存储有全向视觉避障程序；处理器92执行存储器91中存储的全向视觉避障程序时实现如下步骤：

步骤S10：发送触发信号到图像采集设备，以使所述采集设备采集图像信号；

步骤S20：对所述图像信号进行合并处理，以获得合并的图像数据；

步骤S30：对所述合并的图像数据进行拆解处理，以获得拆解的图像数据；

步骤S40：对所述拆解的图像数据进行视觉处理，以获得视觉图像。

参照图10所示，为本发明全向视觉避障实现装置一实施例中的全向视觉避障程序的程序模块示意图，该实施例中，全向视觉避障程序可以被分割为同步触发模块10、传输模块20、第一处理模块30、第二处理模块40和设置模块50，示例性地：

同步触发模块10，用于执行发送同步触发脉冲信号任务；

传输模块20，用于执行传输信号和数据任务；

第一处理模块30，用于ISP执行第一处理；

第二处理模块40，用于主芯片执行第二处理；

设置模块50，用于设置同步触发间隔时间。

上述同步触发模块10、传输模块20、第一处理模块30、第二处理模块40和设置模块50等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

此外，本发明实施例还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有全向视觉避障程序，所述全向视觉避障程序可被一个或多个处理器执行，以实现如下操作：

步骤S10：发送触发信号到图像采集设备，以使所述采集设备采集图像信号；

步骤S20：对所述图像信号进行合并处理，以获得合并的图像数据；

步骤S30：对所述合并的图像数据进行拆解处理，以获得拆解的图像数据；

步骤S40：对所述拆解的图像数据进行视觉处理，以获得视觉图像。

本发明的存储介质具体实施方式与上述全向视觉避障方法和装置各实施例基本相同，在此不作累述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是无人机、手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种全向视觉避障实现方法，其特征在于，所述全向视觉避障实现方法包括：

步骤S10：发送触发信号到图像采集设备，以使所述采集设备采集图像信号；

步骤S20：对所述图像信号进行合并处理，以获得合并的图像数据；

步骤S30：对所述合并的图像数据进行拆解处理，以获得拆解的图像数据；

步骤S40：对所述拆解的图像数据进行视觉处理，以获得视觉图像。

2.根据权利要求1所述的全向视觉避障实现方法，其特征在于，通过同步触发时钟发送所述触发信号至所述采集设备。

3.根据权利要求2所述的全向视觉避障实现方法，其特征在于，所述触发信号是脉冲信号。

4.根据权利要求1所述的全向视觉避障实现方法，其特征在于，所述步骤S20中，通过图像信号处理器(Image Signal Processing，ISP)对所述图像信号进行合并处理以获得合并的图像数据。

5.根据权利要求1所述的全向视觉避障实现方法，其特征在于，所述步骤S30中所述拆解处理包括：

将所述合并的图像数据根据所述图像行号依次拷贝，得到拆解的图像数据；或者

将所述合并的图像数据根据被合并图像起始地址偏移和图像宽度跨度大小进行拆解，得到拆解的图像数据。

6.一种全向视觉避障实现系统，其特征在于，所述全向视觉避障实现系统包括：

同步触发时钟，用于发送所述触发信号至所述采集设备，以触发所述图像采集设备采集图像信号；

多个ISP及主芯片，用于对所述图像信号进行合并处理以获得合并的图像数据；及

主芯片，用于对所述合并的图像数据进行拆解处理及对所述拆解的图像数据进行视觉处理，以获得视觉图像。

7.根据权利要求6所述的全向视觉避障实现系统，其特征在于，所述触发信号是脉冲信号。

8.根据权利要求6所述的全向视觉避障实现系统，其特征在于，所述主芯片用于进行拆解处理的步骤包括：

将所述合并的图像数据根据所述图像行号依次拷贝，得到拆解的图像数据；或者

将所述合并的图像数据根据被合并图像起始地址偏移和图像宽度跨度大小进行拆解，得到拆解的图像数据。

9.一种全向视觉避障实现装置，其特征在于，所述全向视觉避障实现装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的全向视觉避障程序，所述全向视觉避障程序被所述处理器执行时实现如权利要求1至5中任一所述的全向视觉避障实现方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有全向视觉避障程序，所述全向视觉避障程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的全向视觉避障方法的步骤。

Images