CN111818254A - 图像处理方法、装置、无人装置和计算机可读存储介质 - Google Patents

图像处理方法、装置、无人装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111818254A
CN111818254A CN201910290336.9A CN201910290336A CN111818254A CN 111818254 A CN111818254 A CN 111818254A CN 201910290336 A CN201910290336 A CN 201910290336A CN 111818254 A CN111818254 A CN 111818254A
Authority
CN
China
Prior art keywords
image
images
base
overlay
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910290336.9A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhendi Intelligent Technology Co Ltd
Original Assignee
Suzhou Zhendi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhendi Intelligent Technology Co Ltd filed Critical Suzhou Zhendi Intelligent Technology Co Ltd
Priority to CN201910290336.9A priority Critical patent/CN111818254A/zh
Publication of CN111818254A publication Critical patent/CN111818254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种用于无人装置的图像处理方法、图像处理装置、包括图像处理装置的无人机以及计算机可读介质。该图像处理方法包括：将所述无人装置的多个成像装置所捕获的多幅图像进行合成，生成合成图像；选择所述合成图像中的一子区域的图像作为基础图像；选择所述多幅图像至少其中之一或者所述合成图像中另一子区域的图像作为叠加图像；以及将所述叠加图像叠加到所述基础图像上，生成显示图像，其中所述叠加图像的尺寸小于所述基础图像的尺寸。

Description

图像处理方法、装置、无人装置和计算机可读存储介质
技术领域
本发明涉及图像处理领域，尤其涉及用于无人装置的图像处理方法、图像处理装置、包括该图像处理装置的无人装置以及计算机可读存储介质。
背景技术
利用无人机进行拍摄是现有技术中重要的拍摄手段之一。无人机作为一种新型的拍摄工具，具有较高的可操作性。在现有技术中，在利用无人机拍摄全景图像时，通常通过将单个相机沿移动方向捕获的多个图像进行拼接而生成全景图像。然而，在当前对于无人机拍摄图像的显示，也仅限于对于成像装置拍摄图像的直接显示。此外，由于多个图像并非同时捕获的，因此，在将多个图像进行拼接时，图像之间不能完全配准，导致生成的全景图像质量不高。
背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域的现有技术。
发明内容
为了克服现有技术中的上述缺陷中的一个或多个，本发明提供一种用于无人装置的图像处理方法、图像处理装置、包括该图像处理装置的无人装置以及计算机可读存储介质。
根据本发明的一个实施例，提供一种用于无人装置的图像处理方法，包括：将无人装置的多个成像装置所捕获的多幅图像进行合成，生成合成图像；选择合成图像中的一子区域的图像作为基础图像；选择多幅图像至少其中之一或者合成图像中另一子区域的图像作为叠加图像；以及将叠加图像叠加到基础图像上，生成显示图像，其中叠加图像的尺寸小于基础图像的尺寸。
根据本发明的一个实施例，还提供一种用于无人装置的图像处理装置，包括：图像合成单元，用以将无人装置的多个成像装置所捕获的多幅图像进行合成，以生成合成图像；以及图像叠加单元，用以接收合成图像，选择合成图像中的一个子区域的图像作为基础图像，选择多幅图像中的至少其中之一或者合成图像中的另一子区域的图像作为叠加图像，并将叠加图像叠加到基础图像上，生成显示图像，其中叠加图像的尺寸小于基础图像的尺寸。
根据本发明的又一个实施例，还提供一种无人装置，包括：无人装置本体；多个成像装置，安装在无人装置本体上，多个成像装置被配置为覆盖不同的视场；以及图像处理装置，与多个成像装置耦合以接收成像装置捕获的多幅图像，图像处理装置包括：图像合成单元，用以将多幅图像进行合成，以生成合成图像；以及图像叠加单元，用以接收合成图像，选择合成图像中的一个子区域的图像作为基础图像，选择多幅图像中的至少其中之一或者合成图像中的另一子区域的图像作为叠加图像，并将叠加图像叠加到基础图像上，生成显示图像，其中叠加图像的尺寸小于基础图像的尺寸。
根据本发明的又一个实施例，还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令，该可执行指令在被处理器执行时实施如上所述的图像处理方法。
根据本发明的用于无人装置的图像处理方法、图像处理装置、包括该图像处理装置的无人装置以及计算机可读存储介质至少能够在显示图像上为用户呈现多视角的画面，从而提升用户体验；此外，还能够灵活地选择和/或改变用于形成显示图像的基础图像和叠加图像，从而能够根据实际需要，灵活地为用户呈现无人装置拍摄的图像。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本发明实施例的无人装置系统的结构框图。
图2示出了根据本发明另一实施例的无人装置系统的结构框图。
图3示出了在无人装置本体上设置的多个成像装置的示例。
图4示出了图像叠加单元选择基础图像和叠加图像、从而形成显示图像的示例。
图5示出了显示图像的另一个示例。
图6-图9是分别用于说明基础图像和叠加图像选择的示例的示意图。
图10示出了根据本发明实施例的图像处理方法的示例性流程图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1示出了根据本发明实施例的无人装置系统的用于执行图像处理的各个部件的结构框图。
如图1所示，根据本发明的无人装置系统可以包括：无人装置本体100；多个成像装置1011、…、101N，安装在该无人装置本体100上，多个成像装置1011、…、101N被配置为覆盖不同的视场；图像处理装置102,与多个成像装置1011、…、101N耦合以接收多个成像装置1011、…、101N捕获的多幅图像。本领域技术人员可以理解，本发明中的无人装置既可以是无人机，也可以是无人船，这些都在本发明的保护范围内。
无人装置本体100上还可以设置有：传感器103，诸如陀螺仪、罗盘或GPS设备，以便获取无人装置的地理位置信息以及姿态信息等；控制单元104，用于控制无人装置本体上各个部件的操作；动力模块105，例如可以包括多个推进器或推进单元，用于向无人装置提供动力；以及通信单元106，用于与外部设备通信。此外，无人装置本体上还可以设置有有效载荷模块、电池模块等(未示出)，其具体操作是本领域技术人员公知的，在此不再赘述。
根据本发明的实施例，可以在无人装置本体100的预定位置处设置多个成像装置101，如多个相机。多个成像装置101的视野可以围绕无人装置所要捕获的场景。在本发明的实施例中，多个成像装置101可以是相同的并且以相同的分辨率和相同的帧速率生成输出图像。优选地，可以将多个相机设置在无人装置的例如云台单元上。如图3所示，四个相机1011、1012、1013、1014分别设置在无人装置的云台上，分别覆盖约120度的视场。
根据本发明的实施例，可以将多个成像装置安装在无人装置本体上，以使得多个成像装置的视野可以覆盖无人装置所要捕获的场景，并且如图3所示，多个成像装置中每个成像装置的视野与至少一个其他成像装置的视野部分重叠。根据本发明的实施例，多个成像装置101中的一个成像装置被配置为其视野对应于无人装置本体100的前方。无人装置本体100的前方可以是一个相对的方向，例如一些无人机可以沿着各个方向自由飞行，那么其前方就可以是一个由用户自定义的方向。而一些无人机由于其机体结构和动力输出，只能基本沿着机头的指向飞行，那么其前方就是机头的方向。
成像装置101捕获的多幅图像可以被发送至设置在无人装置本体100上的图像处理装置102，图像处理装置102对成像装置101捕获的图像进行图像处理，以便生成显示图像。
本发明的无人装置系统还包括：控制设备200(例如是遥控器)，被配置为与图像处理装置102耦合，并可接收和显示图像处理装置102生成的显示图像。控制设备200可以通过有线或无线方式通信的方式与图像处理装置102耦合。根据一个优选实施例，控制设备可以是手机、平板、桌面型电脑、膝上电脑等各种类型的电子设备，其上具有图形用户界面。控制设备200可以通过3G、4G、5G、WIFI、蓝牙、Zigbee等方式与图像处理装置进行通讯，接收来自图像处理装置102的显示图像和/或向图像处理装置102发送信息。控制设备200也可以通讯地耦合到无人装置本体100的其他部件，例如传感器103、控制单元104、动力模块105以及通信单元106。控制设备200可以包括感测单元201，用以感测控制设备相对于无人装置的方向、控制设备的运动和/或与外部设备相关联的用户的运动。感测单元201诸如可以是陀螺仪、三轴加速感测器、重力加速计、光感测器等。控制设备200还可以包括显示单元202，用以对显示图像进行显示；用户接口203，用以接收用户输入；以及收发单元204，用以接收图像处理装置102生成的显示图像。收发单元204可以例如无线或有线方式与图像处理装置102通信。
根据本发明的一个实施例，用户接口203用以接收用户输入并通过收发单元204将该用户输入发送给图像处理装置102，从而图像处理装置102可以基于用户选择或改变基础图像、叠加图像、和叠加图像在基础图像上的位置。根据本发明，用户接口203可以根据感测单元201感测到的数据改变基础图像和/或叠加图像。用户输入可以包括但不限于触摸输入、语音输入、通过例如按钮等实现的硬件触发输入等。
图1中示出了图像处理装置102位于无人装置本体100中。但本发明不限于此，本领域技术人员可以构思将图像处理装置102设置在控制设备200中。图2示出了这样的一个实施例(为方便起见，仍使用与图1相同的附图标记。)
如图2所示，图像处理装置102集成在控制设备200中。收发单元204可与多个成像装置101通讯以采集成像装置101捕获的图像，并将图像交由图像处理装置102进行合成和叠加。这种实现方式对于某些场合是较为合适的。例如当控制设备200具有较强的图像处理能力、而无人装置本体100上的图像处理能力较弱时，在控制设备200中进行图像处理是非常有利的。合成、叠加之后的图像例如可以直接显示在控制设备200上。
另外，本领域技术人员还可以构思，将图像处理装置102集成在无人装置本体100和控制设备200之外的其他用户设备上，例如VR、AR眼镜、头盔上。这些都在本发明的保护范围内。根据本发明的一个实施例，多幅图像是由多个成像装置1011、…、101N同时捕获的，从而可以提高基于同时捕获的多幅图像生成的合成图像的图像质量。相比于现有技术中使用非同时捕获的多幅图像，在将多幅图像进行拼接时，能够更好地配准各个图像。
根据本发明的实施例，如图1所示，图像处理装置102可以包括：图像合成单元1021，用以处理无人装置的多个成像装置所捕获的多幅图像以生成合成图像；以及图像叠加单元1022，用以接收合成图像和成像装置101的多幅图像，以合成图像作为基础图像，并选择叠加图像后合并二者产生显示图像。
根据本发明的实施例，图像合成单元1021可以从多个成像装置1011、…、101N接收所捕获的多幅图像(例如实时图像)，并且可以通过以下方式将多个成像装置10所捕获的多幅图像合成，其中，多幅图像的每一幅与至少一幅其他图像部分重叠(如图3所示)：匹配多幅图像之间的特征，根据特征配准多幅图像，并根据配准产生合成图像。根据本发明，多幅图像中相邻图像之间至少部分重叠，从而可以基于重叠区域的特征点的匹配来配准相邻的图像，从而根据多幅图像中每两个相邻图像的配准而生成合成图像。图像合成单元1021可以采用本领域技术人员公知的任意适当的特征匹配和图像配准方法来进行多幅图像之间的特征匹配、图像配准，例如像素比对或特征比对等方法，其具体操作在此不再赘述。图像合成单元1021生成的合成图像可以具有与多幅图像相同的分辨率，或者也可以具有与多幅图像不同的分辨率，例如具有降低的分辨率，以降低图像传输和显示所需要的带宽和资源占用。
根据本发明，图像合成单元1021生成的合成图像可以是全景图像，拼接图像或是其他由多幅不同图像的部分图像组合而成的图像。
图像合成单元1021生成的合成图像可以被发送至图像叠加单元1022，从而图像叠加单元1022基于合成图像生成显示图像。更具体地，图像叠加单元1022接收合成图像，基于合成图像分别选择基础图像和叠加图像，将叠加图像叠加到基础图像上，以生成显示图像。本领域技术人员可以理解，在本发明中，叠加图像的尺寸小于基础图像的尺寸。
在本发明的一个实施例中，图像叠加单元1022可以选择合成图像中的一个子区域的图像作为基础图像，选择多幅图像中的至少其中之一或者合成图像中的另一子区域的图像作为叠加图像，并将叠加图像叠加到基础图像上，生成显示图像，在本发明的一个实施例中，叠加图像的尺寸小于基础图像的尺寸。
根据本发明的一个实施例，图像叠加单元1022可以根据无人装置的行进方向、预定设置或者用户输入，从合成图像中选择一子区域的图像作为基础图像，并且根据无人装置的行进方向、预定设置或者根据用户输入，选择多幅图像中的至少其中之一或者合成图像中的另一子区域图像作为叠加图像。
根据本发明，无人装置的行进方向可以从无人机上装配的传感器103，诸如GPS模块、陀螺仪、罗盘和/或其它传感器获取。此外，也可以根据用户输入来获取无人机的行进方向。例如，可以选择与无人机的行进方向对应的子区域的图像作为基础图像；和/或也可以将多个成像装置中的一个指定为对应于前向飞行方向，从而将该成像装置捕获的图像作为叠加图像。
预定设置可以是用户根据应用场景或实际需求而预先设置的。例如，可以预先设置合成图像中的某个子区域(例如预定大小的位于中间特定位置的子区域)的图像作为基础图像，和/或也可以预先设置合成图像中的与作为基础图像的子区域不同的另一区域的图像或者预先设置多个成像装置中的一个所捕获的图像作为叠加图像。
用户输入可以是用户通过与无人装置本体100耦合的控制设备200的用户接口203进行操作所产生的输入。无人装置本体100可以有线或无线的方式从控制设备200接收用户输入。例如，用户可以通过控制接口选择合成图像中的期望子区域图像作为基础图像，也可以指定合成图像中的另一子区域图像或者从多个成像装置中指定其中一个成像装置，将其所捕获的图像作为叠加图像。
此外，根据本发明的一个实施例，图像叠加单元1022还可以根据基础图像以及叠加图像在合成图像上的位置，确定叠加图像在基础图像上的叠加位置。基础图像以及叠加图像在合成图像上的位置是根据基础图像和叠加图像在合成图像上中的方向而确定，其中，基础图像和叠加图像在合成图像上中的方向可以由例如图像处理装置102或传感器103的输出所确定。
根据本发明的一个实施例，可以将多个成像装置1011、…、101N捕获的多幅图像以及图像合成单元1021生成的合成图像存储在无人装置的存储装置中，例如SD存储卡、固态硬盘SSD或其他合适的存储设备。
根据本发明的一个实施例，控制设备200可以是与图像处理装置102通信的遥控器，遥控器优选可以是VR设备、智能手机或平板、或者可穿戴式智能设备等。控制设备还可以是监视器、笔记型或桌上型电脑、或者其他装配有显示面板的无线电子装置。
图4示出了图像叠加单元根据传感器103的输出选择基础图像和叠加图像、从而形成显示图像的实施例。如图所示，无人装置本体上的多个成像装置101采集的图像，经图像合成单元1021处理后，形成360度的全景图像I。如图4所示，图像叠加单元1022根据例如用户输入从全景图像I中选取子区域图像I11作为基础图像，用户输入例如是用户通过控制设备200的用户接口203进行的选择，或者是通过AR、VR头盔等通过转动头部或身体而进行的选择。图像叠加单元1022还根据无人装置的行进方向从全景图像I中选取另一子区域图像I12作为叠加图像，并且将基础图像I11与叠加图像I12叠加在一起形成显示图像I10。应可理解，另一子区域图像I12不一定是无人机行进方向的图像，也可根据用户的选择来进行变化。例如根据一个实施例，基础图像I11可以是无人装置行进方向上的图像，而叠加图像I12可以是无人装置行进方向的后方的图像，这样，用户既能够观察到行进方向上的图像，也能够通过叠加图像观察到后方的情况。这些都在本发明的保护范围内。
图5示出了根据图4所生成的显示图像呈现在显示装置的一个示例。如图5所示，显示装置是例如智能眼镜、AR、VR头盔等，或者是手机、平板、电脑等电子设备。与图4类似，使用者可以分别单独地选择基础图像I21和叠加图像I22，并将通过图像叠加单元将二者叠加在一起，形成显示图像I20并呈现给用户。图5中，叠加图像I22叠加在基础图像I21的右上角，用户也可以根据自己的习惯和喜好来选择将叠加图像I22叠加在基础图像I21的其他位置上，或者可以选择叠加图像I22的大小。根据一个实施例，用户可以通过控制设备200的用户接口203来取消或打开叠加图像的显示。在图5的实施例中,当基础图像I21是通过显示装置的传感器或用户输入来决定时,基础图像I21可随着传感器的感测值的变化或是用户输入的改变,对应改变所显示的内容。结合图4与图5，假设基础图像I21的显示可随着使用者头部转动，使得智能眼镜的感测器对应产生感测值变化进而改变。例如当使用者头向右转时，图5中所显示的基础图像I21将对应改变为图4中基础图像I11右侧某一偏移量的区域。在本实施例中，基础图像I11在图4中的位置偏移量可根据感测值的变化，例如方向和数值，而决定。
根据本发明，图像叠加单元1022对基础图像和叠加图像的选择可以是彼此独立地。例如，可以根据用户输入，从合成图像中选择一子区域作为基础图像；而根据无人机的行进方向，选择多幅图像之一作为叠加图像。
图像叠加单元1022在分别选择了基础图像和叠加图像之后，可以将叠加图像叠加在基础图像上。叠加位置例如可以预先设置或者根据用户输入而确定。例如，用户可以根据实际需要，经由例如与图像处理装置102耦合的控制装置103的控制接口、通过用户输入将叠加图像放置在基础图像上的任意位置，例如左上角或右下角。
此外，图像叠加单元1022在执行叠加操作之前，还可以对基础图像和叠加图像进行例如放大或缩小的处理，例如，对基础图像进行放大处理和/或对叠加图像进行缩小处理，以使得基础图像与叠加图像的叠加显示更清晰。
根据本发明的一个实施例，图像叠加单元1022可以根据无人机的飞行方向从合成图像中选择一子区域的图像作为基础图像；并且可以根据无人机的方向选取与其飞行方向相对应的成像装置所捕获的图像作为叠加图像，其中无人机的飞行方向可以从控制设备获取(在无头模式下，可以从无人机的传感器获取)。如图6所示，相机1为与飞行方向相对应的成像装置，可以将相机1捕获的图像I32作为叠加图像I32，将叠加图像I32叠加到例如根据无人机的飞行方向从多个成像装置1、2、…、N生成的合成图像中选择的基础图像I31上，从而生成了显示图像I30。
根据本发明的另一个实施例，图像叠加单元1022可以根据无人机的飞行方向从合成图像中选择一子区域的图像作为基础图像，并且可以根据无人机的方向选择与其飞行方向相对应的成像装置所捕获的图像作为叠加图像，其中，叠加图像在合成图像上的位置可以根据基础图像和叠加图像在整个合成图像中的方向而变化，其中基础图像和叠加图像在整个合成图像中的方向可以由图像处理装置或传感器确定。如图7所示，可以根据例如飞行方向将叠加图像I32的叠加位置更改为基础图像I31的左上角，从而生成显示图像I30’。
根据本发明的一个实施例，图像叠加单元1022可以根据用户输入选择基础图像和叠加图像。例如，图像叠加单元1022可以通过滑动控制装置的显示单元的触摸屏而选择或者改变基础图像或者叠加图像。在选择多个成像装置捕获的多幅图像之一作为叠加图像的情况下，也可以通过用户输入选择或改变提供叠加图像的成像装置。
根据本发明的一个实施例，图像叠加单元1022可以根据用户输入选择基础图像和叠加图像，并且改变叠加图像在基础图像上的叠加位置。例如，图像叠加单元1022可以通过滑动控制装置的显示单元的触摸屏而改变叠加图像在基础图像上的叠加位置。如图8所示，可以根据用户输入，改变叠加图像I21在基础图像I22上的叠加位置，从而生成新的显示图像I30”。
此外，根据本发明，还可以通过用户输入分别选择处于合成图像的不同子区域的图像作为基础图像和叠加图像，其中可以通过例如滑动控制装置的显示单元的触摸屏来改变提供基础图像和叠加图像的子区域，以改变基础图像和叠加图像。如图9所示，可以根据与无人装置本体通信的控制装置提供的控制装置相对于无人装置的方向从合成图像中选择一子区域图像作为基础图像，并且根据例如无人装置本体提供的飞行方向在合成图像中选择另一子区域的图像作为叠加图像。
在本发明中，优选地，图像叠加单元1022选择的基础图像和叠加图像不重叠。
根据本发明的一个实施例，图像叠加单元102还可以被配置成可接收用户输入，并根据用户输入改变基础图像、和/或叠加图像、和/或叠加图像在基础图像上的位置。可以根据实际需求，随时更改基础图像、叠加图像，以及叠加图像在基础图像上的位置至少其中之一，以该便显示图像。例如，图像处理装置1022的图像叠加单元1022可以根据设置在无人装置本体上的传感器103、诸如陀螺仪、罗盘或者GPS设备的数据，改变基础图像和/或叠加图像。
根据本发明，图像叠加单元1022还可以被配置成可将显示图像发送到与无人装置耦合的控制装置上用于显示。
根据本发明的图像处理装置102能够有针对性地同时显示以不同视角获取的图像。
本领域技术人员可以理解，本发明中上述各个模块之间的耦合，可以通过有线的方式进行耦合，也可以通过无线的方式进行耦合，也可以通过有线、无线相结合的方式进行耦合。另外，各个模块之间通讯所采用的协议、规范，可以是现有的协议和规范，也可以根据实际的工况和要求进行定制。这些都在本发明的范围内。另外，本发明的无人机，既可以是无人航空器，也可以是无人船，这都在本发明的范围内。
以上描述了根据本发明实施例的用于无人装置的图像处理装置和图像处理方法。此外，本发明还提供一种用于无人装置的图像处理方法。
图10示出了用于无人装置的图像处理方法的示例性流程。
如图10所示，在步骤S11，将无人装置的多个成像装置所捕获的多幅图像进行合成，生成合成图像。
在步骤S12，选择合成图像中的一子区域的图像作为基础图像；
在步骤S13，选择多幅图像至少其中之一或者合成图像中另一子区域的图像作为叠加图像；以及
在步骤S14，将叠加图像叠加到基础图像上，生成显示图像，其中叠加图像的尺寸小于基础图像的尺寸。
上述步骤例如可以参照以上结合图1-8描述的图像处理装置的图像合成单元和图像叠加单元的操作处理，在此省略其具体描述。
根据本发明的一个实施例，多幅图像是由多个成像装置同时捕获的，和/或合成图像为全景图像，和/或基础图像与叠加图像不重叠。
根据本发明的一个实施例，在步骤S11，生成合成图像包括：匹配多幅图像之间的特征；根据特征配准多幅图像，生成合成图像，其中多幅图像的每一幅与至少一幅其他图像部分重叠。
根据本发明的一个实施例，在步骤S13，选择基础图像包括：根据无人装置的行进方向、预定设置或者用户输入，从合成图像中选择基础图像。其中，选择叠加图像包括：根据无人装置的行进方向、预定设置或者根据用户输入，选择多幅图像中的至少其中之一或者合成图像中的另一子区域图像作为叠加图像，其中无人机的行进方向优选地通过GPS信息、陀螺仪或罗盘获得。
根据本发明的一个实施例，图像处理方法还包括：接收用户输入，根据用户输入改变基础图像、和/或叠加图像、和/或叠加图像在基础图像上的位置。
根据本发明的一个实施例，图像处理方法还包括：根据基础图像以及叠加图像在合成图像上的位置，确定叠加图像在基础图像上的叠加位置。
根据本发明的一个实施例，图像处理方法还包括：将显示图像发送到与图像处理装置耦合的控制设备上用于显示。
上述根据本公开的实施例的图像处理装置中的各个组成单元、子单元等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的机器安装构成该软件或固件的程序，该机器在安装有各种程序时，能够执行上述各组成单元、子单元的各种功能。
此外，本公开还提出了一种存储有机器可读取的指令代码的计算机可读存储介质。上述指令代码由机器读取并执行时，可执行上述根据本公开的实施例的图像处理方法。计算机存储介质包括但不限于：磁盘、光盘、磁光盘、半导体存储器等的各种存储介质。
根据本发明的用于无人装置的图像处理方法、图像处理装置、包括该图像处理装置的无人装置以及计算机可读存储介质至少能够在显示图像上为用户呈现多视角的画面，从而提升用户体验；此外，还能够灵活地选择和/或改变用于形成显示图像的基础图像和叠加图像，从而能够根据实际需要，灵活地为用户呈现无人机拍摄的图像。
在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。
此外，显然，根据本发明的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本发明的目的也可以通过下述方式实现：将存储有上述可执行指令的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种用于无人装置的图像处理方法，包括：
将所述无人装置的多个成像装置所捕获的多幅图像进行合成，生成合成图像；
选择所述合成图像中的一子区域的图像作为基础图像；
选择所述多幅图像至少其中之一或者所述合成图像中另一子区域的图像作为叠加图像；和
将所述叠加图像叠加到所述基础图像上，生成显示图像，其中所述叠加图像的尺寸小于所述基础图像的尺寸。
2.如权利要求1所述的图像处理方法，其中所述多幅图像是由所述多个成像装置同时捕获的；和/或所述合成图像为全景图像；和/或所述基础图像与所述叠加图像不重叠。
3.如权利要求1或2所述的图像处理方法，其中所述生成合成图像的步骤包括：匹配所述多幅图像之间的特征；根据所述特征配准所述多幅图像，生成所述合成图像，其中所述多幅图像的每一幅与至少一幅其他图像部分重叠。
4.如权利要求1或2所述的图像处理方法，其中所述选择所述基础图像的步骤包括：根据所述无人机的行进方向、预定设置或者用户输入，从所述合成图像中选择所述基础图像；
其中所述选择叠加图像的步骤包括：根据所述无人装置的行进方向、预定设置或者根据用户输入，选择所述多幅图像中的至少其中之一或者所述合成图像中的另一子区域图像作为叠加图像，
其中所述无人装置的行进方向优选地通过GPS信息、陀螺仪或罗盘获得。
5.如权利要求1或2或所述的图像处理方法，还包括：接收用户输入，根据所述用户输入改变所述基础图像、和/或所述叠加图像、和/或所述叠加图像在所述基础图像上的位置。
6.如权利要求1或2所述的图像处理方法，还包括：根据所述基础图像以及叠加图像在所述合成图像上的位置，确定所述叠加图像在所述基础图像上的叠加位置。
7.如权利要求1或2所述的图像处理方法，还包括：将所述显示图像发送到与所述图像处理装置耦合的控制设备上用于显示。
8.一种用于无人装置的图像处理装置，包括：
图像合成单元，用以将所述无人装置的多个成像装置所捕获的多幅图像进行合成，以生成合成图像；以及
图像叠加单元，用以接收所述合成图像，选择所述合成图像中的一个子区域的图像作为基础图像，选择所述多幅图像中的至少其中之一或者所述合成图像中的另一子区域的图像作为叠加图像，并将所述叠加图像叠加到所述基础图像上，生成显示图像，其中所述叠加图像的尺寸小于所述基础图像的尺寸。
9.如权利要求8所述的图像处理装置，其中所述多幅图像是由所述多个成像装置同时捕获的，和/或所述合成图像为全景图像，和/或所述基础图像与所述叠加图像不重叠，
其中所述图像合成单元配置成通过以下方式生成所述合成图像：匹配所述多幅图像之间的特征；根据所述特征配准所述多幅图像；根据所述配准生成所述合成图像，
其中所述多幅图像的每一幅与至少一幅其他图像部分重叠。
10.如权利要求8或9所述的图像处理装置，其中所述图像叠加单元配置成：根据所述无人装置的行进方向、预定设置或者用户输入，从所述合成图像中选择所述基础图像，并根据所述无人装置的行进方向、预定设置或者根据用户输入，选择所述多幅图像中的至少其中之一或者所述合成图像中的另一子区域图像作为叠加图像，所述无人装置的行进方向优选地通过GPS信息、陀螺仪或者罗盘获得。
11.如权利要求8或9所述的图像处理装置，其中所述图像叠加单元配置成可接收用户输入，并根据所述用户输入改变所述基础图像、和/或所述叠加图像、和/或所述叠加图像在所述基础图像上的位置。
12.如权利要求8或9所述的图像处理装置，其中，所述图像叠加单元配置成可将所述显示图像发送到与所述无人机耦合的控制设备上用于显示。
13.一种无人装置系统，包括：
无人装置本体；
多个成像装置，安装在所述无人装置本体上，所述多个成像装置被配置为覆盖不同的视场；以及
图像处理装置，与所述多个成像装置耦合以接收所述成像装置捕获的多幅图像，所述图像处理装置包括：
图像合成单元，用以将多幅图像进行合成，以生成合成图像；以及
图像叠加单元，用以接收所述合成图像，选择所述合成图像中的一个子区域的图像作为基础图像，选择所述多幅图像中的至少其中之一或者所述合成图像中的另一子区域的图像作为叠加图像，并将所述叠加图像叠加到所述基础图像上，生成显示图像，其中所述叠加图像的尺寸小于所述基础图像的尺寸。
14.如权利要求13所述的无人装置系统，还包括控制设备，所述控制设备与所述图像处理装置耦合，所述控制设备包括：
收发单元，用以接收所述图像处理装置生成的所述显示图像；以及
显示单元，用以对所述显示图像进行显示。
15.如权利要求14所述的无人装置系统，其中，所述控制设备还包括用户接口，用以接收用户输入，其中，所述收发单元还用以将所述用户输入发送至所述图像处理装置以改变所述基础图像、和/或所述叠加图像、和/或所述叠加图像在所述基础图像上的位置。
16.如权利要求14或15所述的无人装置系统，其中所述控制设备包括感测单元，用以感测所述控制设备相对于所述无人装置的方向，其中，所述收发单元还用以将所述控制设备相对于所述无人装置的方向的信息发送至所述图像处理装置，所述用户接口根据所述控制设备相对于所述无人装置的方向的信息改变基础图像和/或叠加图像，其中所述控制装置优选是遥控器，所述遥控器优选是VR设备或者智能手机，所述感测单元优选是陀螺仪。
17.如权利要求14或15所述的无人装置系统，其中所述无人装置本体上设置有陀螺仪、罗盘或GPS设备，所述图像处理装置的所述图像叠加单元根据所述陀螺仪、罗盘或者GPS设备的数据改变所述基础图像和/或所述叠加图像。
18.如权利要求13或14所述的无人装置系统，其中所述多幅图像是由所述多个成像装置同时捕获的，和/或所述合成图像为全景图像，和/或所述基础图像与所述叠加图像不重叠，
其中所述图像合成单元配置成通过以下方式生成所述合成图像：匹配所述多幅图像之间的特征；根据所述特征配准所述多幅图像；根据所述配准生成所述合成图像，其中所述多幅图像的每一幅与至少一幅其他图像部分重叠。
19.如权利要求13或14所述的无人装置系统，其中所述图像叠加单元配置成：根据所述无人装置的行进方向或者用户输入，从所述合成图像中选择所述基础图像，并根据所述无人机的行进方向或者根据用户输入，选择所述多幅图像中的至少其中之一或者所述合成图像中的另一子区域图像作为叠加图像，所述无人机的行进方向优选地通过GPS信息、陀螺仪或者罗盘获得。
20.如权利要求13或14所述的无人装置系统，其中所述图像叠加单元配置成可接收用户输入，并根据所述用户输入改变所述基础图像、和/或所述叠加图像、和/或所述叠加图像在所述基础图像上的位置。
21.如权利要求13或14所述的无人装置系统，其中所述图像叠加单元配置成可将所述显示图像发送到与所述图像处理装置耦合的控制设备上用于显示。
22.一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如权利要求1-7中任一项所述的图像处理方法。
CN201910290336.9A 2019-04-11 2019-04-11 图像处理方法、装置、无人装置和计算机可读存储介质 Pending CN111818254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910290336.9A CN111818254A (zh) 2019-04-11 2019-04-11 图像处理方法、装置、无人装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910290336.9A CN111818254A (zh) 2019-04-11 2019-04-11 图像处理方法、装置、无人装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111818254A true CN111818254A (zh) 2020-10-23

Family

ID=72843625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910290336.9A Pending CN111818254A (zh) 2019-04-11 2019-04-11 图像处理方法、装置、无人装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111818254A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160295087A1 (en) * 2013-12-19 2016-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multichannel optics image capturing apparatus
CN108141511A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
CN110077320A (zh) * 2019-04-11 2019-08-02 爱驰汽车有限公司 一种基于雷达的倒车方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160295087A1 (en) * 2013-12-19 2016-10-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multichannel optics image capturing apparatus
CN108141511A (zh) * 2015-09-30 2018-06-08 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
CN110077320A (zh) * 2019-04-11 2019-08-02 爱驰汽车有限公司 一种基于雷达的倒车方法及装置

Similar Documents

Publication Publication Date Title
US20190243357A1 (en) Wearable uav control device and uav system
CN109151402B (zh) 航拍相机的图像处理方法、图像处理系统及无人机
WO2014077046A1 (ja) 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
JP2016203978A (ja) 無人機を没入状態で操縦するためのシステム
CN109445464B (zh) 一种飞行控制方法及飞行控制系统
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
KR20150134591A (ko) 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
JP6748292B2 (ja) アルバム生成装置、アルバム生成システム及びアルバム生成方法
JP2017015704A (ja) ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法
CN107640317B (zh) 无人驾驶飞行器系统
US9961658B2 (en) Local network for the simultaneous exchange of data between a drone and a plurality of user terminals
US20210004005A1 (en) Image capture method and device, and machine-readable storage medium
JP2019135605A (ja) 撮影映像表示装置及び撮影映像表示方法
JP6649010B2 (ja) 情報処理装置
WO2021079636A1 (ja) 表示制御装置、表示制御方法及び記録媒体
JP3527160B2 (ja) 撮影指示システム、撮影指示方法及び記録媒体
CN210007799U (zh) 图像处理系统及无人机
CN111818254A (zh) 图像处理方法、装置、无人装置和计算机可读存储介质
KR102491637B1 (ko) 영상 제공 장치 및 방법
CN107636592B (zh) 航道规划方法、控制端、飞行器及航道规划系统
JP6329219B2 (ja) 操作端末、及び移動体
WO2021237625A1 (zh) 一种图像处理方法、头戴式显示设备及存储介质
JPWO2018179402A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6929674B2 (ja) 環境画像表示システム及び環境画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201023