CN105513061B - 一种使用无人机进行海上遇险人员自动搜救方法 - Google Patents

一种使用无人机进行海上遇险人员自动搜救方法 Download PDF

Info

Publication number
CN105513061B
CN105513061B CN201510869662.7A CN201510869662A CN105513061B CN 105513061 B CN105513061 B CN 105513061B CN 201510869662 A CN201510869662 A CN 201510869662A CN 105513061 B CN105513061 B CN 105513061B
Authority
CN
China
Prior art keywords
module
image
unmanned plane
detection module
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510869662.7A
Other languages
English (en)
Other versions
CN105513061A (zh
Inventor
刘昱昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201510869662.7A priority Critical patent/CN105513061B/zh
Publication of CN105513061A publication Critical patent/CN105513061A/zh
Application granted granted Critical
Publication of CN105513061B publication Critical patent/CN105513061B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种使用无人机进行海上遇险人员自动搜救方法，包括图像去噪模块，去除背景色模块，特殊颜色检测模块，异常物体检测模块，挥手检测模块，检测结果处理模块，飞行控制模块，控制台模块。所述的图像去噪模块用以对采集到的图像进行去噪处理；所述的去除背景色模块用以将海面上的背景色去除；所述的特殊颜色检测模块提取出海面上靠近红色和橙色的图像；所述的异常物体检测模块对提取出的图像进行异常物体检测；所述的挥手检测模块，对异常物体进行挥手检测；所述的检测结果处理模块，对于所有检测出来结果进行排序；所述的飞行控制模块用于对无人机的飞行路径进行控制；所述的控制台模块用于由监控人员对检测出来的结果进行最终筛选。

Description

一种使用无人机进行海上遇险人员自动搜救方法
技术领域
本发明涉及无人机搜救领域，计算机视觉领域，具体涉及使用无人机进行落水人员搜救的方法。
背景技术
对于海面遇险船只的人员搜救工作，传统方法使用飞机或者船只前往出事海域进行搜救，使用人工对可疑区域内进行观察，这种方法对人力需求较高，并且会因为观察人员的疲劳而产生漏判；若使用无人机采集落水区域的图像，并在远程控制台进行人工观察，则会对无线带宽要求很高，无法实时传递高清图像，多架无人机会造成干扰，并且没有计算机辅助的控制台仍然会造成观察人员的疲劳而产生误判。
本发明使用无人机进行遇险人员的搜救工作，无人机有着机动灵活的优点，其成本低于人工方式，由于无人机类似于飞机，会引起落水人员的注意并挥手，所以更易识别。本发明通过使用无人机自带的摄像头进行图像采集，并将大部分识别工作放在机身进行处理，减少了每一架无人机所占用的带宽，从而使得能够在相同区域内布放大量的无人机，提高搜救的成功率。通过使用智能的检测算法，本发明能够实现无人机自动搜寻目标及路径选择，从而减少了人力的需求。
发明内容
本发明所要解决的技术问题是为了克服传统搜救方式大量使用人工进行检测，从而容易因为观察人员的疲劳而产生漏判的缺点，提出了一种使用无人机进行自动检测落水人员的方法。
本发明解决其技术问题所采用的技术方案是：
一种使用无人机进行海上遇险人员自动搜救方法，包括带有遥感摄像头的无人机，装配在无人机上用于与被搜救人员进行通讯的麦克风和喇叭，图像去噪模块，去除背景色模块，特殊颜色检测模块，异常物体检测模块，挥手检测模块，检测结果处理模块，飞行控制模块，控制台模块；所述的装配在无人机上用于与被搜救人员进行通讯的麦克风和喇叭，其作用是用于在发现被搜救人员时，询问人员的情况，以及安抚搜救人员；所述的图像去噪模块，用以对采集到的图像进行去噪处理；所述的去除背景色模块，用以将海面上的背景色去除；所述的特殊颜色检测模块，对红色和橙色进行有针对性的检测，提取出海面上靠近红色和橙色的图像；所述的异常物体检测模块，分别对去除背景色模块所得到的图像和特殊颜色检测模块所得到的图像进行异常物体检测；所述的挥手检测模块，对于异常物体检测模块检测出的异常物体进行进一步的挥手检测，检测出可能的遇险者；所述的检测结果处理模块，对于所有检测出来的异常区域，按照检测出来区域存在遇险者的可能性大小进行排序，并将结果发送给控制台模块；所述的飞行控制模块用于对无人机的飞行路径和观测区域进行控制；控制台模块用于将检测出来的异常物体按照最大可能为遇险者的顺序展示给监控人员，由监控人员进行最终筛选。
所述的一种使用无人机进行海上遇险人员自动搜救方法，所需的设备为带有遥感摄像头的无人机以及装配在无人机上用于与被搜救人员进行通讯的防水麦克风和防水喇叭，该遥感摄像头，通常为垂直向下拍摄的广角摄像头；该防水麦克平时固定在无人机下，并使用3米长的连接线进行连接，当发现落水者时，接收控制台的命令，无人机悬空，将防水麦克放下，由落水者拾起，开始于控制台进行交流。
所述的一种使用无人机进行海上遇险人员自动搜救方法，共包含图像去噪模块，去除背景色模块，特殊颜色检测模块，异常物体检测模块，挥手检测模块，检测结果处理模块，飞行控制模块，控制台模块。
所述的图像去噪模块，在初始化过程中，其输入为包含遇险者、救生船和海面的彩色图像集合，以及含有挥手动作的视频片段与不含有挥手动作的海上视频片段的集合，该视频片段可以看成为一组视频帧的集合；在检测过程中，其输入为无人机的摄像头所摄的彩色图像。对于输入的图像X，首先设置一个3×3维的窗口，考虑该图像X的每个像素点X(i，j)，以该点为中心点的3×3维矩阵所对应的像素值分别为[X(i-1，j-1)，X(i-1，j)，X(i-1，j+1)，X(i，j-1)，X(i，j)，X(i，j+1)，X(i+1，j+1)，X(i+1，j)，X(j+1，j+1)]进行从大到小排列，取其排在中间的值为新的像素X′(i，j)所对应滤波后值，注意对于X的边界点，会出现其3×3维的窗口所对应的某些像素点不存在的情况，那么只需计算落在窗口内存在的像素点的中间值即可，若窗口内为偶数个点，将排在中间两个像素值的平均值作为该像素点去噪后的值X′(i，j)，从而，新的图像矩阵X′即为滤波后所得的图片矩阵；待处理结束后，在初始化阶段，将去噪处理过的遇险者、救生船和海面的彩色图像集合传递给去除背景模块和特殊颜色检测模块，将去噪处理过的含有挥手动作的视频片段与不含有挥手动作的海上视频片段的集合传递给挥手检测模块；在检测过程中，将去噪处理过的当前帧图片传递给除背景模块和特殊颜色检测模块。
所述的去除背景色模块，在初始化过程中，接收从图像去噪模块所传来的经过去噪处理的遇险者、救生船和海面的彩色图像集合，对于该集合，选取所有的海面的彩色图像构成集合为[X1，X2，…，Xn]，其中每个图像Xi(i＝1：n)的每个像素点Xi(a，b)有R，G，B三个分量，分别用计算集合中所有的像素点对应的R，G，B的平均值Rμ，Gμ，Bμ，于是得到了整个图像集合的背景颜色(Rμ，Gμ，Bμ)并保存，对于包含遇险者、救生船和海面的彩色图像集合的每张图片的每个像素点，分别减去(Rμ，Gμ，Bμ)，从而得到去除背景的图片，再将该彩色图片变成灰度图像，从而得到了去除背景色的图像，将该图像传递给异常物体检测模块；在检测过程中，对于图像去噪模块所传递来的经过去噪处理的海面图像，将该图像的每个像素点分别减去在初始化过程中所计算出来的海面背景色(Rμ，Gμ，Bμ)，再将去除背景色的图片转换成灰度图像，最后将该灰度图片传递给异常物体检测模块。
所述的将彩色图片变换成灰度图片的变换方法为：对于原始彩色图片X上的每一个像素点所对应的R，G，B分量，不失一般性的用i和j表示，则该像素点对应的灰度图像X′的灰度值为X′(i，j)＝0.3×B′(i，j)+0.59×G′(i，j)+0.11×R′(i，j)，其中X′(i，j)为整数，若所得结果为小数的话，仅取其整数部分，从而得到原始X的灰度图像X′。
所述的特殊颜色检测模块，接收由图像去噪模块所传递来的经过去噪处理的图像X，对该图像提取靠近橙色和红色的区域。在初始化过程中，考虑到海面上大部分颜色为蓝色绿色和白色，而海上救生衣、救生艇、信号以红色和橙色为主，所以，对红色和橙色的提取方法 为：对于图像上的每一像素点x(a，b)，其R，G，B分量分别为Rx(a，b)，Gx(a，b)，Bx(a，b)，首先取三个分量的最小值min，计算该分量对应的除去最小值min后的分量R′x(a，b)＝Rx(a，b)-min，G′x(a，b)＝Gx(a，b)-min，B′x(a，b)＝Bx(a，b)-min，对于该去除最小值后的分量(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))，若R′μ(a，b)＞θ，则说明当前区域有较大的红色分量，θ为一个阈值。对于去除最小值后的像素点(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))所构成的图像X′，单独提取其彩色图像的红色分量R′μ，将R′μ(a，b)传递给异常物体检测模块。在检测过程中，第一步，构造一个与图像X有着相同维度的矩阵M，其初始时每个元素都为0.第二步，对于每个像素点，减去其最小分量，该方法与初始化过程中的方法相同，这里不再赘述；对于去除最小值后的分量(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))，若R′μ(a，b)＞θ，则说明当前区域有较大的红色分量，而这些红色分量更大可能为救生衣、救生艇或者其他求救信号所发出的，θ为一个阈值。对于R′μ(a，b)＞θ所对应的点(a，b)，将M(a，b)的值赋值为1。第三步，待所有像素点都处理结束后，去除M中的孤立点；对于去除最小值后的像素点(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))所构成的图像X′，单独提取其彩色图像的红色分量R′μ，将然后对于R′μ的每一个像素点(a，b)，计算R′μ(a，b)＝R′μ(a，b)×M(a，b)，这样做的目的是保留红色分量较多的图像区域的灰度图，删去红色分量较少的图像区域的图像信息。待R′μ和M的每个点处理结束后，将R′μ和M传递给异常物体检测模块。
所述的去除M中的孤立点，其方法如下，设M为m×n维的矩阵，将该矩阵缩小为维的矩阵M′，其中意为x整数部分。对于矩阵中的元素M′(a，b)，对应于矩阵M的角点为(20×a+1，20×b+1)，(20×a+20，20×b+20)所围成的矩形区域，计算这个区域的所有M(i，j)的平均值μ，若μ＞ε，ε为阈值，则M′(a，b)＝1，否则M′(a，b)＝0。待M′的所有元素计算完成后，根据M′的每个点改变M中的对应矩阵区域的值，若M′(a，b)＝0，则其在M上对应的区域(由(20×a+1，20×b+1)，(20×a+20，20×b+20)所围成的矩形区域)的所有点都赋值为0，若M′(a，b)＝1，则对应区域的所有点都赋值为1.从而完成对M中的孤立点的去除和连通。
所述的异常物体检测模块，在初始化的过程中，接收到从去除背景色模块传递来的灰度图像X′和特殊颜色检测模块传递来的红色分量R′μ。我们需要对X′所代表的数据集和和R′μ所代表的数据集合分别构建分类器，从而得到分别对应于去除背景色模块输出图像的分类器和特殊颜色检测模块输出图像的分类器，由于X′和R′μ为同维度的图像，其每个点的像素均为一个元素X′(a，b)和R′μ(a，b)，因此，这两个分类器的初始化方式相同，不失一般性，我们对每个数据集和的每一张样本图片P，构建该图片P所对应的积分图PP，然后使用所有积分图对级联分类器进行参数初始化，最后将训练所得的级联分类器保存起来用于检测过程；在检测过程中，将接收到从接收到从去除背景色模块传递来的灰度图像X′和特殊颜色检测模块传递来的红色分量R′μ，对于这图片X′按照窗口大小为n×n进行多层分割，对于图片R′μ根据辅助信息M′进行快速分割，对于分割后所得的所有子图片，构建其积分图，最后用训练所得的各自对应的级联分类器进行分类筛选，得到所有异常物体的子图片，将这些包含异常物体的子图片附带其在原始图片的坐标和帧信息传递给挥手检测模块。
所述的构建图片P所对应的积分图PP，其过程为：
对于图像P，我们从该矩阵的第1行第1列开始构造积分图，初始时设s(1，1)＝P(1，1)，RR(1，1)＝P(1，1)，构造过程为一个二层循环：
从而构造出P分量所对应的积分图PP；
所述的使用积分图PP对级联分类器进行训练，其过程为：
第一步，定义弱分类器的函数h(x，f，p，θ)为：
其中f为特征函数，θ为阈值，p取值为1或-1，x代表根据积分图PP所构建的子窗口，对于每一个子窗口x，f(x)为该子窗口x对应于特征函数f的特征值。
为了叙述方便，我们将子窗口x的四个边界分别定义为左上点A，右上点B，左下点C，右下点D，A与B的中心点为ab，A与B的三分之一靠近A点为aab，三分之一靠近B点为abb，其余类推，区域内的中心点用O来表示。则x(A)表示子窗口在左上点A的积分图所对应的值，其余同理。
则定义：
f1＝[x(bd)+x(A)-x(B)-x(ac)]-[x(ac)+x(D)-x(bd)-x(C)]，并且定义s＝1，t＝2；
f2＝[x(A)+x(cd)-x(BC)-x(ab)]-[x(ab)+x(D)-x(B)-x(cd)]，并且定义s＝2，t＝1；
f3＝[x(A)+x(bbd)-x(aac)-x(B)]-2×[x(bdd)+x(aac)-x(acc)-x(bbd)]+[x(D)+x(acc)-x(bdd)-x(C)]，并且定义s＝1，t＝3；
f4＝[x(A)+x(ccd)-x(aab)-x(C)]-2×[x(cdd)+x(aab)-x(abb)-x(ccd)]+[x(D)+x(abb)-x(B)-x(cdd)]，并且定义s＝3，t＝1；
f5＝[x(A)+x(O)-x(ab)-x(ac)]+[x(D)+x(O)-x(bd)-x(cd)]-[x(ab)+x(bd)-x(B)-x(O)]-[x(ac)+x(cd)-x(O)-x(C)]，并且定义s＝2，t＝2；
第二步：构建积分图PP所对应的子窗口x。该子窗口x的选择过程如下：
定义自然数s和t，这两个数为子窗口的倍数，这两个数值的选定由特征函数给定，于是，x所对应的子窗口区域为：[(i，j)，(i，j+t×(b-1))，(i+s×(a-1)，j)，(i+s×(a-1)，j+t×(b-1))]，其中：i，j，a，b分别为从1开始递增的整数，并且能够保证i+s×(a-1)≤n，j+t×(b-1)≤n成立的所有取值。
第三步：对于定义的5个特征函数，计算所有训练样本的所有RGB分量对应于当前子窗口x的特征值f(x)，我们此称之为在当前RGB分量下当前子窗口x的特征，如果当前窗口下有wf个子窗口，那么一共有T＝3×wf×5个特征，每一个特征表示为ht。设海面上正常物体的图片 和异常物体的图片各有K张，则对分类器的训练过程如下：
1.对于每一张图片Xi，yi为该图片的分类，若yi＝1表示该图片为异常物体的图片，若yi＝-1表示该图片为正常物体的图片；
2.对于t＝1，2，…，T，(T为特征个数)
1).所有样本在特征ht下的特征值fr，其中(r＝1，2，…，2K)，2K为正常物体和异常物体图片的总数；
2).将所得的所有特征值按照从大到小的顺序进行排序；
3).计算全部异常物体子图的权重之和：T+＝sum(fr(x))，x∈异常物体的子图；
4).计算全部正常物体子图的权重之和：T-＝sum(fr(x))，x∈正常物体的子图；
5).对于排序好的每个元素，从第一个开始处理，设当前处理的元素为i：
a).计算所有大于当前元素异常物体的子图的权重值和：xj∈异常物体的子图，并且j＜i；
b).计算所有大于当前元素的正常物体的子图的权重值和：xj∈正常物体的子图并且j＜i；
c).计算分类器在当前元素下的误差：
6).选取使得ei最小的元素所对应的标号i，然后将特征值f(xi)和特征值排在i前一位的f(xi-1)求平均值，得到弱分类器的参数θ＝[f(xi)+f(xi-1)]/2，若p＝-1，否则，p＝1；
7).若最小的误差ei＞1％，则意味着误差过大，舍弃；否则，将当前ht(x，f，p，θ)作为选好的弱分类器；
3.将所有选好的分类器ht按照t值从小到大排列起来，构成集合H，于是得到了我们要训练的级联分类器。
所述的提取子图的过程为：
首先，对于原始的M行N列的图像，首先定义块大小为n×n，则将提取像素区域定义为：[(i，j)，(i，j+n-1)，(i+n-1，j)，(i+n-1，j+n-1)]所围成的正方形区域，其中i＝[1，…，M-n+1]，j＝[1，…，N-n+1]，从而得到缩放图的第1层，该层共有(M-n+1)×(N-n+1)张子图，每张子图大小为n×n维，对于每一张图片，记录其图像的提取区域为左上点A＝(i，j)右下点D＝(i+n-1，j+n-1)；
然后，将原始图缩放成行列。
对于所得的缩放后的图像继续使用上述方法进行提取子图，从而得到缩放图的第2层，该层共有张子图，每张子图的大小为n×n维，对于每一张子图片，记录其在原始图像上提取区域的坐标(左上点A和右下点D)；对于第i层，将原始图像缩放成行列的图像，并继续使用上述方法进行提取子图，该层共有张子图，每张子图的大小为n×n维，对于每一张子图片，记录其在当前图像上提取区域的坐标(左上点A和右下点D)；…；直到时，意味着缩小的遥感图像最短边小于n，此时已经无法提取出子图，于是提取过程结束。
所述的将原始图缩放成行列，其方法是对于原始图片X，其上的每一个像素点为X(i，j)，对于缩放后的图片X1/2(a，b)，缩放过程为：
对于
对于
X1/2(a，b)＝X(i，j)，其中，i＝2×a，j＝2×b；
其中，和为M/2和N/2所得的整数部分。
所述的对于图片R′μ根据辅助信息M′进行快速分割，其快速分割方法如下：第一步，构建对M′和R′μ的缩放图金字塔；第二步，根据M′的缩放金字塔信息，在R′μ的缩放金字塔中得到待提取子图的图片框；第三步：对于上述所有的待提取子图的图片框，选取其边长大于等于n的区域，对每个图片框提取大小为n×n的子图，对于每一张大小为p×q维的图片框，将提取像素区域定义为：[(i，j)，(i，j+n-1)，(i+n-1，j)，(i+n-1，j+n-1)]所围成的正方形区域，其中i＝[1，…，p-n+1]，j＝[1，…，q-n+1]，从而得到该图片框的所有子图，对于每一个子图，记录其在原始图片R′μ上的位置信息，从而完成了对于图片R′μ根据辅助信息M′进行快速分割。
所述的构建对M′和R′μ，的缩放图金字塔，其构建的方法为，M′的缩放金字塔的第一层M′1为M′本身，对应R′μ的缩放金字塔第一层R′1为R′μ本身；第二层，将R′1按照上述方法对其进行缩放得到R′2，然后将M′按照如下方式缩放为其原始大小的一半，设M′为p×q维，则缩放之后的M′2的维度变为其中和为p/2和q/2所得的整数部分。对于M′2的每一个点，以M′2(a，b)表示，那么该点对应于其下一层图像的M′1的(a+1，b+1)，(a+2，b+1)，(a+1，b+2)，(a+2，b+2)这四个点，则M′2(a，b)＝M′1(a+1，b+1)×M′1(a+2，b+1)×M′1(a+1，b+2)×M′1(a+2，b+2)，该操作的意义为若这四个点全为1，则M′2(a，b)＝1，否则，M′2(a，b)＝0。以此类推，对于第i层M′i，首先构造其对应R′i-1的缩放图R′i，只需计算其上一层M′i-1所对应的四个点的乘积即可，该过程反复执行，直到第p层M′p，M′p中存在值为1的点，而M′p+1的所有点均为0.
所述的根据M′的缩放金字塔信息，在R′μ的缩放金字塔中得到待提取子图的图片框，其方法为：对于构造的M′的缩放金字塔从最顶层M′p开始处理，在对p层处理结束后再处理p-1层，直至第1层处理结束。不失一般性的我们假设当前处理第k层M′k，对于M′k上的不为0的点(a，b)，该点在其下一层k-1所对应的区域为R′k-1图片的(2a+1，2b+1)和(2a+2，2b+2)所围成的矩形区域，该点在k-2所对应的区域为R′k-2图片的(22a+1，22b+1)和(22a+2，22b+2)所围成的矩形区域，…，直到最底层R′1图片的(2k-1a+1，2k-1b+1)和(2k-1a+2k-1，2k-1b+2k-1)所围成的矩形区域，这些区域为对应于点M′p(a，b)在每个层的区域，在得到这些区域后，为了避免重复计算，将这些区域对应的M′的缩放金字塔所对应的值赋值为0，即对于第k-1层，M′k的(2a+1，2b+1)和(2a+2，2b+2)所围成的矩形区域中的值全部赋值为0，对于k-2层以及其下的所有层，用同样的方法将对应区域赋值为0.因此，每当计算对M′k的下一层M′k-1进行图片框选取时，只需要选取M′k-1层与M′k层不对应的点，从而避免了重复计算。
所述的记录其在原始图片R′μ上的位置信息，其方法为，对于每一个图片区域，设其为(a1，b1)和(a2，b2)所围成的矩形区域，其所在层数为R′μ的缩放金字塔的第k层，则其在第1层的位置为(2k-1a1+1，2k-1b1+1)和(2k-1a2+2k-1，2k-1b2+2k-1)所围成的区域。由于 R′μ的缩放金字塔的第1层即为原始图片R′μ，所以其在第1层的位置信息即为原始图片R′μ上的位置信息。
所述的用训练所得的级联分类器进行分类筛选，其过程如下：
设级联分类器H共有T′个分类器hi(i＝1，2，…，T′)，
对于所用于筛选的每一张n×n维子图
对于i＝1，2，…，T′
计算在当前子图下的hi，若hi＝0，当前子图是正常物体，该子图的分类筛选过程结束；
若当前子图在所有分类器下的分类结果hi都为1，则说明当前子图为异常物体。
异常物体检测模块的操作过程结束。
所述的挥手检测模块，在初始化的过程中，接收到从图像去噪模块传递来的去噪处理过的含有挥手动作的视频片段与不含有挥手动作的海上视频片段的集合V，由于视频图像由连续的一组图像帧组成，所以，我们设每一个视频片段的每一帧为V(i)，共有n帧。第1步，我们对于每一个视频片段，计算该片段所有帧的平均值，其方法是设V(i)(a，b，t)，其中a和b表示的是每一帧的横纵坐标，t表示的是帧坐标，则V′为对于当前视频片段的平均帧值。第二步，对于所有的平均帧值V′所构成的集合，设X＝[x1，x2，…，xm]，其中xi为对输入图像V(i)向量化表示后的列向量，m为视频片段的个数。其中前p个向量对应着挥手动作，后m-p个向量代表着普通海面的视频片段。对于这个数据集为X的数据集合，使用分类器对其进行参数初始化，得到转换矩阵Wp和每个类在转换后的中心点其中为挥手的类中心，为非挥手的类中心，保存Wp和供检测过程使用；在检测过程中，接收来自异常物体检测模块传递过来的被检测为异常物体的图片，对于每一张n×n维的图片，首先将其按列展开成n×n维的列向量L，然后计算该列向量的转换向量y＝Wp×L，然后分别计算y与每个类的中心点的欧氏距离，选择欧氏距离最近的点为该图像的分类结果，并保存该欧氏距离，在所有图片分类完成后，将该结果传递给异常信息汇总模块。
所述的对输入图像V(i)向量化表示，其方法为，对于其上的每一个分量P(i，j)，按照下列方式进行排列：[P(1，1)，P(2，1)，…，P(n，1)，P(1，2)，P(2，2)，…，P(n，2)，P(1，n)，P(2，n)，…P(n，n)]，然后计算xi(j)＝xi(j)/∑，∑为xi的所有元素之和，从而得到了其向量化表示。
所述的将所构成的图像集合使用分类器进行参数初始化，其步骤为：
1.将带有分类信息的每张图片，按列展开，对于每一张n×n维的图片，将其按列展开成n×n维的列向量Xi，从而构成了一个集合XP＝[X1，X2，…，Xk]，计算X1，X2，…，Xk的平均值μ，并将集合XP的每列减去平均值μ，得到归一后集合X′P＝[X′1，X′2，…，X′k].
4.对于每一类所对应的数据集计算并计算所对应于所有列的平均值为每一类的聚类中心。
所述的检测结果处理模块，在初始化过程中不工作；在检测过程中，根据挥手检测模块所传递过来的检测结果进行处理，由于被识别为挥手的图片区域要有更大的可能性存在遇险者，并且由特殊颜色检测模块所提取出的红色区域有更大的可能性存在遇险者，因此，对于检测结果分为四个等级，第一等级：该区域被识别为挥手并且该区域为由特殊颜色检测模块所提取出的红色区域识别出来的异常物体；第二等级：该区域被识别为挥手并且该区域为由去除背景色模块所提取出的区域识别出来的异常物体；第三等级：该区域未被识别为挥手并且该区域为由特殊颜色检测模块所提取出的红色区域识别出来的异常物体；第四等级：该区域未被识别为挥手并且该区域为由去除背景色模块所提取出的区域识别出来的异常物体。对于第一等级和第三等级的异常物体，按照其在挥手检测模块中所计算的距离分类中心的最小欧氏距离从小到大进行排序，对于第二等级和第四等级的异常物体，按照其在挥手检测模块中所计算的距离分类中心的最小欧氏距离从大到小进行排序。将结果按照第一等级在前，第四等级在后进行排序。按照已经排列好的顺序依次发送给飞行控制模块和控制台模块，然后从列表中删去该条记录，由飞行控制模块或控制台模块决定下一探测区域，在下一区域中，重新进行观测并得到该区域的检测结果，按照上述方式进行排序，并将排序后的结果按照其对应的等级及其距离分类中心的距离插入到原有队列中。
所述的飞行控制模块，在初始化时不工作，在检测过程中，该模块有两种状态，1.自动检测状态，2.手动检测状态。对于每个无人机，在起飞时预先设定其搜索区域，然后该无人机按照所设定的区域顺时针从外向内进行蛇形飞行。在自动检测状态时，飞行控制模块在对当前区域检测结束后，根据检测结果处理模块所提供的当前最可能的下一检测区域在当前监控区域的位置进行计算，首先保存当前无人机的巡航位置，然后确定其飞行路径，确定其飞行路径的方法如下：设整个图像为m×n，其中m＞n，下一检测区域为a×a，首先计算无人机需要旋转的角度，然后计算无人机需要水平移动的距离，判断高度是否需要调整，在计算得到旋转角度、水平移动距离和高度调整距离后，飞行控制模块按照计算所得的信息控制无人机到下一检测区域，然后再进行下一次采集检测；若检测结果处理模块的队列中的待检测区域为空，则无人机读取保存的巡航路径，继续按照预先设定的路径进行检测；若连续5次无人机监控区域的中心位置落在下一检测区域内，则说明说明无人机下方区域存在疑似遇险者，无人机无法自动排除，那么向控制台模块发送报警信号，由控制台进行人工检测。若当前状态为手动检测状态，则将等待控制台模块选择下一检测区域后，再按照上述方法计算旋转角度、飞行距离和高度调整距离后，然后由飞行控制模块控制飞行器飞到待检测区域附近。
所述的计算无人机需要旋转的角度，其方法是：设无人机中心位置为(a，b)，无人机正前方为(0，b)，图像的左上点为(0，0)，a表示水平方向的坐标，b表示垂直方向的坐标，待检测区域中心为(a′，b′)，则角度θ＝arctan(|1a-a′|/|b-b′|)，若a′＞a，b′＞b，则无人机向右旋转180-θ；若a′＞a，b′＜b，则无人机向右旋转θ；若a′＜a，b′＞b，则无人机向左旋转180-θ；若a′＜a，b′＜b，则无人机向左旋转θ。
所述的计算无人机需要水平移动的距离，其方法是：检测区域与无人机之间的水平距离的计算公式为h×tanε，其中，h为无人机的高度，ε为垂直方向上待检测区域与无人机之间 的夹角，ε的计算可以根据摄像机的视角还有待检测区域与摄像区域中心点的像素距离粗略估计出来，设无人机的水平视角为δ度，摄像机水平像素为m个，则每个像素所代表的角度为δ/m，于是若无人机监控区域的中心位置落在下一检测区域，则无人机的飞行距离为0；
所述的判断高度是否需要调整，其方法为：设整个图像为m×n，其中m＞n，下一检测区域为a×a，若无人机监控区域的中心位置落在下一检测区域并且a＜1/4×n，则将无人机飞行高度降低为原有高度的一半，设置无人机的最低飞行高度，若降低后高度小于最低飞行高度，那么无人机降低到最低飞行高度；若无人机监控区域的中心位置没有落在下一检测区内，而无人机当前并未处在巡航高度，则无人机需要回到巡航高度。
所述的控制台模块，当无线带宽冗余较多时，可以接收到监控摄像头采集的压缩后的图像，压缩比例依据当前带宽而确定，若当前带宽较为紧张，则可以选择不接收实时监控图像。控制台接受来自检测结果处理模块所筛选的当前最大可能的遇险者区域的高清照片若当前无人机为手动检测状态，则对于接收到的每一个可能存在遇险者的区域，由监控人员进行筛选，若监控人员观察当前最大可能的遇险者区域的高清照片认为该区域并不存在遇险者，控制台模块否定掉当前区域，并等待检测结果处理模块从其剩余队列中选择最可能的遇险者区域，若监控人员认为该区域可能存在遇险者，则选中该区域，将该选择信息传递给飞行控制模块，由飞行控制模块控制无人机飞行到选中区域；若当前无人机为自动检测状态，则控制台不发送指令，由无人机自动选择飞行路径，控制台只接收由检测结果处理模块发来的选定区域的高清照片；若那么向控制台模块发送报警信号，说明无人机无法排除当前检测区域，那么该区域可能存在遇险者，由控制台的监控人员进行人工查看，若不为遇险者，则控制台模块否定掉当前区域，无人机自动从检测结果处理模块中选择下一个最可能的区域进行检测；若当前区域为遇险者，则进行相应的救援措施。
本发明的有益效果是，依靠无人机对监控区域进行识别，仅当无人机发现可能遇险者区域后才询问监控人员，该方式能够降低监控人员的工作强度，减少监控人员的疲劳，从而提高监控人员的工作效率；该发明能够智能的筛选下一检测区域，从而可以让无人机进行自动搜救；本发明将大多数的处理过程都放在无人机机身上实现，减少了每一架无人机对信道的占用，从而能够适合使用大量无人机进行搜救。
附图说明
图1是本发明的功能流程图；
图2是本发明整体的功能模块及其相互关系框图；
图3是本发明所述的特征函数f1上各点的位置关系图；
图4是本发明所述的特征函数f2上各点的位置关系图；
图5是本发明所述的特征函数f3上各点的位置关系图；
图6是本发明所述的特征函数f4上各点的位置关系图；
图7是本发明所述的特征函数f5上各点的位置关系图。
图8是本发明所述的按照所设定的区域顺时针从外向内进行蛇形飞行的示意图；
图9是本发明所述的飞行控制模块控制无人机旋转角度的示意图；
图10是本发明所述的飞行控制模块控制无人机前进距离的示意图；
其中，1为无人机旋转角度θ，2为垂直方向上待检测区域与无人机之间的夹角ε。
具体实施方式
下面结合附图对本发明作进一步的说明。
所述的一种使用无人机进行海上遇险人员自动搜救方法，其功能流程图如图1所示，其模块之间的相互关系如图2所示。
下面提供两个具体实施例对本发明所述的一种使用无人机进行海上遇险人员自动搜救方法的具体过程进行说明：
实施例1：
本实施例实现了一种使用无人机进行海上遇险人员自动搜救方法的参数初始化的全过程。
一.图像去噪模块在初始化过程中，其输入为包含遇险者、救生船和海面的彩色图像集合，以及含有挥手动作的视频片段与不含有挥手动作的海上视频片段的集合，该视频片段可以看成为一组视频帧的集合。对于输入的图像X，首先设置一个3×3维的窗口，考虑该图像X的每个像素点X(i，j)，以该点为中心点的3×3维矩阵所对应的像素值分别为[X(i-1，j-1)，X(i-1，j)，X(i-1，j+1)，X(i，j-1)，X(i，j)，X(i，j+1)，X(i+1，j+1)，X(i+1，j)，X(j+1，j+1)]进行从大到小排列，取其排在中间的值为新的像素X′(i，j)所对应滤波后值，注意对于X的边界点，会出现其3×3维的窗口所对应的某些像素点不存在的情况，那么只需计算落在窗口内存在的像素点的中间值即可，若窗口内为偶数个点，将排在中间两个像素值的平均值作为该像素点去噪后的值X′(i，j)，从而，新的图像矩阵X′即为滤波后所得的图片矩阵；待处理结束后，将去噪处理过的遇险者、救生船和海面的彩色图像集合传递给去除背景模块和特殊颜色检测模块，将去噪处理过的含有挥手动作的视频片段与不含有挥手动作的海上视频片段的集合传递给挥手检测模块。
图像去噪模块的初始化过程结束。
二.去除背景色模块在初始化过程中，接收从图像去噪模块所传来的经过去噪处理的遇险者、救生船和海面的彩色图像集合，对于该集合，选取所有的海面的彩色图像构成集合为[X1，X2，…，Xn]，其中每个图像Xi(i＝1：n)的每个像素点Xi(a，b)有R，G，B三个分量，分别用 计算集合中所有的像素点对应的R，G，B的平均值Rμ，Gμ，Bμ，于是得到了整个图像集合的背景颜色(Rμ，Gμ，Bμ)并保存，对于包含遇险者、救生船和海面的彩色图像集合的每张图片的每个像素点，分别减去(Rμ，Gμ，Bμ)，从而得到去除背景的图片，再将该彩色图片变成灰度图像，从而得到了去除背景色的图像，将该图像传递给异常物体检测模块。
所述的将彩色图片变换成灰度图片的变换方法为：对于原始彩色图片X上的每一个像素点所对应的R，G，B分量，不失一般性的用i和j表示，则该像素点对应的灰度图像X′的灰度值为X′(i，j)＝0.3×B′(i，j)+0.59×G′(i，j)+0.11×R′(i，j)，其中X′(i，j)为整数，若所得结果为小数的话，仅取其整数部分，从而得到原始X的灰度图像X′。
去除背景色模块的初始化过程结束。
三.特殊颜色检测模块接收由图像去噪模块所传递来的经过去噪处理的图像X，对该图像提取靠近橙色和红色的区域。在初始化过程中，考虑到海面上大部分颜色为蓝色绿色和白色，而海上救生衣、救生艇、信号以红色和橙色为主，所以，对红色和橙色的提取方法为：对于图像上的每一像素点x(a，b)，其R，G，B分量分别为Rx(a，b)，Gx(a，b)，Bx(a，b)，首先取三个分量的最小值min，计算该分量对应的除去最小值min后的分量R′x(a，b)＝Rx(a，b)-min，G′x(a，b)＝Gx(a，b)-min，B′x(a，b)＝Bx(a，b)-min，对于该去除最小值后的分量(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))，若R′μ(a，b)＞θ，则说明当前区域有较大的红色分量，θ为一个阈值，本实施例中选择θ＝50。对于去除最小值后的像素点(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))所构成的图像X′，单独提取其彩色图像的红色分量R′μ，将R′μ(a，b)传递给异常物体检测模块。
特殊颜色检测模块的初始化过程结束。
四.所述的异常物体检测模块，在初始化的过程中，接收到从去除背景色模块传递来的灰度图像X′和特殊颜色检测模块传递来的红色分量R′μ。我们需要对X′所代表的数据集和和R′μ所代表的数据集合分别构建分类器，从而得到分别对应于去除背景色模块输出图像的分类器和特殊颜色检测模块输出图像的分类器，由于X′和R′μ为同维度的图像，其每个点的像素均为一个元素X′(a，b)和R′μ(a，b)，因此，这两个分类器的初始化方式相同，不失一般性，我们对每个数据集和的每一张样本图片P，构建该图片P所对应的积分图PP，然后使用所有积分图对级联分类器进行参数初始化，最后将训练所得的级联分类器保存起来用于检测过程。
所述的构建图片P所对应的积分图PP，其过程为：
对于图像P，我们从该矩阵的第1行第1列开始构造积分图，初始时设s(1，1)＝P(1，1)，RR(1，1)＝P(1，1)，构造过程为一个二层循环：
从而构造出P分量所对应的积分图PP；
所述的使用积分图PP对级联分类器进行训练，其过程为：
第一步，定义弱分类器的函数h(x，f，p，θ)为：
其中f为特征函数，θ为阈值，p取值为1或-1，x代表根据积分图PP所构建的子窗口，对于每一个子窗口x，f(x)为该子窗口x对应于特征函数f的特征值。
为了叙述方便，我们将子窗口x的四个边界分别定义为左上点A，右上点B，左下点C，右下点D，A与B的中心点为ab，A与B的三分之一靠近A点为aab，三分之一靠近B点为abb，其余类推，区域内的中心点用O来表示。则x(A)表示子窗口在左上点A的积分图所对应的值，其余同理。
则定义：
f1＝[x(bd)+x(A)-x(B)-x(ac)]-[x(ac)+x(D)-x(bd)-x(C)]，并且定义s＝1，t＝2；
f2＝[x(A)+x(cd)-x(BC)-x(ab)]-[x(ab)+x(D)-x(B)-x(cd)]，并且定义s＝2，t＝1；
f3＝[x(A)+x(bbd)-x(aac)-x(B)]-2×[x(bdd)+x(aac)-x(acc)-x(bbd)]+[x(D)+x(acc)-x(bdd)-x(C)]，并且定义s＝1，t＝3；
f4＝[x(A)+x(ccd)-x(aab)-x(C)]-2×[x(cdd)+x(aab)-x(abb)-x(ccd)]+[x(D)+x(abb)-x(B)-x(cdd)]，并且定义s＝3，t＝1；
f5＝[x(A)+x(O)-x(ab)-x(ac)]+[x(D)+x(O)-x(bd)-x(cd)]-[x(ab)+x(bd)-x(B)-x(O)]-[x(ac)+x(cd)-x(O)-x(C)]，并且定义s＝2，t＝2；
第二步：构建积分图PP所对应的子窗口x。该子窗口x的选择过程如下：
定义自然数s和t，这两个数为子窗口的倍数，这两个数值的选定由特征函数给定，于是，x所对应的子窗口区域为：[(i，j)，(i，j+t×(b-1))，(i+s×(a-1)，j)，(i+s×(a-1)，j+t×(b-1))]，其中：i，j，a，b分别为从1开始递增的整数，并且能够保证i+s×(a-1)≤n，j+t×(b-1)≤n成立的所有取值。
第三步：对于定义的5个特征函数，计算所有训练样本的所有RGB分量对应于当前子窗口x的特征值f(x)，我们此称之为在当前RGB分量下当前子窗口x的特征，如果当前窗口下有wf个子窗口，那么一共有T＝3×wf×5个特征，每一个特征表示为ht。设海面上正常物体的图片和异常物体的图片各有K张，则对分类器的训练过程如下：
1.对于每一张图片Xi，yi为该图片的分类，若yi＝1表示该图片为异常物体的图片，若yi＝-1表示该图片为正常物体的图片；
2.对于t＝1，2，…，T，(T为特征个数)
1).所有样本在特征ht下的特征值fr，其中(r＝1，2，…，2K)，2K为正常物体和异常物体图片的总数；
2).将所得的所有特征值按照从大到小的顺序进行排序；
3).计算全部异常物体子图的权重之和：T+＝sum(fr(x))，x∈异常物体的子图；
4).计算全部正常物体子图的权重之和：T-＝sum(fr(x))，x∈正常物体的子图；
5).对于排序好的每个元素，从第一个开始处理，设当前处理的元素为i：
a).计算所有大于当前元素异常物体的子图的权重值和：xj∈异常物体的子图，并且j＜i；
b).计算所有大于当前元素的正常物体的子图的权重值和：xj∈正常物体的子图并且j＜i；
6).选取使得ei最小的元素所对应的标号i，然后将特征值f(xi)和特征值排在i前一位 的f(xi-1)求平均值，得到弱分类器的参数θ＝[f(xi)+f(xi-1)]/2，若p＝-1，否则，p＝1；
7).若最小的误差ei＞1％，则意味着误差过大，舍弃；否则，将当前ht(x，f，p，θ)作为选好的弱分类器；
3.将所有选好的分类器ht按照t值从小到大排列起来，构成集合H，于是得到了我们要训练的级联分类器。
异常物体检测模块的操作过程结束。
五.挥手检测模块在初始化的过程中，接收到从图像去噪模块传递来的去噪处理过的含有挥手动作的视频片段与不含有挥手动作的海上视频片段的集合V，由于视频图像由连续的一组图像帧组成，所以，我们设每一个视频片段的每一帧为V(i)，共有n帧。第1步，我们对于每一个视频片段，计算该片段所有帧的平均值，其方法是设V(i)(a，b，t)，其中a和b表示的是每一帧的横纵坐标，t表示的是帧坐标，则V′为对于当前视频片段的平均帧值。第二步，对于所有的平均帧值V′所构成的集合，设X＝[x1，x2，…，xm]，其中xi为对输入图像V(i)向量化表示后的列向量，m为视频片段的个数。其中前p个向量对应着挥手动作，后m-p个向量代表着普通海面的视频片段。对于这个数据集为X的数据集合，使用分类器对其进行参数初始化，得到转换矩阵Wp和每个类在转换后的中心点其中为挥手的类中心，为非挥手的类中心，保存Wp和供检测过程使用。
所述的对输入图像V(i)向量化表示，其方法为，对于其上的每一个分量P(i，j)，按照下列方式进行排列：[P(1，1)，P(2，1)，…，P(n，1)，P(1，2)，P(2，2)，…，P(n，2)，P(1，n)，P(2，n)，…P(n，n)]，然后计算xi(j)＝xi(j)/∑，∑为xi的所有元素之和，从而得到了其向量化表示。
所述的将所构成的图像集合使用分类器进行参数初始化，其步骤为：
1.将带有分类信息的每张图片，按列展开，对于每一张n×n维的图片，将其按列展开成n×n维的列向量Xi，从而构成了一个集合XP＝[X1，X2，…，Xk]，计算X1，X2，…，Xk的平均值μ，并将集合XP的每列减去平均值μ，得到归一后集合X′P＝[X′1，X′2，…，X′k].
4.对于每一类所对应的数据集计算并计算所对应于所有列的平均值为每一类的聚类中心。
六.检测结果处理模块在初始化的过程中不工作。
七.飞行控制模块在初始化的过程中不工作。
八.控制台模块在初始化的过程中不工作。
实施例2：
本实施例实现了一种使用无人机进行海上遇险人员自动搜救方法的检测全过程。
一.图像去噪模块在检测过程中，其输入为无人机的摄像头所摄的彩色图像。对于输入的图像X，首先设置一个3×3维的窗口，考虑该图像X的每个像素点X(i，j)，以该点为中心点的3×3维矩阵所对应的像素值分别为[X(i-1，j-1)，X(i-1，j)，X(i-1，j+1)，X(i，j-1)，X(i，j)，X(i，j+1)，X(i+1，j+1)，X(i+1，j)，X(j+1，j+1)]进行从大到小排列，取其排在中间的值为新的像素X′(i，j)所对应滤波后值，注意对于X的边界点，会出现其3×3维的窗口所对应的某些像素点不存在的情况，那么只需计算落在窗口内存在的像素点的中间值即可，若窗口内为偶数个点，将排在中间两个像素值的平均值作为该像素点去噪后的值X′(i，j)，从而，新的图像矩阵X′即为滤波后所得的图片矩阵；待处理结束后，将去噪处理过的当前帧图片传递给除背景模块和特殊颜色检测模块。
图像去噪模块对当前帧的处理过程结束。
二.去除背景色模块在检测过程中，对于图像去噪模块所传递来的经过去噪处理的海面图像，将该图像的每个像素点分别减去在初始化过程中所计算出来的海面背景色(Rμ，Gμ，Bμ)，再将去除背景色的图片转换成灰度图像，最后将该灰度图片传递给异常物体检测模块。
去除背景色模块对当前帧的处理过程结束。
三.特殊颜色检测模块，接收由图像去噪模块所传递来的经过去噪处理的图像X，对该图像提取靠近橙色和红色的区域。在检测过程中，第一步，构造一个与图像X有着相同维度的矩阵M，其初始时每个元素都为0.第二步，对于每个像素点，减去其最小分量，该方法与初始化过程中的方法相同，这里不再赘述；对于去除最小值后的分量(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))，若R′μ(a，b)＞θ，则说明当前区域有较大的红色分量，而这些红色分量更大可能为救生衣、救生艇或者其他求救信号所发出的，θ为一个阈值。对于R′μ(a，b)＞θ所对应的点(a，b)，将M(a，b)的值赋值为1。第三步，待所有像素点都处理结束后，去除M中的孤立点；对于去除最小值后的像素点(R′μ(a，b)，G′μ(a，b)，B′μ(a，b))所构成的图像X′，单独提取其彩色图像的红色分量R′μ，将然后对于R′μ的每一个像素点(a，b)，计算R′μ(a，b)＝R′μ(a，b)×M(a，b)，这样做的目的是保留红色分量较多的图像区域的灰度图，删去红色分量较少的图像区域的图像信息。待R′μ和M的每个点处理结束后，将R′μ和M传递给异常物体检测模块。
所述的去除M中的孤立点，其方法如下，设M为m×n维的矩阵，将该矩阵缩小为维的矩阵M′，其中意为x整数部分。对于矩阵中的元素M′(a，b)，对应于矩阵M的角点为(20×a+1，20×b+1)，(20×a+20，20×b+20)所围成的矩形区域，计算这个区域的所有M(i，j)的平均值μ，若μ＞ε，ε为阈值，本实施例中设ε＝0.25，则M′(a，b)＝1，否则M′(a，b)＝0。待M′的所有元素计算完成后，根据M′的每个点改变M中的对应矩阵区域的值，若M′(a，b)＝0，则其在M上对应的区域(由(20×a+1，20×b+1)，(20×a+20，20×b+20)所围成的矩形区域)的所有点都赋值为0，若M′(a，b)＝1，则对应区域的所有点都赋值为1.从而完成对M中的孤立点的去除和连通。
特殊颜色检测模块对当前帧的处理过程结束。
四.异常物体检测模块在检测过程中，将接收到从接收到从去除背景色模块传递来的灰度图像X′和特殊颜色检测模块传递来的红色分量R′μ，，对于这图片X′按照窗口大小为n×n进行多层分割，对于图片R′μ根据辅助信息M′进行快速分割，对于分割后所得的所有子图片，构 建其积分图，最后用训练所得的各自对应的级联分类器进行分类筛选，得到所有异常物体的子图片，将这些包含异常物体的子图片附带其在原始图片的坐标和帧信息传递给挥手检测模块。
所述的提取子图的过程为：
首先，对于原始的M行N列的图像，首先定义块大小为n×n，则将提取像素区域定义为：[(i，j)，(i，j+n-1)，(i+n-1，j)，(i+n-1，j+n-1)]所围成的正方形区域，其中i＝[1，…，M-n+1]，j＝[1，…，N-n+1]，从而得到缩放图的第1层，该层共有(M-n+1)×(N-n+1)张子图，每张子图大小为n×n维，对于每一张图片，记录其图像的提取区域为左上点A＝(i，j)右下点D＝(i+n-1，j+n-1)；
然后，将原始图缩放成行列。
对于所得的缩放后的图像继续使用上述方法进行提取子图，从而得到缩放图的第2层，该层共有张子图，每张子图的大小为n×n维，对于每一张子图片，记录其在原始图像上提取区域的坐标(左上点A和右下点D)；对于第i层，将原始图像缩放成行列的图像，并继续使用上述方法进行提取子图，该层共有张子图，每张子图的大小为n×n维，对于每一张子图片，记录其在当前图像上提取区域的坐标(左上点A和右下点D)；…；直到时，意味着缩小的遥感图像最短边小于n，此时已经无法提取出子图，于是提取过程结束。
所述的将原始图缩放成行列，其方法是对于原始图片X，其上的每一个像素点为X(i，j)，对于缩放后的图片X1/2(a，b)，缩放过程为：
对于
对于
X1/2(a，b)＝X(i，j)，其中，i＝2×a，j＝2×b；
其中，和为M/2和N/2所得的整数部分。
所述的对于图片R′μ根据辅助信息M′进行快速分割，其快速分割方法如下：第一步，构建对M′和R′μ的缩放图金字塔；第二步，根据M′的缩放金字塔信息，在R′μ的缩放金字塔中得到待提取子图的图片框；第三步：对于上述所有的待提取子图的图片框，选取其边长大于等于n的区域，对每个图片框提取大小为n×n的子图，对于每一张大小为p×q维的图片框，将提取像素区域定义为：[(i，j)，(i，j+n-1)，(i+n-1，j)，(i+n-1，j+n-1)]所围成的正方形区域，其中i＝[1，…，p-n+1]，j＝[1，…，q-n+1]，从而得到该图片框的所有子图，对于每一个子图，记录其在原始图片R′μ上的位置信息，从而完成了对于图片R′μ根据辅助信息M′进行快速分割。
所述的构建对M′和R′μ的缩放图金字塔，其构建的方法为，M′的缩放金字塔的第一层M′1为M′本身，对应R′μ的缩放金字塔第一层R′1为R′μ本身；第二层，将R′1按照上述方法对其进行缩放得到R′2，然后将M′按照如下方式缩放为其原始大小的一半，设M′为p×q维，则缩放之后的M′2的维度变为其中和为p/2和q/2所得的整数部分。对于M′2的每一个点，以M′2(a，b)表示，那么该点对应于其下一层图像的M′1的(a+1，b+1)，(a+2，b+1)，(a+1，b+2)，(a+2，b+2)这四个点，则M′2(a，b)＝M′1(a+1，b+1)×M′1(a+2，b+1)×M′1(a+1，b+2)×M′1(a+2，b+2)，该操作的意义为若这四个点全为1， 则M′2(a，b)＝1，否则，M′2(a，b)＝0。以此类推，对于第i层M′i，首先构造其对应R′i-1的缩放图R′i，只需计算其上一层M′i-1所对应的四个点的乘积即可，该过程反复执行，直到第p层M′p，M′p中存在值为1的点，而M′p+1的所有点均为0.
所述的根据M′的缩放金字塔信息，在R′μ的缩放金字塔中得到待提取子图的图片框，其方法为：对于构造的M′的缩放金字塔从最顶层M′p开始处理，在对p层处理结束后再处理p-1层，直至第1层处理结束。不失一般性的我们假设当前处理第k层M′k，对于M′k上的不为0的点(a，b)，该点在其下一层k-1所对应的区域为R′k-1图片的(2a+1，2b+1)和(2a+2，2b+2)所围成的矩形区域，该点在k-2所对应的区域为R′k-2图片的(22a+1，22b+1)和(22a+2，22b+2)所围成的矩形区域，…，直到最底层R′1图片的(2k-1a+1，2k-1b+1)和(2k-1a+2k-1，2k-1b+2k-1)所围成的矩形区域，这些区域为对应于点M′p(a，b)在每个层的区域，在得到这些区域后，为了避免重复计算，将这些区域对应的M′的缩放金字塔所对应的值赋值为0，即对于第k-1层，M′k的(2a+1，2b+1)和(2a+2，2b+2)所围成的矩形区域中的值全部赋值为0，对于k-2层以及其下的所有层，用同样的方法将对应区域赋值为0.因此，每当计算对M′k的下一层M′k-1进行图片框选取时，只需要选取M′k-1层与M′k层不对应的点，从而避免了重复计算。
所述的记录其在原始图片R′μ上的位置信息，其方法为，对于每一个图片区域，设其为(a1，b1)和(a2，b2)所围成的矩形区域，其所在层数为R′μ的缩放金字塔的第k层，则其在第1层的位置为(2k-1a1+1，2k-1b1+1)和(2k-1a2+2k-1，2k-1b2+2k-1)所围成的区域。由于R′μ的缩放金字塔的第1层即为原始图片R′μ，所以其在第1层的位置信息即为原始图片R′μ上的位置信息。
所述的用训练所得的级联分类器进行分类筛选，其过程如下：
设级联分类器H共有T′个分类器hi(i＝1，2，…，T′)，
对于所用于筛选的每一张n×n维子图
对于i＝1，2，…，T′
计算在当前子图下的hi，若hi＝0，当前子图是正常物体，该子图的分类筛选过程结束；
若当前子图在所有分类器下的分类结果hi都为1，则说明当前子图为异常物体。
异常物体检测模块对当前帧的检测过程结束。
五.挥手检测模块在检测过程中，接收来自异常物体检测模块传递过来的被检测为异常物体的图片，对于每一张n×n维的图片，首先将其按列展开成n×n维的列向量L，然后计算该列向量的转换向量y＝Wp×L，然后分别计算y与每个类的中心点的欧氏距离，选择欧氏距离最近的点为该图像的分类结果，并保存该欧氏距离，在所有图片分类完成后，将该结果传递给异常信息汇总模块。
挥手检测模块对当前帧的处理过程结束。
六.检测结果处理模块，根据挥手检测模块所传递过来的检测结果进行处理，由于被识别为挥手的图片区域要有更大的可能性存在遇险者，并且由特殊颜色检测模块所提取出的红色区域有更大的可能性存在遇险者，因此，对于检测结果分为四个等级，第一等级：该区域被识别为挥手并且该区域为由特殊颜色检测模块所提取出的红色区域识别出来的异常物体； 第二等级：该区域被识别为挥手并且该区域为由去除背景色模块所提取出的区域识别出来的异常物体；第三等级：该区域未被识别为挥手并且该区域为由特殊颜色检测模块所提取出的红色区域识别出来的异常物体；第四等级：该区域未被识别为挥手并且该区域为由去除背景色模块所提取出的区域识别出来的异常物体。对于第一等级和第三等级的异常物体，按照其在挥手检测模块中所计算的距离分类中心的最小欧氏距离从小到大进行排序，对于第二等级和第四等级的异常物体，按照其在挥手检测模块中所计算的距离分类中心的最小欧氏距离从大到小进行排序。将结果按照第一等级在前，第四等级在后进行排序。按照已经排列好的顺序依次发送给飞行控制模块和控制台模块，然后从列表中删去该条记录，由飞行控制模块或控制台模块决定下一探测区域，在下一区域中，重新进行观测并得到该区域的检测结果，按照上述方式进行排序，并将排序后的结果按照其对应的等级及其距离分类中心的距离插入到原有队列中。
检测结果处理模块对当前帧的处理结束。
七.飞行控制模块在检测过程中，该模块有两种状态，1.自动检测状态，2.手动检测状态。对于每个无人机，在起飞时预先设定其搜索区域，然后该无人机按照所设定的区域顺时针从外向内进行蛇形飞行。在自动检测状态时，飞行控制模块在对当前区域检测结束后，根据检测结果处理模块所提供的当前最可能的下一检测区域在当前监控区域的位置进行计算，首先保存当前无人机的巡航位置，然后确定其飞行路径，确定其飞行路径的方法如下：设整个图像为m×n，其中m＞n，下一检测区域为a×a，首先计算无人机需要旋转的角度，然后计算无人机需要水平移动的距离，判断高度是否需要调整，在计算得到旋转角度、水平移动距离和高度调整距离后，飞行控制模块按照计算所得的信息控制无人机到下一检测区域，然后再进行下一次采集检测；若检测结果处理模块的队列中的待检测区域为空，则无人机读取保存的巡航路径，继续按照预先设定的路径进行检测；若连续5次无人机监控区域的中心位置落在下一检测区域内，则说明说明无人机下方区域存在疑似遇险者，无人机无法自动排除，那么向控制台模块发送报警信号，由控制台进行人工检测。若当前状态为手动检测状态，则将等待控制台模块选择下一检测区域后，再按照上述方法计算旋转角度、飞行距离和高度调整距离后，然后由飞行控制模块控制飞行器飞到待检测区域附近。
所述的计算无人机需要旋转的角度，其方法是：设无人机中心位置为(a，b)，无人机正前方为(0，b)，图像的左上点为(0，0)，a表示水平方向的坐标，b表示垂直方向的坐标，待检测区域中心为(a′，b′)，则角度θ＝arctan(|a-a′|/|b-b′|)，若a′＞a，b′＞b，则无人机向右旋转180-θ；若a′＞a，b′＜b，则无人机向右旋转θ；若a′＜a，b′＞b，则无人机向左旋转180-θ；若a′＜a，b′＜b，则无人机向左旋转θ。
所述的计算无人机需要水平移动的距离，其方法是：检测区域与无人机之间的水平距离的计算公式为h×tanε，其中，h为无人机的高度，ε为垂直方向上待检测区域与无人机之间的夹角，ε的计算可以根据摄像机的视角还有待检测区域与摄像区域中心点的像素距离粗略估计出来，设无人机的水平视角为δ度，摄像机水平像素为m个，则每个像素所代表的角度为δ/m，于是若无人机监控区域的中心位置落在下一检测区域，则无人机的飞行距离为0；
所述的判断高度是否需要调整，其方法为：设整个图像为m×n，其中m＞n，下一检测区域为a×a，若无人机监控区域的中心位置落在下一检测区域并且a＜1/4×n，则将无人机 飞行高度降低为原有高度的一半，设置无人机的最低飞行高度，若降低后高度小于最低飞行高度，那么无人机降低到最低飞行高度；若无人机监控区域的中心位置没有落在下一检测区内，而无人机当前并未处在巡航高度，则无人机需要回到巡航高度。
飞行控制模块对当前帧的处理过程结束。
八.控制台模块在检测过程中，当无线带宽冗余较多时，可以接收到监控摄像头采集的压缩后的图像，压缩比例依据当前带宽而确定，若当前带宽较为紧张，则可以选择不接收实时监控图像。控制台接受来自检测结果处理模块所筛选的当前最大可能的遇险者区域的高清照片若当前无人机为手动检测状态，则对于接收到的每一个可能存在遇险者的区域，由监控人员进行筛选，若监控人员观察当前最大可能的遇险者区域的高清照片认为该区域并不存在遇险者，控制台模块否定掉当前区域，并等待检测结果处理模块从其剩余队列中选择最可能的遇险者区域，若监控人员认为该区域可能存在遇险者，则选中该区域，将该选择信息传递给飞行控制模块，由飞行控制模块控制无人机飞行到选中区域；若当前无人机为自动检测状态，则控制台不发送指令，由无人机自动选择飞行路径，控制台只接收由检测结果处理模块发来的选定区域的高清照片；若那么向控制台模块发送报警信号，说明无人机无法排除当前检测区域，那么该区域可能存在遇险者，由控制台的监控人员进行人工查看，若不为遇险者，则控制台模块否定掉当前区域，无人机自动从检测结果处理模块中选择下一个最可能的区域进行检测；若当前区域为遇险者，则进行相应的救援措施。
控制台模块对当前帧的处理过程结束。

Claims (1)

1.一种使用无人机进行海上遇险人员自动搜救系统，其特征在于，包括带有遥感摄像头的无人机，装配在无人机上用于与被搜救人员进行通讯的麦克风和喇叭，图像去噪模块，去除背景色模块，特殊颜色检测模块，异常物体检测模块，挥手检测模块，检测结果处理模块；
图像去噪模块，用以对采集到的图像进行去噪处理；
去除背景色模块，用以将海面上的背景色去除；
特殊颜色检测模块，对红色和橙色进行有针对性的检测，提取出海面上靠近红色和橙色的图像；
异常物体检测模块，分别对去除背景色模块所得到的图像和特殊颜色检测模块所得到的图像进行异常物体检测；
挥手检测模块，对于异常物体检测模块检测出的异常物体进行进一步的挥手检测，检测出可能的遇险者；
检测结果处理模块，对于所有检测出来的异常区域，按照检测出来区域存在遇险者的可能性大小进行排序，并将结果发送给控制台模块；
飞行控制模块用于对无人机的飞行路径和观测区域进行控制；
控制台模块用于将检测出来的异常物体按照最大可能为遇险者的顺序展示给监控人员，由监控人员进行最终筛选。
CN201510869662.7A 2015-12-02 2015-12-02 一种使用无人机进行海上遇险人员自动搜救方法 Expired - Fee Related CN105513061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510869662.7A CN105513061B (zh) 2015-12-02 2015-12-02 一种使用无人机进行海上遇险人员自动搜救方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510869662.7A CN105513061B (zh) 2015-12-02 2015-12-02 一种使用无人机进行海上遇险人员自动搜救方法

Publications (2)

Publication Number Publication Date
CN105513061A CN105513061A (zh) 2016-04-20
CN105513061B true CN105513061B (zh) 2018-06-19

Family

ID=55721018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510869662.7A Expired - Fee Related CN105513061B (zh) 2015-12-02 2015-12-02 一种使用无人机进行海上遇险人员自动搜救方法

Country Status (1)

Country Link
CN (1) CN105513061B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254733A (zh) * 2016-08-09 2016-12-21 成都联众智科技有限公司 一种用于海上救援的图像识别系统
CN109714577A (zh) * 2016-09-20 2019-05-03 张玲花 无人机控制系统、基于人脸识别的视频监控天网系统
CN107018361A (zh) * 2017-03-27 2017-08-04 上海斐讯数据通信技术有限公司 基于无人机航拍及图像分析识别违禁渔具的方法及系统
CN107194340B (zh) * 2017-05-15 2022-03-01 窦露 利用计算机视觉搜索登山遇险人员的方法及系统
CN107450597A (zh) * 2017-08-18 2017-12-08 南方科技大学 海上救援设备的通信系统和方法
CN108526834B (zh) * 2018-03-14 2019-10-11 厦门攸信信息技术有限公司 装配过程智能监测系统、装配系统及其监测方法
CN108573482B (zh) * 2018-03-22 2019-02-05 深圳市精一控股有限公司 警示枪触发式计算机操作平台
CN110321775A (zh) * 2019-04-08 2019-10-11 武汉理工大学 一种基于多旋翼无人机的水上落水人员自主识别方法
CN114022685B (zh) * 2020-07-17 2022-10-21 南京南瑞信息通信科技有限公司 一种安全员位置检测方法及系统
CN112162566B (zh) * 2020-09-04 2024-01-16 深圳市创客火科技有限公司 路线规划方法、电子设备及计算机可读存储介质
CN112527004B (zh) * 2020-10-22 2021-12-17 林海明珠(黑龙江)科技有限公司 速率方向一体化调控系统
CN112911210A (zh) * 2020-11-22 2021-06-04 泰州镭昇光电科技有限公司 应用双重检测模式的海域监控系统及方法
CN113283314A (zh) * 2021-05-11 2021-08-20 桂林电子科技大学 一种基于YOLOv3和手势识别的无人机的夜间搜救方法
CN113342019B (zh) * 2021-06-07 2023-02-03 广州智航船舶科技有限公司 一种基于无人机的海上搜救方法、系统、设备及介质
CN113780113A (zh) * 2021-08-25 2021-12-10 廊坊中油朗威工程项目管理有限公司 管道违章行为识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007135659A2 (en) * 2006-05-23 2007-11-29 Elbit Systems Electro-Optics Elop Ltd. Clustering - based image registration
CN101976439A (zh) * 2010-11-02 2011-02-16 上海海事大学 海难搜救机器视觉系统中结合运动信息的视觉注意模型
CN102456881A (zh) * 2010-10-18 2012-05-16 中国科学院物理研究所 橄榄石型磷酸盐正极材料、其制备方法及含该正极材料的正极和电池
CN103530988A (zh) * 2013-10-11 2014-01-22 吉林大学 一种草坪践踏及危害程度的预警方法
CN104992140A (zh) * 2015-05-27 2015-10-21 上海海事大学 一种基于遥感图像的海面异常漂浮物检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007135659A2 (en) * 2006-05-23 2007-11-29 Elbit Systems Electro-Optics Elop Ltd. Clustering - based image registration
CN102456881A (zh) * 2010-10-18 2012-05-16 中国科学院物理研究所 橄榄石型磷酸盐正极材料、其制备方法及含该正极材料的正极和电池
CN101976439A (zh) * 2010-11-02 2011-02-16 上海海事大学 海难搜救机器视觉系统中结合运动信息的视觉注意模型
CN103530988A (zh) * 2013-10-11 2014-01-22 吉林大学 一种草坪践踏及危害程度的预警方法
CN104992140A (zh) * 2015-05-27 2015-10-21 上海海事大学 一种基于遥感图像的海面异常漂浮物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于决策树的海上搜救目标检测算法;陈鹏鹏 等;《上海海事大学学报》;20100930;第31卷(第3期);第1-4页 *

Also Published As

Publication number Publication date
CN105513061A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN105513061B (zh) 一种使用无人机进行海上遇险人员自动搜救方法
CN104992140B (zh) 一种基于遥感图像的海面异常漂浮物检测方法
CN105447459B (zh) 一种无人机自动检测目标和跟踪方法
CN109308483B (zh) 基于卷积神经网络的双源图像特征提取及融合识别方法
CN107571977B (zh) 一种基于fpga的中小型水域自主救生系统及救生方法
CN109271856A (zh) 基于扩张残差卷积的光学遥感图像目标检测方法
CN110348304A (zh) 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法
CN108875608A (zh) 一种基于深度学习的机动车交通信号识别方法
CN106295600A (zh) 驾驶员状态实时检测方法和装置
EP2273449A2 (en) Method and Apparatus for Image Processing using Histogram Equalization
CN103903237B (zh) 一种前扫声纳图像序列拼接方法
CN109215018A (zh) 基于Canny算子和高斯形态学的船舶检测方法
US11830248B2 (en) Method and apparatus for processing hyperspectral data for identifying marine object
Vandenbroucke et al. Color pixels classification in an hybrid color space
US11715286B2 (en) Method and system for recognizing marine object using hyperspectral data
CN106886747B (zh) 一种基于扩展小波变换的复杂背景下舰船检测方法
CN108509875A (zh) 无人机目标识别定位系统
Song et al. Detection of maize tassels for UAV remote sensing image with an improved YOLOX model
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
CN105139034B (zh) 一种结合光谱滤除的船舶检测方法
CN113706496B (zh) 一种基于深度学习模型的飞行器结构裂纹检测方法
CN115116137A (zh) 基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法
CN110660187B (zh) 一种基于边缘计算的森林火警监测系统
CN112101260A (zh) 一种作业人员安全带识别方法、装置、设备和存储介质
RU2610283C1 (ru) Способ дешифрации изображений

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180619

Termination date: 20211202

CF01 Termination of patent right due to non-payment of annual fee