CN111528834B - 一种实时sar图像目标检测系统及方法 - Google Patents

Abstract

本发明属于脑机接口技术应用技术领域，公开了一种实时SAR图像目标检测系统及方法，检测系统包括：人机交互装置、刺激切片呈现装置、脑电信号采集装置、脑电信号管理装置和脑电信号分类装置；刺激切片生成及呈现方法包括：对大幅面SAR图像进行设定尺寸的裁剪，得到若干小尺寸的刺激切片，并对刺激切片进行哈希编码；通过特定顺序生成适用于oddball范式的刺激切片序列，并在呈现装置以快速视觉呈现方式呈现。本发明能够有效提高SAR图像目标判读速度及准确率；运用刺激切片生成及呈现方法，使得判读人员即使面对密集目标区域也能产生更强效应的P300事件相关电位，有效提高系统的准确性和鲁棒性。

Description

一种实时SAR图像目标检测系统及方法

技术领域

本发明属于脑机接口技术应用技术领域，尤其涉及一种实时SAR图像目标检测系统及方法。

背景技术

目前，脑机接口(Brain Computer Interface，BCI)是一种涉及神经科学、信号处理、模式识别、计算机等多学科的交叉技术，通过非自然的方法实现大脑内部信息和外界环境的沟通，为人机交互提供了一种崭新的信息交互方式。非侵入式BCI技术由于大脑信号采集方式是无创的，因此具有更广阔的应用前景。BCI技术的目的在于利用特异刺激引发大脑特定的诱发电位，该特定电位既可以作为判断大脑活动的依据，也可以作为判定引发该大脑活动的刺激是否具有特异性的依据。P300是大脑认知过程中的一种诱发电位，是一个潜伏期大约为300毫秒具有正电位波峰的波形。P300的波幅与相关目标刺激出现的概率成反比，即目标刺激出现的概率越大，P300的幅值就越小，而目标刺激出现的概率越小则相应的P300幅值越大。小概率刺激(oddball)实验范式是常用的事件相关电位(Event-relatedPotential，ERP)实验范式之一，经典的oddball范式是指频率固定的连续刺激中只包含有同一感觉通道(视觉、听觉等)的两种刺激，并且刺激出现概率有显著的差别。大概率刺激被称为标准刺激(standard stimuli)，小概率刺激被称为偏差刺激(deviant stimuli)。偏差刺激通常应小于20％，相应地，标准刺激通常大于80％。该实验范式是产生P300等与刺激概率有关的ERP的重要实验范式。快速序列视觉呈现(Rapid Serial Visual Presentation，RSVP)任务是指给被试呈现一系列视觉刺激，每秒6-20个刺激的快速呈现，每个刺激物呈现在计算机屏幕的同一位置，每个刺激呈现时间相等，前一个消失后连续地出现下一个视觉刺激。

合成孔径雷达(Synthetic Aperture Radar，SAR)已广泛应用于国民经济和国防安全的各个领域。SAR图像的特征决定了其应用的广泛性，同时也增加了SAR图像处理与分析的复杂性。受雷达成像模式、分辨率、视角、目标与背景特性等众多因素的影响，基于SAR图像的自动目标检测与识别仍是一个极具挑战性的难题。尽管现有研究已经提出了大量的自动处理方法，但其性能仅能在特定的操作条件下得到保证，面对多模式、多极化、多参数、高分辨率成像、多目标类型、复杂背景，以及存在变体、伪装和欺骗等开放式复杂环境时，现有计算机自动分析方法的性能仍无法满足实际应用的需求，因此基于视觉专家的人工判读仍是SAR图像分析的重要手段。视觉专家的显著特征是反应准确率更高、行为鲁棒性更好、抗干扰能力更强，但是受专家数量的限制以及疲劳、伤病等因素的影响，传统人工判读方式难以满足大数据量、强实时性的任务需求，导致大量的图像数据得不到有效的分析和利用。所以提出一种新型的SAR图像目标检测方式来解决以上问题是极具意义的。

BCI技术为提高人工判读的效能提供了一种新的技术途径。已有如美国陆军实验室与加州大学圣迭戈分校的合作研究——脑电响应分类系统(networked EEG responseclassification system，NERC)，应用BCI技术提高判读人员的判读效率及识别准确率。该研究首先将大幅面图像分割为小的刺激切片，由于在一般场景下包含目标的刺激切片数量远小于不包含目标刺激切片的数量，满足oddball实验范式的要求，采用RSVP视觉呈现方式，可以利用包含目标的刺激图片诱发的判读人员P300信号实现对感兴趣目标的自动检测，同时显著提高图像判读的速度。

通过上述分析，现有技术存在的问题及缺陷为：传统的人工判读检测方法存在耗时耗力；传统的计算机自动检测方法存在着复杂场景下检测性能低、不同场景泛化能力差。由加州大学圣迭戈分校在其脑电响应分类系统(networked EEG responseclassification system，NERC)中所使用Heptunx路径搜索法(Heptunx path search，HPS)。有着如下的问题，生成的刺激切片所占大幅面SAR图像面积有限，并且产生很大面积的盲区；HPS在呈现目标密集区域时不能有效避免目标切片连续出现的情况，而这一情况会减弱诱发判读人员P300脑电的响应，从而降低系统的判读准确率。

解决以上问题及缺陷的难度为：人工判读检测方法因其固有的操作繁琐的特性，导致该方式耗时耗力，效率低下。计算机自动检测方法在设计之初就是针对某些特定场景及模态而设计的，所以在不同场景或不同模态下其性能难以保证。

解决以上问题及缺陷的意义为：基于脑机接口技术，提出了基于oddball实验范式快速连续视觉呈现刺激切片，同时有效的识别判读人员的大脑响应，以此作为判断刺激切片中是否存在目标的依据，能够极大简化判读人员的标注操作，仅需要大脑识别刺激切片是否包含目标，从而有效地提高人工判读的速度。由于本发明运用了提出的一种适用于oddball实验范式的刺激切片生成及呈现方法，使得刺激切片集合所占大幅面SAR图像的区域更加完整，有效避免了漏检的发生；并且连续呈现的刺激切片所属地理位置更加分散，能够避免因目标过于密集而导致的目标刺激概率违背oddball实验范式要求的问题，可以有效的提高SAR图像目标检测的准确率。

发明内容

针对现有技术存在的问题，本发明提供了一种实时SAR图像目标检测系统及方法。

本发明是这样实现的，一种实时SAR图像目标检测方法，所述实时SAR图像目标检测方法包括：

步骤一，打开、显示和保存大幅面SAR图像，产生刺激切片及其哈希值，管理与呈现装置及脑电采集装置之间的相互通信，载入脑电信号分类装置并通过分类装置对脑电信号进行分类，判断脑电信号对应的刺激切片是否包含目标；

步骤二，以适用于oddball实验范式的刺激切片呈现顺序呈现刺激切片，用于判读人员判断刺激切片中是否包含目标；

步骤三，对采集到的脑电信号数据按照各个脑电数据分段单元的请求分发给各个脑电数据分段单元；对从脑电数据分拣单元传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

进一步，所述实时SAR图像目标检测方法还包括：实时采集判读人员的脑电信号，通过USB接口将采集到的脑电数据传入检测系统管理计算机，通过计算机本地TCP/IP服务将脑电数据传入脑电信号管理装置。

进一步，所述实时SAR图像目标检测方法还包括：设置呈现系统管理计算机的IP及端口，设置刺激呈现频率及每个刺激切片对应的脑电时间段长度；打开待检测的大幅面SAR图像，以适用于oddball实验范式的刺激切片生成方法对SAR图像进行剪切，生成刺激切片并进行哈希编码；装载脑电信号分类装置。

进一步，所述实时SAR图像目标检测方法还包括：将用户输入的实验参数通过TCP/IP协议传输至呈现端管理计算机，并开启目标标注单元的分类定时器；等待呈现端管理计算机的指令；与此同时，刺激切片呈现装置根据接收到的参数，按照适用于oddball实验范式的刺激切片生成及呈现方法中的特定顺序呈现步骤呈现各个刺激切片；在呈现每个刺激切片的同时，将该刺激切片的哈希值发送给人机交互装置；当所有刺激切片呈现完毕后，发送实验结束指令至人机交互装置。

当人机交互装置收到来自刺激切片呈现装置发送的哈希值时，通过管道通知脑电信号管理装置更新进程记录表；脑电信号管理装置接收到更新进程记录表指令后执行其功能，人机交互装置再次等待刺激切片呈现装置的指令，直到接收到实验结束指令时，通过进程间通道通知脑电信号管理装置执行结束操作，此时脑电信号管理装置不再等待指令，而是循环操作更新进程表，直到进程表中不存在进程，通知人机交互装置退出程序；人机交互装置接收到退出指令后，关闭分类定时器并断开与呈现端管理计算机的TCP/IP连接，退出程序完成SAR图像目标检测任务。

进一步，所述实时SAR图像目标检测方法还包括：脑电信号管理装置从TCP/IP服务中读取脑电数据并推入进程间队列、脑电数据队列，由脑电数据分拣装置实现推出队列操作，根据现存的各个脑电数据段生成装置的需求分发数据；脑电数据分拣装置在系统启动时开辟一个进程池，等待人机交互装置发出更新脑电数据段生成装置的指令，接收到指令后，从进程池中获取进程并开辟进程间管道，用于建立脑电数据分拣装置与该进程的专有沟通；从脑电数据队列中推出所有数据，询问所有脑电数据段生成装置进程是否有接收数据的请求，按请求分配完数据后重新等待人机交互装置发出更新脑电数据段生成装置的指令；

每一个脑电数据段生成装置进程获取新进程后在接收到脑电数据分拣装置发出的脑电数据前首先判断已有数据长度是否满足设定要求，若不满足则接收数据并将数据拼接整合，否则不再接收数据，将整合后的数据推入用于存储刺激切片对应脑电数据的队列、刺激切片脑电队列，并通知脑电数据分拣装置结束进程；

目标标注在被人机交互装置开启后，每100毫秒执行一次刺激切片脑电队列数据出队操作，并根据分类装置的分类结果标注目标，直到所有刺激切片分类完毕，由人机交互装置控制结束。

进一步，所述适用于oddball实验范式的刺激切片生成及呈现方法包括：

第一步，大幅面SAR图像剪切，对打开的大幅面SAR图像，按照固定的切片大小进行剪切，生成数个刺激切片；

第二步，哈希函数编码，根据刺激切片所在空间位置，使用适用于oddball实验范式的刺激切片呈现顺序的哈希函数f得到各个刺激切片的哈希值；

第三步，特定顺序呈现，以适用于oddball实验范式的刺激切片呈现顺序的哈希值索引对应刺激切片，并按照特定顺序以RSVP方式快速呈现；

进一步，所述第一步大幅面SAR图像剪切包括：

(1)确定刺激切片大小：根据待检测目标的尺寸，确定出完全涵盖目标，又包含背景信息的刺激切片大小；

(2)大幅面SAR图像剪切：根据(1)所确定的刺激切片大小n×m及大幅面SAR图像尺寸N×M，求解各个刺激切片左上角像素的位置(x，y)，具体流程为：

a)首先计算：

a_N＝floor(N，9×n)，

k_N＝mod(N，9×n)n)，

a_M＝floor(M，9×m)，

k_M＝mod(M，9×m)，

其中floor(·)为取整函数，mod(·)为取余函数；

b)然后计算第一个刺激切片的位置(x₀，y₀)：

x₀＝floor(k_N，2)，

y₀＝floor(k_M，2)，

c)最后根据公式的结果，计算出其余刺激切片的位置(x，y)：

x＝α×n+x₀，

y＝β×m+y₀

其中α，β为整数，α∈{1，2，…，a_N×9}，β∈{1，2，…，a_M×9}；

所述第二步哈希函数编码包括：

(1)刺激切片的分级表示：刺激切片在大幅面SAR图像中的位置被分为三个级别，分别是被称为Cell的单个刺激切片，九个Cell切片以九宫格形式组成的Block_I，和九个Block_I以九宫格形式组成的Block_II；

(2)九宫格编码方式：九宫格有正中、左上、正下、右上、正左、右下、正上、左下和正右九种位置，分别编码为1、2、3、4、5、6、7、8、9；

(3)适用于oddball实验范式的刺激切片呈现顺序的哈希函数f：根据每张刺激切片Cell在不同级别九宫格中的位置进行编码，一张大幅面SAR图像共包含N个Block_II，每个Block_II的编码为n，其中每个Block_I的编码为a，每个Block_I中的Cell对应的编码为b，对每一个Cell使用f(n，a，n)＝n×100+a×10+b进行编码，其中0＜n≤N，1≤a，b≤9,；

所述第三步特定顺序呈现包括：适用于oddball实验范式的刺激切片展示顺序：

(1)令n＝a＝b＝1，索引f(n，a，b)；

(2)固定n与b的值，遍历a从1至9，依次索引f(n，a，b)；

(3)令b+1，重复(1)，直至b＞9，执行(3)；

(4)令n+1，重复(1)，直至n＞N。

本发明的另一目的在于提供一种实施所述实时SAR图像目标检测方法的实时SAR图像目标检测系统，所述实时SAR图像目标检测系统包括：

人机交互模块，用于打开、显示和保存大幅面SAR图像，以适用于oddball实验范式的刺激切片生成方法产生刺激切片及其哈希值，管理与呈现装置及脑电采集装置之间的相互通信，载入脑电信号分类装置并通过分类装置对脑电信号进行分类，判断脑电信号对应的刺激切片是否包含目标；

刺激切片呈现模块，以适用于oddball实验范式的刺激切片呈现顺序呈现刺激切片，用于判读人员判断刺激切片中是否包含目标；

脑电信号管理模块，用于对采集到的脑电信号数据按照各个脑电数据分段装置的请求分发给各个脑电数据分段装置；对从脑电数据分拣装置传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

进一步，所述人机交互模块包括：

SAR图像操作单元：用于打开、显示和保存大幅面SAR图像文件；

刺激切片生成单元：用于生成适用于oddball实验范式的刺激切片，并对刺激切片以一种哈希函数进行编码，哈希值用于oddball实验中刺激切片的索引；

分类装置载入单元：用于载入预先训练好的脑电信号分类装置，该分类装置算法可以为支持向量机、神经网络等模型；

实验执行单元：在用户依次完成以上单元的操作之后执行本单元，用以通知刺激呈现装置以本发明所述的一种适用于oddball实验范式的顺序呈现刺激切片，启动脑电信号管理装置对采集到的脑电信号进行整理和数据分段，使用脑电信号分类装置对脑电数据段进行分类，并以此判定刺激切片中是否包含目标；

目标标注单元：用于根据脑电数据分类结果标注出大幅面SAR图像中的目标位置；

所述刺激切片呈现模块包括：

通信单元：用于接收人机交互装置发出的实验参数和实验启动信号，并在实验过程中向人机交互装置发送当前呈现刺激切片的哈希值；

切片呈现单元：用于将刺激切片以快速序列视觉呈现方式呈现在显示器上；

所述脑电信号管理模块包括：

脑电数据分拣单元，用于响应脑电数据段生成单元的请求，将采集到的脑电信号数据分发给各个脑电数据段生成装置；

脑电数据段生成单元，用于对从脑电数据分拣单元传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

本发明的另一目的在于提供一种搭载所述实时SAR图像目标检测系统的合成孔径雷达。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明基于脑机接口技术的SAR图像目标检测与识别是一种新型的SAR图像判读方式。基于脑机接口技术，提出了基于oddball实验范式快速连续视觉呈现刺激切片，同时有效的识别判读人员的大脑响应，以此作为判断刺激切片中是否存在目标的依据，能够有效地提高人工判读的速度。由于本发明运用了提出的一种适用于oddball实验范式的刺激切片生成及呈现方法，使得刺激切片集合所占大幅面SAR图像的区域更加完整，有效避免了漏检的发生；并且连续呈现的刺激切片所属地理位置更加分散，能够避免因目标过于密集而导致的目标刺激概率违背oddball实验范式要求的问题，可以有效的提高SAR图像目标检测的准确率。该系统及方法应用于基于人工判读的SAR图像目标检测，可显著提高图像判读速度并保证目标检测的准确率，为SAR图像目标检测与识别提供了一种新的技术手段，拓宽了脑机接口技术的应用范围，具有重要的应用价值。本发明提高了SAR图像目标检测效率的基于脑机接口的实时SAR图像目标检测系统以及一种适用于oddball实验范式的刺激切片生成及呈现方法。

附图说明

图1是本发明实施例提供的实时SAR图像目标检测方法流程图。

图2是本发明实施例提供的实时SAR图像目标检测系统的结构示意图；

图中：1、人机交互模块；2、刺激切片呈现模块；3、脑电信号管理模块。

图3是本发明实施例提供的实时SAR图像目标检测系统的架构示意图。

图4是本发明实施例提供的适用于oddball实验范式的刺激切片生成及呈现方法示意图。

图5是本发明实施例提供的人机交互装置示意图。

图6是本发明实施例提供的刺激切片呈现装置示意图。

图7是本发明实施例提供的适用于oddball实验范式的刺激切片呈现方法的Block_I中呈现顺序示意图。

图8是本发明实施例提供的脑电信号管理装置方框图。

图9是本发明实施例提供的脑电数据分拣装置方框图。

图10是本发明实施例提供的脑电数据段生成装置方框图。

图11是本发明实施例提供的目标标注单元示意图。

图12是本发明实施例提供的大幅面SAR图像示意图。

图13是本发明实施例提供的HSP二级搜索路径示意图。

图14是本发明实施例提供的HSP一级搜索路径示意图。

图15是本发明实施例提供的HSP刺激切片集示意图。

图16是本发明实施例提供的本发明生成的刺激切片集示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种实时SAR图像目标检测系统及方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明提供的实时SAR图像目标检测方法包括以下步骤：

S101：打开、显示和保存大幅面SAR图像，以适用于oddball实验范式的刺激切片生成方法产生刺激切片及其哈希值，管理与呈现装置及脑电采集装置之间的相互通信，载入脑电信号分类装置并通过分类装置对脑电信号进行分类，判断脑电信号对应的刺激切片是否包含目标。

S102：以适用于oddball实验范式的刺激切片呈现顺序呈现刺激切片，用于判读人员判断刺激切片中是否包含目标。

S103：对采集到的脑电信号数据按照各个脑电数据分段单元的请求分发给各个脑电数据分段单元；对从脑电数据分拣单元传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

如图2所示，本发明提供的实时SAR图像目标检测系统包括：

人机交互模块1，用于用户操作：打开、显示和保存大幅面SAR图像，以一种适用于oddball实验范式的刺激切片生成方法产生刺激切片及其哈希值，管理与呈现装置及脑电采集装置之间的相互通信，载入脑电信号分类装置并通过分类装置对脑电信号进行分类，判断脑电信号对应的刺激切片是否包含目标。

刺激切片呈现模块2，以适用于oddball实验范式的刺激切片呈现顺序呈现刺激切片，用于判读人员判断刺激切片中是否包含目标。

脑电信号管理模块3，用于对采集到的脑电信号数据按照各个脑电数据分段装置的请求分发给各个脑电数据分段装置；对从脑电数据分拣装置传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

本发明的人机交互模块1包括：

SAR图像操作单元：用于打开、显示和保存大幅面SAR图像文件。

刺激切片生成单元：用于生成适用于oddball实验范式的刺激切片，并对刺激切片以一种哈希函数进行编码，哈希值用于oddball实验中刺激切片的索引；

分类装置载入单元：用于载入预先训练好的脑电信号分类装置，该分类装置算法可以为支持向量机、神经网络等模型。

实验执行单元：在用户依次完成以上单元的操作之后执行本单元，用以通知刺激呈现装置以本发明所述的一种适用于oddball实验范式的顺序呈现刺激切片，启动脑电信号管理装置对采集到的脑电信号进行整理和数据分段，使用脑电信号分类装置对脑电数据段进行分类，并以此判定刺激切片中是否包含目标。

目标标注单元：用于根据脑电数据分类结果标注出大幅面SAR图像中的目标位置。

本发明的刺激切片呈现模块2包括：

通信单元：用于接收人机交互装置发出的实验参数和实验启动信号，并在实验过程中向人机交互装置发送当前呈现刺激切片的哈希值。

切片呈现单元：用于将刺激切片以快速序列视觉呈现方式呈现在显示器上。

本发明的脑电信号管理模块3还包括：

脑电数据分拣单元，用于响应脑电数据段生成单元的请求，将采集到的脑电信号数据分发给各个脑电数据段生成装置；

脑电数据段生成单元，用于对从脑电数据分拣单元传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

本发明的适用于oddball实验范式的刺激切片生成及呈现方法，具体步骤包括：

大幅面SAR图像剪切步骤：对打开的大幅面SAR图像，按照固定的切片大小进行剪切，生成数个刺激切片；

哈希函数编码步骤：根据刺激切片所在空间位置，使用适用于oddball实验范式的刺激切片呈现顺序的哈希函数f得到各个刺激切片的哈希值；

特定顺序呈现步骤：以一种适用于oddball实验范式的刺激切片呈现顺序的哈希值索引对应刺激切片，并按照特定顺序以RSVP方式快速呈现。

本发明的大幅面SAR图像剪切步骤，还包括：

步骤1.1确定刺激切片大小：根据待检测目标的尺寸，确定出既可以完全涵盖目标，又包含足够背景信息的刺激切片大小；

步骤1.2大幅面SAR图像剪切：根据步骤1.1所确定的刺激切片大小(n×m)及大幅面SAR图像尺寸(N×M)，求解各个刺激切片左上角像素的位置(x，y)，具体流程为：

a)首先计算：

其中floor(·)为取整函数，mod(·)为取余函数；

b)然后计算第一个刺激切片的位置(x₀，y₀)：

c)最后根据公式(1)和(2)的结果，计算出其余刺激切片的位置(x，y)：

其中α，β为整数，α∈{1，2，…，a_N×9}，β∈{1，2，…，a_M×9}。

根据本发明的实施例，哈希函数编码步骤，还包括：

刺激切片的分级表示：刺激切片在大幅面SAR图像中的位置被分为三个级别，分别是被称为Cell的单个刺激切片，九个Cell切片以九宫格形式组成的Block_I，和九个Block_I以九宫格形式组成的Block_II；

九宫格编码方式：九宫格有正中、左上、正下、右上、正左、右下、正上、左下和正右九种位置，分别编码为1、2、3、4、5、6、7、8、9；

适用于oddball实验范式的刺激切片呈现顺序的哈希函数f：根据每张刺激切片Cell在不同级别九宫格中的位置进行编码。假定一张大幅面SAR图像共包含N个Block_II，每个Block_II的编码为n，其中每个Block_I的编码为a，每个Block_I中的Cell对应的编码为b，对每一个Cell使用f(n，a，b)＝n×100+a×10+b进行编码，其中0＜n≤N，1≤a，b≤9。

根据本发明的实施例，特定顺序呈现步骤，还包括：

适用于oddball实验范式的刺激切片展示顺序：

步骤2.1首先令n＝a＝b＝1，索引f(n，a，b)；

步骤2.2固定n与b的值，遍历a从1至9，依次索引f(n，a，b)；

步骤2.3令b+1，重复步骤2.1，直至b＞9，执行步骤2.3；

步骤2.4令n+1，重复步骤2.1，直至n＞N。

下面结合附图对本发明的技术方案作进一步的描述。

如图3所示，本发明提供的实时SAR图像目标检测系统包括：人机交互装置、脑电信号采集装置、脑电信号管理装置、脑电信号分类装置、刺激切片呈现装置。实现本发明的具体方法如下：

首先打开脑电信号采集装置实时采集判读人员的脑电信号，通过USB接口将采集到的脑电数据传入检测系统管理计算机，通过计算机本地TCP/IP服务将脑电数据传入脑电信号管理装置。

然后打开人机交互装置，设置呈现系统管理计算机的IP及端口，设置刺激呈现频率及每个刺激切片对应的脑电时间段长度；打开待检测的大幅面SAR图像，以适用于oddball实验范式的刺激切片生成方法对SAR图像进行剪切(如图4所示)，生成刺激切片并进行哈希编码；装载脑电信号分类装置，开始实验，执行如图5所示的操作。

如图5所示的人机交互装置示意图，开始实验时首先将用户输入的实验参数通过TCP/IP协议传输至呈现端管理计算机，并开启目标标注单元的分类定时器，然后等待呈现端管理计算机的指令。与此同时，刺激切片呈现装置执行如图6所示的操作：根据接收到的参数，按照一种适用于oddball实验范式的刺激切片生成及呈现方法中所述的特定顺序(如图7所示)呈现步骤呈现各个刺激切片；在呈现每个刺激切片的同时，将该刺激切片的哈希值发送给人机交互装置；当所有刺激切片呈现完毕后，发送实验结束指令至人机交互装置。

另一方面，当人机交互装置收到来自刺激切片呈现装置发送的哈希值时，通过管道通知脑电信号管理装置更新进程记录表。脑电信号管理装置接收到更新进程记录表指令后执行其功能，人机交互装置再次等待刺激切片呈现装置的指令，直到接收到实验结束指令时，通过进程间通道通知脑电信号管理装置执行结束操作，此时脑电信号管理装置不再等待指令，而是循环操作更新进程表，直到进程表中不存在进程，然后通知人机交互装置退出程序。人机交互装置接收到退出指令后，关闭分类定时器并断开与呈现端管理计算机的TCP/IP连接，退出程序完成SAR图像目标检测任务。

脑电信号管理装置由人机交互装置通过进程间通信(Inter-ProcessCommunication，IPC)方式中的管道通信控制。脑电信号管理装置如图8完成从TCP/IP服务中读取脑电数据并推入进程间队列——脑电数据队列，由脑电数据分拣装置实现推出队列操作，然后根据现存的各个脑电数据段生成装置的需求分发数据。其中脑电数据分拣装置的功能方框图如图9所示，该装置在系统启动时开辟一个进程池，等待人机交互装置发出更新脑电数据段生成装置的指令，接收到指令后，从进程池中获取进程并开辟进程间管道，用于建立脑电数据分拣装置与该进程的专有沟通；然后从脑电数据队列中推出所有数据，询问所有脑电数据段生成装置进程是否有接收数据的请求，按请求分配完数据后重新等待人机交互装置发出更新脑电数据段生成装置的指令。

每一个脑电数据段生成装置进程获取新进程后执行如图10所示的操作，在接收到脑电数据分拣装置发出的脑电数据前首先判断已有数据长度是否满足设定要求，若不满足则接收数据并将数据拼接整合，否则不再接收数据，将整合后的数据推入用于存储刺激切片对应脑电数据的队列——刺激切片脑电队列，并通知脑电数据分拣装置结束进程。

如图11所示，本发明的目标标注单元在被人机交互装置开启后，每100毫秒执行一次刺激切片脑电队列数据出队操作，并根据分类装置的分类结果标注目标，直到所有刺激切片分类完毕，由人机交互装置控制其结束。

下面结合实验对本发明的技术效果作详细的描述。

本发明呈现方法的有效性证明，通过仿真实验证明本发明呈现发放的有效性。如图12所示是一张大幅面SAR图像裁剪效果图，拟定检测任务为检测该SAR图像中的车辆目标。该大幅面SAR图像取自miniSAR数据集，图片大小为1125×642像素。拟定刺激切片大小为64×64像素的正方形。如图13和图14所示是加州圣迭戈大学设计的脑电响应分类系统(networked EEG response classification system，NERC)提出的Heptunx路径搜索法(Heptunx path search，HPS)。

1、刺激切片集区域完整性验证

如图15所示是采用HSP剪切出的刺激切片集。可以看到采用HSP生成地刺激切片集有很大面积地盲区，盲区部分没有被生成刺激切片，判读人员无法对盲区的目标进行判读标注。

如图16所示是采用本发明生成的刺激切片集。可以直观地看到采用HSP生成地刺激切片集盲区面积相较于HSP小，相较于HSP本发明生成的刺激切片集占大幅面SAR图像面积更加完整，判读人员捕获SAR图像信息更加完整。更具体地说，采用HSP得出的刺激切片集占总面积的47.08％，使用本发明得出的刺激切片集占总面积占比为78.16％，证明本发明的刺激切片生成得到的刺激切片集占大幅面SAR图像区域更加完整。

2、呈现顺序更适用于oddball范式验证

2.1 HSP呈现方式

因为在HSP呈现方式的一级搜索路径中，每两张连续呈现的刺激切片在空间位置上有相邻的特性，所以会导致在目标密集的区域内的目标刺激切片连续出现，这是与oddball实验范式的要求相违背的，说明HSP呈现方式不能切合oddball实验范式，也就不能鲁棒地诱发判读人员P300响应。

2.2 本发明提出的呈现方式

在本发明提出的呈现方式的Block_Ⅰ中，每两张连续呈现的刺激切片在空间上都有保持一定的距离，避免了空间相邻的刺激切片连续呈现，即使在目标密集的区域也不会导致目标刺激切片的连续出现，满足oddball实验范式的要求。证明本发明提出的呈现方式即使在目标聚集的情况下也能满足oddball实验范式要求，可以有效地诱发判读人员脑电的P300响应。

综上所述，本发明运用的一种适用于oddball实验范式的刺激切片生成及呈现方法，可以使得刺激切片集合所占大幅面SAR图像的区域更加完整，有效避免了漏检的发生；并且连续呈现的刺激切片所属地理位置更加分散，能够避免因目标过于密集而导致的目标刺激概率违背oddball实验范式要求的问题，可以有效地诱发判读人员脑电的P300响应，从而提高SAR图像目标检测的准确率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种实时SAR图像目标检测方法，其特征在于，所述实时SAR图像目标检测方法包括：

步骤一，打开、显示和保存大幅面SAR图像，产生刺激切片及其哈希值，管理与呈现装置及脑电采集装置之间的相互通信，载入脑电信号分类装置并通过分类装置对脑电信号进行分类，判断脑电信号对应的刺激切片是否包含目标；

步骤二，以适用于oddball实验范式的刺激切片呈现顺序呈现刺激切片，用于判读人员判断刺激切片中是否包含目标；

步骤三，对采集到的脑电信号数据按照各个脑电数据分段单元的请求分发给各个脑电数据分段单元；对从脑电数据分拣单元传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系；

所述实时SAR图像目标检测方法还包括：脑电信号管理装置从TCP/IP服务中读取脑电数据并推入进程间队列、脑电数据队列，由脑电数据分拣装置实现推出队列操作，根据现存的各个脑电数据段生成装置的需求分发数据；脑电数据分拣装置在系统启动时开辟一个进程池，等待人机交互装置发出更新脑电数据段生成装置的指令，接收到指令后，从进程池中获取进程并开辟进程间管道，用于建立脑电数据分拣装置与该进程的专有沟通；从脑电数据队列中推出所有数据，询问所有脑电数据段生成装置进程是否有接收数据的请求，按请求分配完数据后重新等待人机交互装置发出更新脑电数据段生成装置的指令；

每一个脑电数据段生成装置进程获取新进程后在接收到脑电数据分拣装置发出的脑电数据前首先判断已有数据长度是否满足设定要求，若不满足则接收数据并将数据拼接整合，否则不再接收数据，将整合后的数据推入用于存储刺激切片对应脑电数据的队列、刺激切片脑电队列，并通知脑电数据分拣装置结束进程；

目标标注单元在被人机交互装置开启后，每100毫秒执行一次刺激切片脑电队列数据出队操作，并根据分类装置的分类结果标注目标，直到所有刺激切片分类完毕，由人机交互装置控制结束。

2.如权利要求1所述的实时SAR图像目标检测方法，其特征在于，所述实时SAR图像目标检测方法还包括：实时采集判读人员的脑电信号，通过USB接口将采集到的脑电数据传入检测系统管理计算机，通过计算机本地TCP/IP服务将脑电数据传入脑电信号管理装置。

3.如权利要求2所述的实时SAR图像目标检测方法，其特征在于，所述实时SAR图像目标检测方法还包括：设置呈现系统管理计算机的IP及端口，设置刺激呈现频率及每个刺激切片对应的脑电时间段长度；打开待检测的大幅面SAR图像，以适用于oddball实验范式的刺激切片生成方法对SAR图像进行剪切，生成刺激切片并进行哈希编码；装载脑电信号分类装置。

4.如权利要求3所述的实时SAR图像目标检测方法，其特征在于，所述实时SAR图像目标检测方法还包括：将用户输入的实验参数通过TCP/IP协议传输至呈现端管理计算机，并开启目标标注单元的分类定时器；等待呈现端管理计算机的指令；与此同时，刺激切片呈现装置根据接收到的参数，按照适用于oddball实验范式的刺激切片生成及呈现方法中的特定顺序呈现步骤呈现各个刺激切片；在呈现每个刺激切片的同时，将该刺激切片的哈希值发送给人机交互装置；当所有刺激切片呈现完毕后，发送实验结束指令至人机交互装置；

当人机交互装置收到来自刺激切片呈现装置发送的哈希值时，通过管道通知脑电信号管理装置更新进程记录表；脑电信号管理装置接收到更新进程记录表指令后执行其功能，人机交互装置再次等待刺激切片呈现装置的指令，直到接收到实验结束指令时，通过进程间通道通知脑电信号管理装置执行结束操作，此时脑电信号管理装置不再等待指令，而是循环操作更新进程表，直到进程表中不存在进程，通知人机交互装置退出程序；人机交互装置接收到退出指令后，关闭分类定时器并断开与呈现端管理计算机的TCP/IP连接，退出程序完成SAR图像目标检测任务。

5.如权利要求1所述的实时SAR图像目标检测方法，其特征在于，所述适用于oddball实验范式的刺激切片生成及呈现方法包括：

第一步，大幅面SAR图像剪切，对打开的大幅面SAR图像，按照固定的切片大小进行剪切，生成数个刺激切片；

第二步，哈希函数编码，根据刺激切片所在空间位置，使用适用于oddball实验范式的刺激切片呈现顺序的哈希函数f得到各个刺激切片的哈希值；

第三步，特定顺序呈现，以适用于oddball实验范式的刺激切片呈现顺序的哈希值索引对应刺激切片，并按照特定顺序以RSVP方式快速呈现。

6.如权利要求5所述的实时SAR图像目标检测方法，其特征在于，所述第一步大幅面SAR图像剪切包括：

(1)确定刺激切片大小：根据待检测目标的尺寸，确定出完全涵盖目标，又包含背景信息的刺激切片大小；

(2)大幅面SAR图像剪切：根据(1)所确定的刺激切片大小n×m及大幅面SAR图像尺寸N×M，求解各个刺激切片左上角像素的位置(x，y)，具体流程为：

a)首先计算：

其中floor(·)为取整函数，mod(·)为取余函数；

b)然后计算第一个刺激切片的位置(x₀，y₀)：

c)最后根据公式(1)和(2)的结果，计算出其余刺激切片的位置(x，y)：

x＝α×n+x₀，

y＝β×m+y₀

其中α，β为整数，α∈{1，2，…，a_N×9}，β∈{1，2，…，a_M×9}；

所述第二步哈希函数编码包括：

(1)刺激切片的分级表示：刺激切片在大幅面SAR图像中的位置被分为三个级别，分别是被称为Cell的单个刺激切片，九个Cell切片以九宫格形式组成的Block_I，和九个Block_I以九宫格形式组成的Block_II；

(2)九宫格编码方式：九宫格有正中、左上、正下、右上、正左、右下、正上、左下和正右九种位置，分别编码为1、2、3、4、5、6、7、8、9；

(3)适用于oddball实验范式的刺激切片呈现顺序的哈希函数f：根据每张刺激切片Cell在不同级别九宫格中的位置进行编码，一张大幅面SAR图像共包含N个Block_II，每个Block_II的编码为n，其中每个Block_I的编码为a，每个Block_I中的Cell对应的编码为b，对每一个Cell使用f(n，a，b)＝n×100+a×10+b进行编码，其中0＜n≤N，1≤a，b≤9；

所述第三步特定顺序呈现包括：适用于oddball实验范式的刺激切片展示顺序：

(1)令n＝a＝b＝1，索引f(n，a，b)；

(2)固定n与b的值，遍历a从1至9，依次索引f(n，a，b)；

(3)令b+1，重复(1)，直至b＞9，执行(3)；

(4)令n+1，重复(1)，直至n＞N。

7.一种实施权利要求1～6任意一项所述实时SAR图像目标检测方法的实时SAR图像目标检测系统，其特征在于，所述实时SAR图像目标检测系统包括：

人机交互模块，用于打开、显示和保存大幅面SAR图像，以适用于oddball实验范式的刺激切片生成方法产生刺激切片及其哈希值，管理与呈现装置及脑电采集装置之间的相互通信，载入脑电信号分类装置并通过分类装置对脑电信号进行分类，判断脑电信号对应的刺激切片是否包含目标；

刺激切片呈现模块，以适用于oddball实验范式的刺激切片呈现顺序呈现刺激切片，用于判读人员判断刺激切片中是否包含目标；

脑电信号管理模块，用于对采集到的脑电信号数据按照各个脑电数据分段装置的请求分发给各个脑电数据分段装置；对从脑电数据分拣装置传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

8.如权利要求7所述的实时SAR图像目标检测系统，其特征在于，所述人机交互模块包括：

SAR图像操作单元：用于打开、显示和保存大幅面SAR图像文件；

刺激切片生成单元：用于生成适用于oddball实验范式的刺激切片，并对刺激切片以一种哈希函数进行编码，哈希值用于oddball实验中刺激切片的索引；

分类装置载入单元：用于载入预先训练好的脑电信号分类装置，该分类装置算法可以为支持向量机、神经网络模型；

实验执行单元：在用户依次完成以上单元的操作之后执行本单元，用以通知刺激呈现装置以本发明所述的一种适用于oddball实验范式的顺序呈现刺激切片，启动脑电信号管理装置对采集到的脑电信号进行整理和数据分段，使用脑电信号分类装置对脑电数据段进行分类，并以此判定刺激切片中是否包含目标；

目标标注单元：用于根据脑电数据分类结果标注出大幅面SAR图像中的目标位置；

所述刺激切片呈现模块包括：

通信单元：用于接收人机交互装置发出的实验参数和实验启动信号，并在实验过程中向人机交互装置发送当前呈现刺激切片的哈希值；

切片呈现单元：用于将刺激切片以快速序列视觉呈现方式呈现在显示器上；

所述脑电信号管理模块包括：

脑电数据分拣单元，用于响应脑电数据段生成单元的请求，将采集到的脑电信号数据分发给各个脑电数据段生成装置；

脑电数据段生成单元，用于对从脑电数据分拣单元传递的脑电数据进行拼接，并且与对应刺激时间的刺激切片建立对应关系。

Images