CN110221681B - 图像识别方法、图像呈现时间的调整方法及设备 - Google Patents

图像识别方法、图像呈现时间的调整方法及设备 Download PDF

Info

Publication number
CN110221681B
CN110221681B CN201810174915.2A CN201810174915A CN110221681B CN 110221681 B CN110221681 B CN 110221681B CN 201810174915 A CN201810174915 A CN 201810174915A CN 110221681 B CN110221681 B CN 110221681B
Authority
CN
China
Prior art keywords
image
sequence
presentation time
image sequence
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810174915.2A
Other languages
English (en)
Other versions
CN110221681A (zh
Inventor
杨晖
袁鹏
唐卫东
彭帅华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810174915.2A priority Critical patent/CN110221681B/zh
Priority to EP19760303.8A priority patent/EP3751461A4/en
Priority to PCT/CN2019/076657 priority patent/WO2019166006A1/zh
Publication of CN110221681A publication Critical patent/CN110221681A/zh
Priority to US17/007,869 priority patent/US11307660B2/en
Application granted granted Critical
Publication of CN110221681B publication Critical patent/CN110221681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像识别方法、图像呈现时间的调整方法及设备，该图像识别方法包括：设置图像序列对应的呈现时间序列，图像序列包括N张图像，呈现时间序列包括至少两个不相等的呈现时间，至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，k为正整数，Δ为预设时间段值；使用计算机视觉算法对图像序列进行处理，得到图像序列中每张图像对应的计算机视觉信号；获取观察对象在观看根据呈现时间序列进行显示的图像序列时产生的对应图像序列中每张图像的反馈信号；针对图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号。实施本申请实施例，可以降低图像识别的漏检率。

Description

图像识别方法、图像呈现时间的调整方法及设备
技术领域
本发明实施例涉及信息技术领域，尤其涉及一种图像识别方法、图像呈现时间的调整方法及设备。
背景技术
在当前的信息时代中，人们共享丰富信息资源的同时，也时常会出现“信息过载”甚至“信息爆炸”的问题。如何从海量的信息资源中高效地筛选出自己最需要的信息，是伴随着信息时代到来的一个重要课题。在图像领域，图像识别是目前最受关注的问题之一。图像识别可以使用计算机视觉(computer vision)算法来实现。计算机视觉算法可以是传统的图像检测算法，也可以是基于人工神经网络的深度学习算法。传统的图像检测算法是从图像区域中提取图像特征，并根据图像分类算法将图像按照是否是目标图像进行分类。基于人工神经网络的深度学习算法可以利用训练样本对初始的卷积神经网络进行训练，调整初始的卷积神经网络中的参数来使图像识别的误差收敛，以构建新的卷积神经网络，通过新的卷积神经网络预测图像是目标图像的概率，从而进行图像识别。
无论是传统的目标检测算法，还是基于工人神经网络的深度学习算法均具有以下缺点：首先，获得某类型的训练数据可能难度较大，造成训练样本的分布不均衡。其次，训练数据的噪声大，造成算法的误差较大。另外对于图像的某些特征，例如高阶语义特征，具有不易提取的特点。与计算机视觉算法相比，人脑由于具备丰富的认知和先验知识。人脑进行特征提取时，可以不受训练数据数量，样本分布不平衡等问题的影响。且人脑即使在噪声的影响下往往也表现出很强的稳定性。另外人脑的经验、高层次语义理解和推断能力也可以发现一些隐晦的高阶特征。然而，人脑用于目标图像识别也存在一些缺点，例如效率相对较低。因此，本领域人员想到可以结合人脑和计算机的优势，通过脑机协同，即人脑和计算机视觉算法协作来进行图像识别。
在进行脑机协同目标图像识别时，可以以基于快速序列视觉呈现范式(rapidserial visual presentation，RSVP)的图像序列作为人脑的外界刺激，人在观察图像序列时，观察到目标图像和普通图像时人脑的脑电(electroencephalogram，EEG)信号具有不同的特征。可以采集和分析人脑在观察图像序列时的脑电信号，另外可以通过计算机视觉算法采集图像序列中图像的图像特征。针对图像序列中每张图像，可以根据脑电信号和图像特征来识别是否为目标图像。目前，基于RSVP的图像序列中图像之间的时长间隔是根据经验或者实验确定的，然而，由于人脑易疲劳，且人脑的注意资源有限，脑机协同图像识别的漏检率仍然较高，导致脑机协同图像识别效率较低。
发明内容
本申请实施例公开了一种基于图像序列呈现的脑机结合图像识别方法、图像呈现时间的调整方法及设备，可以提高脑机结合图像识别的效率。
第一方面，本申请实施例提供一种基于图像序列呈现的脑机结合图像识别方法，包括：设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别。
其中，至少两个不相等的呈现时间用于提高观察对象对所述图像序列中每张图像的识别准确度。所述Δ可以取10ms-100ms之间的数值。可选的，Δ可以取50ms-100ms之间的数值。
在一个实施例中，图像序列可以是来自摄像设备，在所述设置图像序列对应的呈现时间序列之前，还包括：接收来自摄像设备的M张图像，所述M为大于1的整数；从所述M张图像中选取N张图像作为图像序列，所述N小于或等于所述M。
在一个实施例中，所述设置图像序列对应的呈现时间序列，包括；针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列；其中，所述时长影响参数包括所述第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关。根据第一识别概率和疲劳状态参数中的至少一个来设定图像序列中的任一张图像i的呈现时间。计算机视觉算法识别图像i包含预设图像特征的概率越大，图像识别设备可以设置越长的大脑识别时长。将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机协同图像识别的效率。另外，观察对象的疲劳状态参数越大，表明观察对象越疲劳，观察对象需要较长的观察时间来识别出图像i是否包含预设图像特征，因此设置较长的图像i的呈现时间。根据观察对象的疲劳程度确定图像i的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以降低漏检率。
在一个实施例中，在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间之前，还包括：根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律。通过疲劳规律预测观察对象在观察图像序列中任一张图像i时图像i对应的疲劳状态参数，可以预先设置图像序列对应的呈现时间序列，在脑机结合对图像进行图像识别时，无需执行确定图像序列中的图像的呈现时间的过程，可以减小在对图像序列中的图像进行识别时图像识别设备并行处理的数据负担，从而可以降低脑机结合图像识别的漏检率。
其中，图像对应的所述疲劳状态参数是所述观察对象在观察所述图像时的疲劳状态参数。
在一个实施例中，所述时长影响参数包括所述疲劳状态参数和所述第一识别概率；在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列之前，还包括：使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像的所述第一识别概率；根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列，包括：针对所述图像序列中的每张图像，根据所述第一识别概率和所述疲劳状态参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列。
在一个实施例中，所述时长影响参数包括所述疲劳状态参数；在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列之前，还包括：根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列，包括：针对所述图像序列中的每张图像，根据所述疲劳状态参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列。
在一个实施例中，所述时长影响参数包括所述第一识别概率；在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列之前，还包括：使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像的所述第一识别概率；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列，包括：针对所述图像序列中的每张图像，根据所述第一识别概率确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列。
在一个实施例中，所述获取所述观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，包括：在所述图像序列根据所述呈现时间序列进行显示的过程中，获取图像j对应的所述疲劳状态参数，并根据所述图像j对应的疲劳状态参数调整所述图像序列中所述图像j之后待显示的图像在所述呈现时间序列中对应的呈现时间，其中，所述图像j为所述图像序列中任一张图像。首先，根据计算机视觉算法确定图像序列对应的呈现时间序列。在根据呈现时间序列按序显示图像序列时，脑机结合对图像序列中的图像进行识别时，无需执行确定图像序列的呈现时间序列的过程，可以减小在对图像j进行图像识别时图像识别设备并行处理的数据负担，从而可以降低脑机结合图像识别的漏检率。其次，可以实时通过疲劳检测装置检测观察对象在观察图像序列中图像时对应的疲劳状态参数，并根据该实时的疲劳状态参数调整该图像的呈现时间，疲劳状态参数可以辅助矫正图像的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以进一步降低漏检率。
可选的，获取图像j对应的所述疲劳状态参数，可以是通过所述疲劳规律预测得到的。
可选的，获取图像j对应的所述疲劳状态参数，也可以是通过传感器实时检测到的。所述获取所述图像j对应的所述疲劳状态参数，包括：根据传感器发送的所述观察对象观看所述图像j时的疲劳状态信息得到所述疲劳状态参数。
在一个实施例中，图像识别设备也可以是根据疲劳状态参数得到图像序列对应的呈现时间序列，之后根据第一识别概率实时调整图像序列中图像的呈现时间。具体地，所述时长影响参数包括所述疲劳状态参数；所述获取所述观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，包括：在所述图像序列根据所述呈现时间序列进行显示的过程中，获取图像j对应的所述第一识别概率，并根据所述图像j对应的所述第一识别概率调整所述图像序列中所述图像j之后待显示的图像在所述呈现时间序列中对应的呈现时间，其中，所述图像j为所述图像序列中任一张图像。
可选的，所述疲劳规律用于指示所述观察对象的疲劳程度随所述观察对象已观察图像数量的变化规律。
可选的，所述疲劳规律用于指示所述观察对象的疲劳程度随所述观察对象已观察图像的时长的变化规律。
在一个实施例中，所述疲劳规律包含第二映射表，所述根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，包括：根据在所述图像序列中在每张图像之前已经显示的图像数量，从所述第二映射表中查找出所述图像序列中每一张图像各自对应的所述疲劳状态参数；所述图像序列中，在某张图像之前已经显示的图像数量是所述某张图像对应的已观察图像数量，所述第二映射表包含多个已观察图像数量，以及所述多个已观察图像数量对应的疲劳状态参数。
在一个实施例中，所述疲劳规律包含第二映射表，所述根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，包括：根据在所述图像序列中在每张图像在其之前显示的图像数量S，预测所述图像序列中每张图像被观察时所述观察对象已观察图像的时长；图像被观察时所述观察对象已观察图像的时长t＝S*ts，所述ts是预测的所述图像序列中每张图像的平均呈现时间；根据所述图像序列中每张图像被观察时所述观察对象已观察图像的时长从所述第二映射表中查找出所述图像序列中每一张图像各自对应的所述疲劳状态参数；所述第二映射表包含多个所述观察对象已观察图像的时长，以及所述多个所述观察对象已观察图像的时长各自对应的疲劳状态参数。
可选的，所述疲劳规律是所述疲劳状态参数与所述观察对象已观察图像数量的拟合公式。
可选的，所述疲劳规律是所述疲劳状态参数与所述观察对象已观察图像的时长的拟合公式。
在一个实施例中，所述疲劳规律是与所述观察对象相关的客观规律。
可选的，所述疲劳规律是对一个或多个所述观察对象通过多个样本训练得到的，所述多个样本中每个样本是已观察图像数量和疲劳状态参数的组合，或者，所述多个样本中每个样本是已观察图像的时长和疲劳状态参数的组合。
在一个实施例中，所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：针对所述图像序列中的每张图像，从第一映射表中查找出所述时长影响参数对应的呈现时间，所述第一映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间。
在一个实施例中，所述时长影响参数包括所述第一识别概率；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure BDA0001587009200000041
其中，所述T(c)为所述呈现时间，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述T(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数。
在一个实施例中，所述T(c)是使用(c1，T2)和(c2，T1)对所述c进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值。
在一个实施例中，在所述图像序列中任一张图像i的所述第一识别概率大于或者等于所述c2的情况下，所述第一识别概率用于确定所述图像i包含所述预设图像特征；在所述图像i的所述第一识别概率小于或者等于所述c1的情况下，所述第一识别概率用于确定所述图像i不包含所述预设图像特征。
在一个实施例中，所述时长影响参数包括所述疲劳状态参数；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure BDA0001587009200000051
其中，所述T(f)是所述呈现时间，所述f是所述疲劳状态参数，所述m是所述T(f)与所述f拟合的阶数，所述m为大于0的正整数，所述k为满足-m≤k≤m的整数，所述ak为fk的系数。
可选的，所述T(f)是使用(f1，T1)和(f2，T2)对所述f进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述f1为最小疲劳阈值，所述f2为最大疲劳阈值。
可选的，在所述图像序列中任一张图像i对应的疲劳状态参数大于或者等于所述f2的情况下，控制停止显示所述图像序列；在供观察对象休息一段时间之后，在所述图像i对应的疲劳状态参数小于或者等于所述f1的情况下，重新开始显示所述图像序列。
在一个实施例中，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure BDA0001587009200000052
其中，所述T(c,f)为所述呈现时间，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述T(c,f)与所述f拟合的阶数，所述n是所述T(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数。
可选的，所述T(c,f)是使用(c1，T2)、(c2，T1)、(f1，T1)和(f2，T2)对所述c和所述f进行线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值，所述f1为最小疲劳阈值，所述f2为最大疲劳阈值。
可选的，在所述图像序列中任一张图像i的所述第一识别概率大于或者等于所述c2的情况下，所述第一识别概率用于确定所述图像i包含所述预设图像特征；在所述图像i的所述第一识别概率小于或者等于所述c1的情况下，所述第一识别概率用于确定所述图像i不包含所述预设图像特征；在所述图像i对应的疲劳状态参数大于或者等于所述f2的情况下，停止显示所述图像序列；在所述图像i对应的疲劳状态参数小于或者等于所述f1的情况下，重新开始显示所述图像序列。
在一个实施例中，在检测到所述观察对象在观察图像q时对应的所述疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示所述图像序列中所述图像q之后待显示的图像，并获取所述图像q之后待显示的图像中对应的所述第一识别概率大于或等于第一概率阈值的图像，所述图像q为所述图像序列中的任一张图像；在检测到所述观察对象的所述疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示所述图像q之后待显示的图像中所述第一识别概率大于或等于所述第一概率阈值的图像。在观察对象的疲劳状态参数大于或等于第一疲劳阈值，即检测到观察对象已经疲劳的情况下，通过暂停图像显示，使观察对象休息，并在这期间内筛选出第一识别概率较大的图像，在观察对象休息完成的情况下，将这些图像重新进行脑机结合图像识别。通过上述过程，可以提高图像的识别效率。
在一个实施例中，所述观察对象的数量为至少两个；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的至少两个所述反馈信号分别得到所述图像序列中每张图像的目标识别信号。通过多个观察对象同时对图像序列中的图像进行脑机结合图像识别，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述疲劳状态参数包括至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。通过测量多个观察对象的疲劳状态参数，并通过这多个疲劳状态参数确定图像的呈现时间，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，图像呈现时间的确定更加精确，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，根据所述第一识别概率、所述疲劳状态参数和所述呈现时间中至少一项分别确定所述图像序列中每张图像的第一权重，所述第一权重为所述反馈信号用于确定所述目标识别信号时所占的权重，所述第一权重与所述第一识别概率反相关，所述第一权重与所述疲劳状态参数反相关，所述第一权重与所述呈现时间正相关；针对所述图像序列中每张图像，根据对应的所述第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号。计算机视觉算法识别的正确率越大，可以增加计算机视觉算法识别所占的融合权重，减小观察对象大脑识别所占的融合权重，从而可以减小漏检率。观察对象疲劳状态参数越大，可以设置减小观察对象大脑识别所占的权重，从而减小漏检率。图像的呈现时间越长，供观察对象观察的时间越长，因此观察对象大脑识别的准确率越大，可以设置增大观察对象大脑识别所占的权重，从而减小漏检率。
在一个实施例中，所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：针对所述图像序列中每张图像，根据对应的反馈信号分别计算所述图像序列中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含所述预设图像特征的概率；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述图像序列中每张图像的目标识别概率。
在一个实施例中，所述计算机视觉信号为所述计算机视觉算法确定的图像特征；在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：针对所述图像序列中每张图像，根据对应的反馈信号分别确定所述图像序列中每张图像对应的反馈信号特征；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述图像序列中每张图像对应的混合特征；针对所述图像序列中每张图像，根据对应的混合特征分别确定所述图像序列中每张图像的目标识别概率。
在一个实施例中，根据所述图像序列中每张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。其中，预设条件可以是目标识别概率大于或者等于一个阈值，预设条件还可以是图像序列中图像进行目标识别概率降序排序，S张图像是按照目标识别概率降序排序的前S个图像。
在一个实施例中，将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。该新的一组图像序列可以用于重新执行第一方面以及第一方面任一种实施例所描述的方法。通过多次将图像序列中是否包含预设图像特征不确定性较大的图像重新作为一组图像序列进行脑机结合图像识别，可以筛选出图像序列中的可疑对象，减少图像识别设备误判的概率，从而可以提高脑机结合图像识别的准确率。
可选的，当所述图像序列中的任一张图像的目标识别概率小于或等于所述第二概率阈值时，图像识别设备预测该图像不是包含所述预设图像特征的图像；当所述图像序列中的任一张图像的目标识别概率大于或等于所述第三概率阈值时，图像识别设备预测该图像是包含所述预设图像特征的图像；所述第二概率阈值小于或等于所述第三概率阈值。
可选的，所述反馈信号为脑电信号。
第二方面，本申请实施例提供一种图像呈现时间的确定方法，包括：获取多张图像；针对所述多张图像中的每张图像，根据时长影响参数设置对应的呈现时间，以得到所述多张图像对应的呈现时间序列；其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示观察对象在观察某一图像时的疲劳程度；图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述多张图像中的任一张图像；输出或保存所述多张图像以及所述多张图像对应的呈现时间序列。
其中，所述多张图像可以作为一组图像序列。
在一个实施例中，所述获取多张图像，包括：接收来自摄像设备的M张图像，所述M为大于1的整数；从所述M张图像中选取N张图像作为所述图像序列，所述N小于或等于所述M。
在一个实施例中，所述图像序列中每张图像各自对应的所述疲劳状态参数根据疲劳规律预测得到，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律。
其中，图像对应的所述疲劳状态参数是所述观察对象在观察所述图像时的疲劳状态参数。
在一个实施例中，在所述输出或保存所述多张图像以及所述多张图像对应的呈现时间序列之后，还包括：获取观察对象在观看根据所述呈现时间序列进行显示的所述多张图像时产生的对应所述多张图像中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；针对所述多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述多张图像中每张图像的目标识别信号，所述目标识别信号用于图像识别。根据第一识别概率和疲劳状态参数中的至少一个来设定多张图像中每张图像的呈现时间。某一图像对应的计算机视觉信号是将使用计算机视觉算法对该图像进行处理，得到的该图像的第一识别概率或者该图像的图像特征。计算机视觉算法识别图像包含预设图像特征的概率越大，图像识别设备可以设置越长的大脑识别时长。将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机协同图像识别的效率。另外，观察对象的疲劳状态参数越大，表明观察对象越疲劳，观察对象需要较长的观察时间来识别出图像是否包含预设图像特征，因此设置较长的图像的呈现时间。根据观察对象的疲劳程度确定图像的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以降低漏检率。
在一个实施例中，所述时长影响参数包括所述第一识别概率；所述获取所述观察对象在观看根据所述呈现时间序列进行显示的所述多张图像时产生的对应所述多张图像中每张图像的反馈信号，包括：在所述多张图像根据所述呈现时间序列进行显示的过程中，获取图像j对应的所述疲劳状态参数，并根据所述图像j对应的疲劳状态参数调整所述多张图像中所述图像j之后待显示的图像在所述呈现时间序列中对应的呈现时间，其中，所述图像j为所述多张图像中任一张图像。
可选的，获取图像j对应的所述疲劳状态参数，可以是通过所述疲劳规律预测得到的。
可选的，获取图像j对应的所述疲劳状态参数，也可以是通过传感器实时检测到的。
可选的，所述疲劳规律用于指示所述观察对象的疲劳程度随所述观察对象已观察图像数量的变化规律。
可选的，所述疲劳规律用于指示所述观察对象的疲劳程度随所述观察对象已观察图像的时长的变化规律。
可选的，所述疲劳规律包含第二映射表。
可选的，所述疲劳规律包括所述疲劳状态参数与所述观察对象已观察图像数量的拟合公式。
可选的，所述疲劳规律是所述疲劳状态参数与所述观察对象已观察图像的时长的拟合公式。
可选的，所述疲劳规律是与所述观察对象相关的客观规律。
通过疲劳规律预测观察对象在观察多张图像中任一张图像i时图像i对应的疲劳状态参数，可以预先设置图像序列对应的呈现时间序列，在脑机结合对图像进行图像识别时，无需执行确定图像序列中图像的呈现时间的过程，可以减小在对图像序列中的图像进行识别时图像识别设备并行处理的数据负担，从而可以降低脑机结合图像识别的漏检率。
可选的，所述疲劳规律是对一个或多个所述观察对象通过多个样本训练得到的，所述多个样本中每个样本是已观察图像数量和疲劳状态参数的组合，或者，所述多个样本中每个样本是已观察图像的时长和疲劳状态参数的组合。
在一个实施例中，所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：针对所述图像序列中的每张图像，从第一映射表中查找出所述时长影响参数对应的呈现时间，所述第一映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间。
在一个实施例中，所述时长影响参数包括所述第一识别概率；所述针对所述多张图像中的每张图像，根据时长影响参数设置对应的呈现时间，包括：通过以下拟合公式得到所述多张图像中每张图像的呈现时间：
Figure BDA0001587009200000091
其中，所述T(c)为所述呈现时间，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述T(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足n≤t≤n的整数，所述at为ct的系数。
在一个实施例中，所述T(c)是使用(c1，T2)和(c2，T1)对所述c进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值。
在一个实施例中，所述时长影响参数包括所述疲劳状态参数；所述针对所述多张图像中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述多张图像中每张图像的呈现时间：
Figure BDA0001587009200000092
其中，所述T(f)是所述呈现时间，所述f是所述疲劳状态参数，所述m是所述T(f)与所述f拟合的阶数，所述m为大于0的正整数，所述k为满足-m≤k≤m的整数，所述ak为fk的系数。
可选的，所述T(f)是使用(f1，T1)和(f2，T2)对所述f进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述f1为最小疲劳阈值，所述f2为最大疲劳阈值。
在一个实施例中，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；所述针对所述多张图像中的每张图像，根据时长影响参数确定对应的呈现时间，包括：通过以下拟合公式得到所述多张图像中每张图像的呈现时间：
Figure BDA0001587009200000093
其中，所述T(c,f)为所述呈现时间，所述c为所述第一识别概率，所述f为所述疲劳状态参数，所述m是所述T(c,f)与所述f拟合的阶数，所述n是所述T(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数。
可选的，所述T(c,f)是使用(c1，T2)、(c2，T1)、(f1，T1)和(f2，T2)对所述c和所述f进行线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值，所述f1为最小疲劳阈值，所述f2为最大疲劳阈值。
在一个实施例中，在检测到所述观察对象在观察图像q时对应的所述疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示所述多张图像中所述图像q之后待显示的图像，并获取所述图像q之后待显示的图像中对应的所述第一识别概率大于或等于第一概率阈值的图像，所述图像q为所述多张图像中的任一张图像；在检测到所述观察对象的所述疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示所述图像q之后待显示的图像中所述第一识别概率大于或等于所述第一概率阈值的图像。在观察对象的疲劳状态参数大于或等于第一疲劳阈值，即检测到观察对象已经疲劳的情况下，通过暂停图像显示，使观察对象休息，并在这期间内筛选出第一识别概率较大的图像，在观察对象休息完成的情况下，将这些图像重新进行脑机结合图像识别。通过上述过程，可以提高图像的识别效率。
在一个实施例中，所述观察对象的数量为至少两个；所述针对所述多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述多张图像中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的至少两个所述反馈信号分别得到所述多张图像中每张图像的目标识别信号。通过多个观察对象同时对图像序列中的图像进行脑机结合图像识别，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述疲劳状态参数包括至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。通过测量多个观察对象的疲劳状态参数，并通过这多个疲劳状态参数确定图像的呈现时间，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，图像呈现时间的确定更加精确，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述针对所述多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述多张图像中每张图像的目标识别信号，包括：针对所述多张图像中每张图像，根据所述第一识别概率、所述疲劳状态参数和所述呈现时间中至少一项分别确定所述多张图像中每张图像的第一权重，所述第一权重为所述反馈信号用于确定所述目标识别信号时所占的权重，所述第一权重与所述第一识别概率反相关，所述第一权重与所述疲劳状态参数反相关，所述第一权重与所述呈现时间正相关；针对所述多张图像中每张图像，根据对应的所述第一权重分别融合对应的所述计算机视觉信号和对应的所述反馈信号,分别得到所述图像序列中每张图像的目标识别信号。计算机视觉算法识别的正确率越大，可以增加计算机视觉算法识别所占的融合权重，减小观察对象大脑识别所占的融合权重，从而可以减小漏检率。观察对象疲劳状态参数越大，可以设置减小观察对象大脑识别所占的权重，从而减小漏检率。图像的呈现时间越长，供观察对象观察的时间越长，因此观察对象大脑识别的准确率越大，可以设置增大观察对象大脑识别所占的权重，从而减小漏检率。
在一个实施例中，所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；在所述针对所述多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述多张图像中每张图像的目标识别信号之前，还包括：针对所述多张图像中每张图像，根据对应的反馈信号分别计算所述多张图像中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含所述预设图像特征的概率；所述针对所述多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述多张图像中每张图像的目标识别信号，包括：针对所述多张图像中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述多张图像中每张图像的目标识别概率。
在一个实施例中，所述计算机视觉信号为所述计算机视觉算法确定的图像特征；在所述针对所述多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述多张图像中每张图像的目标识别信号之前，还包括：针对所述多张图像中每张图像，根据对应的反馈信号分别确定所述多张图像中每张图像对应的反馈信号特征；所述针对所述多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述多张图像中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述多张图像中每张图像对应的混合特征；针对所述多张图像中每张图像，根据对应的混合特征分别确定所述多张图像中每张图像的目标识别概率。
在一个实施例中，根据所述多张图像中每张图像的目标识别概率从所述多张图像中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。其中，预设条件可以是目标识别概率大于或者等于一个阈值，预设条件还可以是图像序列中图像进行目标识别概率降序排序，S张图像是按照目标识别概率降序排序的前S个图像。
在一个实施例中，将所述多张图像中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组多张图像该新的一组图像序列可以用于重新执行第二方面以及第二方面任一种实施例所描述的方法。通过多次将图像序列中是否包含预设图像特征不确定性较大的图像重新作为一组图像序列进行脑机结合图像识别，可以筛选出图像序列中的可疑对象，减少图像识别设备误判的概率，从而可以提高脑机结合图像识别的准确率。
可选的，当所述多张图像中的任一张图像的目标识别概率小于或等于所述第二概率阈值时，图像识别设备预测该图像不是包含所述预设图像特征的图像；当所述多张图像中的任一张图像的目标识别概率大于或等于所述第三概率阈值时，图像识别设备预测该图像是包含所述预设图像特征的图像；所述第二概率阈值小于或等于所述第三概率阈值。
可选的，所述反馈信号为脑电信号。
第三方面，本申请实施例提供一种图像呈现时间的调整方法，包括：获取基于快速序列视觉呈现范式RSVP的图像序列，所述图像序列包括多张图像，所述多张图像中每张图像配置有呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述多张图像中的任一张图像；针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述第一识别概率与所述呈现时间呈反相关，所述疲劳状态参数与所述呈现时间呈正相关；根据调整后的所述图像序列中每张图像对应的呈现时间控制显示所述图像序列。
可选的，所述多张图像在开始调整呈现时间之前的呈现时间均相等。
在一个实施例中，所述获取基于快速序列视觉呈现范式RSVP的图像序列，包括：接收来自摄像设备的M张图像，所述M为大于1的整数；从所述M张图像中选取N张图像作为所述图像序列，所述N小于或等于所述M。
在一个实施例中，所述图像序列中每张图像各自对应的所述疲劳状态参数根据疲劳规律预测得到，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律。
可选的，图像对应的所述疲劳状态参数是所述观察对象在观察所述图像时的疲劳状态参数。
在一个实施例中，在所述根据调整后的所述图像序列中每张图像对应的呈现时间控制显示所述图像序列之后，还包括：获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别。某一图像对应的计算机视觉信号是使用计算机视觉算法对该图像进行处理，得到的该图像的第一识别概率或者该图像的图像特征。计算机视觉算法识别图像包含预设图像特征的概率越大，图像识别设备可以设置越长的大脑识别时长。将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机协同图像识别的效率。另外，观察对象的疲劳状态参数越大，表明观察对象越疲劳，观察对象需要较长的观察时间来识别出图像是否包含预设图像特征，因此设置较长的图像的呈现时间。根据观察对象的疲劳程度确定图像的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以降低漏检率。
在一个实施例中，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；在所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间之前，还包括：使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像的所述第一识别概率；根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：针对所述图像序列中每张图像，根据对应的所述第一识别概率和对应的所述疲劳状态参数调整对应图像的呈现时间，以得到所述图像序列对应的调整后的呈现时间序列。可以预先调整图像序列对应的呈现时间序列，在脑机结合对图像进行图像识别时，无需执行调整图像序列中图像的呈现时间的过程，可以减小在对图像序列中的图像进行识别时图像识别设备并行处理的数据负担，从而可以降低脑机结合图像识别的漏检率。
在一个实施例中，所述时长影响参数包括所述第一识别概率；在所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间之前，还包括：使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像的所述第一识别概率；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：针对所述图像序列中每张图像，根据对应的第一识别概率分别调整所述图像序列中每张图像对应的呈现时间。
在一个实施例中，所述时长影响参数包括所述疲劳状态参数；在所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间之前，还包括：根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：针对所述图像序列中每张图像，根据对应的疲劳状态参数分别调整所述图像序列中每张图像对应的呈现时间。
在一个实施例中，所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：针对图像j，根据所述图像j的时长影响参数，从第三映射表中查找出所述图像j的呈现时间偏置量，所述第三映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间偏置量；根据所述图像j的呈现时间偏置量，调整所述图像j的呈现时间；其中，所述图像j为所述图像序列中任一张图像。
在一个实施例中，所述时长影响参数包括所述第一识别概率；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000131
其中，所述ΔT(c)为所述呈现时间偏置量，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述ΔT(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数；根据所述图像序列中每张图像的呈现时间偏置量，分别调整所述图像序列中每张图像的呈现时间。
在一个实施例中，所述ΔT(c)是使用(c1，T2)和(c2，T1)对所述c进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值。
在一个实施例中，在所述图像q的所述第一识别概率大于或者等于所述c2的情况下，所述第一识别概率用于确定所述图像q包含所述预设图像特征；在所述图像q的所述第一识别概率小于或者等于所述c1的情况下，所述第一识别概率用于确定所述图像q不包含所述预设图像特征，其中，所述图像q为所述图像序列中任一张图像。
在一个实施例中，所述时长影响参数包括所述疲劳状态参数；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000132
其中，所述ΔT(f)是所述呈现时间偏置量，所述f是所述疲劳状态参数，所述m是所述ΔT(f)与所述f拟合的阶数，所述m为大于0的正整数，所述k为满足-m≤k≤m的整数，所述ak为fk的系数；根据所述图像序列中每张图像的呈现时间偏置量，分别调整所述图像序列中每张图像的呈现时间。
在一个实施例中，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000133
其中，所述ΔT(c,f)为所述呈现时间偏置量，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述ΔT(c,f)与所述f拟合的阶数，所述n是所述ΔT(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数；针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
可选的，f是经过归一化的值，f是[0,1]之间的取值。
在一个实施例中，所述方法还包括：针对图像q，根据传感器发送的所述观察对象观看所述图像p时的疲劳状态信息得到所述图像q的疲劳状态参数，其中，所述图像q为所述图像序列中除首张图像外的任一张图像，所述图像p为所述图像q的前一张图像。
在一个实施例中，所述首张图像的疲劳状态参数预设为0。
在一个实施例中，在检测到所述观察对象在观察所述图像r对应的所述疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示所述图像序列中所述图像r之后待显示的图像，并获取所述图像r之后待显示的图像中所述第一识别概率大于或等于第一概率阈值的图像；在检测到所述观察对象的所述疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示所述图像r之后待显示的图像中所述第一识别概率大于或等于所述第一概率阈值的图像，其中，所述图像r为所述图像序列中任一张图像。在观察对象的疲劳状态参数大于或等于第一疲劳阈值，即检测到观察对象已经疲劳的情况下，通过暂停图像显示，使观察对象休息，并在这期间内筛选出第一识别概率较大的图像，在观察对象休息完成的情况下，将这些图像重新进行脑机结合图像识别。通过上述过程，可以提高图像的识别效率。
在一个实施例中，所述观察对象的数量为至少两个，所述疲劳状态参数为至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数；所述图像u的呈现时间与至少两个所述疲劳状态参数的加权和呈正相关，其中，所述图像u为所述图像序列中任一张图像。通过多个观察对象同时对图像序列中的图像进行脑机结合图像识别，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述疲劳状态参数包括至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。通过测量多个观察对象的疲劳状态参数，并通过这多个疲劳状态参数确定图像的呈现时间，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，图像呈现时间的确定更加精确，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，根据所述第一识别概率、所述疲劳状态参数和所述呈现时间中至少一项分别确定所述图像序列中每张图像的第一权重，所述第一权重为所述反馈信号用于确定所述目标识别信号时所占的权重，所述第一权重与所述第一识别概率反相关，所述第一权重与所述疲劳状态参数反相关，所述第一权重与所述呈现时间正相关；针对所述图像序列中每张图像，根据对应的所述第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号。计算机视觉算法识别的正确率越大，可以增加计算机视觉算法识别所占的融合权重，减小观察对象大脑识别所占的融合权重，从而可以减小漏检率。观察对象疲劳状态参数越大，可以设置减小观察对象大脑识别所占的权重，从而减小漏检率。图像的呈现时间越长，供观察对象观察的时间越长，因此观察对象大脑识别的准确率越大，可以设置增大观察对象大脑识别所占的权重，从而减小漏检率。
在一个实施例中，所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：针对所述图像序列中每张图像，根据对应的反馈信号分别计算所述图像序列中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含所述预设图像特征的概率；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述图像序列中每张图像的目标识别概率。
在一个实施例中，所述计算机视觉信号为所述计算机视觉算法确定的图像特征；在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：针对所述图像序列中每张图像，根据对应的反馈信号分别确定所述图像序列中每张图像对应的反馈信号特征；所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述图像序列中每张图像对应的混合特征；针对所述图像序列中每张图像，根据对应的混合特征分别确定所述图像序列中每张图像的目标识别概率。
在一个实施例中，根据所述图像序列中每张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。其中，预设条件可以是目标识别概率大于或者等于一个阈值，预设条件还可以是图像序列中图像进行目标识别概率降序排序，S张图像是按照目标识别概率降序排序的前S个图像。
在一个实施例中，将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。该新的一组图像序列可以用于重新执行第一方面以及第一方面任一种实施例所描述的方法。通过多次将图像序列中是否包含预设图像特征不确定性较大的图像重新作为一组图像序列进行脑机结合图像识别，可以筛选出图像序列中的可疑对象，减少图像识别设备误判的概率，从而可以提高脑机结合图像识别的准确率。
其中，当所述图像序列中的任一张图像的目标识别概率小于或等于所述第二概率阈值时，该图像不是包含所述预设图像特征的图像；当所述图像序列中的任一张图像的目标识别概率大于或等于所述第三概率阈值时，该图像是包含所述预设图像特征的图像；所述第二概率阈值小于或等于所述第三概率阈值。
可选的，所述反馈信号为脑电信号。
第四方面，本申请实施例提供一种图像识别方法，包括：根据目标图像的时长影响参数设置所述目标图像的呈现时间，其中，所述目标图像的呈现时间用于指示所述目标图像呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示观察对象在观察某一图像时的疲劳程度，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关；获取所述观察对象在所述目标图像的呈现时间内观察所述目标图像时产生的反馈信号；根据计算机视觉信号和所述目标图像的所述反馈信号确定所述目标图像的目标识别概率，其中，所述计算机视觉信号为所述第一识别概率或者所述计算机视觉算法确定的所述目标图像的图像特征。计算机视觉算法识别图像包含预设图像特征的概率越大，图像识别设备可以设置越长的大脑识别时长。将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机协同图像识别的效率。另外，观察对象的疲劳状态参数越大，表明观察对象越疲劳，观察对象需要较长的观察时间来识别出图像是否包含预设图像特征，因此设置较长的图像的呈现时间，更加合理的设置图像呈现时间。根据观察对象的疲劳程度确定图像的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以降低漏检率。
在一个实施例中，在所述根据目标图像的时长影响参数设置所述目标图像的呈现时间之前，还包括：接收来自摄像设备的M张图像，所述M为大于1的整数；从所述M张图像中选取N张图像作为所述图像序列，所述N小于或等于所述M。目标图像是图像序列中的任一张图像。
在一个实施例中，在所述获取所述观察对象在所述目标图像的呈现时间内观察所述目标图像时产生的反馈信号之前，还包括：根据所述图像序列中每一张图像的所述呈现时间，得到所述图像序列对应的呈现时间序列；根据所述呈现时间序列控制依次显示所述图像序列。
在一个实施例中，所述时长影响参数包括所述第一识别概率；所述根据目标图像的时长影响参数设置所述目标图像的呈现时间，包括：根据所述目标图像的第一识别概率设置所述目标图像的呈现时间；在所述获取所述观察对象在所述目标图像的呈现时间内观察所述目标图像时产生的反馈信号之前，还包括：在根据所述呈现时间序列控制依次显示所述图像序列的过程中，获取所述目标图像对应的疲劳状态参数；根据所述目标图像对应的疲劳状态参数调整所述图像序列中所述目标图像之后显示的图像的呈现时间。首先，根据计算机视觉算法确定图像序列对应的呈现时间序列。在根据呈现时间序列按序显示图像序列时，脑机结合对图像序列中的图像进行识别时，无需执行确定图像序列的呈现时间序列的过程，可以减小在对目标图像进行图像识别时图像识别设备并行处理的数据负担，从而可以降低脑机结合图像识别的漏检率。其次，可以实时通过疲劳检测装置检测观察对象在观察图像序列中图像时对应的疲劳状态参数，并根据该实时的疲劳状态参数调整该图像的呈现时间，疲劳状态参数可以辅助矫正图像的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以进一步降低漏检率。
在一个实施例中，在所述获取所述观察对象在所述目标图像的呈现时间内观察所述目标图像时产生的反馈信号之前，还包括：按照所述目标图像的呈现时间显示所述目标图像。实时检测观察对象的疲劳状态参数，并根据实时检测的疲劳状态参数确定图像的呈现时间，观察对象的疲劳状态参数更加精确，因此，确定得到的呈现时间更加合理，可以降低漏检率。
在一个实施例中，所述根据目标图像的时长影响参数设置所述目标图像的呈现时间，包括：根据所述目标图像的时长影响参数，从第一映射表中查找出所述目标图像的时长影响参数对应的呈现时间；所述第一映射表包括多个时长影响参数，以及所述多个时长影响参数各自对应的呈现时间；设置所述目标图像的呈现时间为所述目标图像的时长影响参数对应的呈现时间。
在一个实施例中，所述时长影响参数包括所述第一识别概率；所述根据所述目标图像的时长影响参数设置所述目标图像的呈现时间，包括：通过以下拟合公式设置所述目标图像的呈现时间：
Figure BDA0001587009200000161
其中，所述T(c)为所述呈现时间，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述T(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数。
在一个实施例中，所述T(c)是使用(c1，T2)和(c2，T1)对所述c进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值。
在一个实施例中，所述时长影响参数包括所述疲劳状态参数，所述根据所述目标图像的时长影响参数设置所述目标图像的呈现时间，包括：通过以下拟合公式设置所述目标图像的呈现时间：
Figure BDA0001587009200000171
其中，所述T(f)是所述呈现时间，所述f是所述疲劳状态参数，所述m是所述T(f)与所述f拟合的阶数，所述m为大于0的正整数，所述k为满足-m≤k≤m的整数，所述ak为fk的系数。
在一个实施例中，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数，所述根据所述目标图像的时长影响参数设置所述目标图像的呈现时间，包括：通过以下拟合公式设置所述目标图像的呈现时间：
Figure BDA0001587009200000172
其中，所述T(c,f)为所述呈现时间，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述T(c,f)与所述f拟合的阶数，所述n是所述T(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数。
在一个实施例中，所述方法还包括：在检测到所述观察对象在观察所述目标图像对应的所述疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示所述图像序列中所述目标图像之后待显示的图像，并获取所述目标图像之后待显示的图像中所述第一识别概率大于或等于第一概率阈值的图像；在检测到所述观察对象的所述疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示所述目标图像之后待显示的图像中所述第一识别概率大于或等于所述第一概率阈值的图像。在观察对象的疲劳状态参数大于或等于第一疲劳阈值，即检测到观察对象已经疲劳的情况下，通过暂停图像显示，使观察对象休息，并在这期间内筛选出第一识别概率较大的图像，在观察对象休息完成的情况下，将这些图像重新进行脑机结合图像识别。通过上述过程，可以降低脑机结合图像识别的漏检率。
在一个实施例中，所述观察对象的数量为至少两个，所述反馈信号为至少两个所述观察对象在观察到同一图像时分别产生的至少两个反馈信号；所述根据计算机视觉信号和所述目标图像的所述反馈信号确定所述目标图像的目标识别概率，包括：根据计算机视觉信号和所述目标图像的至少两个所述反馈信号确定所述目标图像的目标识别概率。通过多个观察对象同时对图像序列中的图像进行脑机结合图像识别，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述疲劳状态参数为至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数；所述目标图像的呈现时间与至少两个所述疲劳状态参数的加权和呈正相关。通过测量多个观察对象的疲劳状态参数，并通过这多个疲劳状态参数确定图像的呈现时间，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，图像呈现时间的确定更加精确，从而可以提高脑机结合图像识别的准确率。
在一个实施例中，所述根据计算机视觉信号和所述目标图像的所述反馈信号确定所述目标图像的目标识别概率，包括：根据所述目标图像的所述第一识别概率、所述目标图像对应的所述疲劳状态参数和所述目标图像的呈现时间中至少一项确定第一权重，所述第一权重为所述目标图像的所述反馈信号在确定所述目标识别概率时所占的权重，所述第一权重与所述目标图像的所述第一识别概率反相关，所述第一权重与所述目标图像的所述疲劳状态参数反相关，所述第一权重与所述目标图像的所述呈现时间正相关；根据所述目标图像的所述第一权重融合所述目标图像对应的计算机视觉信号和所述目标图像对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号。计算机视觉算法识别的正确率越大，可以增加计算机视觉算法识别所占的融合权重，减小观察对象大脑识别所占的融合权重，从而可以减小漏检率。观察对象疲劳状态参数越大，可以设置减小观察对象大脑识别所占的权重，从而减小漏检率。图像的呈现时间越长，供观察对象观察的时间越长，因此观察对象大脑识别的准确率越大，可以设置增大观察对象大脑识别所占的权重，从而减小漏检率。
在一个实施例中，所述计算机视觉信号为所述第一识别概率；在所述根据计算机视觉信号和所述目标图像的所述反馈信号确定所述目标图像的目标识别概率之前，还包括：根据所述目标图像的所述反馈信号计算所述目标图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定所述目标图像包含所述预设图像特征的概率；所述根据计算机视觉信号和所述目标图像的所述反馈信号确定所述目标图像的目标识别概率，包括：根据所述目标图像的第一识别概率和所述目标图像的第二识别概率计算所述目标图像的目标识别概率。
在一个实施例中，所述计算机视觉信号为所述计算机视觉算法确定的所述目标图像的图像特征；在所述根据计算机视觉信号和所述目标图像的所述反馈信号确定所述目标图像的目标识别概率之前，还包括：根据所述目标图像的所述反馈信号确定所述观察对象在观察到所述目标图像时的反馈信号特征；将所述目标图像的图像特征和所述观察对象在观察到所述目标图像时的反馈信号特征进行特征融合，得到所述目标图像的混合特征；所述根据计算机视觉信号和所述反馈信号确定所述目标图像的目标识别概率，包括：根据所述目标图像的混合特征确定所述目标图像的目标识别概率。
在一个实施例中，还包括：根据所述图像序列中每一张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。其中，预设条件可以是目标识别概率大于或者等于一个阈值，预设条件还可以是图像序列中图像进行目标识别概率降序排序，S张图像是按照目标识别概率降序排序的前S个图像。
在一个实施例中，还包括：将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。通过多次将图像序列中是否包含目标图像特征不确定性较大的图像重新作为一组图像序列进行脑机结合图像识别，可以筛选出图像序列中的可疑对象，减少图像识别设备误判的概率，从而可以提高脑机结合图像识别的准确率。
可选的，所述反馈信号为脑电信号。
第五方面，本申请实施例提供一种图像识别设备，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行第一方面或第一方面任一个可能的实施例所提供的基于图像序列呈现的脑机结合图像识别方法。
第六方面，本申请实施例提供一种图像呈现时间的确定设备，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行第二方面或第二方面任一个可能的实施例所提供的图像呈现时间的确定方法。
第七方面，本申请实施例提供一种图像呈现时间的调整设备，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行第三方面或第三方面任一个可能的实施例所提供的图像呈现时间的调整方法。
第八方面，本申请实施例提供一种图像识别设备，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行第四方面或第四方面任一个可能的实施例所提供的图像识别方法。
第九方面，本申请实施例提供一种图像识别设备，该设备包括用于执行第一方面或第一方面任一个可能的实施例所提供的基于图像序列呈现的脑机结合图像识别方法的模块或单元。
第十方面，本申请实施例提供一种图像呈现时间的确定设备，该设备包括用于执行第二方面或第二方面任一个可能的实施例所提供的图像呈现时间的确定方法的模块或单元。
第十一方面，本申请实施例提供一种图像呈现时间的调整设备，该设备包括用于执行第三方面或第三方面任一个可能的实施例所提供的图像呈现时间的调整方法的模块或单元。
第十二方面，本申请实施例提供一种图像识别设备，该设备包括用于执行第四方面或第四方面任一个可能的实施例所提供的图像识别方法的模块或单元。
第十三方面，本发明实施例提供一种芯片系统，该芯片系统包括至少一个处理器，存储器和接口电路，该存储器、该接口电路和该至少一个处理器通过线路互联，该至少一个存储器中存储有程序指令；该程序指令被该处理器执行时，实现第一方面或者第一方面任一个可能的实施例所描述的方法。
第十四方面，本发明实施例提供一种芯片系统，该芯片系统包括至少一个处理器，存储器和接口电路，该存储器、该接口电路和该至少一个处理器通过线路互联，该至少一个存储器中存储有程序指令；该程序指令被该处理器执行时，实现第二方面或者第二方面任一个可能的实施例所描述的方法。
第十五方面，本发明实施例提供一种芯片系统，该芯片系统包括至少一个处理器，存储器和接口电路，该存储器、该接口电路和该至少一个处理器通过线路互联，该至少一个存储器中存储有程序指令；该程序指令被该处理器执行时，实现第三方面或者第三方面任一个可能的实施例所描述的方法。
第十六方面，本发明实施例提供一种芯片系统，该芯片系统包括至少一个处理器，存储器和接口电路，该存储器、该接口电路和该至少一个处理器通过线路互联，该至少一个存储器中存储有程序指令；该程序指令被该处理器执行时，实现第四方面或者第四方面任一个可能的实施例所描述的方法。
第十七方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，当该程序指令由处理器运行时，实现第一方面或者第一方面任一个可能的实施例所描述的方法。
第十八方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，当该程序指令由处理器运行时，实现第二方面或者第二方面任一个可能的实施例所描述的方法。
第十九方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，当该程序指令由处理器运行时，实现第三方面或者第三方面任一个可能的实施例所描述的方法。
第二十方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，当该程序指令由处理器运行时，实现第四方面或者第四方面任一个可能的实施例所描述的方法。
第二十一方面，本发明实施例提供一种计算机程序产品，当该计算机程序产品在由处理器上运行时，实现第一方面或者第一方面任一个可能的实施例所描述的方法。
第二十二方面，本发明实施例提供一种计算机程序产品，当该计算机程序产品在由处理器上运行时，实现第二方面或者第二方面任一个可能的实施例所描述的方法。
第二十三方面，本发明实施例提供一种计算机程序产品，当该计算机程序产品在由处理器上运行时，实现第三方面或者第三方面任一个可能的实施例所描述的方法。
第二十四方面，本发明实施例提供一种计算机程序产品，当该计算机程序产品在由处理器上运行时，实现第四方面或者第四方面任一个可能的实施例所描述的方法。
第二十五方面，本申请实施例提供一种图像识别系统，包括：图像识别设备、显示设备和反馈信号采集设备，图像识别设备分别与显示设备、反馈信号采集设备相连，其中：所述图像识别设备，用于执行第一方面或第一方面任一个可能的实施例所提供的基于图像序列呈现的脑机结合图像识别方法，所述显示设备，用于显示所述图像序列，所述反馈信号采集设备，用于获取所述观察对象在观察所述图像序列中任一张图像i时的反馈信号并反馈给所述图像识别设备。
具体地，所述图像识别设备可以是第五方面或第九方面描述的图像识别设备。
第二十六方面，本申请实施例提供一种图像识别系统，包括：图像呈现时间的确定设备、显示设备和反馈信号采集设备，图像呈现时间的确定设备分别与显示设备、反馈信号采集设备相连，其中：所述图像呈现时间的确定设备，用于执行第二方面或第二方面任一个可能的实施例所提供的图像呈现时间的确定方法，所述显示设备，用于显示所述图像序列，所述反馈信号采集设备，用于获取所述观察对象在观察所述图像序列中任一张图像i时的反馈信号并反馈给所述图像呈现时间的确定设备。
具体地，所述图像呈现时间的确定设备可以是第六方面或第十方面描述的图像呈现时间的确定设备。
第二十七方面，本申请实施例提供一种图像识别系统，包括：图像呈现时间的调整设备、显示设备和反馈信号采集设备，图像呈现时间的调整设备分别与显示设备、反馈信号采集设备相连，其中：所述图像呈现时间的调整设备，用于执行第三方面或第三方面任一个可能的实施例所提供的图像呈现时间的调整方法，所述显示设备，用于显示所述图像序列，所述反馈信号采集设备，用于获取所述观察对象在观察所述图像序列中任一张图像i时的反馈信号并反馈给所述图像呈现时间的调整设备。
具体地，所述图像呈现时间的调整设备可以是第七方面或第十一方面描述的图像呈现时间的确定设备。
第二十八方面，本申请实施例提供一种图像识别系统，包括：图像识别设备、显示设备和反馈信号采集设备，图像识别设备分别与显示设备、反馈信号采集设备相连，其中：所述图像识别设备，用于执行第四方面或第四方面任一个可能的实施例所提供的图像识别方法，所述显示设备，用于显示所述目标图像，所述反馈信号采集设备，用于获取所述观察对象在观察所述目标图像时的反馈信号并反馈给所述图像识别设备。
具体地，所述图像识别设备可以是第八方面或第十二方面描述的图像识别设备。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种图像识别系统架构示意图；
图2是本申请实施例提供的一种脑电采集设备的结构示意图；
图3是本申请实施例提供的一种图像识别设备的结构示意图；
图4是本申请实施例提供的一种基于图像序列呈现的脑机结合图像识别方法的流程示意图；
图5是本申请实施例提供的一种图像的呈现时间的示意图；
图6是本申请实施例提供的一种图像呈现时间的调整方法的流程示意图；
图7是本申请实施例提供的一种图像识别设备的结构示意图；
图8是本申请实施例提供的一种图像呈现时间的确定设备的结构示意图；
图9是本申请实施例提供的一种图像呈现时间的调整设备的结构示意图；
图10是本申请实施例提供的一种图像识别设备的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
为了便于理解本申请实施例，下面对本申请实施例涉及的一些概念或术语进行解释。
(1)快速序列视觉呈现范式
快速序列视觉呈现是一种基于视觉图像序列刺激的实验范式。在执行快速序列视觉呈现范式任务过程中，可以给观察对象呈现一组在时间上间隔按序显示的图像序列。在显示图像序列过程中，每张包含刺激物的图像可以呈现在显示设备上的同一位置，前一张图像消失后出现下一张图像，每张图像呈现时间可以相等。呈现给观察对象的一组图像序列可以作为观察对象大脑的外界刺激，来使观察对象产生反馈信号，可以通过设备采集观察对象在观察图像序列时产生的反馈信号。由于观察对象在图像序列中观察到感兴趣的图像时，会产生特定的反馈信号，因此可以检测观察对象的反馈信号，并检测是否符合上述特定的反馈信号或者特定的反馈信号的信号特征，来逆向分析获得图像序列中包含的预设图像特征的图像。观察对象例如可以是人或者其他动物等。可以针对图像序列中的任一张图像i，通过对反馈信号进行分析以得到是否包含的预设图像特征。下面所描述的目标图像也可以是指图像序列中的任一张图像。
(2)反馈信号
反馈信号用于指示观察对象对所观看到的图像作出的反应。观察对象在观察基于RSVP的图像序列时，针对图像序列中的每张图像均产生一个反馈信号，该反馈信号可以是通过传感器采集到的观察对象的一种生物信号。本申请涉及的反馈信号可以是以下中的任一种或多种：脑电信号、眼动信号、皮电反应信号和肢体动作反应信号等。本申请以脑电信号为例进行介绍，可以理解的是，本申请所涉及到的反馈信号也可以不限于上述几种反馈信号，随着技术的进步，对生物体的反馈信号的检测也可以是未来新出现的能够检测到的生物信号。
其中，脑电信号是一种生物电信号，可以包括自发脑电信号和诱发(evokedpotential，EP)脑电信号。自发脑电信号是在没有特定外界刺激时大脑中的神经细胞自发产生的电位变化。而诱发脑电信号是大脑中的神经细胞受声、光、电或者特定图像等外界刺激所引起的脑电位变化。本申请涉及的脑电信号属于诱发脑电信号。在观察对象观察图像序列时，可以持续采集观察对象的一组连续的脑电信号。之后对该一组脑电信号进行检测，当检测到包含第一脑电信号特征的脑电信号时，可以获取产生该包含第一脑电信号特征的脑电信号时，观察对象观察到的图像，从而实现图像识别。
脑电信号可以通过脑机接口(brain-computer interface，BCI)采集，脑机接口创建了观察对象的大脑与外界设备交流的通路，用于采集观察对象的脑电信号，将这些脑电信号转换成计算机可识别的数据，通过数据分析，解码观察对象思维意图，实现脑机协同进行图像识别。
事件相关电位(event related potential，ERP)可以用来表征脑电信号。事件相关电位表示在时间上脑电信号电压波动，可以由视觉刺激或者听觉刺激诱发。引发的脑电信号电压的波动可以被称为“峰”、“波”或“脑电成分”，这些脑电信号电压的波动是脑电信号研究的主要对象。其中，P300成分是最常用的检测包含预设图像特征的脑电成分。
本申请中，从图像序列中识别出来的包含预设图像特征的图像可以是指图像序列中的特异性对象。本申请对特异性对象的具体内容和表现形式不作限定。例如特异性对象可以是安防场景下视频检测中的“危险目标”，具体如“刀具、枪具”。再例如，从包含“犯罪嫌疑人”图像的图像序列中识别出“犯罪嫌疑人”，其中的“犯罪嫌疑人”图像即为特异性对象。特异性对象可以不限定为一种具体的目标，可以是多种、一类或者多类，本申请对此不作限定。例如，特异性对象可以是“刀具或枪具”，也可以是“危险物品”这一类目标，还可以是“危险物品”或者“违禁物品”等多类目标。可以理解的，上述对特异性对象的举例不应构成限定，只要是少量目标刺激被掺杂在大量非目标刺激中，当目标刺激出现时，将引发特定的反馈信号，其中的少量目标刺激均可以理解为本申请中的特异性对象。
反馈信号是脑电信号的情况下，当特异对象出现时，将引发特定的反馈信号P300成分。其中，P300可以解释为一个特异性对象呈现后约300ms或更长时间，例如可多达900ms内出现的正峰。特异性对象呈现时可以引发观察对象的大脑产生P300成分，非特异性对象呈现时不会引发观察对象的大脑产生P300成分。基于上述的原理，便可将ERP用于图像序列中特异性对象的识别。
在检测到脑电信号满足特定的脑电信号特征时，可逆向判断产生该脑电信号时观察对象观察到的图像为特异性对象。特定的脑电信号特征是观察对象在观察到特异性对象时产生的脑电信号满足的脑电特征。具体地，特定的脑电信号特征是在观察到特异性对象之后约300ms出现正的峰值。也即是说特定的脑电信号特征是P300的脑电特征。在检测到脑电信号中出现正峰值时，则可以确定在图像序列中，该正峰值出现的前300ms左右观察对象观察的图像为包含预设图像特征的图像，或者确定该正峰值出现的前300ms左右观察对象观察的图像为包含预设图像特征的图像的概率。图像识别设备也可以根据脑电信号的特征与计算机视觉算法得到的计算机视觉信号计算图像包含预设图像特征的概率(以下可称为目标识别概率)。图像识别设备根据该目标识别概率，确定产生该目标识别概率的图像是否为包含预设图像特征的图像。
上述以反馈信号为脑电信号介绍观察对象大脑识别的原理，反馈信号不限于脑电信号，可以扩展为脑电信号、眼动信号、皮电反应信号和肢体动作反应信号中的一个或多个。也可以扩展为未来新出现的能够检测到的生物信号。
(3)计算机视觉(computer vision)算法
计算机视觉算法是帮助计算机理解图像的一种数学模型。计算机视觉算法的核心思想是利用数据驱动的方法从大数据之中学习出统计特性和模式，一般需要大量的训练样本对模型进行训练。具体地，可以使用计算机视觉算法对包括纹理、颜色、形状、空间关系和高层语义等的图像特征进行建模。通过训练样本对初始的模型进行训练，调整初始的模型中的参数来使图像识别的误差收敛，以构建新的模型。训练完成后，可以通过新的模型预测图像序列中的图像是特异性对象的概率，从而进行图像识别。
目前，计算机视觉算法可以包括传统的图像识别算法和基于工人神经网络的深度学习算法。使用传统的图像识别算法进行图像识别的过程如下：首先，使用特征提取算法提取图像特征。图像特征可以是图像的颜色特征、纹理特征、形状特征和空间关系特征和图像高层语义特征中的一个或多个。提取图像特征的方法可以是使用以下一种或多种算法实现：例如局部二值模式(local binary pattern，LBP)算法、方向梯度直方图(histogram oforiented gradient,HOG)算法或者Haar特征算法。然后可以将提取的图像特征输入支持向量机(support vector machine，SVM)来计算图像包含预设图像特征的概率。
使用传统的图像识别算法进行图像识别时，也可以使用其他特征提取算法，例如可变形部分模型(deformable parts model，DPM)算法，本申请对此不作限定。通过传统的图像识别算法计算概率的过程还可以包含对图像的其他操作，例如通过预处理去除图像背景、对图像进行分割等等，本申请对此不作限定。
另一种最常用的计算机视觉算法是基于人工神经网络的深度学习算法。人工神经网络的深度学习算法可以通过多层神经网络层来提取图像特征，并计算图像包含预设图像特征的概率。人工神经网络的深度学习算法例如可以是卷积神经网络(convolutionalneural network，CNN)。深度学习算法可以通过卷积神经网络提取图像特征并计算图像包含预设图像特征的概率。用于进行图像识别的卷积神经网络可以看作是一个分类器，使用卷积神经网络对图像进行分类，可以分类为包含预设图像特征的图像和不包含预设图像特征的图像。该卷积神经网络可以是一定网络架构的初始模型经过训练样本对初始模型中的参数进行调整以使识别误差收敛，从而得到的新的模型。模型中的参数可以包括卷积核大小、池化核大小和全连接层的个数等。
训练完成的卷积神经网络模型进行图像识别的步骤为：首先使用卷积层对某一张图像进行处理，以提取该图像中携带图像特征的信息，该信息的具体形式可以是一组数列。其次通过池化层缩减图像特征信息的数据量。最后将池化层输出的携带图像特征的信息输入全连接层，来确定该图像是否包含预设图像特征。即对该图像是否包含预设图像特征做出预测。最后一层卷积层还可以是一个分类器，例如softmax模型、SVM等根据输入的携带图像特征的信息对图像是否包含预设图像特征进行预测。
需要进行说明的是，上述的卷积神经网络进行图像识别的步骤可以增加或者减少。可以将上述步骤组合、堆叠任意多次，来进行实际的图像识别。上述的基于人工神经网络的深度学习算法也可以是卷积神经网络以外的算法，本申请对此不作限定。
(4)观察对象的大脑与计算机结合进行图像识别
观察对象大脑与计算机结合进行图像识别是指将图像序列中的目标图像经过观察对象识别得到的反馈信号和计算机视觉算法的识别结果结合进行图像识别。具体的，使用计算机视觉算法对目标图像进行处理，可以得到该目标图像的计算机视觉信号，该计算机视觉信号可以是通过计算机视觉算法计算得到的该目标图像包含预设图像特征的概率，也可以是计算机视觉算法计算得到的该目标图像的图像特征。获取到观察对象的反馈信号后，可以根据反馈信号确定目标图像包含预设图像特征的概率，也可以提取反馈信号的反馈信号特征。这里的目标图像可以理解为图像序列中任一图像i。在图像识别设备通过计算机视觉信号和反馈信号结合进行图像识别时，可以使用两种结合的方法：概率加权和方法和特征融合方法。以下分别进行描述。
a.概率加权和进行计算机视觉信号和反馈信号的融合：
图像识别设备使用计算机视觉算法对目标图像进行处理，得到该目标图像包含预设图像特征的概率，即第一识别概率p1。之后图像识别设备获取观察对象在观察到该目标图像时产生的反馈信号，并根据该反馈信号计算该目标图像包含预设图像特征的概率p2，可以称为第二识别概率。则图像识别设备可以得到该目标图像为包含预设图像特征的图像的概率，即目标图像的目标识别概率p
p＝w1*p1+w2*p2 (1-1)
其中，w1为计算机视觉算法识别得到的第一识别概率p1占的权重，w2为观察对象识别得到的第二识别概率p2占的权重。其中，w1和w2的值可以根据经验确定，也可以是经过某一个或多个观察对象学习得到的。一般地，计算机视觉算法进行图像识别和观察对象进行图像识别中，两者中识别准确率越高的一项，所占的权重越大。其中，w1和w2的和可以归一化为1。
图像识别设备可以根据目标图像的目标识别概率p确定目标图像是否是包含预设图像特征的图像。例如可以设定一个阈值，当目标图像的目标识别概率p大于或等于该阈值时，图像识别设备判断图像是包含预设图像特征的图像。图像识别设备也可以对一组图像序列按照目标识别概率进行排序，可以是降序排序，图像识别设备选取排序的图像序列中前N个图像作为包含预设图像特征的图像。
b.特征融合进行脑机结合图像识别：
目标图像在被观察对象观察时产生反馈信号，对该反馈信号提取的反馈信号特征和使用计算机视觉算法对该目标图像进行处理提取的图像特征进行特征融合，并根据特征融合后的结果计算目标识别概率。
具体地，以反馈信号为脑电信号为例介绍，单一电极的脑电信号可以通过短时傅里叶变换(STFT，short-time Fourier transform，或short-term Fourier transform)得到一个二维矩阵。该矩阵的横向为时间轴，纵向为脑电信号的频率分量轴。该二维矩阵用来表征观察对象在观察目标图像时产生的脑电信号的张量特征，该张量特征可以是指脑电信号的能量特征或者功率谱密度特征。多电极的脑电信号可以得到多个上述的二维矩阵，将多个上述的二维矩阵在第三个维度上拼接为三维的张量，三维张量的三个维度分别为的时间、脑电信号的频率和通道(通道与采集脑电信号的电极个数相同)。
图像识别设备可以对上述的目标图像通过卷积神经网络提取图像特征。图像识别设备通过一层卷积层或者多层卷积层提取出一张二维的特征图谱(feature map)，是一张二维的目标图像的宽度方向和高度方向每个像素分别对应的图像特征。卷积层可以是多层，提取的目标图像的图像特征也可以是三维的张量特征，三个维度分别为目标图像的宽度、目标图像的高度和卷积层。
特征融合可以是图像识别设备将观察对象在观察目标图像时产生的脑电信号得到的三维张量和卷积神经网络获得的目标图像的三维的图像特征进行张量拼接，即可得到融合的三维张量。该融合的三维张量既反映对目标图像进行脑电识别得到的脑电信号的特征，又反映计算机视觉算法对目标图像进行图像识别得到的图像特征，可以称为脑电视觉混合特征。
获取目标图像的脑电视觉混合特征之后，使用卷积神经网络中的分类器层对目标图像的脑电视觉混合特征进行处理，该分类器层用于根据目标图像的脑电视觉混合特征输出目标图像的目标识别概率。
其中，上述的图像特征提取、融合得到脑电视觉混合特征以及通过分类器输出目标识别概率可以是在一个卷积神经网络中进行的。上述的卷积神经网络可以是训练得到的。
可以理解的是，上述两种结合的方法仅用于解释本申请实施例，不应构成限定。本申请实施例对计算机视觉算法和脑电信号结合进行图像识别时使用的结合方法不作限定。
(5)计算机视觉算法计算得到的第一识别概率
图像识别设备通过计算机视觉算法确定目标图像包含预设图像特征的概率的方法可以是通过分类器进行分类。下面以使用softmax分类器为例介绍得到目标图像包含预设图像特征的概率。
softmax分类器的分类目标是输出图像序列中的目标图像为特异性对象的概率和为非特异性对象的概率。softmax分类器的输入可以是目标图像的图像特征，输出为目标图像为特异对象的概率p0和目标图像为非特异性对象的概率p0’，这两个概率值可以分别通过两个神经元输出。其中，p0+p0’＝1，p0和p0’均为取值范围为[0，1]的常数。目标图像为特异对象的概率p0可以作为计算机视觉算法计算得到的目标图像的第一识别概率，即c＝p0。
另外，计算机视觉算法计算得到的目标图像的第一识别概率c还可以是p0的函数，用于表征目标图像包含预设图像特征的可能性，即c＝f(p0)，f(p0)即是反映目标图像包含预设图像特征的概率，f(p0)例如可以是最大值函数max(p0,1-p0)，即求p0和p0’之间的最大值，则第一识别概率c取值范围为[0.5，1]。再例如，f(p0)还可以是|p0-0.5|，本申请对第一识别概率与p0的函数关系不作限定。第一识别概率可以用于反映分类器进行图像识别结果的可信程度。
(6)疲劳状态参数
观察对象的疲劳状态参数可以图像识别设备通过分析观察对象的反馈信号得到的。也可以是通过测量疲劳状态信息或者观察对象的疲劳程度相关的传感器检测到的，还可以是通过疲劳规律预测得到的。
例如，反馈信号为脑电信号时，脑电采集设备可以作为测量疲劳状态信息的传感器。图像识别设备可以对脑电信号使用疲劳检测算法计算得到观察对象的疲劳状态参数。具体地，疲劳检测算法的原理为：当观察对象处于疲劳状态时，大脑的β波及高频脑电会减少，α波会增多。当观察对象从疲劳状态转为瞌睡状态或睡眠状态时，脑电信号的频率会逐渐降低为慢波θ波。业界采用脑电信号功率谱的比值(α+θ)/β来作为疲劳状态参数，以描述观察对象的疲劳程度。疲劳状态参数也可以是经过归一化得到的，可以取[0，1]之间的数值。
除了通过脑电信号表征观察对象的疲劳状态参数，还可以通过观察对象的眼动检测疲劳状态参数。即通过检测眼动的传感器检测疲劳状态信息，具体原理是：可以检测多个眼动指标，例如眨眼频率、预设时间内眼睛闭合所占时间比例、注视方向和注视时间等。并使用疲劳状态参数算法模型对眼动指标进行计算，得到观察对象的疲劳状态参数。
除了上述实时的检测观察对象的疲劳状态参数，观察对象在观察图像序列中任一张图像时的疲劳状态参数可以是根据疲劳规律预测的。疲劳规律可以是客观存在的观察对象的疲劳程度的变化规律。疲劳规律可以是用于指示观察对象的疲劳程度随观察对象已观察图像数量的变化规律，或者，疲劳规律用于指示观察对象的疲劳程度随观察对象已观察图像的时长的变化规律。本申请实施例中，疲劳规律可以是映射表的形式，也可以是拟合公式的形式，具体可参考后续实施例。
疲劳规律还可以是对一个或多个观察对象通过多个样本训练得到的，多个样本中每个样本是已观察图像数量和疲劳状态参数的组合，或者，多个样本中每个样本是已观察图像的时长和疲劳状态参数的组合。
本申请实施例中，疲劳状态参数的表征方法不限于上述方法，也可以是其他方式来检测和表征疲劳状态参数，本申请对此不作限定。
请参见图1，图1是本申请实施例提供的一种图像识别系统架构示意图。如图1所示，该图像识别系统100包括：显示设备10、反馈信号采集设备20、观察对象30和图像识别设备40。其中，图像识别设备30与反馈信号采集设备20连接，用于获取反馈信号采集设备20采集的观察对象30的反馈信号，图像识别设备30与显示设备10连接，用于将图像序列传输给显示设备10进行显示供观察对象30观看。
其中，显示设备10，用于接收图像识别设备30发送的图像序列，并根据设定的呈现时间序列按序显示图像序列。
反馈信号采集设备20，用于采集观察对象30的反馈信号，该反馈信号可以是观察对象40在观看显示设备10上显示的图像序列时产生的。反馈信号采集设备20可以将产生的反馈信号发送给图像识别设备30。反馈信号采集设备20例如可以是包含用于采集脑电信号的脑机接口的设备，具体地如头戴式脑电帽等。
观察对象30，可以是人，具体地，可以是特定人群，如刑侦人员等。观察对象30观察显示设备10显示的图像序列，并产生反馈信号，供反馈信号采集装置20采集反馈信号。
图像识别设备40，用于通过预存在图像识别设备40中的计算机视觉算法计算图像序列中每张图像包含预设图像特征的概率。图像识别设备40，还用于接收反馈信号采集设备20采集的反馈信号，在观察对象观察目标图像时采集到的观察对象的反馈信号可以用于进行目标图像的识别，以得到目标图像是否包含预设图像特征或者目标图像包含预设图像特征的概率。
大脑具有效率低、易疲劳等缺点，但是大脑无需进行训练即具有丰富的认知和知识，还可以识别高阶语义特征。而计算机视觉算法具有误差大、高阶语义特征不易提取等缺点，但计算机视觉算法具有效率高的优点。因此图像识别设备40还可以用于结合计算机视觉算法的识别结果和观察对象30的大脑的识别结果，来对图像进行识别。即图像识别设备40还用于融合反馈信号和计算机视觉算法计算得到的计算机视觉信号，计算得到图像序列中每张图像的目标识别概率。通过计算机视觉算法的识别结果和观察对象30的大脑的识别结果的两者融合，可以结合大脑识别和计算机算法识别各自的优点，从而可以提高图像识别的漏检率。另外，图像识别设备40，还可以用于获取图像序列，可以是从视频流中抽取图像序列，该视频流可以是摄像设备例如摄像头(图1未示出)采集的。
需要说明的，图1示出的图像识别系统100仅仅是为了更加清楚的说明本申请的技术方案，并不构成对本申请的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
在图1所示的图像识别系统100中，显示设备10和图像识别设备40可以是集成在同一个设备中，也可以是分离的设备。显示设备10和图像识别设备40集成在同一个设备时，例如，显示设备10和图像识别设备40可以分别是一台计算机的显示器和主机，显示设备10和图像识别设备40还可以分别是一台笔记本电脑的显示屏和主板。显示设备10和反馈信号采集设备20可以是集成在同一个设备中，也可以是分离的设备。显示设备10和反馈信号采集设备20集成在同一个设备时，例如，可以是虚拟现实(virtual reality，VR)设备。该VR设备包含用于采集观察对象30的反馈信号的模块和用于显示图像序列的显示模块。
请参阅图2，图2是本申请实施例提供的一种反馈信号采集设备20的结构示意图，如图2所示，该反馈信号采集设备20包括：一个或多个设备处理器201、存储器202、通信接口203、接收器205、发射器206，以及输入输出模块(包括反馈信号采集模块207、音频输入输出模块208、按键输入模块209以及显示器210等)。需要注意的是，显示器210可以是反馈信号采集设备20的组成部分也可以不是反馈信号采集设备20的组成部分；为了更好地说明，本申请实施例以显示器210为反馈信号采集设备20的组成部分为例。其中反馈信号采集模块207，可以是传感器，用于采集观察对象的反馈信号。这些部件可通过总线204或者其他方式连接，图2以通过总线连接为例。其中：
通信接口203可用于反馈信号采集设备20与其他通信设备，例如图像识别设备，进行通信。具体的，所述图像识别设备可以是图1所示的图像识别设备40。具体的，通信接口203可以是有线的通信接口203，例如局域接入网(Local Access Network，LAN)接口。不限于有线通信接口，反馈信号检测设备20还可以配置有长期演进(LTE)(4G)通信接口，也可以配置有5G接口或者未来新空口的通信接口。
发射器206可用于对设备处理器201输出的信号进行发射处理，例如信号调制。接收器205可用于对接收的信号进行接收处理，例如信号解调。在本申请的一些实施例中，发射器206和接收器205可看作一个无线调制解调器。在反馈信号采集设备20中，发射器206和接收器205的数量均可以是一个或者多个。
除了图2所示的发射器206和接收器205，反馈信号采集设备20还可包括其他通信部件，例如GPS模块、蓝牙(Bluetooth)模块、Wi-Fi模块等。不限于上述表述的无线通信信号，反馈信号采集设备20还可以支持其他无线通信信号，例如卫星信号、短波信号等等。不限于无线通信，反馈信号采集设备20还可以配置有有线网络接口(如LAN接口)来支持有线通信。
所述输入输出模块可用于实现反馈信号采集设备20和用户/外部环境之间的交互，可主要包括反馈信号采集模块207、音频输入输出模块208、按键输入模块209以及显示器210。其中，反馈信号采集模块207用于采集观察对象30的反馈信号，显示器210可以作为图1所描述的图像识别系统中的显示设备10。具体的，所述输入输出模块还可包括：触摸屏以及传感器等等。其中，所述输入输出模块均通过用户接口211与设备处理器201进行通信。
存储器202与设备处理器201耦合，用于存储各种软件程序和/或多组指令。具体的，存储器202可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器202可以存储操作系统(下述简称系统)，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储器202还可以存储网络通信程序，该网络通信程序可用于与一个或多个附加设备，一个或多个图像识别设备40进行通信。存储器202还可以存储用户接口程序，该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来，并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。
在本申请的一些实施例中，存储器202可用于存储本申请的一个或多个实施例提供的基于图像序列呈现的图像识别方法在反馈信号采集设备20侧的实现程序。或者，存储器202可用于存储本申请的一个或多个实施例提供的图像呈现时间的确定方法在反馈信号采集设备20侧的实现程序。或者，存储器202可用于存储本申请的一个或多个实施例提供的图像呈现时间的调整方法在反馈信号采集设备20侧的实现程序。或者，存储器202可用于存储本申请的一个或多个实施例提供的图像识别方法在反馈信号采集设备20侧的实现程序。关于本申请的一个或多个实施例提供的图像识别方法的实现，请参考后续实施例。
设备处理器201可用于读取和执行计算机可读指令。具体的，设备处理器201可用于调用存储于存储器202中的程序，例如本申请的一个或多个实施例提供的基于图像序列呈现的图像识别方法在反馈信号采集设备20侧的实现程序，或者，本申请的一个或多个实施例提供的图像呈现时间的确定方法在反馈信号采集设备20侧的实现程序，或者，本申请的一个或多个实施例提供的图像呈现时间的调整方法在反馈信号采集设备20侧的实现程序，或者，本申请的一个或多个实施例提供的图像识别方法在反馈信号采集设备20侧的实现程序，并执行程序包含的指令。
可以理解的，反馈信号采集设备20可以是图1示出的图像识别系统100中的反馈信号采集设备20，可实施为非移动设备或者移动设备，可穿戴设备或者VR等。
需要说明的，图2所示的反馈信号采集设备20仅仅是本申请实施例的一种实现方式，实际应用中，反馈信号采集设备20还可以包括更多或更少的部件，这里不作限制。
请参阅图3，图3是本申请实施例提供的一种图像识别设备40的结构示意图。如图3所示，该图像识别设备40包括：一个或多个设备处理器401、存储器402、通信接口403、接收器405、发射器406，以及输入输出模块(包括音频输入输出模块407、按键输入模块408以及显示器409等)。需要注意的是，显示器409可以是图像识别设备40的组成部分也可以不是图像识别设备40的组成部分；为了更好地说明，本申请实施例以显示器409为图像识别设备40的组成部分为例。这些部件可通过总线404或者其他方式连接，图3以通过总线连接为例。其中：
通信接口403可用于图像识别设备40与其他通信设备，例如显示设备，进行通信。具体的，所述显示设备可以是图1所示的显示设备10。具体的，通信接口403可以是有线的通信接口403，例如局域接入网(Local Access Network，LAN)接口。不限于有线通信接口，设备40还可以配置有长期演进(LTE)(4G)通信接口，也可以配置有第五代移动通信技术(5th-Generation，5G)接口或者未来新空口的通信接口。
发射器406可用于对设备处理器401输出的信号进行发射处理，例如信号调制。接收器405可用于对接收的信号进行接收处理，例如信号解调。在本申请的一些实施例中，发射器406和接收器405可看作一个无线调制解调器。在图像识别设备40中，发射器406和接收器405的数量均可以是一个或者多个。
除了图3所示的发射器406和接收器405，图像识别设备40还可包括其他通信部件，例如GPS模块、蓝牙(Bluetooth)模块、无线高保真(wireless fidelity，Wi-Fi)模块等。不限于上述表述的无线通信信号，图像识别设备40还可以支持其他无线通信信号，例如卫星信号、短波信号等等。不限于无线通信，图像识别设备40还可以配置有有线网络接口(如LAN接口)来支持有线通信。
所述输入输出模块可用于实现图像识别设备40和用户/外部环境之间的交互，可主要包括视频输入输出模块407、按键输入模块408以及显示器409等。其中，显示器409可以作为图1所描述的图像识别系统中的显示设备10。具体的，所述输入输出模块还可包括：摄像头、触摸屏以及传感器等等。其中，所述输入输出模块均通过用户接口410与设备处理器401进行通信。
存储器402与设备处理器401耦合，用于存储各种软件程序和/或多组指令。具体的，存储器402可包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器402可以存储操作系统(下述简称系统)，例如ANDROID，IOS，WINDOWS，或者LINUX等嵌入式操作系统。存储器402还可以存储网络通信程序，该网络通信程序可用于与一个或多个附加设备，一个或多个显示设备，一个或多个脑电采集设备20进行通信。存储器402还可以存储用户接口程序，该用户接口程序可以通过图形化的操作界面将应用程序的内容形象逼真的显示出来，并通过菜单、对话框以及按键等输入控件接收用户对应用程序的控制操作。
在本申请的一些实施例中，存储器402可用于存储本申请的一个或多个实施例提供的基于图像序列呈现的图像识别方法在图像识别设备40侧的实现程序。或者，存储器402可用于存储本申请的一个或多个实施例提供的图像呈现时间的确定方法在图像识别设备40侧的实现程序。或者，存储器402可用于存储本申请的一个或多个实施例提供的图像呈现时间的调整方法在图像识别设备40侧的实现程序。或者，存储器202可用于存储本申请的一个或多个实施例提供的图像识别方法在图像识别设备40侧的实现程序。关于本申请的一个或多个实施例提供的图像识别方法的实现，请参考后续实施例。
设备处理器401可用于读取和执行计算机可读指令。具体的，设备处理器401可用于调用存储于存储器402中的程序，例如本申请的一个或多个实施例提供的基于图像序列呈现的图像识别方法在图像识别设备40侧的实现程序，或者，本申请的一个或多个实施例提供的图像呈现时间的确定方法在图像识别设备40侧的实现程序，或者，本申请的一个或多个实施例提供的图像呈现时间的调整方法在图像识别设备40侧的实现程序，或者，本申请的一个或多个实施例提供的图像识别方法在图像识别设备40侧的实现程序，并执行程序包含的指令。
可以理解的，图像识别设备40可以是图1示出的图像识别系统100中的图像识别设备40，可实施为非移动设备或者移动设备。
需要说明的，图3所示的图像识别设备40仅仅是本申请实施例的一种实现方式，实际应用中，图像识别设备40还可以包括更多或更少的部件，这里不作限制。
目前，基于快速序列视觉呈现范式的图像序列中全部图像在显示设备10上呈现时间往往是均匀的，该呈现时间可以是根据经验或者实验确定的。然而，由于观察对象大脑易疲劳，且观察对象大脑的注意资源有限，脑机结合图像识别的漏检率仍然较高，导致脑机协同图像识别效率较低。
基于上述图1的图像识别系统的架构示意图，本申请实施例提供一种基于图像序列呈现的脑机结合图像识别方法。该基于图像序列呈现的脑机结合图像识别方法中，图像识别设备根据计算机视觉算法计算得到的第一识别概率和图像对应的疲劳状态参数中的至少一个来确定或调整图像的呈现时间。第一识别概率越小，呈现时间越长，供观察对象观看的时间越长；观察对象的疲劳状态参数越大，呈现时间越长，供观察对象观看的时间越长。该基于图像序列呈现的脑机结合图像识别方法更加充分的利用观察对象大脑在时间维度上的注意力资源来对图像的识别，将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机结合图像识别的效率。
本申请涉及的主要发明原理可包括：图像识别设备通过计算机视觉算法计算图像序列中目标图像的第一识别概率，并获取目标图像对应的疲劳状态参数。图像识别设备根据目标图像对应的第一识别概率和目标图像对应的疲劳状态参数中的至少一个来确定或者调整目标图像在显示设备上的呈现时间。图像识别设备确定或调整呈现时间的策略可以是：第一识别概率越小，观察对象的疲劳状态参数越大，设置或者调整呈现时间越长，即计算机视觉算法识别的不确定性越大，或者观察对象的疲劳状态参数越大的情况下，图像呈现时间供大脑识别的时长越长，从而可以减小漏检率。反之，第一识别概率越大，观察对象的疲劳状态参数越小，设置或者调整呈现时间越短，即计算机视觉算法识别的不确定性较小的情况下，或者观察对象不疲劳的情况下，无需很长的大脑识别时长，从而可以减少大脑识别引起的疲劳，减小漏检率。
例如，当一张图像A的第一识别概率c满足0.7＜c≤0.9时，图像识别设备通过计算机视觉算法识别出图像序列中图像A包含预设图像特征的概率相对较大。即是说计算机视觉算法识别图像A的不确定性较小。可以无需设置很长时间的观察对象大脑进行图像A的识别，图像识别设备可以对应的设置该图像A的呈现时间为0.1s。当图像序列中另一张图像B的第一识别概率c满足0.5＜c≤0.7时，图像识别设备通过计算机视觉算法识别出图像B包含预设图像特征的概率。与上一张图像相比较小，图像识别设备可以为图像B设置更长的呈现时间，例如0.2s。当图像序列中又一张图像C的第一识别概率c满足0.3＜c≤0.5时，计算机视觉算法识别出该图像C包含预设图像特征的概率相对较小。即是说计算机视觉算法识别图像的不确定性较大，图像识别设备可以设置较长的观察对象大脑识别时长，以减小漏检率。例如可以设置该图像C的呈现时间为0.4s。上述的方法中，可以将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机协同图像识别的效率。
再例如，当观察对象在观察图像A的疲劳状态参数f为fm，相对较小时，表明观察对象大脑思维比较活跃。观察对象在较短的观察时间内即可识别出图像是否包含预设图像特征，因此图像识别设备可以设置图像A的呈现时间为0.1s。当观察对象在观察图像B的疲劳状态参数f为fm’，相对较大时，表明观察对象大脑思维比较迟钝。观察对象需要较长的观察时间来识别出图像是否包含预设图像特征，因此图像识别设备可以设置图像B的呈现时间为0.3s。根据观察对象的疲劳状态参数确定图像的呈现时间，可以减少因观察对象大脑疲劳而引起的漏检情况，从而可以降低漏检率。
基于上述主要发明原理，下面说明本申请提供几个实施例。
请参阅图4，图4是本申请实施例提供的一种基于图像序列呈现的脑机结合图像识别方法的流程示意图。该方法中，图像识别设备根据时长影响参数设置图像的呈现时间。如图4所示，该基于图像序列呈现的脑机结合图像识别方法包括但不限于如下步骤S101-S104。
S101、图像识别设备设置图像序列对应的呈现时间序列，呈现时间序列包括至少两个不相等的呈现时间。
上述的图像序列可以是基于RSVP的图像序列，可以包括N张图像，N为正整数。
S102、图像识别设备使用计算机视觉算法对图像序列进行处理，得到图像序列中每张图像对应的计算机视觉信号。
S103、图像识别设备获取观察对象在观看根据呈现时间序列进行显示的图像序列时产生的对应图像序列中每张图像的反馈信号。
S104、图像识别设备针对图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号。
其中，步骤S102可以是在步骤S101之前执行，也可以是在步骤S103之后执行。
其中，图像的呈现时间用于指示图像呈现起始时刻到下一相邻图像呈现起始时刻的时间段。图像的呈现时间可以是指图像在显示设备上显示的时间段，也可以是包含图像在显示设备上显示的时间段和该图像显示结束后显示设备停止显示该图像至开始显示下一相邻图像的时间段。该图像显示结束后显示设备停止显示该图像至开始显示下一相邻图像的时间段可以是用于供观察对象休息。
具体地，请参阅图5，图5是本申请实施例提供的一种图像的呈现时间的示意图。如图5所示，某张图像的呈现时间可以包含该图像在显示设备上显示的时间和该图像显示之后的黑屏时间的和，黑屏时间可以用于观察对象观察该图像之后进行休息。如图5所示，图像序列可以包含图像1、图像2、图像3、图像4和图像5，图像序列中图像1在显示屏上显示的时间为200ms，该图像1显示之后显示设备的黑屏时间为100ms，则该图像1的呈现时间可以是300ms。其中，图像对应的黑屏时间也可以设置为0。
可以理解的是，本申请实施例涉及到的图像的呈现时间不限于上述定义。例如，呈现时间还可以是指图像在显示设备上显示的时间，具体的，图5所描述的实施例中图像1的呈现时间也可以定义为200ms。
本申请实施例中，图像序列中全部的图像的呈现时间不再完全相同，设置的图像序列对应的呈现时间序列可以包括至少两个不相等的呈现时间。至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，k为正整数，Δ为预设时间段值。其中，设置至少两个不相等的呈现时间是为了提高观察对象对所述图像序列中每张图像的识别准确度。其中，时间段值Δ可以取10ms-100ms之间的数值。可选的，时间段值Δ可以取50ms-100ms之间的数值。
例如，图像序列包含100张图像，Δ可以取50ms，且图像序列中图像的呈现时间按照等差数列递增。即第i张图像的呈现时间为[100+(i-1)*50]ms，i为满足1≤i≤100的整数。则图像序列中，不同的图像设置对应的呈现时间不同。示例仅用于解释本申请实施例，不应构成限定。
在一种可能的实施例中，呈现时间序列中至少两个不相等的呈现时间以及呈现时间差值k·Δ可以是根据图像序列中每张图像的时长影响参数确定的。设置图像序列对应的呈现时间序列，可以包括：针对图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到图像序列对应的呈现时间序列。其中，时长影响参数包括第一识别概率和疲劳状态参数中的至少一个。
其中，第一识别概率是图像识别设备通过计算机视觉算法计算得到的一张图像包含预设图像特征的概率。观察对象在观察到图像包含预设图像特征时所产生的反馈信号符合特定的反馈信号特征；特定的反馈信号特征例如可以是P300脑电信号满足的特征。
其中，计算机视觉算法计算得到的计算机视觉信号为第一识别概率或者一张图像的图像特征。目标识别信号可以是某一张图像包含预设图像特征的概率，用于确定该图像是否包含预设图像特征，进行目标图像识别。
本申请实施例中，呈现时间T(c)与第一识别概率c反相关。图像序列中任一张图像i的第一识别概率越大，图像识别设备设置该图像i的呈现时间越小。图像i对应的疲劳状态参数越大，图像识别设备设置该图像i的呈现时间越大。计算机视觉算法确定的图像i包含预设图像特征的概率较小时，图像识别系统对该图像进行识别的不确定性较大，可以设置较长的图像i脑电识别时间，从而将观察对象时间维度的注意力资源更多的分配在该不确定性较大的图像上，可以降低图像识别系统的漏检率。相反的，图像i对应的疲劳状态参数越大，设置图像i的呈现时间越长，即观察对象的疲劳状态参数越大的情况下，图像i呈现时间供大脑识别的时长越长，从而可以减小漏检率。根据呈现时间与第一识别概率反相关，与疲劳状态参数正相关的原则设置图像序列中每张图像的呈现时间，与设置均匀的呈现时间相比，可以将观察对象的注意力资源在时间维度上分配给图像识别系统的“薄弱环节”，并根据观察对象的疲劳程度合理设置程序时间，从而可以提高图像识别系统的识别效率，降低漏检率。
关于基于图像序列呈现的脑机结合图像识别，分三部分具体描述：(一)该部分介绍在时长影响参数包含不同的参数的情况下，怎样根据时长影响参数来确定图像序列对应的呈现时间序列。(二)该部分介绍实时的或者预先设置图像序列中每张图像的呈现时间。(三)该部分介绍多观察对象识别、多轮识别和脑机融合权重。以下分别进行介绍。
(一)怎样根据时长影响参数确定图像序列对应的呈现时间序列
时长影响参数包含第一识别概率和疲劳状态参数中的至少一个，包含三种情况：(1)时长影响参数包括第一识别概率；(2)时长影响参数包括疲劳状态参数；(3)时长影响参数包括第一识别概率和疲劳状态参数。以上三种情况下怎样根据时长影响参数确定图像序列对应的呈现时间序列，下面具体进行介绍。
(1)时长影响参数包括第一识别概率c
第一识别概率c和呈现时间T的对应关系可以是通过拟合公式的方式确定的，也可以是通过映射表的方式确定的。以下分别进行介绍。
a、公式拟合的方式确定第一识别概率c与呈现时间T的对应关系
在一种可能的实施例中，时长影响参数可以包括第一识别概率c；T(c)可以是对c进行n阶线性拟合、非线性拟合等得到的。例如使用n阶线性拟合得到
Figure BDA0001587009200000321
其中，所述T(c)为所述呈现时间，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述T(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数。
可选的，T(c)可以根据概率阈值和呈现时间阈值拟合，下面具体进行描述：
首先，对概率阈值进行解释：第一识别概率c可以存在最小概率阈值c1和最大概率阈值c2。在计算机视觉算法计算得到的第一识别概率c小于或者等于c1的情况下，可以无需观察对象大脑脑电识别，直接通过计算机视觉算法即可确定图像序列中某一张图像不包含预设图像特征。第一识别概率c大于或者等于c2的情况下，也可以无需观察对象大脑识别，直接通过计算机视觉算法即可确定图像序列中某一张图像包含预设图像特征。如果图像i满足上述两种情况中的任一种情况，该图像i无需放入图像序列中供观察对象观看进行大脑图像识别，即可以直接通过计算机视觉算法来对图像i是否包含预设图像特征进行识别。图像i可以是图像序列中的任一张图像。
其次，对呈现时间阈值进行解释：图像序列中的图像的呈现时间T可以存在最小呈现时间阈值T1和最大呈现时间阈值T2。可以是根据观察对象观看图像序列进行图像识别的生理特性来设定T1和T2。即需要保证在呈现时间T1内，观察对象能够在T1内识别图像是否包含预设图像特征。呈现时间也不能过长，以防造成大脑注意力资源在时间维度的浪费，因此可设置最大呈现时间阈值T2。
在一种可能的实施例中，T(c)可以是使用c1、c2、T1和T2对c进行拟合得到的。可选的，T(c)可以是使用(c1，T2)和(c2，T1)对所述c进行拟合得到的。在图像的第一识别概率为最小概率阈值c1时，图像识别设备设置图像的呈现时间为最大呈现时间阈值T2。在图像的第一识别概率为最大概率阈值c2时，图像识别设备设置图像的呈现时间为最小呈现时间阈值T1。拟合可以是n阶线性拟合，也可以是非线性拟合，例如最小二乘拟合等。
具体地，例如，n阶线性拟合可以拟合为
Figure BDA0001587009200000331
可选的，在图像的第一识别概率为最小概率阈值c1时，设置图像的呈现时间也可以不是最大呈现时间阈值T2，例如可以是稍小于T2。同样的，在图像的第一识别概率为最大概率阈值c2时，设置图像的呈现时间也可以不是最小呈现时间阈值T1，例如可以是稍大于T1。可选的，T(c)也可以是使用其他参数对c进行线性拟合或者非线性拟合得到的，本申请对此不作限定。T(c)和c的拟合关系也可以是在公式(1-3)的基础上增加系数，或者增加常数项等。
可选的，概率阈值c1还可以是指使用计算机视觉算法进行一轮图像序列预测中，包含预设图像特征的概率最小值，概率阈值c2还可以是指使用计算机视觉算法进行一轮图像序列预测中，包含预设图像特征的概率最大值。
上述公式(1-2)和公式(1-3)中，在第一识别概率c的取值范围内，T(c)为单调递减函数，即图像的第一识别概率越大，该图像在显示设备上的呈现时间越小。
在一种可能的实施例中，在根据c与T的拟合关系确定图像序列中每张图像的呈现时间之后，还可以根据观察对象的疲劳状态参数调整对应图像的呈现时长。
也即是说，疲劳状态参数作为调整图像i的呈现时间的自变量。并且疲劳状态参数与图像的呈现时间正相关。即疲劳状态参数越大，可以将图像i的呈现时间调整的越长。可以通过图像的呈现时间与f的拟合关系，确定调整后的呈现时间T’(c,f)。T’(c,f)与f、c的关系可以使用n阶线性拟合得到，也可以是非线性拟合得到，本申请实施例对此不作限定。n可以是大于0的正整数。图像i可以是图像序列中的任一张图像。
由于观察对象在图像序列显示一段时间后才会产生疲劳。即疲劳状态参数f对图像i的呈现时间T的影响往往要落后于第一识别概率c对T的影响。在确定图像的呈现时间T与第一识别概率c的关系时，可以首先使用第一识别概率c作为自变量对T进行拟合，之后再对上述拟合结果加上疲劳状态参数f的影响。加上疲劳状态参数f的影响的方法可以是对公式(1-2)或者(1-3)确定的T(c)增加一个增量T1(f)，得到考虑疲劳状态参数的影响的呈现时间T’(c,f)。对于拟合的方式，使用第一识别概率c作为自变量对T进行拟合得到公式(1-2)或者公式(1-3)，则
Figure BDA0001587009200000341
其中，所述T’(c,f)为考虑c和f的一张图像的呈现时间，所述T1(f)为疲劳状态参数f对图像的呈现时间的影响。T1(f)可以为正值、0或者负值。T1(f)也可以是常数。T1(f)还可以是T1(f)＝T(c)*y％，其中，y可以是正值、0或者负值，y可以是常数。
当然，未考虑疲劳状态参数的T(c)还可以是通过映射表的方式确定，并增加一个增量T1(f)来实现疲劳状态参数对呈现时间的影响。映射表的方式确定呈现时间T(c)与第一识别概率c的对应关系可以参考后面的具体描述，这里不再赘述。T1(f)除了可以通过拟合公式得到，也可以通过映射表确定。
对于疲劳状态参数f对呈现时间产生的增量T1(f)，作以下几点说明：
①呈现时间的增量T1(f)可以是根据疲劳阈值拟合得到的：
首先，对疲劳阈值进行解释：在检测到观察对象的疲劳状态参数f大于或者等于第一疲劳阈值f2的情况下，可以图像识别设备可以判定观察对象过于疲劳，需要休息。第一疲劳阈值f2可以看作是图像识别系统能够容忍观察对象的最大疲劳状态参数。在检测到观察对象的疲劳状态参数大于或等于第一疲劳阈值f2的情况下，图像识别设备可以暂停控制显示供观察对象观察的图像序列。在检测到观察对象的疲劳状态参数f小于或者等于第二疲劳阈值f1的情况下，图像识别设备可以判定观察对象已可以重新进行脑电图像识别，可以重新开启图像序列以通过脑电信号进行图像识别。其中，f2可以大于或等于f1。当疲劳状态参数在第一疲劳阈值f2和第二疲劳阈值f1之间时，疲劳状态参数越大，图像呈现时间越长，减少因观察对象疲劳引起图像漏检的情况，可以减少疲劳状态参数造成的漏检率上升。
具体地，例如，T1(f)可以与T(c)相关，可以通过一阶线性拟合得到T1(f)：
Figure BDA0001587009200000342
可选的，T1(f)还可以通过非线性拟合得到，并根据第一疲劳阈值f2和第二疲劳阈值f1确定拟合公式中的系数，例如通过最小二乘法拟合，本申请实施例对此不作限定。
由公式(1-4)和公式(1-5)可以得到T’(c,f)
Figure BDA0001587009200000343
②呈现时间的增量T1(f)还可以与第一识别概率相关：
在第一识别概率较大的情况下，表明计算机视觉算法识别图像是特异性对象的可能性较大，因此可以无需增加很长的图像呈现时间供脑电识别。在第一识别概率较小的情况下，表明计算机视觉算法识别图像是特异性对象的可能性较小，因此需要增加较长的图像呈现时间，以供观察对象识别图像是特异性对象的可能性大小。基于上述原理，可以设置呈现时间的增量T1(f)与第一识别概率c反相关。
在一个可能的实施例中，可以在公式(1-6)的基础上增加一个受第一识别概率c影响的系数，也可以是增加一个受第一识别概率c影响的增量。以增加系数举例
Figure BDA0001587009200000344
其中，x(c)为第一识别概率c对呈现时间的增量T1(f)的影响系数。第一识别概率c越大，x(c)越小，第一识别概率c越小，x(c)越大。
c与x(c)的关系可以是线性拟合关系，也可以是其他拟合关系，本申请对此不作限定。由c确定x(c)也可以是通过查表获得。请参阅表1，公式(1-5)中T1(f)为正值时，表1是一种第一识别概率c与影响系数x(c)的对应关系示例。
表1一种第一识别概率c与影响系数x(c)的对应关系示例(T1(f)为正值)
c (0.1，0.3] (0.3，0.5] (0.5，0.7] (0.7，0.9]
x(c) 1.5 1.2 0.9 0.6
如表1所示，在T1(f)为正值的情况下，第一识别概率c分别在区间(0.1，0.3]、(0.3，0.5]、(0.5，0.7]和(0.7，0.9]内，x(c)分别取值为1.5、1.2、0.9和0.6。第一识别概率c越大，x(c)越小，第一识别概率c越小，x(c)越大。
可以理解的是，示例仅用于解释本申请实施例，不应构成限定。
③观察对象疲劳的情况下，图像识别系统的工作过程
在检测到观察对象的疲劳状态参数大于或等于第一疲劳阈值时，图像识别设备可以判断观察对象的疲劳状态参数会明显影响脑电图像识别，因此图像识别设备可以控制暂停图像序列的显示过程。其中，第一疲劳阈值可以作为图像识别设备判断观察对象的疲劳状态参数是否适合继续进行脑电图像识别的阈值。
在检测到观察对象的疲劳状态参数大于或等于第一疲劳阈值f2的情况下，图像识别设备还可以控制暂停图像序列的显示，并获取图像序列中第一识别概率大于或等于第一概率阈值的图像；在检测到观察对象的疲劳状态参数小于或等于第二疲劳阈值时，按照图像序列中一张图像的呈现时间控制在时间上按序显示图像序列中第一识别概率大于或等于第一概率阈值的图像。第一概率阈值可以是根据实际应用中图像识别系统的性能要求灵活调整，例如根据系统的灵敏性要求确定第一概率阈值。
也即是说，在观察对象的疲劳状态参数达到一定门限时，图像识别设备可以暂停观察对象脑电图像识别，供观察对象休息。在观察对象休息的过程中，图像识别设备可以通过计算机视觉算法计算得到的图像序列中每张图像的第一识别概率筛选出第一识别概率在第一概率阈值以上的图像。将筛选出来的图像重新作为一组图像序列用于脑机结合图像识别。在观察对象的疲劳状态参数小于或者等于第二疲劳阈值时，表明观察对象休息完成，可以继续参与到脑电图像识别。此时图像识别设备可以控制显示筛选出的图像序列，供图像识别设备进行脑机结合图像识别。其中，第一疲劳阈值大于或者等于第二疲劳阈值。第一疲劳阈值和第二疲劳阈值的数值可以是依据观察对象的生理特征来确定的。在观察对象疲劳的情况下，通过控制暂停图像序列显示，以使观察对象休息，并在这期间内筛选出第一识别概率较大的图像，在观察对象休息完成的情况下，将这些图像重新进行脑机结合图像识别。通过上述过程，可以提高图像识别系统的识别效率。
另外，在图像识别系统进行脑机结合图像识别时，如果检测到观察对象的疲劳状态参数在第一疲劳阈值和第二疲劳阈值之间，即观察对象的疲劳状态参数f∈[f2，f1]，图像识别设备可以根据观察对象的疲劳状态参数f进一步增加图像序列当前时刻之后显示的图像的呈现时间。如果图像识别设备已经根据图4所描述的方法中步骤S401确定图像A的呈现时间为Tn，在检测到观察对象的疲劳状态参数在第一疲劳阈值和第二疲劳阈值之间的情况下，可以设定图像序列中当前时刻之后显示的图像A的呈现时间为Tn+Tk。也可以设定图像A的呈现时间为Tn*(1+p％)，还可以设定图像A的呈现时间为Tn*b。其中，Tk是时长增量，p为时长增量百分比，b为时长增量倍数。Tk、p和b均可以是常量也可以是变量。
实际上观察对象的疲劳状态参数在第一疲劳阈值和第二疲劳阈值之间时观察对象已开始疲劳，但仍未达到控制停止图像序列显示供脑电识别的疲劳门限。此时进一步增加图像序列当前时刻之后显示的图像的呈现时间，呈现时间越长，观察对象脑电信号识别准确率受影响越小，可以减少因为观察对象疲劳引起的漏检情况，从而可以降低漏检率。
④疲劳状态参数可以是针对观察对象通过传感器实时测量得到的，还可以是通过疲劳规律预测的。
其中，疲劳规律可以是通过映射表的方式体现的，也可以是通过拟合公式的方式体现的。疲劳规律可以用于指示观察对象的疲劳状态参数随观察对象已观察图像数量的变化规律，疲劳规律还可以用于指示观察对象的疲劳状态参数随观察对象已观察图像时间的变化规律。以下分别进行描述。
疲劳规律可以包含第二映射表，在疲劳规律用于指示观察对象的疲劳状态参数随观察对象已观察图像数量的变化规律的情况下，请参阅表2，表2是本申请实施例提供的一种第二映射表的示例。
表2一种第二映射表示例
S 1 2 3 ……
f 1.0 1.03 1.1 ……
如表2所示，第二映射表包含多个已观察图像数量S，以及所述多个已观察图像数量S对应的疲劳状态参数f。观察对象已观察图像数量分别为1、2、3、……时，对应的疲劳状态参数可以是1、1.03、1.1、……。根据疲劳规律预测图像序列中每一张图像各自对应的疲劳状态参数，包括：根据在图像序列中在每一张图像之前显示的图像数量，从第二映射表中查找出图像序列中每一张图像各自对应的疲劳状态参数；图像序列中，在某一张图像之前显示的图像数量是某一张图像对应的已观察图像数量。
其中，第二映射表也可以是包含多个已观察图像数量范围，以及多个已观察图像数量范围对应的疲劳状态参数f。在查找图像序列中某一张图像对应的疲劳状态参数时，可以是先查找出在该图像之前已经显示的图像的数量所述的已观察图像数量范围，之后从第二映射表中查找出该已观察图像数量范围对应的疲劳状态参数。
可选的，疲劳规律可以包含第二映射表，在疲劳规律用于指示观察对象的疲劳状态参数随观察对象已观察图像时长的变化规律的情况下，请参阅表3，表3是本申请实施例提供的另一种第二映射表的示例。
表3另一种第二映射表示例
t/s 10 10.5 11 ……
f 1.0 1.05 1.2 ……
如表3所示，第二映射表包含多个已观察图像时长t，以及所述多个已观察图像时长t对应的疲劳状态参数f。观察对象已观察图像时长t分别为10s、10.5s、11s、……时，对应的疲劳状态参数可以是1、1.05、1.2、……。根据疲劳规律预测图像序列中每张图像各自对应的疲劳状态参数，包括：根据在图像序列中在每张图像在其之前显示的图像数量S，预测图像序列中每张图像被观察时观察对象已观察图像的时长；图像被观察时观察对象已观察图像的时长t＝S*ts，ts是预测的图像序列中每张图像的平均呈现时间；根据图像序列中每张图像被观察时观察对象已观察图像的时长从第二映射表中查找出图像序列中每一张图像各自对应的疲劳状态参数。
其中，第二映射表也可以是包含多个已观察图像时长的范围，以及多个已观察图像时长的范围对应的疲劳状态参数f。在查找图像序列中某一张图像对应的疲劳状态参数时，可以是先查找出在该图像之前已经显示的图像的时长所述的已观察图像时长的范围，之后从第二映射表中查找出该已观察图像的时长的范围对应的疲劳状态参数。
可以理解的是，上述关于第二映射表的示例仅用于解释本申请实施例，不应构成限定。
疲劳规律还可以是疲劳状态参数与已观察图像数量的拟合关系，或者疲劳状态参数与已观察图像时间的拟合关系。该拟合关系可以是线性的，也可以是非线性的。该拟合关系可以是观察对象相关的客观规律，例如，人观看图像的疲劳规律，大猩猩观看图像的疲劳规律等。
该拟合关系还可以是对一个或多个观察对象通过多个样本训练得到的。多个样本中每个样本可以是已观察图像数量和疲劳状态参数的组合，则训练得到的反映疲劳规律的映射关系是疲劳状态参数与以观察图像数量的拟合关系。多个样本中每个样本还可以是已观察图像的时长和疲劳状态参数的组合，则训练得到的反映疲劳规律的映射关系是疲劳状态参数与以观察图像时长的拟合关系。具体的，例如可以针对某一类人群训练出该类人群的疲劳规律，某一类人群例如可以是刑侦人员。可以使用大量的样本数据训练得到反映该类人群疲劳规律的模型，通过该模型来预测该类人群的疲劳状态参数的变化规律。
b、映射表的方式确定第一识别概率c与呈现时间的关系
在一种可能的实施方式中，图像识别设备根据图像序列中某一张图像的第一识别概率c设置一张图像的呈现时间T(c)，还可以是通过映射表的方式确定。具体地，图像识别设备可以根据图像序列中某一张图像的第一识别概率c，从第一映射表中查找出该图像的第一识别概率c对应的呈现时间T。该第一映射表可以是预存在图像识别设备中的。该第一映射表包括多个概率，以及多个概率各自对应的呈现时间。然后，图像识别设备设置一张图像的呈现时间为第一识别概率对应的呈现时间。
上述的第一映射表中的概率可以是概率值，也可以是概率区间。当映射表中是概率区间的情况下，第一识别概率对应的呈现时间是第一识别概率所属的概率区间对应的呈现时间。举例说明，请参阅表4，表4是本申请实施例提供的一种第一映射表示例。
表4一种第一映射表示例
c (0.1，0.3] (0.3，0.5] (0.5，0.7] (0.7，0.9]
T(c)/s 0.4 0.3 0.2 0.1
如表4所示，在第一识别概率分别落在区间(0.1，0.3]、(0.3，0.5]、(0.5，0.7]和(0.7，0.9]中时，图像的呈现时间分别取值为0.4s、0.3s、0.2s和0.1s。第一识别概率越小，设置的图像的呈现时间越大。
当映射表中是概率值的情况下，举例说明，请参阅表5，表5是本申请实施例提供的另一种第一映射表示例。
表5另一种第一映射表示例
c 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
T(c)/s 0.4 0.36 0.33 0.3 0.25 0.2 0.16 0.13 0.1
如表5所示，在第一识别概率分别是0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9时，图像的呈现时间分别取值为0.4s、0.36s、0.33s、0.3s、0.25s、0.2s、0.16s、0.13s和0.1s。第一识别概率越小，设置的图像的呈现时间越大，即该图像在显示设备上呈现供观察对象脑电的时长越长。
可以理解的是，上述第一映射表的示例仅用于解释本申请实施例，不应构成限定。
(2)时长影响参数包括疲劳状态参数f
一般地，图像的呈现时间可以与观察对象的疲劳状态参数反相关。疲劳状态参数越大，图像的呈现时间越大。
图像的呈现时间T与观察对象的疲劳状态参数f的关系，可以是通过映射表的方式确定的，具体映射表方式可以类比表4和表5示出的第一映射表，这里不再赘述。
T(f)可以是对f进行m阶线性拟合、非线性拟合等得到的。例如使用m阶线性拟合得到：
Figure BDA0001587009200000381
T(f)是呈现时间，f是疲劳状态参数，m是T(f)与f拟合的阶数，m为大于0的正整数，k为满足-m≤k≤m的整数，ak为fk的系数。
可选的，T(c)可以根据疲劳阈值和呈现时间阈值拟合。图像的呈现时间T与观察对象的疲劳状态参数f的拟合关系也可以是线性拟合、非线性拟合等，本申请对此不作限定。
对最小疲劳阈值f1和最大疲劳阈值f2进行解释：在目标图像对应的疲劳状态参数大于或者等于f2的情况下，表明观察对象已经很疲劳，需要休息，图像识别设备控制停止显示图像序列进行大脑图像识别。在图像序列中某一图像对应的疲劳状态参数小于或者等于f1的情况下，表明观察对象已经休息完成，可以继续进行大脑图像识别，可以重新开始控制显示图像序列。
具体的，图像的呈现时间T1(f)可以使用(f1，T1)和(f2，T2)对所述f进行拟合得到的。在观察对象的疲劳状态参数为最小疲劳阈值f1时，图像识别设备设置对应图像的呈现时间为最小呈现时间阈值T1。在观察对象的疲劳状态参数为最大疲劳阈值f2时，图像识别设备设置对应图像的呈现时间为最大呈现时间阈值T2。T1(f)与f的拟关系合可以是n阶线性拟合：
Figure BDA0001587009200000391
可以理解的是，示例仅用于解释本申请实施例，不应构成限定。T1(f)与f的拟合不限于线性拟合，也可以是非线性拟合，例如最小二乘拟合等。
可选的，如果根据公式(1-8)拟合得到的T(f)与f的关系不是使用疲劳阈值和呈现时间阈值确定的，则将目标图像对应的疲劳状态参数f0输入T(f)后，得到的目标图像对应的呈现时间T0之后，还可以使用疲劳阈值和呈现时间阈值进行归一化。具体的，可以将根据公式(1-8)计算得到的最大的呈现时间对应设定为最大呈现时间阈值T2。即如果根据公式(1-8)计算得到最大的呈现时间，则将对应的图像的呈现时间设定为T2。将根据公式(1-8)计算得到的最小的呈现时间对应设定为最小呈现时间阈值T1。即如果根据公式(1-8)计算得到最小的呈现时间，则将对应的图像的呈现时间设定为T1。根据目标图像的疲劳状态参数f0和目标图像对应的呈现时间T0，线性按比例可以归一化T0，得到根据T1和T2对T0归一化后的目标图像的呈现时间T0’。
可以理解的，可以利用上述同样的方式使用概率阈值和呈现时间阈值对公式(1-2)计算的的目标图像的呈现时间进行归一化。也可以利用上述同样的方式使用概率阈值、疲劳阈值和呈现时间阈值对公式(1-10)计算的的目标图像的呈现时间进行归一化。
仅通过脑电进行图像识别时，根据观察对象的疲劳状态参数设置图像的呈现时间，观察对象的疲劳状态参数越大，图像识别设备设置图像的呈现时间越长，可以减少因观察对象的疲劳引起的图像漏检，从而可以减小漏检率。
在一种可能的实施例中，在根据f与T的拟合关系确定图像序列中每张图像的呈现时间之后，还可以根据每张图像的第一识别概率来调整对应图像的呈现时长。第一识别概率越大，可以将图像i的呈现时间调整得越长。可以通过图像的呈现时间与t的拟合关系，确定调整后的呈现时间T’(c,f)。T’(c,f)与f、c的关系可以使用n阶线性拟合得到，也可以是非线性拟合得到，本申请实施例对此不作限定。n可以是大于0的正整数。图像i可以是图像序列中的任一张图像。具体的拟合过程可以是对公式(1-8)或者(1-9)确定的T(f)增加一个增量T1(c)，得到考虑疲劳状态参数的影响的呈现时间T’(f,c)。也可以是通过映射表确定T(f)，并增加增量T1(c)。具体的确定过程可以类比时长影响参数包括第一识别概率c时，确定增量T1(f)的过程，这里不再赘述。
(3)时长影响参数包括第一识别概率c和疲劳状态参数f
本申请实施例中，根据图像序列中一张图像的第一识别概率c和观察对象的疲劳状态参数f确定一张图像的呈现时间T可以通过第一映射表的方式确定。具体的，第一映射表中可以包含多个概率和多个疲劳状态参数。其中，多个概率和多个疲劳状态参数中一个概率和一个疲劳状态参数唯一确定一个呈现时间。
在第一映射表中，第一识别概率可以是概率值，也可以是概率区间。在第一映射表中，疲劳状态参数可以是疲劳状态参数值，也可以是疲劳状态参数区间。当第一映射表中是概率区间和疲劳状态参数区间的情况下，第一识别概率对应的呈现时间是第一识别概率所属的概率区间和观察对象的疲劳状态参数所属的概率区间对应的呈现时间。本申请实施例以第一映射表中是概率区间和疲劳状态参数区间的情况举例说明。可以理解的是，第一映射表中还可以是概率区间和疲劳值的情况，第一映射表中还可以是概率值和疲劳区间的情况，第一映射表中还可以是概率值和疲劳值的情况，不再赘述。请参阅表6，表6是本申请实施例提供的又一种第一映射表示例。
表6又一种第一映射表示例
Figure BDA0001587009200000401
如表6所示，第一识别概率落在区间(0.1，0.3]、(0.3，0.5]、(0.5，0.7]或者(0.7，0.9]中，观察对象的疲劳状态参数落在区间(1.15，1.25]、(1.25，1.35]或者(1.35，1.45]中时，可以通过查找上述的第一映射表确定呈现时间。例如，第一识别概率是0.6，观察对象的疲劳状态参数是1.28，则第一识别概率0.6落在概率区间(0.5，0.7]中，观察对象的疲劳状态参数1.28落在疲劳状态参数区间(1.25，1.35]中。概率区间(0.5，0.7]和疲劳状态参数区间(1.25，1.35]在上述第一映射表中对应的呈现时间为0.3s，因此设置图像的呈现时间为0.3s。从第一映射表可以看出，第一识别概率越小，设置的图像的呈现时间越大，疲劳状态参数越小，设置的图像的呈现时间越大。
T(c,f)可以是对第一识别概率c进行n阶拟合，并对对疲劳状态参数f进行m阶线性拟合得到：
Figure BDA0001587009200000402
其中，T(c,f)为呈现时间，c为第一识别概率、f为疲劳状态参数，m是T(c,f)与f拟合的阶数，n是T(c,f)与c拟合的阶数，n和m均为大于0的正整数，t为满足-n≤t≤n的整数，k为满足-m≤k≤m的整数，c为满足0≤c≤1的实数，at,k为ctfk的系数。
T(c,f)与第一识别概率c、疲劳状态参数f的拟合也可以是非线性拟合，例如，最小二乘拟合等，本申请对此不作限定。
可选的，c和f两个自变量的数量级差别较大的情况下，公式(1-10)的拟合关系中数量级较小的自变量的影响会被数量级较小的自变量弱化。为减少上述情况的发生，在进行拟合时，可以将疲劳状态参数f进行归一化，例如，f取值[0，1]之间的数值。
可选的，T(c,f)可以根据概率阈值、疲劳阈值和呈现时间阈值拟合得到的。具体地，T(c,f)可以使用(c1，T2)、(c2，T1)、(f1，T1)和(f2，T2)对c和f进行线性拟合得到的；其中，T1为最小呈现时间阈值，T2为最大呈现时间阈值，c1为计算机视觉算法确定的识别概率的最小概率阈值，c2为计算机视觉算法确定的识别概率的最大概率阈值，f1为最小疲劳阈值，f2为最大疲劳阈值。
关于上述概率阈值、疲劳阈值和呈现时间阈值的解释可以参考前述描述，这里不再赘述。上述T(c,f)与c和f的拟合还可以是非线性拟合，例如最小二乘拟合等，本申请实施例对此不作限定。
(二)实时的或者预先设置图像序列中每张图像的呈现时间
由于图像序列中任一张图像i的时长影响参数可以是图像识别设备在控制显示图像序列的过程中图像i显示之前实时获取的，也可以是图像识别设备在控制开始显示图像序列之前预先获取的。因此，由时长影响参数确定图像i的呈现时间可以是在控制显示图像序列的过程中图像i显示之前实时确定的，还可以是在控制开始显示图像序列之前预先确定好的。另外，图像识别设备还可以在控制开始显示图像序列之前，根据时长影响参数中的一个参数确定图像序列对应的呈现时间序列，之后，在控制图像序列进行显示的过程中根据时长影响参数中的另一个参数实时调整图像序列中图像的呈现时间。以下分别进行描述。
(1)实时确定图像序列中任一张图像的呈现时间
根据时长影响参数中包含的参数的不同分别进行介绍。
如果时长影响参数包括疲劳状态参数，在控制图像序列进行显示的过程中，例如在控制显示图像i之前，可以获取图像序列中任一张图像i对应的疲劳状态参数，具体的获取方式可以是通过传感器检测观察对象得到的。例如检测观察对象在图像i显示之前的脑电信号，通过分析脑电信号来确定观察对象在图像i显示之前的疲劳状态参数，作为图像i对应的疲劳状态参数。检测图像i显示之前的疲劳状态参数可以是检测在图像i之前显示的一张或多张图像进行显示时观察对象的疲劳状态参数，也可以多次测量求平均值得到疲劳状态参数。然后根据上述确定出的图像i对应的疲劳状态参数设置图像i的呈现时间。
另外，也可以是根据疲劳规律预测出来的图像i对应的疲劳状态参数，关于疲劳规律预测图像对应的疲劳状态参数，可以参考前述实施例，这里不再赘述。
如果时长影响参数包括第一识别概率，在控制图像序列进行显示的过程中，例如在控制显示图像i之前，可以通过计算机视觉算法确定出图像i对应的第一识别概率。然后根据确定的图像i对应的第一识别概率设置图像i的呈现时间。
如果时长影响参数包括第一识别概率和疲劳状态参数，在控制图像序列进行显示的过程中，例如在控制显示图像i之前，可以获取图像i对应的疲劳状态参数，具体的获取方式可以是通过传感器检测观察对象得到的，也可以是根据疲劳规律预测的。并在控制显示图像i之前通过计算机视觉算法确定出图像i对应的第一识别概率。然后根据上述图像i对应的第一识别概率和图像i对应的疲劳状态参数设置图像i的呈现时间。
(2)在控制开始显示图像序列之前预先确定好图像序列对应的呈现时间序列
根据时长影响参数中包含的参数的不同分别进行介绍。
如果时长影响参数包括疲劳状态参数，在控制图像序列进行显示之前，可以获取图像序列中的每张图像对应的疲劳状态参数。获取图像序列中的每张图像对应的疲劳状态参数可以是通过疲劳规律预测得到的。根据疲劳规律预测图像序列中每张图像对应的疲劳状态参数可以参考前述实施例，这里不再赘述。然后可以根据获取的图像序列中每张图像对应的疲劳状态参数确定图像序列中每张图像对应的呈现时间，以得到图像序列对应的呈现时间序列。
如果时长影响参数包括第一识别概率，可以在控制图像序列进行显示的之前，使用计算机视觉算法对图像序列进行处理，通过计算机视觉算法分别计算出每张图像对应的第一识别概率。然后图像识别设备可以针对图像序列中的每张图像，根据第一识别概率确定对应的呈现时间，以得到图像序列对应的呈现时间序列。得到图像序列对应的呈现时间序列之后，可以根据呈现时间序列开始控制依次显示图像序列。
如果时长影响参数包括第一识别概率和疲劳状态参数，可以在控制图像序列进行显示的之前，使用计算机视觉算法对图像序列进行处理，以通过计算机视觉算法分别计算出每张图像对应的第一识别概率。可以通过疲劳规律预测出图像序列中每张图像对应的疲劳状态参数。然后图像识别设备可以针对图像序列中的每张图像，根据对应的第一识别概率和对应的疲劳状态参数确定对应的呈现时间，以得到图像序列对应的呈现时间序列。得到图像序列对应的呈现时间序列之后，可以根据呈现时间序列开始控制依次显示图像序列。例如，在进行控制图像序列显示之前，对于图像序列中的任一张图像i，图像识别设备可以通过计算机视觉算法确定图像i对应的第一识别概率，然后通过疲劳规律预测观察对象在观察图像i时对应的疲劳状态参数。然后图像识别设备根据图像i的第一识别概率和图像i对应的疲劳状态参数确定图像i的呈现时间。图像识别设备可以根据图像序列中每张图像的呈现时间，得到图像序列对应的呈现时间序列。
其中，根据图像对应的时长影响参数中的一个或两个参数确定图像的呈现时间的方法可以参考前述确定呈现时间序列的具体描述，这里不再赘述。
(3)在控制开始显示图像序列之前预先确定好图像序列对应的呈现时间序列，在控制图像序列显示过程中调整图像的呈现时间
具体地，时长影响参数可以包含第一识别概率。则可以在控制图像序列进行显示的之前，图像识别设备使用计算机视觉算法对图像序列进行处理，以通过计算机视觉算法分别计算出每张图像对应的第一识别概率。然后图像识别设备可以针对图像序列中的每张图像，根据第一识别概率确定对应的呈现时间，以得到图像序列对应的呈现时间序列。得到图像序列对应的呈现时间序列之后，可以根据呈现时间序列开始控制依次显示图像序列。
在控制图像序列显示过程中，在控制显示图像序列中任一张图像i之前，图像识别设备可以获取图像i对应的疲劳状态参数。图像i对应的疲劳状态参数可以是通过传感器检测观察对象得到的，也可以是通过疲劳规律预测得到的。并根据图像i的疲劳状态参数调整之前确定的图像i的呈现时间，以得到调整后的图像i的呈现时间。在控制进行图像i的显示时，按照调整后的图像i的呈现时间显示图像i。对于图像序列中的任一张图像，均可以执行上述通过疲劳状态参数调整图像的呈现时间的过程。调整图像的呈现时间的策略可以是疲劳状态参数越大，将图像的呈现时间增大的幅度越大。疲劳状态参数越小，将图像的呈现时间减小的幅度越大。调整图像的呈现时间的具体实现可以参考前述实施例，这里不再赘述。
(三)多观察对象识别、多轮识别和脑机融合权重
(1)多观察对象识别
在一种可能的实施例中，观察对象的数量为至少两个，反馈信号为至少两个观察对象在观察到图像序列时分别产生的至少两个反馈信号，目标识别概率是根据计算机视觉信号和至少两个反馈信号确定的。
具体地，图像识别设备可以是针对于每个观察对象，将计算机视觉算法计算得到的计算机视觉信号和观察对象的反馈信号进行融合以得到脑机结合图像识别的结果。即得到至少两个脑机结合图像识别的结果，图像识别结果即图像是否包含预设图像特征。图像识别设备根据这至少两个识别结果确定最终的图像识别结果，例如，可以将这至少两个识别结果进行加权和来确定最终的图像识别结果。
举例说明，如果观察对象为A、B和C，同时对图像序列中的任一张图像i进行脑机结合图像识别。则可以根据计算机视觉信号和A的反馈信号计算出A对应的脑机结合图像识别结果。A对应的脑机结合图像识别结果是图像i包含预设图像特征的概率是a。同样的方法可以分别计算出B对应的脑机结合图像识别结果和C对应的脑机结合图像识别结果。B对应的脑机结合图像识别结果是图像i包含预设图像特征的概率是b。C对应的脑机结合图像识别结果是图像i包含预设图像特征的概率是c。然后根据A、B和C各自分别在脑机结合图像识别结果中所占据的权重Wa、Wb和Wc，通过加权和的方式确定最终的图像识别结果，即图像i包含预设图像特征的概率为Wa*a+Wb*b+Wc*c。
图像识别设备也可以是首先根据至少两个反馈信号使用一定的策略计算得到总体的反馈信号特征，例如将至少两个反馈信号的反馈信号特征进行张量拼接得到总体的反馈信号特征。然后，图像识别设备将总体的反馈信号特征和计算机视觉算法的输出结果进行融合以得到最终的图像识别结果。本申请实施例中，反馈信号识别和计算机视觉算法计算得到的计算机视觉信号的融合可以是概率融合，也可以是特征融合，具体过程可参考前述脑机结合图像识别的具体描述，这里不再赘述。
举例说明，前例中，观察对象为A、B和C，同时对图像序列中的任一张图像i进行脑机结合图像识别。融合A在观察图像i时的反馈信号、B在观察图像i时的反馈信号和c在观察图像i时的反馈信号，以得到总体的反馈信号。融合的过程可以是信号叠加，也可以是特征融合，具体如张量特征的拼接，本申请对此不作限定。该总体的反馈信号包含A、B和C对图像i共同的大脑识别结果。之后再将该总体的反馈信号与计算机视觉信号进行融合，以得到目标识别信号。关于反馈信号和计算机视觉信号的融合，张量特征的拼接进行特征融合的过程，可以参考前述实施例，这里不再赘述。
可以理解的是，上述对多观察对象脑机结合图像识别的举例仅用于解释本申请实施例，不应构成限定。
在一种可能的实施方式中，在观察对象的数量为至少两个的情况下，图像识别设备可以确定这至少两个观察对象的疲劳状态参数对图像序列中任一张图像i的呈现时间的影响。图像i对应的疲劳状态参数为至少两个，图像识别设备可以确定至少两个观察对象的疲劳状态参数的加权和，然后根据疲劳状态参数的加权和确定图像i的呈现时间。图像i的呈现时间可以与疲劳状态参数的加权和正相关。每个观察对象的疲劳状态参数权重可以是图像识别设备根据对各个观察对象的疲劳状态参数的统计特征确定的。
另外，在观察对象的数量为至少两个时，图像识别设备也可以是首先确定图像i对应的至少两个观察对象的疲劳状态参数的中值，然后根据疲劳状态参数的中值确定图像i的呈现时间，图像i的呈现时间可以与疲劳状态参数的中值正相关。
可以理解的是，上述示例仅用于解释本申请实施例，不应构成限定。图像识别设备可以是确定至少两个观察对象的疲劳状态参数的任何疲劳状态参数的统计值，例如平均数，然后根据该疲劳状态参数的统计值来确定一张图像的呈现时间。
通过多个观察对象同时对图像序列中的图像进行脑机结合图像识别，可以减少一个观察对象的情况下，观察对象的主观原因造成的随机误差，从而可以提高脑机结合图像识别的准确率。
(2)多轮识别
在一种可能的实施方式中，图像识别设备可以筛选出图像序列中目标识别概率在第二概率阈值和第三概率阈值之间的图像。其中，第二概率阈值是图像识别设备用于确定图像不包含预设图像特征的阈值。当图像包含预设图像特征的概率小于或等于第二概率阈值时，图像识别设备判定图像不是包含预设图像特征的图像。第三概率阈值是图像识别设备用于确定图像包含预设图像特征的阈值。当图像包含预设图像特征的概率大于或等于第三概率阈值时，图像识别设备判定图像是包含预设图像特征的图像。第二概率阈值大于或等于第三概率阈值。将筛选出的图像重新作为一组图像序列进行脑机结合图像识别。
由于该一组新的图像序列来源于筛选之前初始的图像序列，初始的图像序列中每张图像的呈现时间可以是根据图4所描述的图像识别方法中步骤S401确定该一组新的图像序列。该一组新的图像序列中每张图像在显示设备上的呈现时间可以是初始的图像序列中已确定的图像的呈现时间，也可以是重新确定的，本申请对此不作限定。重新确定该一组新的图像序列中每张图像在显示设备上的呈现时间也可以是在初始的图像序列中该图像的呈现时间的基础上增加增量得到的。若图像识别设备设定图像序列中的任一张图像i在初始的图像序列中确定的呈现时间为Ts，则在一组新的图像序列中，图像识别设备可以设定图像i的呈现时间为Ts+Tm，也可以设定图像i的呈现时间为Ts*(1+s％)，还可以设定图像i的呈现时间为Ts*t。其中，Tm是时长增量，s为时长增量百分比，t为时长增量倍数。Tm、s和t均可以是常量也可以是变量。
举例说明，设定第二概率阈值为30％，第三概率阈值为70％。图像识别设备可以是在检测到图像i的第二概率大于或等于70％时，判定该图像i包含预设图像特征。图像识别设备在检测到图像i的第二概率小于或等于30％时，判定该图像i不包含预设图像特征。则图像识别设备可以筛选出图像序列中第二概率在30％与70％之间的图像，作为一组新的图像序列重新供脑机结合图像识别。如果在原先的图像序列中，图像识别设备根据图4所描述的图像识别方法中步骤S401确定的图像i的呈现时间为200ms，图像识别设备通过脑机结合计算得到图像i的第二概率为52％，在30％和70％之间，即图像i的目标识别概率52％落在[30％，70％]区间内。在一组新的图像序列中，图像识别设备仍然可以设定图像i的呈现时间为200ms，也可以设定图像i的呈现时间为(200+100)ms，还可以设定图像i的呈现时间为200*(1+20％)ms，还可以设定图像i的呈现时间为200*2ms。可以理解的是，示例仅用于解释本申请实施例，不应构成限定。
另外，第二概率阈值和第三概率阈值可以是由图像识别系统的灵敏性要求确定的。第二概率阈值也可以设定为大于图像不包含预设图像特征时图像的概率阈值。同样的，第三概率阈值也可以设定为小于图像包含预设图像特征时图像的概率阈值。例如，前例中，图像识别设备判定图像不包含预设图像特征时图像的概率阈值为20％，即当图像包含预设图像特征的概率小于或等于20％时，图像识别设备判定图像不是包含预设图像特征的图像。图像识别设备判定图像包含预设图像特征时图像的概率阈值是80％，即当图像包含预设图像特征的概率大于或等于80％时，图像识别设备判定图像是包含预设图像特征的图像。则设定的第二概率阈值为30％，第三概率阈值为70％。即筛选出图像序列中第二概率在30％与70％之间的图像，作为一组新的图像序列重新供脑机结合图像识别。
如果图像识别设备重新检测一组新的图像序列中的一张图像的第二概率仍然在第二概率阈值和第三概率阈值之间，图像识别设备可以判定该一张图像不是包含预设图像特征的图像，也可以再次将该一张图像放入新一轮的图像序列，再次迭代入图像识别系统中重新识别。本申请实施例中迭代检测的轮数不作限定，可以是根据图像识别设备的灵敏性要求确定的。
可以理解的是，上述例子仅用于解释本申请实施例，不应构成限定。
通过多次将图像序列中是否包含目标图像特征不确定性较大的图像重新作为一组图像序列进行脑机结合图像识别，可以筛选出图像序列中的可疑对象，减少图像识别设备误判的概率，从而可以提高脑机结合图像识别的准确率。
(3)脑机融合权重
在一种可能的实施方式中，对于图像序列中每张图像来说，反馈信号和计算机视觉信号在进行融合时，可以是按权重进行融合。反馈信号所占的融合权重(即第一权重)可以与第一识别概率、观察对象的疲劳状态参数和呈现时间中的至少一项相关。第一权重与第一识别概率反相关，第一权重与疲劳状态参数反相关，第一权重与一张图像的呈现时间正相关。
首先，由于计算机视觉算法识别的第一识别概率越大，表明该图像包含预设图像特征的概率越大，即计算机视觉算法识别的正确率越大，因此可以增加计算机视觉算法识别所占的融合权重，减小观察对象大脑识别所占的融合权重，从而可以减小漏检率。其次，观察对象疲劳状态参数越大，表明观察对象在疲劳状态下大脑识别的效率会降低，漏检率可能会提高。因此，观察对象的疲劳状态参数越大，观察对象大脑识别所占的权重越小。最后，图像的呈现时间越长，供观察对象观察的时间越长，因此，观察对象大脑识别的准确率越大，漏检率越小，可以设置反馈信号识别的权重越大。即图像的呈现时间越大，反馈信号融合的权重越大。
其中，根据第一识别概率、观察对象的疲劳状态参数和一张图像的呈现时间中的至少一项来确定第一权重，可以是通过映射表的方式确定的，也可以是通过函数拟合的方式确定的。函数拟合可以是n阶线性拟合，非线性拟合等，本申请实施例对此不作限定。
另外，本申请实施例中，获取的图像序列和对应的呈现时间序列用于控制显示图像序列，并进行脑机结合图像识别。可以理解的是，获取的图像序列和对应的呈现时间序列不限于上述应用场景，可以输出或者保存获取的图像序列和对应的呈现时间序列。随着图像相关系统的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
请参阅图6，图6是本申请实施例提供的一种图像呈现时间的调整方法的流程示意图。该方法中，图像呈现时间调整设备根据时长影响参数调整图像的呈现时间。如图6所示，该基于图像呈现时间的调整方法包括但不限于如下步骤S201-S203。
S201、图像呈现时间调整设备获取基于RSVP的图像序列。
S202、图像呈现时间调整设备针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间。
其中，第一识别概率与呈现时间呈反相关，疲劳状态参数与呈现时间呈正相关；
S203、图像呈现时间调整设备根据调整后的图像序列中每张图像对应的呈现时间控制显示图像序列。
本申请实施例中，在针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间之前，图像序列中每张图像的呈现时间可以相等，也可以不相等。本申请实施例中关于疲劳状态参数、疲劳规律、第一识别概率和反馈信号的描述可以参考图4所描述的实施例，这里不再赘述。
在一种可能的实施例中，图像呈现时间调整设备按照调整后的呈现时间控制显示的图像序列可以用于脑机结合图像识别。对基于图像序列的脑机结合图像识别的具体描述，可以参考图4所描述的实施例，这里不再赘述。在进行脑机结合图像识别时，图像呈现时间调整设备可以根据时长影响参数调整已经设置好的呈现时间序列。可以更加充分的利用观察对象大脑在时间维度上的注意力资源来对图像的识别，将观察对象时间维度的注意力资源更多的分配在不确定性较大的图像上，可以降低图像识别的漏检率，从而提高脑机协同图像识别的效率。
在一种可能的实施例中，图像呈现时间调整设备针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间，可以是在控制开始显示图像序列之前，对每张图像的呈现时间进行调整，得到调整后的呈现时间序列。之后根据调整后的呈现时间序列开始控制依次显示图像序列。
可选的，也可以是在控制显示图像序列的过程中，在控制显示图像i之前，图像呈现时间调整设备实时获取图像序列中任一张图像i的时长影响参数，并根据图像i的时长影响参数调整图像i的呈现时间。之后根据调整后的图像i的呈现时间控制图像i进行显示。
可选的，还可以是首先在控制开始显示图像序列之前，图像呈现时间调整设备针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间得到调整后的呈现时间序列。在控制显示图像序列的过程中，在控制显示图像i之前，图像呈现时间调整设备实时获取图像序列中任一张图像i的另一个时长影响参数，并根据图像i的另一个时长影响参数再次调整图像i的呈现时间。之后根据调整后的图像i的呈现时间对图像i进行控制显示。
上述三种调整方式的具体描述可以类比图4所描述的实施例中，图像序列对应的呈现时间序列确定方式的具体描述，这里不再赘述。
在一种可能的实施例中，图像序列也可以包括从摄像设备接收的M张图像中选取的N张图像。
在一种可能的实施例中，图像呈现时间调整设备针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间可以具体包括：针对于图像序列中的任一张图像j，图像呈现时间调整设备可以首先根据时长影响参数确定呈现时间偏置量，之后根据确定的呈现时间偏置量调整图像j的呈现时间。根据时长影响参数确定呈现时间偏置量可以是通过映射表的方式确定的，也可以是通过拟合公式的方式确定的。通过映射表的方式确定呈现时间偏置量的过程具体如下：针对图像j，根据图像j的时长影响参数，从第三映射表中查找出图像j的呈现时间偏置量，第三映射表包括多个时长影响参数以及多个时长影响参数各自对应的呈现时间偏置量。通过映射表的方式确定呈现时间偏置量的具体描述可以类比图4所描述实施例中根据第一映射表确定呈现时间的描述，即第三映射表可以类比第一映射表，这里不再赘述。
通过拟合公式的方式确定呈现时间偏置量的过程具体如下：时长影响参数包括第一识别概率时；图像呈现时间调整设备针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间，包括：图像呈现时间调整设备通过以下拟合公式得到图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000461
其中，ΔT(c)为呈现时间偏置量，c为第一识别概率，c为满足0≤c≤1的实数，n为ΔT(c)与c拟合的阶数，n为大于0的整数，t为满足-n≤t≤n的整数，at为ct的系数。
在一种可能的实施例中，ΔT(c)是使用(c1，T2)和(c2，T1)对c进行n阶线性拟合得到的；其中，T1为最小呈现时间阈值，T2为最大呈现时间阈值，c1为计算机视觉算法确定的识别概率的最小概率阈值，c2为计算机视觉算法确定的识别概率的最大概率阈值。关于最小呈现时间阈值、最大呈现时间阈值、最小概率阈值和最大概率阈值的描述可以参考图4所描述的实施例，这里不再赘述。
具体地，例如，如果在调整前，图像序列中每张图像的呈现时间均为Tc，n阶线性拟合可以拟合为
Figure BDA0001587009200000471
在一种可能的实施例中，在图像q的第一识别概率大于或者等于c2的情况下，第一识别概率用于确定图像q包含预设图像特征；在图像q的第一识别概率小于或者等于c1的情况下，第一识别概率用于确定图像q不包含预设图像特征，其中，图像q为图像序列中任一张图像。
在一种可能的实施例中，时长影响参数包括疲劳状态参数；图像呈现时间调整设备针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间，包括：图像呈现时间调整设备通过以下拟合公式得到图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000472
其中，ΔT(f)是呈现时间偏置量，f是疲劳状态参数，m是ΔT(f)与f拟合的阶数，m为大于0的正整数，k为满足-m≤k≤m的整数，ak为fk的系数。
在一种可能的实施例中，ΔT(f)是使用(f1，T1)和(f2，T2)对f进行n阶线性拟合得到的；其中，T1为最小呈现时间阈值，T2为最大呈现时间阈值，f1为最小疲劳阈值，f2为最大疲劳阈值。关于最小疲劳阈值和最大疲劳阈值的描述可以参考图4所描述的实施例，这里不再赘述。
具体地，例如，如果在调整前，图像序列中每张图像的呈现时间均为Tc，n阶线性拟合可以拟合为
Figure BDA0001587009200000473
在一种可能的实施例中，时长影响参数包括第一识别概率和疲劳状态参数；图像呈现时间调整设备针对图像序列中每张图像，根据对应的时长影响参数分别调整图像序列中每张图像对应的呈现时间，包括：图像呈现时间调整设备通过以下拟合公式得到图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000474
其中，ΔT(c,f)为呈现时间偏置量，c为第一识别概率、f为疲劳状态参数，m是ΔT(c,f)与f拟合的阶数，n是ΔT(c,f)与c拟合的阶数，n和m均为大于0的正整数，t为满足-n≤t≤n的整数，k为满足-m≤k≤m的整数，c为满足0≤c≤1的实数，at,k为ctfk的系数；
针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
在一种可能的实施例中，ΔT(c,f)是使用(c1，T2)、(c2，T1)、(f1，T1)和(f2，T2)对c和f进行线性拟合得到的；其中，T1为最小呈现时间阈值，T2为最大呈现时间阈值，c1为计算机视觉算法确定的识别概率的最小概率阈值，c2为计算机视觉算法确定的识别概率的最大概率阈值，f1为最小疲劳阈值，f2为最大疲劳阈值。
根据时长影响参数通过拟合公式的方式确定呈现时间偏置量的具体描述可以类比图4所描述实施例中拟合公式的方式确定呈现时间的描述。
在一种可能的实施例中，在检测到观察对象在观察图像r对应的疲劳状态参数大于或等于第一疲劳阈值的情况下，图像呈现时间调整设备可以控制显示设备停止显示图像序列中图像r之后待显示的图像，并获取图像r之后待显示的图像中第一识别概率大于或等于第一概率阈值的图像；在检测到观察对象的疲劳状态参数小于或等于第二疲劳阈值时，图像呈现时间调整设备重新控制依次显示图像r之后待显示的图像中第一识别概率大于或等于第一概率阈值的图像，其中，图像r为图像序列中任一张图像。关于根据疲劳状态参数控制停止显示图像序列，或者重新控制开始显示图像序列的描述，可以参考图4所描述的实施例，这里不再赘述。
在一种可能的实施例中，观察对象的数量为至少两个，疲劳状态参数为至少两个观察对象在观察同一图像时分别产生的至少两个疲劳状态参数；图像u的呈现时间与至少两个疲劳状态参数的加权和呈正相关，其中，图像u为图像序列中任一张图像。疲劳状态参数包括至少两个观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。关于多个观察对象同时对一组图像序列进行脑机结合图像识别的描述，可以参考图4所描述的实施例，这里不再赘述。
在一种可能的实施例中，图像呈现时间调整设备针对图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号，包括：针对图像序列中每张图像，根据第一识别概率、疲劳状态参数和呈现时间中至少一项分别确定图像序列中每张图像的第一权重，第一权重为对应的反馈信号用于确定目标识别信号时所占的权重，第一权重与第一识别概率反相关，第一权重与疲劳状态参数反相关，第一权重与呈现时间正相关；针对图像序列中每张图像，根据对应的第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号。关于第一权重和根据权重进行计算机视觉信号和反馈信号的融合的描述，可以参考图4所描述的实施例，这里不再赘述。
关于计算机视觉信号和反馈信号的融合的描述，可以参考前面的描述，这里不再赘述。
在一种可能的实施例中，图像呈现时间调整设备将图像序列中对应的目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。该新的一组图像序列可以用于重新执行脑机结合图像识别过程。关于第二阈值和第三概率阈值的具体描述，可以参考图4所描述的实施例的具体描述，这里不再赘述。
可以理解的是，图6所描述的实施例中，相关描述的解释可以参考图4所描述的实施例。可以结合图4描述的实施例和图6描述的实施例中任一种或多种可能的实现方式，得到新的实施例，本申请实施例对此不作限定。
上述详细阐述了本发明实施例的方法，下面提供了本发明实施例的装置。
请参阅图7，图7是本申请实施例提供的一种图像识别设备40的结构示意图。如图7所示，该设备可以包含设置单元101、计算单元102、获取单元103和融合单元104，其中：
设置单元101，用于设置图像序列对应的呈现时间序列，图像序列包括N张图像，N为正整数，呈现时间序列包括图像序列中每张图像的呈现时间，图像i的呈现时间用于指示图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，图像i为图像序列中的任一张图像，呈现时间序列包括至少两个不相等的呈现时间，至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，k为正整数，Δ为预设时间段值；
计算单元102，用于使用计算机视觉算法对图像序列进行处理，得到图像序列中每张图像对应的计算机视觉信号；
获取单元103，用于获取观察对象在观看根据呈现时间序列进行显示的图像序列时产生的对应图像序列中每张图像的反馈信号，反馈信号用于指示观察对象对所观看到的图像作出的反应；
融合单元104，用于针对图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号，目标识别信号用于图像识别。
可选的，图像识别设备还包括接收单元105和选取单元106，接收单元105，用于接收来自摄像设备的M张图像，M为大于1的整数；
选取单元106，用于从M张图像中选取N张图像作为图像序列，N小于或等于M。
可选的，设置单元101，具体用于针对图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到图像序列对应的呈现时间序列；
其中，时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，疲劳状态参数用于指示观察对象在观察某一图像时的疲劳程度，呈现时间与第一识别概率呈反相关，呈现时间与疲劳状态参数呈正相关。
可选的，时长影响参数包括疲劳状态参数，图像识别设备40还包括预测单元107；预测单元107，用于根据疲劳规律预测图像序列中每张图像各自对应的疲劳状态参数，疲劳规律用于指示观察对象的疲劳程度的变化规律。
可选的，获取单元103，还用于在控制图像序列根据呈现时间序列进行显示的过程中，获取图像j对应的疲劳状态参数，并根据图像j对应的疲劳状态参数调整图像序列中图像j之后待显示的图像在呈现时间序列中对应的呈现时间，其中，图像j为图像序列中任一张图像。
可选的，获取单元103，具体用于根据传感器发送的观察对象观看图像j时的疲劳状态信息得到疲劳状态参数。
可选的，设置单元101，具体用于针对图像序列中的每张图像，从第一映射表中查找出时长影响参数对应的呈现时间，第一映射表包括多个时长影响参数以及多个时长影响参数各自对应的呈现时间。
可选的，时长影响参数包括第一识别概率；
设置单元101，具体用于通过以下拟合公式得到图像序列中每张图像的呈现时间：
Figure BDA0001587009200000491
其中，T(c)为呈现时间，c为第一识别概率，c为满足0≤c≤1的实数，n为T(c)与c拟合的阶数，n为大于0的整数，t为满足-n≤t≤n的整数，at为ct的系数。
可选的，T(c)是使用(c1，T2)和(c2，T1)对c进行n阶线性拟合得到的；其中，T1为最小呈现时间阈值，T2为最大呈现时间阈值，c1为计算机视觉算法确定的识别概率的最小概率阈值，c2为计算机视觉算法确定的识别概率的最大概率阈值。
可选的，时长影响参数包括疲劳状态参数；设置单元101，具体用于通过以下拟合公式得到图像序列中每张图像的呈现时间：
Figure BDA0001587009200000501
其中，T(f)是呈现时间，f是疲劳状态参数，m是T(f)与f拟合的阶数，m为大于0的正整数，k为满足-m≤k≤m的整数，ak为fk的系数。
可选的，时长影响参数包括第一识别概率和疲劳状态参数；设置单元101，具体用于通过以下拟合公式得到图像序列中每张图像的呈现时间：
Figure BDA0001587009200000502
其中，T(c,f)为呈现时间，c为第一识别概率、f为疲劳状态参数，m是T(c,f)与f拟合的阶数，n是T(c,f)与c拟合的阶数，n和m均为大于0的正整数，t为满足-n≤t≤n的整数，k为满足-m≤k≤m的整数，c为满足0≤c≤1的实数，at,k为ctfk的系数。
可选的，图像识别设备还包括检测单元108，用于在检测到观察对象在观察图像q时对应的疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示图像序列中图像q之后待显示的图像；
获取单元103，还用于获取图像q之后待显示的图像中对应的第一识别概率大于或等于第一概率阈值的图像，图像q为图像序列中的任一张图像；
检测单元108，还用于在检测到观察对象的疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示图像q之后待显示的图像中第一识别概率大于或等于第一概率阈值的图像。
可选的，观察对象的数量为至少两个；融合单元104，具体用于针对图像序列中每张图像，融合对应的计算机视觉信号和对应的至少两个反馈信号分别得到图像序列中每张图像的目标识别信号。
可选的，疲劳状态参数包括至少两个观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。
可选的，融合单元104，具体用于针对图像序列中每张图像，根据第一识别概率、疲劳状态参数和呈现时间中至少一项分别确定图像序列中每张图像的第一权重，第一权重为对应的反馈信号用于确定目标识别信号时所占的权重，第一权重与第一识别概率反相关，第一权重与疲劳状态参数反相关，第一权重与呈现时间正相关；
融合单元104，还用于针对图像序列中每张图像，根据对应的第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号。
可选的，计算机视觉信号为计算机视觉算法确定的第一识别概率；
计算单元102，还用于针对图像序列中每张图像，根据对应的反馈信号分别计算图像序列中每张图像的第二识别概率，第二识别概率用于指示观察对象确定图像包含预设图像特征的概率；融合单元104，具体用于针对图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算图像序列中每张图像的目标识别概率。
可选的，计算机视觉信号为计算机视觉算法确定的图像特征；
计算单元102，还用于针对图像序列中每张图像，根据对应的反馈信号分别确定图像序列中每张图像对应的反馈信号特征；融合单元104，具体用于将图像序列中每张图像对应的图像特征和对应的反馈信号特征进行特征融合，分别得到图像序列中每张图像对应的混合特征；以及针对图像序列中每张图像，根据对应的混合特征分别确定图像序列中每张图像的目标识别概率。
可选的，设备还包括确定单元109，用于根据图像序列中每张图像的目标识别概率从图像序列中确定S张图像作为包含预设图像特征的图像，S张图像的目标识别概率满足预设条件，S为小于或等于N的整数。
可选的，设置单元101，还用于将图像序列中对应的目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。
可选的，反馈信号为脑电信号。
需要说明的是，图像识别设备40中各个单元的实现还可以对应参照图4所示的方法实施例的相应描述，这里不再赘述。图像识别设备40可以是图1所描述的系统架构中图像识别设备40。
请参阅图8，图8是本申请实施例提供的一种图像呈现时间的确定设备50的结构示意图。如图8所示，该设备50可以包含获取单元501、设置单元502和输出保存单元503，其中：
获取单元501，用于获取多张图像；多张图像可以组成图像序列。
设置单元502，用于针对多张图像中的每张图像，根据时长影响参数设置对应的呈现时间，以得到多张图像对应的呈现时间序列；其中，时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，呈现时间与第一识别概率呈反相关，呈现时间与疲劳状态参数呈正相关，第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，疲劳状态参数用于指示观察对象在观察某一图像时的疲劳程度；图像i的呈现时间用于指示图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，图像i为多张图像中的任一张图像；
输出保存单元503，用于输出或保存多张图像以及多张图像对应的呈现时间序列。
可选的，图像呈现时间的确定设备50还包括计算单元504和融合单元505，其中：
计算单元504，用于使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；
获取单元501，还用于获取观察对象在观看根据呈现时间序列进行显示的多张图像时产生的对应多张图像中每张图像的反馈信号，反馈信号用于指示观察对象对所观看到的图像作出的反应；
融合单元505，用于针对多张图像中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到多张图像中每张图像的目标识别信号，目标识别信号用于图像识别。
需要说明的是，图像呈现时间的确定设备50可以是图1所描述的系统架构中图像识别设备40。图像呈现时间的确定设备50中各个单元的实现还可以对应参照图4所示的方法实施例的相应描述，这里不再赘述。
请参阅图9，图9是本申请实施例提供的一种图像呈现时间的调整设备60的结构示意图。如图9所示，该设备可以包含包括获取单元601、调整单元602和控制单元603，其中：
获取单元601，用于获取基于快速序列视觉呈现范式RSVP的图像序列，所述图像序列包括多张图像，所述多张图像中每张图像配置有呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述多张图像中的任一张图像；
调整单元602，用于针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述第一识别概率与所述呈现时间呈反相关，所述疲劳状态参数与所述呈现时间呈正相关；
控制单元603，用于根据调整后的所述图像序列中每张图像对应的呈现时间控制显示所述图像序列。
可选的，多张图像在开始调整呈现时间之前的呈现时间均相等。
可选的，获取单元601，具体用于接收来自摄像设备的M张图像，M为大于1的整数；以及从M张图像中选取N张图像作为图像序列，N小于或等于M。
可选的，图像序列中每张图像各自对应的疲劳状态参数根据疲劳规律预测得到，疲劳规律用于指示观察对象的疲劳程度的变化规律。
可选的，图像对应的疲劳状态参数是观察对象在观察图像时的疲劳状态参数。
可选的，图像呈现时间的调整设备60还包括融合单元604和计算单元605，获取单元601，还用于获取观察对象在观看根据呈现时间序列进行显示的图像序列时产生的对应图像序列中每张图像的反馈信号，反馈信号用于指示观察对象对所观看到的图像作出的反应。
计算单元605，用于使用计算机视觉算法对图像序列进行处理，得到图像序列中每张图像对应的计算机视觉信号；
融合单元604，用于针对图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号，目标识别信号用于图像识别。
可选的，时长影响参数包括第一识别概率和疲劳状态参数，图像呈现时间的调整设备60还包括预测单元606；
计算单元605，具体用于使用计算机视觉算法对图像序列进行处理，得到图像序列中每张图像的第一识别概率；
预测单元606，用于根据疲劳规律预测图像序列中每张图像各自对应的疲劳状态参数，疲劳规律用于指示观察对象的疲劳程度的变化规律；
调整单元602，具体用于针对所述图像序列中每张图像，根据对应的第一识别概率和对应的疲劳状态参数调整对应图像的呈现时间，以得到图像序列对应的调整后的呈现时间序列。
可选的，时长影响参数包括第一识别概率；计算单元605，还用于使用计算机视觉算法对图像序列进行处理，得到图像序列中每张图像的第一识别概率；调整单元602，具体用于针对所述图像序列中每张图像，根据对应的第一识别概率分别调整所述图像序列中每张图像对应的呈现时间。
可选的，时长影响参数包括疲劳状态参数；预测单元606，用于根据疲劳规律预测图像序列中每张图像各自对应的疲劳状态参数，疲劳规律用于指示观察对象的疲劳程度的变化规律；调整单元602，具体用于针对所述图像序列中每张图像，根据对应的疲劳状态参数分别调整所述图像序列中每张图像对应的呈现时间。
可选的，调整单元602，具体用于针对图像j，根据所述图像j的时长影响参数，从第三映射表中查找出所述图像j的呈现时间偏置量，所述第三映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间偏置量；以及根据所述图像j的呈现时间偏置量，调整所述图像j的呈现时间；其中，所述图像j为所述图像序列中任一张图像。
可选的，获取单元601，还用于针对图像q，根据传感器发送的所述观察对象观看所述图像p时的疲劳状态信息得到所述图像q的疲劳状态参数，其中，所述图像q为所述图像序列中除首张图像外的任一张图像，所述图像p为所述图像q的前一张图像。
可选的，所述首张图像的疲劳状态参数预设为0。
可选的，时长影响参数包括第一识别概率；调整单元602，具体用于通过以下拟合公式得到图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000531
其中，ΔT(c)为呈现时间偏置量，c为第一识别概率，c为满足0≤c≤1的实数，n为ΔT(c)与c拟合的阶数，n为大于0的整数，t为满足-n≤t≤n的整数，at为ct的系数；根据所述图像序列中每张图像的呈现时间偏置量，分别调整所述图像序列中每张图像的呈现时间；
以及针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
可选的，ΔT(c)是使用(c1，T2)和(c2，T1)对c进行n阶线性拟合得到的；其中，T1为最小呈现时间阈值，T2为最大呈现时间阈值，c1为计算机视觉算法确定的识别概率的最小概率阈值，c2为计算机视觉算法确定的识别概率的最大概率阈值。
可选的，在图像q的第一识别概率大于或者等于c2的情况下，第一识别概率用于确定图像q包含预设图像特征；在图像q的第一识别概率小于或者等于c1的情况下，第一识别概率用于确定图像q不包含预设图像特征，其中，图像q为图像序列中任一张图像。
可选的，时长影响参数包括疲劳状态参数；调整单元602，具体用于通过以下拟合公式得到图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000532
其中，ΔT(f)是呈现时间偏置量，f是疲劳状态参数，m是ΔT(f)与f拟合的阶数，m为大于0的正整数，k为满足-m≤k≤m的整数，ak为fk的系数；根据图像序列中每张图像的呈现时间偏置量，调整对应图像的呈现时间；
以及针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
可选的，时长影响参数包括第一识别概率和疲劳状态参数；调整单元602，具体用于通过以下拟合公式得到图像序列中每张图像的呈现时间偏置量：
Figure BDA0001587009200000533
其中，ΔT(c,f)为呈现时间偏置量，c为第一识别概率、f为疲劳状态参数，m是ΔT(c,f)与f拟合的阶数，n是ΔT(c,f)与c拟合的阶数，n和m均为大于0的正整数，t为满足-n≤t≤n的整数，k为满足-m≤k≤m的整数，c为满足0≤c≤1的实数，at,k为ctfk的系数；
以及针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
可选的，控制单元603，还用于在检测到观察对象在观察图像r对应的疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示图像序列中图像r之后待显示的图像；
获取单元601，还用于获取图像r之后待显示的图像中第一识别概率大于或等于第一概率阈值的图像；
控制单元603，还用于在检测到观察对象的疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示图像r之后待显示的图像中第一识别概率大于或等于第一概率阈值的图像，其中，图像r为图像序列中任一张图像。
可选的，观察对象的数量为至少两个，疲劳状态参数为至少两个观察对象在观察同一图像时分别产生的至少两个疲劳状态参数；图像u的呈现时间与至少两个疲劳状态参数的加权和呈正相关，其中，图像u为图像序列中任一张图像。可选的，针对图像序列中每张图像，融合单元604，具体用于针对图像序列中每张图像，根据第一识别概率、疲劳状态参数和呈现时间中至少一项分别确定图像序列中每张图像的第一权重，第一权重为对应的反馈信号用于确定目标识别信号时所占的权重，第一权重与第一识别概率反相关，第一权重与疲劳状态参数反相关，第一权重与呈现时间正相关；
融合单元604，还用于针对图像序列中每张图像，根据对应的第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到图像序列中每张图像的目标识别信号。
可选的，计算机视觉信号为计算机视觉算法确定的第一识别概率；计算单元605，还用于针对图像序列中每张图像，根据对应的反馈信号分别计算图像序列中每张图像的第二识别概率，第二识别概率用于指示观察对象确定图像包含预设图像特征的概率；融合单元604，具体用于针对图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算图像序列中每张图像的目标识别概率。
可选的，计算机视觉信号为计算机视觉算法确定的图像特征；计算单元605，还用于针对图像序列中每张图像，根据对应的反馈信号分别确定图像序列中每张图像对应的反馈信号特征；
融合单元604，具体用于针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到图像序列中每张图像对应的混合特征；
融合单元604，还用于针对图像序列中每张图像，根据对应的混合特征分别确定图像序列中每张图像的目标识别概率。
可选的，图像呈现时间的调整设备60还包括确定单元607，用于根据图像序列中每张图像的目标识别概率从图像序列中确定S张图像作为包含预设图像特征的图像，S张图像的目标识别概率满足预设条件，S为小于或等于N的整数。其中，预设条件可以是目标识别概率大于或者等于一个阈值，预设条件还可以是图像序列中图像进行目标识别概率降序排序，S张图像是按照目标识别概率降序排序的前S个图像。
可选的，确定单元607，还用于将图像序列中对应的目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。该新的一组图像序列可以用于重新执行图6所描述的方法。
其中，当图像序列中的任一张图像的目标识别概率小于或等于第二概率阈值时，该图像不是包含预设图像特征的图像；当图像序列中的任一张图像的目标识别概率大于或等于第三概率阈值时，该图像是包含预设图像特征的图像；第二概率阈值小于或等于第三概率阈值。
可选的，反馈信号为脑电信号。
需要说明的是，上述各个单元的实现还可以对应参照图6所示的方法实施例的相应描述，这里不再赘述。图像呈现时间的调整设备60可以是图1所描述的系统架构中图像识别设备40。
请参阅图10，图10是本申请实施例提供的一种图像识别设备70的结构示意图。如图10所示，该设备可以包含包括设置单元701、获取单元702和计算单元703，其中：
设置单元701，用于根据目标图像的时长影响参数设置所述目标图像的呈现时间，其中，所述目标图像的呈现时间用于指示所述目标图像呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示观察对象在观察某一图像时的疲劳程度，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关；
获取单元702，用于获取所述观察对象在所述目标图像的呈现时间内观察所述目标图像时产生的反馈信号；
计算单元703，用于根据计算机视觉信号和所述目标图像的所述反馈信号确定所述目标图像的目标识别概率，其中，所述计算机视觉信号为所述第一识别概率或者所述计算机视觉算法确定的所述目标图像的图像特征。
需要说明的是，上述各个单元的实现还可以对应参照图4所示的方法实施例的相应描述，这里不再赘述。图像识别设备70可以是图1所描述的系统架构中的图像识别设备40。
本申请实施例还提供一种图像识别系统，包括：图像识别设备40、显示设备10和反馈信号采集设备20，图像识别设备40分别与显示设备10、反馈信号采集设备20相连，其中：所述图像识别设备40，用于执行图4所描述的基于图像序列呈现的脑机结合图像识别方法，所述显示设备10，用于显示所述图像序列，所述反馈信号采集设备20，用于获取所述观察对象在观察所述图像序列中任一张图像i时的反馈信号并反馈给所述图像识别设备。
具体地，图像识别设备40可以是图3或图7描述的图像识别设备。显示设备10和反馈信号采集设备20可以分别是图1所描述系统中的显示设备10和反馈信号采集设备20。
本申请实施例提供一种图像识别系统，包括：图像呈现时间的确定设备50、显示设备10和反馈信号采集设备20，图像呈现时间的确定设备50分别与显示设备10、反馈信号采集设备20相连，其中：所述图像呈现时间的确定设备50，用于执行图4所描述的图像呈现时间的确定方法，所述显示设备10，用于显示所述图像序列，所述反馈信号采集设备20，用于获取所述观察对象在观察所述图像序列中任一张图像i时的反馈信号并反馈给所述图像呈现时间的确定设备。该系统可以是如图1所描述的系统。
具体地，所述图像呈现时间的确定设备50可以是图8描述的图像呈现时间的确定设备，也可以是图3所描述的图像识别设备。显示设备10和反馈信号采集设备20可以分别是图1所描述的系统中显示设备10和反馈信号采集设备20。
本申请实施例提供一种图像识别系统，包括：图像呈现时间的调整设备60、显示设备10和反馈信号采集设备20，图像呈现时间的调整设备分别与显示设备、反馈信号采集设备相连，其中：所述图像呈现时间的调整设备，用于执行图6所描述的图像识别方法，所述显示设备10，用于显示所述图像序列，所述反馈信号采集设备20，用于获取所述观察对象在观察所述图像序列中任一张图像i时的反馈信号并反馈给所述图像呈现时间的调整设备。该系统可以是如图1所描述的系统。
具体地，所述图像呈现时间的调整设备60可以是图9所描述的图像呈现时间的确定设备，也可以是图3所描述的图像识别设备。显示设备10和反馈信号采集设备20可以分别是图1所描述系统中的显示设备10和反馈信号采集设备20。
本申请实施例提供一种图像识别系统，包括：图像识别设备70、显示设备10和反馈信号采集设备20，图像识别设备70分别与显示设备10、反馈信号采集设备20相连，其中：所述图像识别设备70，用于执行图6所描述的图像识别方法，所述显示设备10，用于显示所述目标图像，所述反馈信号采集设备20，用于获取所述观察对象在观察所述目标图像时的反馈信号并反馈给所述图像识别设备。该系统可以是如图1所描述的系统。
具体地，所述图像识别设备70可以是图10描述的图像识别设备，也可以是图3所描述的图像识别设备。显示设备10和反馈信号采集设备20可以分别是图1所描述系统中的显示设备10和反馈信号采集设备20。
本发明实施例还提供一种芯片系统，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述收发器和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，图4或图6所示的方法流程得以实现。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在处理器上运行时，图4或图6所示的方法流程得以实现。
本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，图4或图6所示的方法流程得以实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (60)

1.一种基于图像序列呈现的脑机结合图像识别方法，其特征在于，包括：
设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；
使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；
获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；
针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别；
其中，
所述设置图像序列对应的呈现时间序列包括：
针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列；
其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关。
2.根据权利要求1所述的方法，其特征在于，在所述设置图像序列对应的呈现时间序列之前，还包括：
接收来自摄像设备的M张图像，所述M为大于1的整数；
从所述M张图像中选取N张图像作为所述图像序列，所述N小于或等于所述M。
3.根据权利要求1所述的方法，其特征在于，所述时长影响参数包括所述疲劳状态参数；在所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间之前，还包括：
根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律。
4.根据权利要求1所述的方法，其特征在于，所述获取所述观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，包括：
在所述图像序列根据所述呈现时间序列进行显示的过程中，获取图像j对应的所述疲劳状态参数，并根据所述图像j对应的疲劳状态参数调整所述图像序列中所述图像j之后待显示的图像在所述呈现时间序列中对应的呈现时间，其中，所述图像j为所述图像序列中任一张图像。
5.根据权利要求4所述的方法，其特征在于，所述获取所述图像j对应的所述疲劳状态参数，包括：
根据传感器发送的所述观察对象观看所述图像j时的疲劳状态信息得到所述疲劳状态参数。
6.根据权利要求1所述的方法，其特征在于，所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：
针对所述图像序列中的每张图像，从第一映射表中查找出所述时长影响参数对应的呈现时间，所述第一映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间。
7.根据权利要求1至5任一项所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率；
所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：
通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure FDA0003131824720000021
其中，所述T(c)为所述呈现时间，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述T(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数。
8.根据权利要求7所述的方法，其特征在于，所述T(c)是使用(c1，T2)和(c2，T1)对所述c进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值。
9.根据权利要求1至6任一项所述的方法，其特征在于，所述时长影响参数包括所述疲劳状态参数；
所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：
通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure FDA0003131824720000022
其中，所述T(f)是所述呈现时间，所述f是所述疲劳状态参数，所述m是所述T(f)与所述f拟合的阶数，所述m为大于0的正整数，所述k为满足-m≤k≤m的整数，所述ak为fk的系数。
10.根据权利要求1至6任一项所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；
所述针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，包括：
通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure FDA0003131824720000023
其中，所述T(c,f)为所述呈现时间，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述T(c,f)与所述f拟合的阶数，所述n是所述T(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数。
11.根据权利要求1至6任一项所述的方法，其特征在于，还包括：
在检测到所述观察对象在观察图像q时对应的所述疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示所述图像序列中所述图像q之后待显示的图像，并获取所述图像q之后待显示的图像中对应的所述第一识别概率大于或等于第一概率阈值的图像，所述图像q为所述图像序列中的任一张图像；
在检测到所述观察对象的所述疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示所述图像q之后待显示的图像中所述第一识别概率大于或等于所述第一概率阈值的图像。
12.根据权利要求1至6任一项所述的方法，其特征在于，所述观察对象的数量为至少两个；
所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：
针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的至少两个所述反馈信号分别得到所述图像序列中每张图像的目标识别信号。
13.根据权利要求12所述的方法，其特征在于，所述疲劳状态参数包括至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。
14.根据权利要求1至6任一项所述的方法，其特征在于，所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：
针对所述图像序列中每张图像，根据所述第一识别概率、所述疲劳状态参数和所述呈现时间中至少一项分别确定所述图像序列中每张图像对应的第一权重，所述第一权重为对应的所述反馈信号用于确定所述目标识别信号时所占的权重，所述第一权重与所述第一识别概率反相关，所述第一权重与所述疲劳状态参数反相关，所述第一权重与所述呈现时间正相关；
针对所述图像序列中每张图像，根据对应的所述第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号。
15.根据权利要求1至6任一项所述的方法，其特征在于，所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；
在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：
针对所述图像序列中每张图像，根据对应的反馈信号分别计算所述图像序列中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含所述预设图像特征的概率；
所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：
针对所述图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述图像序列中每张图像的目标识别概率。
16.根据权利要求1至6任一项所述的方法，其特征在于，所述计算机视觉信号为所述计算机视觉算法确定的图像特征；
在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：
针对所述图像序列中每张图像，根据对应的反馈信号分别确定所述图像序列中每张图像对应的反馈信号特征；
所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：
针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述图像序列中每张图像对应的混合特征；
针对所述图像序列中每张图像，根据对应的混合特征分别确定所述图像序列中每张图像的目标识别概率。
17.根据权利要求15所述的方法，其特征在于，还包括：
根据所述图像序列中每张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。
18.根据权利要求16所述的方法，其特征在于，还包括：
根据所述图像序列中每张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。
19.根据权利要求15所述的方法，其特征在于，还包括：
将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。
20.根据权利要求16所述的方法，其特征在于，还包括：
将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。
21.根据权利要求1至6任一项所述的方法，其特征在于，
所述反馈信号为脑电信号。
22.一种基于图像序列呈现的脑机结合图像识别方法，其特征在于，包括：
设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；
使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；
获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；
针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别；
其中，
所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；
在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：针对所述图像序列中每张图像，根据对应的反馈信号分别计算所述图像序列中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含预设图像特征的概率；
所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：
针对所述图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述图像序列中每张图像的目标识别概率。
23.一种基于图像序列呈现的脑机结合图像识别方法，其特征在于，包括：
设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；
使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；
获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；
针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别；
其中，
所述计算机视觉信号为所述计算机视觉算法确定的图像特征；
在所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号之前，还包括：
针对所述图像序列中每张图像，根据对应的反馈信号分别确定所述图像序列中每张图像对应的反馈信号特征；
所述针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，包括：
针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述图像序列中每张图像对应的混合特征；
针对所述图像序列中每张图像，根据对应的混合特征分别确定所述图像序列中每张图像的目标识别概率。
24.一种图像呈现时间的调整方法，其特征在于，包括：
获取基于快速序列视觉呈现范式RSVP的图像序列，所述图像序列包括多张图像，所述多张图像中每张图像配置有呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述多张图像中的任一张图像；
针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示观察对象在观察某一图像时的疲劳程度，所述第一识别概率与所述呈现时间呈反相关，所述疲劳状态参数与所述呈现时间呈正相关；
根据调整后的所述图像序列中每张图像对应的呈现时间控制显示所述图像序列。
25.根据权利要求24所述的方法，其特征在于，所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：
针对图像j，根据所述图像j的时长影响参数，从第三映射表中查找出所述图像j的呈现时间偏置量，所述第三映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间偏置量；
根据所述图像j的呈现时间偏置量，调整所述图像j的呈现时间；
其中，所述图像j为所述图像序列中任一张图像。
26.根据权利要求24所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；
所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：
通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：
Figure FDA0003131824720000061
其中，所述ΔT(c,f)为所述呈现时间偏置量，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述ΔT(c,f)与所述f拟合的阶数，所述n是所述ΔT(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数；
针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
27.根据权利要求24所述的方法，其特征在于，所述时长影响参数包括所述第一识别概率；
所述针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，包括：
通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：
Figure FDA0003131824720000062
其中，所述ΔT(c)为所述呈现时间偏置量，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述ΔT(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数；
针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
28.根据权利要求24-26任一项所述的方法，其特征在于，所述方法还包括：
针对图像q，根据传感器发送的所述观察对象观看图像p时的疲劳状态信息得到所述图像q的疲劳状态参数，其中，所述图像q为所述图像序列中除首张图像外的任一张图像，所述图像p为所述图像q的前一张图像。
29.根据权利要求28所述的方法，其特征在于，
所述首张图像的疲劳状态参数预设为0。
30.一种图像识别设备，其特征在于，包括设置单元、计算单元、获取单元和融合单元，其中：
所述设置单元，用于设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；
所述计算单元，用于使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；
所述获取单元，用于获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；
所述融合单元，用于针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别；
其中，所述设置单元具体用于：
针对所述图像序列中的每张图像，根据时长影响参数确定对应的呈现时间，以得到所述图像序列对应的呈现时间序列；
其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示所述观察对象在观察某一图像时的疲劳程度，所述呈现时间与所述第一识别概率呈反相关，所述呈现时间与所述疲劳状态参数呈正相关。
31.根据权利要求30所述的设备，其特征在于，所述设备还包括接收单元和选取单元，
所述接收单元，用于接收来自摄像设备的M张图像，所述M为大于1的整数；
所述选取单元，用于从所述M张图像中选取N张图像作为所述图像序列，所述N小于或等于所述M。
32.根据权利要求30所述的设备，其特征在于，
所述时长影响参数包括所述疲劳状态参数，所述设备还包括预测单元；
所述预测单元，用于根据疲劳规律预测所述图像序列中每张图像各自对应的所述疲劳状态参数，所述疲劳规律用于指示所述观察对象的疲劳程度的变化规律。
33.根据权利要求30所述的设备，其特征在于，所述获取单元，还用于在所述图像序列根据所述呈现时间序列进行显示的过程中，获取图像j对应的所述疲劳状态参数，并根据所述图像j对应的疲劳状态参数调整所述图像序列中所述图像j之后待显示的图像在所述呈现时间序列中对应的呈现时间，其中，所述图像j为所述图像序列中任一张图像。
34.根据权利要求33所述的设备，其特征在于，
所述获取单元，具体用于根据传感器发送的所述观察对象观看所述图像j时的疲劳状态信息得到所述疲劳状态参数。
35.根据权利要求30至34任一项所述的设备，其特征在于，
所述设置单元，具体用于针对所述图像序列中的每张图像，从第一映射表中查找出所述时长影响参数对应的呈现时间，所述第一映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间。
36.根据权利要求30至34任一项所述的设备，其特征在于，所述时长影响参数包括所述第一识别概率；
所述设置单元，具体用于通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure FDA0003131824720000081
其中，所述T(c)为所述呈现时间，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述T(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数。
37.根据权利要求36所述的设备，其特征在于，所述T(c)是使用(c1，T2)和(c2，T1)对所述c进行n阶线性拟合得到的；其中，所述T1为最小呈现时间阈值，所述T2为最大呈现时间阈值，所述c1为所述计算机视觉算法确定的识别概率的最小概率阈值，所述c2为所述计算机视觉算法确定的识别概率的最大概率阈值。
38.根据权利要求30至34任一项所述的设备，其特征在于，所述时长影响参数包括所述疲劳状态参数；
所述设置单元，具体用于通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure FDA0003131824720000082
其中，所述T(f)是所述呈现时间，所述f是所述疲劳状态参数，所述m是所述T(f)与所述f拟合的阶数，所述m为大于0的正整数，所述k为满足-m≤k≤m的整数，所述ak为fk的系数。
39.根据权利要求30至34任一项所述的设备，其特征在于，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；
所述设置单元，具体用于通过以下拟合公式得到所述图像序列中每张图像的呈现时间：
Figure FDA0003131824720000091
其中，所述T(c,f)为所述呈现时间，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述T(c,f)与所述f拟合的阶数，所述n是所述T(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数。
40.根据权利要求30至34任一项所述的设备，其特征在于，所述设备还包括检测单元；
所述检测单元，用于在检测到所述观察对象在观察图像q时对应的所述疲劳状态参数大于或等于第一疲劳阈值的情况下，控制停止显示所述图像序列中所述图像q之后待显示的图像；
所述获取单元，还用于获取所述图像q之后待显示的图像中对应的所述第一识别概率大于或等于第一概率阈值的图像，所述图像q为所述图像序列中的任一张图像；
所述检测单元，还用于在检测到所述观察对象的所述疲劳状态参数小于或等于第二疲劳阈值时，控制依次显示所述图像q之后待显示的图像中所述第一识别概率大于或等于所述第一概率阈值的图像。
41.根据权利要求30至34任一项所述的设备，其特征在于，所述观察对象的数量为至少两个；
所述融合单元，具体用于针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的至少两个所述反馈信号分别得到所述图像序列中每张图像的目标识别信号。
42.根据权利要求41所述的设备，其特征在于，所述疲劳状态参数包括至少两个所述观察对象在观察同一图像时分别产生的至少两个疲劳状态参数。
43.根据权利要求30至34任一项所述的设备，其特征在于，
所述融合单元，具体用于针对所述图像序列中每张图像，根据所述第一识别概率、所述疲劳状态参数和所述呈现时间中至少一项分别确定所述图像序列中每张图像的第一权重，所述第一权重为对应的所述反馈信号用于确定所述目标识别信号时所占的权重，所述第一权重与所述第一识别概率反相关，所述第一权重与所述疲劳状态参数反相关，所述第一权重与所述呈现时间正相关；以及用于针对所述图像序列中每张图像，根据对应的所述第一权重融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号。
44.根据权利要求30至34任一项所述的设备，其特征在于，所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；
所述计算单元，还用于针对所述图像序列中每张图像，根据对应的反馈信号分别计算所述图像序列中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含所述预设图像特征的概率；
所述融合单元，具体用于针对所述图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述图像序列中每张图像的目标识别概率。
45.根据权利要求30至34任一项所述的设备，其特征在于，所述计算机视觉信号为所述计算机视觉算法确定的图像特征；
所述计算单元，还用于针对所述图像序列中每张图像，根据对应的反馈信号分别确定所述图像序列中每张图像对应的反馈信号特征；
所述融合单元，具体用于针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述图像序列中每张图像对应的混合特征；以及用于针对所述图像序列中每张图像，根据对应的混合特征分别确定所述图像序列中每张图像的目标识别概率。
46.根据权利要求44所述的设备，其特征在于，所述设备还包括确定单元，用于根据所述图像序列中每张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。
47.根据权利要求45所述的设备，其特征在于，所述设备还包括确定单元，用于根据所述图像序列中每张图像的目标识别概率从所述图像序列中确定S张图像作为包含预设图像特征的图像，所述S张图像的目标识别概率满足预设条件，所述S为小于或等于N的整数。
48.根据权利要求44所述的设备，其特征在于，所述设置单元，还用于将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。
49.根据权利要求45所述的设备，其特征在于，所述设置单元，还用于将所述图像序列中对应的所述目标识别概率在第二概率阈值和第三概率阈值之间的图像，重新作为一组图像序列。
50.根据权利要求30至34任一项所述的设备，其特征在于，
所述反馈信号为脑电信号。
51.一种图像识别设备，其特征在于，包括设置单元、计算单元、获取单元和融合单元，其中：
所述设置单元，用于设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；
所述计算单元，用于使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；
所述获取单元，用于获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；
所述融合单元，用于针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别；
其中，所述计算机视觉信号为所述计算机视觉算法确定的第一识别概率；
所述计算单元，还用于针对所述图像序列中每张图像，根据对应的反馈信号分别计算所述图像序列中每张图像的第二识别概率，所述第二识别概率用于指示所述观察对象确定图像包含预设图像特征的概率；
所述融合单元，具体用于针对所述图像序列中每张图像，根据对应的第一识别概率和对应的第二识别概率分别计算所述图像序列中每张图像的目标识别概率。
52.一种图像识别设备，其特征在于，包括设置单元、计算单元、获取单元和融合单元，其中：
所述设置单元，用于设置图像序列对应的呈现时间序列，所述图像序列包括N张图像，所述N为正整数，所述呈现时间序列包括所述图像序列中每张图像的呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述图像序列中的任一张图像，所述呈现时间序列包括至少两个不相等的呈现时间，所述至少两个不相等的呈现时间中的任意两个呈现时间相差k·Δ，所述k为正整数，所述Δ为预设时间段值；
所述计算单元，用于使用计算机视觉算法对所述图像序列进行处理，得到所述图像序列中每张图像对应的计算机视觉信号；
所述获取单元，用于获取观察对象在观看根据所述呈现时间序列进行显示的所述图像序列时产生的对应所述图像序列中每张图像的反馈信号，所述反馈信号用于指示所述观察对象对所观看到的图像作出的反应；
所述融合单元，用于针对所述图像序列中每张图像，融合对应的计算机视觉信号和对应的反馈信号分别得到所述图像序列中每张图像的目标识别信号，所述目标识别信号用于图像识别；
其中，
所述计算机视觉信号为所述计算机视觉算法确定的图像特征；
所述计算单元，还用于针对所述图像序列中每张图像，根据对应的反馈信号分别确定所述图像序列中每张图像对应的反馈信号特征；
所述融合单元，具体用于针对所述图像序列中每张图像，将对应的图像特征和对应的反馈信号特征进行特征融合，分别得到所述图像序列中每张图像对应的混合特征；以及用于针对所述图像序列中每张图像，根据对应的混合特征分别确定所述图像序列中每张图像的目标识别概率。
53.一种图像呈现时间的调整设备，其特征在于，包括获取单元、调整单元和控制单元，其中：
所述获取单元，用于获取基于快速序列视觉呈现范式RSVP的图像序列，所述图像序列包括多张图像，所述多张图像中每张图像配置有呈现时间，图像i的呈现时间用于指示所述图像i呈现起始时刻到下一相邻图像呈现起始时刻的时间段，所述图像i为所述多张图像中的任一张图像；
所述调整单元，用于针对所述图像序列中每张图像，根据对应的时长影响参数分别调整所述图像序列中每张图像对应的呈现时间，其中，所述时长影响参数包括第一识别概率和疲劳状态参数中的至少一个，所述第一识别概率用于指示通过计算机视觉算法得到的某一图像包含预设图像特征的概率，所述疲劳状态参数用于指示观察对象在观察某一图像时的疲劳程度，所述第一识别概率与所述呈现时间呈反相关，所述疲劳状态参数与所述呈现时间呈正相关；
所述控制单元，用于根据调整后的所述图像序列中每张图像对应的呈现时间控制显示所述图像序列。
54.根据权利要求53所述的设备，其特征在于，
所述调整单元，具体用于针对图像j，根据所述图像j的时长影响参数，从第三映射表中查找出所述图像j的呈现时间偏置量，所述第三映射表包括多个时长影响参数以及所述多个时长影响参数各自对应的呈现时间偏置量；以及用于根据所述图像j的呈现时间偏置量，调整所述图像j的呈现时间；
其中，所述图像j为所述图像序列中任一张图像。
55.根据权利要求53所述的设备，其特征在于，所述时长影响参数包括所述第一识别概率和所述疲劳状态参数；
所述调整单元，具体用于通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：
Figure FDA0003131824720000121
其中，所述ΔT(c,f)为所述呈现时间偏置量，所述c为所述第一识别概率、所述f为所述疲劳状态参数，所述m是所述ΔT(c,f)与所述f拟合的阶数，所述n是所述ΔT(c,f)与所述c拟合的阶数，所述n和所述m均为大于0的正整数，所述t为满足-n≤t≤n的整数，所述k为满足-m≤k≤m的整数，所述c为满足0≤c≤1的实数，所述at,k为ctfk的系数；
以及针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
56.根据权利要求53所述的设备，其特征在于，
所述时长影响参数包括所述第一识别概率；
所述调整单元，具体用于通过以下拟合公式得到所述图像序列中每张图像的呈现时间偏置量：
Figure FDA0003131824720000122
其中，所述ΔT(c)为所述呈现时间偏置量，所述c为所述第一识别概率，所述c为满足0≤c≤1的实数，所述n为所述ΔT(c)与所述c拟合的阶数，所述n为大于0的整数，所述t为满足-n≤t≤n的整数，所述at为ct的系数；
以及针对所述图像序列中每张图像，根据对应的呈现时间偏置量分别调整所述图像序列中每张图像对应的呈现时间。
57.根据权利要求53-56任一项所述的设备，其特征在于，所述获取单元，还用于针对图像q，根据传感器发送的所述观察对象观看图像p时的疲劳状态信息得到所述图像q的疲劳状态参数，其中，所述图像q为所述图像序列中除首张图像外的任一张图像，所述图像p为所述图像q的前一张图像。
58.根据权利要求57所述的设备，其特征在于，
所述首张图像的疲劳状态参数预设为0。
59.一种计算机可读存储介质，其特征在于，所述存储介质用于存储指令，当所述指令运行时，使得计算机执行权利要求1至29任一项所述的方法。
60.一种图像识别系统，其特征在于，包括：图像识别设备、显示设备和反馈信号采集设备，所述图像识别设备分别与所述显示设备、所述反馈信号采集设备相连，其中：
所述显示设备，用于显示图像序列；
所述反馈信号采集设备，用于获取观察对象在观察所述图像序列中每一张图像时的反馈信号，并反馈给所述图像识别设备；
所述图像识别设备，用于执行权利要求1至29任一项所述的方法。
CN201810174915.2A 2018-03-02 2018-03-02 图像识别方法、图像呈现时间的调整方法及设备 Active CN110221681B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810174915.2A CN110221681B (zh) 2018-03-02 2018-03-02 图像识别方法、图像呈现时间的调整方法及设备
EP19760303.8A EP3751461A4 (en) 2018-03-02 2019-03-01 IMAGE RECOGNITION PROCESS AND IMAGE PRESENTATION TIME ADJUSTMENT METHOD AND DEVICE
PCT/CN2019/076657 WO2019166006A1 (zh) 2018-03-02 2019-03-01 图像识别方法、图像呈现时间的调整方法及设备
US17/007,869 US11307660B2 (en) 2018-03-02 2020-08-31 Image recognition via brain-computer collabration with variable image presentation times

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810174915.2A CN110221681B (zh) 2018-03-02 2018-03-02 图像识别方法、图像呈现时间的调整方法及设备

Publications (2)

Publication Number Publication Date
CN110221681A CN110221681A (zh) 2019-09-10
CN110221681B true CN110221681B (zh) 2021-09-21

Family

ID=67804848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810174915.2A Active CN110221681B (zh) 2018-03-02 2018-03-02 图像识别方法、图像呈现时间的调整方法及设备

Country Status (4)

Country Link
US (1) US11307660B2 (zh)
EP (1) EP3751461A4 (zh)
CN (1) CN110221681B (zh)
WO (1) WO2019166006A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2574372B (en) * 2018-05-21 2021-08-11 Imagination Tech Ltd Implementing Traditional Computer Vision Algorithms As Neural Networks
CN110991406B (zh) * 2019-12-19 2023-04-18 燕山大学 一种基于rsvp脑电特征的弱小目标检测方法及系统
CN111144498B (zh) * 2019-12-26 2023-09-01 深圳集智数字科技有限公司 一种图像识别方法及装置
CN111914711B (zh) * 2020-07-24 2024-03-29 上海大学 一种基于脑电的多阶段渐进式目标识别训练系统及方法
CN112733768B (zh) * 2021-01-15 2022-09-09 中国科学技术大学 基于双向特征语言模型的自然场景文本识别方法及装置
CN113764061B (zh) * 2021-09-09 2023-06-02 深圳平安智慧医健科技有限公司 基于多维度数据分析的用药检测方法及相关设备
CN114707560B (zh) * 2022-05-19 2024-02-09 北京闪马智建科技有限公司 数据信号的处理方法及装置、存储介质、电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780894A (zh) * 2012-10-18 2014-05-07 财团法人工业技术研究院 具视觉疲劳估算的立体影片播放方法与控制系统
CN105868712A (zh) * 2016-03-28 2016-08-17 中国人民解放军信息工程大学 基于后验概率模型的脑电与机器视觉目标图像检索方法
US9817625B1 (en) * 2016-10-20 2017-11-14 International Business Machines Corporation Empathetic image selection
CN107563115A (zh) * 2017-08-22 2018-01-09 北京清视野科技有限责任公司 注意偏向图像训练装置及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7466872B2 (en) * 2005-06-20 2008-12-16 Drvision Technologies Llc Object based boundary refinement method
US8699767B1 (en) 2006-10-06 2014-04-15 Hrl Laboratories, Llc System for optimal rapid serial visual presentation (RSVP) from user-specific neural brain signals
IL239191A0 (en) * 2015-06-03 2015-11-30 Amir B Geva Image sorting system
CN106691378A (zh) * 2016-12-16 2017-05-24 深圳市唯特视科技有限公司 一种基于脑电图数据的深度学习视觉分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103780894A (zh) * 2012-10-18 2014-05-07 财团法人工业技术研究院 具视觉疲劳估算的立体影片播放方法与控制系统
CN105868712A (zh) * 2016-03-28 2016-08-17 中国人民解放军信息工程大学 基于后验概率模型的脑电与机器视觉目标图像检索方法
US9817625B1 (en) * 2016-10-20 2017-11-14 International Business Machines Corporation Empathetic image selection
CN107563115A (zh) * 2017-08-22 2018-01-09 北京清视野科技有限责任公司 注意偏向图像训练装置及方法

Also Published As

Publication number Publication date
CN110221681A (zh) 2019-09-10
EP3751461A1 (en) 2020-12-16
US20200401858A1 (en) 2020-12-24
US11307660B2 (en) 2022-04-19
EP3751461A4 (en) 2021-04-07
WO2019166006A1 (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110221681B (zh) 图像识别方法、图像呈现时间的调整方法及设备
US10948990B2 (en) Image classification by brain computer interface
CN109766755B (zh) 人脸识别方法及相关产品
CN112257728B (zh) 图像处理方法、装置、计算机设备以及存储介质
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
CN111695616A (zh) 基于多模态数据的病灶分类方法及相关产品
CN112492297B (zh) 一种对视频的处理方法以及相关设备
CN112215120A (zh) 视觉搜索区域的确定方法、装置及驾驶模拟器
Zhang et al. A dynamic hand gesture recognition algorithm based on CSI and YOLOv3
US20230115987A1 (en) Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing apparatus
CN112446387A (zh) 对象识别方法及装置
Nagpal et al. Performance analysis of hybrid deep learning approach for human actions recognition
CN115035608A (zh) 活体检测方法、装置、设备及系统
CN111222374A (zh) 测谎数据处理方法、装置、计算机设备和存储介质
Wu et al. AutoEER: automatic EEG-based emotion recognition with neural architecture search
Murukesh et al. Drowsiness detection for drivers using computer vision
CN111462087B (zh) 基于人工智能的图像检测方法、装置、系统及存储介质
JP2015001859A (ja) 情報処理装置、情報処理システム及びプログラム
CN110619734A (zh) 信息推送方法和装置
CN109711260B (zh) 疲劳状态的检测方法、终端设备及介质
Raj et al. Qualitative Analysis of Techniques for Device-Free Human Activity Recognition.
CN116451059A (zh) 一种基于注意力机制的对比表征脑机视频目标检测方法
CN116595404A (zh) 基于注意力机制的时空特征提取脑电目标空间定位方法
KR20240066542A (ko) 멀티모달 텐서퓨전을 이용한 피로도 수준 판단방법
Sadeghi et al. A Dynamic Bottom-Up Saliency Detection Method for Still Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant