CN114220168A - 行为与瞳孔信息同步分析方法、装置、设备及介质 - Google Patents

行为与瞳孔信息同步分析方法、装置、设备及介质 Download PDF

Info

Publication number
CN114220168A
CN114220168A CN202111530272.9A CN202111530272A CN114220168A CN 114220168 A CN114220168 A CN 114220168A CN 202111530272 A CN202111530272 A CN 202111530272A CN 114220168 A CN114220168 A CN 114220168A
Authority
CN
China
Prior art keywords
pupil
behavior
video data
information
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111530272.9A
Other languages
English (en)
Inventor
郭丰
张佳佳
蔚鹏飞
王立平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202111530272.9A priority Critical patent/CN114220168A/zh
Priority to PCT/CN2021/140013 priority patent/WO2023108711A1/zh
Publication of CN114220168A publication Critical patent/CN114220168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例公开了一种行为与瞳孔信息同步分析方法、装置、设备及介质，其中，方法包括：分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，行为视频数据包括至少四个拍摄角度获取的视频数据；分别对行为视频数据和瞳孔视频数据进行分析，确定目标对象在的行为信息以及瞳孔信息；根据行为视频数据和瞳孔视频数据采集时间，建立行为信息与瞳孔信息的关联关系。本发明实施例的技术方案解决了现有技术中同步分析实验小鼠的行为信息与瞳孔信息技术空白的问题，能够实现同步采集目标对象的行为视频与瞳孔视频，并分析对应的行为信息和瞳孔信息，以将行为信息和瞳孔信息进行匹配，为脑科学以及神经机制环路等研究提供研究数据。

Description

行为与瞳孔信息同步分析方法、装置、设备及介质
技术领域
本发明实施例涉及机器视觉技术领域，尤其涉及一种行为与瞳孔信息同步分析方法、装置、设备及介质。
背景技术
瞳孔的信息通常会与脑部的神经系统刺激相关联，明人或动物体产生了某些特定的行为或中枢特定的环路被激活，例如，当我们害怕时，我们的中枢系统接收到了恐惧的信息并产生反馈信息，这会使得我们因害怕而发抖，进而产生想要逃跑的行为，与此同时瞳孔会扩张到平时的3倍左右。
目前，记录脑神经活动的方法，包括电生理、光遗传等技术手段，可以确定运动与脑神经活动的关联，可以通过对瞳孔信息与行为之间的关系，作为探索瞳孔信息与脑神经活动的桥梁。
但是，目前并没有成熟的同步分析行为信息和瞳孔信息方案。
发明内容
本发明实施例提供了一种行为与瞳孔信息同步分析方法、装置、设备及介质，以实现同步获取并分析目标对象的行为信息和瞳孔信息，将行为信息和瞳孔信息进行匹配，为脑科学以及神经机制环路等研究提供研究数据。
第一方面，本发明实施例提供了一种行为与瞳孔信息同步分析方法，该方法包括：
分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据；
分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息；
根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
第二方面，本发明实施例还提供了一种行为与瞳孔信息同步分析装置，该装置包括：
数据采集模块，用于分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据；
数据分析模块，用于分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息；
数据匹配模块，用于根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的一种行为与瞳孔信息同步分析方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种行为与瞳孔信息同步分析方法。
上述发明中的实施例具有如下优点或有益效果：
本发明实施例，通过分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，行为视频数据包括至少四个拍摄角度获取的视频数据；分别对行为视频数据和瞳孔视频数据进行分析，确定目标对象在的行为信息以及瞳孔信息；根据行为视频数据和瞳孔视频数据采集时间，建立行为信息与瞳孔信息的关联关系。本发明实施例的技术方案解决了现有技术中同步分析实验小鼠的行为信息与瞳孔信息技术空白的问题，能够实现同步采集目标对象的行为视频与瞳孔视频，并分析对应的行为信息和瞳孔信息，以将行为信息和瞳孔信息进行匹配，为脑科学以及神经机制环路等研究提供研究数据。
附图说明
图1是本发明实施例一提供的一种行为与瞳孔信息同步分析方法的流程图；
图2是本发明实施例一提供的一种目标对象的骨架关键点的示意图；
图3是本发明实施例一提供的一种目标对象的瞳孔关键点的示意图；
图4是本发明实施例一提供的一种目标对象的眼球外周关键点的示意图；
图5是本发明实施例二提供的一种行为与瞳孔信息同步分析装置的结构示意图；
图6是本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种行为与瞳孔信息同步分析方法的流程图，本实施例可适用于研究行为与脑神经活动的情况，特别适用于以小鼠为研究对象同步分析行为信息与瞳孔信息的场景。该方法可以由行为与瞳孔信息同步分析装置执行，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的计算机设备中。
如图1所示，行为与瞳孔信息同步分析方法包括以下步骤：
S110、分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据。
其中，目标对象是指实验研究的对象，通常在脑科学实验研究的实验对象时小鼠、猴子、狗等实验动物。在采集目标对象的行为视频数据时，会采用4个或以上的摄像头采集不同方位角度的视频数据，以在不同的角度观察目标对象的行为，在拍摄过程中，目标对象的行为活动是自由的不受到限制的。之所以从多个角度采集目标对象的行为视频数据是在对目标对象的行为进行识别时，要对目标对象进行三维重建，可以根据多个角度的二维数据对目标对象进行三维重建。进一步的，同时采集行为视频数据的多个摄像头是经过内外参标定的。校正过程可以是使用各摄像头对预设的棋盘格进行拍照，并基于拍照结果进行校正。例如，使用棋盘格(12*9)为标定板，用拍摄位置固定的多个个摄像头对不同角度的标定板进行拍摄，每个摄像头拍摄60张，随后利用MATLAB中的StereoCameraCalibrator GUI工具箱进行定标操作，得到各相机的内外参，并进行保存，在后续进行目标对象的行为进行识别的过程中进行使用。
瞳孔视频数据是通过红外摄像头同步记录的目标对象的瞳孔视频数据。可以在目标对象的头上佩戴一个摄像头固定装置，并通过该摄像头固定装置，将红外摄像头进行固定，使红外摄像头在其固定位置的拍摄视野对准目标对象的眼睛部位，能够拍摄到瞳孔的变化信息。当然，红外摄像头可以设置一个或两个。在一些实施例中，若目标对象本身体积较小，头部承重能力有限，为避免头戴的红外摄像头过重，影响目标对象的活动，可以进设置一个红外摄像头，采集一直眼睛的瞳孔变化信息。对于体积较大的目标对象，也可以使用两个红外摄像头，同时记录两只眼睛的瞳孔变化信息。
S120、分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息。
在对行为视频数据进行分析时，首先，采用预设姿态估计模型对行为视频数据进行分析，确定所述行为视频数据中每一帧视频图像中所述目标对象的预设骨架关键点。该步骤中的预设姿态估计模型可以是预先训练好的DeepLabCut深度学习模型，针对不同的目标对象，均可以匹配到适合的DeepLabCut深度学习模型，将行为视频数据中视频图像输入至预先训练好的DeepLabCut深度学习模型中，可以提取出与目标对象对应的骨架关键点，例如，当目标对象为小鼠时，骨架关键点可以是四肢、鼻子、双耳、头部、躯干、尾部等部位的多个可用于展示目标对象姿态的关键点，如图2所示的小鼠的多个关键点(不同灰度值的正方形小点)。进一步的，基于在同一时间点的不同角度的视频图像中提取出的二维姿态估计，即各骨架关键点，可以通过三角测量算法对目标对象进行三维重建。然后，可以将目标对象的三维重建结果，输入到预设行为分析模型，对目标对象的行为进行分类，确定所述目标对象的行为信息。其中，预设的行为分类模型可以是预先训练好的Behavior Atlas行为分析模型，该模型可以自动化无监督的对动物三维行为分析，确定目标对象的行为类别。在Behavior Atlas行为分析模型进行行为分析的过程中，会对输入的目标对象的三维重建结果的时间序列进行切分，并将切分好的序列进行UMAP(Uniform Manifold Approximationand Projection，统一流形逼近与投影)降维，随后进行层次聚类将行为分成多个行为类别。
在对瞳孔视频数据进行分析时，首先，基于预设标记点提取模型，提取瞳孔视频数据中每一帧视频图像中的预设瞳孔外周标记点(如图3所示的8个瞳孔外周标记点-不同灰度的圆点)、瞳孔中心点和预设眼球外周标记点(如图5所示的眼球外周标记点-不同灰度的圆点)。其中，预设标记点提取模型也可以是预先训练的DeepLabCut深度学习模型，可以采用目标对象预先标记了瞳孔外周关键点与眼球外周关键点的瞳孔图像对DeepLabCut深度学习模型进行训练，然后，将训练好的模型用于瞳孔视频数据中瞳孔与眼球的关键点的识别。进一步的，根据预设瞳孔外周标记点和瞳孔中心点确定目标对象的瞳孔直径。基于预设眼球外周标记点确定可以目标对象的眼球中心位置，再基于眼球中心位置与瞳孔中心点的位置，确定目标对象的瞳孔与眼球的相对位置。在该步骤中，可以采用椭圆拟合的方式确定眼球的中心位置，以及拟合出的椭球对应的两条对称轴的长短。眼球的中心位置是保持固定的，瞳孔的中心位置是根据目标对象的行为活动进行变化的。可以分析瞳孔的中心位置与眼球中心位置的相对位置关系的变化，确定瞳孔在目标对象发生的一系列行为反映过程中的变化。
优选的，在确定目标对象的瞳孔与眼球的相对位置之前，还需要对瞳孔视频数据中每一帧视频图像中对应的瞳孔中心点位置进行滤波。这是因为目标对象的并不是一直睁着眼睛的，有的时候会闭眼睛。那么，在一些瞳孔视频图像中，目标对象的眼睛闭起来是提取不到准确的瞳孔中心点位置的，该位置信息会是异常数值。便可以采用中值滤波方法，将异常的数值进行滤除。
此外，在采集对目标对象瞳孔视频数据时，可能是分批次进行数据采集，会存在红外相机与目标对象固定的相对位置不同的情况，那么，对于同一个目标对象来说，进行椭圆拟合得到的眼球是不一样的，需要进行校正。具体的，针对目标对象在不同数据采集批次采集的瞳孔视频数据，可以将预设眼球外周标记点输入至预设椭圆拟合算法，确定目标对象的眼球中心位置；对经过椭圆拟合算法确定的眼球中心位置对应的椭球对称轴进行修正。可以是，选取椭圆拟合结果中对称轴数值较大的一组数据作为标准组，将椭圆拟合结果中对称轴数值较小的一组或多组数据进行修正，乘以一个稀疏，使不同批次采集的数据保持一致。
S130、根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
在进行行为信息与瞳孔信息的匹配时，首先，要检查瞳孔视频数据与行为视频数据是总帧数、视频时长与采样率是否一致，即瞳孔视频数据与行为视频数据在视频图像帧的时间序列上是否能够对齐。针对存在丢帧情况的视频数据可以采用线性插值的方法进行补帧(补充视频图像帧)。例如，以秒为单位，将1秒钟内相邻视频图像帧时间间隔最大的位置处进行线性插入。或者，对于非丢帧视频数据，可以将图像帧时间间隔最小的位置处，删除相应数量的视频图像。此外，对于采样率不同的情况，可以采用interp1函数进行均匀插帧。
进一步的，在进行视频补帧之后，便进行行为信息与瞳孔信息的匹配，已建立两者之间的关联关系。具体的，可以根据补帧之操作后的视频数据，建立预设时间窗的行为信息和瞳孔信息的关联关系。其中，预设时间窗是一段指定的时长，可以是表现出一种行为并且持续的时长，如根据对目标对象进行外界刺激的时间点确定的。在采集目标对象的行为视频数据与瞳孔视频数据过程中，可能会对目标对象进行光刺激，或者恐吓刺激等外界刺激，以观察目标对象的应激反应行为，以及产生应激反应时瞳孔状态的变化。在对目标对象进行外界刺激时，会记录开始刺激和结束刺激的时间。那么，预设时间窗便可以是从开始对目标对象的外界刺激到结束该外界刺激的时间段。将同一时间段内的行为信息和瞳孔信息进行匹配，即完成数据分析过程。
本实施例的技术方案，通过在目标对象自由移动的前提获取目标对象在多个角度的行为视频数据，以及相同时间段目标对象的瞳孔视频数据，并进一步的基于姿态分析神经网络分别对行为视频数据和瞳孔视频数据进行分析，确定目标对象在的行为信息以及瞳孔信息；最终可以根据行为视频数据和瞳孔视频数据采集时间，建立行为信息与瞳孔信息的关联关系。本发明实施例的技术方案解决了现有技术中同步分析实验小鼠的行为信息与瞳孔信息技术空白的问题，能够实现同步采集目标对象的行为视频与瞳孔视频，并分析对应的行为信息和瞳孔信息，以将行为信息和瞳孔信息进行匹配，为脑科学以及神经机制环路等研究提供研究数据。
实施例二
图5为本发明实施例二提供的行为与瞳孔信息同步分析装置的结构示意图，本实施例与上述实施例中的行为与瞳孔信息同步分方法属于同一个发明构思，适用于研究行为与脑神经活动的情况，特别适用于以小鼠为研究对象同步分析行为信息与瞳孔信息的场景，该装置可以由软件和/或硬件的方式来实现，集成于具有应用开发功能的服务器设备中。
如图5所示，行为与瞳孔信息同步分析装置包括：数据采集模块210、数据分析模块220和数据匹配模块230。
其中，数据采集模块210，用于分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据；数据分析模块220，用于分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息；数据匹配模块230，用于根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
本实施例的技术方案，通过获取目标对象在多个角度的行为视频数据，以及相同时间段目标对象的瞳孔视频数据，并进一步的基于姿态分析神经网络分别对行为视频数据和瞳孔视频数据进行分析，确定目标对象在的行为信息以及瞳孔信息；最终可以根据行为视频数据和瞳孔视频数据采集时间，建立行为信息与瞳孔信息的关联关系。本发明实施例的技术方案解决了现有技术中同步分析实验小鼠的行为信息与瞳孔信息技术空白的问题，能够实现同步采集目标对象的行为视频与瞳孔视频，并分析对应的行为信息和瞳孔信息，以将行为信息和瞳孔信息进行匹配，为脑科学以及神经机制环路等研究提供研究数据。
在一种可选的实施方式中，数据分析模块220包括行为信息分析子模块，用于：
采用预设姿态估计模型对所述行为视频数据进行分析，确定所述行为视频数据中每一帧视频图像中所述目标对象的预设骨架关键点；
根据所述行为视频数据中相同时间点的不同角度的视频图像中的预设骨架关键点，对所述目标对象进行三维重建；
将所述目标对象的三维重建结果，输入到预设行为分析模型，对所述目标对象的行为进行分类，确定所述目标对象的行为信息。
在一种可选的实施方式中，数据分析模块220包括瞳孔信息分析子模块，用于：
基于预设标记点提取模型，提取所述瞳孔视频数据中每一帧视频图像中的预设瞳孔外周标记点、瞳孔中心点和预设眼球外周标记点；
根据所述预设瞳孔外周标记点和所述瞳孔中心点确定所述目标对象的瞳孔直径；
基于所述预设眼球外周标记点确定所述目标对象的眼球中心位置，并基于所述眼球中心位置与所述瞳孔中心点的位置，确定所述目标对象的瞳孔与眼球的相对位置。
在一种可选的实施方式中，瞳孔信息分析子模块，还用于：
在确定所述目标对象的瞳孔与眼球的相对位置之前，对所述瞳孔视频数据中每一帧视频图像中对应的瞳孔中心点位置进行滤波。
在一种可选的实施方式中，瞳孔信息分析子模块，还用于：
针对所述目标对象在不同数据采集批次采集的瞳孔视频数据，将所述预设眼球外周标记点输入至预设椭圆拟合算法，确定所述目标对象的眼球中心位置；
对经过所述椭圆拟合算法确定的眼球中心位置对应的椭球对称轴进行修正。
在一种可选的实施方式中，数据匹配模块230具体用于：
比较所述行为视频数据和所述瞳孔视频数据的图像帧数量、时长以及视频采样率是否相同，并确定比较结果；
根据比较结果对图像帧数量相对少的视频数据进行补帧操作；
根据补帧之操作后的视频数据，建立预设时间窗的行为信息和瞳孔信息的关联关系，其中，所述预设时间窗是根据对所述目标对象进行外界刺激的时间点确定的。
在一种可选的实施方式中，数据匹配模块230还用于：
针对图像帧数量、时长或视频采样率较小的视频数据，采用线性插值方法，补充视频图像帧。
本发明实施例所提供的行为与瞳孔信息同步分析装置可执行本发明任意实施例所提供的行为与瞳孔信息同步分析方法，具备执行方法相应的功能模块和有益效果。
实施例三
图6为本发明实施例三提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图6显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。计算机设备12可以任意具有计算能力的终端设备，如智能控制器及服务器、手机等终端设备。
如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的行为与瞳孔信息同步分析方法，包括：
分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据；
分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息；
根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
实施例四
本实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的行为与瞳孔信息同步分析方法，包括：
分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据；
分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息；
根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种行为与瞳孔信息同步分析方法，其特征在于，所述方法包括：
分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据；
分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息；
根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
2.根据权利要求1所述的方法，其特征在于，对所述行为视频数据进行分析，确定所述目标对象的行为信息，包括：
采用预设姿态估计模型对所述行为视频数据进行分析，确定所述行为视频数据中每一帧视频图像中所述目标对象的预设骨架关键点；
根据所述行为视频数据中相同时间点的不同角度的视频图像中的预设骨架关键点，对所述目标对象进行三维重建；
将所述目标对象的三维重建结果，输入到预设行为分析模型，对所述目标对象的行为进行分类，确定所述目标对象的行为信息。
3.根据权利要求1所述的方法，其特征在于，对所述瞳孔视频数据进行分析，确定所述目标对象在的瞳孔信息，包括：
基于预设标记点提取模型，提取所述瞳孔视频数据中每一帧视频图像中的预设瞳孔外周标记点、瞳孔中心点和预设眼球外周标记点；
根据所述预设瞳孔外周标记点和所述瞳孔中心点确定所述目标对象的瞳孔直径；
基于所述预设眼球外周标记点确定所述目标对象的眼球中心位置，并基于所述眼球中心位置与所述瞳孔中心点的位置，确定所述目标对象的瞳孔与眼球的相对位置。
4.根据权利要求3所述的方法，其特征在于，在确定所述目标对象的瞳孔与眼球的相对位置之前，所述方法还包括：
对所述瞳孔视频数据中每一帧视频图像中对应的瞳孔中心点位置进行滤波。
5.根据权利要求3所述的方法，其特征在于，针对所述目标对象在不同数据采集批次采集的瞳孔视频数据，基于所述预设眼球外周标记点确定所述目标对象的眼球中心位置，包括：
将所述预设眼球外周标记点输入至预设椭圆拟合算法，确定所述目标对象的眼球中心位置；
对经过所述椭圆拟合算法确定的眼球中心位置对应的椭球对称轴进行修正。
6.根据权利要求1所述的方法，其特征在于，根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系，包括：
比较所述行为视频数据和所述瞳孔视频数据的图像帧数量、时长以及视频采样率是否相同，并确定比较结果；
根据比较结果对图像帧数量相对少的视频数据进行补帧操作；
根据补帧之操作后的视频数据，建立预设时间窗的行为信息和瞳孔信息的关联关系，其中，所述预设时间窗是根据对所述目标对象进行外界刺激的时间点确定的。
7.根据权利要求6所述的方法，其特征在于，根据比较结果对图像帧数量相对少的视频数据进行补帧操作，包括：
针对图像帧数量、时长或视频采样率较小的视频数据，采用线性插值方法，补充视频图像帧。
8.一种行为与瞳孔信息同步分析装置，其特征在于，所述装置包括：
数据采集模块，用于分别获取目标对象在相同时间段内行为视频数据和瞳孔视频数据，其中，所述行为视频数据包括至少四个拍摄角度获取的视频数据；
数据分析模块，用于分别对所述行为视频数据和所述瞳孔视频数据进行分析，确定所述目标对象在的行为信息以及瞳孔信息；
数据匹配模块，用于根据所述行为视频数据和所述瞳孔视频数据采集时间，建立所述行为信息与所述瞳孔信息的关联关系。
9.一种计算机设备，其特征在于，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的行为与瞳孔信息同步分析方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的行为与瞳孔信息同步分析方法。
CN202111530272.9A 2021-12-14 2021-12-14 行为与瞳孔信息同步分析方法、装置、设备及介质 Pending CN114220168A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111530272.9A CN114220168A (zh) 2021-12-14 2021-12-14 行为与瞳孔信息同步分析方法、装置、设备及介质
PCT/CN2021/140013 WO2023108711A1 (zh) 2021-12-14 2021-12-21 行为与瞳孔信息同步分析方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111530272.9A CN114220168A (zh) 2021-12-14 2021-12-14 行为与瞳孔信息同步分析方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114220168A true CN114220168A (zh) 2022-03-22

Family

ID=80701972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111530272.9A Pending CN114220168A (zh) 2021-12-14 2021-12-14 行为与瞳孔信息同步分析方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114220168A (zh)
WO (1) WO2023108711A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795630B2 (en) * 2018-10-10 2020-10-06 International Business Machines Corporation Configuring computing device to utilize a multiple display arrangement by tracking eye movement
CN111160303B (zh) * 2019-12-31 2023-05-02 深圳大学 一种眼动反应信息检测方法、装置、移动终端及存储介质
CN111598049B (zh) * 2020-05-29 2023-10-10 中国工商银行股份有限公司 作弊识别方法和装置、电子设备、以及介质
CN113116351A (zh) * 2021-04-27 2021-07-16 江苏利君智能科技有限责任公司 一种动态态度判断型瞳孔脑机结合装置及其系统
CN113537005B (zh) * 2021-07-02 2023-08-11 福州大学 一种基于姿态估计的线上考试学生行为分析方法

Also Published As

Publication number Publication date
WO2023108711A1 (zh) 2023-06-22

Similar Documents

Publication Publication Date Title
KR101864380B1 (ko) 수술영상데이터 학습시스템
Fridman et al. Cognitive load estimation in the wild
US11580409B2 (en) System and method for iterative classification using neurophysiological signals
DE102018102194A1 (de) Elektronische Einrichtung, Informationsverarbeitungsverfahren und Programm
CN105516280B (zh) 一种多模态学习过程状态信息压缩记录方法
CN111742332A (zh) 经由多预测模型架构进行异常检测的系统和方法
KR20190088375A (ko) 수술영상데이터 학습시스템
CN108491823B (zh) 用于生成人眼识别模型的方法和装置
WO2013119420A1 (en) Method and apparatus for unattended image capture
CN112101123B (zh) 一种注意力检测方法及装置
CN111598038A (zh) 脸部特征点检测方法、装置、设备及存储介质
CN111080624B (zh) 精子运动状态的分类方法、装置、介质及电子设备
CN111026267B (zh) Vr脑电意念控制接口系统
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN110175553A (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN114220168A (zh) 行为与瞳孔信息同步分析方法、装置、设备及介质
CN110175522A (zh) 考勤方法、系统及相关产品
CN115116117A (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN114220149A (zh) 一种头部姿势真值的获取方法、装置、设备及存储介质
CN106725530B (zh) 基于视线的心理辅助分析系统和方法
CN112099330A (zh) 基于外部相机和穿戴式显控设备的全息人体重建方法
CN112686156A (zh) 一种情绪监测方法、装置、计算机设备及可读存储介质
WO2019137886A1 (en) Capturing subject data in dynamic environments using mobile cameras
CN114449701B (zh) 基于病历信息的灯光类型调控方法、装置及电子设备
WO2024050920A1 (zh) 神经通路的激活检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination