CN110897608B - 斑马鱼眼动分析方法、装置及计算机设备 - Google Patents
斑马鱼眼动分析方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN110897608B CN110897608B CN201911287917.3A CN201911287917A CN110897608B CN 110897608 B CN110897608 B CN 110897608B CN 201911287917 A CN201911287917 A CN 201911287917A CN 110897608 B CN110897608 B CN 110897608B
- Authority
- CN
- China
- Prior art keywords
- image
- zebra fish
- analyzed
- eye movement
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
- A61B5/4023—Evaluating sense of balance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/40—Animals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/42—Evaluating a particular growth phase or type of persons or animals for laboratory research
Abstract
本发明公开了一种斑马鱼眼动分析方法、装置及计算机设备,所述方法包括:获取斑马鱼的待分析图像序列;针对待分析图像序列中的每一帧待分析图像,在该待分析图像中进行斑马鱼眼睛所在感兴趣区域的定位,得到斑马鱼对应于该待分析图像的眼睛部位图像;根据斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线;进行眼动时域曲线的时频变换,得到斑马鱼的眼动频谱,以眼动频谱的幅值作为斑马鱼的眼动量化值。采用本发明提供的斑马鱼眼动分析方法、装置及计算机设备解决了现有技术中斑马鱼眼动分析的依赖于人工实现的问题。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种斑马鱼眼动分析方法、装置及计算机设备。
背景技术
前庭眼动分析,在临床上有着重要的应用,是通过刺激个体(例如斑马鱼)的前庭器官,来计算该个体眼睛的转动幅度,以便于评估该个体的前庭功能。
目前,在药物或者基因筛查的实验中,斑马鱼眼动分析,常常需要在斑马鱼眼睛转动过程中拍摄上百个视频,并借助于手动操作进行相关数字图像处理,不仅处理速度慢,而且往往耗费大量的时间。
由此,现有技术中斑马鱼眼动分析仍存在依赖于人工实现的缺陷。
发明内容
本发明各实施例提供一种斑马鱼眼动分析方法、装置、计算机设备及存储介质,以此解决相关技术中存在的斑马鱼眼动分析依赖于人工实现的问题。
其中,本发明所采用的技术方案为:
根据本发明的一个方面,一种斑马鱼眼动分析方法,应用于计算机设备,所述方法包括:获取斑马鱼的待分析图像序列,所述待分析图像序列包含若干帧待分析图像;针对所述待分析图像序列中的每一帧待分析图像,在该待分析图像中进行所述斑马鱼眼睛所在感兴趣区域的定位,得到所述斑马鱼对应于该待分析图像的眼睛部位图像;根据所述斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由所述待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线;进行所述眼动时域曲线的时频变换,得到所述斑马鱼的眼动频谱,以所述眼动频谱的幅值作为所述斑马鱼的眼动量化值。
根据本发明的一个方面,一种斑马鱼眼动分析装置,部署于计算机设备,所述装置包括:图像获取模块,用于获取斑马鱼的待分析图像序列,所述待分析图像序列包含若干帧待分析图像;图像定位模块,用于针对所述待分析图像序列中的每一帧待分析图像,在该待分析图像中进行所述斑马鱼眼睛所在感兴趣区域的定位,得到所述斑马鱼对应于该待分析图像的眼睛部位图像;曲线生成模块,用于根据所述斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由所述待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线;眼动量化模块,用于进行所述眼动时域曲线的时频变换,得到所述斑马鱼的眼动频谱,以所述眼动频谱的幅值作为所述斑马鱼的眼动量化值。
根据本发明的一个方面,一种计算机设备,包括处理器及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上所述的斑马鱼眼动分析方法。
根据本发明的一个方面,一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的斑马鱼眼动分析方法。
在上述技术方案中,在获取斑马鱼的待分析图像序列之后,便可针对该待分析图像序列中的每一帧待分析图像,在该待分析图像中进行斑马鱼眼睛所在感兴趣区域的定位,得到斑马鱼对应于该待分析图像的眼睛部位图像,进而根据斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线,最后进行眼动时域曲线的时频变换,得到斑马鱼的眼动频谱,将该眼动频谱的幅值作为斑马鱼的眼动量化值,由此,在斑马鱼眼动分析的整个过程中,仅需要将斑马鱼的待分析图像序列输入计算机设备,便可通过计算机设备自动完成斑马鱼眼动分析,避免人工参与,从而解决了现有技术中斑马鱼眼动分析依赖于人工实现的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并于说明书一起用于解释本发明的原理。
图1是根据本发明所涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种计算机设备的硬件结构框图。
图3是根据一示例性实施例示出的一种斑马鱼眼动分析方法的流程图。
图4为图3对应实施例所涉及的待分析图像及对应的眼睛部位图像的示意图。
图5为图3对应实施例所涉及的时频变换中眼动时域曲线和眼动频谱的示意图。
图6为根据一示例性实施例所涉及的斑马鱼眼睛转动过程的示意图。
图7为根据一示例性实施例所涉及的需矫正的眼动时域曲线的示意图。
图8是根据一示例性实施例示出的另一种斑马鱼眼动分析方法的流程图。
图9是图8对应实施例中步骤410在一个实施例的流程图。
图10为图9对应实施例所涉及的矫正后的眼动时域曲线的示意图。
图11是图3对应实施例中步骤330在一个实施例的流程图。
图12是图3对应实施例中步骤350在一个实施例的流程图。
图13是图12对应实施例中步骤351在一个实施例的流程图。
图14是图13对应实施例所涉及的图像分割过程中各图像的示意图。
图15是图12对应实施例中步骤351在另一个实施例的流程图。
图16是根据一示例性实施例示出的一种斑马鱼眼动分析装置的框图。
图17是根据一示例性实施例示出的一种计算机设备的框图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述,这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1为一种斑马鱼眼动分析方法所涉及的实施环境的示意图。该实施环境包括采集端110和服务端130。
具体地,采集端110,部署于实验室等场所,用于在斑马鱼眼睛转动过程中拍摄并采集斑马鱼的待分析图像。该采集端110可以是摄像机、录像机、或者其他具有拍摄功能的电子设备,例如智能手机、平板电脑等,在此不构成具体限定。
服务端130,该服务端130可以是台式电脑、笔记本电脑、平板电脑、计算机设备等等计算机设备,还可以是由多台计算机设备构成的计算机设备集群,甚至是由多台计算机设备构成的云计算中心。其中,计算机设备是为用户提供后台服务的电子设备,例如,后台服务包括但不限于斑马鱼眼动分析服务等等。
服务端130与采集端110之间预先建立通信连接,并通过通信连接实现与采集端110的数据传输。传输的数据包括但不限于:斑马鱼的待分析图像等等。
通过采集端110与服务端130的交互,采集端110在斑马鱼眼睛转动过程中拍摄并采集斑马鱼的待分析图像,并将该待分析图像上传至服务端130,以使服务端130提供斑马鱼眼动分析服务。
对于服务端130而言,在接收到采集端110上传的待分析图像之后,便能够调用斑马鱼眼动分析服务,基于包含了若干帧待分析图像的待分析图像序列分析出斑马鱼的眼动量化值。
图2是根据一示例性实施例示出的一种计算机设备的硬件结构框图。该种计算机设备适用于图1所示出实施环境的服务端130。
需要说明的是,该种计算机设备只是一个适配于本发明的示例,不能认为是提供了对本发明的使用范围的任何限制。该种计算机设备也不能解释为需要依赖于或者必须具有图2中示出的示例性的计算机设备200中的一个或者多个组件。
计算机设备200的硬件结构可因配置或者性能的不同而产生较大的差异,如图2所示,计算机设备200包括:电源210、接口230、至少一存储器250、以及至少一中央处理器(CPU,Central Processing Units)270。
具体地,电源210用于为计算机设备200上的各硬件设备提供工作电压。
接口230包括至少一有线或无线网络接口,用于与外部设备交互。例如,进行图1所示出实施环境中采集端110与服务端130之间的交互。
当然,在其余本发明适配的示例中,接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一USB接口237等,如图2所示,在此并非对此构成具体限定。
存储器250作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源包括操作系统251、应用程序253及数据255等,存储方式可以是短暂存储或者永久存储。
其中,操作系统251用于管理与控制计算机设备200上的各硬件设备以及应用程序253,以实现中央处理器270对存储器250中海量数据255的运算与处理,其可以是WindowsServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等。
应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序,其可以包括至少一模块(图2中未示出),每个模块都可以分别包含有对计算机设备200的一系列计算机可读指令。例如,斑马鱼眼动分析装置可视为部署于计算机设备200的应用程序253。
数据255可以是存储于磁盘中的照片、图片等,还可以是待分析图像等,存储于存储器250中。
中央处理器270可以包括一个或多个以上的处理器,并设置为通过至少一通信总线与存储器250通信,以读取存储器250中存储的计算机可读指令,进而实现对存储器250中海量数据255的运算与处理。例如,通过中央处理器270读取存储器250中存储的一系列计算机可读指令的形式来完成斑马鱼眼动分析方法。
此外,通过硬件电路或者硬件电路结合软件也能同样实现本发明,因此,实现本发明并不限于任何特定硬件电路、软件以及两者的组合。
请参阅图3,在一示例性实施例中,一种斑马鱼眼动分析方法应用于计算机设备,例如图1所示实施环境的服务端,该计算机设备的硬件结构可以如图2所示。
该种斑马鱼眼动分析方法可以由计算机设备执行,也可以理解为由计算机设备中运行的应用程序(即斑马鱼眼动分析装置)执行。在下述方法实施例中,为了便于描述,以各步骤的执行主体为计算机设备加以说明,但是并不对此构成限定。
该种斑马鱼眼动分析方法可以包括以下步骤:
步骤310,获取斑马鱼的待分析图像序列。
其中,所述待分析图像序列包含若干帧待分析图像。
首先说明的是,待分析图像,是采集端在斑马鱼眼睛转动过程中对斑马鱼进行拍摄生成的。其中,采集端可固定部署于斑马鱼头位,例如,采集端为独立摄像头,或者,采集端在实验人员手持前提下灵活移动,例如,采集端为内嵌摄像头的智能手机。
可以理解,拍摄可以是单次拍摄,还可以是连续性拍摄,那么,对于连续性拍摄而言,待分析图像序列实质是包含若干帧待分析图像的一段视频,而就单次拍摄来说,待分析图像序列则是包含若干帧待分析图像的多张图片。基于此,本实施例中进行斑马鱼眼动分析可以是基于一段视频进行,也可以基于多张图片进行。
换而言之,待分析图像序列可以是一段视频,还可以是多张图片,本实施例并未对此加以限定。应当说明的是,无论待分析图像序列是一段视频亦或者多张图片,后续的斑马鱼眼动分析均是按照一帧待分析图像处理的,例如,该一帧待分析图像是一段视频中的一个视频帧,或者多张图片中的一张图片。在此补充说明的是,为了减少斑马鱼眼动分析的时间,计算机设备可通过多核技术实现多帧待分析图像的并行处理,以此提高计算机设备的处理效率,进而提升斑马鱼眼动分析的效率。
其次,关于待分析图像序列的获取,可以是来自于采集端实时拍摄的若干帧待分析图像,并由采集端实时上传至计算机设备,还可以是预先存储于计算机设备的一历史时间段由采集端拍摄的若干帧待分析图像。
那么,后续的斑马鱼眼动分析,既可以基于实时拍摄的若干帧待分析图像,以此提高斑马鱼眼动分析的实时性,还可以基于预先存储的若干帧待分析图像,以此提高斑马鱼眼动分析的效率,例如,在计算机设备CPU占用率较低时进行,或者,按照实验人员的操作指令进行,本实施例在此并未加以限定。
步骤330,针对所述待分析图像序列中的每一帧待分析图像,在该待分析图像中进行所述斑马鱼眼睛所在感兴趣区域的定位,得到所述斑马鱼对应于该待分析图像的眼睛部位图像。
可以理解,采集端在拍摄过程中,不仅能够拍摄到斑马鱼的眼睛部位,还能够拍摄到斑马鱼的其余部位,例如,身子部位等。基于此,斑马鱼眼睛所在的感兴趣区域,实质是指斑马鱼眼动分析过程中需要重点关注的区域,也可以认为是待分析图像中一个主要包含斑马鱼眼睛部位的区域,以利于后续的斑马鱼眼动分析。
相应地,定位,是指定位出斑马鱼眼睛所在感兴趣区域在待分析图像中的位置,以根据定位到的位置将斑马鱼眼睛部位收容于眼睛部位图像。
换而言之,眼睛部位图像,通过斑马鱼眼睛所在感兴趣区域将斑马鱼眼睛收容。该斑马鱼眼睛所在感兴趣区域可以是矩形、圆形、三角形、多边形等形状,在此并未加以限定。
举例来说,如图4所示,图A表示待分析图像,图A中的虚线框表示斑马鱼眼睛所在感兴趣区域,图B表示眼睛部位图像,也就是说,眼睛部位图像B是待分析图像A的其中一部分,该眼睛部位图像B通过图A中的虚线框将斑马鱼眼睛部位收容,亦即舍弃了待分析图像A中斑马鱼的身体部位,而主要包含待分析图像A中斑马鱼的眼睛部位。
步骤350,根据所述斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由所述待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线。
发明人意识到,由于斑马鱼眼睛的转动轴平行于待分析图像所在的成像面,故而无法直接根据一帧待分析图像中的斑马鱼眼睛部位计算斑马鱼眼睛的转动幅度。
因此,本实施例中,斑马鱼眼动分析,不仅依赖于待分析图像序列中的所有待分析图像,而且依赖于对应于各帧待分析图像的斑马鱼眼睛投影面积。
那么,在获得待分析图像序列中每一帧待分析图像对应的斑马鱼眼睛投影面积之后,便可由此生成眼动时域曲线。其中,眼动时域曲线,用于反映一个时间段内斑马鱼眼睛的转动幅度。
具体而言,眼动时域曲线的生成过程可以包括以下步骤:
a、以待分析图像的拍摄时间为横坐标,以对应于待分析图像的斑马鱼眼睛投影面积为纵坐标,构建坐标系。
b、根据待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积、以及拍摄时间,在坐标系中对应的坐标位置进行标记。
c、按照待分析图像序列中所有待分析图像的拍摄时间顺序连接坐标系中的各标记,得到眼动时域曲线。
步骤370,进行所述眼动时域曲线的时频变换,得到所述斑马鱼的眼动频谱,以所述眼动频谱的幅值作为所述斑马鱼的眼动量化值。
时频变换,是采用快速傅里叶变换算法实现的,即通过快速傅里叶变换,将眼动时域曲线由时域变换至频域,得到斑马鱼的眼动频谱。
如图5所示,眼动时域曲线,对应于时域time,而眼动频谱,则对应于频域frequency。
本实施例中,斑马鱼眼睛的转动,依赖于正弦信号对斑马鱼前庭器官的刺激,因此,在通过时频变换之后,眼动频谱的幅值C,如图5所示,即为斑马鱼的眼动量化值。
通过如上所述的过程,实现了斑马鱼眼动的全自动分析,即在斑马鱼眼动分析的整个过程中,仅需要将斑马鱼的待分析图像序列输入计算机设备,便可通过计算机设备自动完成斑马鱼眼动分析,避免人工参与,从而解决了现有技术中斑马鱼眼动分析依赖于人工实现的问题。
在一示例性实施例中,步骤370之前,如上所述的方法还可以包括以下步骤:
对所述眼动时域曲线进行关于曲线凹陷的矫正,使得所述眼动时域曲线的时频变换是基于矫正后的眼动时域曲线进行的。
如图6所示,在斑马鱼眼睛转动过程,即斑马鱼的眼睛从第一象限转动至第四象限,再由第四象限转回第一象限时,首先,斑马鱼眼睛在x正半轴上的投影面积会先由oa(对应于眼睛转动的起始位置)逐渐增大至最大值oc(对应于眼睛转动至平行于x正半轴),并在进入第四象限之后,投影面积逐渐由最大值oc减小至ob(对应于眼睛能够转动的最大角度)。
然后,斑马鱼的眼睛回转,在第四象限中,斑马鱼的眼睛在x正半轴上的投影面积逐渐由ob增大至最大值oc(对应于眼睛再次转动至平行于x正半轴),并在回到第一象限之后,投影面积由最大值oc逐渐减小至oa(对应于眼睛转回原来的起始位置)。
然而,上述过程中,发明人发现,斑马鱼眼睛的转动角度无论是由第一象限转动至第四象限的逐渐增大,还是由第四象限转回至第一象限的逐渐减小,在斑马鱼眼睛转动经过x正半轴之后,投影面积并不会跟随转动角度的增大(减小)而相应地增大(减小)。
即,在转动角度由第一象限转动至第四象限时,投影面积并未逐渐增大反而逐渐减小,或者在转动角度由第四象限转回至第一象限时,投影面积并未逐渐减小反而逐渐增大,这就导致眼动时域曲线会在原先的极值(波峰值或波谷值)位置处出现凹陷,如图7中曲线original A所示。
为此,本实施例中,在进行眼动时域曲线的时频变换之前,将进行眼动时域曲线关于曲线凹陷的矫正,以此提升斑马鱼眼动分析的有效性和准确性。
其中,矫正,实质是基于眼动时域曲线中每个周期的波峰点和波谷点,对眼动时域曲线中存在凹陷部分的曲线段通过对称翻转进行弥补。
下面对矫正过程加以详细地说明。
请参阅图8,在一示例性实施例中,矫正过程可以包括以下步骤:
步骤410,确定所述眼动时域曲线中每个周期的波峰点和波谷点。
发明人意识到,由于眼动时域曲线的噪声较大,通过求极值计算方法,每个周期可能存在多个极值点,有的极值点是对称翻转实际需要的波峰点或者波谷点,而有的极值点则可能是多余不需要的,如图7中圆圈所标注出的极值点6、15。
为此,在进行对称翻转之前,首先需要确定对称翻转实际需要的极值点,即眼动时域曲线中每个周期的波峰点和波谷点。
具体而言,在一实施例的实现中,如图9所示,步骤410可以包括以下步骤:
步骤411,确定所述眼动时域曲线的所有第一极值点。
步骤413,对所述眼动时域曲线进行平滑,确定平滑后眼动时域曲线的所有第二极值点。
平滑的目的在于,使平滑后的眼动时域曲线中每个周期仅存在两个极值点,即波峰点和波谷点,如图7中曲线Smooth所示。
其中,眼动时域曲线的所有第一极值点、平滑后眼动时域曲线的所有第二极值点,均是通过求极值计算方法实现的。
步骤415,针对每一个第二极值点的第二横坐标位置,在所有第一极值点中,搜索第一横坐标位置与该第二横坐标位置之间距离符合设定范围的第一极值点。
在此,发明人意识到,步骤413中,为了使平滑后的眼动时域曲线中每个周期仅存在两个极值点,可能出现过度平滑的现象,如果直接根据平滑后的眼动时域曲线中每个周期仅存在的两个极值点,对原始的眼动时域曲线进行关于曲线凹陷的矫正,可能会造成矫正结果失真,进而影响斑马鱼眼动分析的准确性。
为此,本实施例中,将参考平滑后眼动时域曲线的所有第二极值点的第二横坐标位置,对原始的眼动时域曲线的所有第一极值点进行搜索,直至原始的眼动时域曲线中每个周期也仅存在两个极值点。
具体地,搜索,实际上也是个筛选过程,比较每一个第二极值点的第二横坐标位置与每一个第一极值点的第一横坐标位置之间的距离。
如果该距离符合设定范围,则视为对称翻转实际需要的第一极值点,反之,如果该距离不符合设定范围,则视为多余不需要的第一极值点。
由此,经过搜索,对称翻转实际需要的第一极值点即被筛选出来。
其中,设定范围,是指该周期中不存在凹陷部分的曲线段时,距离最小,或者该周期中存在凹陷部分的曲线段时,距离最大。
步骤417,根据搜索到的第一极值点,确定所述眼动时域曲线中每个周期的波峰点和波谷点。
由此,搜索到的第一极值点,即为原始的眼动时域曲线中每个周期仅存在的两个极值点,也可以认为是,原始的眼动时域曲线中每个周期的波峰点和波谷点。
步骤430,针对每个周期,将该周期中波峰点或者波谷点所在的不存在凹陷部分曲线段沿水平轴对称翻转,得到该周期中的矫正曲线段。
其中,该周期中的矫正曲线段,是对该周期中波谷点或者波峰点所在的存在凹陷部分曲线段进行了矫正。
步骤450,根据每个周期中不存在凹陷部分曲线段和矫正曲线段,得到矫正后的眼动时域曲线。
举例来说,如图10所示,在眼动时域曲线的第一个周期,曲线段B1为该第一个周期中波峰点C所在的不存在凹陷部分曲线段,曲线段B2则为该第一个周期中波谷点所在的存在凹陷部分曲线段。
此时,将眼动时域曲线该第一个周期中的曲线段B1,沿水平轴x对称翻转,得到该第一个周期中的矫正曲线段B3,那么,该矫正曲线段B3即是对曲线段B2进行了矫正,属于矫正后眼动时域曲线的一部分。
在对眼动时域曲线中所有存在凹陷部分的曲线段进行了关于曲线凹陷的矫正之后,方可得到矫正后的眼动时域曲线Unwrapped B,如图10所示。
通过上述过程,实现了眼动时域曲线关于曲线凹陷的矫正,使得眼动时域曲线的时频变换基于该矫正后的眼动时域曲线进行,充分保障了斑马鱼眼动分析的准确性。
请参阅图11,在一示例性实施例中,步骤330可以包括以下步骤:
步骤331,基于拍摄过程中所述斑马鱼通过斑马鱼固定装置被固定于相同位置,确定所述斑马鱼眼睛所在感兴趣区域相对于相机视野的位置。
本实施例中,采集端为相机,固定部署在斑马鱼头位,且,拍摄过程中,斑马鱼通过斑马鱼固定装置固定在同一个位置。
那么,斑马鱼眼睛所在感兴趣区域相对于相机视野的位置始终保持不变,也可以认为,对于由相机拍摄得到的待分析图像而言,斑马鱼眼睛所在感兴趣区域在该待分析图像中的位置也保持不变。
基于此,为了能够定位待分析图像中斑马鱼眼睛所在感兴趣区域,首先要确定斑马鱼眼睛所在感兴趣区域相对于相机视野的位置。
步骤333,根据确定的位置,在该待分析图像中定位得到所述斑马鱼眼睛所在感兴趣区域。
步骤335,根据所述斑马鱼眼睛所在感兴趣区域,在该待分析图像划分出所述斑马鱼对应于该待分析图像的眼睛部位图像。
回请参阅图4,针对待分析图像A而言,在该待分析图像A中定位得到斑马鱼眼睛所在感兴趣区域(即虚线框)之后,便可由待分析图像A中划分出眼睛部位图像B。其中,该眼睛部位图像B通过虚线框收容了斑马鱼眼睛部位。
在上述实施例的作用下,实现了眼睛部位图像的生成,使得斑马鱼眼动分析的分析范围由斑马鱼整体缩小至斑马鱼眼睛部位,不仅有利于提升斑马鱼眼动分析的效率,还有利于进一步地提高斑马鱼眼动分析的精准度。
请参阅图12,在一示例性实施例中,步骤350可以包括以下步骤:
步骤351,对所述斑马鱼对应于该待分析图像的眼睛部位图像进行图像分割,得到包含斑马鱼眼睛区域对应于该待分析图像的分割图像。
图像分割目的在于,将眼睛部位图像划分为斑马鱼眼睛区域和背景区域。也即是,分割图像,实质是划分出斑马鱼眼睛区域和背景区域的眼睛部位图像。
可选地,图像分割包括:普通分割、语义分割、实例分割等。其中,普通分割进一步包括:阈值分割、区域分割、边缘分割、直方图分割等,本实施例并未对此作出具体限定。
在一实施例的实现中,如图13所示,步骤351可以包括以下步骤:
步骤3511,对所述斑马鱼对应于该待分析图像的眼睛部位图像进行灰度值计算。
步骤3513,根据计算得到的灰度值,进行所述眼睛部位图像的二值化。
如图14所示,通过二值化,在图像C中,斑马鱼眼睛区域为由黑色像素点组成的黑色区域,背景区域为由白色像素点组成的白色区域。
步骤3515,对二值化后的眼睛部位图像进行二值反操作,得到包含斑马鱼眼睛区域对应于该待分析图像的分割图像。
发明人意识到,在拍摄过程中,采集端运用了红外光投射式照明技术,使得二值化之后,斑马鱼眼睛区域为黑色区域,背景区域为白色区域,如图14所示。然而,斑马鱼皮肤表面存在黑色斑点,或者水中存在其他黑色杂质,都可能影响斑马鱼眼睛投影面积的计算。
基于此,为了更加准确地得到待分析图像的斑马鱼眼睛投影面积,本实施例中,将针对二值化后的眼睛部位图像进行二值反操作,即使得斑马鱼眼睛区域由黑色区域变更为白色区域。
如图14所示,通过二值反操作,在图像D中,斑马鱼眼睛区域为白色区域,背景区域为黑色区域。
同时,请参阅图14,发明人发现,在图像D中,除了斑马鱼眼睛区域包含有白色像素点,还存在部分白色像素点位于背景区域,也即是说,白色区域不仅包含了斑马鱼眼睛区域,还存在部分噪声。
因此,在二值反操作之后,还可以针对分割图像进行膨胀腐蚀、去边、开运算等一系列形态学处理,以消除白色区域中的噪声,得到更加纯净的分割图像,如图14中图像E所示,来提升斑马鱼眼睛投影面积的准确性,进而有利于进一步地提升斑马鱼眼动分析的精准度。
步骤353,计算对应于该待分析图像的所述分割图像中斑马鱼眼睛区域包含的像素点个数,得到对应于所述待分析图像的斑马鱼眼睛投影面积。
可以理解,对于待分析图像而言,是由像素点阵列组成的,即包含多个像素点。由此,斑马鱼眼睛投影面积,实际上是像素意义下的面积,指的是分割图像中斑马鱼眼睛区域所包含的像素点个数。
在上述过程中,实现了斑马鱼眼睛投影面积的计算,以此作为眼动时域曲线生成的依据,进而使得基于眼动时域曲线的斑马鱼眼动分析得以实现。
请参阅图15,在一示例性实施例中,步骤351还可以包括以下步骤:
步骤3512,确定当前光照条件对应的光照补偿系数。
在此,发明人意识到,不同的光照条件下,相机的曝光度有所区别,进而将影响到待分析图像的清晰度。故而,本实施例中,在进行图像分割之前,需要对眼睛部位图像进行光照补偿,以此确保分割图像的清晰度。
其中,光照补偿系数,根据不同的光照条件预先配置,并在不同的光照条件与光照补偿系数之间建立一一对应关系,并将该对应关系存储至计算机设备。
由此,在确定当前光照条件之后,便可基于计算机设备中存储的上述对应关系,得到对应的光照补偿系数。
步骤3514,根据确定的光照补偿系数对计算得到的灰度值进行光照补偿,使得所述眼睛部位图像的二值化基于光照补偿后的灰度值进行。
也就是说,光照补偿,实质是将灰度值与光照补偿系数相乘,以此保证分割图像的清晰度,进而充分保障斑马鱼眼动分析的准确性。
下述为本发明装置实施例,可以用于执行本发明所涉及的斑马鱼眼动分析方法。对于本发明装置实施例中未披露的细节,请参照本发明所涉及的斑马鱼眼动分析方法的方法实施例。
请参阅图16,在一示例性实施例中,一种斑马鱼眼动分析装置900包括但不限于:图像获取模块910、图像定位模块930、曲线生成模块950和眼动量化模块970。
其中,图像获取模块910,用于获取斑马鱼的待分析图像序列,所述待分析图像序列包含若干帧待分析图像。
图像定位模块930,用于针对所述待分析图像序列中的每一帧待分析图像,在该待分析图像中进行所述斑马鱼眼睛所在感兴趣区域的定位,得到所述斑马鱼对应于该待分析图像的眼睛部位图像。
曲线生成模块950,用于根据所述斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由所述待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线。
眼动量化模块970,用于进行所述眼动时域曲线的时频变换,得到所述斑马鱼的眼动频谱,以所述眼动频谱的幅值作为所述斑马鱼的眼动量化值。
需要说明的是,上述实施例所提供的斑马鱼眼动分析装置在进行斑马鱼眼动分析时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即斑马鱼眼动分析装置的内部结构将划分为不同的功能模块,以完成以上描述的全部或者部分功能。
另外,上述实施例所提供的斑马鱼眼动分析装置与斑马鱼眼动分析方法的实施例属于同一构思,其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。
请参阅图17,在一示例性实施例中,一种计算机设备1000,包括至少一处理器1001、至少一存储器1002、以及至少一通信总线1003。
其中,存储器1002上存储有计算机可读指令,处理器1001通过通信总线1003读取存储器1002中存储的计算机可读指令。
该计算机可读指令被处理器1001执行时实现上述各实施例中的斑马鱼眼动分析方法。
在一示例性实施例中,一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各实施例中的斑马鱼眼动分析方法。
上述内容,仅为本发明的较佳示例性实施例,并非用于限制本发明的实施方案,本领域普通技术人员根据本发明的主要构思和精神,可以十分方便地进行相应的变通或修改,故本发明的保护范围应以权利要求书所要求的保护范围为准。
Claims (10)
1.一种斑马鱼眼动分析方法,其特征在于,应用于计算机设备,所述方法包括:
获取斑马鱼的待分析图像序列,所述待分析图像序列包含若干帧待分析图像;
针对所述待分析图像序列中的每一帧待分析图像,在该待分析图像中进行所述斑马鱼眼睛所在感兴趣区域的定位,得到所述斑马鱼对应于该待分析图像的眼睛部位图像;
根据所述斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由所述待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线,所述眼动时域曲线用于反映一个时间段内斑马鱼眼睛的转动幅度,所述斑马鱼眼睛的转动轴平行于待分析图像所在的成像面;
进行所述眼动时域曲线的时频变换,得到所述斑马鱼的眼动频谱,以所述眼动频谱的幅值作为所述斑马鱼的眼动量化值。
2.如权利要求1所述的方法,其特征在于,所述进行所述眼动时域曲线的时频变换,得到所述斑马鱼的眼动频谱,以所述眼动频谱的幅值作为所述斑马鱼的眼动量化值之前,所述方法还包括:
对所述眼动时域曲线进行关于曲线凹陷的矫正,使得所述眼动时域曲线的时频变换是基于矫正后的眼动时域曲线进行的。
3.如权利要求2所述的方法,其特征在于,所述对所述眼动时域曲线进行关于曲线凹陷的矫正,包括:
确定所述眼动时域曲线中每个周期的波峰点和波谷点;
针对每个周期,将该周期中波峰点或者波谷点所在的不存在凹陷部分曲线段沿水平轴对称翻转,得到该周期中的矫正曲线段,该周期中的矫正曲线段为对该周期中波谷点或者波峰点所在的存在凹陷部分曲线段进行了矫正;
根据每个周期中不存在凹陷部分曲线段和矫正曲线段,得到矫正后的眼动时域曲线。
4.如权利要求3所述的方法,其特征在于,所述确定所述眼动时域曲线中每个周期的波峰点和波谷点,包括:
确定所述眼动时域曲线的所有第一极值点;
对所述眼动时域曲线进行平滑,确定平滑后眼动时域曲线的所有第二极值点;
针对每一个第二极值点的第二横坐标位置,在所有第一极值点中,搜索第一横坐标位置与该第二横坐标位置之间距离符合设定范围的第一极值点;
根据搜索到的第一极值点,确定所述眼动时域曲线中每个周期的波峰点和波谷点。
5.如权利要求1至4任一项所述的方法,其特征在于,所述在该待分析图像中进行所述斑马鱼眼睛所在感兴趣区域的定位,得到所述斑马鱼对应于该待分析图像的眼睛部位图像,包括:
基于拍摄过程中所述斑马鱼通过斑马鱼固定装置被固定于相同位置,确定所述斑马鱼眼睛所在感兴趣区域相对于相机视野的位置;
根据确定的位置,在该待分析图像中定位得到所述斑马鱼眼睛所在感兴趣区域;
根据所述斑马鱼眼睛所在感兴趣区域,在该待分析图像划分出所述斑马鱼对应于该待分析图像的眼睛部位图像。
6.如权利要求1至4任一项所述的方法,其特征在于,所述根据所述斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,包括:
对所述斑马鱼对应于该待分析图像的眼睛部位图像进行图像分割,得到包含斑马鱼眼睛区域对应于该待分析图像的分割图像;
计算对应于该待分析图像的所述分割图像中斑马鱼眼睛区域包含的像素点个数,得到对应于所述待分析图像的斑马鱼眼睛投影面积。
7.如权利要求6所述的方法,其特征在于,所述对所述斑马鱼对应于该待分析图像的眼睛部位图像进行图像分割,得到包含斑马鱼眼睛区域对应于该待分析图像的分割图像,包括:
对所述斑马鱼对应于该待分析图像的眼睛部位图像进行灰度值计算;
根据计算得到的灰度值,进行所述眼睛部位图像的二值化;
对二值化后的眼睛部位图像进行二值反操作,得到包含斑马鱼眼睛区域对应于该待分析图像的分割图像。
8.如权利要求7所述的方法,其特征在于,所述根据计算得到的灰度值,进行所述眼睛部位图像的二值化之前,所述对所述斑马鱼对应于该待分析图像的眼睛部位图像进行图像分割,得到包含斑马鱼眼睛区域对应于该待分析图像的分割图像,还包括:
确定当前光照条件对应的光照补偿系数;
根据确定的光照补偿系数对计算得到的灰度值进行光照补偿,使得所述眼睛部位图像的二值化基于光照补偿后的灰度值进行。
9.一种斑马鱼眼动分析装置,其特征在于,包括:
图像获取模块,用于获取斑马鱼的待分析图像序列,所述待分析图像序列包含若干帧待分析图像;
图像定位模块,用于针对所述待分析图像序列中的每一帧待分析图像,在该待分析图像中进行所述斑马鱼眼睛所在感兴趣区域的定位,得到所述斑马鱼对应于该待分析图像的眼睛部位图像;
曲线生成模块,用于根据所述斑马鱼对应于该待分析图像的眼睛部位图像,计算对应于该待分析图像的斑马鱼眼睛投影面积,并由所述待分析图像序列中所有待分析图像对应的斑马鱼眼睛投影面积,生成眼动时域曲线,所述眼动时域曲线用于反映一个时间段内斑马鱼眼睛的转动幅度,所述斑马鱼眼睛的转动轴平行于待分析图像所在的成像面;
眼动量化模块,用于进行所述眼动时域曲线的时频变换,得到所述斑马鱼的眼动频谱,以所述眼动频谱的幅值作为所述斑马鱼的眼动量化值。
10.一种计算机设备,其特征在于,包括:
处理器;及
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如权利要求1至8中任一项所述的斑马鱼眼动分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911287917.3A CN110897608B (zh) | 2019-12-15 | 2019-12-15 | 斑马鱼眼动分析方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911287917.3A CN110897608B (zh) | 2019-12-15 | 2019-12-15 | 斑马鱼眼动分析方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110897608A CN110897608A (zh) | 2020-03-24 |
CN110897608B true CN110897608B (zh) | 2022-05-03 |
Family
ID=69824380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911287917.3A Active CN110897608B (zh) | 2019-12-15 | 2019-12-15 | 斑马鱼眼动分析方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110897608B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0551955A1 (en) * | 1992-01-15 | 1993-07-21 | EUCLID MEDICAL INSTRUMENTS Inc. | System for determining the topography of a curved surface |
WO2013148557A1 (en) * | 2012-03-26 | 2013-10-03 | New York University | Methods and kits for assessing central nervous system integrity |
WO2017031331A1 (en) * | 2015-08-20 | 2017-02-23 | Eyeguide, Inc. | Method and system for cognitive function testing |
CN207396843U (zh) * | 2017-10-20 | 2018-05-22 | 贵州晶朗眼科医院 | 一种新型眼科显微镜目镜防护装置 |
CN109240504A (zh) * | 2018-09-25 | 2019-01-18 | 北京旷视科技有限公司 | 控制方法、模型训练方法、装置及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0653106B2 (ja) * | 1992-06-22 | 1994-07-20 | 株式会社エイ・ティ・アール通信システム研究所 | 視線情報解析装置 |
US20090153796A1 (en) * | 2005-09-02 | 2009-06-18 | Arthur Rabner | Multi-functional optometric-ophthalmic system for testing diagnosing, or treating, vision or eyes of a subject, and methodologies thereof |
US8240853B2 (en) * | 2009-05-01 | 2012-08-14 | Bioptigen, Inc. | Systems for imaging structures of a subject and related methods |
US20100312139A1 (en) * | 2009-06-04 | 2010-12-09 | Board Of Regents Of The University Of Texas System | Method for Identifying Mammals at Risk for Elevated intracranial Pressure |
CN102172225A (zh) * | 2011-02-28 | 2011-09-07 | 中国科学技术大学 | 斑马鱼行为诱发和分析方法及其系统 |
US20160132726A1 (en) * | 2014-05-27 | 2016-05-12 | Umoove Services Ltd. | System and method for analysis of eye movements using two dimensional images |
CN105640505B (zh) * | 2016-01-13 | 2018-06-19 | 昆明理工大学 | 一种基于ar模型谱估计的脉搏信号随机噪声去噪方法 |
WO2018026858A1 (en) * | 2016-08-02 | 2018-02-08 | New York University | Methods and kits for assessing neurological function and localizing neurological lesions |
CN108634962B (zh) * | 2018-04-11 | 2021-05-28 | 南方科技大学 | 斑马鱼前庭眼动反射测试仪及其测试方法 |
-
2019
- 2019-12-15 CN CN201911287917.3A patent/CN110897608B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0551955A1 (en) * | 1992-01-15 | 1993-07-21 | EUCLID MEDICAL INSTRUMENTS Inc. | System for determining the topography of a curved surface |
WO2013148557A1 (en) * | 2012-03-26 | 2013-10-03 | New York University | Methods and kits for assessing central nervous system integrity |
WO2017031331A1 (en) * | 2015-08-20 | 2017-02-23 | Eyeguide, Inc. | Method and system for cognitive function testing |
CN207396843U (zh) * | 2017-10-20 | 2018-05-22 | 贵州晶朗眼科医院 | 一种新型眼科显微镜目镜防护装置 |
CN109240504A (zh) * | 2018-09-25 | 2019-01-18 | 北京旷视科技有限公司 | 控制方法、模型训练方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110897608A (zh) | 2020-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019223069A1 (zh) | 基于直方图的虹膜图像增强方法、装置、设备及存储介质 | |
CN108154526B (zh) | 突发模式图像的图像对准 | |
US9117262B2 (en) | Learned piece-wise patch regression for image enhancement | |
US9697592B1 (en) | Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image | |
US20190347824A1 (en) | Method and apparatus for positioning pupil, storage medium, electronic device | |
US9020243B2 (en) | Image adjustment | |
WO2021115136A1 (zh) | 视频图像的防抖方法、装置、电子设备和存储介质 | |
CN110335216B (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
US9122960B2 (en) | Patch size adaptation for image enhancement | |
CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
WO2019223068A1 (zh) | 虹膜图像局部增强方法、装置、设备及存储介质 | |
CN111292272B (zh) | 图像处理方法、装置、介质以及电子设备 | |
CN110349161B (zh) | 图像分割方法、装置、电子设备、及存储介质 | |
CN110349107B (zh) | 图像增强的方法、装置、电子设备、及存储介质 | |
CN110648284B (zh) | 一种光照不均匀的图像处理方法及装置 | |
CN111383232A (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
CN110675334A (zh) | 一种图像增强方法及装置 | |
CN112418150A (zh) | 掌静脉图像评估方法、装置、计算机设备及存储介质 | |
CN108241855B (zh) | 图像生成方法和装置 | |
CN111476736B (zh) | 一种图像去雾方法、终端及系统 | |
CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
WO2019223066A1 (zh) | 虹膜图像全局增强方法、装置、设备及存储介质 | |
CN110897608B (zh) | 斑马鱼眼动分析方法、装置及计算机设备 | |
CN110349108B (zh) | 处理图像的方法、装置、电子设备、及存储介质 | |
WO2023215371A1 (en) | System and method for perceptually optimized image denoising and restoration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |