CN115457646A - 用于对眼底周边的病灶进行识别的装置、方法和相关产品 - Google Patents

用于对眼底周边的病灶进行识别的装置、方法和相关产品 Download PDF

Info

Publication number
CN115457646A
CN115457646A CN202211160992.5A CN202211160992A CN115457646A CN 115457646 A CN115457646 A CN 115457646A CN 202211160992 A CN202211160992 A CN 202211160992A CN 115457646 A CN115457646 A CN 115457646A
Authority
CN
China
Prior art keywords
fundus
edge
image
region
target region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211160992.5A
Other languages
English (en)
Inventor
吴腾云
琚烈
邹志康
赵晨
杨志文
戈宗元
张大磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air Force Specialty Medical Center of PLA
Beijing Airdoc Technology Co Ltd
Original Assignee
Air Force Specialty Medical Center of PLA
Beijing Airdoc Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air Force Specialty Medical Center of PLA, Beijing Airdoc Technology Co Ltd filed Critical Air Force Specialty Medical Center of PLA
Priority to CN202211160992.5A priority Critical patent/CN115457646A/zh
Publication of CN115457646A publication Critical patent/CN115457646A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于对眼底周边的病灶进行识别的装置、方法和相关产品。所述装置包括：处理器；以及存储器，其存储有用于对眼底周边的病灶进行识别的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取待进行病灶识别的超广角的眼底图像；使用检测模型对所述眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像；对所述眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像；以及使用识别模型分别对所述多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。利用本申请的方案，能够提高对眼底周边的病灶进行识别的准确性。

Description

用于对眼底周边的病灶进行识别的装置、方法和相关产品
技术领域
本申请一般涉及眼底病灶识别技术领域。更具体地，本申请涉及一种用于对眼底周边的病灶进行识别的装置、方法、设备和计算机可读存储介质。
背景技术
经研究发现，有22亿多人患有视力障碍或失明，其中10亿多人通过的早期的预防或有效治疗可以有效阻止病情的恶化，由此早期发现和正确识别眼底疾病对预防视力损伤具有重要意义。随着人工智能的发展，利用机器学习或深度学习处理眼底图像有望为预防和识别提供更好的解决方案。例如，利用深度学习处理超广角的眼底图像被用于眼底疾病的识别和预防。其中，相较于普通眼底图像，超广角的眼底图像可获得更宽的视网膜视野范围，改善了眼底图像的可视范围，显著降低了眼底疾病识别过程的复杂性，为眼底疾病识别和预防提供了更有价值的信息和数据。
然而，由于超广角的眼底图像覆盖范围广、存在的干扰物(例如睫毛、眼皮以及掩影)较多，不仅会增加模型的学习难度，还会忽略较小的病灶，使得眼底病灶识别结果不准确。此外，由于超广角的眼底图像覆盖范围广，其还可以发现眼底周围的一些容易被忽视的早期病变，但目前的方法并没有针对边缘性病灶识别的研究。
发明内容
为了至少部分地解决背景技术中提到的技术问题，本申请的方案提供了一种用于对眼底周边的病灶进行识别的方案。利用本申请的方案，可以降低模型学习的难度，并且能够获得准确的对眼底周边的病灶进行识别的识别结果。为此，本申请在如下的多个方面提供解决方案。
在第一方面中，本申请提供一种用于对眼底周边的病灶进行识别的装置，包括：处理器；以及存储器，其存储有用于对眼底周边的病灶进行识别的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取待进行病灶识别的超广角的眼底图像；使用检测模型对所述眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像；对所述眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像；以及使用识别模型分别对所述多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。
在一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含眼底边缘区域的眼底边缘图像：使用检测模型检测所述眼底图像中的目标区域；以及基于所述目标区域获得包含眼底边缘区域的眼底边缘图像。
在另一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含眼底边缘区域的眼底边缘图像：在所述眼底图像中对所述目标区域进行定位，确定所述目标区域的位置；以及基于所述目标区域的位置获得包含眼底边缘区域的眼底边缘图像。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述目标区域的位置：以所述眼底图像中的水平边界为参考边界，计算所述目标区域距离所述参考边界的距离；将所述目标区域距离所述参考边界的距离与定位阈值进行比较；以及根据比较结果确定所述目标区域位于所述眼底图像的上方、下方或者中部，以确定所述目标区域的位置。
在又一个实施例中，其中所述定位阈值包括第一定位阈值和第二定位阈值，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述目标区域位于所述眼底图像的上方、下方或者中部：响应于所述目标区域距离所述参考边界的距离小于所述第一定位阈值或者所述目标区域距离所述参考边界的距离大于所述第二定位阈值，确定所述目标区域位于所述眼底图像的上方或者下方；或者响应于所述目标区域距离所述参考边界的距离处于所述第一定位阈值和所述第二定位阈值之间，确定所述目标区域位于所述眼底图像的中部。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含眼底边缘区域的眼底边缘图像：基于所述目标区域位于所述眼底图像的上方、下方或者中部确定眼底边缘区域；以及根据所述眼底边缘区域获得包含所述眼底边缘区域的眼底边缘图像。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定眼底边缘区域：响应于所述目标区域位于所述眼底图像的上方或者下方，比较所述目标区域距离所述眼底图像各水平边界的距离并且将距离相应水平边界最远的一侧确定为所述眼底边缘区域；或者响应于所述目标区域位于所述眼底图像的中部，比较所述目标区域距离所述眼底图像各边界的距离并且将距离相应边界最远的一侧确定为所述眼底边缘区域。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含所述眼底边缘区域的眼底边缘图像：设置目标距离，对远离所述目标区域的所述目标距离处对所述眼底边缘区域进行裁剪，以获得包含所述眼底边缘区域的眼底边缘图像。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定对眼底周边的病灶进行识别的识别结果：使用识别模型分别识别多种尺度下的中间眼底边缘图像，获得多种尺度对应的识别结果；以及基于多种尺度对应的识别结果确定对眼底周边的病灶进行识别的识别结果。
在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定对眼底周边的病灶进行识别的识别结果：响应于多种尺度对应的识别结果中的多个识别结果相同，将多个识别结果对应的相同识别结果确定为对眼底周边的病灶进行识别的识别结果；或者响应于多种尺度对应的识别结果各不相同，将多种尺度对应的识别结果的平均值确定为对眼底周边的病灶进行识别的识别结果。
在第二方面中，本申请还提供一种用于对眼底周边的病灶进行识别的方法，包括：获取待进行病灶识别的超广角的眼底图像；使用检测模型对所述眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像；对所述眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像；以及使用识别模型分别对所述多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。
在第三方面中，本申请还提供一种计算机可读存储介质，其上存储有用于对眼底周边的病灶进行识别的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第二方面中所述的方法。
通过本申请的方案，通过使用检测模型对眼底图像进行检测获得眼底边缘图像，并将眼底边缘图像裁剪成多种尺度，进而通过识别模型对多种尺度下的中间眼底边缘图像进行识别来确定眼底周边的病灶的识别结果。基于此，本申请实施例通过检测模型检测出眼底边缘图像，可以滤除眼底图像中的干扰物，减少无关信息，从而降低识别模型的学习难度。进一步地，本申请实施例通过将眼底边缘图像裁剪成多种尺度，由此能够对眼底边缘图像的较小病灶进行识别，从而获得针对眼底周边的病灶的准确的识别结果，以便及早识别眼底周边的病灶并且及时采取有效干预。
附图说明
通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出超广角的眼底图像和普通眼底图像的示例性示意图；
图2是示出根据本申请实施例的用于对眼底周边的病灶进行识别的装置的示例性结构框图；
图3是示出根据本申请实施例的目标区域在眼底图像的多种位置状态的示例性示意图；
图4是示出根据本申请实施例的获得包含眼底边缘区域的眼底边缘图像的示例性示意图；
图5是示出根据本申请实施例的多种尺度的中间眼底图像的示例性示意图；
图6是示出根据本申请实施例的对三种尺度的中间眼底图像进行识别的示例性示意图；
图7是示出根据本申请实施例的用于对眼底周边的病灶进行识别的方法的示例性流程框图；以及
图8是示出根据本申请实施例的用于对眼底周边的病灶进行识别的设备的示例性结构框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本申请的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是示出超广角的眼底图像和普通眼底图像的示例性示意图。如图1中左图所示为超广角的眼底图像，图中右图所示为普通眼底图像。如背景技术描述可知，相较于普通眼底图像，超广角的眼底图像可获得更宽的视网膜视野范围，但利用深度学习来处理超广角的眼底图像时，存在以下几方面的缺陷：
在第一方面，由于超广角的眼底图像的视网膜视野范围广，其对应的长宽像素值通常达到3000以上，而深度学习技术中模型的学习会受到显存的限制，通常会将用于学习的数据图片的尺寸缩放到512个像素左右。这样会导致一些较小的病灶变得不可见，不仅增大了模型的学习难度，还使得识别到病灶的结果不准确。
在第二方面，超广角的眼底图像中会存在较多的干扰物，例如睫毛，眼皮及掩影等。这使得眼底图像中介入太多无关信息，导致眼底标志物趋于复杂化，同样会加大模型的学习难度。
在第三方面，由于超广角的眼底图像的视网膜视野范围广，可以发现周围眼底的一些容易被忽视的早期病变，进而控制其发展避免进一步恶化。然而，目前的方法并没有针对边缘性病灶识别的研究。
鉴于此，本申请实施例提供一种用于对眼底周边的病灶进行识别的方案，能够降低模型的学习难度，提高识别眼底周边病灶的准确性，以便为眼底周边病灶的及时干预提供便利。
图2是示出根据本申请实施例的用于对眼底周边的病灶进行识别的装置200的示例性结构框图。如图2中所示，该装置200可以包括处理器201和存储器202。其中，前述处理器201可以包括例如通用处理器(“CPU”)或专用图形处理器(“GPU”)，前述存储器202中存储有可在所述处理器上执行的程序指令。在一些实施例中，前述存储器202可以包括但不仅限于阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-AccessMemory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)。
进一步地，上述存储器202可以存储有用于对眼底周边的病灶进行识别的程序指令，当程序指令由所述处理器执行时，使得装置执行以下操作：获取待进行病灶识别的超广角的眼底图像，使用检测模型对眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像，接着对眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像，进而使用识别模型分别对多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。也就是说，本申请实施例的装置200通过对获取的超广角的眼底图像203进行检测以获得眼底边缘图像，接着将眼底边缘图像裁剪成多种尺度的中间眼底边缘图像，进而通过识别不同尺度下的中间眼底边缘图像来确定对眼底周边的病灶进行识别的识别结果204。
在一个实施例中，上述超广角的眼底图像可以经由例如超广角光学摄像头拍摄眼底获得。在获得眼底图像后，可以使用检测模型对眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像。具体而言，首先可以使用检测模型检测眼底图像中的目标区域，接着可以基于目标区域获得包含眼底边缘区域的眼底边缘图像。更为具体地，可以在眼底图像中对目标区域进行定位，确定目标区域的位置，进而基于目标区域的位置获得包含眼底边缘区域的眼底边缘图像。在一个实现场景中，前述检测模型可以例如是FasterR-CNN网络模型，前述目标区域可以包括黄斑和视盘所在区域(例如图4所示)。
可以理解，上述FasterR-CNN网络模型包括四个部分，即特征提取部分、RPN部分、Proposal Layer部分以及ROI Pooling部分。其中，前述特征提取部分包括多个卷积和池化层，以提取眼底图像的特征图。前述RPN部分用于从眼底图像的特征图获取目标区域的大致位置。进一步地，前述Proposal Layer部分用于根据前述目标区域的大致位置获得更精确的位置，而前述ROI Pooling部分可以利用前述获取的更精确的位置从眼底图像的特征图中确定目标，例如黄斑和视盘。其中，前述目标区域的精确位置可以包括目标(例如黄斑和视盘)的坐标，根据黄斑和视盘的坐标可以确定目标区域的位置，例如可以确定目标区域的中心。
在实现场景中，在采集被检者的眼底图像时，被检者的眼球会转动，使得目标区域的位置会发生变化，相应的眼底边缘区域的位置也会改变。由此，在本申请实施例中，基于前述检测模型获得目标的坐标，可以确定目标区域在眼底图像中的位置，例如确定目标区域是处于眼底图像中的上方、下方还是中部，进而获取包含眼底边缘区域的眼底边缘图像。
具体地，在一个实施例中，首先可以以眼底图像中的水平边界为参考边界，计算目标区域距离参考边界的距离，将目标区域距离所述参考边界的距离与定位阈值进行比较。接着，根据比较结果确定目标区域位于眼底图像的上方、下方或者中部，以确定目标区域的位置。其中，前述定位阈值可以包括第一定位阈值和第二定位阈值。在实现场景中，响应于目标区域距离参考边界的距离小于第一定位阈值或者目标区域距离所述参考边界的距离大于第二定位阈值，确定目标区域位于眼底图像的上方或者下方。或者，响应于目标区域距离参考边界的距离处于第一定位阈值和第二定位阈值之间，确定目标区域位于眼底图像的中部。
在实现场景中，前述第一定位阈值和第二定位阈值可以基于竖直边界的长度来进行划分(例如图3所示)。假设竖直边界的长度为h，则前述第一定位阈值可以设置为1/3h，而前述第二定位阈值可以设置为2/3h。在该场景下，当目标区域距离参考边界的距离小于1/3h时，确定目标区域位于眼底图像的上方；当目标区域距离所述参考边界的距离大于2/3h时，确定目标区域位于眼底图像的下方；当响应于目标区域距离参考边界的距离处于1/3h和2/3h之间时，确定目标区域位于眼底图像的中部。
基于上述确定的目标区域在眼底图像中的位置，可以确定眼底边缘区域。在一个实施例中，响应于目标区域位于眼底图像的上方或者下方，比较目标区域距离眼底图像各水平边界的距离并且将距离相应水平边界最远的一侧确定为眼底边缘区域。或者，响应于目标区域位于眼底图像的中部，比较目标区域距离眼底图像各边界的距离并且将距离相应边界最远的一侧确定为眼底边缘区域。
也就是说，本申请实施例在确定目标区域的位置时，首先可以根据目标区域在竖直方向上距离参考边界的距离确定出目标区域是处于眼底图像的上方、下方还是中部。当确定目标区域是处于眼底图像的上方或者下方时，通过比较目标区域距离眼底图像上、下边界的距离，并将距离上、下边界最远(也即竖直距离最大)的一侧确定为眼底边缘区域。在一个示例性场景中，当目标区域是处于眼底图像的上方。在该情景下，由于目标区域距离眼底图像下边界最远，则将距离眼底图像下边界的一侧确定为眼底边缘区域。
在一个实现场景中，当目标区域是处于眼底图像的中部时，需要比较目标区域在眼底图像各边界的距离，即比较目标区域距离眼底图像上、下边界以及左、右边界的距离，并且选择将距离上、下边界以及左、右边界中最远(即各边界距离的最大值)的一侧确定为眼底边缘区域。在一个示例性场景中，当目标区域是处于眼底图像的中部，并且目标区域距离眼底图像左边界的距离最大，则将距离眼底图像左边界的一侧确定为眼底边缘区域。可以理解，本申请实施例中计算目标区域距离各边界的距离时，均是计算由目标区域的中心至各边界的距离。
在确定眼底边缘区域后，可以对眼底边缘区域进行裁剪，以获得包含眼底边缘区域的眼底边缘图像。在一个实施例中，可以设置目标距离，对远离目标区域的目标距离处对眼底边缘区域进行裁剪，以获得包含眼底边缘区域的眼底边缘图像。其中，前述目标距离可以是目标区域中的黄斑中心至视盘中心的预设倍数下的距离，该预设倍数可以例如是3。作为示例，假设目标区域中的黄斑中心至视盘中心的距离为ad，则可以前述目标距离可以例如是3*ad。在该场景下，可以在远离目标区域中心的3*ad距离处裁剪眼底边缘区域，获得包含眼底边缘区域的眼底边缘图像。稍后将结合图3-图4详细描述如何获得包含眼底边缘区域的眼底边缘图像。
基于上述获得的眼底边缘图像，本申请实施例的装置进一步执行对眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像。在一些实施例中，可以沿水平方向或竖直方向均匀地裁剪眼底边缘图像，以获得多种尺度下的中间眼底边缘图像(例如图5所示)。接着，可以使用识别模型分别对多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。具体地，使用识别模型分别识别多种尺度下的中间眼底边缘图像，获得多种尺度对应的识别结果，以基于多种尺度对应的识别结果确定对眼底周边的病灶进行识别的识别结果。
在一个实现场景中，识别模型可以包括多个，每个识别模型可以例如是ResNet-50网络模型，并且每个识别模型分别对一种尺度类型的中间眼底边缘图像进行识别，从而获得多种尺度对应的识别结果。其中，响应于多种尺度对应的识别结果中的多个识别结果相同，将多个识别结果对应的相同识别结果确定为对眼底周边的病灶进行识别的识别结果。或者，响应于多种尺度对应的识别结果各不相同，将多种尺度对应的识别结果的平均值确定为对眼底周边的病灶进行识别的识别结果。换言之，当每个识别模型输出的识别结果中有多个识别结果相同，则将多个相同的识别结果作为最终的识别结果。当每个识别模型输出的识别结果都不相同，则将多个识别结果的平均值作为最终的识别结果。稍后将结合图6详细描述前述识别过程。
结合上述描述可知，本申请实施例通过对超广角的眼底图像进行目标定位，并基于定位后的目标区域获得眼底边缘图像，可以滤除眼底图像中的干扰信息，降低模型学习的识别难度。进一步地，本申请实施例将眼底边缘图像裁剪成不同尺度的中间眼底边缘图像，并使用多个识别模型分别对不同尺度的中间眼底边缘图像进行识别。接着，根据不同尺度下的识别结果确定对眼底周边的病灶的准确的识别结果。基于此，可以确保对眼底边缘图像中的较小病灶也能识别，从而获得针对眼底周边的病灶的准确的识别结果，以便及早识别眼底周边的病灶并且及时采取有效干预。
图3是示出根据本申请实施例的目标区域在眼底图像的多种位置状态的示例性示意图。如图3中所示为被检者的眼球变化时，目标区域(如图中多个小矩形框所示)处于眼底图像中的八种位置情形，包括目标区域处于眼底图像的上方(左上方、右上方)、下方(左下方、右下方)以及中部。如前所述，在确定目标区域的位置时，首先可以以眼底图像中的水平边界为参考边界，接着计算目标区域到参考边界的距离，进而根据该距离与第一定位阈值、第二定位阈值的比较结果来确定目标区域的位置。其中，前述目标区域到参考边界的距离是指目标区域的中心到参考边界的距离，前述第一定位阈值和第二定位阈值可以分别设置为1/3h和2/3h，h表示眼底图像竖直边界的长度。
作为示例，选择眼底图像中的上边界为参考边界，假设目标区域的中心到参考边界的距离为h1。当h1＜1/3h时，确定目标区域位于眼底图像的上方；当1/3h＜h1＜2/3h时，确定目标区域位于眼底图像的中部；当h1＞2/3h时，确定目标区域位于眼底图像的下方。其中，对于目标区域位于眼底图像的上方或者下方来说，可以通过比较目标区域距离眼底图像各水平边界(上、下边界)的距离，并且距离相应水平边界最远的一侧确定为眼底边缘区域。例如以目标区域位于眼底图像的右上方为例，假设其距离眼底图像上边界的距离为h2，距离眼底图像上边界的距离为h3。在该情形下，当h3大于h2，则选择h3所在一侧为眼底边缘区域(例如图中虚线框A所示)。类似地，可以确定目标区域位于眼底图像的下方时的眼底边缘图像，其眼底边缘图像在靠近上边界的位置处。
对于目标区域位于眼底图像的中部来说，需要比较目标区域距离眼底图像上、下边界以及左、右边界的距离，并且选择将距离上、下边界以及左、右边界最远的一侧确定为眼底边缘区域。例如，假设位于眼底图像中部的目标区域距离上、下边界以及左、右边界的距离分别为h4、h5以及w1、w2，当w1最大时时，确定w1所在一侧为眼底边缘区域(例如图中虚线框B所示)。
根据前文可知，在确定眼底边缘区域后，可以在远离目标区域的目标距离(例如3*ad，ad表示目标区域中的黄斑中心至视盘中心的距离)处对眼底边缘区域进行裁剪，以获得包含眼底边缘区域的眼底边缘图像。下面将以目标区域位于眼底图像的中部为例，结合图4详细描述如何获得包含眼底边缘区域的眼底边缘图像。
图4是示出根据本申请实施例的获得包含眼底边缘区域的眼底边缘图像的示例性示意图。如图4中(a)图所示为超广角的眼底图像，通过将该眼底图像输入至检测模型(例如FasterR-CNN网络模型)401进行检测，可以获得图4中(b)图所示出的目标区域。其中，该目标区域包括黄斑区域(矩形框C所示)和视盘区域(矩形框D所示)。进一步地，通过对前述目标区域进行定位，可以确定目标区域在眼底图像中的位置。关于确定目标区域在眼底图像中的位置的更多细节，可以参考上述图3所描述的内容，本申请在此不再赘述。例如，图中(c)图所示为目标区域在眼底图像的中部。
在该场景下，分别计算该目标区域距离眼底图像中各边界的距离，并确定最大距离一侧为眼底边缘区域。具体来说，分别计算该目标区域的中心距离眼底图像中各边界的距离，其中该目标区域的中心为黄斑区域的中心与视盘区域的中心连线的中心，并且可以由黄斑和视盘的坐标来确定。如图(b)中所示，将黄斑区域的中心与视盘区域的中心进行连线，则连线的中心即为目标区域的中心。由此可以分别计算目标区域的中心距离眼底图像的上、下、左、右边界的距离。作为示例，假设目标区域的中心距离眼底图像的上、下、左、右边界的距离分别为at、ab、aI和ar，当距离aI最大时，将aI所在一侧确定为眼底边缘图像。
图4中(d)图进一步示出，通过在远离目标区域中心的目标距离处裁剪眼底边缘区域(例如实线矩形框所示)。如前所述，该目标距离可以是目标区域中的黄斑中心至视盘中心的预设倍数下的距离。在黄斑区域的中心与视盘区域的中心连线的场景下，前述目标距离可以是连线长度(或者距离)的预设倍数下的距离，其中该预设倍数可以例如是3。作为示例，当连线距离为ad时，则目标距离可以例如是3*ad。由此，在远离目标区域的3*ad处对眼底边缘区域进行裁剪，以获得包含眼底边缘区域的眼底边缘图像，例如图4中的(e)图所示。
图5是示出根据本申请实施例的多种尺度的中间眼底图像的示例性示意图。如图5中(a)图所示为确定的眼底边缘图像(即上述图4中的(e)图所示)，该眼底边缘图像可以视为一种尺度类型下的中间眼底边缘图像。图5中(b)图所示为对(a)图中的眼底边缘图像沿水平方向裁剪后的一种尺度类型下的中间眼底边缘图像。进一步地，图5中(c)图所示为对(b)图中的眼底边缘图像沿水平方向裁剪后的一种尺度类型下的中间眼底边缘图像。即，图5中示出三种尺度下的中间眼底边缘图像。需要理解的是，图5仅仅示例性的而非限制的。例如在一些实施例中，还可以沿竖直方向对图5中示出三种尺度下的中间眼底边缘图像进行裁剪，以获得更多尺度下的中间眼底边缘图像。基于获得的多尺度下的中间眼底边缘图像，使用多个识别模型分别对多种尺度下的中间眼底边缘图像进行识别，获得各个尺度下对应的识别结果，进而根据各个尺度下对应的识别结果确定对眼底周边的病灶进行识别的识别结果。
图6是示出根据本申请实施例的对三种尺度的中间眼底图像进行识别的示例性示意图。如图6中所示出三种尺度的中间眼底图像，分别为尺度一、尺度二和尺度三下的中间眼底图像，其中尺度一包含一个中间眼底图像，尺度二包含两个中间眼底图像，尺度三包含四个中间眼底图像。在实现场景中，可以对应使用三个识别模型分别对其进行识别。例如，三个识别模型分别为识别模型601-1，识别模型601-2和识别模型601-3，并且识别模型601-1至识别模型601-3分别对尺度一、尺度二和尺度三下的中间眼底图像进行识别，获得多种尺度下各自的识别结果。可以理解，多种尺度下各自的识别结果是基于每个识别模型对每种尺度下的每个中间眼底图像的识别结果确定。当每种尺度包含一个中间眼底图像，则该中间眼底图像的识别结果即为相应尺度的识别结果；当每种尺度包含多个中间眼底图像时，取多个中间眼底图像的识别结果中的最大值作为相应尺度的识别结果。
例如在一个示例性场景中，假设尺度一中的一个中间眼底图像对应的识别结果为P1，则尺度一对应的识别结果为P1。假设尺度二中的两个中间眼底图像对应的识别结果为{P2，P3}并且P2大于P3时，则尺度二对应的识别结果为P2。类似地，假设尺度三中的四个中间眼底图像对应的识别结果为{P4，P5，P5，P6}并且P4为最大值时，则尺度三对应的识别结果为P4。如前所述，根据各尺度下的识别结果可以确定对眼底周边的病灶进行识别的识别结果，例如当有多个识别结果相同，则以相同的识别结果为最终的识别结果；当各识别结果均不相同时，可以取其平均值为最终的识别结果。以前述各识别结果为例，假设尺度一的识别结果P1和尺度二的识别结果P2相同，则眼底周边的病灶的识别结果为P1或P2。假设尺度一的识别结果P1、尺度二的识别结果P2以及尺度三的识别结果P4均不相同时，则眼底周边的病灶的识别结果为P1、P2和P4的平均值。基于此，可以识别眼底图像中较小的病灶，以提高识别结果的准确性。
图7是示出根据本申请实施例的用于对眼底周边的病灶进行识别的方法700的示例性流程框图。如图7中所示，在步骤702处，获取待进行病灶识别的超广角的眼底图像。在一个实施例中，前述超广角的眼底图像可以经由超广角光学摄像头拍摄眼底获得。基于获得的超广角的眼底图像，在步骤704处，使用检测模型对眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像。在一个实施例中，该检测模型可以例如是FasterR-CNN网络模型。通过使用该检测模型首先可以获得眼底图像中的目标区域(包括黄斑区域和视盘区域)，接着可以对在眼底图像中对目标区域进行定位，确定目标区域的位置。例如可以确定目标区域处于眼底图像中的上方、下方还是中部，以基于目标区域的具体位置获得包含眼底边缘区域的眼底边缘图像。其中，关于确定目标区域的位置和获得包含眼底边缘区域的眼底边缘图像的更多细节，可以参考上述图3-图4所描述的内容，本申请在此不再赘述。
接着，在步骤706处，对眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像。在实现场景中，可以沿水平方向或者竖直方向对眼底边缘图像进行裁剪，获得多种尺度下的中间眼底边缘图像(例如图5中示例性示出三种尺度下的中间眼底边缘图像)。进一步地，在步骤708处，使用识别模型分别对多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。在一个实施例中，该识别模型可以包括多个，并且每个识别模型可以例如是ResNet-50网络模型。通过每个识别模型对每种尺度下的中间眼底边缘图像进行识别，以获得多种尺度各自的识别结果，进而获得对眼底周边的病灶进行识别的识别结果。其中，关于获得眼底周边的病灶的识别结果的更多细节，可以参考上述图6的描述，本申请在此不再赘述。
可以理解，上述检测模型和识别模型在使用时，需要对其进行训练。其中，在训练过程中可以通过损失函数来计算模型的损失值，通过损失值调整权重以完成训练。在一个实施例中，对于检测模型而言，其损失函数可以表示成如下式子：
Figure BDA0003859947430000131
其中，Lcls表示交叉熵损失函数，其用来对预测的类别概率
Figure BDA0003859947430000132
和真实的类别标注pi计算损失值；Lreg表示Smooth L1损失函数，其用来对预测的检测框位置和真实的检测框位置标注计算损失值。在一个实施例中，Lcls表示交叉熵损失函数和Smooth L1损失函数可以分别表示成如下公式：
Figure BDA0003859947430000133
Figure BDA0003859947430000134
在一些实施例中，识别模型的损失函数可以为交叉熵损失函数，例如上述公式(2)所示。
图8是示出根据本申请实施例的用于对眼底周边的病灶进行识别的设备800的示例性结构框图。可以理解的是，实现本申请方案的设备可以是单一的设备(例如计算设备)或包括各种外围设备的多功能设备。
如图8中所示，本申请的设备可以包括中央处理器或中央处理单元(“CPU”)811，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备800还可以包括大容量存储器812和只读存储器(“ROM”)813，其中大容量存储器812可以配置用于存储各类数据，包括各种与超广角的眼底图像、算法数据、中间结果和运行设备800所需要的各种程序。ROM 813可以配置成存储对于设备800的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
可选地，设备800还可以包括其他的硬件平台或组件，例如示出的张量处理单元(“TPU”)814、图形处理单元(“GPU”)815、现场可编程门阵列(“FPGA”)816和机器学习单元(“MLU”)817。可以理解的是，尽管在设备800中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备800可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于对眼底周边的病灶进行识别的方法。
在一些实施例中，为了便于数据与外部网络的传递和交互，本申请的设备800还包括通信接口818，从而可以通过该通信接口818连接到局域网/无线局域网(“LAN/WLAN”)805，进而可以通过该LAN/WLAN连接到本地服务器806或连接到因特网(“Internet”)807。替代地或附加地，本申请的设备800还可以通过通信接口818基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代(“3G”)、第4代(“4G”)或第5代(“5G”)的无线通信技术。在一些应用场景中，本申请的设备800还可以根据需要访问外部网络的服务器808和数据库809，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如眼底图像、眼底边缘图像、多尺度下的中间眼底边缘图像以及识别结果等的各类数据或指令。
设备800的外围设备可以包括显示装置802、输入装置803和数据传输接口804。在一个实施例中，显示装置802可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的识别眼底周边的病灶进行语音提示和/或图像视频显示。输入装置803可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口804可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCI Express和高清多媒体接口(“HDMI”)等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口804可以接收来自于超广角拍摄的眼底图像，并且向设备800传送包括眼底图像或各种其他类型的数据或结果。
本申请的设备800的上述CPU 811、大容量存储器812、ROM 813、TPU 814、GPU 815、FPGA 816、MLU 817和通信接口818可以通过总线819相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线819，CPU 811可以控制设备800中的其他硬件组件及其外围设备。
以上结合图8描述了可以用于执行本申请的用于对眼底周边的病灶进行识别的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本申请的实现方式和实现实体并不受其限制，而是可以在不偏离本申请的精神下做出改变。
根据上述结合附图的描述，本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机程序产品。该计算机程序产品可以用于实现本申请结合附图7所描述的用于对眼底周边的病灶进行识别的方法。
应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
应当理解，当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
虽然本申请的实施方式如上，但所述内容只是为便于理解本申请而采用的实施例，并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种用于对眼底周边的病灶进行识别的装置，包括：
处理器；以及
存储器，其存储有用于对眼底周边的病灶进行识别的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：
获取待进行病灶识别的超广角的眼底图像；
使用检测模型对所述眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像；
对所述眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像；以及
使用识别模型分别对所述多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。
2.根据权利要求1所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含眼底边缘区域的眼底边缘图像：
使用检测模型检测所述眼底图像中的目标区域；以及
基于所述目标区域获得包含眼底边缘区域的眼底边缘图像。
3.根据权利要求2所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含眼底边缘区域的眼底边缘图像：
在所述眼底图像中对所述目标区域进行定位，确定所述目标区域的位置；以及
基于所述目标区域的位置获得包含眼底边缘区域的眼底边缘图像。
4.根据权利要求3所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述目标区域的位置：
以所述眼底图像中的水平边界为参考边界，计算所述目标区域距离所述参考边界的距离；
将所述目标区域距离所述参考边界的距离与定位阈值进行比较；以及
根据比较结果确定所述目标区域位于所述眼底图像的上方、下方或者中部，以确定所述目标区域的位置。
5.根据权利要求4所述的装置，其中所述定位阈值包括第一定位阈值和第二定位阈值，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述目标区域位于所述眼底图像的上方、下方或者中部：
响应于所述目标区域距离所述参考边界的距离小于所述第一定位阈值或者所述目标区域距离所述参考边界的距离大于所述第二定位阈值，确定所述目标区域位于所述眼底图像的上方或者下方；或者
响应于所述目标区域距离所述参考边界的距离处于所述第一定位阈值和所述第二定位阈值之间，确定所述目标区域位于所述眼底图像的中部。
6.根据权利要求4所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含眼底边缘区域的眼底边缘图像：
基于所述目标区域位于所述眼底图像的上方、下方或者中部确定眼底边缘区域；以及
根据所述眼底边缘区域获得包含所述眼底边缘区域的眼底边缘图像。
7.根据权利要求6所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定眼底边缘区域：
响应于所述目标区域位于所述眼底图像的上方或者下方，比较所述目标区域距离所述眼底图像各水平边界的距离并且将距离相应水平边界最远的一侧确定为所述眼底边缘区域；或者
响应于所述目标区域位于所述眼底图像的中部，比较所述目标区域距离所述眼底图像各边界的距离并且将距离相应边界最远的一侧确定为所述眼底边缘区域。
8.根据权利要求6所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得包含所述眼底边缘区域的眼底边缘图像：
设置目标距离，对远离所述目标区域的所述目标距离处对所述眼底边缘区域进行裁剪，以获得包含所述眼底边缘区域的眼底边缘图像。
9.根据权利要求1所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定对眼底周边的病灶进行识别的识别结果：
使用识别模型分别识别多种尺度下的中间眼底边缘图像，获得多种尺度对应的识别结果；以及
基于多种尺度对应的识别结果确定对眼底周边的病灶进行识别的识别结果。
10.根据权利要求9所述的装置，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定对眼底周边的病灶进行识别的识别结果：
响应于多种尺度对应的识别结果中的多个识别结果相同，将多个识别结果对应的相同识别结果确定为对眼底周边的病灶进行识别的识别结果；或者
响应于多种尺度对应的识别结果各不相同，将多种尺度对应的识别结果的平均值确定为对眼底周边的病灶进行识别的识别结果。
11.一种用于对眼底周边的病灶进行识别的方法，包括：
获取待进行病灶识别的超广角的眼底图像；
使用检测模型对所述眼底图像进行检测，以获得包含眼底边缘区域的眼底边缘图像；
对所述眼底边缘图像进行裁剪操作，以获得多种尺度下的中间眼底边缘图像；以及
使用识别模型分别对所述多种尺度下的中间眼底边缘图像进行识别，以确定对眼底周边的病灶进行识别的识别结果。
12.一种计算机可读存储介质，其上存储有用于对眼底周边的病灶进行识别的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现根据权利要求11所述的方法。
CN202211160992.5A 2022-09-22 2022-09-22 用于对眼底周边的病灶进行识别的装置、方法和相关产品 Pending CN115457646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211160992.5A CN115457646A (zh) 2022-09-22 2022-09-22 用于对眼底周边的病灶进行识别的装置、方法和相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211160992.5A CN115457646A (zh) 2022-09-22 2022-09-22 用于对眼底周边的病灶进行识别的装置、方法和相关产品

Publications (1)

Publication Number Publication Date
CN115457646A true CN115457646A (zh) 2022-12-09

Family

ID=84306298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211160992.5A Pending CN115457646A (zh) 2022-09-22 2022-09-22 用于对眼底周边的病灶进行识别的装置、方法和相关产品

Country Status (1)

Country Link
CN (1) CN115457646A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309549A (zh) * 2023-05-11 2023-06-23 爱尔眼科医院集团股份有限公司 一种眼底区域检测方法、装置、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309549A (zh) * 2023-05-11 2023-06-23 爱尔眼科医院集团股份有限公司 一种眼底区域检测方法、装置、设备及可读存储介质
CN116309549B (zh) * 2023-05-11 2023-10-03 爱尔眼科医院集团股份有限公司 一种眼底区域检测方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
EP3539054B1 (en) Neural network image processing apparatus
US11227158B2 (en) Detailed eye shape model for robust biometric applications
CN107111753B (zh) 用于注视跟踪模型的注视检测偏移
US20210012127A1 (en) Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium
WO2020000908A1 (zh) 一种人脸活体检测方法及装置
US11715231B2 (en) Head pose estimation from local eye region
US20220148328A1 (en) Pedestrian detection method and apparatus, computer-readable storage medium, and chip
JP7230939B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2019045750A1 (en) DETAILED EYE SHAPE MODEL FOR ROBUST BIOMETRIC APPLICATIONS
US20220198836A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
CN113939851A (zh) 用于估计用户的眼睛相关几何参数的方法和系统
WO2022252642A1 (zh) 基于视频图像的行为姿态检测方法、装置、设备及介质
WO2021084972A1 (ja) 物体追跡装置および物体追跡方法
CN111839455A (zh) 甲状腺相关眼病的眼部体征识别方法及设备
CN115457646A (zh) 用于对眼底周边的病灶进行识别的装置、方法和相关产品
EP3757878A1 (en) Head pose estimation
JP2015204030A (ja) 認識装置及び認識方法
Zhou et al. Automatic optic disc detection in color retinal images by local feature spectrum analysis
CN112183200B (zh) 一种基于视频图像的眼动追踪方法和系统
KR101791604B1 (ko) 헤드 포지션 추정 방법 및 장치, 컴퓨터 판독가능 저장 매체
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
NL2004878C2 (en) System and method for detecting a person's direction of interest, such as a person's gaze direction.
CN109447995B (zh) 一种眼前节图像的分割方法及其相关装置
WO2023170975A1 (ja) 学習方法、葉状態識別装置、およびプログラム
JP7374401B1 (ja) 人物相関判定装置、人物相関判定方法および人物相関判定プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination