CN111522771B - 眼底图像处理方法、终端设备及存储介质 - Google Patents

眼底图像处理方法、终端设备及存储介质 Download PDF

Info

Publication number
CN111522771B
CN111522771B CN202010309686.8A CN202010309686A CN111522771B CN 111522771 B CN111522771 B CN 111522771B CN 202010309686 A CN202010309686 A CN 202010309686A CN 111522771 B CN111522771 B CN 111522771B
Authority
CN
China
Prior art keywords
model
fundus image
processed
decrypted
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010309686.8A
Other languages
English (en)
Other versions
CN111522771A (zh
Inventor
万物明
谢宗宝
杨叶辉
王磊
许言午
黄艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010309686.8A priority Critical patent/CN111522771B/zh
Publication of CN111522771A publication Critical patent/CN111522771A/zh
Application granted granted Critical
Publication of CN111522771B publication Critical patent/CN111522771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请公开了一种眼底图像处理方法、终端设备及存储介质,涉及图像处理领域。具体实现方案为:中央处理器获取眼底图像处理请求,所述眼底图像处理请求中包括待处理的眼底图像;所述中央处理器根据所述眼底图像处理请求,向图形处理器发送所述待处理的眼底图像;所述中央处理器触发所述图形处理器对所述待处理的眼底图像分析处理;所述中央处理器从所述图形处理器获取所述待处理的眼底图像的分析处理结果。本申请实施例提供的方案,减小了中央处理器和图形处理器之间的数据传输量,同时图形处理器的数据处理速度远高于中央处理器的数据处理速度,显著提高眼底图像分析处理的速度。

Description

眼底图像处理方法、终端设备及存储介质
技术领域
本申请涉及数据处理领域,尤其涉及图像处理领域中的一种眼底图像处理方法、终端设备及存储介质。
背景技术
眼底图像分析结果是眼底病筛查和诊治的重要依据,眼底图像分析装置的应用也越来越广泛。
在筛查场景,当拍摄完眼底图像后,如果能够较为迅速的给出该眼底图像的分析报告,就能够帮助医生和受检人及时有效的针对分析报告进行交流,同时提高眼底图像分析装置的分析速度能够加快分析过程,节省成本。目前眼底图像分析装置对眼底图像的分析的流程,通常是中央处理器(Central Processing Unit,CPU)在接收一张眼底图像后,对该眼底图像进行分析和处理,得到眼底图像的分析结果。其中,当CPU对眼底图像进行处理的过程中,还会调用图形处理器(Graphics Processing Unit,GPU)对眼底图像进行部分处理,然后GPU向CPU返回处理结果。
目前针对眼底图像分析装置的分析过程,在CPU和GPU之间需要进行大量的数据传输,导致眼底图像的分析处理速度较慢。
发明内容
提供了一种眼底图像处理方法、终端设备及存储介质。
根据第一方面,提供了一种眼底图像处理方法,应用于终端设备,所述方法包括:
中央处理器获取眼底图像处理请求,所述眼底图像处理请求中包括待处理的眼底图像;
所述中央处理器根据所述眼底图像处理请求,向图形处理器发送所述待处理的眼底图像;
所述中央处理器触发所述图形处理器对所述待处理的眼底图像分析处理;
所述中央处理器从所述图形处理器获取所述待处理的眼底图像的分析处理结果。
根据第二方面,提供了一种终端设备,包括中央处理器和图形处理器,其中:
所述中央处理器用于获取眼底图像处理请求,所述眼底图像处理请求中包括待处理的眼底图像;
所述中央处理器还用于根据所述眼底图像处理请求,向所述图形处理器发送所述待处理的眼底图像并触发所述图形处理器对所述待处理的眼底图像分析处理;
所述图形处理器用于根据所述中央处理器的触发,对所述待处理的眼底图像进行分析处理,并向所述中央处理器发送所述待处理的眼底图像的分析处理结果;
所述中央处理器还用于从所述图形处理器获取所述待处理的眼底图像的分析处理结果。
根据第三方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。
本申请实施例提供的眼底图像处理方法、终端设备及存储介质,首先通过中央处理器获取眼底图像处理请求,然后根据眼底图像处理请求向图形处理器发送待处理的眼底图像,并触发图形处理器对待处理的眼底图像分析处理,最后从图形处理器获取待处理的眼底图像的分析处理结果。本申请实施例提供的方案,由中央处理器调度图形处理器进行除读取待处理的眼底图像外的其他分析处理步骤,减小了中央处理器和图形处理器之间的数据传输量,同时图形处理器的数据处理速度远高于中央处理器的数据处理速度,因此本申请实施例提供的眼底图像处理方案,能够显著提高眼底图像分析处理的速度,解决了目前眼底图像的分析处理速度较慢的问题。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例提供的一种应用场景示意图;
图2为本申请实施例提供的眼底图像处理方法的流程示意图;
图3为本申请实施例提供的预加载模型的预加载示意图一;
图4为本申请实施例提供的预加载模型的预加载示意图二;
图5为本申请实施例提供的模型加载对比示意图;
图6为本申请实施例提供的模型加密对比示意图;
图7为本申请实施例提供的处理器处理步骤对比示意图;
图8为本申请实施例提供的终端设备的结构示意图;
图9是用来实现本申请实施例的眼底图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
首先结合图1对本申请适用的一种应用场景进行介绍。
图1为本申请实施例提供的一种应用场景示意图,如图1所示,包括终端设备10和眼底图像100,终端设备10中包括中央处理器11和图形处理器12,中央处理器11和图形处理器12之间可以进行数据交换。
终端设备10可以对眼底图像100进行分析处理,将眼底图像100输入至终端设备10后,终端设备10中的中央处理器11会对眼底图像100进行分析处理,得到相应的分析处理结果,然后进行输出。
在中央处理器11对眼底图像100进行分析处理的过程中,中央处理器11可以触发图形处理器12进行部分分析处理,此时在中央处理器11和图形处理器12之间存在一定的数据交换。
对眼底图像进行分析处理的装置为眼底图像分析装置,其中,眼底图像分析装置可以是图1示例的终端设备,也可以是图1示例的终端设备的一个部分,本申请实施例对此不作特别限定。
眼底图像分析结果是眼底病筛查和诊治的重要依据。随着眼底图像分析装置的应用愈来愈广,眼底图像分析处理的速度也逐渐受到重视。人们希望眼底图像分析装置在对眼底图像进行准确的分析处理的基础上,尽可能的提高眼底图像分析处理的速度。
目前,眼底图像分析处理的流程,首先是眼底图像分析装置接收一张眼底图像,然后对眼底图像进行若干模块的分析,最后将分析处理的结果融合,形成该眼底图像的分析报告并进行输出。在对眼底图像进行若干模块的分析中,每个模块一般包括3个主要的步骤,分别是对眼底图像进行预处理、推理和后处理。对预处理后的眼底图像进行推理的过程,通常是将预处理后的眼底图像输入至神经网络模型,由神经网络模型输出分析结果。其中,为了保证安全性,神经网络模型通常会采用复杂的算法进行加密处理。在对眼底图像进行分析处理时,将神经网络模型读入内存,然后再进行处理步骤。
针对眼底图像分析处理速度的角度而言,目前眼底图像分析处理的流程上存在着一些缺点。
首先,由于对眼底图像进行分析处理时涉及到神经网络模型对眼底图像的处理,而神经网络模型通常较大。在眼底图像分析处理过程中,将神经网络模型加载到内存需要耗费较长的时间,即模型读入耗时较大。
其次,由于神经网络模型采用了复杂的加密算法,对其进行解密操作也需要花费较长的时间。
最后,目前的眼底图像分析流程中,采用神经网络模型对眼底图像进行分析通常是由中央处理器调度图形处理器来处理,而其他的操作通常是由中央处理器来完成。在进行眼底图像分析中,涉及到大量的图像类操作,这些操作均是在中央处理器完成的,且目前的眼底图像分析流程中,图像数据在中央处理器和图形处理器以及磁盘间进行传输时耗时较大。
针对目前眼底图像分析流程中存在的各个问题,本申请实施例提供一种眼底图像处理方案,来提高眼底图像分析处理的速度,从而实现在眼底图像拍摄完毕后尽快输出对应的分析报告,加快分析过程。
下面将结合附图,以具体的实施例对本申请的方案进行说明。
图2为本申请实施例提供的眼底图像处理方法的流程示意图,该方法应用于终端设备,如图2所示,该方法可以包括:
S21,中央处理器获取眼底图像处理请求,所述眼底图像处理请求中包括待处理的眼底图像。
本申请实施例中,执行主体为终端设备,终端设备具备眼底图像分析处理的能力。在终端设备中,包括中央处理器和图形处理器,图形处理器受中央处理器的调度,从而参与对眼底图像的分析处理。
中央处理器可以获取眼底图像处理请求,该眼底图像处理请求中包括待处理的眼底图像,眼底图像处理请求用于指示终端设备对该眼底图像进行分析处理。
S22,所述中央处理器根据所述眼底图像处理请求,向图形处理器发送所述待处理的眼底图像。
S23,所述中央处理器触发所述图形处理器对所述待处理的眼底图像分析处理。
中央处理器接收到该眼底图像处理请求后,向图形处理器发送待处理的眼底图像,并触发图形处理器对该待处理的眼底图像进行分析处理。
S24,所述中央处理器从所述图形处理器获取所述待处理的眼底图像的分析处理结果。
在图形处理器对待处理的眼底图像进行分析处理后,图形处理器将得到的分析处理结果发送给中央处理器,然后由中央处理器来形成分析报告并进行输出。在本申请实施例中,中央处理器可以调度图形处理器完成大部分的待处理的眼底图像的分析处理,而中央处理器与图形处理器之间的数据传输主要是中央处理器向图形处理器传输待处理的眼底图像,以及图形处理器向中央处理器传输得到的分析处理结果,在中央处理器与图形处理器之间的数据传输量较小。同时,由于图形处理器的数据处理速度要远高于中央处理器的数据处理速度,因此,将大部分的分析处理由图形处理器来完成,能够显著提高眼底图像发分析处理速度。
本申请实施例提供的眼底图像处理方法,首先通过中央处理器获取眼底图像处理请求,然后根据眼底图像处理请求向图形处理器发送待处理的眼底图像,并触发图形处理器对待处理的眼底图像分析处理,最后从图形处理器获取待处理的眼底图像的分析处理结果。本申请实施例提供的方案,由中央处理器调度图形处理器进行除读取待处理的眼底图像外的其他分析处理步骤,减小了中央处理器和图形处理器之间的数据传输量,同时图形处理器的数据处理速度远高于中央处理器的数据处理速度,因此本申请实施例提供的眼底图像处理方案,能够显著提高眼底图像分析处理的速度,解决了目前眼底图像的分析处理速度较慢的问题。
下面将对本申请的方案进行详细说明。
在图1示例的场景中,对目前眼底图像分析处理的流程存在的缺点进行了介绍。针对上述存在的缺点,本申请实施例分别提供了相应的解决方案。
如上所述,眼底图像的分析处理通常要经过若干模块,每个模型一般包含3个步骤,分别是预处理、推理和后处理,部分模块没有推理的步骤。推理步骤通常是基于神经网络模型或推理模型来实现的。
本申请实施例中,对待处理的眼底图像进行的分析处理中包括至少一次模型分析处理,由中央处理器来触发图形处理器对待处理的眼底图像进行至少一次模型分析处理。
具体的,中央处理器触发图形处理器对待处理的眼底图像进行预处理,得到预处理后的眼底图像,并将预处理后的眼底图像输入预加载模型,得到预加载模型输出的待处理的眼底图像的模型分析处理结果。
由于眼底图像分析处理中涉及到模型分析处理,针对目前眼底图像分析流程中,在需要使用模型时再进行加载导致的耗时较长的问题,本申请实施例采用预加载的方式。
例如,可以将眼底图像分析处理中涉及到的模型全部写入一个文件,并对该文件进行加密。在对待处理的眼底图像进行分析处理之前,先将模型文件读入内存,此时该模型文件仍然处于加密状态。当分析程序到达某一模块时,从加密的模型文件中将所需要的模型进行解密并存储在预分配的内存上。
本申请实施例中,所有的模型均为预加载模型,预加载模型即为在对待处理的眼底图像进行分析之前就已经加载到内存上的模型。当中央处理器触发图形处理器对待处理的眼底图像进行分析处理时,针对模型分析处理,本申请实施例提供的方案在分析处理流程中就不再需要将模型文件从磁盘读取内存这一步骤,这是由于在进行分析处理之前就已经执行完将模型文件从磁盘读取到内存的步骤了,从而节省了从磁盘加载模型所需要的时间,提高了眼底图像分析处理的速度。
在读取模型文件并解密所需的模型的过程中,还涉及到模型的配置文件的加载,其中,配置文件是用于区分各个模型的。由于对待处理的眼底图像进行分析处理的过程中,可能包括多次的模型分析处理,从而涉及到多个预加载模型。配置文件中记录了各个预加载模型的相关信息,通过配置文件,能够获知在执行的每个步骤需要读取的是哪一个预加载模型。
针对配置文件的加载方式的不同,本申请实施例提供了两种不同的实现方案。
图3为本申请实施例提供的预加载模型的预加载示意图一,如图3所示,包括存储器31和磁盘32,存储器31即相当于上述实施例中的内存。由于本申请实施例中的方案需要预先将各个模型从磁盘32加载到存储器31,图3中示例了两个预加载模型,分别是模型1和模型2。
在图3的示例中,模型1和模型2被写入同一个模型文件30中,模型文件30已被加密。图3示例的方案,没有将配置文件从磁盘32读入存储器31的过程,这是由于各个预加载模型已经被写入分析程序中。当分析程序被运行时,中央处理器即可触发图形处理器对待处理的眼底图像进行分析处理。在分析程序运行到某个预加载模型对应的配置信息的部分时,直接通过写入分析程序中的配置信息相关部分,即可调用对应的预加载模型,对其进行解密操作,并进行分析处理操作。在图3示例的实现方式中,由于配置信息被写入分析程序中,因此无需对配置信息进行加密操作。
图4为本申请实施例提供的预加载模型的预加载示意图二,如图4所示,包括存储器41和磁盘42,存储器41即相当于上述实施例中的内存。由于本申请实施例中的方案需要预先将各个模型从磁盘42加载到存储器41,图4中示例了两个预加载模型,分别是模型1和模型2。
在图4示例的方案中,将模型1和模型2写入一个模型文件,然后将模型1和模型2的配置信息写入一个配置文件中,然后使用加密算法将模型文件和配置文件进行加密。在对待处理的眼底图像进行分析处理之前,先将模型文件和配置文件从磁盘42读入内存41,此时模型文件和配置文件仍然是处于加密状态的。
在采用预加载模型对预处理后的眼底图像进行分析处理之前,首先需要根据该预加载模型的配置信息,在预分配的内存中存储的多个模型中确定所述预加载模型。图4的示例中,文件40包括模型文件和配置文件,模型文件中包括模型1和模型2,且模型文件和配置文件为已加密的状态。
具体的,当分析程序到达某一模块,需要调用某个预加载模型,此时可以在预分配的某一内存上,将配置文件解密,根据配置文件中各个预加载模型的配置信息,从加密的模型文件中将所需要的预加载模型进行解密并防止预分配的内存上。此时,可以将存放解密后的配置文件的内存进行清除操作。
在某一预加载模型对预处理后的眼底图像处理完毕后,可以将该预加载模型所占用的内存清除。图5为本申请实施例提供的模型加载对比示意图,如图5所示,左边为目前的眼底图像分析流程中的模型加载方案示意图,在分析程序到达某一模块后,首先是从磁盘读入模型,然后对模型进行解密,得到解密后的模型,再采用该模型对待处理的眼底图像进行分析处理。图5的右边示意的为本申请实施例提供的眼底图像分析流程中的模型加载方案,如图5所示,本申请实施例是在对待处理的眼底图像进行分析处理前读入模型和配置文件,然后在分析程序到达某一模块后,解密配置文件,根据配置文件中的模型的配置文件调用预加载模型并解密预加载模型,得到解密后的预加载模型,再采用该预加载模型对待处理的眼底图像进行分析处理。
从图5示例的对比中可知,本申请实施例采用的模型预加载的方案,是将需要使用的模型提前加载到内存,在对待处理的眼底图像进行分析处理时,根据配置文件解密所需要的内存。由于模型均为预先加载到内存的模型,因此省去了将模型从磁盘等介质上读入内存的步骤,大大减少了分析程序需要的时间。
在上述实施例中,可知预加载模型以及相应的配置信息均为已加密状态,这是为了保证数据传输的安全性。因此,在调用预加载模型之前,首先要对预加载模型的配置信息进行解密操作,得到解密后的预加载模型的配置信息。然后,可以根据解密后的预加载模型的配置信息,在预分配的内存中存储的多个模型中确定已加密的预加载模型。最后,可以对已加密的预加载模型进行解密操作,得到解密后的预加载模型。图形处理器可以在中央处理器的触发下,根据解密后的预加载模型对待处理的眼底图像进行分析处理。
在目前的眼底图像分析流程中,为了保证模型的安全性,对预加载模型的加密采用的是复杂加密算法。若要对预加载模型进行解密,其计算量较大,固然能够较好的保证预加载模型的安全性,但是模型的解密过程也需要花费很长的时间。
为解决该问题,本申请实施例提供了一种复合加密的方案,保证模型安全性的前提下来减小模型的解密过程所需要的计算量和花费的时间。
针对任意一个预加载模型,将其划分为两个部分,分别为第一模型部分和第二模型部分。第一模型部分和第二模型部分分别进行加密,解密后的第一模型部分为加密后的第二模型部分的解密密钥。因此,在对该预加载模型进行解密时,可以首先对已加密的第一模型部分进行解密操作,得到解密后的第一模型部分。
由于解密后的第一模型部分为加密后的第二模型部分的解密密钥,因此可以根据解密后的第一模型部分对已加密的第二模型部分进行解密操作,得到解密后的第二模型部分。至此,预加载模型的两个部分-第一模型部分和第二模型部分均已完成解密,根据解密后的第一模型部分和解密后的第二模型部分,即可得到解密后的预加载模型。
图6为本申请实施例提供的模型加密对比示意图,如图6所示,左边示意的为目前的眼底图像分析处理方案中的模型加密方案,包括预加载模型60,该预加载模型60已采用复杂算法加密。若要对该预加载模型60进行解密,由于该预加载模型较大,且为了保证预加载模型60的安全性,采用的是复杂算法加密,因此解密操作的计算量较大,解密所需要的时间较长,对眼底图像分析处理的速度有较大的影响。
在图6的右边,为本申请实施例提供的复合加密的方案,如图6所示,预加载模型包括第一模型部分61和第二模型部分62,第一模型部分61和第二模型部分62分别进行加密。在图6中,第一模型部分61采用复杂算法加密,第二模型部分62采用简单算法加密。
具体的,对于每一个独立的模型文件,文件前面的一段数据(即第一模型部分61)使用复杂算法进行加密,而加密前的第一模型部分61作为简单加密算法的解密密钥,对第二模型部分62进行加密。为了增加安全性,可以交换两段加密数据的位置,两段数据之间可以加入随机值等。在对预加载模型进行解密时,先对进行了复杂算法加密的第一模型部分61进行解密,得到解密后的第一模型部分61,然后再采用解密后的第一模型部分61的数据作为第二模型部分62的解密密钥,使用简单算法解密剩下的第二模型部分62。针对所有的预加载模型,均采用本申请实施例提供的复合加密方案进行加密,然后按照一定方式进行融合,形成模型文件,并将关键数据记录在配置文件中。在对待处理的眼底图像进行分析处理前就将预加载模型读入内存。
需要说明的是,图6中第二模型部分62采用的简单算法加密,并不是指第二模型部分62采用的加密算法容易被破解,而是指如果破解了第一模型部分61的复杂算法加密,则直接将得到的解密后的第一模型部分61作为后面第二模型部分62简单算法加密的解密结果,能够在很短的时间内解密所有模型。而如果单独看第二模型部分62的简单算法加密,并不是指加密算法简单易被破解,简单算法加密也是较难被破解的,若不通过前面的复杂算法解密的结果,单独破解第二模型部分62也需要花费很长的时间。本申请中通过将前面的解密结果作为后面的简单算法加密的解密密钥,来达到既保证模型的安全也达到节省模型解密的时间的目的。
最后,针对中央处理器和图形处理器之间的数据传输量较大的问题,本申请实施例采用的方案是,将大部分的处理操作交由图形处理器来完成。图7为本申请实施例提供的处理器处理步骤对比示意图,如图7所示,左边示例的是目前的眼底图像分析流程,其中,读取待处理的眼底图像、预处理操作和后处理操作均由中央处理器来完成,图形处理器主要是在中央处理器的触发下,完成推理操作,即采用模型对待处理的眼底图像进行分析的过程。图7的右边示例的是本申请实施例提供的眼底图像分析流程,其中,只有读取待处理的眼底图像是由中央处理器来完成,而预处理操作、推理操作和后处理操作均是由图形处理器在中央处理器的触发下来完成的。
具体的,在目前的眼底图像分析处理过程中,只有推理过程涉及的神经网络模型或深度学习模型是由图形处理器来完成的,其余的步骤均是在中央处理器上进行的。由于图像类操作的数据量和计算量往往较大,使用图形处理器来执行上述操作,一方面可以加快计算速度,另一方面可以将中央处理器和图形处理器之间的数据传输量降低至最小。分析前一次申请足够的内存资源,然后将所有的中间数据存放在预分配的内存中,数据的处理均由图形处理器来完成,只有读入数据和返回报告以及一些必要的逻辑控制放在中央处理器上。返回分析处理报告的图像数据存放在内存中而不是存放在磁盘中,在显示分析处理报告时,直接从内存中读取数据,从而避免同样的数据在中央处理器、图形处理器和磁盘间进行多次传输。在对眼底图像分析处理结束后,可以释放预先申请的内存资源。
本申请实施例提供的眼底图像处理方法,首先通过中央处理器获取眼底图像处理请求,然后根据眼底图像处理请求向图形处理器发送待处理的眼底图像,并触发图形处理器对待处理的眼底图像分析处理,最后从图形处理器获取待处理的眼底图像的分析处理结果。本申请实施例提供的方案,主要通过3个方面来提高眼底图像的分析处理速度。首先针对模型加载耗时的问题,采用模型预加载的方案,预先将模型文件从磁盘等介质中加载到内存中,从而节省了模型加载的时间;其次,采用复合加密的方案,在保证模型的安全性的前提下极大的减小了模型解密所需的时间;最后,由中央处理器调度图形处理器进行除读取待处理的眼底图像外的其他分析处理步骤,减小了中央处理器和图形处理器之间的数据传输量,同时图形处理器的数据处理速度远高于中央处理器的数据处理速度,因此本申请实施例提供的眼底图像处理方案,能够显著提高眼底图像分析处理的速度,解决了目前眼底图像的分析处理速度较慢的问题。
图8为本申请实施例提供的终端设备的结构示意图,如图8所示,包括中央处理器81和图形处理器82,其中:
所述中央处理器81用于获取眼底图像处理请求,所述眼底图像处理请求中包括待处理的眼底图像;
所述中央处理器81还用于根据所述眼底图像处理请求,向所述图形处理器82发送所述待处理的眼底图像并触发所述图形处理器82对所述待处理的眼底图像分析处理;
所述图形处理器82用于根据所述中央处理器81的触发,对所述待处理的眼底图像进行分析处理,并向所述中央处理器81发送所述待处理的眼底图像的分析处理结果;
所述中央处理器还用于从所述图形处理器获取所述待处理的眼底图像的分析处理结果。
在一种可能的实现方式中,所述图形处理器82具体用于:
在所述中央处理器81的触发下,对所述待处理的眼底图像进行至少一次模型分析处理。
在一种可能的实现方式中,所述图形处理器82具体用于:
对所述待处理的眼底图像进行预处理,得到预处理后的眼底图像;
将所述预处理后的眼底图像输入预加载模型,得到预加载模型输出的所述待处理的眼底图像的模型分析处理结果。
在一种可能的实现方式中,所述图形处理器82还用于,在所述触发所述图形处理器将所述预处理后的眼底图像输入预加载模型,得到预加载模型输出的结果之前:
根据所述预加载模型的配置信息,在预分配的内存中存储的多个模型中确定所述预加载模型。
在一种可能的实现方式中,所述配置信息和所述预加载模型均为已加密状态,所述图形处理器82具体用于:
对所述预加载模型的配置信息进行解密操作,得到解密后的所述预加载模型的配置信息;
根据解密后的所述预加载模型的配置信息,在所述预分配的内存中存储的多个模型中确定已加密的所述预加载模型;
对已加密的所述预加载模型进行解密操作,得到解密后的所述预加载模型。
在一种可能的实现方式中,所述预加载模型包括第一模型部分和第二模型部分,所述第一模型部分和所述第二模型部分分别进行加密,解密后的第一模型部分为加密后的第二模型部分的解密密钥;所述图形处理器82具体用于:
对已加密的所述第一模型部分进行解密操作,得到解密后的所述第一模型部分;
根据所述解密后的第一模型部分对已加密的所述第二模型部分进行解密操作,得到解密后的所述第二模型部分;
根据解密后的所述第一模型部分和解密后的所述第二模型部分,得到解密后的所述预加载模型。
本申请实施例提供的终端设备,用于执行上述实施例中的眼底图像分析处理方法,具体的实现方式和技术效果请参见上述实施例,此处不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图9所示,是根据本申请实施例的眼底图像处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示,该电子设备包括:一个或多个处理器901、存储器902,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的眼底图像处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的眼底图像处理的方法。
存储器902作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的眼底图像处理的方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的眼底图像处理的方法。
存储器902可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据眼底图像处理的电子设备的使用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器902可选包括相对于处理器901远程设置的存储器,这些远程存储器可以通过网络连接至眼底图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
眼底图像处理的方法的电子设备还可以包括:输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接,图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息,以及产生与眼底图像处理的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
本申请实施例的技术方案,首先针对模型加载耗时的问题,采用模型预加载的方案,预先将模型文件从磁盘等介质中加载到内存中,从而节省了模型加载的时间;其次,采用复合加密的方案,在保证模型的安全性的前提下极大的减小了模型解密所需的时间;最后,由中央处理器调度图形处理器进行除读取待处理的眼底图像外的其他分析处理步骤,减小了中央处理器和图形处理器之间的数据传输量,同时图形处理器的数据处理速度远高于中央处理器的数据处理速度,因此本申请实施例提供的眼底图像处理方案,能够显著提高眼底图像分析处理的速度,解决了目前眼底图像的分析处理速度较慢的问题。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (9)

1.一种眼底图像处理方法,其特征在于,应用于终端设备,所述方法包括:
中央处理器获取眼底图像处理请求,所述眼底图像处理请求中包括待处理的眼底图像;
所述中央处理器根据所述眼底图像处理请求,向图形处理器发送所述待处理的眼底图像;
所述中央处理器触发所述图形处理器对所述待处理的眼底图像分析处理;
所述中央处理器从所述图形处理器获取所述待处理的眼底图像的分析处理结果;
所述方法还包括:
对预加载模型的配置信息进行解密操作,得到解密后的所述预加载模型的配置信息;所述配置信息和所述预加载模型均为已加密状态;
根据解密后的所述预加载模型的配置信息,在预分配的内存中存储的多个模型中确定已加密的所述预加载模型;
对已加密的所述预加载模型进行解密操作,得到解密后的所述预加载模型。
2.根据权利要求1所述的方法,其特征在于,所述中央处理器触发所述图形处理器对所述待处理的眼底图像分析处理,包括:
触发所述图形处理器对所述待处理的眼底图像进行至少一次模型分析处理。
3.根据权利要求2所述的方法,其特征在于,所述触发所述图形处理器对所述待处理的眼底图像进行至少一次模型分析处理,包括:
触发所述图形处理器对所述待处理的眼底图像进行预处理,得到预处理后的眼底图像,并将所述预处理后的眼底图像输入所述预加载模型,得到所述预加载模型输出的所述待处理的眼底图像的模型分析处理结果。
4.根据权利要求1所述的方法,其特征在于,所述预加载模型包括第一模型部分和第二模型部分,所述第一模型部分和所述第二模型部分分别进行加密,解密后的第一模型部分为加密后的第二模型部分的解密密钥;所述对已加密的所述预加载模型进行解密操作,得到解密后的所述预加载模型,包括:
对已加密的所述第一模型部分进行解密操作,得到解密后的所述第一模型部分;
根据所述解密后的第一模型部分对已加密的所述第二模型部分进行解密操作,得到解密后的所述第二模型部分;
根据解密后的所述第一模型部分和解密后的所述第二模型部分,得到解密后的所述预加载模型。
5.一种终端设备,其特征在于,包括中央处理器和图形处理器,其中:
所述中央处理器用于获取眼底图像处理请求,所述眼底图像处理请求中包括待处理的眼底图像;
所述中央处理器还用于根据所述眼底图像处理请求,向所述图形处理器发送所述待处理的眼底图像并触发所述图形处理器对所述待处理的眼底图像分析处理;
所述图形处理器用于根据所述中央处理器的触发,对所述待处理的眼底图像进行分析处理,并向所述中央处理器发送所述待处理的眼底图像的分析处理结果;
所述中央处理器还用于从所述图形处理器获取所述待处理的眼底图像的分析处理结果;
所述图形处理器具体用于:
对预加载模型的配置信息进行解密操作,得到解密后的所述预加载模型的配置信息;所述配置信息和所述预加载模型均为已加密状态;
根据解密后的所述预加载模型的配置信息,在预分配的内存中存储的多个模型中确定已加密的所述预加载模型;
对已加密的所述预加载模型进行解密操作,得到解密后的所述预加载模型。
6.根据权利要求5所述的设备,其特征在于,所述图形处理器具体用于:
在所述中央处理器的触发下,对所述待处理的眼底图像进行至少一次模型分析处理。
7.根据权利要求6所述的设备,其特征在于,所述图形处理器具体用于:
对所述待处理的眼底图像进行预处理,得到预处理后的眼底图像;
将所述预处理后的眼底图像输入所述预加载模型,得到所述预加载模型输出的所述待处理的眼底图像的模型分析处理结果。
8.根据权利要求5所述的设备,其特征在于,所述预加载模型包括第一模型部分和第二模型部分,所述第一模型部分和所述第二模型部分分别进行加密,解密后的第一模型部分为加密后的第二模型部分的解密密钥;所述图形处理器具体用于:
对已加密的所述第一模型部分进行解密操作,得到解密后的所述第一模型部分;
根据所述解密后的第一模型部分对已加密的所述第二模型部分进行解密操作,得到解密后的所述第二模型部分;
根据解密后的所述第一模型部分和解密后的所述第二模型部分,得到解密后的所述预加载模型。
9.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。
CN202010309686.8A 2020-04-20 2020-04-20 眼底图像处理方法、终端设备及存储介质 Active CN111522771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010309686.8A CN111522771B (zh) 2020-04-20 2020-04-20 眼底图像处理方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010309686.8A CN111522771B (zh) 2020-04-20 2020-04-20 眼底图像处理方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN111522771A CN111522771A (zh) 2020-08-11
CN111522771B true CN111522771B (zh) 2023-08-15

Family

ID=71903321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010309686.8A Active CN111522771B (zh) 2020-04-20 2020-04-20 眼底图像处理方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN111522771B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111899150A (zh) * 2020-08-28 2020-11-06 Oppo广东移动通信有限公司 数据处理方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627251A (zh) * 2003-12-09 2005-06-15 微软公司 使用图形处理单元加速并优化机器学习技术的处理
KR20140133067A (ko) * 2013-05-09 2014-11-19 삼성전자주식회사 그래픽 프로세싱 유닛, 이를 포함하는 그래픽 프로세싱 시스템, 및 이를 이용한 렌더링 방법
CN108241818A (zh) * 2016-12-26 2018-07-03 福建新大陆自动识别技术有限公司 一种使用外接通讯的手持设备解码加密系统
CN108491890A (zh) * 2018-04-04 2018-09-04 百度在线网络技术(北京)有限公司 图像方法和装置
CN108537870A (zh) * 2018-04-16 2018-09-14 太平洋未来科技(深圳)有限公司 图像处理方法、装置及电子设备
CN109360153A (zh) * 2018-10-26 2019-02-19 北京金山云网络技术有限公司 图像处理方法、超分辨率模型生成方法、装置及电子设备
CN109714337A (zh) * 2018-12-26 2019-05-03 网宿科技股份有限公司 一种数据加密传输方法及设备
CN110245695A (zh) * 2019-05-30 2019-09-17 华中科技大学 一种基于卷积神经网络的tbm岩渣大小等级识别方法
CN110261392A (zh) * 2019-06-19 2019-09-20 北京百度网讯科技有限公司 质量检测方法、装置、电子设备和系统
CN110764901A (zh) * 2019-09-17 2020-02-07 阿里巴巴集团控股有限公司 基于gpu资源的数据处理方法、电子设备及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239793B2 (en) * 2011-12-13 2016-01-19 Ati Technologies Ulc Mechanism for using a GPU controller for preloading caches

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1627251A (zh) * 2003-12-09 2005-06-15 微软公司 使用图形处理单元加速并优化机器学习技术的处理
KR20140133067A (ko) * 2013-05-09 2014-11-19 삼성전자주식회사 그래픽 프로세싱 유닛, 이를 포함하는 그래픽 프로세싱 시스템, 및 이를 이용한 렌더링 방법
CN108241818A (zh) * 2016-12-26 2018-07-03 福建新大陆自动识别技术有限公司 一种使用外接通讯的手持设备解码加密系统
CN108491890A (zh) * 2018-04-04 2018-09-04 百度在线网络技术(北京)有限公司 图像方法和装置
CN108537870A (zh) * 2018-04-16 2018-09-14 太平洋未来科技(深圳)有限公司 图像处理方法、装置及电子设备
CN109360153A (zh) * 2018-10-26 2019-02-19 北京金山云网络技术有限公司 图像处理方法、超分辨率模型生成方法、装置及电子设备
CN109714337A (zh) * 2018-12-26 2019-05-03 网宿科技股份有限公司 一种数据加密传输方法及设备
CN110245695A (zh) * 2019-05-30 2019-09-17 华中科技大学 一种基于卷积神经网络的tbm岩渣大小等级识别方法
CN110261392A (zh) * 2019-06-19 2019-09-20 北京百度网讯科技有限公司 质量检测方法、装置、电子设备和系统
CN110764901A (zh) * 2019-09-17 2020-02-07 阿里巴巴集团控股有限公司 基于gpu资源的数据处理方法、电子设备及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gu Liu等."A Program Behavior Study of Block Cryptography Algorithms on GPGPU".《2009 Fourth International Conference on Frontier of Computer Science and Technology》.2010,第1-7页,全文. *

Also Published As

Publication number Publication date
CN111522771A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111026096B (zh) 车辆诊断方法、装置、系统、设备及计算机可读存储介质
US9703670B2 (en) Performance state machine control with aggregation insertion
CN111080243A (zh) 业务处理的方法、装置、系统、电子设备及存储介质
CN111860167B (zh) 人脸融合模型获取及人脸融合方法、装置及存储介质
CN111582375A (zh) 数据增强策略搜索方法、装置、设备以及存储介质
CN111984476B (zh) 测试方法和装置
US10902548B2 (en) Frame invalidation control with causality attribution
CN111968203A (zh) 动画驱动方法、装置、电子设备及存储介质
CN111522771B (zh) 眼底图像处理方法、终端设备及存储介质
EP3920094A2 (en) Method and apparatus for updating user image recognition model
CN111669647B (zh) 实时视频的处理方法、装置、设备及存储介质
CN112735601B (zh) 利用蓝牙确定传染病密接人群的测试方法、装置及设备
CN113128436B (zh) 关键点的检测方法和装置
CN112085103B (zh) 基于历史行为的数据增强方法、装置、设备以及存储介质
CN111522599B (zh) 用于发送信息的方法和装置
CN111246286B (zh) 测试实例的获取方法、装置和电子设备
CN111898489B (zh) 用于标注手掌位姿的方法、装置、电子设备及存储介质
CN114238150A (zh) 程序代码的变异测试方法和装置
CN111767989A (zh) 神经网络的训练方法和装置
CN115145730B (zh) 运行监测方法、装置、电子设备和存储介质
CN112101281B (zh) 人脸图像的检测方法、装置
CN112446716A (zh) Ugc处理方法、装置、电子设备和存储介质
CN113377660B (zh) 测试方法和装置
CN113312131B (zh) 标注工具的生成、运行方法和装置
CN111930748B (zh) 流式计算系统数据追踪方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant