CN113206957B - 一种用于内窥镜的图像处理方法和系统、存储介质 - Google Patents

Abstract

本发明涉及内窥镜技术领域，具体涉及一种用于内窥镜的图像处理方法和系统、存储介质。该方法包括：图像采集单元获取内窥镜采集的图像信号后，将该图像信号发送给图像处理单元，逻辑处理模块对图像信号进行格式处理，分别得到第一图像数据和第二图像数据；逻辑处理模块还根据图像信号同时生成显示标志信号和存储标志信号；处理器模块根据存储标志信号输出第一图像数据以进行存储；逻辑处理模块还根据显示标志信号对第二图像数据进行预处理以输出预定格式的显示图像信号。这样对图像的显示功能的实现全部基于逻辑处理模块，使得显示功能更加稳定，而对图像的存储功能的实现基于逻辑处理模块和处理器模块的配合作用，这样也使得存储功能不易出错。

Description

一种用于内窥镜的图像处理方法和系统、存储介质

技术领域

本发明涉及内窥镜技术领域，具体涉及一种用于内窥镜的图像处理方法和系统、存储介质。

背景技术

内窥镜是医学领域重要的设备，其主要用于检测病变区域的图像信息以供医生观察，目前内窥镜成像系统基本都包含图像实时显示和同步存储功能，图像实时显示方便医生观察，以为医生手术提供支持，同步存储功能方便医生对重点图像进行存储。由于存储功能技术实现需要基于操作系统、文件系统的软件组件，即需要依赖处理器模块实现，而实时显示功能完全由FPGA(可编程逻辑器件)实现，处理器需要依赖软件环境，当软件环境发生变化时(例如插入优盘)等，此时软件程序容易出现错误，这样存储功能很容易出现错误。在同一个系统中，如果存储功能错误，容易引起实时显示功能异常，为手术引入风险。

发明内容

本发明主要解决的技术问题是现有技术中内窥镜的图像处理方法容易引起存储功能和显示功能出错。

一种用于内窥镜的图像处理方法,包括：

图像采集单元获取内窥镜采集的图像信号，将该图像信号发送给图像处理单元；

图像处理单元的逻辑处理模块对所述图像信号进行格式处理，分别得到用于存储的第一图像数据和用于显示的第二图像数据；

所述逻辑处理模块还根据所述图像信号同时生成显示标志信号和存储标志信号；

图像处理单元的处理器模块根据所述存储标志信号输出所述第一图像数据以进行存储；

所述逻辑处理模块还根据所述显示标志信号对所述第二图像数据进行预处理以输出预定格式的显示图像信号。

所述图像信号包括数据帧信号、行信号、图像数据信号和时钟信号；

所述逻辑处理模块还根据所述图像信号同时生成显示标志信号和存储标志信号包括：

所述逻辑处理模块在数据帧信号有效期内，对行信号进行计数，当计数值达到第一设定值时，输出所述显示标志信号；

所述逻辑处理模块在数据帧信号有效期内，对行信号进行计数，当计数值达到第二设定值时，输出所述存储标志信号。

在一种实施例中，所述图像信号还包括时钟信号；

在输出所述第一图像数据以进行存储之前还包括：图像处理单元将所述第一图像转换为预设格式的第一标准数据流，并根据所述时钟信号将所述第一标准数据流写入到存储区域的第一存储地址上；

在对所述第二图像数据进行预处理之前还包括：图像处理单元将所述第二图像转换为预设格式的第二标准数据流，并根据所述时钟信号将所述第二标准数据流写入到存储区域的第二存储地址上。

在一种实施例中，所述逻辑处理模块还根据所述显示标志信号对所述第二图像数据进行预处理以输出预定格式的显示图像信号包括：

所述逻辑处理模块根据显示标志信号读取所述第二存储地址上存储的第二标准数据流，并对该第二标准数据流进行时序转换以输出预设格式的显示图像信号。

在一种实施例中，在根据所述时钟信号将所述第一标准数据流写入到存储区域的第一存储地址上之后还包括：

图像处理单元读取所述第一存储地址上存储的第一标准数据流，对该第一标准数据流进行压缩和打包处理后输出。

一种用于内窥镜的图像处理单元，包括逻辑处理模块和处理器模块；

所述逻辑处理模块用于接收通过图像采集单元发送来的内窥镜采集的图像信号；

所述逻辑处理模块还用于对所述图像信号进行格式处理，分别得到用于存储的第一图像数据和用于显示的第二图像数据；

所述逻辑处理模块还用于根据所述图像信号同时生成显示标志信号和存储标志信号；

所述处理器模块用于根据所述存储标志信号输出所述第一图像数据以进行存储；

所述逻辑处理模块还用于根据所述显示标志信号对所述第二图像数据进行预处理以输出预定格式的显示图像信号。

其中，所述图像处理单元还包括写入模块；所述图像信号包括时钟信号；

所述写入模块用于在输出所述第一图像数据以进行存储之前，将所述第一图像转换为预设格式的第一标准数据流，并根据所述时钟信号将所述第一标准数据流写入到存储区域的第一存储地址上；

所述写入模块还用于在对所述第二图像数据进行预处理之前，将所述第二图像转换为预设格式的第二标准数据流，并根据所述时钟信号将所述第二标准数据流写入到存储区域的第二存储地址上。

在一种实施例中，所述逻辑处理模块具体用于根据显示标志信号读取所述第二存储地址上存储的第二标准数据流，并对该第二标准数据流进行时序转换以输出预设格式的显示图像信号。

在一种实施例中，还包括压缩模块，所述压缩模块用于在将所述第一标准数据流写入到存储区域的第一存储地址上之后，读取所述第一存储地址上存储的第一标准数据流，对该第一标准数据流进行压缩和打包处理后输出。

一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现如上所述的方法。

依据上述实施例的用于内窥镜的图像处理方法,获取内窥镜采集的图像信号后，将该图像信号发送给图像处理单元，图像处理单元包括逻辑处理模块(即PL端，Programmable Logic)和处理器模块(也叫处理器系统，即PS端，Processor System)；图像处理单元的逻辑处理模块对图像信号进行格式处理，分别得到用于存储的第一图像数据和用于显示的第二图像数据；逻辑处理模块还根据图像信号同时生成显示标志信号和存储标志信号；图像处理单元的处理器模块根据存储标志信号输出第一图像数据以进行存储；逻辑处理模块还根据显示标志信号对第二图像数据进行预处理以输出预定格式的显示图像信号。这样对图像的显示功能的实现全部基于逻辑处理模块，使得显示功能更加稳定，而对图像的存储功能的实现基于逻辑处理模块和处理器模块的配合作用，这样也使得存储功能不易出错。

附图说明

图1为本申请实施例的内窥镜的图像处理方法流程图；

图2为本申请实施例的内窥镜的图像处理方法信流图；

图3为本申请实施例的内窥镜的图像处理系统结构框图；

图4为本申请实施例的图像处理系统硬件连接关系示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

现有技术中，对于内窥镜获取的图像信号，对于显示功能和存储功能的实现，首先在逻辑处理模块对图像信号进行格式处理，然后再由处理器模块生成两路控制信号，两路控制信号再分别发送给逻辑处理模块，控制逻辑处理模块进行图像显示和存储，这样控制信号由PS端生成，再传输到PL端，由于PS端是软件环境，系统环境不稳定，因此在PS端生成控制信号然后再将控制信号传回给PL端的过程中风险比较高，这样导致图像显示和存储过程容易出现错误，使得图像显示功能不稳定，或者是由于存储功能出现问题导致显示功能不稳定。在本发明实施例中，对内窥镜的图像处理时，将图像的实时显示功能全部通过处理单元中的逻辑处理器部分实现，将图像的存储功能主要由处理器模块实现，这样图像显示和图像存储两个功能从逻辑和底层硬件单元完全划分开，这样和现有技术相比，显示功能的实现不依赖处理器模块的软件环境，避免了由于软件环境的变化引起的系统处理错误，从而影响显示功能的正常实现，保证医生手术的安全进行。

实施例一：

请参考图1和图2，本实施例提供一种用于内窥镜的图像处理方法,该方法包括：

步骤101：图像采集单元获取内窥镜采集的图像信号，将该图像信号发送给图像处理单元。

其中，本实施例中内窥镜中的图像采集单元获取图像信号，内窥镜获取的图像信号具体包括数据帧信号(fv)、行信号(lv)、图像数据信号(data)和时钟信号(pixclk)，其中图像数据信号包括了图像相关的所有信息，例如图像的特征信息等相关数据。

步骤102：图像处理单元的逻辑处理模块(即FPGA PL)对图像信号进行格式处理，分别得到用于存储的第一图像数据和用于显示的第二图像数据。

其中，第一图像数据和第二图像数据是通过对图像数据信号(data)分别进行不同的处理和转换后得到的，转换后的第一图像数据和第二图像数据的格式根据需要设定，例如，第二图像数据的格式是针对显示的图像，其格式可以为VGA、SDI、DVI、HDMI等接口支持的常见视频格式，以使得输出的图像可以直接通过对应的接口传输给显示器进行显示，第一图像数据的格式主要用于存储，例如其可以是支持H265压缩(比如YUV420)的MP4格式。

步骤103：逻辑处理模块还根据图像信号同时生成显示标志信号和存储标志信号。

本实施例中，逻辑处理模块接收到内窥镜采集的图像信号之后，根据图像信号生成两路标志信号，即显示标志信号和存储标志信号，该显示标志信号和存储标志信号也可以理解为控制信号，其主要用于控制图像显示和图像存储。具体的，所述逻辑处理模块在图像信号的帧信号有效期内，对行信号进行计数，当计数值达到第一设定值时，则输出显示标志信号；同时所述逻辑处理模块在帧信号有效期内，对行信号进行计数，当计数值达到第二设定值时，则输出存储标志信号。本实施例通过设定第一设定值和第二设定值，当图像计数值累积到对应的设定值时，则输出对应的标志信号，以根据该标志信号对图像进行显示或存储。

步骤104：图像处理单元的处理器模块根据存储标志信号输出第一图像数据以进行存储。

当处理器模块收到逻辑处理模块发送的存储标志信号后，表示当前多帧数据组成一幅图像，处理器模块则将逻辑处理模块处理后的第一图像数据输出至存储设备，如U盘或硬盘，以进行存储操作，方便医生后续查看。

步骤105：逻辑处理模块还根据显示标志信号对第二图像数据进行预处理以输出预定格式的显示图像信号。

需要说明的是，在一种实施例中，处理单元中包括多个逻辑处理模块和多个处理器模块，其中一个逻辑处理模块对图像信号进行格式处理，将处理后的结果送入第二个逻辑处理模块进行预处理，然后将预处理后的图像信号发送给第三个逻辑处理模块进行显示处理。

本实施例在显示或者存储前，首先通过图像处理单元将第一图像转换为预设格式的第一标准数据流(例如转换为符合axi4标准的数据流)，并根据时钟信号将第一标准数据流写入到存储区域的第一存储地址上。第一存储地址的起始地址根据系统设定。同样的，在对第二图像数据进行预处理之前，通过图像处理单元将第二图像转换为预设格式的第二标准数据流，并根据时钟信号将第二标准数据流写入到存储区域的第二存储地址。其中，第一存储地址和第二存储地址的起始地址根据系统预先设定。同时将第一存储地址和第二存储地址发送给其他后序的逻辑处理模块和处理器模块，以方便后序的逻辑处理模块和处理器模块来此存储地址读取数据进行下一步处理。例如逻辑处理模块需要对第二标准数据流进行显示处理时，首先去对应的地址读取数据，然后对读取的数据进行预处理后以得到显示数据。

在本实施例中，对第二标准数据流进行显示处理主要指的是对其进行时序转换以得到显示需要的格式数据，例如显示器连接的接口支持VGA、SDI、DVI、HDMI格式的数据，则本实施例中将第二标准数据流转换成该对应的格式，以使得可以直接输出给显示器进行实时显示。

在本实施例中，在根据时钟信号将第一标准数据流写入到存储区域的第一存储地址上之后，处理器模块读取第一存储地址上存储的第一标准数据流，对该第一标准数据流进行压缩和打包处理后输出以存储。例如，将第一标准数据流压缩成H265数据流，然后通过FFMPEG打包，输出为mp4文件。压缩后使得文件存储更加节省存储空间。

通过本实施例的存储标志信号和显示标志信号分别处理，这样降低了系统对时钟同步的要求，使得图像的显示和存储可以分开到不同的时钟域，为系统多时钟域功能实现增了灵活性。

实施例二：

请参考图3，本实施例提供一种用于内窥镜的图像处理单元301，其包括逻辑处理模块201和处理器模块202。

其中，逻辑处理模块201用于接收通过图像采集单元200发送来的内窥镜采集的图像信号。进一步的，逻辑处理模块201用于对图像信号进行格式处理，分别得到用于存储的第一图像数据和用于显示的第二图像数据；逻辑处理模块201还用于根据图像信号同时生成显示标志信号和存储标志信号；处理器模块202还用于根据存储标志信号输出第一图像数据以进行存储。逻辑处理模块201还用于根据显示标志信号对第二图像数据进行预处理以输出预定格式的显示图像信号。

其中，内窥镜的图像采集单元200获取的图像信号具体包括数据帧信号(fv)、行信号(lv)、图像数据信号(data)和时钟信号(pixclk)，其中图像数据信号包括了图像相关的所有信息，例如图像的特征信息等相关数据。

进一步的，本实施例的图像处理单元301还包括写入模块203，写入模块203用于在输出第一图像数据以进行存储之前，将第一图像转换为预设格式的第一标准数据流，并根据时钟信号将第一标准数据流写入到存储区域的第一存储地址上。同时，该写入模块203还用于在对第二图像数据进行预处理之前，将第二图像转换为预设格式的第二标准数据流，并根据时钟信号将第二标准数据流写入到存储区域的第二存储地址。

进一步的，逻辑处理模块201具体用于根据显示标志信号读取第二存储地址上存储的第二标准数据流，并对该第二标准数据流进行时序转换以输出预设格式的显示图像信号。

进一步的，本实施例的图像处理单元301还包括压缩模块204，该压缩模块204用于在将第一标准数据流写入到存储区域的第一存储地址上之后，读取第一存储地址上存储的第一标准数据流，对该第一标准数据流进行压缩和打包处理后输出。

本实施例中，采用单个图像处理单元301(即处理芯片)，芯片包括FPGA PL(逻辑处理模块，也可以理解为针对逻辑处理的FPGA逻辑处理芯片)和FPGA PS(即处理器模块，可以理解为针对数据处理的数字处理器芯片)，其中，图像显示功能通过FPGA PL实现，图像存储功能通过FPGA PS实现，两个功能从逻辑和底层硬件单元完全划分开，提高了图像显示的实时性和稳定性，降低了手术时由于存储功能失效影响医生手术的风险。

实施例三

如图4，本实施例的内窥镜的摄像头通过信号线与图像处理单元连接，摄像头包括光学镜头和图像传感器电路，其用于检测待检测区域的图像信号，获取的图像信号经过图像发送电路通过信号线发送给图像处理单元301进行处理。图像处理单元301包括逻辑处理模块201、处理器模块202、压缩模块204、显示存储控制模块；另外还包括与图像处理单元301连接的DDR存储模块207，DDR存储模块207用于存储数据，其中上述实施例一、实施例二中所述的存储区域即为DDR存储模块207，在图像处理单元301上设有USB接口和显示接口电路，USB接口用于连接USB设备(例如优盘等)，显示接口电路用于连接显示器，该显示接口电路的类型根据需要设置，例如可以设置为HDMI接口、VGA接口、SDI接口、DVI接口等。

其中，逻辑处理模块201为FPGA逻辑芯片，处理器模块202为常用的处理器芯片。其中压缩模块204为FPGA逻辑芯片中的一个处理模块。显示存储控制模块中预设有控制程序，用于控制各模块工作以实现显示和存储过程。

采用本实施例的图像处理系统，对于图像的处理过程在逻辑处理模块201中进行，然后对于图像显示的处理过程在逻辑处理模块201中实现，对图像的处理过程在处理器模块202中实现，两个功能从逻辑和底层硬件单元完全划分开，提高了图像显示的实时性和稳定性，降低了手术时由于存储功能失效影响医生手术的风险。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (9)

1.一种用于内窥镜的图像处理方法,其特征在于，包括：

图像采集单元获取内窥镜采集的图像信号，将该图像信号发送给图像处理单元；所述图像信号包括数据帧信号和行信号；

图像处理单元的逻辑处理模块对所述图像信号进行格式处理，分别得到用于存储的第一图像数据和用于显示的第二图像数据；

所述逻辑处理模块在数据帧信号有效期内，对行信号进行计数，当计数值达到第一设定值时，输出显示标志信号；所述逻辑处理模块在数据帧信号有效期内，对行信号进行计数，当计数值达到第二设定值时，输出存储标志信号；

图像处理单元的处理器模块根据所述存储标志信号输出所述第一图像数据以进行存储；

所述逻辑处理模块还根据所述显示标志信号对所述第二图像数据进行预处理以输出预定格式的显示图像信号。

2.如权利要求1所述的用于内窥镜的图像处理方法,其特征在于，所述图像信号还包括时钟信号；

在输出所述第一图像数据以进行存储之前还包括：图像处理单元将所述第一图像转换为预设格式的第一标准数据流，并根据所述时钟信号将所述第一标准数据流写入到存储区域的第一存储地址上；

在对所述第二图像数据进行预处理之前还包括：图像处理单元将所述第二图像转换为预设格式的第二标准数据流，并根据所述时钟信号将所述第二标准数据流写入到存储区域的第二存储地址上。

3.如权利要求2所述的用于内窥镜的图像处理方法,其特征在于，所述逻辑处理模块还根据所述显示标志信号对所述第二图像数据进行预处理以输出预定格式的显示图像信号包括：

所述逻辑处理模块根据显示标志信号读取所述第二存储地址上存储的第二标准数据流，并对该第二标准数据流进行时序转换以输出预设格式的显示图像信号。

4.如权利要求2所述的用于内窥镜的图像处理方法,其特征在于，在根据所述时钟信号将所述第一标准数据流写入到存储区域的第一存储地址上之后还包括：

图像处理单元读取所述第一存储地址上存储的第一标准数据流，对该第一标准数据流进行压缩和打包处理后输出。

5.一种用于内窥镜的图像处理单元，其特征在于，包括逻辑处理模块和处理器模块；

所述逻辑处理模块用于接收通过图像采集单元发送来的内窥镜采集的图像信号；所述图像信号包括数据帧信号和行信号；

所述逻辑处理模块还用于对所述图像信号进行格式处理，分别得到用于存储的第一图像数据和用于显示的第二图像数据；

所述逻辑处理模块还用于在数据帧信号有效期内，对行信号进行计数，当计数值达到第一设定值时，输出显示标志信号；在数据帧信号有效期内，对行信号进行计数，当计数值达到第二设定值时，输出存储标志信号；

所述处理器模块用于根据所述存储标志信号输出所述第一图像数据以进行存储；

所述逻辑处理模块还用于根据所述显示标志信号对所述第二图像数据进行预处理以输出预定格式的显示图像信号。

6.如权利要求5所述的用于内窥镜的图像处理单元，其特征在于，所述图像处理单元还包括写入模块；所述图像信号包括时钟信号；

所述写入模块用于在输出所述第一图像数据以进行存储之前，将所述第一图像转换为预设格式的第一标准数据流，并根据所述时钟信号将所述第一标准数据流写入到存储区域的第一存储地址上；

所述写入模块还用于在对所述第二图像数据进行预处理之前，将所述第二图像转换为预设格式的第二标准数据流，并根据所述时钟信号将所述第二标准数据流写入到存储区域的第二存储地址上。

7.如权利要求6所述的用于内窥镜的图像处理单元，其特征在于，所述逻辑处理模块具体用于根据显示标志信号读取所述第二存储地址上存储的第二标准数据流，并对该第二标准数据流进行时序转换以输出预设格式的显示图像信号。

8.如权利要求6所述的用于内窥镜的图像处理单元，其特征在于，还包括压缩模块，所述压缩模块用于在将所述第一标准数据流写入到存储区域的第一存储地址上之后，读取所述第一存储地址上存储的第一标准数据流，对该第一标准数据流进行压缩和打包处理后输出。

9.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-4中任一项所述的方法。

Images