CN117041699A - 一种内窥镜图像获取系统 - Google Patents

一种内窥镜图像获取系统 Download PDF

Info

Publication number
CN117041699A
CN117041699A CN202311002021.2A CN202311002021A CN117041699A CN 117041699 A CN117041699 A CN 117041699A CN 202311002021 A CN202311002021 A CN 202311002021A CN 117041699 A CN117041699 A CN 117041699A
Authority
CN
China
Prior art keywords
video
unit
video data
vcu
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311002021.2A
Other languages
English (en)
Inventor
夏秀权
覃祥书
叶江霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Comen Medical Instruments Co Ltd
Original Assignee
Shenzhen Comen Medical Instruments Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Comen Medical Instruments Co Ltd filed Critical Shenzhen Comen Medical Instruments Co Ltd
Priority to CN202311002021.2A priority Critical patent/CN117041699A/zh
Publication of CN117041699A publication Critical patent/CN117041699A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及医学图像技术领域，公开了一种内窥镜图像获取系统，包括：图像采集模块、芯片模块，芯片模块包括：FPGA单元用于通过配置端口接收图像采集模块采集的原始视频数据；视频处理单元用于将原始视频数据处理后视频数据通过内部传输总线将其发送给ARM单元；ARM单元用于通过配套驱动框架将处理后的视频数据发送给VCU编解码单元；VCU编解码单元用于将处理后的视频数据编码为目标视频格式存储于视频存储单元。本发明提供的系统，采用ARM+FPGA架构芯片通过摄像头在FPGA单元采集视频信号后，通过内部传输总线将原始的视频数据传输至ARM单元，实现视频的低延时以及高效传输，提升传输数据的稳定性以及可靠性。

Description

一种内窥镜图像获取系统
技术领域
本发明涉及医学图像处理领域，具体涉及种一种内窥镜图像获取系统。
背景技术
在内窥镜诊疗过程中，需要将患者诊断视频进行实时录制编码保留，完整再现真实手术过程，能够更加安全、精准以及高效解决患者病例，现有在录制过程中需要使用特定的软件和硬件设备，需要记录的视频格式和分辨率，并选择合适的视频录制设备，安装并配置录制软件，在软件中设置录制参数，如视频分辨率、帧率、视频编码格式等；然后连接视频录制设备到电脑，并启动录制软件。在软件中选择录制设备，设置录制参数，并开始录制，录制完成后，保存录制文件并进行后期处理。
现有的内窥镜的图像获取过程存在录像延时高和链路长的问题，原因有：现有的内镜产品的录像数据需要通过传输链路传输到录制设备，传输链路的稳定性和带宽都会影响录像延时如果传输链路不稳定或带宽不足，则会导致视频录制延时高，甚至出现视频丢帧的现象，导致稳定性差。
发明内容
有鉴于此，本发明提供了一种内窥镜图像获取系统，以解决现有技术中内窥镜获取视频延时低、链路长、效率低以及稳定差的问题。
本发明提供了一种内窥镜图像获取系统，系统包括：所述系统至少包括图像采集模块、芯片模块，所述芯片模块包括：FPGA单元、ARM单元、视频处理单元、VCU编解码单元以及视频存储单元；
所述FPGA单元用于通过配置端口接收所述图像采集模块采集到的原始视频数据；
所述视频处理单元用于将所述FPGA单元接收到的所述原始视频数据进行处理，得到处理后的视频数据，并通过内部传输总线将其发送给所述ARM单元；
所述ARM单元用于通过配套驱动框架将接收到的所述处理后的视频数据发送给所述VCU编解码单元；
所述VCU编解码单元用于将所述处理后的视频数据编码为目标视频格式，并存储于所述视频存储单元。
本实施例提供的系统，采用ARM+FPGA架构芯片在通过摄像头在FPGA单元采集视频信号之后，可以通过内部传输总线将原始的视频数据传输至ARM单元，延时低，同时也解决外部总线在录制时的物理干扰文件的问题，提升传输数据的稳定性以及可靠性。
在一种可选的实施方式中，所述视频处理单元包括：
输入缓冲子单元，用于以预设颜色空间存储所述原始视频数据；
数据转换子单元，用于基于颜色空间转换算法将所述原始视频数据从所述预设颜色空间转换为目标颜色空间，得到对应的处理后的视频数据；
输出缓冲子单元，用于存储所述处理后的视频数据并传输至所述ARM单元；
参数配置子单元，用于配置所述数据转换子单元进行颜色空间转换的参数，所述参数至少包括所述预设颜色空间以及所述目标颜色空间。
在一种可选的实施方式中，所述A所述ARM单元包括：
初始化子单元，用于初始化V4L2驱动来生成视频流节点，并配置所述视频流节点参数，所述视频流节点用于接收所述处理后的视频数据；
第一视频流水线创建子单元，用于使用GStreamer工具创建第一视频流水线，并配置第一视频流水线的元素；
第一视频数据发送子单元，用于启动配置好的第一视频流水线并将视频流节点中处理后的视频数据发送到VCU编解码单元进行编码。
在一种可选的实施方式中，所述视频流节点参数，包括：分辨率、帧率和格式；
所述配置第一视频流水线中的元素，包括：V4L2捕获的视频源、VCU编解码单元、视频格式转换器。
在一种可选的实施方式中，所述VCU编解码单元，包括：
配置子单元，用于配置VCU编解码单元的参数；
第二视频流水线创建子单元，用于使用GStreamer工具创建第二视频流水线，并配置第二视频流水线的元素；
第二视频数据发送子单元，用于启动配置好的第二视频流水线，并将VCU编解码单元编码后的视频数据保存到视频存储单元的视频文件中。
在一种可选的实施方式中，所述配置VCU编解码单元的参数，包括：编码器类型、编码质量、码率；
所述配置第二视频流水线中的元素，包括：VCU编解码单元、视频格式转换器、文件输出器。
在一种可选的实施方式中，所述芯片模块内部通过AXI总线传输视频数据，并利用AXI裁决器对多个数据传输请求进行排序和调度。
在一种可选的实施方式中，原始视频数据的格式为ycbcr420，目标视频格式为mp4。
在一种可选的实施方式中，配置端口包括：media和video软件端口，以及tpg调试端口。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的内窥镜图像录制系统的功能模块示意图；
图2是根据本发明实施例中在7ev芯片底层硬件框图；
图3是根据本发明实施例的内窥镜图像录制系统的一具体示例的功能模块示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本实施例中提供了一种内窥镜图像获取系统，如图1所示，所述系统包括：图像采集模块、芯片模块，所述芯片模块包括：FPGA单元、ARM单元、视频处理单元、VCU编解码单元以及视频存储单元；其中：FPGA单元用于通过配置端口接收所述图像采集模块采集到的原始视频数据；视频处理单元用于将FPGA单元接收到的所述原始视频数据进行处理，得到处理后的视频数据，并通过内部传输总线将其发送给ARM单元；ARM单元用于通过配套驱动框架将接收到的处理后的视频数据发送给所述VCU编解码单元；VCU编解码单元用于将所述处理后的视频数据编码为目标视频格式，并存储于视频存储单元。
本发明实施例使用具有成本低功耗较小优势的xilinx的zynqmp系列7ev芯片，芯片底层硬件框图如图2所示，以上芯片类型仅作为示例说明，并不以此为限。配置端口包括：media和video软件端口，以及tpg调试端口，其中Video软件端口是获取视频数据端口，media软件端口为应用程序接口(API)，功能是控制连接多媒体外部设备。
ARM架构通常采用的是AXI总线，AXI总线是一种高性能、高带宽的系统总线，支持多种数据传输模式和数据格式。位于PS端的ARM直接有硬件支持AXI结构，PL端需要使用逻辑实现相应的AXI协议，本发明实施例使用基于AXI协议将获取的图像从PS端传输至PL端。
本发明实施例中图像采集单元为内窥镜摄像头，芯片内部的视频处理单元为采用函数v_proc_csc，并通过函数v_frmbuf_wr显示，如图3所示，视频处理单元包括：
1、输入缓冲子单元，用于以预设颜色空间存储所述原始视频数据；
2、数据转换子单元，用于基于颜色空间转换算法将所述原始视频数据从所述预设颜色空间转换为目标颜色空间，得到对应的处理后的视频数据(例如是将rgb格式的图像转换为yuv)；
3、输出缓冲子单元，用于存储所述处理后的视频数据并传输至所述ARM单元；
4、参数配置子单元，用于配置所述数据转换子单元进行颜色空间转换的参数，所述参数至少包括所述预设颜色空间以及所述目标颜色空间。
本发明实施例ARM单元通过GStreamer工具使用V4L2传输框架将处理后的视频数据发送给VCU编解码单元，ARM单元包括：
1、初始化子单元，用于初始化V4L2驱动来生成视频流节点，并配置所述视频流节点参数，所述视频流节点用于接收所述处理后的视频数据；其中视频流节点参数包括：分辨率、帧率和格式；
2、第一视频流水线创建子单元，用于使用GStreamer工具创建第一视频流水线，并配置第一视频流水线的元素；其中配置第一视频流水线中的元素，包括：V4L2捕获的视频源、VCU编解码单元、视频格式转换器，其中通过配置VCU编解码单元是用于通过GStreamer工具调用VCU编码单元；
3、第一视频数据发送子单元，用于启动配置好的第一视频流水线并将视频流节点中处理后的视频数据发送到VCU编解码单元进行编码。
以下是一个使用GStreamer工具将V4L2接收的视频数据发送给VCU编解码单元编解码的示例：
gst-launch-1.0-e v4l2src
device＝/dev/video0！
video/x-raw,format＝NV12,width＝1920,height＝1080,framerate＝30/1！queue！
vpuenc_h264！h264parse！queue！
rtph264pay！udpsink host＝<IP地址>port＝<端口号>
在这个示例中，使用v4l2src元素捕获/dev/video0设备的视频数据，将视频格式设置为NV12，分辨率设置为1920x1080，帧率设置为30fps，然后将视频数据发送到VCU编解码器进行H.264编码。编码后的数据经过H264parse和RTPH264pay元素的处理后，通过udpsink元素推流到对应的网址上。
需要注意的是，具体的视频流水线配置和参数设置需要根据实际需求进行调整。
本发明实施例中，VCU编解码单元将处理后的视频数据编码为目标视频格式，并存储于所述视频存储单元，如图3所示，VCU编解码单元包括：
1、配置子单元，用于配置VCU编解码单元的参数，其包括：编码器类型、编码质量、码率；
2、第二视频流水线创建子单元，用于使用GStreamer工具创建第二视频流水线，并配置第二视频流水线的元素，其包括：VCU编解码单元、视频格式转换器、文件输出器，其中通过配置VCU编解码单元是用于通过GStreamer工具调用VCU编码单元；
3、第二视频数据发送子单元，用于启动配置好的第二视频流水线，并将VCU编解码单元编码后的视频数据保存到视频存储单元的视频文件中。
以下为一个使用GStreamer工具将VCU编解码单元编码后的视频数据保存到MP4文件中的示例：
gst-launch-1.0v4l2src
device＝/dev/video0！
video/x-raw,format＝NV12,width＝1920,height＝1080,framerate＝30/1！queue！
vpuenc_h264！h264parse！mp4mux！filesink location＝/mnt/sda1/test.mp4
在这个示例中，使用v4l2src元素捕获/dev/video0设备的视频数据，将视频格式设置为NV12，分辨率设置为1920x1080，帧率设置为30fps，然后将视频数据发送到VCU编解码单元进行H.264编码。编码后的数据经过H264parse元素的处理后，通过mp4mux元素将数据存储到/mnt/sda1/test.mp4文件中。
需要说明的是，具体的视频流水线配置和参数设置需要根据实际需求进行调整。同时，需要确保固态内存已经正确挂载并有足够的空间来保存MP4文件。
另外在实际应用中，当同时有多个内窥镜同时工作时，即需要对多个内窥镜获取的图像进行录制时，如图2所示，芯片内部需要利用AXI裁决器对多个数据传输请求进行排序和调度。AXI裁决器是一种常用的FPGA外设，用于处理AXI总线上的数据传输和访问请求，实现多个主设备同时访问一个或多个从设备的数据交换和共享。
在AXI总线上，每个主设备都可以发起数据传输和访问请求，而每个从设备都可以响应这些请求并提供相应的数据或服务。AXI裁决器的作用就是在多个主设备同时发起请求时，对这些请求进行调度和协调，以保证数据传输的正确性和公平性。具体来说，AXI裁决器通常包括以下功能模块：
1.请求接收器：用于接收主设备发起的请求，并提取请求的地址、类型、数据等信息。
2.请求调度器：根据请求的优先级和类型，对多个请求进行排序和调度，以确定下一个被响应的请求。
3.数据缓存器：在主设备和从设备之间缓存数据，以提高数据传输效率和响应速度。
4.数据交换器：负责数据的传输和交换，包括数据的读取、写入和回复等操作。
5.控制逻辑：用于控制AXI裁决器的工作模式和状态，包括主从模式切换、中断处理、错误处理等功能。
在FPGA中，AXI裁决器通常是通过硬件描述语言(如Verilog或VHDL)进行设计和实现，可以根据需要进行定制和优化，以适应不同的应用场景和需求。同时，AXI裁决器的性能和稳定性也需要进行充分的测试和验证，以保证其正确性和可靠性。
在本发明实施例中原始视频数据的格式为ycbcr420，经过VCU编解码单元编码后的目标视频格式为mp4，仅作为举例，不以此为限，医生通过获取该录制的视频用于分析患者情况。需要注意的是，将患者诊断视频进行实时录制编码保留需要遵守相关的法律法规和隐私保护规定。在录制过程中，需要确保患者的隐私得到充分保护，并且需要获得患者的明确同意。同时，录制文件需要妥善保存，并且只能在授权的情况下进行使用和共享。
本实施例提供的内窥镜图像录制系统，采用ARM+FPGA架构芯片通过摄像头在FPGA单元采集视频信号之后，通过AXI内部总线将原始的视频数据传输至ARM单元，实现视频的低延时以及高效传输，ARM在使用V4L2的传输框架，将原始视频数据发送到VCU进行编码成mp4文件存储到固态硬盘中，实现一种内窥镜视频获取，视频录制是由FPGA端实现，传输路径是走的内部高速总线，保证低延时高效的视频录制，解决外部总线在录制时的物理干扰文件，提升传输数据的稳定性以及可靠性。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种内窥镜图像获取系统，其特征在于，所述系统至少包括图像采集模块、芯片模块，所述芯片模块包括：FPGA单元、ARM单元、视频处理单元、VCU编解码单元以及视频存储单元；
所述FPGA单元用于通过配置端口接收所述图像采集模块采集到的原始视频数据；
所述视频处理单元用于将所述FPGA单元接收到的所述原始视频数据进行处理，得到处理后的视频数据，并通过内部传输总线将其发送给所述ARM单元；
所述ARM单元用于通过配套驱动框架将接收到的所述处理后的视频数据发送给所述VCU编解码单元；
所述VCU编解码单元用于将所述处理后的视频数据编码为目标视频格式，并存储于所述视频存储单元。
2.根据权利要求1所述的系统，其特征在于，所述视频处理单元包括：
输入缓冲子单元，用于以预设颜色空间存储所述原始视频数据；
数据转换子单元，用于基于颜色空间转换算法将所述原始视频数据从所述预设颜色空间转换为目标颜色空间，得到对应的处理后的视频数据；
输出缓冲子单元，用于存储所述处理后的视频数据并传输至所述ARM单元；
参数配置子单元，用于配置所述数据转换子单元进行颜色空间转换的参数，所述参数至少包括所述预设颜色空间以及所述目标颜色空间。
3.根据权利要求1所述的系统，其特征在于，所述ARM单元包括：
初始化子单元，用于初始化V4L2驱动来生成视频流节点，并配置所述视频流节点参数，所述视频流节点用于接收所述处理后的视频数据；
第一视频流水线创建子单元，用于使用GStreamer工具创建第一视频流水线，并配置第一视频流水线的元素；
第一视频数据发送子单元，用于启动配置好的第一视频流水线并将视频流节点中处理后的视频数据发送到VCU编解码单元进行编码。
4.根据权利要求3所述的系统，其特征在于，所述视频流节点参数，包括：分辨率、帧率和格式；
所述配置第一视频流水线中的元素，包括：V4L2捕获的视频源、VCU编解码单元、视频格式转换器。
5.根据权利要求3所述的系统，其特征在于，所述VCU编解码单元，包括：
配置子单元，用于配置VCU编解码单元的参数；
第二视频流水线创建子单元，用于使用GStreamer工具创建第二视频流水线，并配置第二视频流水线的元素；
第二视频数据发送子单元，用于启动配置好的第二视频流水线，并将VCU编解码单元编码后的视频数据保存到视频存储单元的视频文件中。
6.根据权利要求5所述的系统，其特征在于，
所述配置VCU编解码单元的参数，包括：编码器类型、编码质量、码率；
所述配置第二视频流水线中的元素，包括：VCU编解码单元、视频格式转换器、文件输出器。
7.根据权利要求1所述的系统，其特征在于，所述芯片模块内部通过AXI总线传输视频数据，并利用AXI裁决器对多个数据传输请求进行排序和调度。
8.根据权利要求1所述的系统，其特征在于，原始视频数据的格式为ycbcr420，目标视频格式为mp4。
9.根据权利要求1所述的系统，其特征在于，配置端口包括：media和video软件端口，以及tpg调试端口。
CN202311002021.2A 2023-08-09 2023-08-09 一种内窥镜图像获取系统 Pending CN117041699A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311002021.2A CN117041699A (zh) 2023-08-09 2023-08-09 一种内窥镜图像获取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311002021.2A CN117041699A (zh) 2023-08-09 2023-08-09 一种内窥镜图像获取系统

Publications (1)

Publication Number Publication Date
CN117041699A true CN117041699A (zh) 2023-11-10

Family

ID=88634806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311002021.2A Pending CN117041699A (zh) 2023-08-09 2023-08-09 一种内窥镜图像获取系统

Country Status (1)

Country Link
CN (1) CN117041699A (zh)

Similar Documents

Publication Publication Date Title
CN108595353B (zh) 一种基于PCIe总线的控制数据传输的方法及装置
KR101111946B1 (ko) 촬상 장치, 이미지 시그널 프로세서 칩 및 칩 간의 메모리 공유 방법
US7149933B2 (en) Data processing system trace bus
CN102402413A (zh) 和影像传感器通讯的电子系统、控制器及控制方法
CN102202171A (zh) 一种嵌入式高速多通道图像采集与存储系统
JP2009267837A (ja) 復号化装置
CN106598889A (zh) 一种基于fpga夹层板的sata主控器
CN114286035B (zh) 图像采集卡、图像采集方法及图像采集系统
CN105404788A (zh) 一种分布式医疗诊断系统
US20140333779A1 (en) Apparatus for distributing bus traffic of multiple camera inputs of automotive system on chip and automotive system on chip using the same
US7669190B2 (en) Method and system for efficiently recording processor events in host bus adapters
CN102571617B (zh) 流数据服务器、流数据传输方法及数据传输系统
WO2023024421A1 (zh) 多路图像拼接方法、系统、可读存储介质、及无人车
CN114598843A (zh) 一种应用于大型汽车多路摄像头的图像处理系统及方法
JP2007199815A (ja) メモリ制御装置およびメモリ制御方法
CN117041699A (zh) 一种内窥镜图像获取系统
KR20070082835A (ko) 직접 메모리 액세스 제어장치 및 방법
CN109712696B (zh) 一种数据处理方法、装置、设备及存储介质
US7673067B2 (en) Pipeline for data exchange between medical image applications
KR20170085213A (ko) 채널별 이종 동작을 위한 멀티채널 초고해상도 영상 획득/재생 시스템 및 방법
CN102497514B (zh) 一种三通道视频转发设备和转发方法
CN103140873B (zh) 影像数据高速收发方法及装置
CN114866733A (zh) 一种低延迟视频处理方法、系统及装置
CN110659236B (zh) 可自主回复写应答的axi总线传输装置
CN113905230B (zh) 一种图像处理的调试码流导出和导入的方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination