CN110769206B - 一种电子内窥镜信号传输方法、装置和系统及电子设备 - Google Patents
一种电子内窥镜信号传输方法、装置和系统及电子设备 Download PDFInfo
- Publication number
- CN110769206B CN110769206B CN201911136316.2A CN201911136316A CN110769206B CN 110769206 B CN110769206 B CN 110769206B CN 201911136316 A CN201911136316 A CN 201911136316A CN 110769206 B CN110769206 B CN 110769206B
- Authority
- CN
- China
- Prior art keywords
- video data
- control
- video
- signals
- lvds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
本申请公开了一种电子内窥镜信号传输方法、装置、系统和电子设备,该方法包括:第二FPGA接收到多个视频LVDS信号,其中,多个视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号;解析每个视频数据通道发送的视频LVDS信号,得到每个视频LVDS信号对应的多个行视频数据包,并对行视频数据包进行标识校验;若存在验证失败视频数据包,则将验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,并将MIPI视频数据发送至视频信号处理模块。
Description
技术领域
本申请涉及电子内窥镜技术领域,特别涉及一种电子内窥镜信号传输方法、电子内窥镜信号传输装置、电子设备和电子内窥镜信号传输系统。
背景技术
目前医用电子内窥镜系统的镜体和处理器之间的控制信号一般分别采用单独的控制信号线传输控制信号,视频信号采用串化的方式传输,在图像处理器侧解串化。随着镜体的升级换代,控制信号的种类和数量也会根据需求进行增加和改变,镜体和图像处理器之间的接口信号会发生改变,内窥镜处理器很难去匹配多种不同的功能的镜体。同时随着像素的增加,视频数据的传输速率也在增加,隔离要求和成本都会增加,容易出现信号完整性问题。而且目前镜体视频信号传输的差分线如果在使用过程中损坏,影响视频信号传输的可靠性,进一步导致无图的重大问题。
因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种电子内窥镜信号传输方法、电子内窥镜信号传输装置、电子设备和电子内窥镜信号传输系统,能够提高视频信号传输的可靠性。其具体方案如下:
本申请公开了一种电子内窥镜信号传输方法,包括:
第二FPGA接收到多个视频LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号;
解析每个所述视频数据通道发送的所述视频LVDS信号,得到每个所述视频LVDS信号对应的多个行视频数据包,并对所述行视频数据包进行标识校验;
若存在验证失败视频数据包,则将所述验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;
将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,并将所述MIPI视频数据发送至视频信号处理模块。
可选的,还包括:
接收到控制LVDS信号,其中,所述控制LVDS信号是所述第一FPGA基于控制数据通道将多种所述控制信号根据控制数据类型转换成的信号,且所述控制LVDS信号包括多个串行的控制数据包;
将所述控制LVDS信号还原成多个控制信号。
可选的,所述将所述控制LVDS信号还原成多个控制信号,包括:
将所述控制LVDS信号中的所述控制数据包通过串并转换、FIFO、解码、标识校验,得到多个中间控制数据包;
当所述中间控制数据包基于循环冗余校验字段校验成功后,根据所有所述中间控制数据包的虚拟管道ID标识确定对应的控制数据类型;
根据所述控制数据类型得到所有的所述控制信号。
可选的,所述将所述控制LVDS信号中的所述控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包之后,还包括:
当所述中间控制数据包基于循环冗余校验字段校验失败后,确定存在错误控制数据包序号,并将所述错误控制数据包序号发送至所述第一FPGA,以便所述第一FPGA启动重传;
得到所述第一FPGA重新发送的与所述错误控制数据包序号对应的控制数据包。
可选的,所述将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,包括:
合成所有验证成功的视频数据包对应的行视频数据与替换后的视频数据包的行视频数据,得到合并数据;
使用所述第二FPGA的D-PHY内核将所述合并数据还原成所述MIPI视频信号。
可选的,所述第二FPGA接收到多个视频LVDS信号之前,还包括:
所述第一FPGA将所述MIPI视频信号转换成所述预设像素格式的视频数据;
对所述视频数据按照行像素数据进行分片处理,获取多个行视频数据;
分配所有所述行视频数据对应的视频数据通道,并执行打包得到多个行视频数据包;
对所有的行视频数据包添加行标识、进行编码、FIFO、并串转换后,得到多个所述视频LVDS信号;
其中,所述视频LVDS信号包括多个串行的行LVDS信号;所述行视频数据包包括:行标识、像素数据字段,所述行标识包括帧号、行号、数据类型、数据长度。
本申请公开了一种电子内窥镜信号传输装置,包括:
接收模块,用于第二FPGA接收到多个视频LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号;
解析与获取模块,用于解析所有所述视频LVDS信号,得到每个所述视频LVDS信号对应的视频LVDS串行数据;
校验模块,用于基于所述视频LVDS串行数据获取多个视频数据包,并对所有所述视频数据包进行标识校验;
替换模块,用于若存在验证失败视频数据包,则将所述验证失败视频数据包替换成相邻视频数据通道的验证成功的视频数据包;
合成与发送模块,用于将所有验证成功的视频数据包对应的子视频数据合成为MIPI视频数据,并将所述MIPI视频数据发送至视频信号处理模块。
本申请公开了一种电子设备,包括:
存储器,用于存储FPGA信号处理程序;
第二FPGA,用于执行所述FPGA信号处理程序时实现如上述电子内窥镜信号传输方法的步骤。
本申请公开了一种电子内窥镜信号传输系统,包括:镜体端和图像处理器端;
所述镜体端包括:CMOS模组,用于发送MIPI视频信号;
与所述CMOS模组连接的第一FPGA,用于利用多个视频数据通道,根据预设像素格式将上述MIPI视频信号转换成的多个视频LVDS信号;
所述图像处理器端包括:隔离模块;与所述隔离模块连接的第二FPGA,用于接收到多个所述视频LVDS信号;解析每个所述视频数据通道发送的所述视频LVDS信号,得到每个所述视频LVDS信号对应的多个行视频数据包,并对所述行视频数据包进行标识校验;若存在验证失败视频数据包,则将所述验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;将所有验证成功的行视频数据包对应的行视频数据与替换后的视频数据包的行视频数据还原为MIPI视频数据;与所述第二FPGA连接的视频信号处理模块,用于对所述MIPI视频数据进行处理。
可选的,还包括:
控制信号发送模块,用于发送多种控制信号;
与所述第二FPGA连接控制信号处理模块,用于对多个所述控制信号进行处理;
对应的,所述第一FPGA,还用于基于控制数据通道将多种所述控制信号根据控制信号类型转换成控制LVDS信号,发送控制LVDS信号至所述第二FPGA,用于接收所述第二FPGA发送的目标控制LVDS信号;
所述第二FPGA,还用于接收到控制LVDS信号,将所述控制LVDS信号还原成多个控制信号,用于发送所述目标控制LVDS信号至所述第一FPGA。
本申请提供一种电子内窥镜信号传输方法,包括:第二FPGA接收到多个视频LVDS信号,其中,多个视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号;解析每个视频数据通道发送的视频LVDS信号,得到每个视频LVDS信号对应的多个行视频数据包,并对行视频数据包进行标识校验;若存在验证失败视频数据包,则将验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,并将MIPI视频数据发送至视频信号处理模块。
可见,本申请通过将视频数据转化成多个通道的低速视频LVDS信号,当第二FPGA接收到后,如果视频LVDS信号对应的视频数据包校验失败即传输的视频数据通道发生故障,则利用相邻视频数据通道进行数据补偿,进而还原得到MIPI视频数据,最终实现图像的恢复提高了视频数据传输的可靠性,保证了内窥镜图像的正常获取。本申请同时还提供了一种FPGA、电子设备和电子内窥镜信号传输系统,均具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种电子内窥镜信号传输方法的流程图;
图2为本申请实施例所提供的一种电子内窥镜接口系统的一种结构示意图;
图3为本申请实施例提供的一种视频数据包封装示意图;
图4为本申请实施例提供的一种MIPI视频信号与视频LVDS信号的转换流程图;
图5为本申请实施例提供的一种控制数据包封装示意图;
图6为本申请实施例提供的多种控制信号与控制LVDS信号的转换流程图;
图7为本申请实施例所提供的一种电子内窥镜信号传输装置的结构示意图;
图8为本申请实施例提供的一种电子内窥镜信号传输系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请实施例所提供的一种电子内窥镜信号传输方法的流程图,包括:
S101、第二FPGA接收到多个视频LVDS信号,其中,多个视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号。
本实施例应用于电子内窥镜接口系统,请参考图2,图2为本申请实施例所提供的一种电子内窥镜接口系统的一种结构示意图,包括镜体端和图像处理器端,其中,镜体端包括CMOS模组、控制信号模块和第一FPGA即操作部,CMOS模组用于传输MIPI视频信号,控制信号模块位于插入部头端和操作部,用于传输及接收信号,针对传输来说,传输第一控制信号,第一控制信号包括当时不限定于I2C控制信号、CMOS控制信号,对应的也接收I2C控制信号、CMOS控制信号;其中,第一FPGA可以将MIPI视频信号转换成多个视频LVDS信号,并且第一FPGA可以将控制信号转换成一对收发LVDS差分对,即第一FPGA可以将多种第一控制信号转换成第一控制LVDS信号发送至第二FPGA,当然也可以将从第二FPGA接收到的第二控制LVDS信号还原成多种第二控制信号。对应的,图像处理器端包括第二FPGA,第二FPGA可以将多个视频LVDS信号还原成MIPI视频信号,并且,第二FPGA可以将控制信号转换成一对收发LVDS差分对,即第二FPGA可以将多种第二控制信号转换成第二控制LVDS信号,发送至第一FPGA,当然也可以将从第一FPGA接收到的第一控制LVDS信号还原成多种第一控制信号。图像处理器对MIPI信号以及控制信号进行处理并通过显示屏显示。具体的,图像处理器还可以包括视频信号处理模块和控制信号处理模块。
在一种可实现的实施方式中,第二FPGA接收到多个视频LVDS信号之前,还包括:第一FPGA将MIPI视频信号转换成预设像素格式的视频数据;对视频数据按照行像素数据进行分片处理,获取多个行视频数据;分配所有行视频数据对应的视频数据通道,并执行打包得到多个行视频数据包;对所有的行视频数据包添加行标识、进行编码、FIFO、并串转换后,得到多个视频LVDS信号;其中,视频LVDS信号包括多个串行的行LVDS信号;行视频数据包包括:行标识、像素数据字段,行标识包括但是不限定于帧号、行号、数据类型、长度。
具体的,使用第一FPGA将MIPI视频信号分别转换成对应的多个视频LVDS信号。视频数据通道包括多个LVDS差分对,用于将镜体端的MIPI视频信号传递到图像处理器端。根据MIPI视频信号对应的行视频数据分配不同数量的视频数据通道。FPGA芯片上集成MIPID-PHY内核,因此,第一FPGA可以通过MIPI D-PHY内核直接将MIPI格式的MIPI视频信号转换成像素格式的视频数据,其中,支持多种像素格式可以是ROW10、ROW8、RGB888、RGB565、YUV422等,本实施例以ROW10为例。
本实施例中,得到视频数据后,进行分片处理,具体是以一行的像素数据为基本单元,得到多个行视频数据,对行视频数据分配对应的视频数据通道,本实施例中不对视频数据通道的数量进行限定,可以根据实际需求进行设置,可以理解的是每个所有的行视频数据是进行并行传输,且每一个视频LVDS信号对应的行视频数据包括多个串行的视频数据包,这些视频数据包是串行传输。最终,每一个视频LVDS信号包括添加行标识、进行编码、FIFO、并串转换后的视频数据包。针对视频数据的封装过程,请参考图3,图3为本申请实施例提供的一种视频数据包封装示意图。视频数据包是视频数据信息传输的基本单元,所有的视频数据都是经过打包后在总线上传输的。行视频数据包包括但是不限定于行标识、像素数据字段(DATA),其中,行标识包括但是不限定于帧号、行号、数据类型、数据长度。
在第一FPGA中,MIPI视频信号与视频LVDS信号的转换流程图如图4所示,图4为本申请实施例提供的一种MIPI视频信号与视频LVDS信号的转换流程图,在第一FPGA中实现信号的转换,主要为转换信号并发送至第二FPGA的过程,在一种可实现的实施方式中,具体可以包括:将镜体端的CMOS模组的MIPI视频信号通过第一FPGA中的MIPI D-PHY内核转换成RAW10格式数据,将一行的像素数据即行视频数据为一个单位通过通道管理分配到N(1、2~N)个视频数据通道Lane上,每个视频数据通道上的行视频数据经过字节打包后得到视频数据包,并添加行标识(包括但是不限于包括帧号、行号、数据类型、数据长度),然后在物理层分别对每个通道的视频数据包进行8B/10B编码当然还可以是其他形式的编码,本实施例以8B/10B编码为例,发送FIFO用来消除发送端用户时钟域与产生串行比特流时钟域的相位偏差,然后分别经过并串转换后经传输差分驱动发送到N条LVDS线路上,最终得到多个视频LVDS信号。本实施例中应用的是LVDS传输接口,LVDS传输接口是在数据线中内嵌时钟,不需要传送时钟信号,避免了传输过程中各信号瞬时抖动不一致,破坏了接收数据与时钟之间的定时关系,而且使用了较少的芯片引脚。
值得注意的是,在进行视频数据通道的数据打包与分发时,协议同样支持最大8通道的数据分配,作为可扩展的需求,分配原理与2通道是相同的。LVDS传输接口采用的是在数据线中内嵌时钟,不需要传送时钟信号,避免了传输过程中各信号瞬时抖动不一致,破坏了接收数据与时钟之间的定时关系,也避免了由于时钟信号异常导致整个系统传输崩溃的问题,而且使用了较少的芯片引脚。采用8B/10B编码的方式实现数据中内嵌时钟,就是将8位数据编码成10位数据再进行传输,同时将时钟信号也编码了进去。
通过上述技术方案可知,将高速的视频数据信号转换成多个通道的低速视频数据传输,降低了隔离的要求和成本,且低速信号具有更好的信号完整性,可以提高视频信号传输的可靠性。
进一步的,在图像处理器侧对接收的LVDS信号进行隔离处理,由于将MIPI视频信号分成多个LVDS的视频数据通道进行传输,每个视频数据通道的视频LVDS信号的速率会降低,这样会降低对隔离变压器的要求和使用成本,以及提高信号传输的可靠性,进而图像处理器侧的第二FPGA接收到多个视频LVDS信号。具体的,第二FPGA物理层通过差分驱动接收到N个通道lane上的视频LVDS信号,其中视频LVDS信号包括多个串行的视频数据包。
S102、解析每个视频数据通道发送的视频LVDS信号,得到每个视频LVDS信号对应的多个行视频数据包,并对行视频数据包进行标识校验。
S103、若存在验证失败视频数据包,则将验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包。
S104、将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,并将MIPI视频数据发送至视频信号处理模块。
可以理解的是,在对行视频数据包进行标识验证后,当验证失败,则可能是是对应的视频数据通道由于弯折、不良等出现问题,此时,对应的行视频数据包是错误的,则将验证失败的行视频数据包替换成相邻视频数据通道验证成功的行视频数据包,以便进行行像素补偿,恢复出一个像素低的图像,避免了由于数据传输错误造成的图像不显示现象的发生,提高了图像获取的可靠性。
在一种可实现的实施方式中,将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,包括:合成所有验证成功的视频数据包对应的行视频数据与替换后的视频数据包的行视频数据,得到合并数据;使用第二FPGA的D-PHY内核将合并数据还原成MIPI视频信号。
第二FPGA的接收视频LVDS信号,并将多个视频LVDS信号合成为MIPI视频信号的过程,请参考图4,具体包括:第二FPGA物理层通过差分传输驱动接收N个视频数据通道Lane上的多个视频LVDS信号,解析每个视频LVDS信号,具体可以是通过时钟数据恢复(CDR)获取每个多个视频LVDS信号对应的串行的行LVDS视频数据及恢复时钟,然后经串并转换生成N路10bit位宽的数据,通过接收FIFO用于消除接收端的时钟域与从串行的行视频数据包中恢复出的时钟域的相位偏差,然后经过8B/10B解码模块转换成N路8bit位宽的数据,对每个通道的行标识进行ECC校验以及对比,校验失败的行视频数据包被丢弃,并将验证失败的行视频数据包替换成相邻视频数据通道验证成功的行视频数据包,以便进行行像素补偿,具体是将替换后的行视频数据包赋值为校验失败的行视频数据包的行号与对应帧号。第二FPGA根据数据行标识Data ID识别视频数据的行号和帧号,并转换成RAW10格式数据,然后使用第二FPGA的D-PHY内核还原成MIPI格式视频信号发送到视频信号处理模块即图像处理器的图像处理模块。
本实施例利用LVDS接口系统进行第一FPGA与第二FPGA之间信号的传输,利用统一的可扩展的接口,可以提高镜体端和图像处理器端间的匹配性,当镜体端的控制信号或者视频像素改变时,仍然可以与图像处理器匹配。并且,当其中一个视频数据通道出问题时,可根据其余通道的行视频数据进行补偿,仍然会有图像显示,保证了系统的可靠性。
基于上述技术方案,本实施例通过将视频数据转化成多个通道的低速视频LVDS信号,当第二FPGA接收到后,如果视频LVDS信号对应的视频数据包校验失败即传输的视频数据通道发生故障,则利用相邻视频数据通道进行数据补偿,进而还原得到MIPI视频数据,最终实现图像的恢复提高了视频数据传输的可靠性,保证了内窥镜图像的正常获取。
在一种可实现的实施方式中,该电子内窥镜信号传输方法,还包括:
S105、接收到控制LVDS信号,其中,控制LVDS信号是第一FPGA基于控制数据通道将多种控制信号根据控制数据类型转换成的信号,且控制LVDS信号包括多个串行的控制数据包。
S106、将控制LVDS信号还原成多个控制信号。
其中,使用第一FPGA将多种控制信号转换成对应的LVDS信号,具体可以是采用虚拟管道ID的方式,为不同类别的控制信号分配特有的虚拟管道ID封装成控制数据包,仅一对收发的LVDS差分对就可封装多种不同的控制信号,还具有可扩展性。可以是将每一种类型的控制数据分配一种虚拟管道ID,还可以是每一类的控制数据分配一类虚拟管道ID,用户可自定义设置,只要是能够实现本实施例的目的即可。
在一种可实现的实施方式中,基于控制数据通道将多种控制信号根据控制信号类型转换成控制LVDS信号,具体包括:将所有的控制信号与预设控制信号类型表进行匹配,确定每个控制信号对应的控制信号类型即控制数据类型;根据控制信号类型,为对应的控制数据添加对应的虚拟管道ID然后添加序列号、循环冗余校验字段得到中间控制数据包,中间控制数据包经过编码、FIFO、并串转换后,得到多个控制数据包,以便得到包括多个控制数据包的控制LVDS信号。
可以理解的是,本实施例中均采用LVDS信号进行传输,LVDS信号传输接口采用的是在数据线中内嵌时钟,不需要传送时钟信号,避免了传输过程中各信号瞬时抖动不一致,破坏了接收数据与时钟之间的定时关系,也避免了由于时钟信号异常导致整个系统传输崩溃的问题,而且使用了较少的芯片引脚。在进行编码时,采用8B/10B编码的方式实现数据中内嵌时钟,就是将8位数据编码成10位数据再进行传输,同时将时钟信号也编码了进去。请参考图5,图5为本申请实施例提供的一种控制数据包封装示意图。其中CRC为循环冗余校验字段,SOP为包起始字段,EOP为包结尾字段,SN为序列号,DATA为控制数据,Pipe ID为虚拟管道ID。
在一种可实现的实施方式中,将控制LVDS信号还原成多个控制信号,包括:
S1061、将控制LVDS信号中的控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包。
具体的,将所有的控制LVDS信号对应的控制数据包通过串并转换、FIFO、解码之后,还包括:当中间控制数据包基于循环冗余校验字段校验失败后,确定存在错误控制数据包序号,并将错误控制数据包序号发送至第一FPGA,以便第一FPGA启动重传;得到第一FPGA重新发送的与错误控制数据包序号对应的控制数据包。
S1062、当中间控制数据包基于循环冗余校验字段校验成功后,根据所有中间控制数据包的虚拟管道ID标识确定对应的控制数据类型。
S1063、根据控制数据类型得到所有的控制信号。
具体的,多种控制信号与控制LVDS信号的转换流程图如图6所示,图6为本申请实施例提供的多种控制信号与控制LVDS信号的转换流程图。
在第一FPGA中实现信号的转换,主要为转换信号并发送至第二FPGA的过程,在一种可实现的实施方式中,具体可以包括:第一FPGA从IO管脚接收多种控制信号并解析,其中控制信号包括控制数据,根据控制信号类型将控制数据与其对应的虚拟管道ID(Pipe ID)封装成类型控制数据,对类型控制数据包添加序列号、循环冗余校验字段即CRC校验码,得到中间控制数据包,并对中间控制数据包进行8B/10B编码后送到发送先入先出缓冲区队列FIFO中,发送FIFO用来消除发送端用户时钟域与产生串行比特流时钟域的相位偏差,然后通过并串转换后经发送差分驱动将得到的控制数据包传输到控制数据通道LVDS接口物理线路上,进行控制LVDS信号的传输,将控制LVDS信号发送至第二FPGA。
其中,第二FPGA的接收控制LVDS信号并进行信号还原的过程,包括:第二FPGA物理层通过接收差分传输驱动和时钟数据恢复(CDR)接收到控制LVDS信号,以便得到控制数据包(即与控制LVDS信号对应的多种控制数据对应的控制数据包)和时钟,然后经过串并转换生成10bit位宽的数据,通过接收FIFO用于消除接收端的时钟域与从串行数据中恢复出的时钟域的相位偏差,通过8B/10B解码器转换成8位数据,送给链路层处理。链路层对收到的数据进行循环冗余校验字段校验即CRC校验,校验的结果是可靠或不可靠,如果可靠,并将校验后的控制数据到达应用层,根据控制数据的虚拟管道ID标识确定控制信号类型;根据控制信号类型得到所有的控制信号,并发送至控制信号处理模块。如果不可靠,就丢弃并通知发送端重传。
基于上述技术方案,本实施例通过本方案以一种虚拟管道ID的方式,为不同的控制信号分配特有的虚拟管道ID封装成控制数据包,仅一对收发的LVDS差分对就可封装多种不同的控制信号,还具有可扩展性。
下面对本申请实施例提供的一种电子内窥镜信号传输装置进行介绍,下文描述的电子内窥镜信号传输装置与上文描述的电子内窥镜信号传输方法可相互对应参照,相关模块均设置于中第二FPGA,参考图7,图7为本申请实施例所提供的一种电子内窥镜信号传输装置的结构示意图,包括:
接收模块710,用于第二FPGA接收到多个视频LVDS信号,其中,多个视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号;
解析与验证模块720,用于解析每个视频数据通道发送的视频LVDS信号,得到每个视频LVDS信号对应的多个行视频数据包,并对行视频数据包进行标识校验;
替换模块730,用于若存在验证失败视频数据包,则将验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;
合成与发送模块740,用于将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,并将MIPI视频数据发送至视频信号处理模块。
优选地,还包括:
控制LVDS信号接收模块,用于接收到控制LVDS信号,其中,控制LVDS信号是第一FPGA基于控制数据通道将多种控制信号根据控制数据类型转换成的信号,且控制LVDS信号包括多个串行的类型LVDS信号;
还原模块,用于将控制LVDS信号还原成多个控制信号。
优选地,还原模块,包括:
处理单元,用于将控制LVDS信号中的控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包;
确定单元,用于当中间控制数据包基于循环冗余校验字段校验成功后,根据所有中间控制数据包的虚拟管道ID标识确定对应的控制数据类型;
控制信号获得单元,用于根据控制数据类型得到所有的控制信号。
优选地,还包括:
发送单元,用于当中间控制数据包基于循环冗余校验字段校验失败后,确定存在错误控制数据包序号,并将错误控制数据包序号发送至第一FPGA,以便第一FPGA启动重传;
控制数据包得到单元,用于得到第一FPGA重新发送的与错误控制数据包序号对应的控制数据包。
优选地,合成与发送模块740,包括:
合并单元,用于合成所有验证成功的视频数据包对应的行视频数据与替换后的视频数据包的行视频数据,得到合并数据;
还原单元,用于使用第二FPGA的D-PHY内核将合并数据还原成MIPI视频信号。
由于FPGA部分的实施例与电子内窥镜信号传输方法部分的实施例相互对应,因此FPGA部分的实施例请参见电子内窥镜信号传输方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍,下文描述的电子设备与上文描述的电子内窥镜信号传输方法可相互对应参照。
本申请提供一种电子设备,包括:
存储芯片,用于存储FPGA信号处理程序;
第二FPGA,用于执行FPGA信号处理程序时实现如上述电子内窥镜信号传输方法的步骤。
由于电子设备部分的实施例与电子内窥镜信号传输方法部分的实施例相互对应,因此电子设备部分的实施例请参见电子内窥镜信号传输方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种电子内窥镜信号传输系统进行介绍,下文描述的电子内窥镜信号传输系统与上文描述的电子内窥镜信号传输方法可相互对应参照。
本申请提供一种电子内窥镜信号传输系统,包括:镜体端和图像处理器端;
镜体端包括:CMOS模组,用于发送MIPI视频信号;
与CMOS模组连接的第一FPGA,用于利用多个视频数据通道,根据预设像素格式将上述MIPI视频信号转换成的多个视频LVDS信号;
图像处理器端包括:隔离模块;与隔离模块连接的第二FPGA,用于接收到多个视频LVDS信号;解析每个视频数据通道发送的视频LVDS信号,得到每个视频LVDS信号对应的多个行视频数据包,并对行视频数据包进行标识校验;若存在验证失败视频数据包,则将验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;将所有验证成功的行视频数据包对应的行视频数据与替换后的视频数据包的行视频数据还原为MIPI视频数据;
与第二FPGA连接的视频信号处理模块,用于对MIPI视频数据进行处理。
优选地,还包括:
控制信号发送模块,用于发送多种控制信号;
与第二FPGA连接控制信号处理模块,用于对多个控制信号进行处理;
对应的,第一FPGA,还用于基于控制数据通道将多种控制信号根据控制信号类型转换成控制LVDS信号,发送控制LVDS信号至第二FPGA,用于接收第二FPGA发送的目标控制LVDS信号;
第二FPGA,还用于接收到控制LVDS信号,将控制LVDS信号还原成多个控制信号,用于发送目标控制LVDS信号至第一FPGA。
本实施例提供一种具体的结构示意图,请参考图8,图8为本申请实施例提供的一种电子内窥镜信号传输系统的结构示意图。
由于电子内窥镜信号传输系统部分的实施例与电子内窥镜信号传输方法部分的实施例相互对应,因此电子内窥镜信号传输系统部分的实施例请参见电子内窥镜信号传输方法部分的实施例的描述,这里暂不赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种电子内窥镜信号传输方法、电子内窥镜信号传输装置、电子设备及电子内窥镜信号传输系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (8)
1.一种电子内窥镜信号传输方法,其特征在于,包括:
第二FPGA接收到多个视频LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号;
解析每个所述视频数据通道发送的所述视频LVDS信号,得到每个所述视频LVDS信号对应的多个行视频数据包,并对所述行视频数据包进行标识校验;
若存在验证失败视频数据包,则将所述验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;
将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,并将所述MIPI视频数据发送至视频信号处理模块;
还包括:
接收到控制LVDS信号,其中,所述控制LVDS信号是所述第一FPGA基于控制数据通道将多种控制信号根据控制数据类型转换成的信号,且所述控制LVDS信号包括多个串行的控制数据包;
将所述控制LVDS信号还原成多个所述控制信号。
2.根据权利要求1所述的电子内窥镜信号传输方法,其特征在于,所述将所述控制LVDS信号还原成多个所述控制信号,包括:
将所述控制LVDS信号中的所述控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包;
当所述中间控制数据包基于循环冗余校验字段校验成功后,根据所有所述中间控制数据包的虚拟管道ID标识确定对应的控制数据类型;
根据所述控制数据类型得到所有的所述控制信号。
3.根据权利要求2所述的电子内窥镜信号传输方法,其特征在于,所述将所述控制LVDS信号中的所述控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包之后,还包括:
当所述中间控制数据包基于循环冗余校验字段校验失败后,确定存在错误控制数据包序号,并将所述错误控制数据包序号发送至所述第一FPGA,以便所述第一FPGA启动重传;
得到所述第一FPGA重新发送的与所述错误控制数据包序号对应的控制数据包。
4.根据权利要求1所述的电子内窥镜信号传输方法,其特征在于,所述将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,包括:
合成所有验证成功的视频数据包对应的行视频数据与替换后的视频数据包的行视频数据,得到合并数据;
使用所述第二FPGA的D-PHY内核将所述合并数据还原成所述MIPI视频信号。
5.根据权利要求1所述的电子内窥镜信号传输方法,其特征在于,所述第二FPGA接收到多个视频LVDS信号之前,还包括:
所述第一FPGA将所述MIPI视频信号转换成所述预设像素格式的视频数据;
对所述视频数据按照行像素数据进行分片处理,获取多个行视频数据;
分配所有所述行视频数据对应的视频数据通道,并执行打包得到多个行视频数据包;
对所有的行视频数据包添加行标识、进行编码、FIFO、并串转换后,得到多个所述视频LVDS信号;
其中,所述视频LVDS信号包括多个串行的行LVDS信号;所述行视频数据包包括:行标识、像素数据字段,所述行标识包括帧号、行号、数据类型、数据长度。
6.一种电子内窥镜信号传输装置,其特征在于,包括:
接收模块,用于第二FPGA接收到多个视频LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的多个信号;
解析与验证模块,用于解析每个所述视频数据通道发送的所述视频LVDS信号,得到每个所述视频LVDS信号对应的多个行视频数据包,并对所述行视频数据包进行标识校验;
替换模块,用于若存在验证失败视频数据包,则将所述验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;
合成与发送模块,用于将所有验证成功的行视频数据包对应的行视频数据与替换后的行视频数据包的行视频数据还原为MIPI视频数据,并将所述MIPI视频数据发送至视频信号处理模块;
还包括:
控制LVDS信号接收模块,用于接收到控制LVDS信号,其中,所述控制LVDS信号是所述第一FPGA基于控制数据通道将多种控制信号根据控制数据类型转换成的信号,且所述控制LVDS信号包括多个串行的控制数据包;
还原模块,用于将所述控制LVDS信号还原成多个所述控制信号。
7.一种电子设备,其特征在于,包括:
存储器,用于存储FPGA信号处理程序;
第二FPGA,用于执行所述FPGA信号处理程序时实现如权利要求1至4任一项所述电子内窥镜信号传输方法的步骤。
8.一种电子内窥镜信号传输系统,其特征在于,包括:镜体端和图像处理器端;
所述镜体端包括:CMOS模组,用于发送MIPI视频信号;
与所述CMOS模组连接的第一FPGA,用于利用多个视频数据通道,根据预设像素格式将上述MIPI视频信号转换成的多个视频LVDS信号;
所述图像处理器端包括:
隔离模块;
与所述隔离模块连接的第二FPGA,用于接收到多个所述视频LVDS信号;解析每个所述视频数据通道发送的所述视频LVDS信号,得到每个所述视频LVDS信号对应的多个行视频数据包,并对所述行视频数据包进行标识校验;若存在验证失败视频数据包,则将所述验证失败视频数据包替换成相邻视频数据通道的验证成功的行视频数据包;将所有验证成功的行视频数据包对应的行视频数据与替换后的视频数据包的行视频数据还原为MIPI视频数据;
与所述第二FPGA连接的视频信号处理模块,用于对所述MIPI视频数据进行处理;
还包括:
控制信号发送模块,用于发送多种控制信号;
与所述第二FPGA连接控制信号处理模块,用于对多个所述控制信号进行处理;
对应的,所述第一FPGA,还用于基于控制数据通道将多种所述控制信号根据控制信号类型转换成控制LVDS信号,发送控制LVDS信号至所述第二FPGA,用于接收所述第二FPGA发送的目标控制LVDS信号;所述控制LVDS信号包括多个串行的控制数据包;
所述第二FPGA,还用于接收到控制LVDS信号,将所述控制LVDS信号还原成多个所述控制信号,用于发送所述目标控制LVDS信号至所述第一FPGA。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911136316.2A CN110769206B (zh) | 2019-11-19 | 2019-11-19 | 一种电子内窥镜信号传输方法、装置和系统及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911136316.2A CN110769206B (zh) | 2019-11-19 | 2019-11-19 | 一种电子内窥镜信号传输方法、装置和系统及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110769206A CN110769206A (zh) | 2020-02-07 |
CN110769206B true CN110769206B (zh) | 2022-01-07 |
Family
ID=69338531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911136316.2A Active CN110769206B (zh) | 2019-11-19 | 2019-11-19 | 一种电子内窥镜信号传输方法、装置和系统及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110769206B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112306929A (zh) * | 2020-03-20 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 用于传输数据的方法、装置和系统 |
CN111491100B (zh) * | 2020-04-20 | 2021-04-27 | 南京莱斯电子设备有限公司 | 一种在嵌入式平台降低图像处理功耗的方法 |
CN113595960A (zh) * | 2020-04-30 | 2021-11-02 | 深圳硅基智控科技有限公司 | 接收胶囊内窥镜的数据的通信装置的通信方法 |
CN111741259B (zh) * | 2020-06-11 | 2022-05-06 | 北京三快在线科技有限公司 | 无人驾驶设备的控制方法及装置 |
CN114040151B (zh) * | 2021-09-28 | 2023-11-21 | 惠州华阳通用电子有限公司 | 一种全景环视系统解码方法及装置 |
CN114285914B (zh) * | 2021-10-19 | 2023-10-20 | 南方电网数字电网研究院有限公司 | 基于电力安全的视频数据处理系统、方法和装置 |
CN114237544A (zh) * | 2021-12-15 | 2022-03-25 | 北京百度网讯科技有限公司 | 一种音频输入方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101267555A (zh) * | 2007-11-22 | 2008-09-17 | 武汉大学 | 一种基于像素行重排的图像和视频抗误码方法 |
CN103027659A (zh) * | 2011-09-30 | 2013-04-10 | 富士胶片株式会社 | 内窥镜系统和用于内窥镜的外部控制设备 |
CN108629174A (zh) * | 2018-05-08 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 字符串校验的方法及装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100466725C (zh) * | 2005-11-03 | 2009-03-04 | 华为技术有限公司 | 多媒体通信方法及其终端 |
CN101086844A (zh) * | 2007-07-19 | 2007-12-12 | 清华大学 | 抗信道恶劣丢包伴随误码的语音编码传输方法 |
JP4999006B2 (ja) * | 2008-04-21 | 2012-08-15 | 独立行政法人産業技術総合研究所 | シリアルバス伝送システム |
CN102791181B (zh) * | 2010-07-30 | 2014-12-31 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
JP6173766B2 (ja) * | 2013-05-10 | 2017-08-02 | Hoya株式会社 | 電子内視鏡用プロセッサ、電子内視鏡システムおよび画像処理装置 |
CN106562758B (zh) * | 2016-10-12 | 2018-08-07 | 深圳开立生物医疗科技股份有限公司 | 一种内窥镜供电系统 |
CN106598543A (zh) * | 2016-11-30 | 2017-04-26 | 上海集成电路研发中心有限公司 | 图像传感器数据处理系统 |
CN108259890B (zh) * | 2018-02-13 | 2023-08-18 | 深圳市辰卓电子有限公司 | 一种信息采集桥接装置及图像传感器质量自动检测设备 |
CN109660746B (zh) * | 2018-11-30 | 2021-08-13 | 瀚湄信息科技(上海)有限公司 | 一种mipi信号距离传输装置及方法 |
CN109497918A (zh) * | 2018-12-14 | 2019-03-22 | 深圳市博盛医疗科技有限公司 | 一种电子内窥镜高速视频信号传输与隔离装置 |
CN209232383U (zh) * | 2018-12-26 | 2019-08-09 | 广东高云半导体科技股份有限公司 | 一种显示器及其信号转换电路 |
CN109493832B (zh) * | 2018-12-29 | 2021-03-12 | 小派科技(上海)有限责任公司 | 支持dsc压缩的vr显示装置及其控制方法 |
-
2019
- 2019-11-19 CN CN201911136316.2A patent/CN110769206B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101267555A (zh) * | 2007-11-22 | 2008-09-17 | 武汉大学 | 一种基于像素行重排的图像和视频抗误码方法 |
CN103027659A (zh) * | 2011-09-30 | 2013-04-10 | 富士胶片株式会社 | 内窥镜系统和用于内窥镜的外部控制设备 |
CN108629174A (zh) * | 2018-05-08 | 2018-10-09 | 阿里巴巴集团控股有限公司 | 字符串校验的方法及装置 |
Non-Patent Citations (1)
Title |
---|
高速并行总线信号完整性测试技术;张楷;《中国集成电路》;20070110(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110769206A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110769206B (zh) | 一种电子内窥镜信号传输方法、装置和系统及电子设备 | |
CN110769207B (zh) | 一种电子内窥镜信号传输方法、装置和设备及系统 | |
US8397272B2 (en) | Multi-stream digital display interface | |
EP2168373B1 (en) | Data transmission apparatus with information skew and redundant control information and method | |
TWI686085B (zh) | 攝像裝置及圖像感測器之資料傳送方法、資訊處理裝置及資訊處理方法以及程式 | |
US20160261375A1 (en) | Packet format and coding method for serial data transmission | |
JP5233165B2 (ja) | データ伝送装置 | |
WO2022078426A1 (zh) | 数据传输方法、系统和计算机可读存储介质 | |
US20080101409A1 (en) | Packetization | |
CN101977092A (zh) | 前向纠错映射和去映射技术 | |
US20220053053A1 (en) | Transmission device, transmission method, reception device, reception method, and transmission-reception device | |
JP5761551B2 (ja) | 送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システム | |
CN110891154B (zh) | 一种视频容错传输系统与容错发送装置 | |
WO2016196138A1 (en) | Communication of sideband data for videos | |
WO2023087143A1 (zh) | 一种视频传输方法和装置 | |
CN107302532B (zh) | Raw图像数据传输系统 | |
EP4125256A1 (en) | Systems and methods for controlling high speed video | |
JPH02272975A (ja) | 画像受信方法及び画像受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |