CN110769207B - 一种电子内窥镜信号传输方法、装置和设备及系统 - Google Patents
一种电子内窥镜信号传输方法、装置和设备及系统 Download PDFInfo
- Publication number
- CN110769207B CN110769207B CN201911136356.7A CN201911136356A CN110769207B CN 110769207 B CN110769207 B CN 110769207B CN 201911136356 A CN201911136356 A CN 201911136356A CN 110769207 B CN110769207 B CN 110769207B
- Authority
- CN
- China
- Prior art keywords
- control
- signals
- video
- lvds
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
本申请提供了一种电子内窥镜信号传输方法,利用多个视频数据通道和控制数据通道进行数据传输,将高速MIPI视频信号转换成多个低速的视频LVDS信号,首先,低速信号更好地确保数据传输的完整性,其次,多视频通道根据预设像素格式进行信号的转换,能够满足不同像素的视频信号;基于控制数据通道将多种控制信号转换成控制LVDS信号,能够在后代的镜体产品增加控或者改变控制信号时,仍能与之前的图像处理器产品相互兼容。增加了内窥镜的镜体和图像处理器之间的匹配的灵活性和通用性。本申请同时还提供了一种电子内窥镜信号传输装置、电子设备和电子内窥镜信号传输系统,均具有上述有益效果。
Description
技术领域
本申请涉及电子内窥镜技术领域,特别涉及一种电子内窥镜信号传输方法、电子内窥镜信号传输装置、电子设备和电子内窥镜信号传输系统。
背景技术
电子内窥镜由于摄像头位于插入部的前端,大部分摄像头输出视频MIPI信号,传输距离基本上都小于1米,而摄像头距离图像处理的距离一般在3到5米,如果要想把摄像头输出的高速视信号实时地传输到图像处理主机,需要对摄像头输出的信号做长线传输处理,大部分采用在摄像头操作部处做串行化后,经过长线传输,在图像处理器侧做去串行化处理。
现有内窥镜产品,处理器与内窥镜镜体之间的信号连接通常采用固定的视频通道和多个单独的控制通道,通常只能匹配一种固定形式的输入信号及接口,当内窥镜镜体在升级时,需要提升视频的像素或者需要增加控制信号时,则不能兼容。
因此,如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本申请的目的是提供一种电子内窥镜信号传输方法、电子内窥镜信号传输装置、电子设备和电子内窥镜信号传输系统,更好地确保数据传输的完整性,能够满足不同像素的视频信号,在增加控制信号时保证设备的正常运行。
其具体方案如下:
本申请提供一种电子内窥镜信号传输方法,包括:
第一FPGA获取MIPI视频信号和多种第一控制信号;
利用多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,其中,所述视频LVDS信号包括多个串行的视频行像素数据包;
基于控制数据通道将多种所述第一控制信号根据控制信号类型转换成第一控制LVDS信号,其中,所述第一控制LVDS信号包括多个串行的控制数据包;
利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA,且将所述第一控制LVDS信号发送至所述第二FPGA,以便所述第二FPGA将所有的所述视频LVDS信号还原成所述MIPI视频信号,将所述第一控制LVDS信号还原成多个所述第一控制信号;
利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号。
可选的,所述利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号,包括:
当所述第二FPGA确定存在错误控制数据包时,利用所述LVDS接口系统接收到所述第二FPGA发送的重发控制LVDS信号;
基于所述控制数据通道将所述重发控制LVDS信号,还原成重新发送控制信号;
对应的,在所述基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号之后,还包括:
根据所述重新发送控制信号将与所述错误控制数据包对应的LVDS信号至所述第二FPGA。
可选的,所述利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA之后,还包括:
当所述第二FPGA确定存在故障视频数据通道时,接收到所述第二FPGA发送的倒换控制LVDS信号;
对所述倒换控制LVDS信号进行解析,获取倒换指令;
根据所述倒换指令,将所述故障视频数据通道切换至备用通道,以便所述备用通道发送未传输的数据。
可选的,所述利用多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,包括:
将所述MIPI视频信号转换成所述预设像素格式的视频数据;
对所述视频数据按照行像素数据进行分片处理,获取多个行视频数据;
分配所有所述行视频数据对应的视频数据通道,并执行打包得到多个视频数据包;
对所有的所述视频数据包添加行标识、进行编码、FIFO、并串转换后,得到多个所述视频LVDS信号;
其中,所述视频LVDS信号包括多个串行的所述视频数据包;所述视频数据包包括:行标识、像素数据字段,所述行标识包括帧号、行号、数据类型、数据长度。
可选的,所述将所述MIPI视频信号转换成所述预设像素格式的视频数据,包括:
通过所述第一FPGA中的MIPI D-PHY内核将所述MIPI视频信号转换成像素格式的所述视频数据。
可选的,所述基于控制数据通道将多种所述第一控制信号根据控制信号类型转换成控制LVDS信号,包括:
将所有的所述第一控制信号与预设控制信号类型表进行匹配,确定每个所述第一控制信号对应的控制信号类型;
根据所述控制信号类型,将对应的控制数据添加对应的虚拟管道ID、序列号、循环冗余校验字段,得到中间控制数据包;
所述中间控制数据包经编码、FIFO、并串转换后,得到多个所述控制数据包,以便得到包括多个所述控制数据包的所述第一控制LVDS信号。
本申请提供一种电子内窥镜信号传输装置,包括:
信号获取模块,用于第一FPGA获取MIPI视频信号和多种第一控制信号;
视频信号转换模块,用于利用多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,其中,所述视频LVDS信号包括多个串行的视频行像素数据包;
控制信号转换模块,用于基于控制数据通道将多种所述第一控制信号根据控制信号类型转换成控制第一LVDS信号,其中,所述第一控制LVDS信号包括多个串行的控制数据包;
发送模块,用于利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA,且将所述第一控制LVDS信号发送至所述第二FPGA,以便所述第二FPGA将所有的所述视频LVDS信号还原成所述MIPI视频信号,将所述第一控制LVDS信号还原成多个所述第一控制信号;
还原模块,用于利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号。
本申请提供一种电子设备,包括:
存储芯片,用于存储第一FPGA信号处理程序;
FPGA芯片,用于执行所述第一FPGA信号处理程序时实现如上述电子内窥镜信号传输方法的步骤。
本申请提供一种电子内窥镜信号传输方法,包括:
第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的信号,所述控制LVDS信号是所述第一FPGA基于控制数据通道将多种第一控制信号根据控制信号类型转换成的信号;
将多个所述视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块以便所述视频信号处理模块进行处理;
将所述第一控制LVDS信号还原成多个所述第一控制信号,发送至控制信号处理模块以便所述控制信号处理模块进行处理;
将多个第二控制信号转换成第二控制LVDS信号,并将所述第二控制LVDS信号发送至所述第一FPGA,以便所述第一FPGA还原成多个第二控制信号。
可选的,所述将多个所述视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块,包括:
接收多个所述视频LVDS信号,解析每个所述视频LVDS信号,得到所有的所述视频LVDS信号对应的行LVDS视频数据;
将所有的所述行LVDS视频数据通过时钟数据恢复、串并转换、FIFO、解码、标识校验,获取多个串行的视频数据包对应的行视频数据;
根据所有的所述行视频数据的行标识将所述行视频数据合成为像素格式数据;
使用所述第二FPGA的D-PHY内核将所述像素格式数据还原成所述MIPI视频信号,并发送到所述视频信号处理模块。
可选的,所述将所述第一控制LVDS信号还原成多个所述第一控制信号,发送至控制信号处理模块,包括:
接收所述第一控制LVDS信号,解析所述第一控制LVDS信号,得到多个控制数据包;
将所有的所述控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包;
当所述中间控制数据包基于循环冗余校验字段校验成功后,根据所述中间控制数据包的虚拟管道ID标识确定控制信号类型;
根据所述控制信号类型得到所有的所述第一控制信号,并发送至所述控制信号处理模块。
可选的,所述经串并转换、FIFO、解码、标识校验,获取多个串行的行视频数据,包括:
经串并转换、FIFO、解码获取视频数据包;
对所述视频数据包进行标识校验,得到校验结果;
当所述校验结果是校验失败时,判断所述视频数据包对应的故障视频数据通道的校验失败次数是否达到预设阈值;
若达到所述预设阈值,则生成倒换控制LVDS信号,并发送至所述第一FPGA,以便所述第一FPGA将所述故障视频数据通道切换至备用通道,以使获取多个串行的所述行视频数据。
可选的,所述第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号之后,还包括:
判断所述第一控制LVDS信号中的多个串行的控制数据包是否存在错误控制数据包;
若存在所述错误控制数据包,则发送重发控制LVDS信号至所述第一FPGA;
接收到所述第一FPGA重新发送的与所述错误控制数据包对应的LVDS信号。
本申请提供一种电子内窥镜信号传输装置,包括:
信号接收模块,用于第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的信号,所述控制LVDS信号是所述第一FPGA基于控制数据通道将多种第一控制信号根据控制信号类型转换成的信号;
视频信号还原与发送模块,用于将多个所述视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块以便所述视频信号处理模块进行处理;
控制信号还原与发送模块,用于将所述第一控制LVDS信号还原成多个所述第一控制信号,发送至控制信号处理模块以便所述控制信号处理模块进行处理;
控制信号转换模块,用于将多个第二控制信号转换成第二控制LVDS信号,并将所述第二控制LVDS信号发送至所述第一FPGA,以便所述第一FPGA还原成多个第二控制信号。
本申请提供一种电子设备,包括:
存储芯片,用于存储第二FPGA信号处理程序;
FPGA芯片,用于执行所述第二FPGA信号处理程序时实现如上述电子内窥镜信号传输方法的步骤。
本申请提供一种电子内窥镜信号传输系统,包括:镜体端和图像处理器端;
所述镜体端包括:
CMOS模组,用于发送MIPI视频信号;
控制信号模组,用于发送及接收多种控制信号;
与所述CMOS模组、所述控制信号模组连接的第一FPGA,用于获取MIPI视频信号和多种第一控制信号;利用多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,其中,所述视频LVDS信号包括多个串行的视频行像素数据包;基于控制数据通道将多种所述第一控制信号根据控制信号类型转换成第一控制LVDS信号,其中,所述第一控制LVDS信号包括多个串行的控制数据包;利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA,且将所述第一控制LVDS信号发送至所述第二FPGA;利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号;
所述图像处理器端包括:
隔离模块;
与所述隔离模块连接的所述第二FPGA,用于将多个所述视频LVDS信号还原为MIPI视频信号;将所述第一控制LVDS信号还原成多个第一控制信号;将多个所述第二控制信号转换成所述第二控制LVDS信号,并将所述第二控制LVDS信号发送至所述第一FPGA;
与所述第二FPGA连接的视频信号处理模块,用于对所述MIPI视频信号进行处理;
与所述第二FPGA连接控制信号处理模块,用于对多个所述控制信号进行处理,发送控制信号至所述第二FPGA。
本申请提供一种电子内窥镜信号传输方法,包括:第一FPGA获取MIPI视频信号和多种第一控制信号;利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成多个视频LVDS信号,其中,视频LVDS信号包括多个串行的视频行像素数据包;基于控制数据通道将多种第一控制信号根据控制信号类型转换成第一控制LVDS信号,其中,第一控制LVDS信号包括多个串行的控制数据包;利用LVDS接口系统将所有的视频LVDS信号并行发送至第二FPGA,且将第一控制LVDS信号发送至第二FPGA,以便第二FPGA将所有的视频LVDS信号还原成MIPI视频信号,将第一控制LVDS信号还原成多个第一控制信号;利用LVDS接口系统接收到第二FPGA发送的第二控制LVDS信号,并基于控制数据通道将第二控制LVDS信号,还原成至少一个第二控制信号。
本申请利用多个视频数据通道和控制数据通道进行数据传输,将高速MIPI视频信号转换成多个低速的视频LVDS信号,首先,低速信号更好地确保数据传输的完整性,其次,多视频通道根据预设像素格式进行信号的转换,能够满足不同像素的视频信号;基于控制数据通道将多种第一控制信号转换成第一控制LVDS信号,能够在后代的镜体产品增加控或者改变控制信号时,仍能与之前的图像处理器产品相互兼容。增加了内窥镜的镜体和图像处理器之间的匹配的灵活性和通用性。本申请同时还提供了一种电子内窥镜信号传输装置、电子设备和电子内窥镜信号传输系统,均具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种电子内窥镜信号传输方法的流程图;
图2为本申请实施例所提供的一种电子内窥镜接口系统的一种结构示意图;
图3为本申请实施例提供的一种视频数据包封装示意图;
图4为本申请实施例提供的一种MIPI视频信号与视频LVDS信号的转换流程图;
图5为本申请实施例提供的一种控制数据包封装示意图;
图6为本申请实施例提供的多种第一控制信号与第一控制LVDS信号以及第二控制信号与第二控制LVDS信号的转换流程图;
图7为本申请实施例所提供的一种电子内窥镜信号传输装置的结构示意图;
图8为本申请实施例所提供的一种电子内窥镜信号传输方法的流程图;
图9为本申请实施例所提供的一种电子内窥镜信号传输装置的结构示意图;
图10为本申请实施例提供的一种电子内窥镜信号传输系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参考图1,图1为本申请实施例所提供的一种电子内窥镜信号传输方法的流程图,包括:
S101、第一FPGA获取MIPI视频信号和多种第一控制信号。
本实施例应用于电子内窥镜接口系统,请参考图2,图2为本申请实施例所提供的一种电子内窥镜接口系统的一种结构示意图,包括镜体端和图像处理器端,其中,镜体端包括CMOS模组、控制信号模块和第一FPGA即操作部,CMOS模组用于传输MIPI视频信号,控制信号模块位于插入部头端和操作部,用于传输及接收信号,针对传输来说,传输第一控制信号,第一控制信号包括当时不限定于I2C控制信号、CMOS控制信号,对应的也接收I2C控制信号、CMOS控制信号;其中,第一FPGA可以将MIPI视频信号转换成多个视频LVDS信号,并且第一FPGA可以将控制信号转换成一对收发LVDS差分对,即第一FPGA可以将多种第一控制信号转换成第一控制LVDS信号发送至第二FPGA,当然也可以将从第二FPGA接收到的第二控制LVDS信号还原成多种第二控制信号。对应的,图像处理器端包括第二FPGA,第二FPGA可以将多个视频LVDS信号还原成MIPI视频信号,并且,第二FPGA可以将控制信号转换成一对收发LVDS差分对,即第二FPGA可以将多种第二控制信号转换成第二控制LVDS信号,发送至第一FPGA,当然也可以将从第一FPGA接收到的第一控制LVDS信号还原成多种第一控制信号。图像处理器对MIPI信号以及控制信号进行处理并通过显示屏显示。具体的,图像处理器还可以包括视频信号处理模块和控制信号处理模块。
在本实施例中,COMS模组发送MIPI视频信号至第一FPGA,控制信号模组发送多种第一控制信号至第一FPGA,第一FPGA通过IO管脚接收。其中,多种第一控制信号包括但是不限于I2C控制信号、CMOS控制信号。MIPI视频信号本实施例不再进行限定,可以是包含高视频像素的视频信号。
S102、利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成多个视频LVDS信号。
在本步骤中,使用第一FPGA将MIPI视频信号分别转换成对应的LVDS信号。视频数据通道包括多个LVDS差分对,用于将镜体端的MIPI视频信号传递到处理器端,根据MIPI视频信号对应的视频像素分配不同数量的视频数据通道。FPGA芯片上集成MIPI D-PHY内核,因此,第一FPGA可以通过MIPI D-PHY内核直接将MIPI格式的MIPI视频信号转换成像素格式的视频数据,其中,支持多种像素格式可以是ROW10、ROW8、RGB888、RGB565、YUV422等,本实施例以ROW10为例。
在一种可实现的实施方式中,利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成多个视频LVDS信号,具体包括:将MIPI视频信号转换成预设像素格式的视频数据;对视频数据按照行像素数据进行分片处理,获取多个行视频数据;分配所有行视频数据对应的视频数据通道,并执行打包得到多个视频数据包;对所有的视频数据包添加行标识、进行编码、FIFO、并串转换后,得到多个视频LVDS信号;其中,视频LVDS信号包括多个串行的视频数据包;视频数据包包括:行标识、像素数据字段,行标识包括但不限于帧号、行号、数据类型、数据长度。
其中,预设像素格式可以是RGB格式或YUV格式或ROW格式,只要是能够实现本实施例的目的即可。本实施例中,得到视频数据后,进行分片处理,具体是以一行的像素数据为基本单元,得到多个行视频数据,对行视频数据分配对应的视频数据通道,本实施例中不对视频数据通道的数量进行限定,可以根据实际需求进行设置,可以理解的是每个所有的行视频数据是进行并行传输,且每一个视频LVDS信号对应的行视频数据包括多个串行的视频数据包,这些视频数据包是串行传输。最终,每一个视频LVDS信号包括添加行标识、进行编码、FIFO、并串转换后的视频数据包。针对视频数据的封装过程,请参考图3,图3为本申请实施例提供的一种视频数据包封装示意图。
MIPI视频信号与视频LVDS信号的转换流程图如图4所示,图4为本申请实施例提供的一种MIPI视频信号与视频LVDS信号的转换流程图,在第一FPGA中实现信号的转换,主要为转换信号并发送至第二FPGA的过程,在一种可实现的实施方式中,具体可以包括:将镜体端的CMOS模组的MIPI视频信号通过第一FPGA中的MIPI D-PHY内核转换成RAW10格式数据,将一行的像素数据即行视频数据通过通道管理分配到N(1、2~N)个通道Lane上,每个通道上的行视频数据经过字节打包后得到视频数据包,并添加行标识(包括但是不限于帧号、行号、数据类型、长度),然后在物理层分别对每个通道的视频数据包进行8B/10B编码当然还可以是其他形式的编码,本实施例以8B/10B编码为例,发送FIFO用来消除发送端用户时钟域与产生串行比特流时钟域的相位偏差,然后分别经过并串转换后经传输差分驱动发送到N条LVDS线路上,最终得到多个视频LVDS信号。
S103、基于控制数据通道将多种第一控制信号根据控制信号类型转换成第一控制LVDS信号。
其中,第一控制LVDS信号包括多个串行的控制数据包。
在本步骤中,使用第一FPGA将多种第一控制信号转换成对应的LVDS信号,具体可以是采用虚拟管道ID的方式,为不同类别的第一控制信号分配特有的虚拟管道ID封装成控制数据包,仅一对收发的LVDS差分对就可封装多种不同的控制信号,还具有可扩展性。可以是将每一种类型的第一控制数据分配一种虚拟管道ID,还可以是每一类的第一控制数据分配一类虚拟管道ID,用户可自定义设置,只要是能够实现本实施例的目的即可。
在一种可实现的实施方式中,基于控制数据通道将多种第一控制信号根据控制信号类型转换成控制LVDS信号,具体包括:将所有的第一控制信号与预设控制信号类型表进行匹配,确定每个第一控制信号对应的控制信号类型;根据控制信号类型,将对应的控制数据添加对应的虚拟管道ID、序列号、循环冗余校验字段即CRC,得到中间控制数据包;中间控制数据包经编码、FIFO、并串转换后,得到多个控制数据包,以便得到包括多个控制数据包的第一控制LVDS信号。
可以理解的是,本实施例中均采用LVDS信号进行传输,LVDS信号传输接口采用的是在数据线中内嵌时钟,不需要传送时钟信号,避免了传输过程中各信号瞬时抖动不一致,破坏了接收数据与时钟之间的定时关系,也避免了由于时钟信号异常导致整个系统传输崩溃的问题,而且使用了较少的芯片引脚。在进行编码时,采用8B/10B编码的方式实现数据中内嵌时钟,就是将8位数据编码成10位数据再进行传输,同时将时钟信号也编码了进去。针对控制数据的封装过程,请参考图5,图5为本申请实施例提供的一种控制数据包封装示意图。
多种第一控制信号与第一控制LVDS信号的转换流程图如图6所示,图6为本申请实施例提供的多种第一控制信号与第一控制LVDS信号以及第二控制信号与第二控制LVDS信号的转换流程图。
在第一FPGA中实现信号的转换,主要为转换信号并发送至第二FPGA的过程,在一种可实现的实施方式中,具体可以包括:第一FPGA从IO管脚接收多种第一控制信号并解析,其中第一控制信号包括控制数据,根据控制信号类型将控制数据与其对应的虚拟管道ID(Pipe ID)封装成类型控制数据,对类型控制数据包添加序列号、循环冗余校验字段即CRC校验码,并通过8B/10B编码后送到发送先入先出缓冲区队列FIFO中,发送FIFO用来消除发送端用户时钟域与产生串行比特流时钟域的相位偏差,然后通过并串转换后经发送差分驱动传输到控制数据通道LVDS接口物理线路上,进行第一控制LVDS信号的传输,将第一控制LVDS信号发送至第二FPGA。
S104、利用LVDS接口系统将所有的视频LVDS信号并行发送至第二FPGA,且将第一控制LVDS信号发送至第二FPGA。
利用LVDS接口系统将所有的视频LVDS信号并行发送至第二FPGA,且将第一控制LVDS信号发送至第二FPGA,以便第二FPGA将所有的视频LVDS信号还原成MIPI视频信号,将第一控制LVDS信号还原成多个第一控制信号。
在一种可实现的实施方式中,利用LVDS接口系统接收到第二FPGA发送的第二控制LVDS信号,并基于控制数据通道将第二控制LVDS信号,还原成至少一个第二控制信号,包括:当第二FPGA确定存在错误控制数据包时,利用LVDS接口系统接收到第二FPGA发送的重发控制LVDS信号;基于控制数据通道将重发控制LVDS信号,还原成重新发送控制信号;
对应的,在基于控制数据通道将第二控制LVDS信号,还原成至少一个第二控制信号之后,还包括:根据重新发送控制信号将与错误控制数据包对应的LVDS信号发送至第二FPGA。
可以理解的是,重传不仅是第二FPGA接收到错误的控制数据包的时候,通知第一FPGA重新发送控制数据,当第一FPGA接收到错误的控制数据包的时候,也会通知第二FPGA重新发送控制数据。
链路层对接收到的控制数据数据进行CRC校验,校验的结果是可靠或不可靠,如果可靠就对数据进行处理,校验后的数据到达应用层,根据虚拟管道标识Pipe ID识别控制数据类型,解析后发送到相应的控制模块。如果不可靠,就丢弃并通知第一FPGA重传,则第一FPGA利用LVDS接口系统接收到第二FPGA发送的重发控制LVDS信号,第一FPGA将重发控制信号还原,生成对应的重新发送控制信号,第一FPGA根据重新发送控制信号的指令将与错误控制数据包对应的LVDS信号重新发送至第二FPGA,以便最终能够根据所有的第一控制信息实现对应的操作。
S105、利用LVDS接口系统接收到第二FPGA发送的第二控制LVDS信号,并基于控制数据通道将第二控制LVDS信号,还原成至少一个第二控制信号。
在本实施例中,FPGA之间的控制信号的传输是双向的,即第一FPGA可以将多种第一控制信号转换成第一控制LVDS信号发送至第二FPGA,当然也可以将从第二FPGA接收到的第二控制LVDS信号还原成多种第二控制信号。对应的,第二FPGA可以将控制信号转换成一对收发LVDS差分对,即第二FPGA可以将多种第二控制信号转换成第二控制LVDS信号,发送至第一FPGA,当然也可以将从第一FPGA接收到的第一控制LVDS信号还原成多种第一控制信号。简单来说,控制信号是双向的,有从第一FPGA端向第二FPGA端传输的,也有第二FPGA向第一FPGA端传输的,所以这个控制LVDS信号双向的。第二FPGA不仅是当视频LVDS接收错误时才发送控制LVDS给第一FPGA,正常情况下也会有控制LVDS信号发送给第一FPGA,和第一FPGA发送控制信号给第二FPGA一样。
基于上述技术方案,本实施例利用多个视频数据通道和控制数据通道进行数据传输,将高速MIPI视频信号转换成多个低速的视频LVDS信号,首先,低速信号更好地确保数据传输的完整性,其次,多视频通道根据预设像素格式进行信号的转换,能够满足不同像素的视频信号;基于控制数据通道将多种第一控制信号转换成第一控制LVDS信号,能够在后代的镜体产品增加控或者改变控制信号时,仍能与之前的图像处理器产品相互兼容。增加了内窥镜的镜体和图像处理器之间的匹配的灵活性和通用性。
在一种可实现的实施方式中,利用LVDS接口系统将所有的视频LVDS信号并行发送至第二FPGA之后,还包括:
S1、当第二FPGA确定存在故障视频数据通道时,接收到第二FPGA发送的倒换控制LVDS信号。
S2、对倒换控制LVDS信号进行解析,获取倒换指令。
S3、根据倒换指令,将故障视频数据通道切换至备用通道,以便备用通道发送未传输的数据。
具体的,第二FPGA接收到视频LVDS信号,首先在链路上接收串行的数据,经过串并转换及8B/10B解码后得到每个通道的视频行像素数据包,然后分别对每个通道视频行像素数据包的行标识进行校验及对比,校验失败的通道数据包被丢弃。如果主用视频数据通道的某条通道出错超过设定阈值,判定该通道的物理链路有问题,这时当第二FPGA确定存在故障视频数据通道时,第二FPGA发送第二FPGA确定存在故障视频数据通道的序号至第一FPGA,第一FPGA接收到第二FPGA发送的倒换控制LVDS信号,对倒换控制LVDS信号进行解析,获取倒换指令。其中,对倒换控制LVDS信号进行解析,获取倒换指令,具体包括,将倒换控制LVDS信号还原成倒换控制信号,对倒换控制信号解析,得到倒换指令。此时第一FPGA根据倒换指令,将故障视频数据通道切换至备用通道,以便备用通道发送未传输的数据。因此,完成了自动将该故障视频通道切换至备用通道,以便完成视频传输。在本实施例中,不对备用通道的数量进行限定,用户可自定义设置,当然备用通道可以是1个或者2个,以便能够保证数据传输的可靠性。
基于上述技术方案,本实施例中视频数据通道支持倒换保护,传输接口的视频数据通道分为2~n个主用通道和备用通道,当主用的视频数据通道中的某一个通道由于弯折、不良等出现问题时,可自动将此通道的数据切换到备用的视频数据通道,提高视频信号传输的可靠性。
下面对本申请实施例提供的一种电子内窥镜信号传输装置进行介绍,下文描述的FPGA与上文描述的电子内窥镜信号传输方法可相互对应参照,相关模块均设置于中第一FPGA,参考图7,图7为本申请实施例所提供的一种电子内窥镜信号传输装置的结构示意图,包括:
信号获取模块710,用于第一FPGA获取MIPI视频信号和多种第一控制信号;
视频信号转换模块720,用于利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成多个视频LVDS信号,其中,视频LVDS信号包括多个串行的视频行像素数据包;
控制信号转换模块730,用于基于控制数据通道将多种第一控制信号根据控制信号类型转换成控制第一LVDS信号,其中,第一控制LVDS信号包括多个串行的控制数据包;
发送模块740,用于利用LVDS接口系统将所有的视频LVDS信号并行发送至第二FPGA,且将第一控制LVDS信号发送至第二FPGA,以便第二FPGA将所有的视频LVDS信号还原成MIPI视频信号,将第一控制LVDS信号还原成多个第一控制信号;
还原模块750,用于利用LVDS接口系统接收到第二FPGA发送的第二控制LVDS信号,并基于控制数据通道将第二控制LVDS信号,还原成至少一个第二控制信号。
优选的,还原模块750,包括:
接收单元,用于当第二FPGA确定存在错误控制数据包时,利用LVDS接口系统接收到第二FPGA发送的重发控制LVDS信号;
还原单元,用于基于控制数据通道将重发控制LVDS信号,还原成重新发送控制信号;
对应的,还包括:
重发模块,用于根据重新发送控制信号将与错误控制数据包对应的LVDS信号至第二FPGA。
优选的,还包括:
倒换控制LVDS信号接收模块,用于当第二FPGA确定存在故障视频数据通道时,接收到第二FPGA发送的倒换控制LVDS信号;
解析模块,用于对倒换控制LVDS信号进行解析,获取倒换指令;
通道切换模块,用于根据倒换指令,将故障视频数据通道切换至备用通道,以便备用通道发送未传输的数据。
优选的,视频信号转换模块820,包括:
转换单元,用于将MIPI视频信号转换成预设像素格式的视频数据;
分片单元,用于对视频数据按照行像素数据进行分片处理,获取多个行视频数据;
打包单元,用于分配所有行视频数据对应的视频数据通道,并执行打包得到多个视频数据包;
处理单元,用于对所有的视频数据包添加行标识、进行编码、FIFO、并串转换后,得到多个视频LVDS信号;
其中,视频LVDS信号包括多个串行的视频数据包;视频数据包包括:行标识、像素数据字段,行标识包括帧号、行号、数据类型、数据长度。
优选地,转换单元,包括:
转换子单元,用于通过第一FPGA中的MIPI D-PHY内核将MIPI视频信号转换成像素格式的视频数据。
优选地,控制信号转换模块730,包括:
匹配单元,用于将所有的第一控制信号与预设控制信号类型表进行匹配,确定每个第一控制信号对应的控制信号类型;
封装单元,用于根据控制信号类型,将对应的控制数据添加对应的虚拟管道ID、序列号、循环冗余校验字段,得到中间控制数据包;
处理单元,用于中间控制数据包经编码、FIFO、并串转换后,得到多个控制数据包,以便得到包括多个控制数据包的第一控制LVDS信号。
由于电子内窥镜信号传输装置部分的实施例与电子内窥镜信号传输方法部分的实施例相互对应,因此电子内窥镜信号传输装置部分的实施例请参见电子内窥镜信号传输方法部分的实施例的描述,这里暂不赘述。
下面对本申请实施例提供的一种电子设备进行介绍,下文描述的电子设备与上文描述的电子内窥镜信号传输方法可相互对应参照。
本申请提供一种电子设备,包括:
存储芯片,用于存储第一FPGA信号处理程序;
FPGA芯片,用于执行第一FPGA信号处理程序时实现如上述电子内窥镜信号传输方法的步骤。
由于电子设备部分的实施例与电子内窥镜信号传输方法部分的实施例相互对应,因此电子设备部分的实施例请参见电子内窥镜信号传输方法部分的实施例的描述,这里暂不赘述。
请参考图8,图8为本申请实施例所提供的一种电子内窥镜信号传输方法的流程图,包括:
S801、第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号,其中,多个视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的信号,控制LVDS信号是第一FPGA基于控制数据通道将多种第一控制信号根据控制信号类型转换成的信号。
S802、将多个视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块以便视频信号处理模块进行处理。
在一种可实现的实施方式中,将多个视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块,包括:接收多个视频LVDS信号,解析每个视频LVDS信号,得到所有的视频LVDS信号对应的行LVDS视频数据;将所有的行LVDS视频数据通过时钟数据恢复、串并转换、FIFO、解码、标识校验,获取多个串行的视频数据包对应的行视频数据;根据所有的行视频数据的行标识将行视频数据合成为像素格式数据;使用第二FPGA的D-PHY内核将像素格式数据还原成MIPI视频信号,并发送到视频信号处理模块。
其中,第二FPGA接收视频LVDS信号,并将多个视频LVDS信号还原为MIPI视频信号过程,请参考图4:物理层通过差分传输驱动接收N个通道Lane上的多个视频LVDS信号,解析每个视频LVDS信号,具体可以是通过时钟数据恢复(CDR)获取每个多个视频LVDS信号对应的串行的行LVDS视频数据及恢复时钟,然后经串并转换生成N路10bit位宽的数据,通过接收FIFO用于消除接收端的时钟域与从串行的视频数据包中恢复出的时钟域的相位偏差,然后经过8B/10B解码模块转换成N路8bit位宽的数据,对每个通道的行标识进行ECC校验以及对比,校验失败的通道数据包被丢弃。第二FPGA根据数据行标识Data ID识别视频数据的行号和帧号,并转换成RAW10格式数据,然后使用第二FPGA的D-PHY内核还原成MIPI格式视频信号发送到视频信号处理模块即图像处理器的图像处理模块。
进一步的,第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号之后,还包括:判断第一控制LVDS信号中的多个串行的控制数据包是否存在错误控制数据包;若存在错误控制数据包,则发送重发控制LVDS信号至第一FPGA;接收到第一FPGA重新发送的与错误控制数据包对应的LVDS信号。
链路层对接收到的控制数据数据进行CRC校验,校验的结果是可靠或不可靠,如果可靠就对数据进行处理,校验后的数据到达应用层,根据虚拟管道标识Pipe ID识别控制数据类型,解析后发送到相应的控制模块。如果不可靠,就丢弃并通知第一FPGA重传,则第一FPGA利用LVDS接口系统接收到第二FPGA发送的重发控制LVDS信号,第一FPGA将重发控制信号还原,生成对应的重新发送控制信号,第一FPGA根据重新发送控制信号的指令将与错误控制数据包对应的LVDS信号重新发送至第二FPGA,以便最终能够根据所有的第一控制信息实现对应的操作。
S803、将第一控制LVDS信号还原成多个第一控制信号,发送至控制信号处理模块以便控制信号处理模块进行处理。
在一种可实现的实施方式中,将第一控制LVDS信号还原成多个第一控制信号,发送至控制信号处理模块,包括:接收第一控制LVDS信号,解析第一控制LVDS信号,得到多个控制数据包;将所有的控制数据包通过时钟数据恢复、串并转换、FIFO、解码、标识校验,得到多个中间控制数据包;当中间控制数据包基于循环冗余校验字段校验成功后,根据中间控制数据包的虚拟管道ID标识确定控制信号类型;根据控制信号类型得到所有的第一控制信号,并发送至控制信号处理模块。
其中,第二FPGA的接收第一控制LVDS信号并进行信号还原的过程,请参考图6:第二FPGA物理层通过接收差分传输驱动和时钟数据恢复(CDR)接收到第一控制LVDS信号,以便得到控制数据包(即与第一控制LVDS信号对应的多种第一控制数据对应的控制数据包)和时钟,然后经过串并转换生成10bit位宽的数据,通过接收FIFO用于消除接收端的时钟域与从串行数据中恢复出的时钟域的相位偏差,通过8B/10B解码器转换成8位数据,送给链路层处理。链路层对收到的数据进行循环冗余校验字段校验即CRC校验,校验的结果是可靠或不可靠,如果可靠,并将校验后的控制数据到达应用层,根据控制数据的虚拟管道ID标识确定控制信号类型;根据控制信号类型得到所有的第一控制信号,并发送至控制信号处理模块。如果不可靠,就丢弃并通知发送端重传。
在一种可实现的实施方式中,经串并转换、FIFO、解码、标识校验,获取多个串行的行视频数据,包括:经串并转换、FIFO、解码获取视频数据包;对视频数据包进行标识校验,得到校验结果;当校验结果是校验失败时,判断视频数据包对应的故障视频数据通道的校验失败次数是否达到预设阈值;若达到预设阈值,则生成倒换控制LVDS信号,并发送第一FPGA,以便第一FPGA将故障视频数据通道切换至备用通道。
第二FPGA接收到视频LVDS信号,即接收到视频数据的接收,首先在链路上接收串行的数据,经过串并转换及8B/10B解码后得到每个通道的视频行像素数据包,然后分别对每个通道视频行像素数据包的行标识进行校验及对比,校验失败的通道数据包被丢弃。如果主用视频数据通道的某条通道出错超过设定阈值,判定该通道的物理链路有问题,这时当第二FPGA确定存在故障视频数据通道时,第二FPGA发送第二FPGA确定存在故障视频数据通道的序号第一FPGA,第一FPGA接收到第二FPGA发送的倒换控制LVDS信号,对倒换控制LVDS信号进行解析,获取倒换指令。其中,对倒换控制LVDS信号进行解析,获取倒换指令,具体包括,将倒换控制LVDS信号还原成倒换控制信号,对倒换控制信号解析,得到倒换指令。此时第一FPGA根据倒换指令,将故障视频数据通道切换至备用通道,以便备用通道发送未传输的数据。因此,完成了自动将该故障视频通道切换至备用通道,以便完成视频传输。在本实施例中,不对备用通道的数量进行限定,用户可自定义设置,当然备用通道可以是1个或者2个,以便能够保证数据传输的可靠性。
S804、将多个第二控制信号转换成第二控制LVDS信号,并将第二控制LVDS信号发送至第一FPGA,以便第一FPGA还原成多个第二控制信号。
基于上述技术手段,本申请利用多个视频数据通道和控制数据通道进行数据传输,将高速MIPI视频信号转换成多个低速的视频LVDS信号,首先,低速信号更好地确保数据传输的完整性,其次,多视频通道根据预设像素格式进行信号的转换,能够满足不同像素的视频信号;基于控制数据通道将多种第一控制信号转换成第一控制LVDS信号,能够在后代的镜体产品增加控或者改变控制信号时,仍能与之前的图像处理器产品相互兼容。增加了内窥镜的镜体和图像处理器之间的匹配的灵活性和通用性。
下面对本申请实施例提供的一种电子内窥镜信号传输装置进行介绍,下文描述的电子内窥镜信号传输装置与上文描述的电子内窥镜信号传输方法可相互对应参照,相关模块均设置于第二FPGA中,参考图9,图9为本申请实施例所提供的一种电子内窥镜信号传输装置的结构示意图,包括:
信号接收模块910,用于第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号,其中,多个视频LVDS信号是第一FPGA利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的信号,控制LVDS信号是第一FPGA基于控制数据通道将多种第一控制信号根据控制信号类型转换成的信号;
视频信号还原与发送模块920,用于将多个视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块以便视频信号处理模块进行处理;
控制信号还原与发送模块930,用于将第一控制LVDS信号还原成多个第一控制信号,发送至控制信号处理模块以便控制信号处理模块进行处理;
控制信号转换模块940,用于将多个第二控制信号转换成第二控制LVDS信号,并将第二控制LVDS信号发送至第一FPGA,以便第一FPGA还原成多个第二控制信号。
优选地,视频信号还原与发送模块920,包括:
行LVDS视频数据获得单元,用于接收多个视频LVDS信号,解析每个视频LVDS信号,得到所有的视频LVDS信号对应的行LVDS视频数据;
处理单元,用于将所有的行LVDS视频数据通过时钟数据恢复、串并转换、FIFO、解码、标识校验,获取多个串行的视频数据包对应的行视频数据;
合成单元,用于根据所有的行视频数据的行标识将行视频数据合成为像素格式数据;
还原单元,用于使用第二FPGA的D-PHY内核将像素格式数据还原成MIPI视频信号,并发送到视频信号处理模块。
优选地,控制信号还原与发送模块940,包括:
控制数据包获得单元,用于接收第一控制LVDS信号,解析第一控制LVDS信号,得到多个控制数据包;
处理单元,用于将所有的控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包;
确定单元,用于当中间控制数据包基于循环冗余校验字段校验成功后,根据中间控制数据包的虚拟管道ID标识确定控制信号类型;
还原与发送单元,用于根据控制信号类型得到所有的第一控制信号,并发送至控制信号处理模块。
优选地,处理单元,包括:
视频数据包获取子单元,用于经串并转换、FIFO、解码获取视频数据包;
校验子单元,用于对视频数据包进行标识校验,得到校验结果;
判断子单元,用于当校验结果是校验失败时,判断视频数据包对应的故障视频数据通道的校验失败次数是否达到预设阈值;
切换子单元,用于若达到预设阈值,则生成倒换控制LVDS信号,并发送至第一FPGA,以便第一FPGA将故障视频数据通道切换至备用通道,以使获取多个串行的行视频数据。
优选地,还包括:
判断模块,用于判断第一控制LVDS信号中的多个串行的控制数据包是否存在错误控制数据包;
重发控制LVDS信号发送模块,用于若存在错误控制数据包,则发送重发控制LVDS信号至第一FPGA;
重发信号接收模块,用于接收到第一FPGA重新发送的与错误控制数据包对应的LVDS信号。
下面对本申请实施例提供的一种电子设备进行介绍,下文描述的电子设备与上文描述的电子内窥镜信号传输方法可相互对应参照。
本申请提供一种电子设备,包括:
存储芯片,用于存储第二FPGA信号处理程序;
FPGA芯片,用于执行第二FPGA信号处理程序时实现如上述电子内窥镜信号传输方法的步骤。
面对本申请实施例提供的一种电子内窥镜信号传输系统进行介绍,下文描述的电子内窥镜信号传输系统与上文描述的电子内窥镜信号传输方法可相互对应参照。
本申请提供一种电子内窥镜信号传输系统,包括:镜体端和图像处理器端;
镜体端包括:
CMOS模组,用于发送MIPI视频信号;
控制信号模组,用于发送及接收多种控制信号;
与CMOS模组、控制信号模组连接的第一FPGA,用于获取MIPI视频信号和多种第一控制信号;利用多个视频数据通道,根据预设像素格式将MIPI视频信号转换成多个视频LVDS信号,其中,视频LVDS信号包括多个串行的视频行像素数据包;基于控制数据通道将多种第一控制信号根据控制信号类型转换成第一控制LVDS信号,其中,第一控制LVDS信号包括多个串行的控制数据包;利用LVDS接口系统将所有的视频LVDS信号并行发送至第二FPGA,且将第一控制LVDS信号发送至第二FPGA;利用LVDS接口系统接收到第二FPGA发送的第二控制LVDS信号,并基于控制数据通道将第二控制LVDS信号,还原成至少一个第二控制信号;
图像处理器端包括:
隔离模块;
与隔离模块连接的第二FPGA,用于将多个视频LVDS信号还原为MIPI视频信号;将第一控制LVDS信号还原成多个第一控制信号;将多个第二控制信号转换成第二控制LVDS信号,并将第二控制LVDS信号发送至第一FPGA;
与第二FPGA连接的视频信号处理模块,用于对MIPI视频信号进行处理;
与第二FPGA连接控制信号处理模块,用于对多个控制信号进行处理,发送控制信号至第二FPGA。
本实施例提供一种具体的结构示意图,请参考图10,图10为本申请实施例提供的一种电子内窥镜信号传输系统的结构示意图。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种电子内窥镜信号传输方法、FPGA、电子设备及电子内窥镜信号传输系统进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (16)
1.一种电子内窥镜信号传输方法,其特征在于,包括:
第一FPGA获取MIPI视频信号和多种第一控制信号;
利用根据所述MIPI视频信号对应的视频像素分配的多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,其中,所述视频LVDS信号包括多个串行的视频行像素数据包;
基于控制数据通道利用一对收发的LVDS差分对,将多种所述第一控制信号根据控制信号类型转换成第一控制LVDS信号,其中,所述第一控制LVDS信号包括多个串行的控制数据包;
利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA,且将所述第一控制LVDS信号发送至所述第二FPGA,以便所述第二FPGA将所有的所述视频LVDS信号还原成所述MIPI视频信号,将所述第一控制LVDS信号还原成多个所述第一控制信号;
利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号。
2.根据权利要求1所述的电子内窥镜信号传输方法,其特征在于,所述利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号,包括:
当所述第二FPGA确定存在错误控制数据包时,利用所述LVDS接口系统接收到所述第二FPGA发送的重发控制LVDS信号;
基于所述控制数据通道将所述重发控制LVDS信号,还原成重新发送控制信号;
对应的,在所述基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号之后,还包括:
根据所述重新发送控制信号将与所述错误控制数据包对应的LVDS信号发送至所述第二FPGA。
3.根据权利要求1所述的电子内窥镜信号传输方法,其特征在于,所述利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA之后,还包括:
当所述第二FPGA确定存在故障视频数据通道时,接收到所述第二FPGA发送的倒换控制LVDS信号;
对所述倒换控制LVDS信号进行解析,获取倒换指令;
根据所述倒换指令,将所述故障视频数据通道切换至备用通道,以便所述备用通道发送未传输的数据。
4.根据权利要求1所述的电子内窥镜信号传输方法,其特征在于,所述利用根据所述MIPI视频信号对应的视频像素分配的多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,包括:
将所述MIPI视频信号转换成所述预设像素格式的视频数据;
对所述视频数据按照行像素数据进行分片处理,获取多个行视频数据;
分配所有所述行视频数据对应的视频数据通道,并执行打包得到多个视频数据包;
对所有的所述视频数据包添加行标识、进行编码、FIFO、并串转换后,得到多个所述视频LVDS信号;
其中,所述视频LVDS信号包括多个串行的所述视频数据包;所述视频数据包包括:行标识、像素数据字段,所述行标识包括帧号、行号、数据类型、数据长度。
5.根据权利要求4所述的电子内窥镜信号传输方法,其特征在于,所述将所述MIPI视频信号转换成所述预设像素格式的视频数据,包括:
通过所述第一FPGA中的MIPID-PHY内核将所述MIPI视频信号转换成像素格式的所述视频数据。
6.根据权利要求1所述的电子内窥镜信号传输方法,其特征在于,所述基于控制数据通道将多种所述第一控制信号根据控制信号类型转换成控制LVDS信号,包括:
将所有的所述第一控制信号与预设控制信号类型表进行匹配,确定每个所述第一控制信号对应的控制信号类型;
根据所述控制信号类型,将对应的控制数据添加对应的虚拟管道ID、序列号、循环冗余校验字段,得到中间控制数据包;
所述中间控制数据包经编码、FIFO、并串转换后,得到多个所述控制数据包,以便得到包括多个所述控制数据包的所述第一控制LVDS信号。
7.一种电子内窥镜信号传输装置,其特征在于,包括:
信号获取模块,用于第一FPGA获取MIPI视频信号和多种第一控制信号;
视频信号转换模块,用于利用根据所述MIPI视频信号对应的视频像素分配的多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,其中,所述视频LVDS信号包括多个串行的视频行像素数据包;
控制信号转换模块,用于基于控制数据通道利用一对收发的LVDS差分对,将多种所述第一控制信号根据控制信号类型转换成控制第一LVDS信号,其中,所述第一控制LVDS信号包括多个串行的控制数据包;
发送模块,用于利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA,且将所述第一控制LVDS信号发送至所述第二FPGA,以便所述第二FPGA将所有的所述视频LVDS信号还原成所述MIPI视频信号,将所述第一控制LVDS信号还原成多个所述第一控制信号;
还原模块,用于利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号。
8.一种电子设备,其特征在于,包括:
存储芯片,用于存储第一FPGA信号处理程序;
FPGA芯片,用于执行所述第一FPGA信号处理程序时实现如权利要求1至6任一项所述电子内窥镜信号传输方法的步骤。
9.一种电子内窥镜信号传输方法,其特征在于,包括:
第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用根据MIPI视频信号对应的视频像素分配的多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的信号,所述控制LVDS信号是所述第一FPGA基于控制数据通道利用一对收发的LVDS差分对,将多种第一控制信号根据控制信号类型转换成的信号;
将多个所述视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块以便所述视频信号处理模块进行处理;
将所述第一控制LVDS信号还原成多个所述第一控制信号,发送至控制信号处理模块以便所述控制信号处理模块进行处理;
将多个第二控制信号转换成第二控制LVDS信号,并将所述第二控制LVDS信号发送至所述第一FPGA,以便所述第一FPGA还原成多个第二控制信号。
10.根据权利要求9所述的电子内窥镜信号传输方法,其特征在于,所述将多个所述视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块,包括:
接收多个所述视频LVDS信号,解析每个所述视频LVDS信号,得到所有的所述视频LVDS信号对应的行LVDS视频数据;
将所有的所述行LVDS视频数据通过时钟数据恢复、串并转换、FIFO、解码、标识校验,获取多个串行的视频数据包对应的行视频数据;
根据所有的所述行视频数据的行标识将所述行视频数据合成为像素格式数据;
使用所述第二FPGA的D-PHY内核将所述像素格式数据还原成所述MIPI视频信号,并发送到所述视频信号处理模块。
11.根据权利要求10所述的电子内窥镜信号传输方法,其特征在于,所述将所述第一控制LVDS信号还原成多个所述第一控制信号,发送至控制信号处理模块,包括:
接收所述第一控制LVDS信号,解析所述第一控制LVDS信号,得到多个控制数据包;
将所有的所述控制数据包通过串并转换、FIFO、解码,得到多个中间控制数据包;
当所述中间控制数据包基于循环冗余校验字段校验成功后,根据所述中间控制数据包的虚拟管道ID标识确定控制信号类型;
根据所述控制信号类型得到所有的所述第一控制信号,并发送至所述控制信号处理模块。
12.根据权利要求10所述的电子内窥镜信号传输方法,其特征在于,经串并转换、FIFO、解码、标识校验,获取多个串行的视频数据包对应的行视频数据,包括:
经串并转换、FIFO、解码获取视频数据包;
对所述视频数据包进行标识校验,得到校验结果;
当所述校验结果是校验失败时,判断所述视频数据包对应的故障视频数据通道的校验失败次数是否达到预设阈值;
若达到所述预设阈值,则生成倒换控制LVDS信号,并发送至所述第一FPGA,以便所述第一FPGA将所述故障视频数据通道切换至备用通道,以使第二FPGA获取多个串行的所述行视频数据。
13.根据权利要求10所述的电子内窥镜信号传输方法,其特征在于,所述第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号之后,还包括:
判断所述第一控制LVDS信号中的多个串行的控制数据包是否存在错误控制数据包;
若存在所述错误控制数据包,则发送重发控制LVDS信号至所述第一FPGA;
接收到所述第一FPGA重新发送的与所述错误控制数据包对应的LVDS信号。
14.一种电子内窥镜信号传输装置,其特征在于,包括:
信号接收模块,用于第二FPGA接收到多个视频LVDS信号和第一控制LVDS信号,其中,多个所述视频LVDS信号是第一FPGA利用根据MIPI视频信号对应的视频像素分配的多个视频数据通道,根据预设像素格式将MIPI视频信号转换成的信号,所述控制LVDS信号是所述第一FPGA基于控制数据通道利用一对收发的LVDS差分对,将多种第一控制信号根据控制信号类型转换成的信号;
视频信号还原与发送模块,用于将多个所述视频LVDS信号还原为MIPI视频信号,发送至视频信号处理模块以便所述视频信号处理模块进行处理;
控制信号还原与发送模块,用于将所述第一控制LVDS信号还原成多个所述第一控制信号,发送至控制信号处理模块以便所述控制信号处理模块进行处理;
控制信号转换模块,用于将多个第二控制信号转换成第二控制LVDS信号,并将所述第二控制LVDS信号发送至所述第一FPGA,以便所述第一FPGA还原成多个第二控制信号。
15.一种电子设备,其特征在于,包括:
存储芯片,用于存储第二FPGA信号处理程序;
FPGA芯片,用于执行所述第二FPGA信号处理程序时实现如权利要求9至13任一项所述电子内窥镜信号传输方法的步骤。
16.一种电子内窥镜信号传输系统,其特征在于,包括:镜体端和图像处理器端;
所述镜体端包括:
CMOS模组,用于发送MIPI视频信号;
控制信号模组,用于发送及接收多种控制信号;
与所述CMOS模组、所述控制信号模组连接的第一FPGA,用于获取MIPI视频信号和多种第一控制信号;利用根据所述MIPI视频信号对应的视频像素分配的多个视频数据通道,根据预设像素格式将所述MIPI视频信号转换成多个视频LVDS信号,其中,所述视频LVDS信号包括多个串行的视频行像素数据包;基于控制数据通道利用一对收发的LVDS差分对,将多种所述第一控制信号根据控制信号类型转换成第一控制LVDS信号,其中,所述第一控制LVDS信号包括多个串行的控制数据包;利用LVDS接口系统将所有的所述视频LVDS信号并行发送至第二FPGA,且将所述第一控制LVDS信号发送至所述第二FPGA;利用所述LVDS接口系统接收到所述第二FPGA发送的第二控制LVDS信号,并基于所述控制数据通道将所述第二控制LVDS信号,还原成至少一个第二控制信号;
所述图像处理器端包括:
隔离模块;
与所述隔离模块连接的所述第二FPGA,用于将多个所述视频LVDS信号还原为MIPI视频信号;将所述第一控制LVDS信号还原成多个第一控制信号;将多个所述第二控制信号转换成所述第二控制LVDS信号,并将所述第二控制LVDS信号发送至所述第一FPGA;
与所述第二FPGA连接的视频信号处理模块,用于对所述MIPI视频信号进行处理;
与所述第二FPGA连接控制信号处理模块,用于对多个所述控制信号进行处理,发送控制信号至所述第二FPGA。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911136356.7A CN110769207B (zh) | 2019-11-19 | 2019-11-19 | 一种电子内窥镜信号传输方法、装置和设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911136356.7A CN110769207B (zh) | 2019-11-19 | 2019-11-19 | 一种电子内窥镜信号传输方法、装置和设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110769207A CN110769207A (zh) | 2020-02-07 |
CN110769207B true CN110769207B (zh) | 2022-04-01 |
Family
ID=69338545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911136356.7A Active CN110769207B (zh) | 2019-11-19 | 2019-11-19 | 一种电子内窥镜信号传输方法、装置和设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110769207B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116507262A (zh) * | 2020-10-27 | 2023-07-28 | 深圳迈瑞生物医疗电子股份有限公司 | 内窥镜摄像系统及其影像数据传输装置 |
WO2022087823A1 (zh) * | 2020-10-27 | 2022-05-05 | 深圳迈瑞生物医疗电子股份有限公司 | 内窥镜摄像系统及其影像数据传输装置 |
CN114553641A (zh) * | 2022-04-21 | 2022-05-27 | 广东欧谱曼迪科技有限公司 | 一种实现电气隔离的方法及摄像系统 |
CN115334277B (zh) * | 2022-06-30 | 2024-02-09 | 极限人工智能有限公司 | 一种电子内窥镜、电子内窥镜视频传输系统及方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007167590A (ja) * | 2005-12-26 | 2007-07-05 | Olympus Medical Systems Corp | 内視鏡装置 |
CN102283625A (zh) * | 2010-06-07 | 2011-12-21 | 富士胶片株式会社 | 内窥镜系统 |
CN102325245A (zh) * | 2011-08-31 | 2012-01-18 | 深圳市迪威视讯股份有限公司 | 会议电视系统的自动线路倒换方法及装置 |
CN102591291A (zh) * | 2012-02-27 | 2012-07-18 | 固高科技(深圳)有限公司 | 工业控制器与人机界面双向数据传输系统和方法 |
CN102781304A (zh) * | 2010-07-12 | 2012-11-14 | 奥林巴斯医疗株式会社 | 内窥镜图像处理装置和内窥镜系统 |
CN102791181A (zh) * | 2010-07-30 | 2012-11-21 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
CN105704418A (zh) * | 2016-03-17 | 2016-06-22 | 武汉精测电子技术股份有限公司 | Mipi图像信号转换成lvds图像信号的装置及方法 |
CN106805934A (zh) * | 2017-01-20 | 2017-06-09 | 杭州无创光电有限公司 | 增强现实无线电子内窥镜手术系统 |
CN107888976A (zh) * | 2017-11-20 | 2018-04-06 | 武汉精测电子集团股份有限公司 | 一种基于lvds信号线的程序升级装置及升级方法 |
CN208623759U (zh) * | 2018-07-10 | 2019-03-19 | 北京图森未来科技有限公司 | 一种摄像头接口转换装置 |
CN109932966A (zh) * | 2019-03-07 | 2019-06-25 | 东方电子股份有限公司 | 一种基于m-lvds总线实时高效数据传输方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7855727B2 (en) * | 2004-09-15 | 2010-12-21 | Gyrus Acmi, Inc. | Endoscopy device supporting multiple input devices |
JP2011035630A (ja) * | 2009-07-31 | 2011-02-17 | Toshiba Corp | カメラヘッド分離型カメラ装置およびその制御方法 |
JP2011250835A (ja) * | 2010-05-31 | 2011-12-15 | Olympus Corp | 内視鏡システム |
JP2013075100A (ja) * | 2011-09-30 | 2013-04-25 | Fujifilm Corp | 内視鏡システム及び内視鏡の外部制御装置 |
JP5588949B2 (ja) * | 2011-09-30 | 2014-09-10 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡の外部制御装置 |
JP6189081B2 (ja) * | 2013-04-25 | 2017-08-30 | Hoya株式会社 | 電子内視鏡用プロセッサ、電子内視鏡システムおよび画像処理装置 |
CN104780334B (zh) * | 2015-04-30 | 2018-04-24 | 武汉精测电子集团股份有限公司 | 基于fpga实现的mipi lane信号串化输出的方法和装置 |
CN106793929B (zh) * | 2015-07-13 | 2019-07-09 | 奥林巴斯株式会社 | 摄像装置以及电子内窥镜系统 |
WO2017017972A1 (ja) * | 2015-07-24 | 2017-02-02 | オリンパス株式会社 | 画像データ伝送システム |
CN106598543A (zh) * | 2016-11-30 | 2017-04-26 | 上海集成电路研发中心有限公司 | 图像传感器数据处理系统 |
CN110367910A (zh) * | 2019-08-23 | 2019-10-25 | 重庆金山科技(集团)有限公司 | 内窥镜接头、内窥镜镜体、内窥镜冷光源及内窥镜系统 |
-
2019
- 2019-11-19 CN CN201911136356.7A patent/CN110769207B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007167590A (ja) * | 2005-12-26 | 2007-07-05 | Olympus Medical Systems Corp | 内視鏡装置 |
CN102283625A (zh) * | 2010-06-07 | 2011-12-21 | 富士胶片株式会社 | 内窥镜系统 |
CN102781304A (zh) * | 2010-07-12 | 2012-11-14 | 奥林巴斯医疗株式会社 | 内窥镜图像处理装置和内窥镜系统 |
CN102791181A (zh) * | 2010-07-30 | 2012-11-21 | 奥林巴斯医疗株式会社 | 内窥镜系统 |
CN102325245A (zh) * | 2011-08-31 | 2012-01-18 | 深圳市迪威视讯股份有限公司 | 会议电视系统的自动线路倒换方法及装置 |
CN102591291A (zh) * | 2012-02-27 | 2012-07-18 | 固高科技(深圳)有限公司 | 工业控制器与人机界面双向数据传输系统和方法 |
CN105704418A (zh) * | 2016-03-17 | 2016-06-22 | 武汉精测电子技术股份有限公司 | Mipi图像信号转换成lvds图像信号的装置及方法 |
CN106805934A (zh) * | 2017-01-20 | 2017-06-09 | 杭州无创光电有限公司 | 增强现实无线电子内窥镜手术系统 |
CN107888976A (zh) * | 2017-11-20 | 2018-04-06 | 武汉精测电子集团股份有限公司 | 一种基于lvds信号线的程序升级装置及升级方法 |
CN208623759U (zh) * | 2018-07-10 | 2019-03-19 | 北京图森未来科技有限公司 | 一种摄像头接口转换装置 |
CN109932966A (zh) * | 2019-03-07 | 2019-06-25 | 东方电子股份有限公司 | 一种基于m-lvds总线实时高效数据传输方法 |
Non-Patent Citations (1)
Title |
---|
视频内窥镜图像系统开发与设计;余宝国;《中国优秀硕士学位论文全文数据库(电子期刊)工程科技辑》;20160831;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110769207A (zh) | 2020-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110769207B (zh) | 一种电子内窥镜信号传输方法、装置和设备及系统 | |
CN110769206B (zh) | 一种电子内窥镜信号传输方法、装置和系统及电子设备 | |
CN101035141B (zh) | 用于集成电路之间的点对点通信的物理接口内的检错的装置、方法及系统 | |
EP2168373B1 (en) | Data transmission apparatus with information skew and redundant control information and method | |
US10362220B2 (en) | Conversation of pixel data into compression format of pixels | |
US8004963B2 (en) | Apparatus and method for packet redundancy and recovery | |
CN112068790B (zh) | 拼接显示系统 | |
CN114374470A (zh) | 数据传输方法、系统和计算机可读存储介质 | |
CN103795499A (zh) | 一种卫星载荷高速串口检错纠错方法 | |
JP5761551B2 (ja) | 送信装置、送信方法、受信装置、受信方法、プログラム、および伝送システム | |
US20220053053A1 (en) | Transmission device, transmission method, reception device, reception method, and transmission-reception device | |
JP5982869B2 (ja) | 送受信システム及びプログラム | |
US9710420B2 (en) | System and method for improving the efficiency of a serial interface protocol | |
CN110891154B (zh) | 一种视频容错传输系统与容错发送装置 | |
CN210351397U (zh) | 时分复用传输接口 | |
WO2016196138A1 (en) | Communication of sideband data for videos | |
CN107302532B (zh) | Raw图像数据传输系统 | |
WO2023087143A1 (zh) | 一种视频传输方法和装置 | |
CN112068789B (zh) | 分配板、灯板及拼接显示系统 | |
US11418218B2 (en) | Receiving device and receiving method | |
KR101269263B1 (ko) | 데이터 전송처리장치 및 그 전송방법 | |
KR930003202B1 (ko) | 디지탈 영상신호의 전송을 위한 다중화장치와 역다중화장치 및 전송 프레임 구조 | |
KR100619815B1 (ko) | 휴대단말기의 유에이알티 통신장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |