CN114584782A - 一种图像发送方法、装置及电子设备 - Google Patents
一种图像发送方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114584782A CN114584782A CN202210107057.6A CN202210107057A CN114584782A CN 114584782 A CN114584782 A CN 114584782A CN 202210107057 A CN202210107057 A CN 202210107057A CN 114584782 A CN114584782 A CN 114584782A
- Authority
- CN
- China
- Prior art keywords
- image
- sent
- small window
- whole frame
- internal storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims description 41
- 239000000872 buffer Substances 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 description 10
- 238000013461 design Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 101150080085 SEG1 gene Proteins 0.000 description 2
- 101100202858 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SEG2 gene Proteins 0.000 description 2
- 101100421134 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sle1 gene Proteins 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种图像发送方法、装置及电子设备，其中图像发送方法包括：当待发送图像为整帧图像时，将所述整帧图像缓存到内部存储设备中；当所述待发送图像为小窗口图像时，在所述内部存储设备中获取整帧图像；将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中并发送。由此可以使得后端显示设备接收到的即为整帧视频，无需采用外接的桥接芯片，可以解决目前外接的桥接芯片价格昂贵、支持的图像缩放比例相对固定以及对MIPI COMMAND的小窗口缩放兼容性较差的问题。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像发送方法、装置及电子设备。
背景技术
目前MIPI(Mobile Industry Processor Interface，移动产业处理器接口)视频主要分两类：MIPI VIDEO和MIPI COMMAND，前者显示设备没有帧存储缓冲器，需要持续的发送视频，后者显示设备内部含有帧存储缓冲器，采用间断的命令包形式发送视频。
Crosslink是Lattice公司近几年发布的一款主要面向MIPI接口的FPGA(Field-Programmable Gate Array，现场可编程门阵列)，Crosslink内部拥有多个MIPI D-PHY的硬核(还可以使用软核自己搭建一个或多个D-PHY，其中D-PHY是一种标准，D-PHY硬核是指支持这种标准解析的IP硬核)，并支持MIPI DPI(Dots Per Inch)、MIPI DSI(Display SerialInterface)、MIPI CSI(Camera Serial Interface)等接口的多种协议，可以轻松完成视频桥接、预处理或者接口转换等功能。在MIPI视频桥接应用中，主要有一个输入一个输出、多个输入一个输出、一个输入多个输出、以及多个输入多个输出几种，Crosslink因内部集成多个MIPI D-PHY硬核、丰富的逻辑单元、以及内部集成PSRAM(伪静态随机存储器)，可以方便的完成MIPI视频提取、缓存、转发等功能，被广泛应用。
目前的MIPI COMMAND发送设备为了节省系统带宽及功能，视频发送并不完全采用整帧发送的格式，而是会采用小窗口视频发送格式，即只发送需要变化的像素区域。在应用中发现，MIPI视频桥接后端显示设备有时不支持特定的小窗口显示(例如某些显示设备要求的最小窗口为16x16)，同时又与视频的分辨率不匹配。此时比较常用的做法就是外接专用的桥接芯片，而目前的专用桥接芯片价格相对昂贵、支持的图像缩放比例相对固定、以及对MIPI COMMAND的小窗口缩放兼容性较差(例如只支持起始位置为N的倍数或行像素数为N的倍数的小窗口)。
发明内容
有鉴于此，本发明实施例提供了一种图像发送方法、装置及电子设备，以解决目前外接的桥接芯片价格昂贵、支持的图像缩放比例相对固定以及对MIPI COMMAND的小窗口缩放兼容性较差的问题。
根据第一方面，本发明实施例提供了一种图像发送方法，包括以下步骤：当待发送图像为整帧图像时，将所述整帧图像缓存到内部存储设备中；当所述待发送图像为小窗口图像时，在所述内部存储设备中获取整帧图像；将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中并发送。
本发明实施例提供的图像发送方法，当待发送图像为小窗口图像时，可以在内部存储设备中获取整帧图像，将小窗口图像融合到在内部存储设备中获取到的整帧图像中并发送，由此可以使得后端显示设备接收到的即为整帧视频，无需采用外接的桥接芯片，可以解决目前外接的桥接芯片价格昂贵、支持的图像缩放比例相对固定以及对MIPI COMMAND的小窗口缩放兼容性较差的问题。
结合第一方面，在第一方面第一实施方式中，在将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中之前，还包括：当所述待发送图像为小窗口图像时，将所述待发送图像写入第一缓存区域，其中所述第一缓存区域仅可缓存小窗口格式的图像；读出所述第一缓存区域中的待读取小窗口图像；当读出的小窗口图像中包含冗余数据时，截去所述读出的小窗口图像中的冗余数据。由此可以对小窗口图像进行独立控制，而不是将小窗口图像与整帧图像采用共同的存储区域，由此可以截去小窗口缓存时的冗余数据，使得在MIPI COMMAND显示设备中显示的图像中不会出现花点或者黑线。
结合第一方面第一实施方式，在第一方面第二实施方式中，当待发送图像为整帧图像时，将所述整帧图像缓存到内部存储设备中包括：当所述待发送图像为整帧图像时，将所述待发送图像写入所述内部存储设备的第二缓存区域；其中所述第二缓存区域仅可缓存整帧格式的图像；所述在所述内部存储设备中获取整帧图像包括：在所述第二缓存区域中获取整帧图像。
结合第一方面第二实施方式，在第一方面第三实施方式中，图像发送方法还包括：获取分辨率指令；根据所述分辨率指令确定所述待发送图像属于小窗口图像还是整帧图像。
结合第一方面第二实施方式，在第一方面第四实施方式中，将所述待发送图像写入所述内部存储设备的第一缓存区域和/或第二缓存区域包括：将所述待发送图像基于乒乓缓存方式写入所述第一缓存区域和/或第二缓存区域。由此可以按照顺序进行读写，提高设备的吞吐量，有助于避免瓶颈的产生。
结合第一方面第二实施方式，在第一方面第五实施方式中将所述待发送图像写入所述内部存储设备的第一缓存区域和/或第二缓存区域之前，还包括：将所述待发送图像缓存到先进先出队列。由此可以对待发送图像进行先进先出的管理。
结合第一方面第五实施方式，在第一方面第六实施方式中，在所述待发送图像缓存到先进先出队列之前，还包括：对所述待发送图像进行预处理，所述预处理包括以下中的一种或两种：格式转换、缩放处理。对待发送图像进行格式转换可以有效节省传输带宽。
根据第二方面，本发明实施例还提供了一种图像发送装置，包括第一处理模块、第二处理模块和融合模块，当待发送图像为整帧图像时，所述第一处理模块，用于将所述整帧图像缓存到内部存储设备中；当所述待发送图像为小窗口图像时，所述第二处理模块用于在所述内部存储设备中获取整帧图像；所述融合模块用于将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中并发送。
本发明实施例提供的图像发送装置，当待发送图像为小窗口图像时，获取整帧图像，将所述待发送图像融合到所述整帧图像中并发送，由此可以使得后端显示设备接收到的即为整帧视频，无需采用外接的桥接芯片，可以解决目前外接的桥接芯片价格昂贵、支持的图像缩放比例相对固定以及对MIPI COMMAND的小窗口缩放兼容性较差的问题。
根据第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的图像发送方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的图像发送方法。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明实施例1中图像发送方法的流程示意图；
图2为本发明实施例1中小窗口图像写入和读出的流程示意图；
图3为本发明实施例1中整帧图像写入和读出的流程示意图；
图4为本发明实施例1中图像发送方法一示例的流程示意图；
图5为本发明实施例2中图像发送装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例1提供了一种图像发送方法。图1为本发明实施例1中图像发送方法的流程示意图。如图1所示，本发明实施例1的图像发送方法包括以下步骤：
S101：当待发送图像为整帧图像时，将所述整帧图像缓存到内部存储设备中。
S102：当待发送图像为小窗口图像时，在所述内部存储设备中获取整帧图像。
示例的，可以在PSRAM读控制模块的控制下，获取到最新的整帧图像。
具体的，可以根据分辨率指令来确定待发送图像是属于小窗口图像还是整帧图像。具体的，分辨率指令中包含行信息和列信息，其中行信息中可以为行的起点和行的终点，列信息中可以为列的起点和列的终点，由于小窗口图像与整帧图像对应的行信息和列信息不同，所以可以根据分辨率指令来确定待发送图像是属于小窗口图像还是整帧图像。
进一步的，在获取整帧图像之前，还包括：获取后端显示设备对于小窗口图像的兼容情况，当所述后端显示设备不能兼容所述小窗口图像时，执行获取整帧图像的步骤。也就是说，可以根据后端MIPI显示设备对小窗口显示的兼容情况选择是否与整帧的MIPICOMMAND汇聚整合。
S103：将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中并发送。
本发明实施例1提供的图像发送方法，当待发送图像为小窗口图像时，获取整帧图像，将所述待发送图像融合到所述整帧图像中并发送，由此可以使得后端显示设备接收到的即为整帧视频，无需采用外接的桥接芯片，因此可以解决目前外接的桥接芯片价格昂贵、支持的图像缩放比例相对固定以及对MIPI COMMAND的小窗口缩放兼容性较差的问题。
需要说明的是，本发明实施例1提供的图像发送方法不仅适用于不支持特定的小窗口显示的后端显示设备，对于支持特定的小窗口显示的后端显示设备也同样适用，而且即使后端设备不为显示设备也同样适用。
作为具体的实施实施，在获取整帧图像之前在包括对小窗口图像进行缓存，但在对小窗口图像进行缓存时，如果整帧视频和小窗口视频存储在同一区域，会导致在MIPICOMMAND显示设备中显示的图像中存在花点或者黑线，经过分析，出现上述现象的原因如下：Crosslink内部集成PSRAM控制器，提供给用户简单的逻辑控制接口，不过最小突发脉冲Burst个数为32，即每次最少猝发写32个DW(double Word，双字，一个字节8bit，一个word16bit，两个word 32bit)，当小窗口的截断长度不足32时，会采用冗余数据进行补足，一般情况下会补入随机数或0。当小窗口视频与整帧视频存储在同一区域，当小窗口视频采用冗余数据进行补足时，会使猝发写入的冗余数据覆盖掉整帧视频的原始数据，当补入的冗余数据为随时数时，会造成图像出现花点；当补入的冗余数据为0时，会造成图像黑线。
基于此，本发明实施例1还提供了小窗口图像的写入和读出方法，如图2所示，在将所述待发送图像融合到所述整帧图像中之前还包括以下步骤：
S201：当待发送图像为小窗口图像时，将所述待发送图像写入第一缓存区域，其中所述第一缓存区域仅可缓存小窗口格式的图像。
具体的，将所述待发送图像写入所述第一缓存区域可以采用如下方案：将所述待发送图像基于乒乓缓存方式写入所述第一缓存区域。
示例的，当小窗口的截断长度不足32时，会采用冗余数据进行补足，一般情况下会补入随机数或0。
其中，乒乓缓存方式是一种双缓存机制，用来加速同时存在I/O操作以及数据处理操作的设备。一个缓存用来保存旧版本的数据供读设备读取，与此同时，另一个缓存保存写设备产生的新版本数据。当新数据完成时，读设备和写设备将会交换两个缓存，双缓存机制将会提高设备的吞吐量，最终有助于避免瓶颈的产生。用来加速同时存在I/O操作以及数据处理操作的设备。乒乓缓冲应该有两个相同的对象作为缓冲区，两者交替地被读和被写，下面采用一个具体的示例来对乒乓缓存方式进行说明：乒乓操作的处理主要是把输入数据流通过“输入数据选择单元”等时地分配到数据缓冲区A和B中。即：
在第一场时间将输入的数据流缓存到A；
在第二场时间内通过“输入数据选择单元”进行切换，并将输入的数据流缓存到B，与此同时还要将A的数据(第一场图像数据)通过“输出数据选择单元”的选择，送到“图像处理模块”进行运算处理；
之后，再在第三个缓冲周期通过“输入数据选择单元”的再次切换，将输入的数据流缓存到A，与此同时再一次将B的数据(第二场图像数据)通过“输出数据选择单元”的切换，送到“数据处理模块”进行运算处理；
如此循环，周而复始。乒乓操作的最大特点是通过“输入数据选择单元”和“输出数据选择单元”，按节拍、相互配合地切换，来将经过缓冲的数据流不停地送到“图像处理模块”进行运算及处理。
在将所述待发送图像写入所述第一缓存区域之前，还包括：根据分辨率指令确定所述待发送图像在所述第一缓存区域对应的存储行起始位置及结束地址。由此可以保证所述待发送图像能够在所述第一缓存区域中有序存储。
进一步的，将所述待发送图像写入所述第一缓存区域之前，还包括：将所述待发送图像缓存到先进先出队列。由此可以对待发送图像进行先进先出的管理。
进一步的，在所述待发送图像缓存到先进先出队列之前，还包括：对所述待发送图像进行预处理，所述预处理包括以下中的一种或两种：格式转换、缩放处理。
示例的，当待发送图像为RGB格式时，可以将待发送图像由RGB格式转换为YUV格式，由此可以有效节省传输带宽。
示例的，可以对待发送图像进行SCALER缩放处理，具体的，使用的SCALER缩放算法为双线性插值算法。需要说明的，对待发送图像进行缩放是可选的，并不是必须的。但是在缩放过程中易产生非正常尺寸的小窗口，导致后端显示设备可能不支持小窗口显示。
需要说明的是，当对待发送图像进行的预处理包括缩放处理时，需要根据缩放后的分辨率指令确定所述待发送图像在所述第一缓存区域对应的存储行起始位置及结束地址。
S202：读出所述第一缓存区域中的待读取小窗口图像。
具体的，可以基于乒乓缓存方式读出所述第一缓存区域中的待读取小窗口图像。
S203：当读出的小窗口图像中包含冗余数据时，截去所述读出的小窗口图像中的冗余数据。当在S201中包含对图像进行格式转换时，进一步的，在截去所述读出的小窗口图像中的冗余数据之后，还包括：将图像转换为原来的格式。例如，在S201中包含将待发送图像由RGB格式转换为YUV格式时，在截去所述读出的小窗口图像中的冗余数据之后还包括将图像由YUV格式转换为RGB格式。
由此可见，在本发明实施例1中，对小窗口图像进行独立控制，而不是将小窗口图像与整帧图像采用共同的存储区域，由此可以截去小窗口缓存时的冗余数据，使得在MIPICOMMAND显示设备中显示的图像中不会出现花点或者黑线。需要说的是，如果整帧视频和小窗口视频采用共同的存储区域，则在写PSRAM时小窗口数据有可能已经覆盖了原始数据，读出来再截去冗余数据也就没用了。
同样，为了避免在MIPI COMMAND显示设备中显示的图像中出现花点或者黑线，本发明实施例1还提供了整帧图像的写入和读出方法，如图3所示，整帧图像的写入和读取可以采用如下方案：
S301：当所述待发送图像为整帧图像时，将所述待发送图像写入第二缓存区域，其中所述第二缓存区域仅可缓存整帧格式的图像。
具体的，将所述待发送图像写入所述第二缓存区域可以采用如下方案：将所述待发送图像基于乒乓缓存方式写入所述第二缓存区域。
具体的，在将所述待发送图像写入所述第二缓存区域之前，还包括：根据分辨率指令确定所述待发送图像在所述第二缓存区域对应的存储行起始位置及结束地址。由此可以保证所述待发送图像能够在所述第二缓存区域中有序存储。
进一步的，将所述待发送图像写入所述第二缓存区域之前，还包括：将所述待发送图像缓存到先进先出队列。由此可以对待发送图像进行先进先出的管理。
进一步的，在所述待发送图像缓存到先进先出队列之前，还包括：对所述待发送图像进行预处理，所述预处理包括以下中的一种或两种：格式转换、缩放处理。
示例的，当待发送图像为RGB格式时，可以将待发送图像由RGB格式转换为YUV格式，由此可以有效节省传输带宽。
示例的，可以对待发送图像进行SCALER缩放处理，具体的，使用的SCALER缩放算法为双线性插值算法。
需要说明的是，当对待发送图像进行的预处理包括缩放处理时，需要根据缩放后的分辨率指令确定所述待发送图像在所述第二缓存区域对应的存储行起始位置及结束地址。
S302：在所述第二缓存区域中读出所述整帧图像。
在本发明实施例1中可以在PSRAM读控制模块的控制下读出所述整帧图像。
当在S301中包含对图像进行格式转换时，进一步的，在所述第二缓存区域中读出所述整帧图像之后，还包括：将图像转换为原来的格式。例如，在S301中包含将待发送图像由RGB格式转换为YUV格式时，在所述第二缓存区域中读出所述整帧图像之后还包括将图像由YUV格式转换为RGB格式。
由此可见，本发明实施例1提供了基于Crosslink的MIPI COMMAND小窗口图像缩放处理方法，其通过对整帧视频图像和小窗口视频图像独立控制，分离存储，汇聚整合，最终实现对MIPI COMMAND小窗口的缩放处理。由于FPGA并行化处理思想，使用FPGA实现MIPICOMMAND图像缩放算法，能够有效提升算法执行性能，同时这种实现方式具有设计灵活，系统功耗及成本低，兼容性好等优点。
为了更加详细的说明本发明实施例1的图像发送方法，给出一个具体的示例。图4为本发明实施例1图像发送方法一示例的流程示意图，如图4所示，具体实施过程包括以下步骤：
(1)首先根据分辨率指令2A/2B判断接下来发送的视频为整帧视频还是小窗口视频。
(2)将视频进行RGB转YUV，将原始单像素数据由24bit转为16bit。
(3)将转化后的YUV视频进行SCALER缩放处理，该方案中使用的SCALER缩放算法为双线性插值算法。
(4)将缩放后的视频缓存到内部先进先出队列FIFO中。
(5)根据指令分辨率2A/2B计算出缩放后的新分辨率2A′/2B′以及PSRAM对应的存储行起始位置及结束地址。
(6)PSRAM写控制模块根据(5)计算出的PSRAM存储行起始位置和结束位置控制读取FIFO完成PSRAM的乒乓写入操作。
(7)PSRAM读控制模块根据(5)计算出的PSRAM存储行起始位置和结束位置控制乒乓读取PSRAM写入新的FIFO缓存。
(8)将FIFO缓存的视频数据进行YUV转RGB处理，将单像素16bit恢复为单像素24bit，同时截去小窗口缓存PSRAM时的冗余数据。
(9)根据(5)计算出的新分辨率2A′/2B ′，将小窗口转化后的视频与整帧视频进行融合，最终完成整个流程的缩放处理。
需要说明的是，在图4中，SEG表示小窗口图像，FULL表示整帧图像，SEG1表示小窗口图像的一个缓存区域，SEG2表示小窗口图像的另一个缓存区域，SEG1和SEG2共同构成第一缓存区域，FULL1表示整帧图像的一个缓存区域，FULL2表示整帧图像的另一个缓存区域，FULL1和FULL2共同构成第二缓存区域，PSRAM WR CTRL表示PSRAM写控制模块，PSRAM RDCTRL表示PSRAM读控制模块，MERGE表示小窗口图像与整帧图像进行融合。
上述基于Crosslink的MIPI COMMAND小窗口图像缩放处理方法，通过MIPICOMMAND窗口分辨率指令2A/2B判断接下来发送的MIPI COMMAND视频是整帧视频还是小窗口视频，如果为整帧视频，则执行整帧视频的缩放处理流程；如果为小窗口视频，则执行小窗口的缩放处理流程。然后将两者缩放后视频均乒乓缓存到Crosslink内部的PSRAM中，最后再分别读取，将读取的缩放后的小窗口视频汇聚到整帧视频中，完整整体的缩放控制。
本发明实施例1采用FPGA硬件平台执行，能够通过并行流水的优化方式提高系统的并行度，同时Crosslink内部集成PSRAM及控制器，无需额外增加外部存储电路，有效的简化了系统电路设计。最后FPGA设计灵活，可以有效解决一些专用桥接芯片对特殊小窗口的兼容问题以及缩放比例限制，相对与专用桥接芯片也极大的减少了系统设计成本。也就是说，对MIPI COMMAND整帧视频及小窗口视频缩放独立控制、分离存储、汇聚整合，有效的避免了小窗口缩放存储时冗余数据对整帧数据的干扰。同时结合Crosslink内部集成PSRAM，极大的优化了系统电路设计及减少开发成本。
实施例2
与本发明实施例1相对应，本发明实施例2提供了一种图像发送装置。图5为本发明实施例2中图像发送装置的结构示意图。如图5所示，本发明实施例2的图像发送装置包括第一处理模块20、第二处理模块21和融合模块22。
当待发送图像为整帧图像时，所述第一处理模块20，用于将所述整帧图像缓存到内部存储设备中；
当所述待发送图像为小窗口图像时，所述第二处理模块21用于在所述内部存储设备中获取整帧图像；
所述融合模块22用于将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中并发送。
进一步的，本发明实施例2的图像发送装置还包括第三处理模块23，在将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中之前，所述第三处理模块23用于：当所述待发送图像为小窗口图像时，将所述待发送图像写入所述内部存储设备的第一缓存区域，其中所述第一缓存区域仅可缓存小窗口格式的图像；读出所述第一缓存区域中的待读取小窗口图像；当读出的小窗口图像中包含冗余数据时，截去所述读出的小窗口图像中的冗余数据。更加具体的，将所述待发送图像基于乒乓缓存方式写入所述第一缓存区域。进一步的，在将所述待发送图像写入所述第一缓存区域之前，所述第三处理模块23还用于：将所述待发送图像缓存到先进先出队列。更进一步的，在所述待发送图像缓存到先进先出队列之前，所述第三处理模块23还用于：对所述待发送图像进行预处理，所述预处理包括以下中的一种或两种：格式转换、缩放处理。
具体的，当待发送图像为整帧图像时，所述第一处理模块20具体用于将所述待发送图像写入所述内部存储设备的第二缓存区域；其中所述第二缓存区域仅可缓存整帧格式的图像；更加具体的，将所述待发送图像基于乒乓缓存方式写入所述第二缓存区域。进一步的，在将所述待发送图像写入所述第二缓存区域之前，所述第一处理模块20还用于：将所述待发送图像缓存到先进先出队列。更进一步的，在所述待发送图像缓存到先进先出队列之前，所述第一处理模块20还用于：对所述待发送图像进行预处理，所述预处理包括以下中的一种或两种：格式转换、缩放处理。
当所述待发送图像为小窗口图像时，所述第二处理模块21具体用于在所述第二缓存区域中读出所述整帧图像。
进一步的，本发明实施例2的图像发送装置还包括获取模块24和判断模块25，所述获取模块24还用于获取分辨率指令，所述判断模块25用于根据所述分辨率指令确定待发送图像属于小窗口图像还是整帧图像。
本发明实施例2提供的图像发送装置，当待发送图像为小窗口图像时，获取整帧图像，将所述待发送图像融合到所述整帧图像中并发送，由此可以使得后端显示设备接收到的即为整帧视频，无需采用外接的桥接芯片，可以解决目前外接的桥接芯片价格昂贵、支持的图像缩放比例相对固定以及对MIPI COMMAND的小窗口缩放兼容性较差的问题。进一步的，还可以对小窗口图像进行独立控制，而不是将小窗口图像与整帧图像采用共同的存储区域，由此可以截去小窗口缓存时的冗余数据，使得在MIPI COMMAND显示设备中显示的图像中不会出现花点或者黑线。
上述图像发送装置具体细节可以对应参阅图1至图4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
实施例3
本发明实施例还提供了一种电子设备，该电子设备可以包括处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的图像发送方法对应的程序指令/模块(例如，图5所示的第一处理模块20、第二处理模块21和融合模块22)。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的图像发送方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行如图1至图4所示实施例中的图像发送方法。
上述电子设备具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种图像发送方法，其特征在于，包括：
当待发送图像为整帧图像时，将所述整帧图像缓存到内部存储设备中；
当所述待发送图像为小窗口图像时，在所述内部存储设备中获取整帧图像；
将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中并发送。
2.根据权利要求1所述方法，其特征在于，在将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中之前，还包括：
当所述待发送图像为小窗口图像时，将所述待发送图像写入所述内部存储设备的第一缓存区域，其中所述第一缓存区域仅可缓存小窗口格式的图像；
读出所述第一缓存区域中的待读取小窗口图像；
当读出的小窗口图像中包含冗余数据时，截去所述读出的小窗口图像中的冗余数据。
3.根据权利要求2所述的方法，其特征在于，当待发送图像为整帧图像时，将所述整帧图像缓存到内部存储设备中包括：
当所述待发送图像为整帧图像时，将所述待发送图像写入所述内部存储设备的第二缓存区域；其中所述第二缓存区域仅可缓存整帧格式的图像；
所述在所述内部存储设备中获取整帧图像包括：
在所述第二缓存区域中获取整帧图像。
4.根据权利要求3所述的方法，其特征在于，还包括：
获取分辨率指令；
根据所述分辨率指令确定所述待发送图像属于小窗口图像还是整帧图像。
5.根据权利要求3所述的方法，其特征在于，将所述待发送图像写入所述内部存储设备的第一缓存区域和/或第二缓存区域包括：将所述待发送图像基于乒乓缓存方式写入所述第一缓存区域和/或第二缓存区域。
6.根据权利要求3所述的方法，其特征在于，将所述待发送图像写入所述内部存储设备的第一缓存区域和/或第二缓存区域之前，还包括：
将所述待发送图像缓存到先进先出队列。
7.根据权利要求6所述的方法，其特征在于，在所述待发送图像缓存到先进先出队列之前，还包括：
对所述待发送图像进行预处理，所述预处理包括以下中的一种或两种：格式转换、缩放处理。
8.一种图像发送装置，其特征在于，包括：
第一处理模块，当待发送图像为整帧图像时，用于将所述整帧图像缓存到内部存储设备中；
第二处理模块，当所述待发送图像为小窗口图像时，用于在所述内部存储设备中获取整帧图像；
融合模块，用于将所述小窗口图像融合到在所述内部存储设备中获取到的整帧图像中并发送。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的图像发送方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的图像发送方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210107057.6A CN114584782A (zh) | 2022-01-28 | 2022-01-28 | 一种图像发送方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210107057.6A CN114584782A (zh) | 2022-01-28 | 2022-01-28 | 一种图像发送方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114584782A true CN114584782A (zh) | 2022-06-03 |
Family
ID=81771525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210107057.6A Pending CN114584782A (zh) | 2022-01-28 | 2022-01-28 | 一种图像发送方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114584782A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116381468A (zh) * | 2023-06-05 | 2023-07-04 | 浙江瑞测科技有限公司 | 一种单一图像采集卡支持多芯片并行测试的方法及装置 |
-
2022
- 2022-01-28 CN CN202210107057.6A patent/CN114584782A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116381468A (zh) * | 2023-06-05 | 2023-07-04 | 浙江瑞测科技有限公司 | 一种单一图像采集卡支持多芯片并行测试的方法及装置 |
| CN116381468B (zh) * | 2023-06-05 | 2023-08-22 | 浙江瑞测科技有限公司 | 一种单一图像采集卡支持多芯片并行测试的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9244648B2 (en) | Multi-processor video processing system and video image synchronous transmission and display method therein | |
| US6108722A (en) | Direct memory access apparatus for transferring a block of data having discontinous addresses using an address calculating circuit | |
| CN108228498B (zh) | 一种dma控制装置和图像处理器 | |
| CN110297797B (zh) | 异构协议转换装置和方法 | |
| WO2020047843A1 (zh) | 视频图像数据传输方法、系统、存储介质及程序产品 | |
| CN112235579B (zh) | 视频处理方法、计算机可读存储介质及电子设备 | |
| CN111556322A (zh) | 基于fpga的快速图像压缩与传输系统 | |
| WO2014079303A1 (zh) | 一种视频多画面合成方法、装置和系统 | |
| CN114286035B (zh) | 图像采集卡、图像采集方法及图像采集系统 | |
| CN115309676B (zh) | 一种异步fifo读写控制方法、系统及电子设备 | |
| WO2023197507A1 (zh) | 视频数据处理方法、系统、装置及计算机可读存储介质 | |
| CN114302087B (zh) | 一种mipi数据传输模式转换方法、装置及电子设备 | |
| CN114584782A (zh) | 一种图像发送方法、装置及电子设备 | |
| CN115103208A (zh) | 一种视频数据的行缓存方法、行读取方法及处理系统 | |
| US20080005390A1 (en) | Dma controller, system on chip comprising such a dma controller, method of interchanging data via such a dma controller | |
| CN102625086B (zh) | 一种用于高清数字矩阵的ddr2存储方法和系统 | |
| CN108134912B (zh) | 一种视频流转换方法 | |
| WO2022095439A1 (zh) | 一种用于数据处理的硬件加速系统及芯片 | |
| CN111770342A (zh) | 一种视频无级缩放方法 | |
| CN116166185A (zh) | 缓存方法、图像传输方法、电子设备及存储介质 | |
| CN112162945A (zh) | 数字视频数据流接口单元ip核及人工智能芯片 | |
| CN113658049A (zh) | 一种图像转置的方法、设备和计算机可读存储介质 | |
| CN114625891A (zh) | 多媒体数据处理方法、装置和系统 | |
| JP2000092469A (ja) | デジタル受信端末 | |
| CN114071038B (zh) | 一种图像处理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |