CN114071027A - 一种多数据传输通道的融合装置和电子设备 - Google Patents

一种多数据传输通道的融合装置和电子设备 Download PDF

Info

Publication number
CN114071027A
CN114071027A CN202010746481.6A CN202010746481A CN114071027A CN 114071027 A CN114071027 A CN 114071027A CN 202010746481 A CN202010746481 A CN 202010746481A CN 114071027 A CN114071027 A CN 114071027A
Authority
CN
China
Prior art keywords
data
chip
fusion
module
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010746481.6A
Other languages
English (en)
Other versions
CN114071027B (zh
Inventor
祝栋柯
龚涛
马朋伟
王洪利
曹孝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010746481.6A priority Critical patent/CN114071027B/zh
Priority to PCT/CN2021/109351 priority patent/WO2022022650A1/zh
Priority to EP21850445.4A priority patent/EP4184913A4/en
Publication of CN114071027A publication Critical patent/CN114071027A/zh
Priority to US18/160,859 priority patent/US20230171373A1/en
Application granted granted Critical
Publication of CN114071027B publication Critical patent/CN114071027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/382—Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4009—Coupling between buses with data restructuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供了一种多数据传输通道的融合装置和电子设备，用于简化PCB的设计难度并优化电子设备系统架构。该电子设备包括：多个第一感光芯片、一个第一融合芯片以及一个处理芯片；每一个第一感光芯片通过一个数据传输通道与第一融合芯片连接，每一个第一感光芯片用于产生基于移动产业处理器接口MIPI协议的数据流，并通过数据传输通道传输给第一融合芯片；第一融合芯片通过一个数据传输通道与处理芯片连接，第一融合芯片用于将与多个第一感光芯片连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据，并发送给处理芯片；处理芯片用于通过连接的数据传输通道接收数据流，并利用接收的数据流得到图像。

Description

一种多数据传输通道的融合装置和电子设备
技术领域
本申请涉及图像数据处理领域，尤其涉及到一种数据传输通道的融合装置和电子设备。
背景技术
随着手机等电子设备对拍摄性能的进一步提高，摄像模组的数量以及感光芯片的像素也随之提高。目前，摄像模组的数据传输多采用移动产业处理器接口(mobileindustry processor interface，MIPI)。MIPI中用于传输数据的物理层接口主要包括D-PHY接口和C-PHY接口，处理芯片和摄像模组内的感光芯片之间通过D-PHY接口或C-PHY接口进行图像数据的接收和发送，处理芯片对接收的图像数据进行处理得到图像。
实际使用时，感光芯片的接口和处理芯片的接口通过多条数据传输线连接，当电子设备需要设置多个摄像模组来满足拍摄性能的需求时，摄像模组通过多个连接器和多个数据传输线与处理芯片直接连接，以实现数据传输，但是采用上述方式传输数据会出现两个问题，一个是数量众多的数据传输线和连接器严重影响了智能终端中的印刷电路板(printed circuit board，PCB)的布局和布线，另一个是处理芯片用于接收数据的管脚有限，当数据传输线过多时，需要增加更换处理芯片，以实现增加处理芯片接收数据的管脚数量，增大了处理芯片的面积，从而增加处理芯片在PCB上的占用面积。这两个问题都会增加PCB设计难度，限制智能电子设备的系统优化空间。
因此，现有的图像传输架构有待进一步改进。
发明内容
本申请提供了一种多数据传输通道的融合装置和电子设备，用于优化电子设备中的PCB的布局以及提高电子设备的优化空间。
第一方面，本申请实施例提供了电子设备，该电子设备可以包括：多个第一感光芯片、一个处理芯片以及一个第一融合芯片。
其中，每一个第一感光芯片通过一个数据传输通道与第一融合芯片连接，每一个第一感光芯片用于产生基于移动产业处理器接口MIPI协议的数据流，并通过连接的数据传输通道传输给第一融合芯片；第一融合芯片通过一个数据传输通道与处理芯片连接，第一融合芯片用于将与多个第一感光芯片连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据流，并通过与处理芯片连接的一个数据传输通道将第一高速融合数据流发送给处理芯片；处理芯片用于通过连接的数据传输通道接收数据流，并利用接收的数据流得到图像。
采用上述电子设备结构，可以通过一个第一融合芯片将多个感光芯片产生的数据流进行融合，并通过一个数据传输通道传输给处理芯片，得到图像，在数据流的传输过程中，第一融合芯片可以通过一个数据传输通道中包含的极少的数据传输线即可将多个第一感光芯片产生的数据流传输给处理芯片，从而简化PCB的设计难度，以及优化电子设备的系统架构。
在一种可能的设计中，第一融合芯片包括：融合模块、高速信号发送模块和与每一个第一感光芯片一一对应连接的接收模块。
其中，每一个接收模块，用于接收对应的第一感光芯片产生的数据流，并将接收的数据流输出给融合模块；融合模块分别与高速信号发送模块和各接收模块连接，融合模块用于接收各接收模块输出的数据流，并将接收的多个数据流融合为融合数据，并将融合数据输出给高速信号发送模块；高速信号发送模块与处理芯片连接，用于将接收到的融合数据转换为第一高速融合数据流后通过与处理芯片连接的一个数据传输通道发送给处理芯片。
采用上述电子设备结构，可以通过接收模块接收多个数据传输通道中数据流，并利用第一融合芯片将多个数据传输通道中的数据流融合后通过一个数据传输通道发送给处理芯片，从而无需在第一感光芯片与处理芯片之间连接多个数据传输通道，即可实现将多个第一感光芯片产生的数据流发送给处理芯片，从而减少用于传输多个第一感光芯片产生的数据流的数据传输线的数量。
在一种可能的设计中，融合模块包括：第一控制模块、多路选择器和与第一缓存模块。其中，第一缓存模块包括与每一个接收模块对应的输入端和与每一个输入端对应的输出端；
其中，第一缓存模块的每一个输入端与对应的接收模块连接，用于缓存连接的接收模块输出的数据流，并通过对应的输出端输出；多路选择器的多个输入端分别与第一缓存模块不同的输出端连接，多路选择器的输出端与高速信号发送模块连接，多路选择器用于将第一缓存模块缓存的多个数据流融合为融合数据后输出给高速信号发送模块；第一控制模块与多路选择器的控制端连接，第一控制模块用于控制多路选择器对第一缓存模块中缓存的多个数据流进行编号，并将编号后的多个数据流融合。
采用上述电子设备结构，多路选择器可以在第一控制模块的控制下，将从多个数据传输通道中接收的多个数据流进行进行融合。
在一种可能的设计中，融合模块还可以包括：第一数据处理模块和存储模块。
其中，第一数据处理模块与多路选择器的输出端连接，第一数据处理模块用于将多路选择器输出的融合数据进行处理，以及将处理后的融合数据分别输出给高速信号发送模块和存储模块；存储模块用于存储处理后的融合数据。
采用上述电子设备结构，可以在融合芯片将融合数据传输给高速信号发送模块之前，对融合数据进行预处理，从而增加数据处理的灵活性。
在一种可能的设计中，处理芯片包括：图像信号处理器、第一信号接收模块、第一分配模块和第一MIPI协议处理模块。其中，
第一信号接收模块通过一个数据传输通道与第一融合芯片连接，用于接收第一融合芯片输出的第一高速融合数据流；第一分配模块分别与第一信号接收模块和第一MIPI协议处理模块连接，第一分配模块用于接收第一信号接收模块输出的数据流，并将接收的数据流进行分配，得到多个数据流并输出给第一MIPI协议处理模块；第一MIPI协议处理模块与图像信号处理器连接，第一MIPI协议处理模块用于接收第一分配模块输出的多个数据流，对接收的多个数据流进行处理，并将处理后的数据流输出给图像信号处理器；图像信号处理器用于接收第一MIPI协议处理模块输出的处理后的数据流，并利用接收的数据流得到图像。
采用上述电子设备结构，可以通过第一信号接收模块接收第一融合芯片输出的第一高速融合数据流，并利用第一分配模块对第一高速融合数据流进行分配，得到每一个第一感光芯片产生的数据流，并利用该数据流，得到最终的图像。
在一种可能的设计中，每一个分配模块包括：数据分配器、第二控制模块和与第二缓存模块。
其中，数据分配器的输入端与第一信号接收模块连接，数据分配器的多个输出端与第二缓存器连接，数据分配器用于接收第一信号接收模块输出的数据，并将接收的数据分配为多个数据流；第二缓存模块用于接收并缓存数据分配器输出的多个数据流，并将缓存的多个数据流输出给第一MIPI协议处理模块；第二控制模块与数据分配器的控制端连接，第二控制模块用于控制数据分配器对数据分配器接收的数据进行分配，得到多个数据流。
采用上述电子设备结构，数据分配器可以在第二控制模块的控制下，将接收的第一高速融合数据流分配为多个数据流。
在一种可能的设计中，处理芯片和第一融合芯片之间连接有第一控制通道，处理芯片用于通过第一控制通道指示第一融合芯片控制多个第一感光芯片的工作参数，或者处理芯片和多个第一感光芯片之间连接有第二控制通道，处理芯片用于通过第二控制通道直接控制多个第一感光芯片的工作参数。
采用上述电子设备结构，处理芯片可以直接调整多个第一感光芯片的工作参数，也可以通过第一融合芯片控制多个第一感光芯片的工作参数。
采用上述电子设备结构，处理芯片可以调整多个第一感光芯片的工作参数，从而控制多个第一感光芯片产生特定参数的数据流。
在一种可能的设计中，本申请实施例提供的电子设备还可以包括：多个第二感光芯片和至少一个第二融合芯片。其中，每一个第二感光芯片通过一个数据传输通道与至少一个第二融合芯片中的一个第二融合芯片连接，每一个第二感光芯片用于产生基于MIPI协议的数据流，并通过传输通道传输给连接的第二融合芯片；每一个第二融合芯片通过一个数据传输通道与处理芯片连接，每一个第二融合芯片用于将与连接在第二感光芯片之间的多个数据传输通道中的数据流进行融合，得到第二高速融合数据流，并通过与处理芯片连接的一个数据传输通道将第二高速融合数据流发送给处理芯片。
其中，处理芯片还包括：与每一个第二融合芯片一一对应的第二信号接收模块、与每一个第二信号接收模块一一对应的第二分配模块和与每一个第二分配模块一一对应的第二MIPI协议处理模块。其中，每一个第二信号接收模块用于通过一个数据传输通道与对应的第二融合芯片连接，用于接收连接的第二融合芯片输出的第二高速融合数据流；每一个第二分配模块与对应的第二信号接收模块和对应的第二MIPI协议处理模块连接，每一个第二分配模块用于接收连接的第二信号接收模块输出的数据，并将接收的数据进行分配，得到多个数据流并输出给连接的第二MIPI协议处理模块；每一个第二MIPI协议处理模块与图像信号处理器连接，每一个第二MIPI协议处理模块用于接收连接的第二分配模块输出的多个数据流，对接收的多个数据流进行处理，并将处理后的数据流输出给图像信号处理器。
采用上述电子设备结构，在第一融合芯片的接口数量有限，或者感光芯片的空间分布限制，可以根据感光芯片的安装位置，设置多个融合芯片，来满足电子设备的数据传输需求。
第二方面，本申请实施例提供了一种多数据传输通道的融合装置，该装置包括：本申请实施例第一方面以及任一可能的设计中提供的第一融合芯片。其中，第一融合芯片用于将与多个第一感光芯片连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据流，并通过与处理芯片连接的一个数据传输通道发送给处理芯片。
采用上述装置结构，可以通过一个数据传输通道将多个数据传输通道中的数据流传输给处理芯片，减少了数据传输通道的数量，从而减少了数据传输线的数量。
在一种可能的设计中，该装置该包括：至少一个第二融合芯片。其中，每一个第二融合芯片用于通过多个数据传输通道与多个第二感光芯片连接，以及通过一个数据传输通道与处理芯片连接；每一个第二融合芯片用于将与多个第二感光芯片连接的多个数据传输通道中的数据流进行融合，得到第二高速融合数据流，并通过与处理芯片连接的数据传输通道发送给处理芯片。
采用上述装置结构，在第一融合芯片的接口数量有限，以及感光芯片的空间分布限制，可以根据感光芯片的安装位置，设置融合芯片的数量和位置，来满足数据传输需求。
第三方面，本申请实施例提供了一种数据传输方法，该方法的执行主体可以是本申请实施例第二方面提供以及任一可能的设计中提供的多数据传输通道的融合装置。具体地，包括以下步骤：获取与多个感光芯片连接的数据传输通道中的数据流；将获取的多个数据流融合为至少一个高速融合数据流，并将至少一个高速融合数据流发送给处理芯片。
采用上述方法，可以将多个感光芯片产生的多个数据流融合后传输，减小用于传输多个感光芯片产生的数据流的数据传输线的数量，且对数据流进一步融合，并提高数据的传输速度。
在一种可能的设计中，将获取的多个数据流融合为至少一个高速融合数据流，包括：将获取的多个数据流进行编号，并将编号后的多个数据流进行融合，得到至少一个高速融合数据流。
采用上述方法，可以对多个数据流进一步融合，得到高速融合数据流，从而减少用于传输多个数据流的数据传输通道的数量。
在一种可能的设计中，获取与每一个感光芯片连接的数据传输通道中的数据流之前，本申请实施例提供的多数据传输通道的融合方法还包括：
接收处理芯片发送的控制信号，并响应与该控制信号调整连接的多个感光芯片的工作参数。
采用上述方法，可以根据处理芯片发送的控制信号，输出符合要求的数据流。
第四方面，本申请实施例提供了一种数据处理方法，该方法的执行主体可以是本申请实施例第一方面及其任一可能的设计中提出的电子设备中的处理芯片。具体可以包括以下步骤：接收至少一个高速融合数据流，每一个高速融合数据流中包括多个感光芯片产生的多个数据流；将接收的至少一个高速融合数据分配为多个数据流；对多个数据流进行处理，得到图像。
采用上述方法，可以通过极少的数据传输线接收包含多个感光芯片产生的数据流的至少一个高速融合数据流，并对接收的高速融合数据流进行处理，得到图像。
在一种可能的设计中，将接收的至少一个高速融合数据流分配为多个数据流，包括；对至少一个高速融合数据流进行时钟恢复；利用至少一个高速融合数据流中的编号标识，对时钟恢复后的至少一个高速融合数据流进行分配，得到每一个感光芯片对应的数据流。
采用上述方法，可以基于高速融合数据流中的编号标识，对高速融合数据流进行分配，从而得到每一个感光芯片对应的数据流，以便于处理芯片对数据流进行处理，得到图像。
在一种可能的设计中，在接收至少一个高速融合数据流之前，本申请实施例提供的数据处理方法还包括：
向多个感光芯片发送控制信号。其中，该控制信号用于控制多个感光芯片的工作参数，以使多个感光芯片产生数据流。
采用上述方法，可以通过调整多个感光芯片的工作参数，实现得到满足要求的数据流。
附图说明
图1为一种应用场景的结构示意图；
图2为本申请实施例一种电子设备的结构示意图；
图3为本申请实施例一种第一融合芯片的结构示意图；
图4为本申请实施例一种融合模块的结构示意图；
图5为本申请实施例一种处理芯片的结构示意图；
图6为本申请实施例一种第一分配模块的结构示意图；
图7为本申请实施例一种多数据传输通道的融合装置的结构示意图；
图8为本申请实施例一种数据传输方法的流程示意图；
图9为本申请实施例一种数据处理方法的流程示意图；
图10为本申请实施例一种电子设备的数据处理的具体流程示意图。
具体实施方式
本申请实施例提供的多数据传输通道的融合装置和电子设备可以应用于手机和平板等智能终端中，还可以应用于无人机、自动驾驶系统、安防系统等技术领域。
目前，电子设备的结构框图如图1所示，在图1中，电子设备中包括多个感光芯片、多个数据传输通道以及处理芯片。其中，每一个感光芯片和处理芯片分别通过一个数据传输通道连接，以实现将感光芯片产生的数据流通过连接的数据传输通道传输给处理芯片，处理芯片通过多个数据传输通道接收到多个感光芯片产生的数据流，并对接收的多个数据流进行处理，得到图像，并通过电子设备的显示屏幕(未示出)显示该图像。其中，每一个数据传输通道中均存在多条数据传输线。其中，在一些应用场景中，处理芯片和感光芯片之间连接有连接器。
在实际应用中，感光芯片主要通过设置的D-PHY接口和C-PHY接口与数据传输通道连接，与每一个D-PHY接口连接的数据传输通道通常具有10条数据传输线，与每一个C-PHY接口连接的数据传输通道通常具有9条数据传输线。随着电子设备对拍摄性能要求的逐渐提高，电子设备中感光芯片的数量也在逐渐增多，感光芯片的增加会导致数据传输通道数量的增多，同时，处理芯片也需要增加对应的数据接收接口以及增加连接在处理芯片和感光芯片的连接器的数量，才能实现接收到新增加的感光芯片产生的数据流。而增加的器件会造成数据传输线、连接器以及处理芯片在电子设备中的PCB上的占用面积增加，从而影响PCB的布局和布线，当电子设备增加新的功能时，PCB也无法为新增加的功能提供相应的位置，从而限制了电子设备的优化空间。
因此，现有技术中的电子设备在传输感光芯片产生的数据流时，增加了PCB的设计难度以及限制了电子设备的优化空间。因此，本申请实施例提供了一种多数据传输通道的融合装置和电子设备，用于简化PCB的设计难度以及优化电子设备的系统架构。
本申请实施例中“或”，描述关联对象的关联关系，表示可以存在两种关系，例如，A或B，可以表示：单独存在A，单独存在B的情况，其中A、B可以是单数或者复数。
本申请中所涉及术语“连接”，描述两个对象的连接关系，可以表示两种连接关系，例如，A和B连接，可以表示：A与B直接连接，A通过C和B连接这两种情况。
在本申请实施例中，“示例的”“在一些实施例中”“在另一实施例中”等用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
需要指出的是，本申请实施例中涉及的“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。本申请实施例中涉及的等于可以与大于连用，适用于大于时所采用的技术方案，也可以与小于连用，适用于与小于时所采用的技术方案，需要说明的是，当等于与大于连用时，不与小于连用；当等于与小于连用时，不与大于连用。
参见图2为本申请实施例提供的一种电子设备的结构示意图。该电子设备200包括多个第一感光芯片201、一个第一融合芯片202以及一个处理芯片203。
其中。每一个第一感光芯片201通过一个数据传输通道与第一融合芯片202连接，第一融合芯片202通过一个数据传输通道与处理芯片203连接。
其中，每一个第一感光芯片201可以用于产生基于移动产业处理器接口MIPI协议的数据流，并通过连接的数据传输通道传输给第一融合芯片；第一融合芯片202用于将与多个第一感光芯片201连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据流，并通过与处理芯片203连接的一个数据传输通道将第一高速融合数据流发送给处理芯片203；处理芯片203用于通过连接的数据传输通道接收数据流，并利用接收的数据流得到图像。
实际使用时，电子设备200中的多个感光芯片201和处理芯片203可以设置在电子设备200中的同一PCB上，也可以设置在电子设备200中不同的PCB上，若多个感光芯片201和处理芯片203设置在不同的PCB上，则本申请实施例中与多个感光芯片201连接的第一融合芯片202优先设置在多个感光芯片对应的PCB上，以减少第一融合芯片202与多个感光芯片201之间的数据传输通道中的多条数据传输线的长度，实现减少数据传输线在PCB上的占用面积，从而简化PCB的设计难度，优化电子设备的系统架构。
在一示例中，当电子设备200中包含的多个感光芯片之间的距离较近时，可以使用一个第一融合芯片202与电子设备200中所有的第一感光芯片连接，以实现通过一个第一融合芯片201接收电子设备中所有感光芯片产生的数据流，从而减少电子设备中器件的数量以及减少融合芯片在PCB上的占用面积。
在另一示例中，当电子设备中包含的多个感光芯片之间的距离较远时，可以根据电子设备中感光芯片的安装位置选择电子设备200融合芯片的数量以及融合芯片在电子设备PCB上设置的位置，从而避免处理芯片203所在PCB上的数据传输线过多，占用处理芯片203所在PCB上较多的面积，增加PCB的设计难度。
第一融合芯片202用于融合多个第一感光芯片201产生的数据流时，多个第一感光芯片201与第一融合芯片202连接，第一融合芯片202与处理芯片203连接，第一融合芯片202将与多个数据传输通道中的数据流融合为高速融合数据，并通过与处理芯片203连接的一个数据传输通道传输给处理芯片。
下面，对第一融合芯片202和处理芯片203的具体结构进行介绍。
一、第一融合芯片202
第一融合芯片202通过多个数据传输通道分别与不同的第一感光芯片201连接，第一融合芯片202还通过一个数据传输通道与处理芯片203连接，第一融合芯片202用于将与多个第一感光芯片201连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据流，并通过与处理芯片203连接的一个数据传输通道将第一高速融合数据流发送给处理芯片。
具体地，如图3所示，第一融合芯片202可以包括：融合模块2021、高速信号发送模块2022和与每一个第一感光芯片201一一对应连接的接收模块2023。其中，每一个接收模块2023可以用于接收对应连接的第一感光芯片201产生的数据流，并将接收的数据流输出给融合模块2021；融合模块2021分别与高速信号发送模块2022和各接收模块2023连接，融合模块2022可以用于接收各接收模块2023输出的数据流，并将接收的多个数据流融合为融合数据，并将融合数据输出给高速信号发送模块2022；高速信号发送模块2022可以与处理芯片203连接，用于将接收到的融合数据转换为第一高速融合数据流后通过与处理芯片203连接的一个数据传输通道发送给处理芯片203。
具体地，若第一感光芯片201通过D-PHY接口传输数据，则对应连接的接收模块2023为D-PHY接收模块，若第一感光芯片201通过C-PHY接口传输数据，则对应连接的接收模块为C-PHY接收模块。
实际应用时，第一融合芯片202的各接收模块2023通过一个数据传输通道与对应的第一感光芯片201连接。具体实现时，第一融合芯片202的各接收模块2023上可以设置有多个固定管脚，第一感光芯片201可以通过一个数据传输通道以及第一融合芯片202的接收模块2023上的多个固定管脚与第一融合芯片202连接。
需要说明的是，第一融合芯片202的各接收模块2023设置的管脚数量可以根据与该接收模块2023连接的第一感光芯片201上用于传输数据的接口类型来设置。例如，若与该接收模块2023连接的第一感光芯片201通过D-PHY接口传输数据，则该接收模块2023上的管脚数量为可以为10；若与该接收模块2023连接的第一感光芯片通过C-PHY接口传输数据，则该接收模块2023上的管脚数量为9。其中，连接在接收模块2023和第一感光芯片201之间的数据传输通道中的数据传输线的数量与该接收模块2023上管脚的数量相同。
具体使用时，第一感光芯片201产生的数据流通过MIPI协议处理模块进行传输，第一融合芯片202通过数据传输通道接收到第一感光芯片201输出的数据流之前，第一感光芯片201中的MIPI协议处理模块先将第一感光芯片采集的数据转换为CSI-2数据流后，通过数据传输通道传输给第一融合芯片202，第一融合芯片202中的每一个接收模块2023通过多个管脚接收连接数据传输通道中的第一感光芯片201产生的数据流。其中，接收模块2023可以为D-PHY接收模块和C-PHY接收模块。其中，该数据流包括包头和包尾。
具体地，如图4所示，融合模块2021可以包括：第一控制模块20211、多路选择器20212和与第一缓存模块20213。其中，第一缓存模块20213包括与每一个接收模块2023对应的输入端和与每一个输入端对应的输出端。
具体地，第一缓存模块20213的每一个输入端与对应的接收模块2023连接，用于缓存连接的接收模块2023输出的数据流，并通过对应的输出端输出。多路选择器20212的输入端分别与第一缓存模块20213不同的输出端连接，多路选择器20212的输出端与高速信号发送模块2022连接，多路选择器20212可以用于将第一缓存模块20213中缓存的多个数据流融合为融合数据后输出给高速信号发送模块2022。第一控制模块20211与多路选择器20212的控制端连接，第一控制模块20211可以用于控制多路选择器20212对第一缓存模块20213中缓存的多个数据流进行编号，并将编号后的多个数据流融合。
应理解，为了增加数据处理的灵活性，本申请实施例提供的融合模块2021还包括：第一数据处理模块20214和存储模块20215，用于对融合数据进行数据预处理。其中，第一数据处理模块20214可以是但不限于图像处理单元。
具体地，第一数据处理模块20214与多路选择器20212的输出端连接，第一数据处理模块20214可以用于将多路选择器20212输出的融合数据进行处理，以及将处理后的融合数据分别输出给高速信号发送模块2022和存储模块20215；存储模块20215可以用于存储处理后的融合数据。
应理解，若由于第一融合芯片的设置的接收模块的数量有限，以及电子设备200中包括多个设置在不同位置的感光芯片时，为了保证处理芯片203可以获取到所有的感光芯片产生的数据流，在电子设备200中包括多个第二感光芯片时，电子设备200中还包括至少一个第二融合芯片。
其中，每一个第二感光芯片通过一个数据传输通道与至少一个第二融合芯片中的一个第二融合芯片连接，每一个第二感光芯片用于产生基于MIPI协议的数据流，并通过传输通道传输给连接的第二融合芯片；每一个第二融合芯片通过一个数据传输通道与处理芯片连接，每一个第二融合芯片用于将与连接在第二感光芯片之间的多个数据传输通道中的数据流进行融合，得到第二高速融合数据流，并通过与处理芯片连接的一个数据传输通道将第二高速融合数据流发送给处理芯片。
应理解，第二融合芯片的结构与本申请实施例提供的第一融合芯片201的结构相同，本申请实施例不做重复介绍。
二、处理芯片203
处理芯片203通过一个数据传输通道与第一融合芯片201连接，并用于通过连接的数据传输通道接收数据流，并利用接收的数据流得到图像。
具体地，如图5所示，处理芯片203具体包括：图像信号处理器2031、第一信号接收模块2032、第一分配模块2033和第一MIPI协议处理模块2034。
具体地，第一信号接收模块2032通过一个数据传输通道与第一融合芯片202连接，可以用于接收第一融合芯片202输出的第一高速融合数据流；第一分配模块2033分别与第一信号接收模块2032和第一MIPI协议处理模块2034连接，第一分配模块2033可以用于接收第一信号接收模块2032输出的数据流，并将接收的数据流进行分配，得到多个数据流并输出给连接的第一MIPI协议处理模块2034；第一MIPI协议处理模块2034可以与图像信号处理器2031连接，第一MIPI协议处理模块2034可以用于接收第一分配模块2033输出的多个数据流，并对接收的多个数据流进行处理，并将处理后的数据流输出给图像信号处理器2031；图像信号处理器2031可以用于接收第一MIPI协议处理模块2034输出的处理后的数据流，并利用接收的处理后的数据流得到图像。
具体地，本申请实施例提供处理芯片还可以包括时钟恢复模块，时钟恢复模块分别与第一信号接收模块2032和第一分配模块2033连接，时钟恢复模块可以用恢复第一信号接收模块2032接收的高速融合数据流的时钟信号。
在一示例中，电子设备200中的处理芯片203可以通过高速串行接口与第一融合芯片202的输出连接。
具体使用时，第一感光芯片201输出的数据流为经过MIPI协议处理模块处理后的数据，处理芯片203接收的第一融合芯片输出的高速融合数据流为MIPI数据包，图像信号处理器2031无法对该数据流直接进行处理，因此，在第一分配模块2033在将高速融合数据流分配为多个数据流之后，将数据流传输至图像信号处理器2031之前，需要先通过第一MIPI协议处理模块2034去掉数据流的包头和包尾，以便于图像信号处理器2031对处理后的数据流处理，得到图像。
其中，如图6所示，第一分配模块2033可以包括：数据分配器20331、第二控制模块和20332与第二缓存模块20333。
具体地，数据分配器20331的输入端与第一信号接收模块2032连接，数据分配器20331的多个输出端与第二缓存模块20333连接，数据分配器20331可以用于接收对一信号接收模块2032输出的数据流，并将接收的数据分配为多个数据流；第二缓存模块20333用于接收并缓存数据分配器20331的输出端输出的多个数据流，并将缓存的多个数据流输出给第一MIPI协议处理模块2034；第二控制模块20332与数据分配器20331的控制端连接，第二控制模块20332可以用于控制数据分配器520331对数据分配器20331接收的数据的进行分配，得到多个数据流。
可选地，处理芯片203与第一融合芯片202之间连接有第一控制通道，处理芯片203用于通过第一控制通道以指示第一融合芯片202控制与该融合芯片连接的第一感光芯片201的工作参数。其中，该工作参数可以包括但不限于：像素、曝光时间、帧率和色深。
可选地，本申请实施例提供的处理芯片203与多个第一感光芯片201之间连接有第二控制通道，处理芯片203用于通过第二控制通道直接控制多个第一感光芯片201的工作参数。
应理解，当电子设备200中包括多个第二感光芯片和至少一个第二融合芯片时，处理芯片203还包括：与每一个第二融合芯片一一对应的第二信号接收模块、与每一个第二信号接收模块一一对应的第二分配模块和与每一个第二分配模块一一对应的第二MIPI协议处理模块。
具体地，每一个第二信号接收模块用于通过一个数据传输通道与对应的第二融合芯片连接，用于接收连接的第二融合芯片输出的第二高速融合数据流；每一个第二分配模块与对应的第二信号接收模块和对应的第二MIPI协议处理模块连接，每一个第二分配模块用于接收连接的第二信号接收模块输出的数据，并将接收的数据进行分配，得到多个数据流并输出给连接的第二MIPI协议处理模块；每一个第二MIPI协议处理模块与图像信号处理器2031连接，每一个第二MIPI协议处理模块用于接收连接的第二分配模块输出的多个数据流，对接收的多个数据流进行处理，并将处理后的数据流输出给图像信号处理器2031。
其中，第二信号接收模块与本申请前述实施例提供的第一信号接收模块的结构相同，第二分配模块的结构与本申请实施例提供的第一分配模块的结构相同，MIPI协议处理模块与本申请前述实施例提供的MIPI协议处理模块的结构相同，本申请这里不做重复介绍。
下面，以电子设备中设置有两个融合芯片以及电子设备中设置有一个融合芯片的两种情况为例，对电子设备的工作过程进行说明。
情况一、电子设备中包括5个感光芯片A、B、C、D和E、一个融合芯片F以及一个处理芯片G。其中，感光芯片A为超高清摄像模组的4000万像素感光芯片，感光芯片B为高清摄像模组的3200万像素感光芯片，感光芯片C为广角摄像模组的2000万像素感光芯片，感光芯片D为长焦摄像模组的800万像素感光芯片，感光芯片E为光学变焦摄像模组的800万像素感光芯片。
其中，感光芯片A和B通过C-PHY接口将输出的图像数据传输给融合芯片F，感光芯片C、D和E通过D-PHY接口将输出的图像数据传输给融合芯片F。其中，感光芯片A通过9条数据传输线与融合芯片F的第一输入端连接，感光芯片B也通过9条数据传输线与融合芯片F的第二输入端连接，感光芯片C通过10条数据传输线与融合芯片F的第三输入端连接，感光芯片D通过10条数据传输线与融合芯片F的第四输入端连接，感光芯片E通过10条数据传输线与融合芯片F的第五输入端连接，融合芯片F通过一个高速传输接口与处理芯片G连接。即，5个感光芯片与融合芯片之间连接有48条数据传输线。其中，一个高速传输接口包括两对数据传输线，每一对数据传输线包括两条数据传输线。
具体实现时，处理芯片G与融合芯片F连接，并通过向融合芯片F发送控制信号调整感光芯片A、B、C、D和E的工作参数，实现感光芯片A、B、C、D和E采集到特定参数的数据流，该数据流通过连接的48条数据传输线传输给融合芯片F，融合芯片F接收到感光芯片A、B、C、D和E输出的数据流之后，对接收的数据流进行编号，并对编号后的多个数据流进行融合得到第一高速融合数据流后，通过融合芯片F的输出端连接的高速传输接口将第一高速融合数据流发送给处理芯片G。其中，感光芯片A数据传输线的传输速率为2.1Gsps，总带宽为14.4Gbps，感光芯片B的数据传输线的传输速率1.69Gsps，总带宽11.52Gbps，感光芯片C的数据传输线的传输速率为1.05Gsps，总带宽7.42Gbps，感光芯片D的数据传输线的传输速率720Mbps，总带宽2.88Gbps，感光芯片E的数据传输线的传输速率720Mbps，总带宽2.88Gbps。其中，处理芯片G和融合芯片F之间的数据传输线的总带宽至少为19.04Gbps。
处理芯片G可以通过一个高速传输接口接收到第一高速融合数据流，并根据第一高速融合数据流中的包头和包尾数据进行还原成5个数据流，然后经MIPI协议处理模块去掉包头和包尾，将去掉包头和包尾的数据输出给处理芯片G的图像信号处理器，图像信号处理器利用图像算法对接收的数据进行处理，输出图像。处理芯片G中的图像信号处理器可以调用一个感光芯片输出的数据流，也可以同时调用多个感光芯片输出的数据流，可以灵活设置内部的算法。例如，既可以把同一感光芯片的多帧图像进行融合提升动态范围和做降噪处理，也可以对多个不同感光芯片的数据流进行融合和加工提升景深和背景虚化，或实现更好的变焦效果等。
可以看出，5个感光芯片与融合芯片F之间连接有48条数据传输线，而融合芯片F与处理芯片G之间只需要4条数据传输线，因此，当融合芯片F跨接在5个感光芯片和处理芯片G之间时，可以在处理芯片G所在PCB上节省44条数据传输线的布线，从而简化PCB的设计难度，也可以在PCB上预留增加其它器件的位置，优化电子设备的系统架构。
情况二、电子设备中包括5个感光芯片A、B、C、D和E、两个融合芯片F和G以及一个处理芯片H。其中，感光芯片A为800万像素的感光芯片、感光芯片B为500万像素的感光芯片，感光芯片C为200万像素的感光芯片，感光芯片D为800万像素的感光芯片，感光芯片E为200万像素的感光芯片。
其中，感光芯片A、B和C通过D-PHY接口将输出的图像数据传输给融合芯片F，感光芯片D和E通过D-PHY接口将输出的图像数据传输给融合芯片G。其中，感光芯片A通过10条数据传输线与融合芯片F的第一输入端连接，感光芯片B通过10条数据传输线与融合芯片F的第二输入端连接，感光芯片C通过10条数据传输线与融合芯片F的第三输入端连接，感光芯片D通过10条数据传输线与融合芯片G的第一输入端连接，感光芯片F通过10条数据传输线与融合芯片G的第二输入端连接，融合芯片F和G分别通过一个高速传输接口与处理芯片H连接。即，5个感光芯片与融合芯片之间连接有50条数据传输线，融合芯片F和G与处理芯片H之间分别通过2条数据传输线。
具体实现时，处理芯片H通过分别向融合芯片F和融合芯片G发送控制信号，控制感光芯片A、B、C、D和E的工作参数，实现感光芯片A、B、C、D和E采集到特定参数的数据流，感光芯片A、B和C输出的数据流通过的30根数据传输线传输给融合芯片F，融合芯片F接收到感光芯片A、B和C输出的数据流之后，对接收的数据流进行编号，并对编号后的数据流融合为高速融合数据流后，通过融合芯片F的输出端连接的一个高速传输接口发送给处理芯片H。感光芯片D和E输出的图像数据通过连接的20根数据传输线传输给融合芯片G，融合芯片F接收到感光芯片C和D输出的数据流之后，对接收的数据流进行编号，并对编号后的数据流融合为高速融合数据流后，通过融合芯片G的输出端连接的一个高速传输接口发送给处理芯片H。
其中，感光芯片A数据传输线的传输速率1.152Gbps，总带宽4.608Gbps，感光芯片B数据传输线的传输速率720Mbps，总带宽2.88Gbps，感光芯片C数据传输线的传输速率288Mbps，总带宽1.152Gbps，感光芯片D数据传输线的传输速率1.152Gbps，总带宽4.608Gbps，感光芯片E数据传输线的传输速率288Mbps，总带宽1.152Gbps。其中，融合芯片F的高速传输接口的传输速率为8.64Gbps，融合芯片G的高速传输接口的传输速率为5.76Gbps。
处理芯片H可以通过融合芯片F和融合芯片G的高速传输接口接收到高速融合数据流，并根据高速融合数据流包头中的编号将接收的高速融合数据流进行还原成5个数据流，然后经MIPI协议处理模块去掉包头和包尾后，将去掉包头和包尾的数据输出给处理芯片H的图像信号处理器，图像信号处理器利用图像算法对接收的数据进行处理，输出图像。处理芯片H中的图像信号处理器可以调用一个感光芯片输出的数据流，也可以同时调用多个感光芯片输出的数据流，可以灵活设置内部的算法。例如，既可以把同一感光芯片的多帧图像进行融合提升动态范围和做降噪处理，也可以对多个不同感光芯片的数据流进行融合和加工提升景深和背景虚化。
可以看出，5个感光芯片与融合芯片F和融合芯片G之间连接有50条数据传输线，而融合芯片F以及融合芯片G与处理芯片H之间只需要4条输出传输线，因此，当融合芯片F以及融合芯片G跨接在5个感光芯片和处理芯片H之间时，可以在处理芯片H所在PCB上节省46条数据传输线的布线，从而简化PCB的设计难度，也可以在PCB上预留增加其它器件的位置，优化电子设备的系统架构。
基于同一发明构思，本申请实施例该提供了一种多数据通道数据融合装置，如图7所示，该装置700包括：本申请前述实施例提供的第一融合芯片202。
第一融合芯片201用于将与多个第一感光芯片连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据流，并通过与处理芯片连接的一个数据传输通道发送给处理芯片。
可选地，多数据通道数据融合装置700还可以包括：至少一个第二融合芯片。
其中，每一个第二融合芯片用于通过多个数据传输通道与多个第二感光芯片连接，以及通过一个数据传输通道与处理芯片连接；每一个第二融合芯片用于将与多个第二感光芯片连接的多个数据传输通道中的数据流进行融合，得到第二高速融合数据流，并通过与处理芯片连接的数据传输通道发送给处理芯片。
基于同一发明构思，本申请实施例还提供了一种多数据传输通道的融合方法，该方法的执行主体可以是本申请前述实施例提供的多数据传输通道的融合装置700，如图8所示，该方法具体包括以下步骤：
S801：多数据传输通道的融合装置获取与多个感光芯片连接的数据传输通道中的数据流。
具体地，多数据传输通道的融合装置可以通过一个数据传输通道与一个感光芯片连接，以获取每一个感光芯片产生的数据流。
在一示例中，在获取多个感光芯片产生的数据流之前，接收处理芯片发送的控制信号，并响应与该控制信号调整连接的多个感光芯片工作参数，以实现获取特定参数的数据流。
S802：多数据传输通道的融合装置将获取的多个数据流融合为至少一个高速融合数据流，并将至少一个高速融合数据流发送给处理芯片。
在一示例中，将多个数据流进行编号，并将编号后的多个数据流进行融合，得到至少一个高速融合数据流。
具体地，该编号可以设置在多个数据流中的包头和包尾中。
基于同一发明构思，本申请实施例还提供一种数据处理方法，该方法的执行主体可以是本申请前述实施例提供的电子设备中的处理芯片，如图9所示，该方法具体包括以下步骤：
S901：处理芯片接收至少一个高速融合数据流。其中，每一个高速融合数据流中包括多个感光芯片产生的多个数据流。
具体地，处理芯片可以与前述多数据传输传输通道数据融合装置中的每一融合芯片连接，以获取每一融合芯片连接的多个感光芯片产生的多个数据流。
在一示例中，处理芯片在接收至少一个高速融合数据流之前，向多个感光芯片发送控制信号，以控制多个感光芯片的工作参数，以实现感光芯片输出特定参数的数据流。
可选地，处理芯片可以将该控制信号发送给各融合芯片，通过融合芯片控制与该融合芯片连接的感光芯片的工作参数。
具体地，融合芯片接收到控制信号之后，可以将控制信号发送给多个感光芯片，并直接控制多个感光芯片的工作参数。
S902：处理芯片将接收的至少一个高速融合数据流分配为多个数据流。
具体地，对至少一个高速融合数据流进行时钟恢复，利用至少一个高速融合数据流中的编号标识，对时钟恢复后的至少一个高速融合数据进行分配，得到每一个感光芯片对应的数据流。
在一示例中，根据至少一个高速融合数据中设置的多个数据包头以及数据包头中包含的编号，确定每一个感光芯片对应的数据流。其中，编号用于指明产生该原始数据流的感光芯片。
在另一示例中，根据至少一个高速融合数据中设置的多个数据包头和数据包尾，确定每一个感光芯片对应的数据流，其中，该数据包头和数据包尾中包括该数据包头对应的编号。
S903：处理芯片对多个数据流进行处理，得到图像。
具体地，利用图像信号处理器对多个数据流进行处理，得到图像。
可选地，利用MIPI协议去掉多个数据流中的包头和包尾，得到目标数据流，并利用图像信号处理器对目标数据流进行处理，得到图像。
下面，结合图8和图9的描述，以电子设备包括一个融合芯片为例，对电子设备数据的工作过程进行详细说明，参见图10，具体包括以下步骤：
S1001：处理芯片向多个感光芯片发送控制信号。控制信号用于控制多个感光芯片的工作参数，使多个感光芯片输出特定参数的数据流。
可选地，若处理芯片和融合芯片连接有第一控制通道，处理芯片向处理芯片发送控制信号。其中，该控制信号用于控制融合芯片调整连接的多个感光芯片的工作参数。
可选地，若处理芯片和多个感光芯片之间连接有第二控制通道，处理芯片通过第二控制通道直接控制多个感光芯片的工作参数。
S1002：融合芯片将通过与多个感光芯片连接的多个数据传输通道中获取多个感光芯片输出的特定参数的数据流进行融合，得到高速融合数据流。
S1003：融合芯片将高速融合数据流发送给处理芯片。
S1004：处理芯片将获取的高速融合数据进行分配，得到多个数据流。
S1005：处理芯片利用多个数据流，得到图像。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种电子设备，其特征在于，包括：多个第一感光芯片、一个第一融合芯片以及一个处理芯片；
每一个所述第一感光芯片通过一个数据传输通道与所述第一融合芯片连接，每一个所述第一感光芯片用于产生基于移动产业处理器接口MIPI协议的数据流，并通过连接的数据传输通道传输给所述第一融合芯片；
所述第一融合芯片通过一个数据传输通道与所述处理芯片连接，所述第一融合芯片用于将与所述多个第一感光芯片连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据流，并通过与所述处理芯片连接的一个数据传输通道将所述第一高速融合数据流发送给所述处理芯片；
所述处理芯片用于通过连接的数据传输通道接收数据流，并利用接收的数据流得到图像。
2.如权利要求1所述的电子设备，其特征在于，所述第一融合芯片包括：融合模块、高速信号发送模块和与每一个所述第一感光芯片一一对应连接的接收模块；
每一个所述接收模块，用于接收对应的第一感光芯片产生的数据流，并将接收的数据流输出给所述融合模块；
所述融合模块分别与所述高速信号发送模块和各所述接收模块连接，所述融合模块用于接收各所述接收模块输出的数据流，并将接收的多个数据流融合为融合数据，并将所述融合数据输出给所述高速信号发送模块；
所述高速信号发送模块与所述处理芯片连接，用于将接收到的所述融合数据转换为所述第一高速融合数据流后通过与所述处理芯片连接的一个数据传输通道发送给所述处理芯片。
3.如权利要求2所述的电子设备，其特征在于，所述融合模块包括：第一控制模块、多路选择器和与第一缓存模块；其中，所述第一缓存模块包括与每一个所述接收模块对应的输入端和与每一个所述输入端对应的输出端；
所述第一缓存模块的每一个所述输入端与对应的接收模块连接，用于缓存连接的接收模块输出的数据流，并通过对应的输出端输出；
所述多路选择器的多个输入端分别与所述第一缓存模块不同的输出端连接，所述多路选择器的输出端与所述高速信号发送模块连接，所述多路选择器用于将所述第一缓存模块缓存的多个数据流融合为所述融合数据后输出给所述高速信号发送模块；
所述第一控制模块与所述多路选择器的控制端连接，所述第一控制模块用于控制所述多路选择器对所述第一缓存模块中缓存的多个数据流进行编号，并将编号后的多个数据流融合。
4.如权利要求3所述的电子设备，其特征在于，所述融合模块还包括：第一数据处理模块和存储模块；
所述第一数据处理模块与多路选择器的输出端连接，所述第一数据处理模块用于将所述多路选择器输出的所述融合数据进行处理，以及将处理后的融合数据分别输出给所述高速信号发送模块和所述存储模块；
所述存储模块用于存储所述处理后的融合数据。
5.如权利要求1所述的电子设备，其特征在于，所述处理芯片包括：图像信号处理器、第一信号接收模块、第一分配模块和第一MIPI协议处理模块；
所述第一信号接收模块通过一个数据传输通道与所述第一融合芯片连接，用于接收所述第一融合芯片输出的第一高速融合数据流；
所述第一分配模块分别与所述第一信号接收模块和所述第一MIPI协议处理模块连接，所述第一分配模块用于接收所述第一信号接收模块输出的数据流，并将接收的数据流进行分配，得到多个数据流并输出给所述第一MIPI协议处理模块；
所述第一MIPI协议处理模块与所述图像信号处理器连接，所述第一MIPI协议处理模块用于接收所述第一分配模块输出的多个数据流，对接收的多个数据流进行处理，并将处理后的数据流输出给所述图像信号处理器；
所述图像信号处理器用于接收所述第一MIPI协议处理模块输出的处理后的数据流，并利用接收的数据流得到图像。
6.如权利要求5所述的电子设备，其特征在于，所述第一分配模块包括：数据分配器、第二控制模块和与第二缓存模块；
所述数据分配器的输入端与所述第一信号接收模块连接，所述数据分配器的多个输出端与所述第二缓存器连接，所述数据分配器用于接收所述第一信号接收模块输出的数据，并将接收的数据分配为多个数据流；
所述第二缓存模块用于接收并缓存所述数据分配器输出的所述多个数据流，并将缓存的多个数据流输出给所述第一MIPI协议处理模块；
所述第二控制模块与所述数据分配器的控制端连接，所述第二控制模块用于控制所述数据分配器对所述数据分配器接收的数据进行分配，得到所述多个数据流。
7.如权利要求1-6中任一项所述的电子设备，其特征在于，所述处理芯片和所述第一融合芯片之间连接有第一控制通道，所述处理芯片用于通过所述第一控制通道指示所述第一融合芯片控制所述多个第一感光芯片的的工作参数，或者所述处理芯片和所述多个第一感光芯片之间连接有第二控制通道，所述处理芯片用于通过所述第二控制通道直接控制所述多个第一感光芯片的工作参数。
8.如权利要求5所述的电子设备，其特征在于，所述电子设备还包括：多个第二感光芯片和至少一个第二融合芯片；
每一个所述第二感光芯片通过一个数据传输通道与所述至少一个第二融合芯片中的一个第二融合芯片连接，每一个所述第二感光芯片用于产生基于MIPI协议的数据流，并通过传输通道传输给连接的第二融合芯片；
每一个所述第二融合芯片通过一个数据传输通道与所述处理芯片连接，每一个所述第二融合芯片用于将与连接在第二感光芯片之间的多个数据传输通道中的数据流进行融合，得到第二高速融合数据流，并通过与所述处理芯片连接的一个数据传输通道将所述第二高速融合数据流发送给所述处理芯片；
所述处理芯片还包括：与每一个所述第二融合芯片一一对应的第二信号接收模块、与每一个所述第二信号接收模块一一对应的第二分配模块和与每一个所述第二分配模块一一对应的第二MIPI协议处理模块；
每一个所述第二信号接收模块用于通过一个数据传输通道与对应的第二融合芯片连接，用于接收连接的第二融合芯片输出的第二高速融合数据流；
每一个所述第二分配模块与对应的第二信号接收模块和对应的第二MIPI协议处理模块连接，每一个所述第二分配模块用于接收连接的第二信号接收模块输出的数据，并将接收的数据进行分配，得到多个数据流并输出给连接的第二MIPI协议处理模块；
每一个所述第二MIPI协议处理模块与所述图像信号处理器连接，每一个所述第二MIPI协议处理模块用于接收连接的第二分配模块输出的多个数据流，对接收的多个数据流进行处理，并将处理后的数据流输出给所述图像信号处理器。
9.一种多数据传输通道的融合装置，其特征在于，包括如权利要求1-8中任一项所述的第一融合芯片；
所述第一融合芯片用于将与多个第一感光芯片连接的多个数据传输通道中的数据流进行融合，得到第一高速融合数据流，并通过与所述处理芯片连接的一个数据传输通道发送给所述处理芯片。
10.如权利要求9所述的装置，其特征在于，所述装置还包括：至少一个第二融合芯片；
每一个所述第二融合芯片用于通过多个数据传输通道与多个第二感光芯片连接，以及通过一个数据传输通道与所述处理芯片连接；
每一个第二融合芯片用于将与所述多个第二感光芯片连接的多个数据传输通道中的数据流进行融合，得到第二高速融合数据流，并通过与处理芯片连接的数据传输通道发送给所述处理芯片。
11.一种多数据传输通道的融合方法，其特征在于，包括：
获取与多个感光芯片连接的数据传输通道中的数据流；
将获取的多个数据流融合为至少一个高速融合数据流，并将所述至少一个高速融合数据流发送给处理芯片。
12.如权利要求11所述的方法，其特征在于，所述将获取的多个数据流融合为至少一个高速融合数据流，包括：
将获取的多个数据流进行编号，将编号后的多个数据流进行融合，得到所述至少一个高速融合数据流。
13.如权利要求11-12中任一项所述的方法，其特征在于，所述获取与每一个感光芯片连接的数据传输通道中的数据流之前，所述方法还包括：
接收所述处理芯片发送的控制信号，并响应与所述控制信号调整连接的多个感光芯片的工作参数。
14.一种数据处理方法，其特征在于，包括：
接收至少一个高速融合数据流，每一个所述高速融合数据流中包括多个感光芯片产生的数据流；
将接收的所述至少一个高速融合数据流分配为多个数据流；
对所述多个数据流进行处理，得到图像。
15.如权利要求14所述的方法，其特征在于，所述将接收的所述至少一个高速融合数据流分配为多个数据流，包括；
对所述至少一个高速融合数据流进行时钟恢复；
利用所述至少一个高速融合数据流中的编号标识，对时钟恢复后的至少一个高速融合数据流进行分配，得到每一个感光芯片对应的数据流。
16.如权利要求14或15所述的方法，其特征在于，所述接收至少一个高速融合数据流之前，还包括：
向所述多个感光芯片发送控制信号，所述控制信号用于控制所述多个感光芯片的工作参数，以使所述多个感光芯片产生数据流。
CN202010746481.6A 2020-07-29 2020-07-29 一种多数据传输通道的融合装置和电子设备 Active CN114071027B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010746481.6A CN114071027B (zh) 2020-07-29 2020-07-29 一种多数据传输通道的融合装置和电子设备
PCT/CN2021/109351 WO2022022650A1 (zh) 2020-07-29 2021-07-29 一种多数据传输通道的融合装置和电子设备
EP21850445.4A EP4184913A4 (en) 2020-07-29 2021-07-29 FUSION APPARATUS FOR MULTIPLE DATA TRANSMISSION CHANNELS AND ELECTRONIC DEVICE
US18/160,859 US20230171373A1 (en) 2020-07-29 2023-01-27 Multi-data transmission channel fusion apparatus and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010746481.6A CN114071027B (zh) 2020-07-29 2020-07-29 一种多数据传输通道的融合装置和电子设备

Publications (2)

Publication Number Publication Date
CN114071027A true CN114071027A (zh) 2022-02-18
CN114071027B CN114071027B (zh) 2023-04-28

Family

ID=80037655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010746481.6A Active CN114071027B (zh) 2020-07-29 2020-07-29 一种多数据传输通道的融合装置和电子设备

Country Status (4)

Country Link
US (1) US20230171373A1 (zh)
EP (1) EP4184913A4 (zh)
CN (1) CN114071027B (zh)
WO (1) WO2022022650A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1238541B1 (en) * 1999-12-14 2004-03-17 Broadcom Corporation Method and system for decoding video and graphics
JP2009225333A (ja) * 2008-03-18 2009-10-01 Toshiba Corp 映像データ転送システム、映像データ転送方法及び映像蓄積装置
CN102638661A (zh) * 2012-03-23 2012-08-15 南京理工大学 高速多通道ccd数据处理和传输系统
CN103024306A (zh) * 2012-12-21 2013-04-03 中国科学院长春光学精密机械与物理研究所 多通道高速行频可变线阵ccd图像数据传输方法
CN107819992A (zh) * 2017-11-28 2018-03-20 信利光电股份有限公司 一种三摄像头模组及电子设备
CN110677195A (zh) * 2019-09-29 2020-01-10 凯迈（洛阳）测控有限公司 一种适用于机载光电吊舱的数据传输装置
WO2020037628A1 (zh) * 2018-08-23 2020-02-27 深圳市大疆创新科技有限公司 一种数据采集系统、传输转换电路以及移动平台

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242355A1 (en) * 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
CN103281491A (zh) * 2013-05-30 2013-09-04 中国科学院长春光学精密机械与物理研究所 基于dsp的图像融合装置
US10114789B2 (en) * 2015-01-08 2018-10-30 Samsung Electronics Co., Ltd. System on chip for packetizing multiple bytes and data processing system including the same
US10241559B2 (en) * 2015-10-30 2019-03-26 Wipro Limited System and method for dynamically switching high-speed clock of a host device
US10587391B2 (en) * 2018-01-09 2020-03-10 Qualcomm Incorporated Simplified C-PHY high-speed reverse mode
KR102107299B1 (ko) * 2018-06-21 2020-05-06 한국산업기술대학교산학협력단 영상 데이터 전송 방법 및 이를 수행하는 장치들
CN109656415A (zh) * 2018-12-20 2019-04-19 深圳贝特莱电子科技股份有限公司 一种用于采集触摸信号的多路复用处理系统及方法
CN110941582B (zh) * 2019-11-08 2021-06-29 浪潮(北京)电子信息产业有限公司 一种bmc芯片的usb总线结构及其通信方法
CN110727637B (zh) * 2019-12-18 2020-11-20 广东高云半导体科技股份有限公司 Fpga芯片及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1238541B1 (en) * 1999-12-14 2004-03-17 Broadcom Corporation Method and system for decoding video and graphics
JP2009225333A (ja) * 2008-03-18 2009-10-01 Toshiba Corp 映像データ転送システム、映像データ転送方法及び映像蓄積装置
CN102638661A (zh) * 2012-03-23 2012-08-15 南京理工大学 高速多通道ccd数据处理和传输系统
CN103024306A (zh) * 2012-12-21 2013-04-03 中国科学院长春光学精密机械与物理研究所 多通道高速行频可变线阵ccd图像数据传输方法
CN107819992A (zh) * 2017-11-28 2018-03-20 信利光电股份有限公司 一种三摄像头模组及电子设备
WO2020037628A1 (zh) * 2018-08-23 2020-02-27 深圳市大疆创新科技有限公司 一种数据采集系统、传输转换电路以及移动平台
CN110677195A (zh) * 2019-09-29 2020-01-10 凯迈（洛阳）测控有限公司 一种适用于机载光电吊舱的数据传输装置

Also Published As

Publication number Publication date
US20230171373A1 (en) 2023-06-01
EP4184913A1 (en) 2023-05-24
EP4184913A4 (en) 2023-12-20
WO2022022650A1 (zh) 2022-02-03
CN114071027B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
US20140368609A1 (en) Systems And Methods For Generating A Panoramic Image
CN108696727A (zh) 工业相机
US11044439B2 (en) Signal processing apparatus, signal processing method, program, and signal transmission system
CN112702581A (zh) 视频采集电路
CN108712625B (zh) 多通道实时高清图像传输系统及传输方法
CN113132552B (zh) 视频流处理方法及装置
JP2019102889A (ja) カメラシステム
CN104104907A (zh) 中间单元和相机系统
CN112261333B (zh) 一种通过光纤1553总线进行图像传输的方法
CN114071027A (zh) 一种多数据传输通道的融合装置和电子设备
CN208890933U (zh) 工业相机
CN219204583U (zh) 一种图像采集装置及电子设备
CN217546051U (zh) 中继器及图像传输系统
CN115967784A (zh) 基于mipi csi c-phy协议的图像传输处理系统及处理方法
CN106534774A (zh) 一种图像传输系统
WO2012044061A2 (ko) 영상 데이터 고속 송／수신 방법 및 장치
US10306126B2 (en) Imaging apparatus and image processing system
CN206181247U (zh) 一种hd‑sdi远程高清传输系统
US8325224B2 (en) Head separation camera apparatus
CN218734455U (zh) 图像传输设备
CN111373736A (zh) 接口时序转化装置、图像数据处理方法、传输方法及系统、存储介质
US11956534B2 (en) Image conversion device for digital image signals
WO2023109263A1 (zh) 缩减模块间走线的方法、信号传输方法及装置、图像传感器
KR102221768B1 (ko) 다중 카메라 검사 장치
JP2018201106A (ja) 撮像システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant