CN108432228A - 图像数据的帧同步方法、图像信号处理装置及终端 - Google Patents

图像数据的帧同步方法、图像信号处理装置及终端 Download PDF

Info

Publication number
CN108432228A
CN108432228A CN201680057939.9A CN201680057939A CN108432228A CN 108432228 A CN108432228 A CN 108432228A CN 201680057939 A CN201680057939 A CN 201680057939A CN 108432228 A CN108432228 A CN 108432228A
Authority
CN
China
Prior art keywords
image
collecting device
frame
image data
image collecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680057939.9A
Other languages
English (en)
Other versions
CN108432228B (zh
Inventor
何飞
汤剑宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108432228A publication Critical patent/CN108432228A/zh
Application granted granted Critical
Publication of CN108432228B publication Critical patent/CN108432228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例涉及一种图像数据的帧同步方法、图像信号处理装置及终端。该方法通过接收终端的第一图像采集装置发送的帧同步指令后，向终端的第二图像采集装置和第三图像采集装置分别发送该帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据，最后接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据。该方法有效避免了帧图像数据传输过程中丢帧、错帧等情况，使图像采集模组输出的帧图像数据保持同步。

Description

图像数据的帧同步方法、图像信号处理装置及终端 技术领域
本发明实施例涉及通信技术领域，尤其涉及一种图像数据的帧同步方法、图像信号处理单元及终端。
背景技术
随着摄像头Camera技术在Android系统平台上已经得到越来越广泛的应用，用户对于Camera的体验，图像质量(如图像的清晰程度)等要求越来越高。在现有技术中，为了满足用户需要，使摄像头Camera从最初的单Camera 8M分辨率发展到单Camera 12M分辨率摄像，再到现在支持大光圈特性功能的双Camera 12M分辨率。
然而，在复杂的环境变化下，摄像头支持大光圈、近摄能力等特性功能的同时，还想要使场景模拟逼真，如实现3D仿真场景，这就需要摄像头来获取并处理更多的图像数据，并且要求从传感器中输出的图像性能稳定，才能满足用户的需要。
发明内容
本申请提供了一种图像数据的帧同步方法、图像信号处理装置及终端，可以有效的获取大量的帧图像数据，并有效克服了帧图像数据在传输过程中丢帧、错帧等不同步的现象。
第一方面，提供了一种图像数据的帧同步方法，该方法可以包括：接收终端的第一图像采集装置发送的帧同步指令，该帧同步指令可以是高电平脉冲或低电平脉冲。之后向终端的第二图像采集装置和第三图像采集装置分别 发送帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据，最后接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据，并对同步接收到的帧图像数据进行处理，生成可显示的图像。该方法通过帧同步指令的软件控制方式，不仅可以获取大量的帧图像数据，还能较好的避免了帧图像数据在传输过程中丢帧、错帧等情况，使图像采集模组输出的帧图像数据保持同步。
在一个可选的实现中，接收终端的第一图像采集装置发送的帧同步指令之前，该方法还包括：接收终端的控制芯片发送的第一控制信号，第一控制信号包括第二图像采集装置和第三图像采集装置的同步寄存器地址信息。该第一控制信号还可以包括图像信号处理单元接收帧图像数据的属性信息，如帧图像数据的大小、帧图像数据的像素等信息。向终端的第二图像采集装置发送帧同步指令，具体包括：根据同步寄存器地址信息，向第二图像采集装置和第三图像采集装置的同步寄存器分别发送帧同步指令，以使终端的第二图像采集装置和第三图像采集装置根据帧同步指令，与第一图像采集装置同步发送帧图像数据，获取较多的帧图像数据以保证后续对图像数据计算的准确性。
在一个可选的实现中，接收第一图像采集装置、第二图像采集装置，和第三图像采集装置同步发送的帧图像数据，具体包括：接收第一图像采集装置在接收到控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收第二图像采集装置和第三图像采集装置在接收到控制芯片发送的第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对第一帧图像数据和第二帧图像数据进行图像合成处理。第二控制信号与第三控制信号分别包括发送帧图像数据的起始时间信息，起始时间信息用于使第一图像采集装置以及第二图像采集装置同步发送帧图像数据，从而避免了帧图像数据在传输过程中丢帧、错帧等情况。其中，第一帧图像数据、第二帧图像数据和第三帧图像数据可能是包含相同图像信息的帧图像数据，也可能是包含部分相同 图像信息的帧图像数据，以使图像信号处理单元根据帧图像数据中相同或不同的数据信息进行更准确的处理。
第二方面，提供了另一种图像数据的帧同步方法，该方法可以包括：接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，帧图像包括帧头信息。根据帧头信息，向终端的第三图像采集装置发送第二帧同步指令，以保持第三图像采集装置与第一图像采集装置和第二图像采集装置同步输出帧图像数据，并对同步接收到的帧图像数据进行处理，生成可显示的图像。接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据。
在一个可选的实现中，接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，具体包括：接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据；或，接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据和第二图像采集装置在接收到第一图像采集装置发送的第以帧同步指令后发送的第二帧图像数据。
在一个可选的实现中，接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据之前，该方法还包括：接收终端的控制芯片发送的第一控制信号，第一控制信号包括第三图像采集装置的同步寄存器地址信息；向终端的第三图像采集装置发送第二帧同步指令，具体包括：根据同步寄存器地址信息，向第三图像采集装置的同步寄存器发送第二帧同步指令，以使终端的第三图像采集装置根据帧同步指令，与第一图像采集装置和所述第三图像采集装置同步发送帧图像数据，从而避免了帧图像数据在传输过程中丢帧、错帧等情况。
在一个可选的实现中，接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据，具体包括：接收第一图像采集装置在接收到控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收 第二图像采集装置和第三图像采集装置在接收到控制芯片发送的第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对第一帧图像数据、第二帧图像数据和所述第三帧图像数据进行图像合成处理。第二控制信号与第三控制信号分别包括发送帧图像数据的起始时间信息，起始时间信息用于使第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送帧图像数据。其中，第一帧图像数据、第二帧图像数据和第三帧图像数据可能是包含相同图像信息的帧图像数据，也可能是包含部分相同图像信息的帧图像数据，以使图像信号处理单元根据帧图像数据中相同或不同的数据信息进行更准确的处理。
第三方面，提供了一种图像信号处理单元，该图像信号处理单元具有实现上述第一方面的方法实际中图像信号处理单元行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面，提供了另一种图像信号处理单元，该图像信号处理单元具有实现上述第二方面的方法实际中图像信号处理单元行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第五方面，提供了一种图像信号处理装置，该图像信号处理装置包括接收器和发送器。接收器，用于接收终端的第一图像采集装置发送的帧同步指令。发送器，用于向终端的第二图像采集装置和第三图像采集装置分别发送接收器接收的帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据。接收器，还用于接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据，处理器，用于对同步接收到的所述帧图像数据进行处理，生成可显示的图像，以用于对第一帧图像数据和第二帧图像数据进行图像合成、图像计算，以及图像效果对焦等处理。
该图像信号处理装置还可以包括储存器和处理器，该存储器用于与处理器耦合，保存该图像信号处理装置必要的程序指令和数据。
第六方面，提供了另一种图像信号处理装置，该图像信号处理装置包括接收器和发送器。接收器用于接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，帧图像数据包括帧头信息。发送器用于根据帧头信息，向终端的第三图像采集装置发送第二帧同步指令，以保持第三图像采集装置与第一图像采集装置和第二图像采集装置同步输出帧图像数据。接收器，还用于接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据处理器，用于对同步接收到的所述帧图像数据进行处理，生成可显示的图像，以用于对第一帧图像数据、第二帧图像数据和第三帧图像数据进行图像合成、图像计算，以及图像效果对焦等处理。
该图像信号处理装置还可以包括储存器和处理器，该存储器用于与处理器耦合，保存该图像信号处理装置必要的程序指令和数据。
第七方面，提供了一种终端，该终端包括上述第五方面的图像信号处理装置或上述第六方面的图像信号处理装置。
再一方面，提供了一种计算机存储介质，用于储存为上述接入点所用的计算机软件指令，其包含用于执行上述方面所设计的程序。
附图说明
图1为本发明提供的一种终端图像处理系统结构示意图；
图2为本发明实施例提供的一种图像数据的帧同步方法的流程图；
图3为本发明提供的图像采集装置中帧同步指令与帧图像数据传输的时序示意图；
图4为图2所示的一种图像数据的帧同步方法的传输过程示意图；
图5为本发明实施例提供的另一种图像数据的帧同步方法的流程图；
图6为图5所示的一种图像数据的帧同步方法的传输过程示意图；
图7为本发明实施例提供的一种图像信号处理单元的结构示意图；
图8为本发明实施例提供的另一种图像信号处理单元的结构示意图；
图9为本发明实施例提供的一种图像信号处理装置的结构示意图；
图10为本发明实施例提供的另一种图像信号处理装置的结构示意图。
具体实施方式
本申请提供的图像数据的帧同步方法应用于图1所示的图像处理系统中，在图1中，该图像处理系统可以位于终端中。该终端可以包括但不限制于图像采集模组110、图像信号处理单元120(image signal processer，ISP)和控制芯片130。
图像采集模组110，用于采集同一地点的帧图像数据。图像采集模组110可以包括主图像采集装置111(如主摄像头)和从图像采集装置112(如副摄像头)和从图像采集装置113，从图像采集装置112或从图像采集装置113可以包括同步寄存器或同步控制器。主图像采集装置111和从图像采集装置112分别至少包括三个接口，该三个接口可以分别是初始化接口、帧图像数据传输接口，和帧同步指令接口。帧图像数据传输接口可以是移动产业处理器(mobile industry processor interface，MIPI)接口，此时的帧图像数据是符合MIPI协议的，从图像采集装置112或从图像采集装置113的帧同步指令接口可以位于等待同步寄存器上，也可以位于等待同步控制器上。
需要说明的是，图像采集模组110中还可以包括两个以上的从图像采集装置，本发明在此不做限定。
其中，帧图像数据可以包括帧头、帧图像数据和帧尾，帧头可以携带帧图像数据的标识信息，以指示该帧的类型。
图像信号处理单元120，用于对图像采集模组进行控制，以及对接收的帧图像数据进行合成等图像处理。图像信号处理单元120至少包括三个接口， 该三个接口可以是初始化接口、帧图像数据接收接口(例如MIPI接口)和帧同步指令接口。图像信号处理单元120与图像采集模组110通过I2C总线进行指令传输。可以理解的是，图像信号处理单元120可以通过I2C总线下发指令给图像采集模组110，比如控制图像采集模组110停止工作，以及其他一些控制指令。
控制芯片130，用于对图像采集模组110和图像信号处理单元120进行初始化，即对图像采集模组110和图像信号处理单元120进行信息配置。控制芯片130可以是中央处理器(Central Processing Unit，CPU)或其他可以对图像采集模组110和图像信号处理单元120进行初始化的控制器。
下面以图像采集模组110中包括一个主图像采集装置和两个从图像采集装置为例，进行详细介绍。
图2为本发明实施例提供的一种图像数据的帧同步方法的流程图。如图2所示，该方法的执行主体可以是图像信号处理单元120，并将主图像采集装置111作为第一图像采集装置，将从图像采集装置112作为第二图像采集装置，将从图像采集装置113作为第三图像采集装置，该方法可以包括：
步骤210、图像信号处理单元接收终端的第一图像采集装置发送的帧同步指令。
帧同步指令用于控制图像采集模组中的第二图像采集装置向图像信号处理单元一帧一帧的发送帧图像数据。
如图3所示，帧同步指令可以是高电平脉冲，当由低电平变为高电平(如由0变为1)时，即出现一个帧同步指令时，图像采集装置将通过MIPI接口向图像信号处理单元发送一帧图像数据，即一个帧同步指令对应一帧图像数据。
可以理解的是，在顺序接到帧同步指令后，每一个图像采集装置都要通过各自的MIPI接口，按顺序的一帧一帧向ISP传输帧图像数据，从而实现图 像采集装置的同步输出帧图像数据。
在执行步骤210之前，该方法还包括：
控制芯片对图像采集模组和图像信号处理单元进行初始化，该初始化过程可以包括：控制芯片向图像信号处理单元发送第一控制信号、向图像采集模组中第一图像采集装置发送第二控制信号，以及向图像采集模组中第二图像采集装置和第三图像采集装置分别发送第三控制信号。
其中，第一控制信号可以包括图像信号处理单元接收帧图像数据的属性信息，如帧图像数据的大小、帧图像数据的像素、帧图像数据的数量等信息。第二控制信号和第三控制信号可以包括图像采集模组发送帧图像数据的属性信息，如帧图像数据的大小、帧图像数据的像素、帧图像数据的数量等信息，以及，第二图像采集装置和第三图像采集装置发送帧图像数据的起始时间信息，该起始时间信息用于使第一图像采集装置以及收到同步指令后的第二图像采集装置和第三图像采集装置同步发送帧图像数据。第二控制信号还可以包括用于启动第一图像采集装置的指令信息。
回到步骤210中，第一图像采集装置接收第二控制信号，在第二控制信号的作用下，第一图像采集装置启动，并向图像信号处理单元通过I2C总线向图像信号处理单元发送帧同步指令。图像信号处理单元接收该帧同步指令。
需要说明的是，第一图像采集装置在输出帧同步指令后，根据发送帧图像数据的起始时间信息，第一图像采集装置通过MIPI接口向图像信号处理单元ISP发送第一帧图像数据。
步骤220、图像信号处理单元向终端的第二图像采集装置和第三图像采集装置分别发送帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据。
可选地，图像信号处理单元ISP接收的第一控制信号中还可以包括图像采集模组中第二图像采集装置的数量信息。
图像信号处理单元ISP根据接收到的第一图像采集装置的帧同步指令和第二图像采集装置的数量信息，生成与第二图像采集装置个数对等的且相同的帧同步指令，并向终端的第二图像采集装置转发该帧同步指令。由此可知，图像信号处理单元ISP通过向从图像采集装置发送帧同步指令，指示从图像采集装置发送帧图像数据。
进一步的，图像信号处理单元ISP接收的第一控制信号还可以包括图像采集模组中第二图像采集装置的同步寄存器地址信息。
根据同步寄存器地址信息，图像信号处理单元ISP通过I2C总线将接收到的帧同步指令发送至相应的第二图像采集装置的同步寄存器，也可以说是，图像信号处理单元ISP通过I2C总线向第二图像采集装置的同步寄存器写使能(应答)指令。
当第二图像采集装置和第三图像采集装置的同步寄存器接收到该帧同步指令时，根据发送帧图像数据的起始时间信息，第一图像采集装置、第二图像采集装置和第三图像采集装置将通过各自MIPI接口分别向图像信号处理单元ISP发送第一帧图像数据、第二帧图像数据和第三帧图像数据，以保证图像信号处理单元获取较多的帧图像数据。
需要说明的是，由于第一图像采集装置、第二图像采集装置配置和第三图像采集装置的发送帧图像数据的起始时间信息相同，因此，第一图像采集装置与第二图像采集装置将通过各自的MIPI接口同步向图像信号处理单元发送帧图像数据。
步骤230、图像信号处理单元接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据。
第一图像采集装置根据接收的第二控制信号，确定发送的第一帧图像数据的属性信息，如帧图像数据的大小，像素等信息。第二图像采集装置和第三图像采集装置根据接收到的第三控制信号，确定发送的第二帧图像数据和 第三帧图像数据的属性信息，如帧图像数据的大小，像素等信息。
可选地，第一帧图像数据、第二帧图像数据和第三帧图像数据可能是包含相同图像信息的帧图像数据，也可能是包含部分相同图像信息的帧图像数据，以使图像信号处理单元根据帧图像数据中相同或不同的数据信息进行更准确的处理。
图像信号处理单元ISP接收第一图像采集装置发送的第一帧图像数据、第二图像采集装置同步发送的第二帧图像数据和第三图像采集装置同步发送的第三帧图像数据。
可以理解的是，根据用户实际需要，图像信号处理单元ISP可以对第一帧图像数据、第二帧图像数据和第三帧图像数据进行图像合成、图像计算，以及图像效果对焦等处理，还可以得到3D仿真图像。
在一个例子中，如图4所示，以图像采集装置为摄像头为例，图像采集模组包括主摄像头、从摄像头1和从摄像头2。控制芯片首先对图像采集模组和图像信号处理单元进行信息初始化，即信息配置，并启动主摄像头。
启动后的主摄像头通过I2C总线向图像信号处理单元发送帧同步指令。图像信号处理单元生成与接收到的同步指令相同的两个帧同步指令，并根据从摄像头中同步寄存器的地址信息，通过I2C总线向相应的从摄像头发送帧同步指令，从摄像头的同步寄存器接收到帧同步指令后，与主摄像头通过各自的MIPI接口同步输出第二帧图像数据、第三帧图像数据和第一帧图像数据。
可选地，图像信号处理单元ISP还可以对接收到的帧图像数据进行处理，生成可显示的图像。
本发明实施例提供的图像数据的帧同步方法通过接收终端的第一图像采集装置发送的帧同步指令后，向终端的第二图像采集装置和第三图像采集装置发送该帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据，最后接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据。该方法通过软件控制 的方式，可以有效的获取大量的帧图像数据，并避免了帧图像数据在传输过程中丢帧、错帧等情况，使图像采集模组输出的帧图像数据保持同步。
图5为本发明实施例提供的另一种图像数据的帧同步方法的流程图。如图5所示，该方法的执行主体可以是图像信号处理单元ISP，该方法可以包括：
步骤510、图像信号处理单元接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，该帧图像数据包括帧头信息。
帧图像数据的帧头信息可以是帧图像数据的属性信息，如帧图像数据的标识信息。
在执行步骤510之前，该方法还包括：
控制芯片对图像采集模组和图像信号处理单元进行初始化，该初始化过程可以包括：控制芯片向图像信号处理单元发送第一控制信号、向图像采集模组中第一图像采集装置发送第二控制信号，以及向图像采集模组中第二图像采集装置和第三图像采集装置分别发送第三控制信号。第二图像采集装置是指图像采集模组中任意一个从图像采集装置。第三图像采集装置是指除第二图像采集装置以外的其他从图像采集装置。可以理解的是，第三图像采集装置可以是至少一个从图像采集装置。
其中，第一控制信号可以包括图像信号处理单元ISP接收图像采集模组发送的帧图像数据的属性信息，如帧图像数据的大小、帧图像数据的像素、帧图像数据的数量等信息。第二控制信号和第三控制信号可以包括图像采集模组发送的帧图像数据的属性信息，如帧图像数据的大小、帧图像数据的像素、帧图像数据的数量等信息，以及发送帧图像数据的起始时间信息，该起始时间信息用于使第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送帧图像数据。第二控制信号还可以启动第一图像采集装置。
回到步骤510，启动后的第一图像采集装置向第二图像采集装置的同步控 制器发送第一帧同步指令，以实现第一图像采集装置与第二图像采集装置通过MIPI接口同步向图像信号处理单元发送第一帧图像数据和第二帧图像数据。图像信号处理单元接收第一图像采集装置发送的第一帧图像数据和第二帧图像数据，或者图像信号处理单元接收第一图像采集装置发送的第一帧图像数据。
在另一种实现同步的方式中，图像信号处理单元接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据后，检测第一图像采集装置发送的帧图像数据的帧头前面是否存在帧同步信号，若图像信号处理单元检测到存在帧同步信号，则向至少一个第三图像采集装置发送帧同步指令，从而实现第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送帧图像数据。
步骤520、图像信号处理单元根据帧头信息，向第三图像采集装置发送第二帧同步指令，以保持第三图像采集装置与第一图像采集装置和第二图像采集装置同步输出帧图像数据。
可选地，图像信号处理单元接收的第一控制信号中还可以包括图像采集模组中第三图像采集装置的数量信息和相应同步寄存器的地址信息。
进一步的，图像信号处理单元根据接收到的第一图像采集装置发送的第一帧图像数据的帧头信息和第三图像采集装置的的数量信息，生成与第三图像采集装置个数对等的第二帧同步指令。图像信号处理单元检测到帧头信息中帧图像数据的标识信息，确定该帧类型为帧图像类型后，图像信号处理单元再根据同步寄存器地址信息，通过I2C总线将第二帧同步指令发送至相应的第三图像采集装置的同步寄存器。
当第三图像采集装置的同步寄存器接收到第二帧同步指令时，第二图像采集装置根据发送帧图像数据的起始时间信息，通过MIPI接口向图像信号处理单元发送第三帧图像数据。
需要说明的是，由于第一图像采集装置、第二图像采集装置和第三图像采集装置配置的发送帧图像数据的起始时间信息相同，因此，第一图像采集装置、第二图像采集装置和第三图像采集装置将通过各自的MIPI接口同步向图像信号处理单元发送帧图像数据。
步骤530、图像信号处理单元接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据。
第一图像采集装置根据接收的第二控制信号，确定该第一帧图像数据的属性信息，如帧图像数据的大小，像素和数量等信息。第二图像采集装置和第三图像采集装置根据接收到的第三控制信号，确定发送的第二帧图像数据和第三帧图像数据的属性信息，如帧图像数据的大小，像素和数量等信息。
可选地，第一帧图像数据、第二帧图像数据与第三帧图像数据可能是包含相同图像信息的帧图像数据，也可能是包含部分相同图像信息的帧图像数据，以使图像信号处理单元根据帧图像数据中相同或不同的数据信息进行更准确的处理。
图像信号处理单元接收第一图像采集装置发送的第一帧图像数据、第二图像采集装置同步发送的第二帧图像数据，以及第三图像采集装置同步发送的第三帧图像数据。
可以理解的是，根据用户实际需要，图像信号处理单元可以对第一帧图像数据、第二帧图像数据和第三帧图像数据进行图像合成、图像计算，以及图像效果对焦等处理，还可以得到3D仿真图像。
在一个例子中，如图6所示，以图像采集装置为摄像头为例，图像采集模组包括主摄像头、从摄像头1和从摄像头2。控制芯片首先对图像采集模组和图像信号处理单元进行信息初始化，即信息配置，并启动主摄像头。
启动后的主摄像头通过帧同步指令接口向从摄像头1的同步控制器发送 第一帧同步指令，指示从摄像头与主摄像头同步向图像信号处理单元第一次发送第一帧图像数据和第二帧图像数据。图像信号处理单元根据第一帧图像数据的帧头信息，生成与剩余从摄像头(从摄像头2)个数对等的第二帧同步指令，即一个第二帧同步指令。之后根据从摄像头2同步寄存器的地址信息，图像信号处理单元通过I2C总线将生成的第二帧同步指令发送至从摄像头2的同步寄存器。从摄像头2的同步寄存器接收到第二帧同步指令后，与主摄像头和从摄像头1通过各自的MIPI接口同步输出第三帧图像数据、第一帧图像数据和第二帧图像数据。
可选地，图像信号处理单元ISP还可以对接收到的帧图像数据进行处理，生成可显示的图像。
本发明实施例提供的图像的帧同步方法中，图像信号处理单元通过接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，其中，帧图像数据包括帧头信息。图像信号处理单元根据帧头信息，向终端的第三图像采集装置发送第二帧同步指令，以保持第三图像采集装置与第一图像采集装置和第二图像采集装置同步输出帧图像数据，最后接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据。该方法通过部分软件控制方式，可以有效的获取大量的帧图像数据，并避免了帧图像数据在传输过程中丢帧、错帧等情况，使图像采集模组输出的帧图像数据保持同步。
与图2的图像数据的帧同步方法对应的，本发明实施例提供了一种图像信号处理单元。
图7为本发明实施例提供的一种图像信号处理单元的结构示意图。如图7所示，该图像信号处理单元可以包括：接收单元710和发送单元720。
接收单元710，用于接收终端的第一图像采集装置发送的帧同步指令。
可选地，在接收单元710接收终端的第一图像采集装置发送的帧同步指 令之前，
接收单元710，还用于接收终端的控制芯片发送的第一控制信号，第一控制信号包括第二图像采集装置和第三图像采集装置的同步寄存器地址信息。
发送单元720，用于根据接收单元710接收的同步寄存器地址信息，向终端的第二图像采集装置和第三图像采集装置发送帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据。
具体为，发送单元720检测到接收单元710接收的帧头信息后，根据接收单元710接收的同步寄存器地址信息，向第二图像采集装置和第三图像采集装置的同步寄存器分别发送帧同步指令。
接收单元710，还用于接收第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送的帧图像数据。
具体为，接收单元710接收第一图像采集装置在接收到控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收第二图像采集装置和第三图像采集装置在接收到控制芯片发送的第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对第一帧图像数据、第二帧图像数据和第三帧图像数据进行图像合成处理。其中，第二控制信号与第三控制信号分别包括发送帧图像数据的起始时间信息，起始时间信息用于使第一图像采集装置以及第二图像采集装置同步发送帧图像数据。
可选地，第一帧图像数据、第二帧图像数据与第三帧图像数据可能是包含相同图像信息的帧图像数据，也可能是包含部分相同图像信息的帧图像数据，以使图像信号处理单元根据帧图像数据中相同或不同的数据信息进行更准确的处理。
可选地，该图像信号处理单元还可以包括处理单元，用于对同步接收到的所述帧图像数据进行处理，生成可显示的图像。
需要说明的是，该图像信号处理单元还可以包括存储单元。
本发明实施例终端的各单元的功能，可以通过上述一种图像的帧同步方 法实施例的各步骤来实现，因此，本发明提供的终端的具体工作过程，在此不复赘述。
与图5的图像数据的帧同步方法对应的，本发明实施例提供了一种图像信号处理单元。
图8为本发明实施例提供的另一种图像信号处理单元的结构示意图。如图8所示，该图像信号处理单元可以包括：接收单元810和发送单元820。
接收单元810，用于接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，该帧图像数据可以包括帧头信息。
接收单元810，具体用于接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据；或，接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据和所述第二图像采集装置在接收到第一图像采集装置发送的第以帧同步指令后发送的第二帧图像数据。
可选地，在接收单元810接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据之前，接收单元810，还用于接收终端的控制芯片发送的第一控制信号，该第一控制信号包括第三图像采集装置的同步寄存器地址信息。
发送单元820，用于根据接收单元810接收的帧头信息，向终端的第三图像采集装置发送第二帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据。
具体为，发送单元820检测到接收器810接收的帧头信息后，根据接收单元810接收的同步寄存器地址信息，向第三图像采集装置的同步寄存器发送帧同步指令，以保持第二图像采集装置和第三图像采集装置与第一图像采集装置同步输出帧图像数据。
接收单元810，还用于接收第一图像采集装置、第二图像采集装置和第三 图像采集装置同步发送的帧图像数据。
具体为，接收单元810接收第一图像采集装置在接收到控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收第二图像采集装置和第三图像采集装置在接收到控制芯片发送的第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对第一帧图像数据、第二帧图像数据和第三帧图像数据进行图像合成处理。
其中，第二控制信号与第三控制信号分别包括发送帧图像数据的起始时间信息，起始时间信息用于使第一图像采集装置、第二图像采集装置和第三图像采集装置同步发送帧图像数据。
可选地，第一帧图像数据、第二帧图像数据与第三帧图像数据可能是包含相同图像信息的帧图像数据，也可能是包含部分相同图像信息的帧图像数据，以使图像信号处理单元根据帧图像数据中相同或不同的数据信息进行更准确的处理。
可选地，该图像信号处理单元还可以包括处理单元，用于对同步接收到的所述帧图像数据进行处理，生成可显示的图像。
需要说明的是，该图像信号处理单元还可以包括存储单元。
本发明实施例终端的各单元的功能，可以通过上述一种图像的帧同步方法实施例的各步骤来实现，因此，本发明提供的终端的具体工作过程，在此不复赘述。
与图2对应的，本发明实施例还提供了一种图像信号处理装置。
图9为本发明实施例提供的一种图像信号处理装置的结构示意图。如图9所示，该图像信号处理装置可以包括：控制芯片910、图像采集器920、图像信号处理器930。
需要说明的是，图像采集器920还可以包括：电荷耦合器件(英文：charged coupled device，CCD)图像传感器，用于根据来自光学单元111的光生成拍 摄对象的图像信号；相关双取样(英文：correlated double sampling，CDS)电路，用于实施相关的复式取样处理，该处理消除在由CCD图像传感器读取的图像信号中包含的噪音部分；模数(英文：analog to digital converter，A/D)转换器，用于将由CDS电路处理的模拟信号转换为数字信号；定时信号发生器(英文：timinggenerator，TG)，用于生成驱动CCD图像传感器的计时信号；音圈马达，用于音圈马达驱动图像采集器920以指定的角度和/或位移移动，从而拍摄出多张视角不同的图象，等等。
图像信号处理器930可以是中央处理器(CPU)，通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
控制芯片910可以是CPU或其他可以对图像采集器920和图像信号处理器930进行初始化的控制器。控制芯片910用于对图像采集器920和图像信号处理器930进行配置，如初始化配置。控制芯片910可以集成在图像信号处理器930中，也可以与图像信号处理器930分离独立存在。
需要说明的是，图像信号处理器930可以包括：图像输入控制电路，用于接收来自A/D转换器的帧图像数据；图像处理电路，用于基于已输入的帧图像数据实施预定的数字信号处理；显存(英文：video random access memory，VRAM)，其用于存储要被显示的表示图像的帧图像数据；显示控制电路，用于对在显示单元上显示的图像进行控制，该图像是基于VRAM内存储的帧图像数据。
显示器，用于显示由用户输入的信息或提供给用户的信息以及图像采集 器920的各种菜单。显示器可以包括显示面板，显示器可以采用液晶显示器(英文：liquid crystal display，LCD)、有机发光二极管(英文：organic light-emitting diode，OLED)等形式来配置显示面板。
具体的，在本发明上述的实施例中，图像采集器920获取多个帧图像数据，并通过MIPI传输接口向图像信号处理器930传输。图像采集器920可以包括一个主图像采集装置和至少两个从图像采集装置。图像信号处理器930根据主图像采集装置发送的帧同步指令，通过I2C总线向至少两个从图像采集装置分别发送该帧同步指令，以保持至少两个从图像采集装置与主图像采集装置同步输出帧图像数。图像信号处理器930接收主图像采集装置和至少两个从图像采集装置同步发送的帧图像数据。图像信号处理器930对帧图像数据进行计算、合成等处理，获取用户需要的画面，如图像信号处理器930将未加工的(raw)格式的图像数据转为颜色编码方法(YUV)格式的图像数据，然后送到显示器就得到用户看到的预览画面，或者再经过图像编码生成联合图像专家小组(Joint Photographic Experts Group，JPEG)格式的照片。
需要说明的是，该图像信号处理装置还可以包括存储器940。存储器940可以是永久存储器，例如硬盘驱动器和闪存，存储器940中具有软件模块和设备驱动程序。软件模块能够执行本发明上述方法的各种功能模块，设备驱动程序可以是网络和接口驱动程序。存储器940用于存储上述过程中使用的指令和数据信息。
与图5对应的，本发明实施例还提供了另一种图像信号处理装置。
图10为本发明实施例提供的另一种图像信号处理装置结构示意图。如图10所示，该图像信号处理装置可以包括：控制芯片1010、图像采集器1020、图像信号处理器1030。需要说明的是，图像采集器1020还可以包括：电荷耦合器件图像传感器，其根据来自光学单元111的光生成拍摄对象的图像信号； 相关双取样电路，其实施相关的复式取样处理，该处理消除在由CCD图像传感器读取的图像信号中包含的噪音部分；模数转换器，其将由CDS电路处理的模拟信号转换为数字信号；和定时信号发生器，其生成驱动CCD图像传感器的计时信号；音圈马达，用于音圈马达驱动图像采集器920以指定的角度和/或位移移动，从而拍摄出多张视角不同的图象，等等。
图像信号处理器1030可以是中央处理器(CPU)，通用处理器、数字信号处理器(digital signal processing,DSP)、专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。
控制芯片1010可以是CPU或其他可以对图像采集器1020和图像信号处理器1030进行初始化的控制器。控制芯片1010用于对图像采集器1020和图像信号处理器1030进行配置，如初始化配置。控制芯片1010可以集成在图像信号处理器1030中，也可以与图像信号处理器1030分离独立存在。
需要说明的是，图像信号处理器1030可以包括：图像输入控制电路，用于接收来自A/D转换器的帧图像数据；图像处理电路，用于基于已输入的帧图像数据实施预定的数字信号处理；显存，用于存储要被显示的表示图像的帧图像数据；显示控制电路，用于对在显示单元上显示的图像进行控制，该图像是基于VRAM内存储的帧图像数据。
显示器，用于显示由用户输入的信息或提供给用户的信息以及图像采集器1020的各种菜单。显示器可以包括显示面板，该显示器可以采用液晶显示器、有机发光二极管等形式来配置显示面板。
具体的，在本发明上述的实施例中，图像采集器1020获取多个帧图像数 据，并通过MIPI传输接口向图像信号处理器1030传输。图像采集器1020可以包括一个主图像采集装置和至少两个从图像采集装置。图像采集器1020接收主图像采集装置在向至少两个从图像采集装置中的第一图像采集装置发送第一帧同步指令后发送的帧图像数据，帧图像包括帧头信息，并根据帧头信息，向至少两个从图像采集装置中的第二图像采集装置发送第二帧同步指令，以保持第二图像采集装置与主图像采集装置和第一图像采集装置同步输出帧图像数据，之后接收第一图像采集装置、第二图像采集装置和主图像采集装置同步发送的帧图像数据。图像信号处理器1030对帧图像数据进行计算、合成等处理，获取用户需要的画面，如图像信号处理器1030将未加工的(raw)格式的图像数据转为颜色编码方法(YUV)格式的图像数据，然后送到显示器就得到用户看到的预览画面，或者再经过图像编码生成联合图像专家小组(Joint Photographic Experts Group，JPEG)格式的照片。
需要说明的是，该图像信号处理装置还可以包括存储器940。存储器940可以是永久存储器，例如硬盘驱动器和闪存，存储器940中具有软件模块和设备驱动程序。软件模块能够执行本发明上述方法的各种功能模块，设备驱动程序可以是网络和接口驱动程序。存储器940用于存储上述过程中使用的指令和数据信息。
需要说明的是，本发明实施例还可以提供一种终端，该终端可以包括图9所示的图像信号处理装置或图10所示的图像信号处理装置。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为 超出本发明的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(magnetic tape)，软盘(floppy disk)，光盘(optical disc)及其任意组合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (22)

  1. 一种图像数据的帧同步方法，其特征在于，所述方法包括：
    接收终端的第一图像采集装置发送的帧同步指令；
    向所述终端的第二图像采集装置和第三图像采集装置分别发送所述帧同步指令，以保持所述第二图像采集装置和所述第三图像采集装置与所述第一图像采集装置同步输出帧图像数据；
    接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据；
    处理接收到的所述帧图像数据，生成可显示的图像。
  2. 根据权利要求1所述的方法，其特征在于，所述接收终端的第一图像采集装置发送的帧同步指令之前，所述方法还包括：
    接收所述终端的控制芯片发送的第一控制信号，所述第一控制信号包括所述第二图像采集装置和所述第三图像采集装置的同步寄存器地址信息；
    所述向所述终端的第二图像采集装置和第三图像采集装置分别发送所述帧同步指令，具体包括：
    根据所述同步寄存器地址信息，向所述第二图像采集装置和所述第三图像采集装置的同步寄存器分别发送所述帧同步指令。
  3. 根据权利要求2所述的方法，其特征在于，所述接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据，具体包括：
    接收所述第一图像采集装置在接收到所述控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收所述第二图像采集装置和所述第三图像采集装置在接收到控制芯片发送的所述第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对所述第一帧图像数据、所述第二帧图像数据和所述第三帧图像数据进行图像合成处理；
    所述第二控制信号与所述第三控制信号分别包括发送所述帧图像数据的 起始时间信息，所述起始时间信息用于使所述第一图像采集装置以及所述第二图像采集装置同步发送所述帧图像数据。
  4. 一种图像的帧同步方法，其特征在于，所述方法包括：
    接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，所述帧图像包括帧头信息；
    根据所述帧头信息，向所述终端的第三图像采集装置发送第二帧同步指令，以保持所述第三图像采集装置与所述第一图像采集装置和所述第二图像采集装置同步输出帧图像数据；
    接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据；
    处理接收到的所述帧图像数据，生成可显示的图像。
  5. 根据权利要求4所述的方法，其特征在于，
    所述接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，具体包括：
    接收所述终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据；或，
    接收所述终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据和所述第二图像采集装置在接收到所述第一图像采集装置发送的第一帧同步指令后发送的第二帧图像数据。
  6. 根据权利要求4所述的方法，其特征在于，所述接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据之前，所述方法还包括：
    接收终端的控制芯片发送的第一控制信号，所述第一控制信号包括所述第三图像采集装置的同步寄存器地址信息；
    所述向所述终端的第三图像采集装置发送第二帧同步指令，具体包括：
    根据所述同步寄存器地址信息，向所述第三图像采集装置的同步寄存器发送所述第二帧同步指令。
  7. 根据权利要求5所述的方法，其特征在于，所述接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据，具体包括：
    接收所述第一图像采集装置在接收到所述控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收所述第二图像采集装置和所述第三图像采集装置在接收到控制芯片发送的所述第三控制信号后分别发送的第二帧图像数据和第三帧图像数据，以用于对所述第一帧图像数据、所述第二帧图像数据和所述第三帧图像数据进行图像合成处理；
    所述第二控制信号与所述第三控制信号分别包括发送所述帧图像数据的起始时间信息，所述起始时间信息用于使所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送所述帧图像数据。
  8. 一种图像信号处理单元，其特征在于，所述图像信号处理单元包括：
    接收单元，用于接收终端的第一图像采集装置发送的帧同步指令；
    发送单元，用于向所述终端的第二图像采集装置和第三图像采集装置分别发送所述接收单元接收的所述帧同步指令，以保持所述第二图像采集装置和所述第三图像采集装置与所述第一图像采集装置同步输出帧图像数据；
    所述接收单元，还用于接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据；
    处理单元，用于处理接收到的所述帧图像数据，生成可显示的图像。
  9. 根据权利要求8所述的图像信号处理单元，其特征在于，
    所述接收单元，还用于接收终端的控制芯片发送的第一控制信号，所述第一控制信号包括所述第二图像采集装置和所述第三图像采集装置的同步寄存器地址信息；
    所述发送单元，具体用于根据所述接收单元接收的所述同步寄存器地址信息，向所述第二图像采集装置和所述第三图像采集装置的同步寄存器分别发送所述帧同步指令。
  10. 根据权利要求9所述的图像信号处理单元，其特征在于，
    所述接收单元，具体用于接收所述第一图像采集装置在接收到所述控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收所述第二图像采集装置和所述第三图像采集装置在接收到控制芯片发送的所述第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对所述第一帧图像数据和所述第二帧图像数据和所述第三帧图像数据进行图像合成处理；
    所述第二控制信号与所述第三控制信号分别包括发送所述帧图像数据的起始时间信息，所述起始时间信息用于使所述第一图像采集装置以及所述第二图像采集装置同步发送所述帧图像数据。
  11. 一种图像信号处理单元，其特征在于，所述图像信号处理单元包括：
    接收单元，用于接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，所述帧图像数据包括帧头信息；
    发送单元，用于根据所述接收单元接收的所述帧头信息，向所述终端的第三图像采集装置发送第二帧同步指令，以保持所述第三图像采集装置与所述第一图像采集装置和所述第二图像采集装置同步输出帧图像数据；
    所述接收单元，还用于接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据；
    处理单元，用于处理接收到的所述帧图像数据，生成可显示的图像。
  12. 根据权利要求11所述的图像信号处理单元，其特征在于，
    所述接收单元，具体用于接收所述终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据；或，
    接收所述终端的第一图像采集装置在向第二图像采集装置发送第一帧同 步指令后发送的第一帧图像数据和所述第二图像采集装置在接收到所述第一图像采集装置发送的第一帧同步指令后发送的第二帧图像数据。
  13. 根据权利要求11所述的图像信号处理单元，其特征在于，
    所述接收单元，还用于接收所述终端的控制芯片发送的第一控制信号，所述第一控制信号包括所述第三图像采集装置的同步寄存器地址信息；
    所述发送单元，具体用于根据所述接收单元接收的所述同步寄存器地址信息，向所述第三图像采集装置的同步寄存器发送所述第二帧同步指令。
  14. 根据权利要求11所述的图像信号处理单元，其特征在于，
    所述接收单元，还具体用于接收所述第一图像采集装置在接收到所述控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收所述第二图像采集装置和所述第三图像采集装置在接收到所述控制芯片发送的所述第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对所述第一帧图像数据、第二帧图像数据和所述第三帧图像数据进行图像合成处理；
    所述第二控制信号与所述第三控制信号分别包括发送所述帧图像数据的起始时间信息，所述起始时间信息用于使所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送所述帧图像数据。
  15. 一种图像信号处理装置，其特征在于，所述图像信号处理单元包括：
    接收器，用于接收终端的第一图像采集装置发送的帧同步指令；
    发送器，用于向所述终端的第二图像采集装置和第三图像采集装置分别发送所述接收器接收的帧同步指令，以保持所述第二图像采集装置和所述第三图像采集装置与所述第一图像采集装置同步输出帧图像数据；
    所述接收器，还用于接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据；
    处理器，用于处理接收到的所述帧图像数据，生成可显示的图像。
  16. 根据权利要求15所述的图像信号处理装置，其特征在于，所述接收 器，还用于接收终端的控制芯片发送的第一控制信号，所述第一控制信号包括所述第二图像采集装置和所述第三图像采集装置的同步寄存器地址信息；
    所述发送器，还用于根据所述同步寄存器地址信息，向所述第二图像采集装置和所述第三图像采集装置的同步寄存器发送所述帧同步指令。
  17. 根据权利要求16所述的图像信号处理装置，其特征在于，
    所述接收器，具体用于接收所述第一图像采集装置在接收到所述控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收所述第二图像采集装置和所述第三图像采集装置在接收到控制芯片发送的所述第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对所述第一帧图像数据和所述第二帧图像数据和所述第三帧图像数据进行图像合成处理；
    所述第二控制信号与所述第三控制信号分别包括发送所述帧图像数据的起始时间信息，所述起始时间信息用于使所述第一图像采集装置以及所述第二图像采集装置同步发送所述帧图像数据。
  18. 一种图像信号处理装置，其特征在于，所述图像信号处理单元包括：
    接收器，用于接收终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的帧图像数据，所述帧图像数据包括帧头信息；
    发送器，用于根据所述帧头信息，向所述终端的第三图像采集装置发送第二帧同步指令，以保持所述第三图像采集装置与所述第一图像采集装置和所述第二图像采集装置同步输出帧图像数据；
    所述接收器，还用于接收所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送的帧图像数据；
    处理器，用于处理接收到的所述帧图像数据，生成可显示的图像。
  19. 根据权利要求18所述的图像信号处理装置，其特征在于，
    所述接收器，具体用于接收所述终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据；或，
    接收所述终端的第一图像采集装置在向第二图像采集装置发送第一帧同步指令后发送的第一帧图像数据和所述第二图像采集装置在接收到所述第一图像采集装置发送的第一帧同步指令后发送的第二帧图像数据。
  20. 根据权利要求18所述的图像信号处理单元，其特征在于，
    所述接收器，还用于接收所述终端的控制芯片发送的第一控制信号，所述第一控制信号包括所述第三图像采集装置的同步寄存器地址信息；
    所述发送器，具体用于根据所述同步寄存器地址信息，向所述第三图像采集装置的同步寄存器发送所述第一帧同步指令。
  21. 根据权利要求18所述的图像信号处理装置，其特征在于，
    所述接收器，还具体用于接收所述第一图像采集装置在接收到所述控制芯片发送的第二控制信号后发送的第一帧图像数据，以及接收所述第二图像采集装置和所述第三图像采集装置在接收到所述控制芯片发送的所述第三控制信号后发送的第二帧图像数据和第三帧图像数据，以用于对所述第一帧图像数据、第二帧图像数据和所述第三帧图像数据进行图像合成处理；
    所述第二控制信号与所述第三控制信号分别包括发送所述帧图像数据的起始时间信息，所述起始时间信息用于使所述第一图像采集装置、所述第二图像采集装置和所述第三图像采集装置同步发送所述帧图像数据。
  22. 一种终端，其特征在于，所述终端包括权利要求15-17或权利要求18-21所述的图像信号处理装置。
CN201680057939.9A 2016-10-31 2016-10-31 图像数据的帧同步方法、图像信号处理单元、装置及终端 Active CN108432228B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/104086 WO2018076354A1 (zh) 2016-10-31 2016-10-31 图像数据的帧同步方法、图像信号处理装置及终端

Publications (2)

Publication Number Publication Date
CN108432228A true CN108432228A (zh) 2018-08-21
CN108432228B CN108432228B (zh) 2020-11-17

Family

ID=62024215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057939.9A Active CN108432228B (zh) 2016-10-31 2016-10-31 图像数据的帧同步方法、图像信号处理单元、装置及终端

Country Status (4)

Country Link
US (1) US10841460B2 (zh)
EP (1) EP3528490B1 (zh)
CN (1) CN108432228B (zh)
WO (1) WO2018076354A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147690A (zh) * 2019-12-24 2020-05-12 浙江未来技术研究院(嘉兴) 一种多图像传感器摄像机的帧同步装置及方法
CN111479078A (zh) * 2019-01-23 2020-07-31 爱思开海力士有限公司 图像传感器芯片、电子装置及操作图像传感器芯片的方法
CN112995524A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN113519153A (zh) * 2020-02-12 2021-10-19 深圳元戎启行科技有限公司 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7173514B2 (ja) * 2018-01-12 2022-11-16 ザインエレクトロニクス株式会社 映像信号受信装置、映像信号受信モジュールおよび映像信号送受信システム
CN111182226B (zh) * 2019-07-16 2021-07-23 北京欧比邻科技有限公司 一种多相机同步工作的方法、装置、介质和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937760A (zh) * 2005-12-12 2007-03-28 康佳集团股份有限公司 数字电视信号的加密及调制方法
CN201199315Y (zh) * 2008-05-21 2009-02-25 北京微视新纪元科技有限公司 多目相机
CN102333225A (zh) * 2010-07-14 2012-01-25 北京同步科技有限公司 用于传输和录制四路标清视频信号的系统及方法
CN105025309A (zh) * 2009-06-16 2015-11-04 Lg电子株式会社 广播发射机及其3d视频数据处理方法
CN105898283A (zh) * 2016-06-21 2016-08-24 北京奇虎科技有限公司 同步拍摄电路、装置和方法
CN105917645A (zh) * 2014-10-28 2016-08-31 巴科公司 同步式媒体服务器和投影仪
CN105979156A (zh) * 2016-06-30 2016-09-28 维沃移动通信有限公司 一种全景拍照的方法及移动终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298964B2 (en) 2001-02-26 2007-11-20 Matsushita Electric Industrial Co., Ltd. Recording system, video camera device and video image recording method
US20080174662A1 (en) * 2007-01-23 2008-07-24 Won-Gue Choi System and method for digital type wireless monitoring
KR101283324B1 (ko) 2011-08-25 2013-07-09 한밭대학교 산학협력단 스마트모듈을 이용한 실시간 양방향 영상 모니터링 시스템 및 방법
JP5929358B2 (ja) * 2012-03-15 2016-06-01 ソニー株式会社 画像伝送システムおよび画像伝送方法
US9241131B2 (en) 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9560312B2 (en) * 2013-12-11 2017-01-31 Cellco Partnership Time synchronization of video and data inside a mobile device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1937760A (zh) * 2005-12-12 2007-03-28 康佳集团股份有限公司 数字电视信号的加密及调制方法
CN201199315Y (zh) * 2008-05-21 2009-02-25 北京微视新纪元科技有限公司 多目相机
CN105025309A (zh) * 2009-06-16 2015-11-04 Lg电子株式会社 广播发射机及其3d视频数据处理方法
CN102333225A (zh) * 2010-07-14 2012-01-25 北京同步科技有限公司 用于传输和录制四路标清视频信号的系统及方法
CN105917645A (zh) * 2014-10-28 2016-08-31 巴科公司 同步式媒体服务器和投影仪
CN105898283A (zh) * 2016-06-21 2016-08-24 北京奇虎科技有限公司 同步拍摄电路、装置和方法
CN105979156A (zh) * 2016-06-30 2016-09-28 维沃移动通信有限公司 一种全景拍照的方法及移动终端

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479078A (zh) * 2019-01-23 2020-07-31 爱思开海力士有限公司 图像传感器芯片、电子装置及操作图像传感器芯片的方法
CN111479078B (zh) * 2019-01-23 2022-10-11 爱思开海力士有限公司 图像传感器芯片、电子装置及操作图像传感器芯片的方法
CN112995524A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 高精采集车及其照片曝光信息生成系统、方法和同步装置
CN111147690A (zh) * 2019-12-24 2020-05-12 浙江未来技术研究院(嘉兴) 一种多图像传感器摄像机的帧同步装置及方法
CN113519153A (zh) * 2020-02-12 2021-10-19 深圳元戎启行科技有限公司 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统

Also Published As

Publication number Publication date
WO2018076354A1 (zh) 2018-05-03
US20200068097A1 (en) 2020-02-27
EP3528490A4 (en) 2019-10-16
EP3528490B1 (en) 2021-07-07
US10841460B2 (en) 2020-11-17
EP3528490A1 (en) 2019-08-21
CN108432228B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN108432228A (zh) 图像数据的帧同步方法、图像信号处理装置及终端
JP7185434B2 (ja) 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法
US11024082B2 (en) Pass-through display of captured imagery
JP5592203B2 (ja) レコーダ装置を効果的に利用するためのシステム及び方法
TWI545388B (zh) 產生全景圖像的系統和方法
WO2019000676A1 (zh) 一种利用双摄像头实现三维图像的方法及装置
US8525913B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
US9225907B2 (en) Image capturing apparatus and method for controlling the same
CN103985157A (zh) 一种结构光三维扫描方法及系统
US10911687B2 (en) Electronic device and method for controlling display of images
US11120272B2 (en) Imaging apparatus, electronic device, and method of transmitting image data
CN112449139A (zh) 一种视频处理和视频信号模拟仿真输出系统及方法
TW201517613A (zh) 感測裝置及其之信號處理方法
CN107544124B (zh) 摄像设备及其控制方法和存储介质
CN109309784B (zh) 移动终端
US20140313381A1 (en) Image pickup apparatus
CN113038004B (zh) 一种多窗口预览图像方法、装置、计算机设备和存储介质
CN112887653B (zh) 一种信息处理方法和信息处理装置
JP2009177331A (ja) 画像信号転送システム、方法及び該転送システムを具備する撮像装置
CN104469149A (zh) 电子设备、座子和同步拍照方法
CN102497514A (zh) 一种三通道视频转发设备和转发方法
CN109819191B (zh) 一种mipi c-phy信号发生器及其信号发生方法
JP2012186518A (ja) 撮像装置及び画像表示システム
JP2004282784A (ja) 映像処理装置及びその方法
CN108307092A (zh) 一种vr摄像头及其使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1253397

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant