CN106165394B - 摄像装置的控制装置 - Google Patents

摄像装置的控制装置 Download PDF

Info

Publication number
CN106165394B
CN106165394B CN201580018750.4A CN201580018750A CN106165394B CN 106165394 B CN106165394 B CN 106165394B CN 201580018750 A CN201580018750 A CN 201580018750A CN 106165394 B CN106165394 B CN 106165394B
Authority
CN
China
Prior art keywords
frame
image data
imaging sensor
time difference
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580018750.4A
Other languages
English (en)
Other versions
CN106165394A (zh
Inventor
木村健士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN106165394A publication Critical patent/CN106165394A/zh
Application granted granted Critical
Publication of CN106165394B publication Critical patent/CN106165394B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0736—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations using digital storage buffer techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Abstract

提供如下一种摄像装置的控制装置：在不使用帧缓冲器、并将图像传感器的动作用的时钟信号的频率设为最佳的状态下，能够使图像传感器与来自显示装置等外部设备的帧周期同步。分别接收来自显示装置等外部设备(2)的触发信号和来自图像传感器(11)的图像数据，图像传感器(11)按每帧运算以触发信号为基准的、到图像数据的输出开始时间点为止的时间差信息，基于该时间差信息以使该时间差收敛在固定的范围内的方式设定图像传感器(11)的帧周期，由此虽然每帧多少产生偏差，但也能够相对于触发信号在固定的时间差内向外部设备(2)提供图像数据。

Description

摄像装置的控制装置
技术领域
本发明涉及一种具备CMOS传感器等输出图像数据的图像传感器的摄像装置的控制装置，特别是涉及一种与来自显示装置、记录装置等外部设备的触发信号同步地拍摄运动图像的摄像装置的控制装置。
背景技术
在显示装置中将来自使用了CMOS传感器等图像传感器的摄像装置的图像数据显示为运动图像的情况下，期望与在显示装置进行的图像的帧显示的定时同步地获取来自图像传感器的图像数据。已知如下一种方法：在图像传感器与显示装置的帧周期不同的情况下，在显示装置的内部或者在显示装置与图像传感器之间配置存储器(帧缓冲器)和存储器控制电路，将来自图像传感器的帧数据(一帧的图像数据)暂时存储到存储器内，在显示装置的帧显示的定时输出帧数据，也就是说以与显示装置的显示动作同步的方式输出帧数据(例如参照专利文献1)。
然而，在该方法中存在以下问题：需要将一帧至几帧的图像数据存储到存储器中，不仅需要大容量的存储器而使装置结构大型化，而且需要复杂的电路而增加成本。另外，还存在以下问题：由于对存储器(帧缓冲器)进行写入、读出动作要耗费时间而导致显示延迟的发生。
并且，在利用多个图像传感器获取相同图像的情况下，期望使多个图像传感器的图像获取定时(帧定时)同步，但利用上述方法难以实现。
在此，在图像传感器中存在如下一种图像传感器：除了具备基于图像传感器内部的固定定时的内部帧同步动作(VIDEO模式)以外，还具备被称为外部触发模式的模式，在该外部触发模式下，能够进行基于外部触发的同步动作，因此不需要上述那样的帧存储器。
然而，在一部分图像传感器中存在不具备外部触发模式的图像传感器、或虽然具备外部触发模式但该模式的功能被限制(例如由于无法实现使曝光和前一帧的图像输出同时进行的重叠而不能高速化等)的图像传感器。这种图像传感器即使性能良好也必须在内部帧同步动作(VIDEO模式)时使用，且需要使用帧缓冲器和存储器控制来重新取得同步。
另外，作为不使用帧缓冲器的方法，以往已知如下一种方法：根据外部设备侧的帧同步信号的周期和一帧所需的时钟数来决定并生成图像传感器的动作用时钟的频率，也就是将图像传感器的动作用时钟设为与外部设备的帧周期相应的频率(例如参照专利文献2)。但是，根据图像传感器的不同，存在一种为了使性能良好而求出推荐频率的时钟输入的设备，对于这种图像传感器不能应用这种方法。
专利文献1：日本特开平11-296155号公报
专利文献2：日本特开2001-228816号公报
发明内容
发明要解决的问题
本发明的目的在于解决上述以往的各技术所存在的各种问题，并提供如下一种摄像装置的控制装置：即使是不具有外部触发模式或实质上不能应用外部触发模式的图像传感器，尽管不使用帧缓冲器及其控制电路等复杂的电路，并将图像传感器的动作用时钟的频率设为该图像传感器的推荐频率，也能够使图像传感器与来自外部设备的帧周期同步。
用于解决问题的方案
为了解决上述问题，本发明的摄像装置的控制装置是一种具备输出图像数据的图像传感器的摄像装置的控制装置，该摄像装置的控制装置的特征在于，具有：外部触发信号接收单元，其接收来自显示装置、记录装置等应输出图像数据的外部设备的触发信号；图像数据接收单元，其接收来自所述图像传感器的图像数据；时间差运算单元，其基于所述外部触发接收单元和所述图像数据接收单元各自的接收结果，按每帧运算以所述触发信号为基准的、到所述图像传感器开始输出图像数据的时间点为止的时间差信息；以及帧周期设定单元，其设定所述图像传感器的帧周期，其中，该帧周期设定单元构成为基于由所述时间差运算单元运算出的时间差信息，以使该时间差收敛在固定的范围内的方式设定所述图像传感器的帧周期。
在此，在本发明中，能够采用以下结构：图像传感器的帧周期是能够仅以规定的时间为单位进行设定的，所述时间差运算单元包括：触发周期测量单元，其每当接收到所述触发信号时都测量从紧挨之前的触发信号接收时间点起的时间；帧周期测量单元，其每当开始从所述图像传感器接收图像数据时都测量从紧挨之前的图像数据接收开始时间点起的时间；周期差运算单元，其运算所述触发周期与帧周期之间的周期差；以及周期差累计单元，其对由该周期差运算单元按每帧运算出的周期差进行累计，其中，将由该周期差运算单元运算出的周期差的累计值用作时间差信息，并且所述帧周期设定单元将所述周期差的累计值与阈值进行比较，并将所述比较的结果用作所述图像传感器的帧周期的设定变更的一个条件。
另外，在本发明中，还能够采用以下结构：还具有将来自所述图像传感器的图像数据暂时累积的缓冲器、向所述缓冲器写入所述图像数据的写入控制单元以及从所述缓冲器读出所述图像数据的读出控制单元，其中，所述写入控制单元在所述图像传感器输出图像数据的定时向所述缓冲器进行写入，并且所述读出控制单元在与以所述触发信号为基准的到开始输出所述图像数据为止的时间差最大的状态下的所述写入的定时相比靠后的定时，从所述缓冲器读出图像数据。
本发明想要通过以下方式来解决问题：接收来自外部设备的触发信号和来自图像传感器的图像数据，按每帧监视以触发信号为基准的、到从图像传感器开始输出图像数据的定时为止的时间差，自动地以使该时间差收敛在固定的范围内的方式设定图像传感器的帧周期。
即，不将图像传感器的帧周期固定为最初设定的周期，按每帧监视图像数据输出开始时间点相对于来自外部设备的触发信号的时间差，根据需要变更图像传感器的帧周期的设定，以使该时间差收敛在固定范围内。由此，虽然相对于触发信号多少存在偏差，但在固定的时间范围内开始输出图像数据，即使是不具备外部触发模式的图像传感器，也能够实质上实现外部触发同步。
在此，关于图像传感器的帧周期的设定，通常，大多情况下能够以规定时间为单位、例如以相当于一行周期(传输图像的横向一行的图像数据的周期)的时间为单位进行该设定，无法使外部触发信号的周期与图像传感器的帧周期完全一致。因此，作为帧周期设定动作的具体的方法，能够采用以下方法：按每帧运算并求出触发周期与帧周期之间的周期差，再累计该周期差，利用该累计值相当于触发信号与图像数据输出开始时间点的时间差这一点来将该累计值与预先设定的阈值进行比较，并将该比较结果设为周期设定变更的一个条件。
即，只能以相当于一行周期的时间为单位设定图像传感器的帧周期，因此帧周期与触发周期无论如何也会产生些许的长短不同，每帧的触发信号与图像数据输出开始点的时间差逐渐偏离。利用两个周期的周期差的累计值来掌握该偏离，在该累计值超过某个固定限度的时间点执行帧周期的设定变更，并反复进行使该偏离复位的动作。由此，能够将触发信号与图像数据输出开始时间点的时间差收敛在相当于几行周期的时间程度的范围内。
另外，如上所述，根据本发明，虽然从触发信号起到从图像传感器开始输出图像数据为止的时间差多少存在偏差，但时间差能够收敛在固定的范围内，但在不允许出现图像数据的输出定时相对于触发信号的偏差的情况下，采用以下结构即可。
即，追加累积图像数据的缓冲器、写入控制单元以及读出控制单元，在图像传感器的定时向缓冲器写入图像数据，在与图像数据输出开始定时相对于所述触发信号最晚的定时相比更晚的、相对于触发信号具有固定的时间差的定时，从缓冲器读出图像数据。由此，能够在相对于触发信号稳定的定时输出图像数据。此外，该缓冲器如果具有能够将从触发信号起到图像数据输出开始时间点为止的最长时间、在所述例子中为相当于几行的数据进行存储的容量就足够了。
发明的效果
根据本发明，按每帧监视从来自外部设备的触发信号起到从图像传感器开始输出图像数据为止的时间差，逐次进行图像传感器的帧周期的设定变更，以使该时间差收敛在固定的范围内，因此虽然从来自外部设备的触发信号起到开始输出图像数据为止的时间差多少存在偏差，但能够输出实质上与来自外部设备的触发信号同步的图像数据。即，在使用了不具有外部触发模式的图像传感器的情况下，不设置帧缓冲器并且不特别地变更图像传感器的动作用时钟的频率就能够实现外部触发同步。
另外，在不允许出现图像数据的输出定时相对于触发信号的偏差的情况下，设置能够累积几行的图像数据的存储器、写入控制单元以及读出控制单元，在图像传感器的定时写入图像数据，并且在与图像数据的输出开始相对于触发信号的时间差为最大的状态的定时相比更晚的定时读出图像数据并将该图像数据发送到外部设备，由此能够在相对于触发信号稳定的定时输出图像数据。
附图说明
图1是表示将本发明的摄像装置连接于外部设备的状态的结构图。
图2是表示图1中的传感器控制部的结构例的框图。
图3是表示图2中的触发同步控制部的结构例的框图。
图4是表示触发同步控制部的动作的时序图。
图5是表示接收到中断信号的情况下的CPU的动作的流程图。
图6是表示本发明的实施方式的同步控制的动作例的说明图。
图7是表示图2中的图像输入部的结构例的框图。
图8是表示图像输入部的动作的时序图。
具体实施方式
下面，参照附图说明本发明的实施方式。
图1是表示本发明的实施方式的摄像装置的结构的框图，以连接于显示装置、录像装置等外部设备的状态示出。
摄像装置1以CMOS传感器等图像传感器11、光学透镜12、传感器控制部13以及晶体振荡器14为主体来构成，其中，该光学透镜12用于使被摄体像在该图像传感器11的受光面上成像，该传感器控制部13用于控制图像传感器11，该晶体振荡器14向该传感器控制部13提供基准时钟。
外部设备2是显示装置或者录像装置(记录装置)，该外部设备2与摄像装置1之间通过摄像机链路(Camera Link)等图像数据传输用的线缆进行连接。另外，为了使图像传感器与显示定时或记录定时同步，从外部设备2向传感器控制部13提供表示各图像输出(帧输出)的开始定时的触发信号。
图像传感器11除了包括二维的摄像元件以外还包括A-D变换器，将在摄像元件的受光面上成像后的被摄体像信息作为数字数据来发送。在图像传感器11内，以行为单位来控制累积容量的复位、电荷的累积、采样以及A-D变换，另外，以像素为单位来控制各行的图像数据的输出。关于这些控制，以从后述的传感器控制部13提供的时钟为基准在图像传感器11内生成水平同步信号、垂直同步信号等定时信号，并基于该定时信号进行动作。此外，要输出的图像数据伴随由垂直同步信号、水平同步信号构成的定时信号被发送到传感器控制部13。
如上所述那样从传感器控制部13向图像传感器11提供时钟。向图像传感器11提供的时钟和使传感器控制部13的内部电路进行动作的时钟由连接于传感器控制部13的晶体振荡器14生成。此外，在该实施方式中，虽然从传感器控制部13向图像传感器11提供时钟，但也可以从晶体振荡器14直接向图像传感器11提供时钟。
图像传感器11与传感器控制部13之间利用通信信号相连接，该通信信号用于进行图像传感器11的定时等的设定。该定时设定包括帧周期的设定，图像传感器11在已设定的帧周期的定时进行各帧的图像数据的输出。
如以下详细叙述的那样，在传感器控制部13中，按每帧监视以从外部设备2输入的触发信号的定时为基准的、到从图像传感器11开始输出图像数据的定时为止的时间差，以使时间差处于固定的范围内的方式设定图像传感器11的帧周期。通过该控制，虽然从触发信号起到开始输出图像数据为止的时间差对于每帧来说多少存在偏差，但该时间差收敛在固定的范围内。即，实质上能够进行支持外部触发同步的控制。在该实施方式中，能够通过进一步采取以下对策来在相对于触发信号稳定的定时向外部设备2输出图像数据：在图像传感器11的定时将图像数据写入存储器，并且在与在相对于触发信号最晚的定时开始输出图像的帧的定时相比更晚的定时进行存储器的读出。
图2用框图表示传感器控制部13的结构例。传感器控制部13由触发同步控制部21、图像输入部22、图像输出部23、通信控制部24以及CPU 25构成。
图像输入部22接收来自图像传感器11的图像数据。该图像输入部22中搭载有能够累积几行的图像数据的存储器，在来自图像传感器11的定时累积被输入的图像数据，在由该图像输入部22生成的定时读出并输出以触发信号为基准累积的图像数据。此外，后文叙述该图像输入部22的具体的结构例。
从图像输入部22输出的图像数据被输入到图像输出部23。图像输出部23由用于向图1的外部设备2输出图像数据的接口构成，将所输入的图像数据变换为例如摄像机链路信号形式或信号水平来进行输出。此外，在图2的例子中，图像输入部22与图像输出部23直接连接，但也可以在图像输入部22与图像输出部23之间设置图像处理部，来进行γ校正、缺失校正等图像处理。
通信控制部24与CPU 25连接，根据从CPU 25向图像传感器11发出的访问请求来对图像传感器11的设定寄存器进行访问。具体地说，进行与从CPU 25向图像传感器11发送来的寄存器地址、写入或读取请求分别对应的动作。在写入请求时接收写入数据，生成与图像传感器11的访问方式(在该例中为SPI总线)相应的信号并输出该信号。此外，在读取请求时接收从图像传感器11发送来的读取数据，并向CPU 25输出读取数据。
触发同步控制部21被输入来自外部设备2的触发信号，另外，被输入与图像数据一起从图像传感器11发送来的定时信号、即有效区间信号。另外，该触发同步控制部21与CPU25利用总线进行连接，使得CPU 25能够读取由触发同步控制部21运算出的结果。并且，触发同步控制部21能够向CPU 25输出中断信号，来向CPU 25通知运算结束的定时。而且，如以下所示那样，触发同步控制部21监视从外部设备2输入的触发信号和图像传感器11的帧数据的输出开始定时，并按每帧运算触发信号与图像数据输出开始定时之间的时间差(时钟数)。
图3示出表示触发同步控制部21的结构例的框图，图4示出表示该触发同步控制部21的动作的时序图。
来自外部设备2的触发信号(图4的(b))被输入到触发周期计数部31。在触发周期计数部31中检测触发信号的上升沿，对从上次的上升沿起的周期(时钟数)进行计数，并将其结果作为触发周期而在图4的(c)所示的时间区域中输出。具体地说，进行触发信号的上升沿定时的检测，在检测到该上升沿定时的情况下保持当前的计数值，并在输出后清除该计数值。另外，在未检测到该上升沿定时的情况下，只要计数器没有变为最大值(在该例中计数器为24bit，因此最大值为Oxffffff)，就按时钟的上升沿来进行累加。此外，该例中的触发信号是高激活信号。另外，触发信号由外部设备2生成，因此该触发信号与构成该触发同步控制部21的FPGA的内部时钟不同步。因此，关于触发信号，使用通过内部时钟同步化电路(省略图示)进行相对稳定的对策而与内部时钟同步后的信号。
从图像传感器11输出的有效区间信号(图4的(d))被输入到传感器周期计数部32。在传感器周期计数部32中检测有效区间信号的上升沿，对从上次的上升沿起的周期(时钟数)进行计数，并将其结果作为传感器周期而在图4的(g)所示的时间区域中输出。具体地说，进行有效区间信号的上升沿检测，在检测到该有效区间信号的上升沿的情况下，保持当前的计数值，并在输出后清除该计数值。另外，在未检测到该有效区间信号的上升沿的情况下，只要计数器没有变为最大值(在该例中计数器为24bit，因此最大值为Oxffffff)，就按时钟的上升沿来进行累加。另外，输出仅在检测到有效区间信号的上升沿时激活的输出开始信号(图4的(f))。此外，该例中的有效区间信号是高激活信号，上升沿示出了图像传感器11的输出开始定时。另外，有效区间信号由图像传感器11生成，因此有效区间信号与图像传感器11的时钟同步，与构成触发同步控制部21的FPGA的内部时钟不同步。因此，关于有效区间信号，使用通过内部时钟同步化电路(省略图示)进行相对稳定的对策而与内部时钟同步后的信号。
如以上那样测量出的触发周期和传感器周期被输入到周期差运算部33。在周期差运算部33中从触发周期减去传感器周期，并将得到的值作为最近帧的周期差而在图4的(h)所示的时间区域中输出。也存在该周期差为负的情况。
最近帧的周期差被输入到周期差累计运算部34，仅在激活了上述输出开始信号(图4的(f))时，对内部保持的周期差的累计值加上最近帧的周期差，并将得到的值作为触发周期与传感器周期的周期差的累计值而在图4的(i)所示的时间区域内输出到CPU 25。也存在该周期差的累计值为负的情况。而且，该周期差的累计值成为表示最近帧的触发信号的定时与传感器输出开始的定时的时间差的信息。
中断信号生成部35向CPU 25通知周期差累计值的运算结束，因此在输出开始信号激活的定时激活中断信号(图4的(j))，将该中断信号通知给CPU 25。
CPU 25在接收到来自触发同步控制部21的中断信号的情况下，读出从触发同步控制部21输出的周期差的累计值，并将该周期差的累计值与预先设定的值进行比较来决定图像传感器11的帧周期的设定值，以更新图像传感器11的帧周期的设定值。图5表示接收到中断信号的情况下的CPU 25的动作流程。在此，设为能够以相当于一行周期的时间为单位来设定该例中的图像传感器11的帧周期。
在CPU 25中预先设定了周期差累计值的阈值Th、图像传感器11的帧周期设定最大值Tmax以及帧周期设定最小值Tmin。另外，对当前的帧周期设定值Tnow设定了帧周期的初始值。另外，对图像传感器11的帧周期的寄存器也设定了相同的值。阈值Th以时钟为单位且为正值，帧周期设定最大值Tmax、帧周期设定最小值Tmin以及当前的帧周期设定值Tnow以图像传感器11的一行周期为单位且均为正值。在后述的初始动作时设定这些值。
此外，如图5所示，当CPU 25接收到中断信号时，CPU 25读取从触发同步控制部21输出的帧周期差累计值Ttotal。而且，将帧周期差累计值Ttotal与阈值Th进行比较，如果帧周期差累计值Ttotal为阈值Th以上，则将图像传感器11的当前的帧周期设定值Tnow与帧周期设定最大值Tmax进行比较。在当前的帧周期设定值Tnow不超过最大值Tmax的情况下，使帧周期设定值Tnow增加一行(能够设定的一个单位)的时间。在帧周期差累计值Ttotal小于阈值Th的情况下、或当前的帧周期设定值Tnow为最大值Tmax以上的情况下，接着将帧周期差累计值Ttotal与对阈值Th乘以-1而得到的值进行比较，如果帧周期差累计值Ttotal为阈值-Th以下，则将帧周期设定值Tnow与帧周期设定最小值Tmin进行比较。在帧周期设定值Tnow大于最小值Tmin的情况下，使帧周期设定值Tnow减少一行的时间。在帧周期差累计值Ttotal大于对阈值Th乘以-1而得到的值的情况下、或者在帧周期设定值Tnow为最小值Tmin以下的情况下，直接使用帧周期设定值Tnow的值。之后，通过通信控制部24将如上述那样决定的帧周期设定值Tnow写入图像传感器11的帧周期的寄存器。在向寄存器进行的写入完成之后，等待再次发生中断。
每当输入各帧的开头的图像数据时产生中断信号，因此按每帧进行图像传感器11的帧周期的设定。
图6表示实际的同步控制的设定和动作的一例。以下，一边参照图6的表一边进行说明。在该例中，外部设备2的帧频是60fps，因此每隔16.666ms激活触发信号。根据传感器的样式将图像传感器11的一行的周期固定为15.72μs，构成触发同步控制部21的FPGA的时钟频率为100MHz。因此，如果变换为FPGA的时钟数，则图像传感器11的一行周期为1572时钟，触发周期为1,666,667时钟。此外，实际上触发信号没有与FPGA的时钟同步，因此根据帧的不同，值有时靠前有时靠后，为了便于说明，将触发的周期固定为1,666,667时钟(参照“触发周期”栏)。
作为同步控制的初始设定动作，将触发信号的周期除以图像传感器11的一行的周期，来设为图像传感器11的帧周期设定值Tnow的初始值。具体地说，将1,666,667时钟÷1572时钟＝1060行(小数点以后舍去)存储为图像传感器11的初始值(帧设定值Tnow)，并且写入图像传感器11的帧周期的寄存器。此外，在更新了帧周期设定的寄存器内容的情况下，在图像传感器11中，在更新后的下一帧时反映新的帧周期的设定值。另外，将对上述帧周期设定值Tnow的初始值加1得到的值(1060+1＝1061)代入帧周期设定最大值Tmax，将帧周期设定值Tnow直接代入帧周期设定最小值Tmin。另外，代入将图像传感器11的一行的周期除以8而得到的值(1572÷8＝196)来作为阈值Th。
然后，在进行上述设定之后开始进行外部触发动作。在最初的第一帧，图像传感器11的帧周期设定值Tnow的初始值是1060行，因此传感器周期是1060行×1572时钟＝1,666,320时钟(参照“帧编号1：传感器周期”栏)。因此，触发周期与传感器周期的差成为1,666,667时钟-1,666,320时钟＝347时钟(参照“帧编号1：周期差”栏)。由于是第一帧，因此帧周期差累计值Ttotal仍为347时钟(参照“帧编号1：累计周期差”栏)。该帧周期差累计值Ttotal大于阈值Th，另外，帧周期设定值Tnow小于最大值Tmax，因此使图像传感器11的帧周期设定值Tnow增加1来更新寄存器的内容。
在第二帧，仅在下一帧的动作时反映在第一帧更新后的帧周期设定值Tnow，因此尚未反映更新结果，图像传感器11的帧周期不变，周期差与第一帧相同。因而，帧周期差累计值Ttotal为693时钟(参照“帧编号2：累计周期差”栏)，虽然大于阈值Th，但帧周期设定值Tnow不小于最大值Tmax，因此帧周期设定值Tnow保持不变。
在第三帧，反映在第一帧设定的帧周期设定值Tnow，因此为1061行×1572时钟＝1667,892时钟(参照“帧编号3：传感器周期”栏)，周期差为1,666,667时钟-1,667,892时钟＝-1,225时钟(参照“帧编号3：周期差”栏)。周期差累计值Ttotal为-532时钟(参照“帧编号3：累计周期差”栏)，小于对阈值Th乘以-1而得到的值，另外，该周期差累计值Ttotal大于帧周期设定最小值Tmin，因此使帧周期设定值Tnow减少1来进行寄存器设定。
在第四帧以后也同样地进行以上动作。进行控制以使得如图6的所有25帧的结果所示那样帧周期差累计值Ttotal处于固定的范围内。该帧周期差累计值Ttotal为表示以触发信号为基准的到图像传感器11的帧输出开始定时为止的时间差的信息，帧周期差累计值Ttotal为最大值时的帧表示图像传感器11的输出定时早时，该帧周期差累计值Ttotal为最小值时的帧表示图像传感器11的输出定时晚时。因此，从周期差累计值的最大值减去最小值而得到的值表示以触发信号为基准的到图像传感器11的帧输出定时为止的时间差的偏差的最大值。在该例中，图像传感器11的一行的周期是1572时钟，因此能够确认偏差收敛在三行以内。
通过上述触发同步控制部21、CPU 25以及通信控制部24的动作，能够进行外部触发同步，该外部触发同步是指，在相对于来自图像显示装置或者图像录像装置等外部设备2的触发信号的、某一程度的时间范围内开始输出图像传感器11的图像数据。而且，在该实施方式中，通过在图像输入部22内进一步设置存储器，能够在相对于来自外部设备2的触发信号稳定的定时输出来自图像传感器11的图像数据。
图7用框图表示图像输入部22的结构例。在该例中，使用双端口的SRAM 41作为缓冲器，在该SRAM 41的写入专用端口处连接有写入控制部42，向该写入控制部42输入来自图像传感器11的图像数据和定时信号，并且在SRAM 41的读取专用端口处经由读出控制部43连接有图像输出部23。
在写入控制部42中，与所输入的定时信号相应地生成SRAM 41的写入地址、写入控制信号以及写入数据。具体地说，在来自图像传感器11的有效区间信号激活时，将图像数据作为SRAM写入数据输出，来激活SRAM 41的写入控制信号，每当进行写入时都增加SRAM 41的写入地址。这样，在图像传感器11的定时向SRAM 41写入图像数据。
从图像显示装置或图像录像装置等外部设备2输出的触发信号被输入到定时信号生成部44。在该定时信号生成部44中，以触发信号为基准来生成与外部设备2的样式相匹配的定时信号。所生成的定时信号被输入到读出控制部43，在该读出控制部43中与所输入的定时信号相应地生成SRAM 41的读取地址、读取信号。具体地说，在定时信号激活时，激活SRAM 41的读取控制信号，并接收读取数据，每当进行读取请求时都增加SRAM 41的读取地址。这样，SRAM 41中保存的数据基于来自外部设备2的触发信号被读出，并且与定时信号一起被输出。
图8表示图像输入部22的动作的时序图。以来自外部设备2的触发信号为基准从图像传感器11输入各帧的图像数据。由于外部触发同步动作而如上所述那样在从触发信号起到开始输出帧的图像数据为止的时间差中存在偏差，在图8的(b)、(c)中表示相对于图8的(a)的触发信号被最早输出的帧的信号，另外，在图8的(e)、(f)中表示相对于图8的(a)的触发信号被最晚输出的帧的信号，以下对这些情况下的信号处理进行说明。
如上所述，与各帧的图像传感器11的定时相应地进行向SRAM 41的写入。即，在被最早输出的帧的情况下在图8的(d)所示的定时进行写入，在被最晚输出的帧的情况下在图8的(g)的定时进行写入。如图8的(h)所示，定时信号生成部44在与图像传感器11以触发信号为基准最晚输出的帧的图像输出开始定时相比更晚的定时，开始生成外部设备2用的定时信号。基于该信号而读取并输出SRAM 41中保存的图像数据。始终在触发信号之后的固定的定时开始生成该定时信号。因此，能够在相对于触发信号稳定的定时向外部设备2发送图像数据。此外，关于双端口SRAM 41的容量，需要与从触发信号起到图像传感器11开始输出为止的时间差的偏差(从被最早输出的帧的输出开始到被最晚输出的帧的输出开始为止的时间)相当的数据量以上的累积量。在图6示出的例子中，将偏差抑制为三行以下，因此在该例中只要具有能够累积3～4行数据的容量就够了。
根据以上的本发明的实施方式，监视以来自图像显示装置或图像录像装置等外部设备2的触发信号为基准的、到从图像传感器11开始输出图像数据的定时为止的时间差，以使时间差处于固定的范围内的方式设定图像传感器11的帧周期，由此虽然从触发信号起到开始输出图像数据为止的时间差多少存在偏差，但时间差能够收敛在固定的范围内，能够进行支持外部触发同步的控制。
还设置有暂时保存图像数据的存储器(SRAM 41)、该存储器的写入控制部42及读出控制部43的电路，在图像传感器11的定时向存储器写入图像数据，在与相对于触发信号最晚地开始输出图像的帧的定时相比更晚的固定的定时进行存储器的读出，由此能够在相对于触发信号稳定的定时输出图像数据。
此外，在以上的实施方式中，安装CPU 25并利用程序来实现触发同步控制的一部分动作，但也可以利用进行同样的运算的硬件来实现该部分动作。
另外，在以上的例子中，监视图像数据的定时信号并运算图像传感器的图像输出的周期，但也能够通过将图像传感器11的已知的一行的周期与帧周期设定值相乘来运算出图像传感器的图像输出的周期。
另外，根据各个周期差的累计值来运算以触发信号为基准的、到从图像传感器11开始输出图像数据的定时为止的时间差，但也可以按每帧测量从触发信号起到开始输出图像数据为止的时间。
附图标记说明
1：摄像装置；2：外部设备(显示装置/录像装置)；11：图像传感器；12：光学透镜；13：传感器控制部；14：晶体振荡器；21：触发同步控制部；22：图像输入部；23：图像输出部；24：通信控制部；25：CPU；31：触发周期计数部；32：传感器周期计数部；33：周期差运算部；34：周期差累计运算部；35：中断信号生成部；41：SRAM；42：写入控制部；43：读出控制部；44：定时信号生成部。

Claims (3)

1.一种摄像装置的控制装置，该摄像装置具备输出图像数据的图像传感器，该控制装置的特征在于，具有：
外部触发信号接收单元，其接收来自作为图像数据的输出对象的外部设备的触发信号；
图像数据接收单元，其接收来自所述图像传感器的图像数据；
时间差运算单元，其基于所述外部触发信号接收单元和所述图像数据接收单元各自的接收结果，按每帧运算以所述触发信号为基准的、到所述图像传感器开始输出图像数据的时间点为止的时间差信息；以及
帧周期设定单元，其设定所述图像传感器的帧周期，
其中，所述帧周期设定单元构成为基于由所述时间差运算单元运算出的时间差信息，以使该时间差收敛在固定的范围内的方式设定所述图像传感器的帧周期。
2.根据权利要求1所述的摄像装置的控制装置，其特征在于，
所述图像传感器的帧周期是能够仅以规定的时间为单位进行设定的，
所述时间差运算单元包括：
触发周期测量单元，其每当接收到所述触发信号时都测量从紧挨之前的触发信号接收时间点起的时间即触发周期；
帧周期测量单元，其每当开始从所述图像传感器接收图像数据时都测量从紧挨之前的图像数据接收开始时间点起的时间即帧周期测量值；
周期差运算单元，其运算所述触发周期与所述帧周期测量值之间的周期差；以及
周期差累计单元，其对由该周期差运算单元按每帧运算出的周期差进行累计，
其中，将由该周期差运算单元运算出的周期差的累计值用作时间差信息，并且所述帧周期设定单元将所述周期差的累计值与阈值进行比较，并将所述比较的结果用作所述图像传感器的帧周期的设定变更的一个条件。
3.根据权利要求1或2所述的摄像装置的控制装置，其特征在于，还具有：
缓冲器，其将来自所述图像传感器的图像数据暂时累积；
写入控制单元，其向所述缓冲器写入所述图像数据；以及
读出控制单元，其从所述缓冲器读出所述图像数据，
其中，所述写入控制单元在所述图像传感器输出图像数据的定时向所述缓冲器进行写入，并且所述读出控制单元在与以所述触发信号为基准的到开始输出所述图像数据为止的时间差最大的状态下的所述写入的定时相比靠后的定时，从所述缓冲器读出图像数据。
CN201580018750.4A 2014-04-10 2015-03-02 摄像装置的控制装置 Expired - Fee Related CN106165394B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014080647 2014-04-10
JP2014-080647 2014-04-10
PCT/JP2015/056069 WO2015156057A1 (ja) 2014-04-10 2015-03-02 撮像装置の制御装置

Publications (2)

Publication Number Publication Date
CN106165394A CN106165394A (zh) 2016-11-23
CN106165394B true CN106165394B (zh) 2019-03-01

Family

ID=54287638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580018750.4A Expired - Fee Related CN106165394B (zh) 2014-04-10 2015-03-02 摄像装置的控制装置

Country Status (4)

Country Link
US (1) US10051158B2 (zh)
JP (1) JP6156578B2 (zh)
CN (1) CN106165394B (zh)
WO (1) WO2015156057A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017073045A1 (ja) * 2015-10-28 2018-08-02 京セラ株式会社 撮像装置、撮像システム、対象者監視システム、および撮像装置の制御方法
CN112309311B (zh) * 2019-07-26 2022-03-22 西安诺瓦星云科技股份有限公司 显示控制方法、装置和显示控制卡以及计算机可读介质
WO2021130801A1 (ja) * 2019-12-23 2021-07-01 オリンパス株式会社 通信システムおよび通信方法
WO2021159338A1 (zh) * 2020-02-12 2021-08-19 深圳元戎启行科技有限公司 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统
CN111371524B (zh) * 2020-03-12 2021-08-03 中国科学院长春光学精密机械与物理研究所 基于cameralink协议的时间同步精度检测系统
CN114071022B (zh) 2020-08-07 2023-12-15 北京图森未来科技有限公司 一种图像采集设备的控制方法、装置、设备及存储介质
JP7344188B2 (ja) * 2020-09-18 2023-09-13 株式会社東芝 画像処理装置、及び画像処理システム
CN116915978A (zh) * 2023-08-07 2023-10-20 昆易电子科技(上海)有限公司 触发时间确定方法、数据采集系统、车辆以及工控机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295096A (ja) * 2006-04-21 2007-11-08 Olympus Imaging Corp 同期信号生成装置、デジタルカメラ、及び同期信号生成方法
JP2013098877A (ja) * 2011-11-02 2013-05-20 Sharp Corp ステレオ撮像装置、同期撮像方法および電子情報機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3893441B2 (ja) 1998-04-07 2007-03-14 富士フイルム株式会社 表示装置およびその制御方法
JP3838844B2 (ja) 2000-02-14 2006-10-25 Ｎｅｃビューテクノロジー株式会社 基準信号生成装置及びその信号生成方法
US20050280623A1 (en) * 2000-12-18 2005-12-22 Renesas Technology Corp. Display control device and mobile electronic apparatus
US7176870B2 (en) * 2001-12-27 2007-02-13 Renesas Technology Corp. Display drive control circuit
US8089549B2 (en) * 2007-09-19 2012-01-03 Ricoh Company, Ltd. Imaging apparatus capable of detecting and displaying information with respect to an incline thereof
JP2010028722A (ja) * 2008-07-24 2010-02-04 Sanyo Electric Co Ltd 撮像装置及び画像処理装置
JP5716342B2 (ja) * 2010-05-13 2015-05-13 株式会社リコー レンズ駆動装置
US9569992B2 (en) * 2012-11-15 2017-02-14 Semiconductor Energy Laboratory Co., Ltd. Method for driving information processing device, program, and information processing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295096A (ja) * 2006-04-21 2007-11-08 Olympus Imaging Corp 同期信号生成装置、デジタルカメラ、及び同期信号生成方法
JP2013098877A (ja) * 2011-11-02 2013-05-20 Sharp Corp ステレオ撮像装置、同期撮像方法および電子情報機器

Also Published As

Publication number Publication date
JP6156578B2 (ja) 2017-07-05
US20170034402A1 (en) 2017-02-02
US10051158B2 (en) 2018-08-14
WO2015156057A1 (ja) 2015-10-15
CN106165394A (zh) 2016-11-23
JPWO2015156057A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
CN106165394B (zh) 摄像装置的控制装置
US9185269B2 (en) Imaging device, information processing device, information processing method, and method for synchronizing frame data output
CN101256763B (zh) 图像显示控制装置
JP5817664B2 (ja) 撮像装置、撮像方法及びプログラム
KR101389789B1 (ko) 촬상 장치, 촬상 시스템, 촬상 방법, 및 컴퓨터 판독 가능한 기록 매체
CN104508431B (zh) 具有扫描时刻时间戳的传感器
CN105611144B (zh) 摄像装置、摄像控制方法以及记录介质
US7701621B2 (en) Image correction system and correcting method
US9225907B2 (en) Image capturing apparatus and method for controlling the same
CN112040100B (zh) 摄像设备、镜头设备、控制设备及其控制方法
CN111813716A (zh) 多传感器数据同步、电子设备及存储介质
TWI518559B (zh) 次畫面累計方法以及用以維持光學導航感測器在所有畫面更新率的回報錯誤一致的裝置
JP7414431B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2015106769A (ja) 撮像装置の制御装置
CN113765611B (zh) 时间戳确定方法及相关设备
US10979626B2 (en) Image capturing apparatus, method of controlling same, and storage medium for reducing power consumption in transmission of image data
JP2017220180A (ja) 画像処理システム、画像処理装置、および画像処理方法
JP5006703B2 (ja) 顕微鏡撮像装置と顕微鏡用撮像方法
CN116249004A (zh) 一种视频采集控制方法、装置、设备和存储介质
JP4934578B2 (ja) 携帯電子装置及び動作クロック制御方法
JP2021051259A (ja) 撮像装置および撮像装置の制御方法
JP2019146128A (ja) 撮像装置、その方法およびプログラム
JP2008310415A (ja) 画像処理装置
JP2019020553A (ja) 撮像装置
JP2002132517A (ja) 電子機器、カメラおよび視線入力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190301

Termination date: 20200302

CF01 Termination of patent right due to non-payment of annual fee