CN102695068A - 成像设备、同步控制方法、再现设备和立体视频成像系统 - Google Patents

Abstract

本发明公开了成像设备、同步控制方法、再现设备和立体视频成像系统。一种成像设备包括：操作单元，其通过操作输入来指导操作；成像控制单元，其控制具有第一成像元件的成像单元的操作；计数单元，其对垂直同步信号的生成次数进行计数；以及控制单元，其基于由其他成像设备的第二成像元件生成的并插入到第二处理帧之间的垂直同步信号的生成次数与插入到第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到第二处理帧之间的垂直同步信号的生成次数，以便向该其他成像设备通知开始所指导的操作的定时以及指令，并且在经过预定时段后执行所通知的操作。

Description

成像设备、同步控制方法、再现设备和立体视频成像系统

技术领域

本公开涉及优选应用于从例如由两个相机所拍摄的视频图像生成立体视频图像(3D视频图像)的情形的成像设备、同步控制方法、再现设备和立体视频成像系统。

背景技术

在相关技术中，存在如下技术，通过利用由两个相机所拍摄的相同主题的视频图像来生成可被用户三维地观看的立体视频图像(3D视频图像)，该两个相机被以对应于用户的左眼和右眼视差的方式布置。为了拍摄立体视频图像，视频录制的开始或停止或视频再现的开始或停止(以下仅称为“处理的开始或停止”)被以同步两个相机的操作的方式执行。

日本未审查专利申请公开No.2006-163640公开了这种技术：多个视频磁带录像机被串联连接到视频相机，并且录制信号被发送至的第一连接器和状态确认信号的返回被发送至的第二连接器被双向连接。

发明内容

顺便提及，相关技术的立体视频成像系统并不具有链接功能，通过该链接功能，两个相机控制相互的操作。因此，即便用户关于两个相机中的一个执行操作输入，由于操作输入的定时的不匹配，两个相机也很难同时执行处理的开始或停止。此处，如果由两个相机所执行的处理的开始或停止的定时(即，由各自相机所拍摄或再现的视频信号的处理帧)不完全匹配，则在被再现和三维观看的视频图像中产生陌生感，其生成不完美的视频图像。因此，必须通过利用附接到由两个相机所生成的各自剪辑文件的时间码等来单独匹配处理帧的开始或停止定时。

另外，上述日本未审查专利申请公开No.2006-163640公开了连续执行处理同时使得多个视频磁带录像机确认状态的技术。但是，该技术仅被利用在如下情形中：视频磁带录像机被彼此一起操作。因此，在两个相机被使用以便拍摄立体视频图像的情形中，其被看做是严格地控制视频图像的录制或再现。

希望当利用两个成像设备来处理立体视频图像时准确地匹配处理的定时。

根据本公开的实施例的一种成像设备通过操作输入来指导操作，并且通过经过镜头入射的物体的入射光来控制成像单元的操作，该成像单元具有第一成像元件，该第一成像元件针对插入到第一处理帧之间的每个垂直同步信号输出第一处理帧中的视频信号。另外，该成像设备对由成像元件所生成的垂直同步信号的生成次数进行计数，作为第一处理帧的帧号。另外，该成像设备获得从通过发送控制信号的控制线连接到成像设备的其他成像设备通知的、由该其他成像设备的第二成像元件生成的并被插入到第二处理帧之间的垂直同步信号的生成次数。此处，该成像设备基于插入到第二处理帧之间的垂直同步信号的生成次数与插入到第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到第二处理帧之间的垂直同步信号的生成次数。然后，基于插入到第二处理帧之间的垂直同步信号的生成次数，该成像设备向该其他成像设备通知该其他成像设备在经过预定时段之后开始所指导的操作的定时以及由操作输入所给出的指令。另外，该成像设备在从操作输入被执行的时间点起经过预定时段之后执行所通知的操作。

因此，可以在经过两个成像设备之间的预定时段之后，在开始所指导的操作的定时处通过操作输入给出指令。

根据本公开的实施例，第一成像设备向其他成像设备通知在经过预定时段之后其他成像设备开始所指导的操作的定时以及由操作输入所给出的指令，并且，在从操作输入被执行的时间点起经过预定时段之后执行所通知的操作。因此，当通过利用两个成像设备而处理立体视频图像时，可同时执行由操作输入所指示的操作，并且，可增强处理的开始或停止的准确度。

附图说明

图1是示出了根据本公开的实施例的立体视频成像系统的外部配置示例的框图；

图2是示出了根据本公开的实施例的立体视频成像系统的内部配置示例的框图；

图3A至图3C是示出了在本发明的实施例中的第一相机和第二相机相互控制处理操作的定时的示例的时序图；

图4是示出了本公开的实施例中的第一相机的处理示例的流程图；

图5是示出了本公开的实施例中的由同步控制单元所执行的相机控制单元的界面的处理示例的流程图；

图6是示出了本公开的实施例中的由同步控制单元所执行的用户界面控制单元的界面的处理示例的流程图；

图7是示出了本公开的实施例中的由同步控制单元所执行的发送/接收控制单元的界面的处理示例的流程图。

具体实施方式

以下将描述本公开的实施例(以下称为实施例)。将以如下次序给出描述。

1.实施例(两个相机的同步控制：立体视频成像系统的示例)

2.修改

<1.实施例>

[两个相机的同步控制示例]

现参照附图来描述本公开的实施例。在该实施例中，以同步两个相机(成像设备)的处理的开始或停止的定时的方式拍摄立体视频图像的立体视频成像系统10被作为示例(以下，称为“本示例”)描述。立体视频成像系统10利用用于控制两个相机的处理的开始或停止的同步的同步控制方法。

图1示出了立体视频成像系统10的外部配置示例。

立体视频成像系统10包括作为成像设备的第一相机1和第二相机2，所述成像设备在一秒中以相同数量的帧拍摄具有相同图片大小的二维视频图像。第一相机1和第二相机2设置有通用线端子。第一相机1和第二相机2可发送/接收用于控制以同步帧单元中的相互视频图像的录制或再现处理的同步控制信号，同时通过同步控制线3将同步控制信号放入通信分组中，该同步控制线3被连接至线端子并能够进行串行通信。

第一相机1和第二相机2包括操作单元11，通过该操作单元11，用户指导每个单元关于操作输入的操作。作为操作单元11，例如使用在相机体上的操作开关(录制按钮、再现按钮等)、未示出的遥控器、推按钮、拨动开关(toggle switch)、触摸板显示器等。

立体视频成像系统10还包括信号转换设备4，该信号转换设备4将从第一相机1和第二相机2输入的视频信号转换成立体视频信号。信号转换设备4将二维或三维视频信号输出到显示设备5，该显示设备5能够二维地或三维地显示视频图像。

信号转换设备4从第一相机1和第二相机2接收电对电模式(EE)视频信号或播放(Play)视频信号。EE视频信号是用于指导显示设备5直接将由第一相机1和第二相机2所拍摄的二维视频信号作为二维视频图像来显示的信号。即，EE视频信号是由第一相机1和第二相机2输出并无需经过诸如HDD之类的录制单元而直接作为关于显示设备5的输出而拿出的视频信号。播放视频信号是用于指导显示设备5将由第一相机1和第二相机2所再现的二维视频信号作为三维视频图像显示的信号。

信号转换设备4将通信分组输出到显示设备5，该通信分组通过将从第一相机1和第二相机2输入的二维视频信号组合为一个三维视频信号而获得。当显示设备5被设定在显示二维视频图像的二维显示模式中时，显示设备5从输入自第一相机1和第二相机2的视频信号中选择视频信号，并且，将从右视频图像和左视频图像中所选出的所选视频图像作为二维视频图像显示。在另一方面，当显示设备5被设定在显示三维视频图像的三维显示模式中时，显示设备5将视频信号作为三维视频图像显示。

第一相机1和第二相机2被放置在立体视频图像拍摄中的放置台(RIG)6中。一般而言，第一相机1和第二相机2的变焦放大率(zoommagnification)被设定为不可放大的，并且，第一相机1和第二相机2被布置，使得其透镜之间的间隔对应于人眼。通过组合在该状态中所拍摄的二维视频图像所获得的立体视频图像可被用户可视地识别为自然的立体对象。

但是，当具有大外壳(casing)的第一相机1和第二相机2被并排在水平方向上时，物体被用比人眼的间隔更大的视差拍摄，其导致用户关于用户可视地识别的立体视频图像的不舒服的感觉。因此，第一相机1和第二相机2被布置在设置有半个镜子7的放置台6上。此处，第一相机1被布置在物体的图像光经由半个镜子7而被直接入射的位置上，而第二相机2被布置在物体的图像光被半个镜子7反射而被入射的位置上。因此，第一相机1和第二相机2被布置，使得第一相机1和第二相机2的镜头的光轴正交交叉。

图2示出了立体视频成像系统10的内部配置示例。

第一相机1和第二相机2具有彼此相同的功能块。因此，在以下的描述中，描述了第一相机1的内部配置示例。在以下的描述中，为了描述第一相机1的处理，第一相机1可被称为“自身设备”，而第二相机2可被称为“其他设备”。

第一相机1包括从操作单元11接收操作输入的用户界面控制单元12、控制成像操作的相机控制单元13，以及RAM 14。当操作单元11是触摸板显示器时，用户界面控制单元12在屏幕上显示图形用户界面(GUI)。第一相机1还包括再现控制单元15，该再现控制单元15控制对录制在未示出的录制单元中的视频图像的再现，该第一相机1还包括录制控制单元16，当视频图像被录制在录制单元中时，该录制控制单元16执行控制。第一相机1还包括同步控制单元17，该同步控制单元17控制第二相机2的操作，使得成像操作以及对视频图像的再现或录制被以与第二相机2的处理同步地执行。第一相机1还包括存储各种计数器值的RAM 18和发送/接收控制单元19，该发送/接收控制单元19通过同步控制线3来控制对通信分组的发送/接收。

用户界面控制单元12执行对用未示出并设置到操作单元11的按钮所执行的操作输入进行接收的处理，执行对从未示出的遥控器所接收的操作输入进行接收的处理，以及执行对用诸如无线LAN之类的遥控所执行的操作输入进行接收的处理。用户界面控制单元12处理由操作输入所给出的指令等，该操作输入从诸如触摸板之类的图形用户界面输入，并且，执行处理以在触摸板显示器等上显示各种菜单和消息。另外，用户界面控制单元12向同步控制单元17通知由从操作单元11接收的操作输入所给出的指令。

相机控制单元13被用作成像控制单元，该成像控制单元控制具有未示出的第一成像元件的成像单元的操作，并且，针对插入到第一处理帧之间的每个垂直同步信号，通过经过未示出的镜头入射的物体的入射光，将在第一处理帧中的视频信号输出。第二相机2包括具有第二成像元件的成像单元。相机控制单元13控制诸如未示出的互补金属氧化物半导体(CMOS)图像传感器之类的成像元件、视频图像处理处理器，以及包括透镜的光学系统驱动单元的驱动等。相机控制单元13在像素单元中校正由成像元件所输出的视频信号，并且，关于光学系统驱动单元，执行对如下的控制：聚焦处理、自动白平衡处理等。

对从相机控制单元13所获得的每帧的垂直同步信号的生成次数进行计数的垂直同步信号计数器20将被用作处理帧的帧号的垂直同步信号计数器值写入到在RAM 14中。垂直同步信号计数器20被用作计数单元，该计数单元将由成像元件所生成的垂直同步信号的生成次数计数为第一处理帧的帧号。垂直同步信号计数器20对从在成像中相机控制单元13所控制的成像元件中断的垂直同步信号的数目进行计数，并且，RAM 14存储由垂直同步信号计数器20写入的垂直同步信号的数目。

再现控制单元15执行对关于未示出的录制介质的诸如剪辑(clip)文件的写入和读取的访问处理的控制、执行对剪辑信息的处理的控制、执行对剪辑文件的解码处理的控制等。第一相机1以“剪辑”为单位管理包括从一次录制的开始到停止所拍摄的视频信号的视频文件；关于记录介质的写入和读取可被执行到每个剪辑文件。录制单元16执行对关于记录介质的访问处理的控制、执行对剪辑文件的生成处理的控制、指定对抢救(salvage)已丢弃剪辑文件的抢救处理的控制，执行对视频信号的编码处理的控制等。

同步控制单元17执行对第二相机2的以下通知。第二相机2是通过发送控制信号的同步控制线3所连接的其他成像设备。同步控制单元17接收垂直同步信号的生成次数，该生成次数被从第二相机2通知，该垂直同步信号由第二相机的第二成像元件生成并被插入到第二处理帧之间。基于相对于插入到第一处理帧之间的垂直同步信号的生成次数的差值，同步控制单元17计算插入到第二处理帧之间的垂直同步信号的生成次数。另外，基于插入到第二帧之间的垂直同步信号的生成次数，同步控制单元17向第二相机2通知第二相机2在经过预定时段之后开始受指示的操作的定时以及由操作输入所给出的指令。此时，从操作输入被执行的时间点起经过预定时段之后，第一相机1执行所指示的操作。

同步控制单元17初步地将第一处理帧的垂直同步信号被生成的定时与第二处理帧的垂直同步信号被生成的定时相匹配。此处，第二相机2对插入到第二处理帧之间的垂直同步信号的生成次数进行计数，作为第二处理帧的帧号。此时，每当第二成像元件生成垂直同步信号时，同步控制单元17判断针对多个帧时段，利用从第二相机2所接收的第二处理帧的帧号所计算的帧号和第一处理帧的帧号的差值是否恒定。当该差值针对多个帧时段是恒定的时，同步控制单元17向第二相机2通知作为第二相机2开始操作的定时的帧号，该帧号通过将多个帧时段添加到第二处理帧的所计算的帧号而获得。通过这种控制，第一相机1控制第二相机2开始受指示的操作的定时。此处，由操作单元11的操作输入“所指示的操作”包括成像开始或停止、或视频再现开始或停止，并且，第一处理帧和第二处理帧包括成像帧或再现帧。

因此，同步控制单元17获得第一相机1和第二相机2的垂直同步信号的计数器值之间的差异，并且，用第二相机2来执行对操作指令的同步定时的控制。虽然将稍后描述对同步控制单元17的详细处理，但是，在图4至图7的流程图中所示出的所有处理都由同步控制单元17执行。

另外，同步控制单元17具有用于关于相机控制单元13发送/接收数据的界面，并且执行关于发送/接收控制单元19的发送/接收控制单元界面处理。该处理由操作关于发送/接收控制单元19的界面的模块来执行。RAM18存储由第一相机1和第二相机2相互接收的垂直同步信号的计数器值、由第一相机1所执行的操作指令、作为操作指令的开始的触发的垂直同步信号的计数器值等。

发送/接收控制单元19执行对通信分组的发送接收处理、将通信分组发送到第二相机2的处理、根据所指定的通信协议来转换通信分组的处理、控制包括线端子等的通信设备的处理等。同步控制单元17(本示例中基于垂直同步信号计数器值的生成次数)计算处理帧的开始定时，该处理帧被执行以同步处理的开始或停止的定时。然后，发送/接收控制单元19请求将用于指导第二相机2进行将要执行的操作的控制数据和处理帧号发送给第二相机2。

第一相机1初步通过执行关于第二相机2的同步锁相(genlock)来同步第一相机1的处理帧和第二相机2的处理帧。该同步被执行在垂直同步信号的生成定时上，并且，同步控制单元17进行控制，使得同步定时的不匹配量在大约一行的时间内。在本示例中，执行了基于主仆关系的控制，其中，第一相机1被设定为主设备，而第二相机2被设定为子设备，并且，第二相机2的处理帧的同步被控制，以根据第一相机1的指令来与第一相机1的处理帧相匹配。

如上所述，通过同步锁相，第一相机1的处理帧的开始定时与第二相机2的处理帧的开始定时相同步。然后，第一相机1和第二相机2检测垂直同步信号的差值，该垂直同步信号分别由操作在各自相机中的软件程序所计数。此处，垂直同步信号被在处理帧开始的定时处生成，并且，第一相机1的同步控制单元17基于该差值来算出第二相机2操作的处理帧的帧号。因此，当作为主设备的第一相机1接收用于执行处理的开始或停止并由用户的操作输入所给出的操作指令时，第一相机1控制第二相机2的操作，以便第二相机2以与第一相机1同步的方式执行处理的开始或停止。因此，第一相机1执行同步控制，通过该同步控制，第二相机2的处理定时被与作为第一相机1的处理定时的每帧相匹配。

在相机之间所传输的通信分组由如下组成：代表命令类型的“K字段(4字节)”、代表数据长度的“L字段(4字节)”，以及代表数据内容的“V字段(最大64字节)”。在K字段中，存储了用于指导同步的数据，并且，在V字段中，存储了代表对自身设备的处理的开始或停止的数据内容。例如，当代表对垂直同步信号计数器值的通知的数据被包括在K字段中时，自身设备的垂直同步信号计数器值被包括在V字段中。另外，当通知剪辑文件的格式的信息被包括在K字段中时，代表视频图像的图片大小、帧率和比特率的信息被包括在V字段中。

通过经由同步控制线3来发送/接收通信分组，由软件程序所控制的第一相机1和第二相机2可以针对每帧以相互同步的方式执行处理。因此，使能了对同步执行针对每帧的在相同定时处所拍摄的视频图像的录制的开始或停止操作的处理以及针对每帧的同时再现或停止相同格式的内容的处理。

此处，第一相机1和第二相机2还被用作以同步方式再现视频图像的再现设备。在该情形中，第二相机2被用作通过同步控制线3连接的其他再现设备。此时，垂直同步信号计数器20将插入到由第二相机2的再现控制单元15所再现的视频信号的第一帧之间的垂直同步信号的生成次数计数为第二相机2的第二处理帧的帧号。然后，获得了由第二相机2所通知的垂直同步信号的生成号，该垂直同步信号由第二相机2的成像元件生成并被插入到第二处理帧之间。基于上述生成号和插入到第一处理帧之间的垂直同步信号的生成次数之间的差值，插入到第二处理帧之间的垂直同步信号的生成次数被计算。然后，基于插入到第二处理帧之间的垂直同步信号的生成次数，第二相机2被通知如下定时和由操作输入所给出的指令，第二相机2在该定时处在经过预定时段之后开始所指示的操作。此时，第一相机1向第二相机2通知操作的开始定时和由操作输入所给出的指令，并且，在经过从操作输入被执行的时间点的预定时段之后，执行所通知的操作。由操作单元11的操作输入所指示的操作包括成像的开始或停止，并且，第一和第二处理帧包括成像帧或再现帧。

图3A至图3C是示出了第二相机2的操作定时由第一相机1所控制的示例的时序图。

图3A示出了在未控制第一相机1和第二相机2的同步的状态中的时序图的示例。

第一相机1和第二相机2利用分别在不同的定时处生成的垂直同步信号，以便匹配开始定时，并且，基于在相邻垂直同步信号之间的时段中所设定的处理帧，执行成像或再现的处理。第一相机1和第二相机2操作在相同帧率的处理帧中。但是，很难精确地匹配用户操作各自相机的操作单元11以上电的定时，并且因此，处理帧开始处的定时彼此不同。因此，如果如相关技术那样，物体的图像被在如下状态中拍摄：处理帧的开始定时彼此不同，则匹配处理的开始或停止的操作必须要在图像拍摄之后执行。

图3B示出了经过基于第一相机1的处理帧的同步锁相的第二相机2的处理帧的示例。

在本示例中，执行如下控制：第二相机2的处理帧的开始定时与第一相机1的处理帧的开始定时相匹配，并且，第一相机1的垂直同步信号被用作用于匹配处理帧的开始定时的同步信号。通过经由同步控制线3从第一相机1发送的同步控制信号，关于第二相机2的处理帧的同步锁相被执行。此处，第一相机1和第二相机2具有相同的配置，因此第二相机2的处理帧可被用作同步信号，以执行对第一相机1的处理帧的同步锁相。

此处，描述了将第一相机1和第二相机2的处理帧的开始定时相匹配的处理。

首先，一旦垂直同步信号被作为处理帧的第一定时被生成，第一相机1经由同步控制线3向第二相机2通知所计数的垂直同步信号计数器值。该垂直同步信号计数器值被用作处理帧的计数器值。

通过类似的方式，一旦垂直同步信号被作为处理帧的第一定时生成，第二相机2经由同步控制线3向第一相机1通知所计数的垂直同步信号计数器值。在图3B中，为了方便，第一相机1的垂直同步信号计数器值被计数为n、n+1，...，并且，第二相机2的垂直同步信号计数器值被计数为m、m+1，...。

第一相机1和第二相机2相互通知在一帧的时段内的垂直同步信号计数器值。该操作在若干帧上执行。然后，第一相机1的同步控制单元17计算差值Δ，该差值Δ通过从第一相机1的垂直同步信号计数器值中减去针对若干帧所获得的第二相机2的垂直同步信号计数器值而获得。在本示例中，通过差值Δ＝n-m获得一值，并且，当在若干帧上计算的差值Δ是连续地彼此相同的值时，该差值Δ被作为平均值获得。

此处，作为第二相机2的第(m+3)帧，存在如下情形：第(m+3)帧的计数器值未在第一相机1的对应第(n+3)帧中被通知而在下一个第(n+4)帧中被通知。例如，存在如下情形：第一相机1很难向第二相机2通知在第一处理帧的时段内的第一处理帧的帧号，或在第一处理帧的时段内从第二相机2接收第二处理帧的帧号。在该情形中，第一相机1的同步控制单元17向第二相机2通知第一处理之后的帧时段中的第一处理帧的帧号。可替换地，第一相机1从第二相机2接收第二处理帧的帧号。因此，第一相机1和第二相机2可相互安全地通知处理帧的帧号。

如在图3B中所示，当同步控制单元17在少于预定次数的次数内获得第二差值Δ’，该第二差值Δ’不同于在预定次数或多于预定次数的次数内所获得的差值Δ时，同步控制单元17丢弃第二差值Δ’。在图3B的示例中，第二差值Δ’通过Δ’＝(n+4)-(m+3)＝n-m+1而获得。因此，突然偏离平均值的第二差值Δ’被丢弃。因此，第一相机1的同步控制单元17基于差值Δ可算出第二相机2的处理帧如何偏离第一相机1的处理帧。

图3C示出了第一相机1和第二相机2实际上执行处理的开始或停止时的定时的示例。

如在图3B中所示，第一相机1的同步控制单元17算出差值Δ。此处，在图3C中，为了描述方便，第一相机1的处理帧被计数为x、x+1，…，而第二相机2的处理帧被计数为y、y+1，…。

当处理的开始或停止被从第(x+5)帧执行时，同步控制单元17给第二相机2指令，以在第(y+5)帧的计数器值上覆写第(x+5-Δ)帧的计数器值。此时，第二相机2的同步控制单元17将第(y+5)帧的计数器值重写到第(x+5-Δ)帧的计数器值中。因此，第一相机1和第二相机2在由图3C中的星标记所示的作为相同帧的计数器值的相同定时处执行处理的开始或停止。

现在，参照图4至图7，同步控制单元17的处理示例被特别描述为立体视频成像系统10的处理示例。此处，在该示例中，描述了同步控制单元17，因为第一相机1被设定为主设备。但是，即便在第二相机2被用作主设备的情形中，第二相机2也可执行与以下所描述的同步控制单元17相同的处理。

图4示出了第一相机1的处理示例。

首先，当同步控制线3被连接到第一相机1和第二相机2的线端子时，同步控制线模式被由操作单元11的操作输入开启(步骤S1)，该操作输入由用户通过未示出的菜单屏幕执行。当同步控制线模式被开启时，视频图像的成像处理或视频图像的再现处理可以以同步的方式、在主仆关系中的各个相机的处理帧中在第一相机1和第二相机2之间被执行，其中，第一相机1被设定为主设备，而第二相机2被设定为子设备。在另一方面，当同步控制线模式被关断时，各个相机独立操作，并且因此，相互不影响。

接下来，第一相机1和第二相机2通过串行通信经由同步控制线3相互通知垂直同步信号计数器值(步骤S2)。接下来，第一相机1的同步控制单元17检测自身设备的垂直同步信号计数器值和从第二相机2接收的垂直同步信号计数器值的差。此时，如果针对N帧(在本示例中为5帧)连续获得相同差值，则第一相机1确定该差值(步骤S3)。

然后，第一相机1接收由操作信号所做出的对处理的开始或停止的指令，该操作信号响应于执行在操作单元11上的输入操作而被生成。响应于该指令，第一相机1根据用于指导第二相机2的通信时间指定之后的若干帧的处理帧的计数器值，以便将操作指令发送到第二相机2(步骤S4)。在图3C中所示的定时图示出了5帧后的执行。

然后，第一相机1和第二相机2以与在相同定时处所生成的垂直同步信号的定时同步的方式执行彼此相同的操作(步骤S5)。因此，仅通过操作第一相机1，用户可使得第二相机2执行相同的操作。

接下来，通过参照图5至图7来描述由同步控制单元17所执行的关于每个单元的界面的处理示例。在以下的描述中，同步控制单元17执行关于每个控制单元的数据的输入/输出的处理被称为“界面的处理”。

图5示出了由同步控制单元17所执行的相机控制单元13的界面的处理示例。

首先，同步控制单元17等待由成像元件所生成的垂直同步信号的中断(步骤S11)。当发生垂直同步信号的中断时，垂直同步信号计数器20将垂直同步信号计数器值写入到RAM 14中。然后，同步控制单元17从RAM 14获得垂直同步信号计数器值(步骤S12)。

在第一相机1上电之后，垂直同步信号计数器值通过垂直同步信号计数器20被重复地从“0”计数至“255”。此处，在垂直同步信号计数器20开始计数的时间点处的垂直同步信号计数器值具有随机值。另外，如果第一相机1和第二相机2之间的同步是稳定的，则差值Δ是固定值，并且，在开始操作的时间点处的垂直同步信号计数器值的绝对值每次都被计算。因此，垂直同步信号计数器值无需被重置为“0”。

接下来，同步控制单元17将从RAM 14读出的垂直同步信号发送到第二相机2(步骤S13)。发送垂直同步信号计数器值的处理由处理相机控制单元13的界面的模块来执行。然后，同步控制单元17请求来自发送/接收控制单元19的传输，并且因此，传输处理被执行。

接下来，同步控制单元17判定自身设备的垂直同步信号计数器值是否等于第二相机2开始操作的时间点处的垂直同步信号计数器值(步骤S14)。当垂直同步信号计数器值彼此相等时，同步控制单元17执行关于再现控制单元15或录制控制单元16的对视频图像的在线指令或录制指令(步骤S15)。当垂直同步信号计数器值彼此不同时，同步控制单元17并不执行任何处理，而是结束处理。

图6示出了由同步控制单元17所执行的对用户界面控制单元12的界面的处理示例。

首先，同步控制单元17等待由操作信号所做出的操作指令(步骤S21)，该操作信号响应于用户的操作输入而被生成。但是，来自用户的操作指令何时在处理帧中给出是不确定的。因此，同步控制单元17响应于操作指令而执行同步锁相，使得垂直同步信号被同时生成在第一相机1和第二相机2之间，其能够从处理帧的开始来开始受指示的操作，该处理帧的开始为垂直同步信号被生成的定时。

另外，通过将操作信号发送到第二相机2，第一相机1通知由操作单元11操作输入的操作指令。此处，当操作信号到达第二相机2时的定时是不确定的，并且因此，操作何时被实际执行是不清楚的。因此，第一相机1和第二相机2初步地从由各自垂直同步信号计数器20所计数的垂直同步信号计数器值获得差值Δ。通过该差值，根据差值Δ，在第一相机1和第二相机2可以以同步的方式开始操作处的垂直同步吸纳后计数器值被计算。

然后，基于由从第二相机2所接收的垂直同步信号计数器值所判定的差值Δ，第一相机1的同步控制单元17在第二相机2开始操作的时间点处计算垂直同步信号计数器值(步骤S22)。另外，第一相机1的同步控制的单元17在第一相机1以与步骤S22的处理并行的方式在开始操作的时间点处计算垂直同步信号计数器值(步骤S23)。

在步骤S21的下一步上的分支到步骤S23的虚线代表当第一相机1被设定为子设备时所执行的处理。设置了该处理，因为取决于从操作单元11接收的操作指令是自身设备的计数器值还是其他设备的计数器值，将要执行的处理是不同的。接下来，同步控制单元17将用于执行操作指令的操作信号和在操作被启动的时间点处垂直同步信号计数器值发送到第二相机2(步骤S24)，并且，处理结束。

图7示出了由同步控制单元17所执行的发送/接收控制单元19的界面的处理示例。

首先，第一相机1的同步控制单元17等待垂直同步信号计数器值的接收(步骤S31)，该垂直同步信号计数器值被从发送/接收控制单元19接收。如果未从第二相机2接收到垂直同步信号计数器值，则处理结束。

在另一方面，当发送/接收控制单元19从第二相机2接收垂直同步信号计数器值(步骤S32)时，发送/接收控制单元19将垂直同步信号计数器值写入到RAM 18中。接下来，同步控制单元17从RAM 18获得垂直同步信号计数器值(步骤S33)。然后，同步控制单元17计算从RAM 14读出的自身设备的垂直同步信号计数器值和从RAM 18读出的第二相机2的垂直同步信号计数器值的差值Δ(步骤S34)。

同步控制单元17计算每帧的差值Δ，并且，最新的差值Δ被在步骤S34中计算。在以下的描述中，同步控制单元17在一帧之前所计算的差是通过一帧前的垂直同步信号计数器值值所获得的值，因此被称为“之前时间的差”。而在步骤S34中所计算的差值Δ被称为“此时的差”。然后，同步控制单元17判定此时的差是否等同于之前时间的差(步骤S35)。接下来，同步控制单元17将差判定计数器值(当此时的差等于之前时间的差时，添加该号)写入到RAM 14中，以便判定差值Δ在若干次中是否具有恒定值(步骤S36)。

然后，同步控制单元17判定差值Δ是使能差判定计数器值的增加的值还是对应于第二差值Δ’的异常值(步骤S37)。当差值Δ是异常值时，不执行处理。在另一方面，当差值Δ是使能差判定计数器值的增加的值时，在步骤S38的后续处理中，执行用之前时间的差覆写所判定的差的处理。

在本示例中，差判定计数器值被使用，以便判定垂直同步信号计数器值的差值Δ。例如，如上述图3C中所示的，在通过同步控制线3发送的通信分组被延迟的情形中，此时的差可能不同于之前时间的差。为了丢弃在这种情形中作为此时的差所获得的差值Δ，这种控制被执行，使得在此时的差和之前时间点的差在一行中有N次(在本示例中为5次)不具有相同值的情形中，此时的差不被看作是正确的差值Δ。

此处，当差值Δ变化时，同步控制单元17一次将已变化的差值Δ写入到RAM 14中，作为“之前时间的差”。接下来，当获得相同的差值Δ时，同步控制单元17将RAM 14中的差判定计数器值增加1。另外，当此时的差和之前时间的差连续地具有相同值时，同步控制单元17继续每次都增加差判定计数器值。因此，在此时的差和之前时间的差在N帧上具有相同值的情形中，由上述差值Δ所表示的“判定的差值”被获得(步骤S38)。另外，在此时的差和之前时间的差在一行中有N次具有相同值的情形中，作为差判定计数器值的“N”值被覆盖到差判定计数器值中(步骤S39)，并且，处理结束。此处，每次此时的差和之前时间的差具有相同值时，就增加“N”的值。

当在步骤S35的处理中此时的差和之前时间的差彼此不同时，用此时的差来更新写入到RAM 14中的之前时间的差(步骤S40)，并且，差判定计数器值被用默认值“1”重写(步骤S41)。接下来，步骤S31至步骤S39的处理被重复，以便获得由此时的差所表示的值是否是判定的差Δ。

此处，存在如下情形：第一相机1被设定为子设备，而第二相机2被设定为主设备。在该情形中，第一相机1的发送/接收控制单元19从第二相机2接收操作信号，并且，第一相机1的同步控制单元17中断由第二相机2所指示的操作(步骤S42)。另外，第一相机1的发送/接收控制单元19从第二相机2接收操作开始时的时间点处的垂直同步信号计数器值(步骤S43)，并且，将该垂直同步信号计数器值写入到第一相机1的RAM18中。然后，基于判定的差值，第一相机1的同步控制单元17以与不足S43的处理并行的方式计算自身设备的操作开始时的时间点处的垂直同步信号计数器值(步骤S44)，并且，执行由第二相机2所控制的操作。

根据上述实施例的立体视频成像系统10，在垂直同步信号的生成定时相互匹配的情形中，通过利用具有主仆关系的第一相机1和第二相机2，垂直同步信号计数器值的差值Δ被获得。然后，根据该差值Δ，处理的开始或停止被实际执行的帧数被判定，并且因此，处理的开始或停止可在到达该帧数时被同步执行。此时，当用户仅执行关于例如作为主设备的第一相机1的操作单元11的操作输入时，第二相机2执行与第一相机1相同的操作。因此，与处理帧的开始定时同步的两个相机的处理的开始或停止可被精确地控制。

另外，处理帧的开始定时被与视频信号的垂直同步信号的生成定时相匹配，使得各自处理帧的操作可被精确地匹配。因此，在主题被成像之后，不必执行调整处理帧的操作，使得编辑操作变得更加有效。另外，在再现视频图像的过程中，可以使得两个相机以同步的方式执行再现操作，使得可消除由于不匹配的处理帧所导致的关于立体图像的不舒服的感觉。

另外，差值Δ在预定时间或更长的时段上获得，使得值具有高可信度。因此，通过利用差值Δ，可以容易地匹配处理帧。另外，用户不必考虑匹配处理的开始或停止，因为仅通过第一相机1的操作，第二相机2自动地以与第一相机1同步的方式操作。

另外，作为异常值获得的第二差值Δ’被丢弃，使得第二差值Δ’并不影响同步控制。从这点来看，可增强第一相机1和第二相机2的同步控制的可信度。

<2.修改>

在上述实施例中，描述了第一相机1和第二相机2被布置在垂直方向上的这种示例。但是，通过减少的第一相机1和第二相机2的外壳的大小，第一相机1和第二相机2可被并排在水平方向上。

另外，在示例中，描述了同步控制线3被用作连接至发送/接收控制单元19的有线电缆。但是，通过利用作为发送/接收控制单元19的与无线通信标准相兼容的适配器，通信分组可被无线地发送。

上述一系列处理可由硬件或软件执行。当一系列处理由软件执行时，处理可由计算机执行，其中，组成软件的程序被集成在专用硬件中或用于执行各种功能的程序被安装。例如，通过将组成所希望的软件的程序安装在通用个人计算机中，可执行处理。

另外，其中记录了用于实现上述实施例的功能的软件的程序代码的记录介质可被设置在系统或装置中。另外，显然，通过由系统或装置的计算机(或诸如CPU之类的控制设备)读出并执行存储在记录介质中的程序代码，功能被实现。

在该情形中，用于提供程序代码的记录介质的示例包括灵活盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁盘、非易失性存储卡和ROM。

通过执行由计算机所读出的程序代码，上述实施例的功能被实现。另外，基于程序代码的指令，操作在计算机等之上的OS执行部分或全部的实际处理。还包括上述实施例的功能通过处理被实现的情形。

应当注意，本公开的实施例并不限于上述实施例，并且，各种变化和修改出现在本公开的范围内。

本公开可具有如下的配置。

(1)一种成像设备，包括：

操作单元，该操作单元被配置为通过操作输入来指导操作；

成像控制单元，该成像控制单元被配置为通过经过镜头入射的物体的入射光来控制成像单元的操作，该成像单元具有第一成像元件，该第一成像元件针对插入到第一处理帧之间的每个垂直同步信号输出第一处理帧中的视频信号；

计数单元，该计数单元被配置为对由所述第一成像元件所生成的垂直同步信号的生成次数进行计数；以及

控制单元，该控制单元基于从通过传输控制信号的控制线连接的其他成像设备通知的、由包括在所述其他成像设备中的第二成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述其他成像设备通知所述其他成像设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作。

(2)根据(1)所述的成像设备，其中

所述计数单元对由所述第一成像元件所生成的垂直同步信号的生成次数计数，作为所述第一处理帧的帧号，并且

在所述第一处理帧的垂直同步信号被生成的定时与所述第二处理帧的垂直同步信号被生成的定时彼此初步匹配并且所述其他成像设备对插入到所述第二处理帧之间的垂直同步信号的生成次数计数作为所述第二处理帧的帧号的情况下，所述控制单元向所述其他成像设备通知通过将多个帧时段添加到所述第二处理帧的帧号所获得的帧号，作为所述其他成像设备开始操作的定时，所述第二处理帧的帧号是当每次所述第二成像元件生成垂直同步信号时从所述其他成像设备接收的所述第二处理帧的帧号和所述第一处理帧的帧号的差值对于多个帧时段都是恒定的时计算出的。

(3)根据(1)或(2)所述的成像设备，其中

当所述控制单元难以在所述第一处理帧的时段内向所述其他成像设备通知所述第一处理帧的帧号或难以在所述第一处理帧的时段内从所述其他成像设备接收所述第二处理帧的帧号时，所述控制单元在所述第一处理帧之后的帧时段内向所述其他成像设备通知所述第一处理帧的帧号或从所述其他成像设备接收所述第二处理帧的帧号。

(4)根据(1)至(3)中的任一个所述的成像设备，其中

当所述控制单元获得如下的第二差值时，所述控制单元丢弃该第二差值：所述第二差值是在少于预定次数的次数内获得的并且与在预定次数或多于预定次数的次数内所获得的差值不同。

(5)根据(1)至(3)中的任一个所述的成像设备，其中，由所述操作单元的操作输入所指导的操作包括成像的开始和停止中的一个，并且，所述第一处理帧和所述第二处理帧包括成像帧和再现帧中的一个。

(6)一种同步控制方法，包括：

通过操作输入来指导操作；

通过经过镜头入射的物体的入射光光来控制成像单元的操作，该成像单元具有第一成像元件，该第一成像元件针对插入到第一处理帧之间的每个垂直同步信号输出第一处理帧中的视频信号；

对由所述第一成像元件所生成的垂直同步信号的生成次数进行计数；以及

基于从通过传输控制信号的控制线连接的其他成像设备通知的、由包括在所述其他成像设备中的第二成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述其他成像设备通知所述其他成像设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作。

(7)一种再现设备，包括：

操作单元，该操作单元被配置为通过操作输入来指导操作；

计数单元，该计数单元被配置为对插入到从记录单元读出并被再现的视频信号的第一处理帧之间的垂直同步信号的生成次数进行计数；以及

控制单元，该控制单元基于从通过传输控制信号的控制线连接的其他再现设备通知的、由包括在所述其他再现设备中的成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述其他再现设备通知所述其他再现设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作。

(8)一种立体视频成像系统，包括：

第一成像设备；以及

第二成像设备；其中

所述第一成像设备包括

第一操作单元，该第一操作单元被配置为通过操作输入来指导操作；

第一成像控制单元，该第一成像控制单元被配置为通过经过镜头入射的物体的入射光来控制成像单元的操作，该成像单元具有第一成像元件，该第一成像元件针对插入到第一处理帧之间的每个垂直同步信号输出第一处理帧中的视频信号；

第一计数单元，该第一计数单元被配置为对由所述第一成像元件所生成的垂直同步信号的生成次数进行计数；以及

第一控制单元，该第一控制单元基于从通过传输控制信号的控制线连接的所述第二成像设备通知的、由包括在所述第二成像设备中的第二成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述第二成像设备通知所述第二成像设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作；并且

所述第二成像设备包括

第二成像控制单元，该第二成像控制单元被配置为通过经过镜头入射的物体的入射光来控制第二成像单元的操作，该第二成像单元具有第二成像元件，该第二成像元件针对插入到第二处理帧之间的每个垂直同步信号输出第二处理帧中的视频信号；

第二计数单元，该第二计数单元被配置为对由所述第二成像元件所生成的垂直同步信号的生成次数进行计数；以及

第二控制单元，该第二控制单元向所述第一成像设备通知插入到所述第二处理帧之间的垂直同步信号的生成次数，并基于在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，在从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作，所述定时和所述指令都是从所述第一成像设备接收的。

本公开包括与2011年3月24日递交日本专利局的日本优先权专利申请JP 2011-066254所公开的相关的主题内容，其全部内容通过引用被结合于此。

Claims (8)

1.一种成像设备，包括：

操作单元，该操作单元被配置为通过操作输入来指导操作；

成像控制单元，该成像控制单元被配置为通过经过镜头入射的物体的入射光来控制成像单元的操作，该成像单元具有第一成像元件，该第一成像元件针对插入到第一处理帧之间的每个垂直同步信号输出第一处理帧中的视频信号；

计数单元，该计数单元被配置为对由所述第一成像元件所生成的垂直同步信号的生成次数进行计数；以及

控制单元，该控制单元基于从通过传输控制信号的控制线连接的其他成像设备通知的、由包括在所述其他成像设备中的第二成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述其他成像设备通知所述其他成像设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作。

2.根据权利要求1所述的成像设备，其中

所述计数单元对由所述第一成像元件所生成的垂直同步信号的生成次数计数，作为所述第一处理帧的帧号，并且

在所述第一处理帧的垂直同步信号被生成的定时与所述第二处理帧的垂直同步信号被生成的定时彼此初步匹配并且所述其他成像设备对插入到所述第二处理帧之间的垂直同步信号的生成次数计数作为所述第二处理帧的帧号的情况下，所述控制单元向所述其他成像设备通知通过将多个帧时段添加到所述第二处理帧的帧号所获得的帧号，作为所述其他成像设备开始操作的定时，所述第二处理帧的帧号是当每次所述第二成像元件生成垂直同步信号时从所述其他成像设备接收的所述第二处理帧的帧号和所述第一处理帧的帧号的差值对于多个帧时段都是恒定的时计算出的。

3.根据权利要求2所述的成像设备，其中

当所述控制单元难以在所述第一处理帧的时段内向所述其他成像设备通知所述第一处理帧的帧号或难以在所述第一处理帧的时段内从所述其他成像设备接收所述第二处理帧的帧号时，所述控制单元在所述第一处理帧之后的帧时段内向所述其他成像设备通知所述第一处理帧的帧号或从所述其他成像设备接收所述第二处理帧的帧号。

4.根据权利要求3所述的成像设备，其中

当所述控制单元获得如下的第二差值时，所述控制单元丢弃该第二差值：所述第二差值是在少于预定次数的次数内获得的并且与在预定次数或多于预定次数的次数内所获得的差值不同。

5.根据权利要求4所述的成像设备，其中，由所述操作单元的操作输入所指导的操作包括成像的开始和停止中的一个，并且，所述第一处理帧和所述第二处理帧包括成像帧和再现帧中的一个。

6.一种同步控制方法，包括：

通过操作输入来指导操作；

通过经过镜头入射的物体的入射光光来控制成像单元的操作，该成像单元具有第一成像元件，该第一成像元件针对插入到第一处理帧之间的每个垂直同步信号输出第一处理帧中的视频信号；

对由所述第一成像元件所生成的垂直同步信号的生成次数进行计数；以及

基于从通过传输控制信号的控制线连接的其他成像设备通知的、由包括在所述其他成像设备中的第二成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述其他成像设备通知所述其他成像设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作。

7.一种再现设备，包括：

操作单元，该操作单元被配置为通过操作输入来指导操作；

计数单元，该计数单元被配置为对插入到从记录单元读出并被再现的视频信号的第一处理帧之间的垂直同步信号的生成次数进行计数；以及

控制单元，该控制单元基于从通过传输控制信号的控制线连接的其他再现设备通知的、由包括在所述其他再现设备中的成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述其他再现设备通知所述其他再现设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作。

8.一种立体视频成像系统，包括：

第一成像设备；以及

第二成像设备；其中

所述第一成像设备包括

第一操作单元，该第一操作单元被配置为通过操作输入来指导操作；

第一成像控制单元，该第一成像控制单元被配置为通过经过镜头入射的物体的入射光来控制成像单元的操作，该成像单元具有第一成像元件，该第一成像元件针对插入到第一处理帧之间的每个垂直同步信号输出第一处理帧中的视频信号；

第一计数单元，该第一计数单元被配置为对由所述第一成像元件所生成的垂直同步信号的生成次数进行计数；以及

第一控制单元，该第一控制单元基于从通过传输控制信号的控制线连接的所述第二成像设备通知的、由包括在所述第二成像设备中的第二成像元件所生成的并被插入到第二处理帧之间的垂直同步信号的生成次数与插入到所述第一处理帧之间的垂直同步信号的生成次数之间的差值来计算插入到所述第二处理帧之间的垂直同步信号的生成次数，以便基于插入到所述第二处理帧之间的垂直同步信号的生成次数来向所述第二成像设备通知所述第二成像设备在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，并且，从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作；并且

所述第二成像设备包括

第二成像控制单元，该第二成像控制单元被配置为通过经过镜头入射的物体的入射光来控制第二成像单元的操作，该第二成像单元具有第二成像元件，该第二成像元件针对插入到第二处理帧之间的每个垂直同步信号输出第二处理帧中的视频信号；

第二计数单元，该第二计数单元被配置为对由所述第二成像元件所生成的垂直同步信号的生成次数进行计数；以及

第二控制单元，该第二控制单元向所述第一成像设备通知插入到所述第二处理帧之间的垂直同步信号的生成次数，并基于在经过预定时段之后开始所指导的操作的定时以及由所述操作输入所给出的指令，在从所述操作输入被执行的时间点起经过所述预定时段之后执行所通知的操作，所述定时和所述指令都是从所述第一成像设备接收的。

Images