CN109565563B - 多相机系统、信息处理装置以及非暂态计算机可读介质 - Google Patents

多相机系统、信息处理装置以及非暂态计算机可读介质 Download PDF

Info

Publication number
CN109565563B
CN109565563B CN201780048110.7A CN201780048110A CN109565563B CN 109565563 B CN109565563 B CN 109565563B CN 201780048110 A CN201780048110 A CN 201780048110A CN 109565563 B CN109565563 B CN 109565563B
Authority
CN
China
Prior art keywords
camera device
video
unique identifier
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780048110.7A
Other languages
English (en)
Other versions
CN109565563A (zh
Inventor
金子哲夫
饭塚恭弘
内田和弘
中塚盛雄
宇佐美真之介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109565563A publication Critical patent/CN109565563A/zh
Application granted granted Critical
Publication of CN109565563B publication Critical patent/CN109565563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Abstract

一种多相机系统，包括第一相机装置、第二相机装置和信息处理装置。信息处理装置包括通信接口和处理电路。处理电路被配置为接收预定的用户输入并且响应于预定的用户输入，经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，并经由通信接口向捕获第二视频的第二相机装置发送第二控制信号。第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获的第一视频的帧。第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获的第二视频的帧。

Description

多相机系统、信息处理装置以及非暂态计算机可读介质
相关申请的交叉引用
本申请要求于2016年8月9日提交的日本优先权专利申请JP 2016-156717的权益，其全部内容通过引用结合于此。
技术领域
本技术涉及多相机系统、相机、相机的处理方法、确认装置以及确认装置的处理方法。
背景技术
在现有技术中，通过相机以多个角度捕获对象的运动图像，以便确认对象的移动，例如，进行运动练习。用户想要在此之后立即确认运动图像。过去，捕获的运动图像分别由相机再现。或者，将捕获的运动图像导入诸如个人计算机的设备中，并且由设备再现捕获的运动图像的各个文件。为了确认对象在特定时刻的形式，用户想要暂停运动图像，在没有压力的情况下在短时间内将运动图像切换到以不同角度拍摄的运动图像，以及在切换之后观看运动图像。但是，没有措施这样做。
例如，PTL 1公开了从多个内容自动生成概要内容以供用户在短时间内确认内容。根据该公开，通过根据预定义的生成事件的量改变每个内容的再现速度来生成概要内容。然而，不能够在捕获内容之后立即再现任意指定时间和任意指定角度的捕获内容。
引用列表
专利文献
PTL 1：日本专利申请公开No.2010-039877
发明内容
技术问题
期望很好地确认由多个相机捕获的图像。
问题的解决方案
在本公开的一个实施例中，提供了一种多相机系统，包括第一相机装置、第二相机装置以及信息处理装置。该信息处理装置包括通信接口和处理电路。处理电路被配置为接收预定的用户输入并且响应于该预定的用户输入，经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，并经由通信接口向捕获第二视频的第二相机装置发送第二控制信号。第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获的第一视频的帧。第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获的第二视频的帧。分配给第一视频的帧的每个第一唯一标识符与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联。
在一个实施例中，提供了一种信息处理装置，包括通信接口和处理电路。处理电路被配置为接收预定的用户输入并且响应于预定的用户输入，经由通信接口将第一控制信号发送到捕获第一视频的第一相机装置，并经由通信接口将第二控制信号发送到捕获第二视频的第二相机装置。第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获的第一视频的帧。第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获的第二视频的帧。分配给第一视频的帧的每个第一唯一标识符与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联。
在一个实施例中，提供了一种信息处理装置，包括通信接口和处理电路。处理电路被配置为经由通信接口将第一视频的帧的第一唯一标识符发送到捕获第一视频的第一相机装置，并响应于发送的第一唯一标识符从第一相机装置接收包括与第一唯一标识符对应帧的第一视频的至少一个帧。第一视频的所述至少一个帧中的每个帧对应于多个第一唯一标识符中的不同的一个；。处理电路被配置为输出第一视频的至少一个视频帧中的一个或多个，以显示给用户；在输出第一视频的所述至少一个视频帧中的所述一个或多个以显示给用户期间接收预定的用户输入，以及响应于所接收的预定的用户输入，经由通信接口向捕获第二视频的第二相机装置发送第二视频的帧的第二唯一标识符，第二唯一标识符与第一视频的所述至少一个帧中的一个的第一唯一标识符相关联，响应于所发送的第二唯一标识符，从第二相机装置接收包括与第二唯一标识符对应的帧的第二视频的至少一个帧，第二视频的所述至少一个帧中的每个帧对应于多个第二唯一标识符中的不同的一个，以及输出第二视频的至少一个视频帧中的一个或多个，以显示给用户。
在一个实施例中，提供了一种存储指令的非暂态计算机可读介质，所述指令在由计算机执行时使所述计算机执行控制相机以向所捕获的视频的帧分配唯一标识符的方法，所述方法包括：接收预定的用户输入；以及响应于该预定的用户输入，经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，以及经由通信接口向捕获第二视频的第二相机装置发送第二控制信号。第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获的第一视频的帧。第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获的第二视频的帧。分配给第一视频的帧的第一唯一标识符中的每个与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联。
在一个实施例中，提供了一种存储指令的非暂时性计算机可读介质，所述指令在由计算机执行时使所述计算机执行回放由多个相机记录的视频的方法，所述方法包括：经由通信接口向捕获第一视频的第一相机装置发送第一视频的帧的第一唯一标识符；响应于所发送的第一唯一标识符，从第一相机装置接收包括与第一唯一标识符对应的帧的第一视频的至少一个帧，第一视频的所述至少一个帧中的每个对应于多个第一唯一标识符中的不同的一个；输出第一视频的至少一个视频帧中的一个或多个，以显示给用户；在输出第一视频的所述至少一个视频帧中的所述一个或多个以显示给用户期间接收用户输入；以及响应于所接收的用户输入，经由通信接口向捕获第二视频的第二相机装置发送第二视频的帧的第二唯一标识符，第二唯一标识符与第一视频的所述至少一个帧中的一个的第一唯一标识符相关联，响应于所发送的第二唯一标识符，从第二相机装置接收包括与第二唯一标识符对应的帧的第二视频的至少一个帧，第二视频的所述至少一个帧中的每个对应于多个第二唯一标识符中的不同的一个，以及输出第二视频的至少一个视频帧中的一个或多个，以显示给用户。
有益效果
根据本技术，用户可以在确认装置上很好地确认由多个相机捕获的图像。应当注意，本说明书中描述的效果仅仅是说明性的而非限制性的，并且可以具有累加效应。
附图说明
图1是示出根据本技术的实施例的多相机系统的配置示例的框图。
图2是示出相机的安装状态的图。
图3是示出相机的配置示例的框图。
图4是示出确认装置的配置示例的框图。
图5是示出当每个相机将帧编号分配给帧缓冲器中的帧时的时序图的示例的图。
图6是示出用于再现由多个相机捕获并显示在确认装置的面板上的图像(运动图像内容)的画面的示例的图。
图7是示出在再现时确认装置和每个相机之间的通信序列示例的图。
图8是示出操作的示例的图，其中，将要再现的内容从每个相机预先下载到确认装置的帧缓冲器。
图9是示出操作的另一示例的图，其中，将要再现的内容从每个相机预先下载到确认装置的帧缓冲器。
图10是示出多相机系统的另一配置示例的框图。
图11是示出多相机系统的另一配置示例的框图。
图12是示出多相机系统的另一配置示例的框图。
图13是示意性地描绘手术室系统的一般配置的视图。
图14是描绘集中操作面板的操作画面图像的显示示例的视图。
图15是示出应用手术室系统的手术状态的示例的视图。
图16是描绘图15中描绘的相机头和相机控制单元(CCU)的功能配置的示例的框图。
具体实施方式
在下文中，将描述用于执行本技术的模式(以下称为实施例)。将按以下顺序描述本技术的实施例。
1.实施例
2.修改示例
3.应用
<1.实施例>
(多相机系统的配置示例)
图1示出了根据实施例的多相机系统10A的配置示例。多相机系统10A包括多个(这里是三个)相机(摄像机)，即相机(相机 A)101-A、相机(相机B)101-B和相机(相机C)101-C。另外，多相机系统10A包括确认装置102，其是诸如智能电话和平板电脑的移动终端、个人计算机等。
相机101-A、101-B和101-C以及确认装置102经由有线或无线 LAN连接。例如，确认装置102用作主设备，并且相机101-A、101- B和101-C各自用作从设备。图2示出了相机101-A、101-B和101- C的安装状态。相机101-A、101-B和101-C被布置成以不同的角度捕获相同的对象OB。
确认装置102响应于用户的操作使(触发)每个相机开始和停止捕获图像。在这种情况下，确认装置102(即主设备)向每个相机发出开始或停止捕获图像的触发信号(命令)。每个相机经由被配置为执行通信的控制接口(控制I/F)接收触发信号，并且响应于该指令而操作。注意，每个相机的控制接口都内置在相机中。另外，确认装置102包括面板(显示器)。在捕获图像之后，用户可以在显示器上检查由每个相机捕获的图像。
相机101-A、101-B和101-C各自包括成像器和存储器，该存储器写入通过成像器捕获图像而获得的每个帧的图像数据。在这种情况下，每个帧的图像数据(例如，60Hz的帧速率)是帧内压缩的，即，在本实施例中以JPEG格式压缩，并且压缩的数据被写入存储器。另外，在本实施例中，每帧的图像数据被循环记录在存储器中至少预定时间或更长，即三秒或更长。应注意，每个帧的图像数据可能不一定是循环记录的。或者，可以对每个帧的图像数据进行编码，例如，高级视频编码(AVC)，并且可以将编码的数据写入存储器。
当相机101-A、101-B和101-C中的每个从确认装置102接收到结束触发信号时，相机101-A、101-B和101-C中的每个从对应于结束触发信号的帧开始在预定的过去时间段(即，本实施例中的三秒) 内将帧编号分配给帧。例如，第一帧编号是“1”，最后的帧编号是“180”。当相机101-A、101-B和101-C中的每个从确认装置102 接收到包括帧编号的传送请求时，相机101-A、101-B和101-C中的每个从存储器读取具有指定帧编号的帧的图像数据，并将图像数据传送到确认装置102。
确认装置102响应于用户停止捕获图像的操作，将结束触发信号发送到每个相机。另外，确认装置102响应于用户的操作，将包括帧编号的传送请求发送到从相机101-A、101-B和101-C中选择的预定相机。然后，确认装置102接收从预定相机传送的具有指定帧编号的帧的图像数据，并在面板(显示器)上显示该图像数据的图像。
(相机的配置示例)
图3示出了相机101(101-A、101-B和101-C)的配置示例。相机101包括CPU 111、存储器112、成像器/透镜113、相机信号处理单元114和编解码处理单元115。此外，相机101包括面板处理单元 116、面板117、有线通信处理单元118、有线LAN终端119、无线通信处理单元120和天线121。
CPU 111控制相机101的组件的操作。存储器112存储控制软件和数据，并且构成CPU 111等的工作区域。另外，存储器112构成循环记录捕获的图像数据的帧缓冲器。
成像器/透镜113包括图像捕获透镜和成像器，捕获对象的图像，并获得图像捕获信号。相机信号处理单元114处理由成像器/透镜113 获得的图像捕获信号，并生成与该对象相对应的图像数据(捕获的图像数据)。编解码处理单元115对由相机信号处理单元114获得的每个帧的图像数据进行JPEG压缩。因此，JPEG压缩的每个帧的图像数据被循环记录在存储器112的帧缓冲器中。
面板处理单元116基于由相机信号处理单元114获得的图像数据来驱动面板117，并在面板117上显示捕获的图像。面板117包括 LCD、有机EL面板等。面板117具有触摸板功能。必要时，用户界面(UI)也显示在面板117上以供用户操作。
有线通信处理单元118经由有线LAN终端119经由导线与外部设备(即，本实施例中的确认装置102)通信。无线通信处理单元 120经由天线121与外部设备(即，本实施例中的确认装置102)无线通信。注意，选择无线通信或有线通信。
(确认装置的配置示例)
图4示出了确认装置102的配置示例。确认装置102包括CPU 131、存储器132、编解码处理单元133和图形处理单元134。
另外，确认装置102包括面板处理单元135、面板136、有线通信处理单元137、有线LAN终端138、无线通信处理单元和天线140。
CPU 131控制确认装置102的组件的操作。存储器132存储控制软件和数据，并构成CPU131的工作区等。另外，存储器132临时记录从相机101传送的每帧的图像数据(参见图3)。
编解码处理单元133读取临时记录在存储器132的帧缓冲器中的每个帧的图像数据，并解压缩图像数据以用于显示图像。面板处理单元135基于由编解码处理单元133解压缩的图像数据来驱动面板136，并在面板136上显示图像。面板136包括LCD、有机EL面板等。面板136具有触摸板功能。必要时，UI也显示在面板136上以供用户操作。
有线通信处理单元137经由有线LAN终端138经由导线与外部设备(即，本实施例中的相机101)通信。无线通信处理单元139经由天线140与外部设备(即，本实施例中的相机101)无线通信。注意，选择无线通信或有线通信。
(通过结束触发分配帧编号的示例)
图5示出了当每个相机将帧编号分配给帧缓冲器中的帧时的时序图的示例，其中结束触发信号从确认装置102发送到每个相机。在时间t1，确认装置102将结束触发信号发送到每个相机。每个相机在时间t1停止对帧的记录操作(图像捕获操作不一定停止，但可以停止)，并且帧编号“1”被分配给帧。然后，每个相机以时间序列向后按从具有帧编号“1”的帧开始的降序将帧编号分配给记录在帧缓冲器中的各个帧。
在图5所示的示例中，从结束触发开始，在三秒内给运动图像的帧分配帧编号，因此每个前帧具有帧编号“180”。以这种方式，各个相机的具有相同帧编号的帧被认为是在相同时间点。各个相机可以不必具有例如使用发生器锁(Genlock)的相同的曝光阶段。另外，当结束触发信号从确认装置102到达各个相机时，允许定时差异。但是，如果各个相机具有相同的曝光阶段和相同的触发定时，则在再现图像时，由一个相机拍摄的图像可以平滑地切换到由另一相机拍摄的图像。
(确认装置上的用户界面的示例)
图6示出了用于再现由多个相机捕获并显示在确认装置102的面板136上的图像(运动图像内容)的画面的示例。在该示例中，选择相机(相机A)101-A，并且显示由相机(相机A)101-A捕获的图像300。UI画面叠加在画面的捕获图像上以供用户操作。
用户操作其中显示播放图标的播放操作部301。结果，画面上由所选相机捕获的图像可以被正常操作，包括再现、暂停、快进、倒带、逐帧前进等。这里，在播放图标旁边提供滚动条，其被用手指滚动以执行逐帧前进和后退、快进和倒带。
用户操作相机切换操作部302，其中显示相机切换图标。结果，能够在期望的再现时间将一个相机角度的帧切换到另一个相机角度的帧。在该示例中，当按下按钮“B”时，由相机(相机A)101-A捕获的图像在相同时间点(即，在按下按钮的那一刻)切换到由相机 (相机B)101-B捕获的图像。类似地，当按下按钮“C”时，由相机(相机A)101-A捕获的图像在相同时间点(即，在按下按钮的那一刻)切换到由相机(相机C)101-C捕获的图像。
注意，不仅可以通过按下按钮来切换相机，还可以通过从左到右 (反之亦然)滚动按钮上方的滚动条来切换相机。在使用更多数量的相机的情况下，能够像时间片表示那样再现图像。可以在再现期间或暂停期间切换相机。
(确认装置和每个相机之间的通信序列)
图7是示出确认装置102和每个相机之间在再现时的通信序列示例的图。首先，图7示出了通过逐帧前进显示由相机(相机A)101- A捕获的图像的通信示例。
当前帧的帧编号是“180(#180)”时，确认装置102请求相机 (相机A)101-A传送#180帧的图像数据(在这种情况下，以 JPEG格式压缩和编码的图像数据)。作为响应，相机(相机A) 101-A读取相机(相机A)101-A的帧缓冲器中的#180帧的图像数据，并将该图像数据传送到确认装置102。结果，#180帧的图像数据的图像被显示在确认装置102的面板136上。
接下来，确认装置102类似地请求相机(相机A)101-A传送# 179帧的图像数据。作为响应，相机(相机A)101-A读取相机(相机A)101-A的帧缓冲器中的#179帧的图像数据，并将该图像数据传送到确认装置102。结果，#179帧的图像数据的图像被显示在确认装置102的面板136上。
接下来，确认装置102将相机(相机A)101-A切换到(相机B) 101-B。例如，这对应于当按下图6的UI画面上的相机切换操作部 302的按钮“B”时的操作。在这种情况下，确认装置102请求相机 (相机B)101-B传送#179帧的图像数据。结果，#179帧的图像数据的图像被显示在确认装置102的面板136上。此后将重复类似的操作。
(显示延迟的改进示例)
在上述示例中，确认装置102从每次确认装置102显示由预定相机拍摄的预定帧的图像时拍摄图像的预定相机获取预定帧的图像数据。在这种情况下，不期望地预期根据通信路径的状态延长显示延迟，特别是在确认装置102经由无线LAN连接到每个相机的情况下。
为了改善显示延迟，可以想到确认装置102的存储器132(参见图4)包括帧缓冲器，并且每个相机的待再现内容被预先下载到帧缓冲器。在该实施例中，所有相机的三秒内的JPEG文件被预先缓冲在确认装置102中。在缓冲之后，确认装置102在没有通信(即，关闭)的情况下再现图像，并且不受通信路径的状态的影响。结果，显示延迟得到改善。
图8是示出操作的示例的时序图，其中，预先将待再现的内容从每个相机下载到确认装置102的帧缓冲器。在确认装置102将结束触发信号提供给每个相机并且每个相机停止记录之后，确认装置102立即开始从预定相机获取预定帧的图像数据并显示(即再现)图像。同时，每个相机在后台中将三秒内的JPEG文件(＝运动JPRG/MPEG) 传送到确认装置102。
在每个相机完成传送文件之后，确认装置102不与每个相机通信，而是获取确认装置102的帧缓冲器中的预定帧的图像数据，从而显示由预定相机拍摄的预定帧的图像。以这种方式，显示延迟得到改善，而不受通信路径状态的影响。
图9是示出操作的另一示例的时序图，其中预先将待再现的内容从每个相机下载到确认装置102的帧缓冲器。在该示例中，在后台从相机传送到确认装置102的图像数据不是以JPEG格式压缩的数据，而是由AVC等编码的主流数据。在这种情况下，确认装置102还可以在传送之后对于帧单元将数据编码为JPEG格式等的数据。
如上所述，在图1所示的多相机系统10A中，确认装置102将结束触发信号发送到相机101-A、101-B和101-C中的每个，并且相机101-A、101-B和101-C中的每个从与每个相机接收到结束触发信号的定时相对应的帧开始在预定的过去时间段内将帧编号分配给帧，确认装置102将包括帧编号的传送请求发送到相机101-A、101-B和 101-C中的每个，并且确认装置102显示从预定相机发送的图像数据的图像。因此，用户可以在确认装置102上很好地确认由每个相机捕获的图像。在这种情况下，将相同的帧编号分配给在各个相机拍摄的相同时间点处的帧。结果，能够容易地将在一个时间点处的一个相机角度的帧切换到在相同时间点处的另一个相机角度的帧。
<2.修改示例>
在上述实施例中，由相机101-A、101-B和101-C捕获的图像的图像数据具有60Hz的帧速率。本技术还适用于由相机101-A、101-B 和101-C捕获的图像的图像数据具有另一帧速率(例如，如图5所示的240Hz的高帧速率)的情况。
在上述实施例中，相机的数量是三个。本技术也适用于相机数量为两个、四个或多于四个的情况。
在上述实施例中，每个相机包括控制接口。或者，可以想到相机可以不包括控制接口，并且可以为每个相机提供外部控制设备。
图10示出了该情况的多相机系统10B的配置示例。用相同的附图标记表示图10与图1的部件相对应的部件。与图1中所示的多相机系统10A不同，相机101-A、101-B和101-C中的每个不包括控制接口(控制I/F)。相机101-A、101-B 101-C分别包括与控制接口 (控制I/F)具有类似功能的外部控制设备(控制设备A)101-A、外部控制设备(控制设备B)101-B、外部控制设备(控制设备C) 101-C。
在上述实施例中，提供了独立于相机101-A、101-B和101-C的确认装置102。或者，可以想到可以不提供确认装置102，并且相机 101-A、101-B和101-C中的任何一个也可以用作确认装置。图11示出了该情况的多相机系统10C的配置示例。用相同的附图标记表示图11与图1的部件相对应的部件。
注意，图11中所示的多相机系统10C对应于图1中所示的多相机系统10A。这同样适用于图10中所示的多相机系统10B。图12示出了与图10所示的多相机系统10B相对应的多相机系统10D的配置示例，其详细描述被省略。
<3.应用>
根据本公开的实施例的技术可以应用于各种产品。例如，根据本公开的某些实施例的多相机系统、相机、相机的处理方法、确认装置和/或确认装置的处理方法可以应用于手术室系统。
在一个实施例中，将本技术应用于医疗领域(诸如手术室系统) 允许操作者(例如，外科医生)在医疗过程(例如，手术)期间标记事件以供后续回顾。标记的事件允许操作者或任何其他人稍后在回放期间在多个相机记录的视频之间切换。
例如，如下所述，当结合在手术室系统中时，多相机系统10A 可以包括天花板相机5187、手术视野相机5189和视听控制器5107。根据一个实施例，天花板相机5187对应于相机101-A，手术视野相机5189对应于相机101-B，并且确认装置102结合在视听控制器 5107中。在其他实施例中，确认装置102被提供为单独的设备(例如，诸如智能电话和平板电脑的移动终端、个人计算机等)。
在一个实施例中，确认装置102响应于用户(例如，操作者或外科医生)停止捕获图像的操作，向每个相机(例如，天花板相机 5187和手术视野相机5189)发送结束触发信号。确认装置102可以包括或耦合到由操作者致动作为用户的操作的开关(例如，踏板或按钮)。如上所述，当多个相机(例如，天花板相机5187和手术视野相机5189)中的每个从确认装置102接收到结束触发信号时，每个相机从对应于结束触发信号的帧开始在预定的过去时间段(即，在该实施例中为三秒)内将帧编号分配给帧。例如，第一帧编号是“1”，并且最后的帧编号是“180”。与如上所述类似，当每个相机从确认装置102接收到包括帧编号的传送请求时，每个相机从存储器读取具有指定帧编号的帧的图像数据，并将该图像数据传送到确认装置102。
图13是示意性地描绘可以应用根据本公开的实施例的技术的手术室系统5100的一般配置的视图。参照图13，手术室系统5100被配置为使得安装在手术室中的一组装置被连接，以通过视听(AV) 控制器5107和手术室控制装置5109彼此协作。
在手术室中，可以安装各种装置。在图13中，作为示例，描绘用于内窥镜手术的各种装置组5101、天花板相机5187、手术视野相机5189、多个显示装置5103A至5103D、记录器5105、病床5183 和照明装置5191。天花板相机5187被设置在手术室的天花板上并且对外科医生的手进行成像。手术视野相机5189被设置在手术室的天花板上并且对整个手术室的状态进行成像。
在所述装置中，装置组5101属于下文描述的内窥镜手术系统 5113，并且包括内窥镜、显示由内窥镜拾取的图像的显示装置等。属于内窥镜手术系统5113的各种装置也称为医疗装备。同时，显示装置5103A至5103D、记录器5105、病床5183和照明装置5191是例如与内窥镜手术系统5113分开地配备在手术室中的装置。不属于内窥镜手术系统5113的装置也称为非医疗装备。视听控制器5107和/ 或手术室控制装置5109相互协调地控制医疗装备和非医疗装备的操作。
视听控制器5107整体控制医疗装置和非医疗装置的与图像显示有关的处理。具体地，手术室系统5100中设置的装置中的装置组 5101、天花板相机5187和手术视野相机5189中的每个可以是具有发送手术期间要显示的信息的功能的装置(这种信息在下文中被称为显示信息，并且所述装置在下文中被称为发送源的装置)。同时，显示装置5103A至5103D中的每个可以是显示信息所输出到的装置(该装置在下文中也称为输出目的地的装置)。此外，记录器5105可以是用作发送源的装置和输出目的地的装置两者的装置。视听控制器5107具有控制发送源的装置和输出目的地的装置的操作的功能，以从发送源的装置获取显示信息，并将显示信息发送到输出目的地的装置，以便显示或记录。应注意，显示信息包括在手术期间拾取的各种图像、与手术有关的各种信息(例如，患者的身体信息、过去的检查结果或关于外科手术的信息)等。
具体地，可以将与由内窥镜成像的患者的体腔中的手术区域的图像有关的信息作为来自装置组5101的显示信息发送到视听控制器 5107。此外，可以从天花板相机5187发送与由天花板相机5187拾取的外科医生的手的图像有关的信息作为显示信息。此外，可以从手术视野相机5189发送与由手术视野相机5189拾取的图像有关并且示出整个手术室的状态的信息作为显示信息。要注意的是，如果在手术室系统5100中存在具有图像拾取功能的不同装置，则视听控制器5107 也可以从不同装置获取与由不同装置拾取的图像有关的信息作为显示信息。
或者，例如，在记录器5105中，由视听控制器5107记录与过去拾取的上述图像有关的信息。视听控制器5107可以从记录器5105获取与过去拾取的图像有关的信息作为显示信息。应注意，也可以在记录器5105中预先记录与手术有关的各种信息。
视听控制器5107控制作为输出目的地的装置的显示装置5103A 至5103D中的至少一个，以显示所获取的显示信息(即，在手术期间拾取的图像或与手术有关的各种信息)。在所示的示例中，显示装置5103A是安装成从手术室的天花板悬挂的显示装置；显示装置5103B是安装在手术室的墙面上的显示装置；显示装置5103C是安装在手术室的桌子上的显示装置；并且显示装置5103D是具有显示功能的移动装置(例如，平板个人计算机(PC))。
此外，虽然图13中未示出，但是手术室系统5100可以包括手术室外部的装置。手术室外部的装置可以是例如连接到医院内外构建的网络的服务器、医务人员使用的PC、安装在医院会议室中的投影仪等。在这样的外部装置位于医院外部的情况下，视听控制器5107也能够通过电话会议系统等使显示信息显示在不同医院的显示装置上以执行远程医疗。
手术室控制装置5109整体地控制除了与非医疗装备上的图像显示有关的处理之外的处理。例如，手术室控制装置5109控制病床 5183、天花板相机5187、手术视野相机5189和照明装置5191的驱动。
在手术室系统5100中，设置集中操作面板5111，使得能够通过集中操作面板5111向视听控制器5107发出关于图像显示的指令或者向手术室控制装置5109发出关于非医疗装备的操作的指令。集中操作面板5111通过在显示装置的显示面上设置触摸面板来配置。
图14是描绘操作画面图像在集中操作面板5111上的显示示例的视图。在图14中，作为示例，描绘了如下操作画面图像，其对应于两个显示装置被设置作为手术室系统5100中的输出目的地的装置的情况。参考图14，操作画面图像5193包括发送源选择区域5195、预览区域5197和控制区域5201。
在发送源选择区域5195中，设置在手术室系统5100中的发送源装置和表示发送源装置具有的显示信息的缩略图画面图像以相互关联的方式显示。用户可以从显示在发送源选择区域5195中的任何发送源装置中选择要在显示装置上显示的显示信息。
在预览区域5197中，显示在作为输出目的地的装置的两个显示装置(监视器1和监视器2)上显示的画面图像的预览。在所示的示例中，关于一个显示装置，通过画中画(PinP)显示来显示四个图像。四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。四个图像中的一个以相对大的尺寸显示为主图像，而其余三个图像以相对小的尺寸显示为子图像。用户可以通过从该区域中显示的四个图像中适当地选择一个图像来在主图像和子图像之间进行交换。此外，状态显示区域5199设置在显示四个图像的区域下方，并且可以在状态显示区域5199中适当地显示与手术有关的状态(例如，手术的经过时间、患者的身体信息等)。
在控制区域5201中设置发送源操作区域5203和输出目的地操作区域5205。在发送源操作区域5203中，显示用于执行发送源的装置的操作的图形用户界面(GUI)部。在输出目的地操作区域5205中，显示用于执行输出目的地的装置的操作的GUI部。在所示的示例中，在发送源操作区域5203中设置用于执行具有图像拾取功能的发送源的装置中的相机的各种操作(平移、倾斜和变焦)的GUI部。用户可以通过适当地选择任意GUI部来控制发送源的装置的相机的操作。应注意，尽管未示出，但是在发送源选择区域5195中选择的发送源的装置是记录器的情况下(即，在预览区域5197中显示过去记录在记录器中的图像的情况下)，可以在发送源操作区域5203中设置用于执行诸如图像的再现、再现的停止、倒带、快速走带(fast-feeding) 等操作的GUI部。
此外，在输出目的地操作区域5205中，设置用于执行在作为输出目的地的装置的显示装置上显示的各种操作(交换、翻转、颜色调节、对比度调节以及二维(2D)显示和三维(3D)显示之间的切换) 的GUI部。用户可以通过适当地选择任意GUI部来操作显示装置的显示器。
应注意，要在集中操作面板5111上显示的操作画面图像不限于所描绘的示例，并且用户可能能够通过集中操作面板5111对可以由设置在手术室系统5100中的手术室控制装置5109和视听控制器 5107控制的每个装置执行操作输入。
图15是示出应用了上述手术室系统的手术状态的示例的视图。天花板相机5187和手术视野相机5189设置在手术室的天花板上，使得它可以对给病床5183上的患者5185的患病区域进行治疗的外科医生(医生)5181的手和整个手术室进行成像。天花板相机5187和手术视野相机5189可以包括放大率调节功能、焦距调节功能、成像方向调节功能等。照明装置5191设置在手术室的天花板上，并且至少对外科医生5181的手上照射光。照明装置5191可以被配置成使得可以适当地调节照射光量、照射光的波长(颜色)、光的照射方向等。
内窥镜手术系统5113、病床5183、天花板相机5187、手术视野相机5189和照明装置5191通过视听控制器5107和手术室控制装置 5109(图15中未示出)连接以相互协作，如图13所示。集中操作面板5111设置在手术室中，并且用户可以通过集中操作面板5111适当地操作存在于手术室中的装置，如上所述。
在下文中，详细描述了内窥镜手术系统5113的配置。如图所示，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、在其上支撑内窥镜5115的支撑臂装置5141，以及安装有用于内窥镜手术的各种装置的小车(cart)5151。
在内窥镜手术中，代替切开腹壁以进行剖腹手术，使用称为套管针5139a至5139d的多个管状孔设备来刺穿腹壁。然后，内窥镜 5115的镜筒5117和其他手术工具5131通过套管针5139a至5139d 插入患者5185的体腔中。在所示的示例中，作为其他手术工具5131，将气腹管5133、能量治疗工具5135和钳子5137插入患者5185的体腔中。此外，能量治疗工具5135是用于通过高频电流或超声波振动执行组织的切开和剥离、血管的密封等的治疗工具。然而，所描绘的手术工具5131仅仅是示例，并且作为手术工具5131，可以使用通常用于内窥镜手术的各种手术工具，例如一对镊子或牵开器。
由内窥镜5115拾取的患者5185的体腔中的手术区域的图像显示在显示装置5155上。外科医生5181将在观察实时地显示在显示装置 5155上的手术区域的图像的同时使用能量治疗工具5135或钳子5137，以执行诸如切除患病区域的处理。应注意，尽管未示出，但是在手术期间，由外科医生5181、助手等支撑气腹管5133、能量治疗工具 5135和钳子5137。
(支撑臂装置)
支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括接合部5147a、5147b和5147c以及连杆5149a和5149b，并且在臂控制装置5159的控制下被驱动。内窥镜5115由臂单元5145支撑，从而使得控制内窥镜5115的位置和姿势。因此，可以实现内窥镜5115的位置的稳定固定。
(内窥镜)
内窥镜5115包括镜筒5117，以及连接到镜筒5117的近端的相机头5119，其中镜筒5117具有从其插入患者5185的体腔中的远端预定长度的区域。在所示的示例中，描绘了内窥镜5115，其被配置为具有硬型镜筒5117的硬镜。然而，内窥镜5115可以另外配置为具有软型镜筒5117的软镜。
镜筒5117在其远端具有开口，物镜装配在该开口中。光源装置 5157连接到内窥镜5115，使得由光源装置5157产生的光通过在镜筒 5117的内部延伸的光导引入镜筒5117的远端并且通过物镜朝向患者 5185的体腔内的观察目标照射。应注意，内窥镜5115可以是直视镜，或者可以是透视镜或侧视镜。
光学系统和图像拾取元件设置在相机头5119的内部，使得来自观察目标的反射光(观察光)通过光学系统会聚在图像拾取元件上。观察光由图像拾取元件光电转换以产生对应于观察光的电信号，即，对应于观察图像的图像信号。图像信号作为RAW数据被发送到CCU 5153。应注意，相机头5119具有结合在其中的用于适当地驱动相机头5119的光学系统以调节放大率和焦距的功能。
应注意，为了与例如立体视觉(3D显示)建立兼容性，可以在相机头5119上设置多个图像拾取元件。在这种情况下，多个中继光学系统设置在镜筒5117的内部，以便将观察光引导到多个相应的图像拾取元件。
(小车中结合的各种装置)
CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU) 等，并整体控制内窥镜5115和显示装置5155的操作。具体地，CCU 5153对从相机头5119接收到的图像信号执行用于基于图像信号显示图像的各种图像处理，例如，显影处理(去马赛克处理)。 CCU 5153向显示装置5155提供已经针对其执行了图像处理的图像信号。此外，图13中所示的视听控制器5107连接到CCU 5153。 CCU 5153也向视听控制器5107提供已经针对其执行了图像处理的图像信号。此外，CCU 5153将控制信号发送到相机头5119以控制相机头5119的驱动。控制信号可包括与诸如放大率或焦距的图像拾取条件有关的信息。与图像拾取条件有关的信息可以通过输入装置 5161输入，或者可以通过上述集中操作面板5111输入。
显示装置5155在CCU 5153的控制下显示基于已经由CCU 5153 对其执行了图像处理的图像信号的图像。如果内窥镜5115准备好用于诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等的高分辨率的成像和/或准备好用于 3D显示，则能够通过其进行高分辨率的对应显示和/或3D显示的显示装置可以用作显示装置5155。在装置准备好用于诸如4K或8K的高分辨率成像的情况下，如果用作显示装置5155的显示装置具有等于或不小于55英寸的尺寸，则可以获得更加身临其境的体验。此外，可以根据目的设置具有不同分辨率和/或不同尺寸的多个显示装置 5155。
光源装置5157包括光源(例如发光二极管(LED))，并将用于手术区域的成像的照射光提供给内窥镜5115。
臂控制装置5159包括处理器(例如CPU)，并根据预定程序操作，以根据预定的控制方法控制支撑臂装置5141的臂单元5145的驱动。
输入装置5161是用于内窥镜手术系统5113的输入接口。用户可以通过输入装置5161执行向内窥镜手术系统5113输入各种信息或指令。例如，用户将通过输入装置5161输入与手术有关的各种类型的信息，诸如患者的身体信息、关于手术的手术过程的信息等。此外，用户通过输入装置5161输入例如驱动臂单元5145的指令，改变通过内窥镜5115的图像拾取条件(照射光的类型、放大率、焦距等)的指令、驱动能量处理工具5135的指令等。
输入装置5161的类型不受限制，并且可以是各种已知输入装置中的任何一种。作为输入装置5161，例如，可以应用鼠标、键盘、触摸板、开关、脚踏开关5171和/或杆等。在使用触摸板作为输入装置5161的情况下，它可以设置在显示装置5155的显示面上。
输入装置5161另外是要安装在用户上的设备，例如眼镜型可穿戴设备或头戴式显示器(HMD)，并且响应于由所提到的任何设备检测到的用户的手势或视线执行各种输入。此外，输入装置5161包括可以检测用户的运动的相机，并且响应于从由相机拾取的视频检测到的用户的手势或视线来执行各种输入。此外，输入装置5161包括可以收集用户的语音的麦克风，并且通过经由麦克风的语音执行各种输入。通过以这种方式配置输入装置5161使得可以以非接触方式输入各种信息，尤其是属于洁净区的用户(例如，外科医生5181)可以以非接触方式操作属于非洁净区的装置。此外，由于用户可以在不从其手中释放所拥有的手术工具的情况下操作装置，因此改善了对用户的便利性。
治疗工具控制装置5163控制能量处理工具5135的驱动，以用于组织的烧灼或切开、血管的密封等。气腹装置5165通过气腹管5133 将气体馈送到患者5185的体腔中以使体腔充气，以便确保内窥镜 5115的视野并确保外科医生的工作空间。记录器5167是能够记录与手术有关的各种信息的装置。打印机5169是能够以诸如文本、图像或图形的各种形式打印与手术有关的各种信息的装置。
在下文中，尤其更详细地描述了内窥镜手术系统5113的特征配置。
(支撑臂装置)
支撑臂装置5141包括用作基座的基座单元5143和从基座单元 5143延伸的臂单元5145。在所示的示例中，臂单元5145包括多个接合部5147a、5147b和5147c以及通过接合部5147b彼此连接的多个连杆5149a和5149b。在图15中，为了简化图示，以简化形式描绘臂单元5145的配置。实际上，可以适当地设置接合部5147a至 5147c以及连杆5149a和5149b的形状、数量和布置以及接合部 5147a至5147c的旋转轴的方向等，从而使得臂单元5145具有期望的自由度。例如，臂单元5145可以优选地被包括，使得其具有等于或不小于6个自由度的自由度。这使得能够在臂单元5145的可移动范围内自由地移动内窥镜5115。因此，能够将内窥镜5115的镜筒 5117从期望的方向插入到患者5185的体腔中。
致动器被设置在接合部5147a至5147c中，并且接合部5147a至 5147c包括使得它们可通过致动器的驱动围绕其预定的旋转轴旋转。通过臂控制装置5159控制致动器的驱动，以控制接合部5147a至 5147c中的每个的旋转角度，从而控制臂单元5145的驱动。因此，可以实现对内窥镜5115的位置和姿势的控制。因此，臂控制装置 5159可以通过诸如力控制或位置控制的各种已知控制方法来控制臂单元5145的驱动。
例如，如果外科医生5181通过输入装置5161(包括脚踏开关 5171)适当地执行操作输入，则臂单元5145的驱动可以由臂控制装置5159响应于操作输入而适当地控制以控制内窥镜5115的位置和姿势。在通过刚刚描述的控制将臂单元5145的远端处的内窥镜5115从任意位置移动到不同的任意位置之后，可以将内窥镜5115固定地支撑在移动后的位置处。应注意，可以以主从方式操作臂单元5145。在这种情况下，可以由用户通过放置在远离手术室的地方处的输入装置5161远程控制臂单元5145。
此外，在施加力控制的情况下，臂控制装置5159可以执行动力辅助控制以驱动接合部5147a至5147c的致动器，使得臂单元5145 可以接收通过用户的外力并且随着外力平稳地移动。这使得当用户直接触摸并移动臂单元5145时，可以以相对弱的力移动臂单元5145。因此，用户能够通过更简单和更容易的操作更直观地移动内窥镜 5115，并且可以改善对用户的便利性。
这里，通常在内窥镜手术中，内窥镜5115由称为内窥镜医师 (scopist)的医生支撑。相反，在使用支撑臂装置5141的情况下，可以在不用手的情况下以更高程度的确定性固定内窥镜5115的位置，因此，可以稳定地获得手术区域的图像并且可以平稳地进行手术。
应注意，臂控制装置5159可以不必设置在小车5151上。此外，臂控制装置5159可以不必是单个装置。例如，臂控制装置5159可以设置在支撑臂装置5141的臂单元5145的接合部5147a至5147c中的每个，使得多个臂控制装置5159彼此协作以实现对臂单元5145的驱动控制。
(光源装置)
光源装置5157在对手术区域成像时向内窥镜5115提供照射光。光源装置5157包括白色光源，该白色光源包括例如LED、激光光源或它们的组合。在这种情况下，在白光源包括红色、绿色和蓝色 (RGB)激光光源的组合的情况下，由于可以对于每种颜色(每个波长)高精度地控制输出强度和输出定时，因此可以通过光源装置 5157进行拾取图像的白平衡的调节。此外，在这种情况下，如果来自RGB激光光源的激光束被时分地照射在观察目标上，并且与照射定时同步地控制相机头5119的图像拾取元件的驱动，则可以时分地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使没有为图像拾取元件设置滤色器，也可以获得彩色图像。
此外，可以控制光源装置5157的驱动，使得对于每个预定时间，改变要输出的光的强度。通过与光强度改变的定时同步地控制相机头 5119的图像拾取元件的驱动以时分地获取图像并合成图像，可以创建没有曝光不足的区块阴影和过度曝光的高光的高动态范围的图像。
此外，光源装置5157可以被配置为提供准备好用于特殊光观察的预定波长带的光。在特殊光观察中，例如，通过利用人体组织的光吸收的波长依赖性来与普通观察时的照射光(即白光)相比照射较窄带的光，进行以高对比度对诸如粘膜的表面部分的血管等的预定组织进行成像的窄带光观察(窄带成像)。或者，在特殊光观察中，还可以进行荧光观察，以从由激发光的照射产生的荧光获得图像。在荧光观察中，能够通过在身体组织上照射激发光(自发荧光观察)来进行对来自身体组织的荧光的观察，或者通过将诸如吲哚菁绿(ICG)的试剂局部注入到身体组织中并对身体组织照射与试剂的荧光波长对应的激发光来获得荧光图像。光源装置5157可以被配置为提供这种如上所述的适合于特殊光观察的窄带光和/或激发光。
(相机头和CCU)
参考图16更详细地描述内窥镜5115的相机头5119和CCU 5153的功能。图16是描绘图15中描绘的相机头5119和CCU 5153 的功能配置的示例的框图。
参照图16，相机头5119具有作为其功能的透镜单元5121、图像拾取单元5123、驱动单元5125、通信单元5127和相机头控制单元 5129。此外，CCU 5153具有作为其功能的通信单元5173、图像处理单元5175和控制单元5177。相机头5119和CCU5153通过传输线缆 5179连接成彼此可双向通信。
首先，描述相机头5119的功能配置。透镜单元5121是设置在相机头5119与镜筒5117的连接位置处的光学系统。从镜筒5117的远端取入的观察光被引入相机头5119并进入透镜单元5121。透镜单元 5121包括多个透镜(包括变焦透镜和聚焦透镜)的组合。透镜单元5121具有受调节从而使得观察光会聚在图像拾取单元5123的图像拾取元件的光接收面上的光学特性。此外，变焦透镜和聚焦透镜包括使得其在光轴上的位置是可移动的，以用于调节拾取图像的放大率和焦点。
图像拾取单元5123包括图像拾取元件并且设置在透镜单元5121 的后一级。已经通过透镜单元5121的观察光会聚在图像拾取元件的光接收面上，并且通过光电转换产生与观察图像对应的图像信号。由图像拾取单元5123生成的图像信号被提供给通信单元5127。
作为由图像拾取单元5123包括的图像拾取元件，使用例如具有拜耳阵列并且能够拾取彩色图像的互补金属氧化物半导体(CMOS) 类型的图像传感器。应注意，作为图像拾取元件，可以使用准备好例如用于对等于或不小于4K的高分辨率的图像进行成像的图像拾取元件。如果以高分辨率获得手术区域的图像，则外科医生5181可以以增强的细节理解手术区域的状态并且可以更平稳地进行手术。
此外，由图像拾取单元5123包括的图像拾取元件被配置为使得其具有一对图像拾取元件，用于获取与3D显示兼容的右眼和左眼的图像信号。在应用3D显示的情况下，外科医生5181可以以更高的精度理解手术区域中的活体组织的深度。应注意，如果图像拾取单元5123被配置为多板类型的图像拾取单元5123，则对应于图像拾取单元5123的各个图像拾取元件设置多个系统的透镜单元5121。
图像拾取单元5123可以不必设置在相机头5119上。例如，图像拾取单元5123可以设置在镜筒5117内部的物镜的正后方。
驱动单元5125包括致动器，并且在相机头控制单元5129的控制下沿着光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。因此，可以适当地调节通过图像拾取单元5123的拾取图像的放大率和焦点。
通信单元5127包括用于向CCU 5153发送和从CCU 5153接收各种信息的通信装置。通信单元5127通过传输线缆5179将从图像拾取单元5123获取的图像信号作为RAW数据发送到CCU 5153。因此，为了以低延迟显示手术区域的拾取图像，优选地通过光学通信发送图像信号。这是因为，由于在手术时，外科医生5181在通过拾取图像观察患病区域的状态的同时进行手术，以便以更高的安全性和确定性实现手术，因此需要尽可能实时地显示手术区域的运动图像。在应用光通信的情况下，在通信单元5127中设置用于将电信号转换为光信号的光电转换模块。在通过光电转换模块将图像信号转换为光信号之后，通过传输线缆5179将其发送到CCU 5153。
此外，通信单元5127从CCU 5153接收用于控制相机头5119的驱动的控制信号。控制信号包括与图像拾取条件有关的信息，例如，指定拾取图像的帧速率的信息、指定图像拾取时的曝光值的信息和/ 或指定拾取图像的放大率和焦点的信息。通信单元5127将所接收的控制信号提供给相机头控制单元5129。应注意，也可以通过光通信发送来自CCU 5153的控制信号。在这种情况下，在通信单元5127 中设置用于将光信号转换成电信号的光电转换模块。在通过光电转换模块将控制信号转换成电信号之后，将其提供给相机头控制单元5129。
应注意，诸如帧速率、曝光值、放大率或焦点的图像拾取条件由 CCU 5153的控制单元5177基于所获取的图像信号自动设置。换句话说，自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡 (AWB)功能被结合在内窥镜5115中。
相机头控制单元5129基于通过通信单元5127从CCU 5153接收的控制信号来控制相机头5119的驱动。例如，相机头控制单元5129 基于指定拾取图像的帧速率的信息和/或指定图像拾取时的曝光值的信息控制图像拾取单元5123的图像拾取元件的驱动。此外，例如，相机头控制单元5129基于指定拾取图像的放大率和焦点的信息来控制驱动单元5125以适当地移动透镜单元5121的变焦透镜和聚焦透镜。相机头控制单元5129可以包括用于存储用于识别镜筒5117和/或相机头5119的信息的功能。
应注意，通过将诸如透镜单元5121和图像拾取单元5123的部件设置在具有高气密性和高防水性的密封结构中，可以给相机头5119 提供对高压灭菌器灭菌处理的抵抗力。
现在，描述CCU 5153的功能配置。通信单元5173包括用于向相机头5119发送和从相机头5119接收各种信息的通信装置。通信单元5173接收通过传输线缆5179从相机头5119发送到其的图像信号。于是，图像信号可以优选地通过如上所述的光通信发送。在这种情况下，为了与光通信兼容，通信单元5173包括用于将光信号转换为电信号的光电转换模块。通信单元5173将转换为电信号后的图像信号提供给图像处理单元5175。
此外，通信单元5173向相机头5119发送用于控制相机头5119 的驱动的控制信号。此外，可以通过光通信发送控制信号。
图像处理单元5175对从相机头5119发送到其的以RAW数据的形式的图像信号执行各种图像处理。图像处理包括各种已知的信号处理，例如显影处理、图像质量改进处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5175对用于执行AE、AF和AWB的图像信号执行检测处理。
图像处理单元5175包括诸如CPU或GPU的处理器，并且当处理器根据预定程序进行操作时，可以执行上述图像处理和检测处理。应注意，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号有关的信息，使得通过多个GPU 并行执行图像处理。
控制单元5177执行与内窥镜5001对手术区域的图像拾取和拾取图像的显示有关的各种控制。例如，控制单元5177生成用于控制相机头5119的驱动的控制信号。于是，如果用户输入了图像拾取条件，则控制单元5177基于用户的输入生成控制信号。或者，在内窥镜5115具有结合在其中的AE功能、AF功能和AWB功能的情况下，控制单元5177响应于图像处理单元5175的检测处理的结果适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。
此外，控制单元5177基于已经由图像处理单元5175对其执行了图像处理的图像信号来控制显示装置5155显示手术区域的图像。因此，控制单元5177使用各种图像识别技术识别手术区域图像中的各种对象。例如，控制单元5177可以通过检测包括在手术区域图像中的对象边缘的形状、颜色等来识别诸如镊子的手术工具、特定活体区域、出血、使用能量处理工具5135时的雾等。当控制单元5177控制显示单元5155显示手术区域图像时，其使各种手术支持信息以与使用识别结果的手术区域的图像重叠的方式显示。在手术支持信息以重叠的方式显示并呈现给外科医生5181的情况下，外科医生5181可以更安全和确定地进行手术。
将相机头5119和CCU 5153彼此连接的传输线缆5179是准备好用于电信号通信的电信号电缆、准备好用于光通信的光纤或其复合线缆。
这里，虽然在图中所示的示例中，使用传输线缆5179通过有线通信执行通信，但是相机头5119和CCU 5153之间的通信可以另外通过无线通信来执行。在通过无线通信执行相机头5119和CCU 5153之间的通信的情况下，不需要将传输线缆5179放置在手术室中。因此，可以消除医务人员在手术室中的移动受到传输线缆5179的干扰的情况。
上面已经描述了可以应用根据本公开的实施例的技术的手术室系统5100的示例。这里要注意的是，尽管已经描述了应用手术室系统 5100的医疗系统是内窥镜手术系统5113的情况作为示例，但是手术室系统5100的配置不限于上述示例的配置。例如，手术室系统5100 可以应用于用于检查的软内窥镜系统或微观手术系统，来代替内窥镜手术系统5113。
本公开可以具有以下配置。
(1)一种多相机系统，包括：第一相机装置；第二相机装置；以及信息处理装置，包括通信接口；以及处理电路，配置为接收预定的用户输入；以及响应于所述预定的用户输入，经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，以及经由通信接口向捕获第二视频的第二相机装置发送第二控制信号，其中第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获的第一视频的帧，第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获的第二视频的帧，以及分配给第一视频的帧的第一唯一标识符中的每个与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联。
(2)一种信息处理装置，包括：通信接口；以及处理电路，配置为接收预定的用户输入；以及响应于所述预定的用户输入，经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，以及经由通信接口向捕获第二视频的第二相机装置发送第二控制信号，其中第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获的第一视频的帧，第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获的第二视频的帧，以及分配给第一视频的帧的第一唯一标识符中的每个与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联。
(3)根据特征(2)所述的信息处理装置，其中，第一相机装置的视野不同于第二相机装置的视野。
(4)根据特征(2)或(3)所述的信息处理装置，其中，所分配的第一唯一标识符和第二唯一标识符指示第一视频的帧与第二视频的帧之间的一对一对应关系。
(5)根据特征(2)至(4)中任一项所述的信息处理装置，其中，第一唯一标识符和第二唯一标识符是相同的唯一标识符。
(6)根据特征(2)至(5)中任一项所述的信息处理装置，其中，第一控制信号使第一相机装置将第一唯一标识符分配给第一视频的总帧数中的多个帧，所述多个帧少于第一视频的总帧数，以及第二控制信号使第二相机装置将第二唯一标识符分配给第二视频的与所述多个帧相同数量的帧。
(7)根据特征(2)至(6)中任一项所述的信息处理装置，其中，第一控制信号使第一相机装置以捕获的相反顺序分配第一唯一标识符，以及第二控制信号使第二相机装置以捕获的相反顺序分配第二唯一标识符。
(8)一种信息处理装置，包括：通信接口；以及处理电路，配置为经由通信接口向捕获第一视频的第一相机装置发送第一视频的帧的第一唯一标识符；响应于所发送的第一唯一标识符，从第一相机装置接收包括与第一唯一标识符对应的帧的第一视频的至少一个帧，第一视频的所述至少一个帧中的每个帧对应于多个第一唯一标识符中的不同的一个；输出第一视频的至少一个视频帧中的一个或多个，以显示给用户；在输出第一视频的所述至少一个视频帧中的所述一个或多个以显示给用户期间接收预定的用户输入；以及响应于所接收的预定的用户输入，经由通信接口向捕获第二视频的第二相机装置发送第二视频的帧的第二唯一标识符，第二唯一标识符与第一视频的所述至少一个帧中的一个的第一唯一标识符相关联，响应于所发送的第二唯一标识符，从第二相机装置接收包括与第二唯一标识符对应的帧的第二视频的至少一个帧，第二视频的所述至少一个帧中的每个帧对应于多个第二唯一标识符中的不同的一个，以及输出第二视频的至少一个视频帧中的一个或多个，以显示给用户。
(9)根据特征(8)所述的信息处理装置，其中，
第一相机装置的视野不同于第二相机装置的视野。
(10)根据特征(8)或(9)所述的信息处理装置，其中，
第一唯一标识符和第二唯一标识符是相同的唯一标识符。
(11)一种存储指令的非暂态计算机可读介质，所述指令在由计算机执行时使所述计算机执行控制相机以向所捕获的视频的帧分配唯一标识符的方法，所述方法包括：接收预定的用户输入；以及响应于所述预定的用户输入，经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，以及经由通信接口向捕获第二视频的第二相机装置发送第二控制信号，其中第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获的第一视频的帧，第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获的第二视频的帧，以及分配给第一视频的帧的第一唯一标识符中的每个与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联。
(12)根据特征(11)所述的非暂态计算机可读介质，其中，第一相机装置的视野不同于第二相机装置的视野。
(13)根据特征(11)或(12)所述的非暂态计算机可读介质，其中，所分配的第一唯一标识符和第二唯一标识符指示第一视频的帧与第二视频的帧之间的一对一对应关系。
(14)根据特征(11)至(13)中任一项所述的非暂态计算机可读介质，其中，第一唯一标识符和第二唯一标识符是相同的唯一标识符。
(15)根据特征(11)至(14)中任一项所述的非暂态计算机可读介质，其中，第一控制信号使第一相机装置将第一唯一标识符分配给第一视频的总帧数中的多个帧，所述多个帧少于第一视频的总帧数，以及第二控制信号使第二相机装置将第二唯一标识符分配给第二视频的与所述多个帧数量相同的帧。
(16)根据特征(11)至(15)中任一项所述的非暂态计算机可读介质，其中，第一控制信号使第一相机装置以捕获的相反顺序分配第一唯一标识符，以及第二控制信号使第二相机装置以捕获的相反顺序分配第二唯一标识符。
(17)一种存储指令的非暂态计算机可读介质，所述指令在由计算机执行时使所述计算机执行回放由多个相机记录的视频的方法，所述方法包括：经由通信接口向捕获第一视频的第一相机装置发送第一视频的帧的第一唯一标识符；响应于所发送的第一唯一标识符，从第一相机装置接收包括与第一唯一标识符对应的帧的第一视频的至少一个帧，第一视频的所述至少一个帧中的每个对应于多个第一唯一标识符中的不同的一个；输出第一视频的至少一个视频帧中的一个或多个，以显示给用户；在输出第一视频的所述至少一个视频帧中的所述一个或多个以显示给用户期间接收用户输入；以及响应于所接收的用户输入，经由通信接口向捕获第二视频的第二相机装置发送第二视频的帧的第二唯一标识符，第二唯一标识符与第一视频的所述至少一个帧中的一个的第一唯一标识符相关联，响应于所发送的第二唯一标识符，从第二相机装置接收包括与第二唯一标识符对应的帧的第二视频的至少一个帧，第二视频的所述至少一个帧中的每个对应于多个第二唯一标识符中的不同的一个，以及输出第二视频的至少一个视频帧中的一个或多个，以显示给用户。
(18)根据特征(17)所述的非暂态计算机可读介质，其中，第一相机装置的视野不同于第二相机装置的视野。
(19)根据特征(17)或(18)所述的非暂态计算机可读介质，其中，第一唯一标识符和第二唯一标识符是相同的唯一标识符。
本公开还可以具有以下配置。
(1)一种多相机系统，包括：
多个相机；以及
经由导线或无线地连接到所述多个相机的确认装置，
每个相机包括：
成像器，
存储器，其写入由成像器捕获的帧的图像数据，以及
控制单元，其控制当从确认装置接收到结束触发信号时，在从对应于接收结束触发信号的定时的帧开始的预定过去时间段内向帧分配帧编号的处理，以及当从确认装置接收到包括帧编号的传送请求时，从存储器中读取由帧编号指定的帧的图像数据并传送到确认装置的处理，
确认装置包括：
显示器，以及
控制单元，其控制向所述多个相机中的每个发送结束触发信号的处理，将包括帧编号的传送请求发送到从所述多个相机中选择的预定相机的处理，以及接收由从预定相机传送的帧编号指定的帧的图像数据，并在显示器上显示图像数据的图像的处理。
(2)根据(1)所述的多相机系统，其中
所述多个相机以不同的角度捕获相同对象的图像。
(3)一种相机，包括：
成像器，
存储器，其写入由成像器捕获的帧的图像数据，以及
控制单元，其控制当从确认装置接收到结束触发信号时，在从对应于接收结束触发信号的定时的帧开始的预定过去时间段内向帧分配帧编号的处理，以及当从确认装置接收到包括帧编号的传送请求时，从存储器中读取由帧编号指定的帧的图像数据并传送到确认装置的处理。
(4)根据(3)所述的相机，其中
帧的图像数据被帧内压缩，并被写入存储器，并且
由帧编号指定的帧的帧内压缩图像数据被传送到确认装置。
(5)根据(3)或(4)所述的相机，其中
每帧的图像数据被循环记录在存储器中至少预定时间或更长时间。
(6)一种相机的处理方法，所述相机包括成像器和写入由所述成像器捕获的帧的图像数据的存储器，所述方法包括以下步骤：
当从确认装置接收到结束触发信号时，在从对应于接收结束触发信号的定时的帧开始的预定过去时间段内向帧分配帧编号，以及
当从确认装置接收到包括帧编号的传送请求时，从存储器中读取由帧编号指定的帧的图像数据并将图像数据传送到确认装置。
(7)一种确认装置，包括：
显示器；以及
控制单元，其控制向多个相机中的每个发送结束触发信号的处理，将包括帧编号的传送请求发送到从所述多个相机中选择的预定相机的处理，以及接收由从预定相机传送的帧编号指定的帧的图像数据，并在显示器上显示该图像数据的图像的处理。
(8)根据(7)所述的确认装置，还包括：
操作部，被配置为将由预定相机拍摄的图像切换到由另一相机拍摄的图像。
(9)根据(8)所述的确认装置，其中
操作部是布置在显示器的屏幕上的触摸板。
(10)根据权利要求9所述的确认装置，其中
在显示器上显示按钮和/或滚动条，该按钮和/或滚动条被配置为将由预定相机拍摄的图像切换到由另一相机拍摄的图像。
(11)一种确认装置的处理方法，所述确认装置包括显示器，所述方法包括以下步骤：
向多个相机中的每个发送结束触发信号；
将包括帧编号的传送请求发送到从所述多个相机中选择的预定相机；以及
接收由从预定相机传送的帧编号指定的帧的图像数据，并在显示器上显示该图像数据的图像。
附图标记列表
10A、10B、10C、10D 多相机系统
101、101-A、101-B和101-C 相机
102 确认装置
103-A、103-B、103-C 控制设备
111 CPU
112 存储器
113 成像器/透镜
114 相机信号处理单元
115 编解码处理单元
116 面板处理单元
117 面板
118 有线通信处理单元
119 有线LAN终端
120 无线通信处理单元
121 天线
131 CPU
132 存储器
133 编解码处理单元
134 图形处理单元
135 面板处理单元
136 面板
137 有线通信处理单元
138 有线LAN终端
139 无线通信处理单元
140 天线

Claims (19)

1.一种多相机系统，包括：
第一相机装置；
第二相机装置；以及
信息处理装置，包括
通信接口；以及
处理电路，配置为
接收预定的用户输入；以及
响应于所述预定的用户输入，
经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，以及
经由通信接口向捕获第二视频的第二相机装置发送第二控制信号，其中
第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获并且被记录在第一相机装置的帧缓冲器中的第一视频的帧，
第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获并且被记录在第二相机装置的帧缓冲器中的第二视频的帧，
分配给第一视频的帧的第一唯一标识符中的每个与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联，
第一唯一标识符和第二唯一标识符包括帧编号，
第一相机装置的帧缓冲器中的第一编号帧对应于接收到第一控制信号的定时，以及
第二相机装置的帧缓冲器中的第一编号帧对应于接收到第二控制信号的定时。
2.一种信息处理装置，包括：
通信接口；以及
处理电路，配置为
接收预定的用户输入；以及
响应于所述预定的用户输入，
经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，以及
经由通信接口向捕获第二视频的第二相机装置发送第二控制信号，其中
第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获并且被记录在第一相机装置的帧缓冲器中的第一视频的帧，
第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获并且被记录在第二相机装置的帧缓冲器中的第二视频的帧，
分配给第一视频的帧的第一唯一标识符中的每个与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联，
第一唯一标识符和第二唯一标识符包括帧编号，
第一相机装置的帧缓冲器中的第一编号帧对应于接收到第一控制信号的定时，以及
第二相机装置的帧缓冲器中的第一编号帧对应于接收到第二控制信号的定时。
3.根据权利要求2所述的信息处理装置，其中，
第一相机装置的视野不同于第二相机装置的视野。
4.根据权利要求2所述的信息处理装置，其中，所分配的第一唯一标识符和第二唯一标识符指示第一视频的帧与第二视频的帧之间的一对一对应关系。
5.根据权利要求2所述的信息处理装置，其中，第一唯一标识符和第二唯一标识符是相同的唯一标识符。
6.根据权利要求2所述的信息处理装置，其中，
第一控制信号使第一相机装置将第一唯一标识符分配给第一视频的总帧数中的第一多个帧，所述第一多个帧少于第一视频的总帧数，
第二控制信号使第二相机装置将第二唯一标识符分配给第二视频的第二多个帧，以及
所述第一多个帧等于所述第二多个帧。
7.根据权利要求2所述的信息处理装置，其中，
第一控制信号使第一相机装置以捕获的相反顺序分配第一唯一标识符，以及
第二控制信号使第二相机装置以捕获的相反顺序分配第二唯一标识符。
8.一种信息处理装置，包括：
通信接口；以及
处理电路，配置为
经由通信接口向捕获第一视频的第一相机装置发送第一视频的帧的第一唯一标识符；
响应于所发送的第一唯一标识符，从第一相机装置接收包括与第一唯一标识符对应的帧的第一视频的一个或多个帧，第一视频的所述一个或多个帧中的每个帧对应于多个第一唯一标识符中的不同的一个；
输出第一视频的所述一个或多个帧，以显示给用户；
在输出第一视频的所述一个或多个帧以显示给用户期间接收预定的用户输入；以及
响应于所接收的预定的用户输入，
经由通信接口向第二相机装置发送第二视频的帧的第二唯一标识符，该第二相机装置捕获第二视频并且将该帧记录在第二相机装置的帧缓冲器中，第二唯一标识符与第一视频的帧的第一唯一标识符相关联，
响应于所发送的第二唯一标识符，从第二相机装置的帧缓冲器接收包括与来自第二相机装置的第二唯一标识符对应的帧的第二视频的一个或多个帧，第二视频的所述一个或多个帧对应于多个第二唯一标识符中的不同的一个，以及
输出第二视频的所述一个或多个帧，以显示给用户，
其中第一唯一标识符和第二唯一标识符包括帧编号，以及
其中与来自第二相机装置的第二唯一标识符对应的帧是第二相机装置的帧缓冲器中与接收到所述预定的用户输入的定时对应的第一编号帧。
9.根据权利要求8所述的信息处理装置，其中，
第一相机装置的视野不同于第二相机装置的视野。
10.根据权利要求8所述的信息处理装置，其中，
第一唯一标识符和第二唯一标识符是相同的唯一标识符。
11.一种存储指令的非暂态计算机可读介质，所述指令在由计算机执行时使所述计算机执行控制相机以向所捕获的视频的帧分配唯一标识符的方法，所述方法包括：
接收预定的用户输入；以及
响应于所述预定的用户输入，
经由通信接口向捕获第一视频的第一相机装置发送第一控制信号，以及
经由通信接口向捕获第二视频的第二相机装置发送第二控制信号，其中
第一控制信号使第一相机装置将第一唯一标识符分配给由第一相机装置捕获并且被记录在第一相机装置的帧缓冲器中的第一视频的帧，
第二控制信号使第二相机装置将第二唯一标识符分配给由第二相机装置捕获并且被记录在第二相机装置的帧缓冲器中的第二视频的帧，
分配给第一视频的帧的第一唯一标识符中的每个与分配给第二视频的帧的第二唯一标识符中的不同的一个相关联，以及
第一唯一标识符和第二唯一标识符包括帧编号，
第一相机装置的帧缓冲器中的第一编号帧对应于接收到第一控制信号的定时，以及
第二相机装置的帧缓冲器中的第一编号帧对应于接收到第二控制信号的定时。
12.根据权利要求11所述的非暂态计算机可读介质，其中，第一相机装置的视野不同于第二相机装置的视野。
13.根据权利要求11所述的非暂态计算机可读介质，其中，所分配的第一唯一标识符和第二唯一标识符指示第一视频的帧与第二视频的帧之间的一对一对应关系。
14.根据权利要求11所述的非暂态计算机可读介质，其中，第一唯一标识符和第二唯一标识符是相同的唯一标识符。
15.根据权利要求11所述的非暂态计算机可读介质，其中，
第一控制信号使第一相机装置将第一唯一标识符分配给第一视频的总帧数中的第一多个帧，所述第一多个帧少于第一视频的总帧数，
第二控制信号使第二相机装置将第二唯一标识符分配给第二视频的第二多个帧，以及
所述第一多个帧等于所述第二多个帧。
16.根据权利要求11所述的非暂态计算机可读介质，其中，
第一控制信号使第一相机装置以捕获的相反顺序分配第一唯一标识符，以及
第二控制信号使第二相机装置以捕获的相反顺序分配第二唯一标识符。
17.一种存储指令的非暂态计算机可读介质，所述指令在由计算机执行时使所述计算机执行回放由多个相机记录的视频的方法，所述方法包括：
经由通信接口向捕获第一视频的第一相机装置发送第一视频的帧的第一唯一标识符；
响应于所发送的第一唯一标识符，从第一相机装置接收包括与第一唯一标识符对应的帧的第一视频的一个或多个帧，第一视频的所述一个或多个帧中的每个对应于多个第一唯一标识符中的不同的一个；
输出第一视频的所述一个或多个帧，以显示给用户；
在输出第一视频的所述一个或多个帧以显示给用户期间接收预定的用户输入；以及
响应于所接收的预定的用户输入，
经由通信接口向第二相机装置发送第二视频的帧的第二唯一标识符，该第二相机装置捕获第二视频并且将该帧记录在第二相机装置的帧缓冲器中，第二唯一标识符与第一视频的帧的第一唯一标识符相关联，
响应于所发送的第二唯一标识符，从第二相机装置的帧缓冲器接收包括与来自第二相机装置的第二唯一标识符对应的帧的第二视频的一个或多个帧，第二视频的所述一个或多个帧中的每个对应于多个第二唯一标识符中的不同的一个，以及
输出第二视频的所述一个或多个帧，以显示给用户，
其中第一唯一标识符和第二唯一标识符包括帧编号，以及
其中与来自第二相机装置的第二唯一标识符对应的帧是第二相机装置的帧缓冲器中与接收到所述预定的用户输入的定时对应的第一编号帧。
18.根据权利要求17所述的非暂态计算机可读介质，其中，第一相机装置的视野不同于第二相机装置的视野。
19.根据权利要求17所述的非暂态计算机可读介质，其中，第一唯一标识符和第二唯一标识符是相同的唯一标识符。
CN201780048110.7A 2016-08-09 2017-08-02 多相机系统、信息处理装置以及非暂态计算机可读介质 Active CN109565563B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-156717 2016-08-09
JP2016156717A JP6747158B2 (ja) 2016-08-09 2016-08-09 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
PCT/JP2017/028096 WO2018030238A2 (en) 2016-08-09 2017-08-02 Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus

Publications (2)

Publication Number Publication Date
CN109565563A CN109565563A (zh) 2019-04-02
CN109565563B true CN109565563B (zh) 2022-04-26

Family

ID=60953917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048110.7A Active CN109565563B (zh) 2016-08-09 2017-08-02 多相机系统、信息处理装置以及非暂态计算机可读介质

Country Status (5)

Country Link
US (2) US11025877B2 (zh)
EP (1) EP3434007A2 (zh)
JP (1) JP6747158B2 (zh)
CN (1) CN109565563B (zh)
WO (1) WO2018030238A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
US10750077B1 (en) 2019-02-20 2020-08-18 Himax Imaging Limited Camera system with multiple camera
EP3930302A4 (en) * 2019-02-21 2022-04-13 Sony Group Corporation DATA TRANSMISSION SYSTEM, DATA TRANSMISSION METHOD AND COMPUTER PROGRAM
TWI702566B (zh) * 2019-03-20 2020-08-21 恆景科技股份有限公司 相機系統
CN113010738B (zh) * 2021-02-08 2024-01-30 维沃移动通信（杭州）有限公司 视频处理方法、装置、电子设备及可读存储介质
CN116366780B (zh) * 2023-04-10 2024-04-02 小米汽车科技有限公司 用于帧同步的帧序号确定方法、装置及车辆
CN117528262B (zh) * 2023-12-29 2024-04-05 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2429236A1 (en) * 2000-11-16 2002-05-23 Vr Interactive Corporation Inward-looking imaging system
JP2004253872A (ja) * 2003-02-18 2004-09-09 Canon Inc 映像入力装置
JP2012039558A (ja) * 2010-08-11 2012-02-23 Casio Comput Co Ltd 基準画像特定装置、及び、プログラム
WO2016002134A1 (en) * 2014-07-03 2016-01-07 Sony Corporation Information processing apparatus, information processing method, and program
WO2016061516A1 (en) * 2014-10-17 2016-04-21 Digital Ally, Inc. Forensic video recording with presence detection
CN105681632A (zh) * 2015-12-31 2016-06-15 深圳市华途数字技术有限公司 多目摄像机及其帧同步的方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US432897A (en) * 1890-07-22 End-gate for wagons
US7190882B2 (en) * 2001-03-19 2007-03-13 Applied Concepts, Inc. In-car digital video recording with MPEG-4 compression for police cruisers and other vehicles
WO2002087218A2 (en) * 2001-04-20 2002-10-31 Kewazinga Corp. Navigable camera array and viewer therefore
US20030222981A1 (en) * 2002-06-04 2003-12-04 Kisak Jeffrey James Locomotive wireless video recorder and recording system
JP4186520B2 (ja) 2002-06-21 2008-11-26 ソニー株式会社 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム
JP3937332B2 (ja) * 2003-03-11 2007-06-27 ソニー株式会社 撮影システム
FI20031657A (fi) * 2003-11-14 2005-05-15 Nokia Corp Langaton monikamerajärjestelmä
JP2009111518A (ja) * 2007-10-26 2009-05-21 Casio Comput Co Ltd 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP5096259B2 (ja) 2008-08-07 2012-12-12 日本電信電話株式会社 要約コンテンツ生成装置および要約コンテンツ生成プログラム
CN101751677B (zh) * 2008-12-17 2013-01-02 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
US20100195978A1 (en) * 2009-02-03 2010-08-05 Ekchian Gregory J System to facilitate replay of multiple recordings of a live event
JP4525834B2 (ja) 2009-05-25 2010-08-18 株式会社ニコン 画像出力装置
CN101668160B (zh) 2009-09-10 2012-08-29 华为终端有限公司 视频图像数据处理方法、装置及视频会议系统及终端
JP5402431B2 (ja) * 2009-09-11 2014-01-29 沖電気工業株式会社 カメラ制御装置
JP5622167B2 (ja) 2010-02-25 2014-11-12 カシオ計算機株式会社 動画撮像装置、撮影方法、及びプログラム
US20120098925A1 (en) * 2010-10-21 2012-04-26 Charles Dasher Panoramic video with virtual panning capability
JP2012151795A (ja) * 2011-01-21 2012-08-09 Sony Corp 映像記録装置と映像記録制御方法
JP5316588B2 (ja) 2011-05-30 2013-10-16 沖電気工業株式会社 映像配信システム及び方法
US8867886B2 (en) * 2011-08-08 2014-10-21 Roy Feinson Surround video playback
US20130177294A1 (en) * 2012-01-07 2013-07-11 Aleksandr Kennberg Interactive media content supporting multiple camera views
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
US20140211027A1 (en) * 2013-01-31 2014-07-31 Honeywell International Inc. Systems and methods for managing access to surveillance cameras
US9762865B2 (en) * 2013-03-15 2017-09-12 James Carey Video identification and analytical recognition system
KR20150018125A (ko) 2013-08-09 2015-02-23 엘지전자 주식회사 전자 디바이스 및 전자 디바이스와 통신하는 단말기
US9159371B2 (en) * 2013-08-14 2015-10-13 Digital Ally, Inc. Forensic video recording with presence detection
US9467643B2 (en) * 2014-01-06 2016-10-11 Progress Rail Services Corporation Event recorder playback with integrated GPS mapping
JP6326892B2 (ja) 2014-03-20 2018-05-23 大日本印刷株式会社 撮像システム、撮像方法、画像再生装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2429236A1 (en) * 2000-11-16 2002-05-23 Vr Interactive Corporation Inward-looking imaging system
JP2004253872A (ja) * 2003-02-18 2004-09-09 Canon Inc 映像入力装置
JP2012039558A (ja) * 2010-08-11 2012-02-23 Casio Comput Co Ltd 基準画像特定装置、及び、プログラム
WO2016002134A1 (en) * 2014-07-03 2016-01-07 Sony Corporation Information processing apparatus, information processing method, and program
WO2016061516A1 (en) * 2014-10-17 2016-04-21 Digital Ally, Inc. Forensic video recording with presence detection
CN105681632A (zh) * 2015-12-31 2016-06-15 深圳市华途数字技术有限公司 多目摄像机及其帧同步的方法

Also Published As

Publication number Publication date
EP3434007A2 (en) 2019-01-30
US20190191139A1 (en) 2019-06-20
CN109565563A (zh) 2019-04-02
JP6747158B2 (ja) 2020-08-26
JP2018026676A (ja) 2018-02-15
WO2018030238A3 (en) 2018-05-24
US11025877B2 (en) 2021-06-01
US11323679B2 (en) 2022-05-03
WO2018030238A2 (en) 2018-02-15
US20210250566A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
CN109565563B (zh) 多相机系统、信息处理装置以及非暂态计算机可读介质
US11694725B2 (en) Information processing apparatus and information processing method
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11671872B2 (en) Communication system and transmission apparatus
US11910105B2 (en) Video processing using a blended tone curve characteristic
CN110771102B (zh) 通信系统和控制设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant