CN108353144B - 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法 - Google Patents

多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法 Download PDF

Info

Publication number
CN108353144B
CN108353144B CN201780003878.2A CN201780003878A CN108353144B CN 108353144 B CN108353144 B CN 108353144B CN 201780003878 A CN201780003878 A CN 201780003878A CN 108353144 B CN108353144 B CN 108353144B
Authority
CN
China
Prior art keywords
camera
video
thumbnail
user
camera apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780003878.2A
Other languages
English (en)
Other versions
CN108353144A (zh
Inventor
金子哲夫
饭塚恭弘
内田和弘
中塚盛雄
宇佐美真之介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108353144A publication Critical patent/CN108353144A/zh
Application granted granted Critical
Publication of CN108353144B publication Critical patent/CN108353144B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras

Abstract

一种多摄像机系统,包括第一摄像机设备、第二摄像机设备及信息处理设备。所述信息处理设备包括通信接口和处理电路,所述处理电路在第一摄像机设备拍摄第一视频,和第二摄像机设备拍摄第二视频的时候,接收来自用户的预定请求。响应所述预定请求,所述处理电路向第一摄像机设备发送使第一摄像机设备生成第一视频的帧的第一缩略图的第一控制信号,和向第二摄像机设备发送使第二摄像机设备生成第二视频的帧的第二缩略图的第二控制信号。所述处理电路从第一摄像机设备接收第一缩略图,和从第二摄像机设备接收第二缩略图。

Description

多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设 备处理方法
相关申请的交叉引用
本申请要求2016年9月12日提交的日本专利申请JP 2016-177409的优先权,该申请的整个内容通过引用包含在本文中。
技术领域
本技术涉及多摄像机系统,摄像机,摄像机处理方法,确认设备和确认设备处理方法。
背景技术
在利用数十个摄像机同时拍摄视频的情况下,确认是否利用每个摄像机,如预期地成功拍摄视频涉及在摄像机本身上重放各个文件,或者在个人计算机上下载并一次一个地重放文件,这很费时间。另外,除非视频被重放,否则不知道绝对想要记录的时刻(场景)是否被包含在视频中。此外,在打算用相同的设定进行拍摄时,在一些情况下,在现场可能不会注意到在摄像机之间,设定是不同的。
例如,PTL 1公开一种生成多个静止图像和视频的缩略图图像,使得能够在短时间内搜索视频内容,从而找出想要的内容的技术。然而,就这种技术来说,不能确认是否由多个摄像机中的每个摄像机,如预期地成功拍摄视频。
[引文列表]
[专利文献]
[PTL 1]JP 2005-117369A
发明内容
[技术问题]
本技术的一个目的是使得能够顺利地确认是否由多个摄像机中的每个摄像机,如预期地成功拍摄视频。
[问题的解决方案]
按照本公开的一个实施例,提供一种多摄像机系统,包括第一摄像机设备、第二摄像机设备和信息处理设备。信息处理设备包括通信接口,和处理电路,所述处理电路被配置成在第一摄像机设备拍摄第一视频,和第二摄像机设备拍摄第二视频的时候,接收来自用户的预定请求。所述处理电路被配置成响应所述预定请求,通过通信接口,向第一摄像机设备发送使第一摄像机设备生成第一视频的帧的第一缩略图的第一控制信号,和通过通信接口,向第二摄像机设备发送使第二摄像机设备生成第二视频的帧的第二缩略图的第二控制信号。所述处理电路还被配置成从第一摄像机设备接收第一缩略图,和从第二摄像机设备接收第二缩略图。
按照本公开的一个实施例,提供一种信息处理设备,包括通信接口,和处理电路,所述处理电路被配置成在第一摄像机设备拍摄第一视频,和第二摄像机设备拍摄第二视频的时候,接收来自用户的预定请求。所述处理电路被配置成响应所述预定请求,通过通信接口,向第一摄像机设备发送使第一摄像机设备生成第一视频的帧的第一缩略图的第一控制信号,和通过通信接口,向第二摄像机设备发送使第二摄像机设备生成第二视频的帧的第二缩略图的第二控制信号。所述处理电路还被配置成从第一摄像机设备接收第一缩略图,和从第二摄像机设备接收第二缩略图。
按照本公开的一个实施例,提供一种保存指令的非临时性计算机可读介质,当由计算机执行时,所述指令使计算机进行获得缩略图的方法,所述方法包括在第一摄像机设备拍摄第一视频,和第二摄像机设备拍摄第二视频的时候,接收来自用户的预定请求。所述方法包括响应所述预定请求,向第一摄像机设备发送使第一摄像机设备生成第一视频的帧的第一缩略图的第一控制信号,和向第二摄像机设备发送使第二摄像机设备生成第二视频的帧的第二缩略图的第二控制信号。所述方法还包括从第一摄像机设备接收第一缩略图,和从第二摄像机设备接收第二缩略图。
[本发明的有益效果]
按照本技术的一个实施例,可顺利地确认是否利用多个摄像机中的每个摄像机,如预期地成功拍摄视频。注意,记载在本说明书中的有益效果仅仅是示例,而不是限制性的,可存在另外的有益效果。
附图说明
图1是图解说明多摄像机系统的例证构成的方框图。
图2A是图解说明多个摄像机的安装状态的示图。
图2B是图解说明多个摄像机的安装状态的示图。
图3是图解说明显示在确认设备的显示器上的UI画面的例子的示图,通过该UI画面,用户进行开始和停止记录的操作,以及标记操作。
图4是图解说明显示在确认设备的显示器上的UI画面的例子的示图,通过该UI画面,用户进行使某些定时的缩略图图像被显示在显示器上的选择操作。
图5是图解说明摄像机的例证构成的方框图。
图6是图解说明确认设备的例证构成的方框图。
图7是用于说明多个摄像机和确认设备的动作的例子的定时图。
图8是说明从多个摄像机发送给确认设备的摄像机信息的示图。
图9是图解说明显示在确认设备的显示器(面板)上的确认画面的例子的示图。
图10是图解说明在对警告图标进行操作的情况下的确认画面的例子的示图。
图11是图解说明允许缩略图图像的切换的确认画面的例子的示图。
图12是说明多个摄像机和确认设备的动作的另一例子的定时图。
图13是图解说明显示在确认设备的显示器(面板)上的各个摄像机的设定和状态的列表显示的例子的示图。
图14是图解说明多摄像机系统的另一例证构成的示图。
图15是图解说明多摄像机系统的另一例证构成的方框图。
图16是图解说明多摄像机系统的另一例证构成的方框图。
图17是图解说明多摄像机系统的另一例证构成的方框图。
图18是示意描述手术室系统的一般构成的视图。
图19是描述集中操作面板的操作画面图像的显示的例子的视图。
图20是图解说明手术室系统被应用于的手术的状态的例子的视图。
图21是描述图20中所示的摄像头和摄像机控制单元(CCU)的功能构成的例子的方框图。
具体实施方式
下面将说明用于实现本技术的实施例(下面称为例证实施例)。下面将按照以下顺序进行说明。
1.实施例
2.变形例
3.应用
<<1.实施例>>
<多摄像机系统的例证构成>
图1图解说明作为一个实施例的多摄像机系统10A的例证构成。多摄像机系统10A包括多个(这种情况下,3个)摄像机(视频摄影机),即,摄像机(摄像机A)101-A、摄像机(摄像机B)101-B和摄像机(摄像机C)101-C。另外,多摄像机系统10A包括由移动终端(比如智能电话机或平板电脑)或者个人计算机(PC)构成的确认设备102。
摄像机101-A、101-B和101-C有线或无线地连接到LAN中的确认设备102。例如,确认设备102构成主设备,而各个摄像机101-A、101-B和101-C构成从属设备。
图2A图解说明摄像机101-A、101-B和101-C的安装状态的例子。在这个例子中,摄像机101-A、101-B和101-C被布置成围绕被摄物体。利用各个摄像机,角度彼此不同地拍摄被摄物体。图2B图解说明摄像机101-A、101-B和101-C的安装状态的另一例子。在这个例子中,摄像机101-A、101-B和101-C在水平方向排列起来。利用各个摄像机,在相邻摄像机拍摄的图像中存在交叠地拍摄被摄物体,以便创建全景图像。
利用确认设备102,用户能够进行开始和停止各个摄像机的记录的操作。另外,在确认设备102中,用户能够进行标记操作。图3图解说明显示在确认设备102的显示器上的UI画面的例子,通过该UI画面,用户进行开始和停止记录的操作,以及标记操作。用户能够利用“开始”按钮151,进行开始记录的操作,能够利用“停止”按钮152,进行停止记录的操作。另外,用户能够利用“标记”按钮153,进行标记操作。标记操作不限于在从记录开始到记录结束的区间内进行1次,也可以进行多次。
确认设备102按照用户进行的开始和停止记录的操作,向各个摄像机发送开始和停止记录的指令信号(命令)。各个摄像机通过构成通信部分的控制接口(控制I/F),接收所述指令信号,并按照所述指令执行动作。这种情况下,各个摄像机在从记录开始到记录结束的特定区间中,进行把通过利用成像器成像而获得的图像数据写入存储器的处理。注意,各个摄像机的控制接口内置在各个摄像机中。
另外,确认设备102按照用户进行的标记操作,向各个摄像机发送携带关于标记的时间(定时)的信息的信息信号。各个摄像机通过控制接口(控制I/F),接收所述信息信号。注意,如果后面讨论的用户进行的缩略图选择操作未选择“标记”项目,那么即使用户进行标记操作,携带标记的时间(定时)的信息信号也不被发送给各个摄像机。这种情况下,还可设想不在UI画面上显示“标记”项目,以抢先防止用户意外进行标记操作。
另外,在确认设备102上,用户能够选择在记录停止之后,是否在显示器上,显示在从记录开始到记录结束的特定区间中的一些定时的缩略图图像。该选择操作是在进行开始记录的操作之前预先进行的。图4图解说明显示在确认设备102的显示器上的UI画面的例子,通过该UI画面,用户进行使某些定时的缩略图图像被显示在显示器上的选择操作。
在这个例子中,可选择的缩略图图像定时被显示成菜单,使项目“开始”、“标记”、“中间”和“结束”的选择成为可能。对于对应于各个项目显示的单选按钮161,用户选中一个或多个期望项目的单选按钮,从而能够选择期望的项目。在这个例子中,选择了2个项目“开始”和“标记”。
确认设备102把携带选择的缩略图图像定时信息的信息信号,发送给各个摄像机。各个摄像机通过控制接口(控制I/F),接收所述信息信号。在停止记录之后,各个摄像机向确认设备102,发送根据在缩略图图像定时信息指示的各个定时的帧的图像数据生成的缩略图图像数据。
根据从各个摄像机发出的缩略图图像数据,确认设备102把与各个摄像机关联的相应缩略图图像显示在显示器上。这种情况下,如果发出多个定时的缩略图图像数据,那么通过相继切换缩略图图像,显示各个定时的缩略图图像。这种情况下,也可同时显示指示缩略图图像对应于哪个定时的标识信息。
另外,在这种情况下,可以连续不断地切换缩略图图像,或者,可以最终固定地显示诸如“开始”之类的某个定时的缩略图图像。另外,在该固定显示之后,利用用户操作,可允许切换到在期望定时的缩略图图像的固定显示。
注意在各个摄像机中,在停止记录之后,生成在各个定时的缩略图图像数据。然而,取决于定时,也可在停止记录之前,生成缩略图图像数据。例如,在记录开始之后,可以立即生成在“开始”定时的缩略图图像数据。再例如,在从确认设备102收到携带关于标记的时间(定时)的信息的信息信号之后,可以立即生成在“标记”定时的缩略图图像数据。
(摄像机的例证构成)
图5图解说明摄像机101(101-A、101-B、101-C)之一的例证构成。摄像机101包括CPU 111、存储器112、成像器/镜头单元113、摄像机信号处理单元114和编解码器处理单元115。另外,摄像机101包括面板处理单元116、面板117、有线通信处理单元118、有线LAN端子119、无线通信处理单元120和天线121。
CPU 111控制摄像机101的各个组件的动作。存储器112构成控制软件存储用存储装置、数据的储存库、CPU 111的工作区等。另外,存储器112还构成记录拍摄的图像数据的帧缓冲器。
成像器/镜头单元113由成像镜头和成像器组成,对被摄物体成像,从而获得成像信号。摄像机信号处理单元114处理由成像器/镜头单元113获得的成像信号,从而生成与被摄物体对应的图像数据(拍摄的图像数据)。编解码器处理单元115利用例如JPGE压缩处理,压缩由摄像机信号处理单元114获得的各帧的图像数据。按照这种方式压缩的各帧的图像数据被记录在存储器112的帧缓冲器中。
面板处理单元116根据由摄像机信号处理单元114获得的图像数据,驱动面板117,把拍摄的图像显示在面板117上。面板117由LCD、有机EL面板等构成。面板117包括触摸面板功能,用于用户操作的UI也被酌情显示在面板117上。
有线通信处理单元118通过有线LAN端子119,与外部设备(在本实施例中,确认设备102)进行有线通信。无线通信处理单元120通过天线121,与外部设备(在本实施例中,确认设备102)进行无线通信。注意,有线通信或无线通信是有选择地进行的。
(确认设备的例证构成)
图6图解说明确认设备102的例证构成。确认设备102包括CPU 131、存储器132、编解码器处理单元133和图形处理单元134。另外,确认设备102包括面板处理单元135、面板136、有线通信处理单元137、有线LAN端子138、无线通信处理单元139和天线140。
CPU 131控制确认设备102的各个组件的动作。存储器132构成控制软件存储用存储装置、数据的储存库、CPU 131的工作区等。另外,存储器132记录从各个摄像机发出的缩略图图像数据。另外,如果从各个摄像机传送压缩的图像数据,那么存储器132还记录这样的数据。
为了显示图像,编解码器处理单元133读出并解压缩记录在存储器132的帧缓冲器中的各帧的图像数据。面板处理单元135根据从编解码器处理单元133的解压缩获得的图像数据,驱动显示面板136,并把图像显示在面板136上。面板136由LCD、有机EL面板等构成。例如,由从各个摄像机发出的缩略图图像数据表示的缩略图图像被显示在面板136上。另外,面板136包括触摸面板功能,用于用户操作的UI也被酌情显示在面板136上。
有线通信处理单元137通过有线LAN端子138,与外部设备(在本实施例中,摄像机101)进行有线通信。无线通信处理单元139通过天线140,与外部设备(在本实施例中,摄像机101)进行无线通信。注意,有线通信或无线通信是有选择地进行的。
(多个摄像机和确认设备的例证动作)
图7是图解说明摄像机101-A、101-B及101-C,和确认设备102的动作例子的定时图。该例子是其中选择“开始”和“标记”,作为缩略图图像定时,并且在各个摄像机中,在记录被停止之后,生成在这些定时的缩略图图像数据的情况的例子。
在时间t1,响应用户的记录开始操作,从确认设备102向各个摄像机发出开始记录的指令信号(命令)。在各个摄像机中,根据所述指令信号,开始记录,换句话说,拍摄图像数据被压缩和写入存储器中。这种情况下,各个摄像机中的实际的记录开始时间是在时间t1之后的时间。此外,归因于诸如各个摄像机无线连接到确认设备102之类的因素,这些时间不一定匹配。
在各个摄像机中,紧接在记录的开始之后,从在记录区间的开始的帧的图像数据,生成在“开始”定时的缩略图图像数据。由各个摄像机生成的在“开始”定时的缩略图图像数据在时间t2,被传送给确认设备102。注意在这里,从各个摄像机的传送时间被例示成同一时间t2,不过假定在这些时间之间,存在一些差异。
另外,在时间t3,在确认设备102上,存在用户的标记操作,从确认设备102向各个摄像机发出携带关于时间t3的定时信息的信息信号。根据该信息信号,各个摄像机意识到在时间t3,进行了标记操作,从而各个摄像机立即从在时间t3的帧的图像数据,生成在“标记”定时的缩略图图像数据。由各个摄像机生成的在“标记”定时的缩略图图像数据在时间t4,被传送给确认设备102。注意在这里,从各个摄像机的传送时间被例示成同一时间t4,不过假定在这些时间之间,存在一些差异。
另外,在时间t5,响应用户的记录停止操作,从确认设备102向各个摄像机发出停止记录的指令信号(命令)。在各个摄像机中,根据所述指令信号,停止记录。这种情况下,各个摄像机中的实际记录停止时间是在时间t5之后的时间。此外,归因于诸如各个摄像机无线连接到确认设备102之类的因素,这些时间不一定匹配。
在确认设备102中,在记录被停止之后,立即生成摄像机信息。如图8中图解所示,所述摄像机信息包括诸如设定值、记录时间、同步信息和文件大小之类的信息。由各个摄像机生成的摄像机信息在时间t6,被传送给确认设备102。注意在这里,从各个摄像机的传送时间被例示成同一时间t6,不过假定在这些时间之间,存在一些差异。
在确认设备102中,在时间t6之后,根据从各个摄像机发出的诸如缩略图图像数据和摄像机信息之类的信息,生成显示在确认画面上的图像数据,并在显示器(面板136)上显示确认画面。压缩的拍摄图像数据也从各个摄像机被传送给确认设备102。随后,在时间t7,完成该传送。注意在这里,从各个摄像机的传送的完成时间被例示成同一时间t7,不过假定在这些时间之间,存在一些差异。
图9图解说明显示在确认设备102的显示器(面板136)上的确认画面的例子。在该画面的上部中,与各个摄像机关联地水平排列和显示来自摄像机101A、101-B和101-C的缩略图图像。从该显示,用户能够识别是否利用各个摄像机,如预期地成功拍摄了视频。这里,“a001”是识别摄像机(摄像机A)101-A的指示符、“a002”是识别摄像机(摄像机B)101-B的指示符,以及“a003”是识别摄像机(摄像机C)101-C的指示符。
如果从各个摄像机发出在多个定时的缩略图图像数据,那么通过相继切换缩略图图像,显示在各个定时的缩略图图像。尽管在例示的例子中未显示,不过这种情况下,也可同时显示指示缩略图图像对应于哪个定时的标识信息。如上所述,当在“开始”和“标记”定时的缩略图图像数据被发出时,首先,显示在“开始”定时的缩略图图像,之后,显示在“标记”定时的缩略图图像。
这种情况下,例如,继续重复在各个定时的缩略图图像的切换。如上所述,当在“开始”和“标记”定时的缩略图图像数据被发出时,每个持续一定时间地在“开始”、“标记”、“开始”、“标记”、…之间,切换缩略图图像。或者,在这种情况下,例如,最终固定地显示在诸如“开始”之类的特定定时的缩略图图像。如上所述,当在“开始”和“标记”定时的缩略图图像数据被发出时,在“开始”和“标记”之间切换缩略图图像之后,例如,固定地显示在“开始”定时或“标记”定时的缩略图图像。
另外,在确认画面上,与各个摄像机关联地,即,在来自各个摄像机的缩略图图像的下面,显示附加有记录的开始和结束时间戳的,指示从记录的开始到结束的特定区间的箭头。从该显示,用户能够容易地知道各个摄像机的记录的开始和结束的时间戳。例如,例示的例子表明摄像机(摄像机A)101-A的记录的开始时间是“14:12:54:05”,而记录的结束时间是“14:12:59:05”。注意,“14:12:54:03”指示在确认设备102上,进行开始记录的操作的时间。
另外,在确认画面上,在各个摄像机的从记录的开始到结束的特定区间中,显示与标记的时间(定时)对应的位置。用户从而能够容易地知道各个摄像机中的标记的时间(定时)的位置。注意,尽管在例示的例子中未显示,不过这种情况下,另外可以显示标记的时间。
另外,在确认画面上,关于各个摄像机的设定,显示具有与其他摄像机不同的设定的摄像机的存在。在例示的例子中,与摄像机(摄像机C)101-C关联地显示警告图标(惊叹号)171,从而指示摄像机(摄像机C)101-C的设定不同于其他摄像机。注意,例如,可以按多数决定具有不同设定的摄像机的判定,或者可以利用特定摄像机的设定作为基准,进行判定。
这种情况下,通过进行轻敲或点击警告图标171的区域的确认操作,用户能够知道与不同的设定有关的细节。图10图解说明在进行确认操作之后的确认画面的例子。在这个例子中,光圈被指示成F2.8,而其他摄像机的光圈为F4,快门速度被指示成1/200,而其他摄像机的快门速度为1/400。
注意,尽管上面未讨论,不过,也可显示警告图标171,以指示与其他摄像机不同步或者文件大小非常不同于其他摄像机的摄像机的存在。
注意,在从各个摄像机发出在多个定时的缩略图图像数据的情况下,如果如上所述,相继切换地显示在各个定时的缩略图图像,并且最后固定地显示在特定定时的缩略图图像,那么在该固定显示之后,利用用户操作,可允许切换到在期望定时的缩略图图像的固定显示。图11图解说明这种情况下的确认画面的例子。在确认画面上,另外布置用于切换缩略图图像的固定显示的操作按钮181。该例子举例说明其中从各个摄像机,发出在“开始”和“标记”定时的缩略图图像数据的情况。
图12是图解说明摄像机101-A、101-B及101-C,和确认设备102的动作的另一个例子的定时图。该例子是其中选择“开始”和“标记”,作为缩略图图像定时,并且在各个摄像机中,在记录被停止之前,生成在这些定时的缩略图图像数据的情况的例子。
在时间t11,响应用户的记录开始操作,从确认设备102向各个摄像机发出开始记录的指令信号(命令)。在各个摄像机中,根据所述指令信号,开始记录,或者换句话说,拍摄图像数据被压缩和写入存储器中。这种情况下,各个摄像机中的实际的记录开始时间是在时间t11之后的时间。此外,归因于诸如各个摄像机无线连接到确认设备102之类的因素,这些时间不一定匹配。
另外,在时间t12,在确认设备102上,存在用户的标记操作,从确认设备102向各个摄像机发出携带关于时间t12的定时信息的信息信号。根据该信息信号,各个摄像机意识到在时间t12,进行了标记操作。
另外,在时间t13,响应用户的记录停止操作,从确认设备102向各个摄像机发出停止记录的指令信号(命令)。在各个摄像机中,根据所述指令信号,停止记录。这种情况下,各个摄像机中的实际的记录停止时间是在时间t13之后的时间。此外,归因于诸如各个摄像机无线连接到确认设备102之类的因素,这些时间不一定匹配。
在确认设备102中,在记录被停止之后,立即生成摄像机信息。该摄像机信息包括诸如设定值、记录时间、同步信息和文件大小之类的信息(参见图8)。由各个摄像机生成的摄像机信息在时间t14,被传送给确认设备102。注意在这里,从各个摄像机的传送时间被例示成同一时间t14,不过假定在这些时间之间,存在一些差异。
在各个摄像机中,在生成摄像机信息之后,从在记录区间的开始的帧的图像数据,生成在“开始”定时的缩略图图像数据。由各个摄像机生成的在“开始”定时的缩略图图像数据在时间t15,被传送给确认设备102。注意在这里,从各个摄像机的传送时间被例示成同一时间t15,不过假定在这些时间之间,存在一些差异。
在确认设备102中,在时间t15之后,根据从各个摄像机发出的诸如缩略图图像数据和摄像机信息之类的信息,生成显示在确认画面上的图像数据,并在显示器(面板136)上显示确认画面(参见图9)。在该确认画面上,来自相应摄像机的缩略图图像是在“开始”定时的缩略图图像。
另外,在各个摄像机中,随后生成在“标记”定时的缩略图图像数据。由各个摄像机生成的在“标记”定时的缩略图图像数据在时间t16,被传送给确认设备102。注意在这里,从各个摄像机的传送时间被例示成同一时间t16,不过假定在这些时间之间,存在一些差异。
在确认设备102中,根据从各个摄像机发出的在“标记”定时的缩略图图像数据,确认画面上的缩略图图像被切换成在“标记”定时的缩略图图像。注意在确认设备102中,随后的缩略图图像的显示与上述的图7的情况的说明类似。
另外,类似于图7的情况的说明,在停止记录之后,压缩的拍摄图像数据也从各个摄像机被传送给确认设备102。随后,在时间t17,该传送完成。注意在这里,从各个摄像机的传送的完成时间被例示成同一时间t17,不过假定在这些时间之间,存在一些差异。
注意,尽管上面未讨论,不过在图1的多摄像机系统10A中,预先在确认设备102上,列出各个摄像机的设定和状态,以避免拍摄错误。图13图解说明各个摄像机的设定和状态的列表显示的例子。借助该列表显示,在拍摄之前,用户能够把握哪些摄像机具有不正确的设定、哪些摄像机电池电量低、哪些摄像机内置存储器的剩余容量少,等等,从而使得能够在记录过程中,避免出现麻烦。
如上所述,在图1中图解所示的多摄像机系统10A中,从确认设备102向摄像机101-A、101-B和101-C发送开始和停止记录的指令信号,且在各个摄像机中,根据所述指令信号用成像器获得的特定区间的图像数据被写入存储器中,另外,根据所述特定区间的图像数据之中的在特定定时的帧的图像数据,生成缩略图图像数据,并发送给确认设备102。在确认设备102中,相应的缩略图图像与各个摄像机关联地被显示在显示器(面板136)上。因此,在确认设备102上,能够顺利地确认是否由各个摄像机如预期地成功拍摄视频。
<<2.变形例>>
注意,上述实施例举例说明了3个摄像机的情况的例子。本技术也可类似地适用于2个摄像机的情况,或者4个或更多个摄像机的情况。当存在许多摄像机时,在确认设备,比如智能电话机的面板屏幕上,显示整个确认画面变得困难。不过,在这种情况下,利用画面滚动功能,使用户能够查看整个确认画面就足够了。
另外,在上述实施例中,确认设备102被描述成由诸如智能电话机或平板电脑之类的移动终端或者个人计算机(PC)构成。不过,也可构思如图14中图解所示的多摄像机系统10B。这种情况下,多摄像机系统10B由作为从属摄像机的摄像机101-A、101-B及101-C和主摄像机102B组成,其中主摄像机102B包括确认设备的功能。这种情况下,在主摄像机102B的面板(显示器)上,显示和提供确认画面(参见图9),供用户确认。
另外,上述实施例举例说明其中控制接口设置在各个摄像机之内的例子。不过,也可构思不在各个摄像机之内设置控制接口,而是在摄像机之外设置控制设备。
图15图解说明这种情况下的多摄像机系统10C的例证构成。图15中,与图1对应的各个部分用相同的附图标记表示。不同于图1中图解所示的多摄像机系统10A,各个摄像机101-A、101-B和101-C不具备控制接口(控制I/F)。在摄像机101-A、101-B和101-C的外部,分别设置功能与控制接口(控制I/F)类似的控制设备(控制设备A)103-A、控制设备(控制设备B)103-B和控制设备(控制设备C)103-C。
另外,上述实施例举例说明其中与摄像机101-A、101-B和101-C分离地设置确认设备102的例子。不过,也可构思其中不设置确认设备102,而是摄像机101-A、101-B和101-C之一兼任确认设备的构成。图16图解说明这种情况下的多摄像机系统10D的例证构成。图16中,与图1对应的各个部分用相同的附图标记表示。
注意,图16中图解所示的多摄像机系统10D对应于图1中图解所示的多摄像机系统10A,不过显然也可类似地构成与图15中图解所示的多摄像机系统10C对应的多摄像机系统。尽管这里省略了详细说明,不过,图17图解说明这种情况下的多摄像机系统10E的例证构成。
本领域的技术人员应明白,根据设计要求和其它因素,可以产生各种修改、组合、子组合和变更,只要它们在所附的权利要求或其等同物的范围之内。
<<3.应用>>
按照本公开的一个实施例的技术可应用于各种产品。例如,按照本公开的一个实施例的技术可应用于手术室系统。例如,按照本公开的一些实施例的多摄像机系统、摄像机、摄像机处理方法、确认设备和/或确认设备处理方法可应用于手术室系统。
在一个实施例中,本技术对于医疗领域(比如手术室系统)的应用,允许手术者(例如,外科医生)在医疗过程(例如,外科手术)期间标记事件,以便随后复查。标记的事件允许手术者或任何其他人物稍后在重放期间,切换由多个摄像机记录的视频。
例如,纳入手术室系统中的多摄像机系统10A可包括天花板摄像机5187、术野摄像机5189和视听控制器5107,如下所述。天花板摄像机5187对应于摄像机101-A,术野摄像机5189对应于摄像机101-B,按照一个实施例,确认设备102被并入视听控制器5107中。在其他实施例中,确认设备102是作为独立的设备(例如,诸如智能电话机和平板电脑之类的移动终端,个人计算机等)提供的。
在一个实施例中,如上所述,用户(例如,手术者或外科医生)利用确认设备102,进行开始和停止各个摄像机(例如,天花板摄像机5187和术野摄像机5189)的记录的操作。另外,在确认设备102中,利用例如如图3中图解所示的UI画面,用户能够进行标记操作。如上所述,标记操作不限于在从记录开始到记录结束的区间内进行1次,也可以进行多次。
如上所述,确认设备102按照用户进行的开始和停止记录的操作,向各个摄像机发送开始和停止记录的指令信号(命令)。各个摄像机通过构成通信部分的控制接口(控制I/F),接收所述指令信号,并按照所述指令执行动作。这种情况下,各个摄像机在从记录开始到记录结束的特定区间中,进行把通过利用成像器成像而获得的图像数据写入存储器的处理。注意,各个摄像机的控制接口内置在各个摄像机中。
此外,如上所述,确认设备102按照用户进行的标记操作,向各个摄像机发送携带关于标记的时间(定时)的信息的信息信号。各个摄像机通过控制接口(控制I/F),接收所述信息信号。
另外,在确认设备102上,用户能够选择在记录被停止之后,是否在显示器上,显示在从记录开始到记录结束的特定区间中的某个定时的缩略图图像。该选择操作是例如利用图4中图解所示的UI画面,在进行开始记录的操作之前预先进行的。
如上所述,确认设备102把携带选择的缩略图图像定时信息的信息信号,发送给各个摄像机。各个摄像机通过控制接口(控制I/F),接收所述信息信号。在记录被停止之后,各个摄像机向确认设备102,发送根据在由缩略图图像定时信息指示的各个定时的帧的图像数据生成的缩略图图像数据。
根据从各个摄像机发出的缩略图图像数据,确认设备102或其他显示设备(例如,另外的PC,或者下面说明的多个显示设备5103A-5103D任意之一)在显示器上,与各个摄像机关联地显示相应的缩略图图像。这种情况下,如果发出在多个定时的缩略图图像数据,那么通过相继切换缩略图图像,显示在各个定时的缩略图图像。这种情况下,同时还可显示指示缩略图图像对应于哪个定时的标识信息。
另外,这种情况下,可连续切换缩略图图像,或者,最后可固定地显示在诸如“开始”之类的特定定时的缩略图图像。另外,在该固定显示之后,利用用户操作,可以允许切换到在期望定时的缩略图图像的固定显示。
图18是示意说明按照本公开的一个实施例的技术可适用于的手术室系统5100的一般构成的视图。参见图18,手术室系统5100被构造成以致安装在手术室中的一组设备通过视听(AV)控制器5107和手术室控制设备5109被连接,以便相互协同。
在手术室中,可安装各种设备。图18中,例如,表示了用于内窥镜手术的各种设备组5101,天花板摄像机5187、术野摄像机5189、多个显示设备5103A-5103D、记录器5105、病床5183和照明5191。天花板摄像机5187设置在手术室的天花板上,并对外科医生的双手成像。术野摄像机5189设置在手术室的天花板上,并对整个手术室的状态成像。
在提及的各个设备之中,设备组5101属于下面说明的内窥镜手术系统5113,并包括内窥镜、显示由内窥镜拾取的图像的显示设备等等。属于内窥镜手术系统5113的各种设备也被称为医疗器械。同时,显示设备5103A-5103D、记录器5105、病床5183和照明5191是与内窥镜手术系统5113分离地装备在例如手术室中的设备。不属于内窥镜手术系统5113的设备也被称为非医疗器械。视听控制器5107和/或手术室控制设备5109相互协同地控制医疗器械和非医疗器械的操作。
视听控制器5107整体地控制与图像显示相关的医疗器械和非医疗器械的处理。具体地,设置在手术室系统5100中的设备之中的设备组5101、天花板摄像机5187和术野摄像机5189都可以是具有发出将在手术期间显示的信息的功能的设备(这类信息在下面被称为显示信息,且提及的设备在下面被称为发出源设备)。同时,显示设备5103A-5103D都可以是显示信息被输出给的设备(下面,该设备也被称为输出目的地设备)。此外,记录器5105可以是充当发出源设备和输出目的地设备两者的设备。视听控制器5107具有控制发出源设备和输出目的地设备的操作,以从发出源设备获得显示信息,和把显示信息发送给输出目的地设备,以便显示或记录的功能。注意,显示信息包括在手术期间拾取的各种图像、与手术相关的各种信息(例如,病人的身体信息,过去的检查结果或者关于手术过程的信息),等等。
具体地,与利用内窥镜成像的病人体腔中的手术区的图像相关的信息,作为显示信息从设备组5101可被发送给视听控制器5107。此外,从天花板摄像机5187,可发送与由天花板摄像机5187拾取的外科医生的双手的图像相关的信息,作为显示信息。此外,从术野摄像机5189,可发送与由术野摄像机5189拾取的、说明整个手术室的状态的图像相关的信息,作为显示信息。要注意的是如果在手术室系统5100中,存在具有图像拾取功能的不同设备,那么视听控制器5107还可从所述不同设备,获得与由所述不同设备拾取的图像相关的信息,作为显示信息。
或者,例如,视听控制器5107把与过去拾取的如上所述这类图像相关的信息记录在记录器5105中。视听控制器5107可从记录器5105,获得与过去拾取的图像相关的信息,作为显示信息。要注意的是与手术相关的各项信息也可被预先记录在记录器5105中。
视听控制器5107控制作为输出目的地设备的显示设备5103A-5103D中的至少之一,以显示获得的显示信息(即,在手术期间拾取的图像,或者与手术相关的各项信息)。在所述的例子中,显示设备5103A是从手术室的天花板悬挂地安装的显示设备;显示设备5103B是安装在手术室的墙面上的显示设备;显示设备5103C是安装在手术室中的桌子上的显示设备;及显示设备5103D是具有显示功能的移动设备(例如,平板个人计算机(PC))。
此外,尽管图18中未图示,不过,手术室系统5100可包括在手术室之外的设备。在手术室之外的设备例如可以是连接到在医院内外构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在这类外部设备位于医院之外的情况下,视听控制器5107也有可能通过电话会议系统等,使显示信息被显示在不同医院的显示设备上,以进行远程医疗。
手术室控制设备5109整体控制非医疗器械的除与图像显示相关的处理之外的处理。例如,手术室控制设备5109控制病床5183、天花板摄像机5187、术野摄像机5189和照明5191的驱动。
在手术室系统5100中,设置集中操作面板5111,以致通过集中操作面板5111,能够向视听控制器5109发出关于图像显示的指令,或者向手术室控制设备5109发出关于非医疗器械的操作的指令。集中操作面板5111是通过在显示设备的显示面上设置触摸面板而构成的。
图19是说明集中操作面板5111上的操作画面图像的显示的例子的视图。图19中,例如,表示了与其中在手术室系统5100中设置2个显示设备作为输出目的地设备的情况对应的操作画面图像。参见图19,操作画面图像5193包括发出源选择区5195、预览区5197和控制区5201。
在发出源选择区5195中,相互关联地显示设置在手术室系统5100中的发出源设备,和表示发出源设备具有的显示信息的缩略图画面图像。用户可从显示在发出源选择区5195中的任意发出源设备中,选择要显示在显示设备上的显示信息。
在预览区5197中,显示在作为输出目的地设备的2个显示设备(监视器1和监视器2)上显示的画面图像的预览。在所示的例子中,在1个显示设备上,利用画中画(PinP)显示,显示4个图像。所述4个图像对应于从在发出源选择区5195中选择的发出源设备发出的显示信息。4个图像中的一个是以较大的尺寸显示的,作为主图像,而剩余的3个图像是以较小的尺寸显示的,作为子图像。通过从显示在该区域中的4个图像中,适当地选择图像之一,用户可以交换主图像和子图像。此外,在其中显示4个图像的区域下面,设置状态显示区5199,在状态显示区5199中,可以适当地显示与手术相关的状态(例如,手术的耗用时间、病人的身体信息,等等)。
在控制区5201中,设置发出源操作区5203和输出目的地操作区5205。在发出源操作区5203中,显示用于对发出源设备进行操作的图形用户界面(GUI)部分。在输出目的地操作区5205中,显示用于对输出目的地设备进行操作的GUI部分。在所示的例子中,在发出源操作区5203中,设置用于对具有图像拾取功能的发出源设备中的摄像机进行各种操作(平移、倾斜和缩放)的GUI部分。通过适当地选择任意GUI部分,用户可控制发出源设备的摄像机的操作。要注意的是尽管未图示,不过当在发出源选择区5195中选择的发出源设备是记录器时(即,当过去记录在记录器中的图像被显示在预览区5197中时),在发出源操作区5203中,可以设置用于进行诸如图像的再现、再现的停止、倒回、快进之类操作的GUI部分。
此外,在输出目的地操作区5205中,设置用于对作为输出目的地设备的显示设备上的显示,进行各种操作(交换、翻转、颜色调整、对比度调整和在二维(2D)显示与三维(3D)显示之间切换)的GUI部分。通过适当地选择任意GUI部分,用户可操作显示设备的显示。
要注意的是待显示在集中操作面板5111上的操作画面图像不限于所示的例子,通过集中操作面板5111,用户能够对可由设置在手术室系统5100中的视听控制器5107和手术室控制设备5109控制的各个设备,进行操作输入。
图20是图解说明上述手术室系统被应用于的手术的状态的例子的视图。天花板摄像机5187和术野摄像机5189设置在手术室的天花板上,以致能够对外科医生(医师)5181的双手和整个手术室成像,外科医生(医师)5181对病床5183上的病人5185的受影响区域进行治疗。天花板摄像机5187和术野摄像机5189可包括放大倍率调整功能、焦距调整功能、成像方向调整功能,等等。照明5191设置在手术室的天花板上,至少把光照射到外科医生5181的双手上。照明5191可被构造成以致能够适当地调整照射光量、照射光的波长(颜色)、光的照射方向,等等。
内窥镜手术系统5113、病床5183、天花板摄像机5187、术野摄像机5189和照明5191通过如图18中所示的视听控制器5107和手术室控制设备5109(图20中未图示)连接,以便相互协同。集中操作面板5111设置在手术室中,通过如上所述的集中操作面板5111,用户可适当地操作存在于手术室中的设备。
下面,详细说明内窥镜手术系统5113的构成。如图所示,内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、支持内窥镜5115的支持臂设备5141、和手推车5151,用于内窥镜手术的各种设备安装在手推车5151上。
在内窥镜手术中,代替腹壁的切开,以进行剖腹手术,称为套管针5139a-5139d的多个管状孔器件用于穿刺腹壁。随后,内窥镜5115的镜筒5117和其他手术工具5131通过套管针5139a-5139d,被插入病人5185的体腔中。在所示的例子中,作为其他手术工具5131,气腹管5133、能量治疗工具5135和手术钳5137被插入病人5185的体腔中。此外,能量治疗工具5135是利用高频电流或超声波振动,进行组织的切开和剥离、血管的闭合等的治疗工具。不过,所述的手术工具5131仅仅是一些例子,作为手术工具5131,可以使用内窥镜手术中通常使用的各种手术工具,比如镊子或牵开器。
利用内窥镜5115拾取的病人5185体腔中的手术区的图像被显示在显示设备5155上。在观看实时显示在显示设备5155上的手术区的图像的同时,外科医生5181会利用能量治疗工具5135或手术钳5137,以进行诸如受影响区域的切除之类的治疗。要注意的是尽管未图示,不过,气腹管5133、能量治疗工具5135和手术钳5137在手术期间,由外科医生5181、助手等支持。
(支持臂设备)
支持臂设备5141包括从基座单元5143伸出的臂单元5145。在所示的例子中,臂单元5145包括关节部分5147a、5147b及5147c,和连杆5149a及5149b,在臂控制设备5159的控制下被驱动。内窥镜5115由臂单元5145支持,以致内窥镜5115的位置和姿态被控制。从而,能够实现内窥镜5115的位置的稳定固定。
(内窥镜)
内窥镜5115包括镜筒5117,镜筒5117具有插入病人5185体腔中的从其远端起预定长度的区域,和连接到镜筒5117的近端的摄像头5119。在所示的例子中,描述了被构造成具有硬式的镜筒5117的硬镜的内窥镜5115。不过,内窥镜5115也可被构造成具有软式的镜筒5117的软镜。
在其远端,镜筒5117具有其中安装物镜的开口。光源设备5157连接到内窥镜5115,以致由光源设备5157产生的光,由在镜筒5117的内部延伸的光导管引导到镜筒5117的远端,并通过物镜射向病人5185的体腔中的观察目标。要注意的是内窥镜5115可以是直视镜,或者可以是透视镜或者侧视镜。
在摄像头5119的内部,设置光学系统和图像拾取元件,以致来自观察目标的反射光(观察光)被光学系统会聚到图像拾取元件上。观察光由图像拾取元件光电变换,从而生成与观察光对应的电信号,即,对应于观察图像的图像信号。图像信号作为原始数据被发送给CCU 5153。要注意的是摄像头5119具有并入其中的适当驱动摄像头5119的光学系统以调整放大倍率和焦距的功能。
要注意的是,为了与例如立体视觉(3D显示)建立兼容性,可以在摄像头5119上,设置多个图像拾取元件。这种情况下,在镜筒5117的内部,设置多个中继光学系统,以便把观察光导引到多个相应的图像拾取元件。
(包含在手推车中的各个设备)
CCU 5153包括中央处理器(CPU)、图形处理器(GPU)等,整体控制内窥镜5115和显示设备5155的操作。具体地,CCU 5153对从摄像头5119接收的图像信号,进行各种图像处理,以便显示基于图像信号的图像,比如显影处理(去马赛克处理)。CCU 5153把已对其进行图像处理的图像信号提供给显示设备5155。此外,图18中所示的视听控制器5107连接到CCU5153。CCU 5153也把已对其进行图像处理的图像信号提供给视听控制器5107。此外,CCU5153向摄像头5119发送控制信号,以控制摄像头5119的驱动。所述控制信号可包括与诸如放大倍率或焦距之类的图像拾取条件相关的信息。与图像拾取条件相关的信息可通过输入设备5161输入,或者可通过上面说明的集中操作面板5111输入。
显示设备5155在CCU 5153的控制下,显示基于由CCU 5153已对其进行图像处理的图像信号的图像。如果内窥镜5115可以进行诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)之类的高分辨率成像和/或3D显示,那么可以使用通过其,高分辨率的对应显示和/或3D显示是可能的显示设备,作为显示设备5155。在设备可以进行诸如4K或8K之类的高分辨率成像的情况下,如果用作显示设备5155的显示设备的尺寸等于或不小于55英寸,那么可获得更加身临其境的体验。此外,可按照用途,设置具有不同分辨率和/或不同尺寸的多个显示设备5155。
光源设备5157包括诸如发光二极管(LED)之类的光源,向内窥镜5115供给用于手术区的成像的照射光。
臂控制设备5159包括诸如CPU之类的处理器,按照预定程序工作,以按照预定的控制方法,控制支持臂设备5141的臂单元5145的驱动。
输入设备5161是内窥镜手术系统5113的输入接口。通过输入设备5161,用户能够对于内窥镜手术系统5113,进行各种信息的输入或者指令输入。例如,通过输入设备5161,用户可输入与手术相关的各种信息,比如病人的身体信息、关于手术的手术过程的信息,等等。此外,通过输入设备5161,用户可输入例如驱动臂单元5145的指令、改变内窥镜5115的图像拾取条件(照射光的种类、放大倍率、焦距等)的指令、驱动能量治疗工具5135的指令等。
输入设备5161的类型不受限制,可以是各种已知输入设备中的任意一种。作为输入设备5161,例如,可以应用鼠标、键盘、触摸面板、开关、脚踏开关5171和/或控制杆等。在使用触摸面板作为输入设备5161的情况下,它可被设置在显示设备5155的显示面上。
另外,输入设备5161是安装在用户身上的设备,比如眼镜式可穿戴设备或者头戴式显示器(HMD),响应利用提及的任意设备检测到的用户的手势或视线,进行各种输入。此外,输入设备5161包括能够检测用户的运动的摄像机,响应从利用所述摄像机拾取的视频中检测到的用户的手势或视线,进行各种输入。此外,输入设备5161包括能够收集用户的语音的麦克风,通过麦克风,利用语音进行各种输入。通过构成输入设备5161,以致能够按照这种方式,不接触地输入各种信息,特别地,属于洁净区的用户(例如,外科医生5181)能够不接触地操作属于非洁净区的设备。此外,由于用户可以在不从手中放下持有的手术工具的情况下,操作设备,因此改善了用户的便利性。
治疗工具控制设备5163控制用于组织的烧灼或切开、血管的闭合等的能量治疗工具5135的驱动。气腹设备5165通过气腹管5133,将气体送入病人5185的体腔中,使体腔膨胀,以便确保内窥镜5115的视野,和确保手术的工作空间。记录器5167是能够记录与手术相关的各种信息的设备。打印机5169是能够以各种形式,比如文本、图像或图形,打印与手术相关的各种信息的设备。
下面,更详细地说明内窥镜手术系统5113的特有构成。
(支持臂设备)
支持臂设备5141包括充当基座的基座单元5143,和从基座单元5143伸出的臂单元5145。在所示的例子中,臂单元5145包括多个关节部分5147a、5147b及5147c,和通过关节部分5147b,相互连接的多个连杆5149a及5149b。在图20中,为了简化说明,简化地表示了臂单元5145的构成。实际上,关节部分5147a-5147c和连杆5149a及5149b的形状、数目和布置,以及关节部分5147a-5147c的旋转轴的方向等可被适当设定,以致臂单元5145具有期望的自由度。例如,优选地,可具有等于或不小于6个自由度的自由度地包含臂单元5145。这使得能够在臂单元5145的可移动范围内,自由地移动内窥镜5115。从而,能够把内窥镜5115的镜筒5117从期望的方向,插入病人5185的体腔中。
在关节部分5147a-5147c中设置致动器,关节部分5147a-5147c包括这样的部分,以致借助致动器的驱动,它们可绕其预定的旋转轴转动。致动器的驱动由臂控制设备5159控制,以控制各个关节部分5147a-5147c的转动角度,从而控制臂单元5145的驱动。结果,能够实现内窥镜5115的位置和姿态的控制。于是,臂控制设备5159能够利用各种已知的控制方法,比如力控制或位置控制,控制臂单元5145的驱动。
例如,如果外科医生5181通过输入设备5161(包括脚踏开关5171),适当地进行操作输入,那么响应所述操作输入,臂控制设备5159可适当地控制臂单元5145的驱动,以控制内窥镜5115的位置和姿态。在利用刚才所述的控制,使位于臂单元5145的远端处的内窥镜5115从任意位置移动到不同的任意位置之后,内窥镜5115可被固定地支持在移动后的位置处。要注意的是可按照主-从方式,操纵臂单元5145。这种情况下,通过放置在远离手术室的地方的输入设备5161,用户可远程控制臂单元5145。
此外,在应用力控制的情况下,臂控制设备5159可进行助力控制,以驱动关节部分5147a-5147c的致动器,以致臂单元5145可以接收用户的外力,从而跟随所述外力平滑地移动。这使得当用户直接接触和移动臂单元5145时,能够用比较弱的力移动臂单元5145。因而,用户能够利用更简单和更容易的操作,更直观地移动内窥镜5115,从而能够改善用户的便利性。
这里,通常在内窥镜手术中,内窥镜5115由称为内镜医师(scopist)的医生支持。相反,在使用支持臂设备5141的情况下,可在不用手的情况下,确定度更高地固定内窥镜5115的位置,于是,能够稳定地获得手术区的图像,从而能够平稳地进行手术。
要注意的是臂控制设备5159不一定设置在手推车5151上。此外,臂控制设备5159不一定是单一设备。例如,臂控制设备5159可被设置在支持臂设备5141的臂单元5145的各个关节部分5147a-5147c中,以致多个臂控制设备5159相互协同,实现臂单元5145的驱动控制。
(光源设备)
光源设备5157向内窥镜5115提供手术区的成像时的照射光。光源设备5157包括白光光源,所述白光光源例如包括LED、激光光源或者它们的组合。这种情况下,在白光光源包括红、绿和蓝(RGB)激光光源的组合的情况下,由于对于每种颜色(每种波长),能够高精度地控制输出强度和输出定时,因此利用光源设备5157,能够进行拾取的图像的白平衡的调整。此外,这种情况下,如果分时地把来自RGB激光光源的激光束照射到观察目标上,并且与照射定时同步地控制摄像头5119的图像拾取元件的驱动,那么可以分时地拾取分别对应于R、G和B颜色的图像。按照刚刚所述的方法,即使未对图像拾取元件设置滤色器,也能够获得彩色图像。
此外,可以控制光源设备5157的驱动,以致对于每个预定时间,改变待输出的光强。通过与光强的变化定时同步地控制摄像头5119的图像拾取元件的驱动,以分时地获得图像,并合成所述图像,能够创建没有曝光不足的过黑阴影和曝光过度的加亮区的高动态范围的图像。
此外,光源设备5157可被配置成供给可用于特殊光观察的预定波段的光。在特殊光观察中,例如,通过利用身体组织的光吸收的波长相关性来照射与普通观察时的照射光(即,白光)相比,波段较窄的光,进行高对比度地对诸如黏膜的表面部分的血管之类的预定组织成像的窄带光观察(窄带成像)。或者,在特殊光观察中,也可进行从利用激发光的照射产生的荧光,获得图像的荧光观察。在荧光观察中,可以通过把激发光照射在身体组织上,进行来自身体组织的荧光的观察(自发荧光观察),或者通过把诸如吲哚菁绿(ICG)之类的试剂局部注射到身体组织中,并把与所述试剂的荧光波长对应的激发光照射到身体组织上,获得荧光图像。光源设备5157可被配置成供给适合于如上所述的特殊光观察的这种窄带光和/或激发光。
(摄像头和CCU)
下面参考图21,更详细地说明内窥镜5115的摄像头5119和CCU 5153的功能。图21是说明图20中所示的摄像头5119和CCU 5153的功能构成的例子的方框图。
参见图21,作为其功能,摄像头5119具有镜头单元5121、图像拾取单元5123、驱动单元5125、通信单元5127和摄像头控制单元5129。此外,作为其功能,CCU 5153具有通信单元5173、图像处理单元5175和控制单元5177。摄像头5119和CCU 5153通过发送缆线5179,被连接成可相互双向通信。
首先,说明摄像头5119的功能构成。镜头单元5121是设置在摄像头5119与镜筒5117的连接位置处的光学系统。从镜筒5117的远端接收的观察光被引导到摄像头5119中,并进入镜头单元5121。镜头单元5121包括多个镜头的组合,所述多个镜头包括变焦镜头和聚焦镜头。镜头单元5121使光学性质被调整,以致观察光被会聚在图像拾取单元5123的图像拾取元件的受光面上。此外,变焦镜头和聚焦镜头包括这样的部分,以致其在光轴上的位置是可移动的,以便调整拾取的图像的放大倍率和焦点。
图像拾取单元5123包括图像拾取元件,被布置在镜头单元5121的下一级。通过镜头单元5121的观察光会聚在图像拾取元件的受光面上,通过光电转换,生成与观测图像对应的图像信号。由图像拾取单元5123生成的图像信号被提供给通信单元5127。
作为图像拾取单元5123所包含的图像拾取元件,例如使用具有Bayer阵列,并且能够拾取彩色图像的互补金属氧化物半导体(CMOS)式的图像传感器。要注意的是,作为图像拾取元件,可以使用可用于例如等于或不小于4K的高分辨率图像的成像的图像拾取元件。如果高分辨率地获得手术区的图像,那么外科医生5181能够细节增强地了解手术区的状态,从而能够更平稳地进行手术。
此外,图像拾取单元5123所包含的图像拾取元件被构造成以致它具有用于获得与3D显示相容的右眼和左眼用图像信号的一对图像拾取元件。在应用3D显示的情况下,外科医生5181能够精度更高地了解手术区中的活体组织的深度。要注意的是,如果图像拾取单元5123被构造成多板式图像拾取单元,那么对应于图像拾取单元5123的各个图像拾取元件地设置镜头单元5121的多个系统。
图像拾取单元5123不一定设置在摄像头5119上。例如,图像拾取单元5123可以刚好设置在镜筒5117的内部中的物镜之后。
驱动单元5125包括致动器,在摄像头控制单元5129的控制下,沿着光轴把镜头单元5121的变焦镜头和聚焦镜头移动预定距离。从而,可适当地调整由图像拾取单元5123拾取的图像的放大倍率和焦点。
通信单元5127包括往来于CCU 5153,发送和接收各种信息的通信设备。通信单元5127通过发送缆线5179,把从图像拾取单元5123获得的图像信号,作为原始数据发送给CCU5153。于是,为了等待时间短地显示手术区的拾取图像,优选利用光通信,发送图像信号。这是因为由于在手术时,外科医生5181一边通过拾取的图像,观察受影响区域的状态,一边进行手术,因此为了实现安全性和确定性更高的手术,要求尽可能实时地显示手术区的运动图像。在应用光通信的情况下,在通信单元5127中,设置用于把电信号变换成光信号的光电变换模块。在图像信号由光电变换模块变换成光信号之后,图像信号通过发送缆线5179,被发送给CCU 5153。
此外,通信单元5127从CCU 5153,接收用于控制摄像头5119的驱动的控制信号。所述控制信号包括与图像拾取条件相关的信息,比如指定拾取的图像的帧速率的信息、指定图像拾取时的曝光值的信息,和/或指定拾取的图像的放大倍率和焦点的信息。通信单元5127把接收的控制信号提供给摄像头控制单元5129。要注意的是来自CCU 5153的控制信号也可利用光通信发送。这种情况下,在通信单元5127中,设置用于把光信号变换成电信号的光电变换模块。在控制信号由光电变换模块变换成电信号之后,所述控制信号被提供给摄像头控制单元5129。
要注意的是诸如帧速率、曝光值、放大倍率或焦点之类的图像拾取条件,是由CCU5153的控制单元5177根据获得的图像信号自动设定的。换句话说,内窥镜5115中包含自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。
摄像头控制单元5129根据通过通信单元5127,从CCU 5153接收的控制信号,控制摄像头5119的驱动。例如,摄像头控制单元5129根据指定拾取的图像的帧速率的信息,和/或指定图像拾取时的曝光值的信息,控制图像拾取单元5123的图像拾取元件的驱动。此外,例如,摄像头控制单元5129根据指定拾取的图像的放大倍率和焦点的信息,控制驱动单元5125适当地移动镜头单元5121的变焦镜头和聚焦镜头。摄像头控制单元5129可包括保存用于镜筒5117和/或摄像头5119的标识的信息的功能。
要注意的是通过把诸如镜头单元5121和图像拾取单元5123之类的组件,布置在气密性高和防水性高的密封结构中,摄像头5119可具备对高压灭菌消毒处理的抵抗力。
现在,说明CCU 5153的功能构成。通信单元5173包括用于往来于摄像头5119,发送和接收各种信息的通信设备。通信单元5173接收通过发送缆线5179,从摄像头5119发送给它的图像信号。于是,优选可利用如上所述的光通信,发送图像信号。这种情况下,为了与光通信相容,通信单元5173包括用于把光信号变换成电信号的光电变换模块。通信单元5173把变换成电信号之后的图像信号提供给图像处理单元5175。
此外,通信单元5173向摄像头5119,发送用于控制摄像头5119的驱动的控制信号。另外,所述控制信号可以是利用光通信发送的。
图像处理单元5175对从摄像头5119发送给它的呈原始数据形式的图像信号,进行各种图像处理。图像处理包括各种已知的图像处理,比如显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)、和/或放大处理(电子变焦处理)。此外,图像处理单元5175对图像信号进行检测处理,以便进行AE、AF和AWB。
图像处理单元5175包括诸如CPU或GPU之类的处理器,当处理器按照预定程序工作时,可以进行上面说明的图像处理和检测处理。要注意的是当图像处理单元5175包括多个GPU时,图像处理单元5175适当地划分与图像信号相关的信息,以致多个GPU并行地进行图像处理。
控制单元5177进行与利用内窥镜5115的手术区的图像拾取和拾取图像的显示相关的各种控制。例如,控制单元5177生成用于控制摄像头5119的驱动的控制信号。于是,如果图像拾取条件由用户输入,那么控制单元5177根据用户的输入,生成控制信号。或者,在内窥镜5115具有并入其中的AE功能、AF功能和AWB功能的情况下,控制单元5177响应图像处理单元5175的检测处理的结果,适当计算最佳曝光值、焦距和白平衡,并生成控制信号。
此外,控制单元5177根据图像处理单元5175已对其进行图像处理的图像信号,控制显示设备5155显示手术区的图像。于是,控制单元5177利用各种图像识别技术,识别手术区图像中的各种被摄物体。例如,通过检测包含在手术区图像中的被摄物体的边缘的形状、颜色等,控制单元5177可识别诸如手术钳之类的手术工具、特定的活体区域、出血、当使用能量治疗工具5135时的薄雾,等等。当它控制显示单元5155显示手术区图像时,控制单元5177利用识别的结果,使各种手术支持信息与手术区的图像交叠地被显示。在手术支持信息被交叠地显示和呈现给外科医生5181的情况下,外科医生5181能够更安全和确定地进行手术。
互连摄像头5119和CCU 5153的发送缆线5179是可用于电信号的通信的电信号缆线、可用于光通信的光纤、或者它们的复合缆线。
这里,在附图中所示的例子中,尽管通信是利用发送缆线5179,通过有线通信进行的,不过也可通过无线通信,进行摄像头5119和CCU 5153之间的通信。在通过无线通信,进行摄像头5119和CCU 5153之间的通信的情况下,不必在手术室中铺设发送缆线5179。于是,可以消除手术室中的医务人员的移动受发送缆线5179干扰的情况。
上面说明了按照本公开的一个实施例的技术可适用于的手术室系统5100的例子。这里要注意的是尽管作为例子,说明了其中手术室系统5100适用于的医疗系统是内窥镜手术系统5113的情况,不过,手术室系统5100的构成不限于上述例子的构成。例如,代替内窥镜手术系统5113,手术室系统5100可适用于检查用软性内窥镜系统,或者显微手术系统。
另外,也可如下构成本技术。
(1)一种多摄像机系统,包括第一摄像机设备;第二摄像机设备;和信息处理设备,信息处理设备包括通信接口和处理电路,所述处理电路被配置成在第一摄像机设备拍摄第一视频,和第二摄像机设备拍摄第二视频的时候,接收来自用户的预定请求;响应所述预定请求,通过通信接口,向第一摄像机设备发送使第一摄像机设备生成第一视频的帧的第一缩略图的第一控制信号,和通过通信接口,向第二摄像机设备发送使第二摄像机设备生成第二视频的帧的第二缩略图的第二控制信号;从第一摄像机设备接收第一缩略图;和从第二摄像机设备接收第二缩略图。
(2)一种信息处理设备,包括通信接口和处理电路,所述处理电路被配置成在第一摄像机设备拍摄第一视频,和第二摄像机设备拍摄第二视频的时候,接收来自用户的预定请求;响应所述预定请求,通过通信接口,向第一摄像机设备发送使第一摄像机设备生成第一视频的帧的第一缩略图的第一控制信号,和通过通信接口,向第二摄像机设备发送使第二摄像机设备生成第二视频的帧的第二缩略图的第二控制信号;从第一摄像机设备接收第一缩略图;和从第二摄像机设备接收第二缩略图。
(3)按照特征(2)所述的信息处理设备,其中拍摄第一视频的第一摄像机设备的视野不同于拍摄第二视频的第二摄像机设备的视野。
(4)按照特征(2)或(3)所述的信息处理设备,其中所述处理电路被配置成输出用户界面,所述用户界面把与预定请求关联的第一缩略图和第二缩略图包含在单一画面中,以便显示给用户。
(5)按照特征(2)-(4)任意之一所述的信息处理设备,其中所述单一画面指示与第一缩略图关联的第一视频的定时,和与第二缩略图关联的第二视频的定时。
(6)按照特征(2)-(5)任意之一所述的信息处理设备,其中所述处理电路被配置成接收来自用户的开始记录请求;和响应开始记录请求,向第一摄像机设备发送使第一摄像机设备开始拍摄第一视频的第三控制信号,和向第二摄像机设备发送使第二摄像机设备开始拍摄第二视频的第四控制信号。
(7)按照特征(6)所述的信息处理设备,其中所述处理电路被配置成接收来自用户的停止记录请求;和响应开始记录请求,向第一摄像机设备发送使第一摄像机设备结束第一视频的拍摄的第五控制信号,和向第二摄像机设备发送使第二摄像机设备结束第二视频的拍摄的第六控制信号。
(8)按照特征(2)-(7)任意之一所述的信息处理设备,其中所述处理电路被配置成在单一画面中,输出第一和第二摄像机设备每一个的剩余存储容量、电池电量、发热水平和通信状态之一或者组合,以便显示给用户。
(9)按照特征(2)-(8)任意之一所述的信息处理设备,其中第一摄像机设备拍摄第一视频,第二摄像机设备从不同的角度,拍摄同一被摄物体的第二视频。
(10)一种保存指令的非临时性计算机可读介质,当由计算机执行时,所述指令使计算机进行获得缩略图的方法,所述方法包括在第一摄像机设备拍摄第一视频,和第二摄像机设备拍摄第二视频的时候,接收来自用户的预定请求;响应所述预定请求,向第一摄像机设备发送使第一摄像机设备生成第一视频的帧的第一缩略图的第一控制信号,和向第二摄像机设备发送使第二摄像机设备生成第二视频的帧的第二缩略图的第二控制信号;从第一摄像机设备接收第一缩略图;和从第二摄像机设备接收第二缩略图。
(11)按照特征(10)所述的非临时性计算机可读介质,其中拍摄第一视频的第一摄像机设备的视野不同于拍摄第二视频的第二摄像机设备的视野。
(12)按照特征(10)或(11)所述的非临时性计算机可读介质,还包括输出用户界面,所述用户界面把与预定请求关联的第一缩略图和第二缩略图包含在单一画面中,以便显示给用户。
(13)按照特征(10)-(12)任意之一所述的非临时性计算机可读介质,其中所述单一画面指示与第一缩略图关联的第一视频内的时间,和与第二缩略图关联的第二视频内的时间。
(14)按照特征(10)-(13)任意之一所述的非临时性计算机可读介质,还包括接收来自用户的开始记录请求;和响应开始记录请求,向第一摄像机设备发送使第一摄像机设备开始拍摄第一视频的第三控制信号,和向第二摄像机设备发送使第二摄像机设备开始拍摄第二视频的第四控制信号。
(15)按照特征(14)所述的非临时性计算机可读介质,还包括接收来自用户的停止记录请求;和响应开始记录请求,向第一摄像机设备发送使第一摄像机设备结束第一视频的拍摄的第五控制信号,和向第二摄像机设备发送使第二摄像机设备结束第二视频的拍摄的第六控制信号。
(16)按照特征(10)-(15)任意之一所述的非临时性计算机可读介质,还包括在单一画面中,输出第一和第二摄像机设备每一个的剩余存储容量、电池电量、发热水平和通信状态之一或者组合,以便显示给用户。
(17)按照特征(10)-(16)任意之一所述的非临时性计算机可读介质,其中第一摄像机设备拍摄第一视频,第二摄像机设备从不同的角度,拍摄同一被摄物体的第二视频。
此外,也可如下构成本技术。
(1)一种多摄像机系统,包括:
多个摄像机;和
确认设备,所述确认设备有线或无线地连接到所述多个摄像机,其中:
每个摄像机包括:
成像器,
存储器,和
控制单元,所述控制单元控制把根据从确认设备发出的开始和停止记录的指令信号,利用所述成像器成像而获得的特定区间的图像数据写入所述存储器的处理,从所述特定区间的图像数据之中的在特定定时的帧的图像数据,生成缩略图图像数据的处理,和在把所述特定区间的图像数据写入存储器的处理完成之后,把缩略图图像数据发送给确认设备的处理,以及
所述确认设备包括
显示器,和
控制单元,所述控制单元控制向所述多个摄像机发送开始和停止记录的指令信号的处理,和根据从所述多个摄像机发出的缩略图图像数据,在所述显示器上,与所述多个摄像机关联地显示相应缩略图图像的处理。
(2)按照(1)所述的多摄像机系统,其中
各个摄像机的控制单元另外控制在把所述特定区间的图像数据写入存储器的处理完成之后,向所述确认设备发出关于所述特定区间的开始和结束的时间信息的处理,和
所述确认设备的控制单元另外控制根据从所述多个摄像机发出的关于所述特定区间的开始和结束的时间信息,在所述显示器上,与所述多个摄像机关联地显示所述特定区间的相应开始和结束时间的处理。
(3)按照(1)或(2)所述的多摄像机系统,其中
各个摄像机的控制单元另外控制在把所述特定区间的图像数据写入存储器的处理完成之后,向所述确认设备发送摄像机设定信息的处理,和
所述确认设备的控制单元另外控制根据从所述多个摄像机发出的摄像机设定信息,在所述显示器上,显示具有与其他摄像机不同的设定的摄像机的存在的处理。
(4)一种摄像机,包括:
成像器;
存储器;和
控制单元,所述控制单元控制把根据从确认设备发出的开始和停止记录的指令信号,利用所述成像器成像而获得的特定区间的图像数据写入所述存储器的处理,从所述特定区间的图像数据之中的在特定定时的帧的图像数据,生成缩略图图像数据的处理,和在把所述特定区间的图像数据写入存储器的处理完成之后,把缩略图图像数据发送给确认设备的处理。
(5)按照(4)所述的摄像机,其中
所述控制单元另外控制在把所述特定区间的图像数据写入存储器的处理完成之后,向确认设备发送关于所述特定区间的开始和结束的时间信息的处理。
(6)按照(4)或(5)所述的摄像机,其中
所述控制单元另外控制在把所述特定区间的图像数据写入存储器的处理完成之后,向确认设备发送摄像机设定信息的处理。
(7)按照(4)-(6)任意之一所述的摄像机,其中
关于所述特定定时的信息是从确认设备发出的。
(8)按照(7)所述的摄像机,其中
所述特定定时包括在确认设备上,进行标记操作的定时。
(9)一种具备成像器和存储器的摄像机的处理方法,所述处理方法包括:
把根据从确认设备发出的开始和停止记录的指令信号,利用所述成像器成像而获得的特定区间的图像数据写入所述存储器;
从所述特定区间的图像数据之中的在特定定时的帧的图像数据,生成缩略图图像数据;和
在把所述特定区间的图像数据写入存储器的处理完成之后,把缩略图图像数据发送给确认设备。
(10)一种确认设备,包括:
显示器;和
控制单元,所述控制单元控制向多个摄像机发送开始和停止记录的指令信号的处理,和根据从多个摄像机发出的缩略图图像数据,在所述显示器上,与所述多个摄像机关联地显示相应缩略图图像的处理。
(11)按照(10)所述的确认设备,其中
所述控制单元另外控制根据从所述多个摄像机发出的关于记录的开始和停止的时间信息,在所述显示器上,与所述多个摄像机关联地显示相应的记录开始和停止时间的处理。
(12)按照(10)或(11)所述的确认设备,其中
所述控制单元另外控制根据从所述多个摄像机发出的摄像机设定信息,在所述显示器上,显示具有与其他摄像机不同的设定的摄像机的存在的处理。
(13)按照(10)-(12)任意之一所述的确认设备,其中
所述控制单元另外控制设定从记录的开始到结束的特定区间之中,生成缩略图图像数据的特定定时的处理,和把关于所述特定定时的信息发送给所述多个摄像机的处理。
(14)按照(13)所述的确认设备,其中
所述特定定时包括进行标记操作的定时。
(15)一种具备显示器的确认设备的处理方法,所述处理方法包括:
向多个摄像机发送开始和停止记录的指令信号;和
根据从所述多个摄像机发出的缩略图图像数据,在所述显示器上,与所述多个摄像机关联地显示相应缩略图图像。
[附图标记列表]
10A,10B,10C,10D,10E多摄像机系统
101,101-A,101-B,101-C摄像机
102确认设备
102B主摄像机
103-A,103-B,103-C控制设备
111CPU
112存储器
113成像器/镜头单元
114摄像机信号处理单元
115编解码器处理单元
116面板处理单元
117面板
118有线通信处理单元
119有线LAN端子
120无线通信处理单元
121天线
131CPU
132存储器
133编解码器处理单元
134图形处理单元
135面板处理单元
136面板
137有线通信处理单元
138有线LAN端子
139无线通信处理单元
140天线
151“开始”按钮
152“停止”按钮
153“标记”按钮
161单选按钮
171警告图标(惊叹号)
181操作按钮

Claims (15)

1.一种多摄像机系统,包括:
第一摄像机设备;
第二摄像机设备;以及
信息处理设备,信息处理设备包括
通信接口,和
处理电路,所述处理电路被配置成
在第一摄像机设备拍摄第一视频以及第二摄像机设备拍摄第二视频时,检测用户对信息处理设备的开始操作和一个或多个标记操作;
响应于检测到的用户的开始操作和一个或多个标记操作,
通过通信接口,向第一摄像机设备发送使第一摄像机设备生成第一视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第一缩略图的第一控制信号,以及
通过通信接口,向第二摄像机设备发送使第二摄像机设备生成第二视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第二缩略图的第二控制信号;
从第一摄像机设备接收第一缩略图;
从第二摄像机设备接收第二缩略图;以及
输出用户界面,所述用户界面将来自第一摄像机设备的第一缩略图和来自第二摄像机设备的第二缩略图分别与第一摄像机设备和第二摄像机设备关联地排列和显示在单一画面中,以便显示给用户,其中,按拍摄时间的顺序,每个持续一定时间地切换第一视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第一缩略图,并且每个持续一定时间地切换第二视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第二缩略图。
2.一种信息处理设备,包括:
通信接口,和
处理电路,所述处理电路被配置成
在第一摄像机设备拍摄第一视频以及第二摄像机设备拍摄第二视频时,检测用户对信息处理设备的开始操作和一个或多个标记操作;以及
响应于检测到的用户的开始操作和一个或多个标记操作,
通过通信接口,向第一摄像机设备发送使第一摄像机设备生成第一视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第一缩略图的第一控制信号,和
通过通信接口,向第二摄像机设备发送使第二摄像机设备生成第二视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第二缩略图的第二控制信号;
从第一摄像机设备接收第一缩略图;
从第二摄像机设备接收第二缩略图;以及
输出用户界面,所述用户界面将来自第一摄像机设备的第一缩略图和来自第二摄像机设备的第二缩略图分别与第一摄像机设备和第二摄像机设备关联地排列和显示在单一画面中,以便显示给用户,其中,按拍摄时间的顺序,每个持续一定时间地切换第一视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第一缩略图,并且每个持续一定时间地切换第二视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第二缩略图。
3.按照权利要求2所述的信息处理设备,其中拍摄第一视频的第一摄像机设备的视野不同于拍摄第二视频的第二摄像机设备的视野。
4.按照权利要求2所述的信息处理设备,其中所述单一画面指示与第一缩略图关联的第一视频的定时和与第二缩略图关联的第二视频的定时。
5.按照权利要求2所述的信息处理设备,其中所述处理电路被配置成
接收来自用户的开始记录请求;和
响应于开始记录请求,
向第一摄像机设备发送使第一摄像机设备开始拍摄第一视频的第三控制信号,和
向第二摄像机设备发送使第二摄像机设备开始拍摄第二视频的第四控制信号。
6.按照权利要求5所述的信息处理设备,其中所述处理电路被配置成
接收来自用户的停止记录请求;和
响应于开始记录请求,
向第一摄像机设备发送使第一摄像机设备结束第一视频的拍摄的第五控制信号,和
向第二摄像机设备发送使第二摄像机设备结束第二视频的拍摄的第六控制信号。
7.按照权利要求2所述的信息处理设备,其中所述处理电路被配置成
在单一画面中输出第一摄像机设备和第二摄像机设备中的每一个的剩余存储容量、电池电量、发热水平以及通信状态中的一个或者组合,以便显示给用户。
8.按照权利要求2所述的信息处理设备,其中
第一摄像机设备拍摄第一视频,以及第二摄像机设备从不同的角度拍摄同一被摄物体的第二视频。
9.一种保存指令的非临时性计算机可读介质,当由计算机执行时,所述指令使计算机进行获得缩略图的方法,所述方法包括:
在第一摄像机设备拍摄第一视频以及第二摄像机设备拍摄第二视频时,检测用户对信息处理设备的开始操作和一个或多个标记操作;
响应于检测到的用户的开始操作和一个或多个标记操作,
向第一摄像机设备发送使第一摄像机设备生成第一视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第一缩略图的第一控制信号,和
向第二摄像机设备发送使第二摄像机设备生成第二视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第二缩略图的第二控制信号;
从第一摄像机设备接收第一缩略图;
从第二摄像机设备接收第二缩略图;以及
输出用户界面,所述用户界面将来自第一摄像机设备的第一缩略图和来自第二摄像机设备的第二缩略图分别与第一摄像机设备和第二摄像机设备关联地排列和显示在单一画面中,以便显示给用户,其中,按拍摄时间的顺序,每个持续一定时间地切换第一视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第一缩略图,并且每个持续一定时间地切换第二视频的开始帧和与标记操作的操作定时相对应的一个或多个帧的第二缩略图。
10.按照权利要求9所述的非临时性计算机可读介质,其中拍摄第一视频的第一摄像机设备的视野不同于拍摄第二视频的第二摄像机设备的视野。
11.按照权利要求9所述的非临时性计算机可读介质,其中所述单一画面指示与第一缩略图关联的第一视频内的定时和与第二缩略图关联的第二视频内的定时。
12.按照权利要求9所述的非临时性计算机可读介质,还包括:
接收来自用户的开始记录请求;和
响应于开始记录请求,
向第一摄像机设备发送使第一摄像机设备开始拍摄第一视频的第三控制信号,和
向第二摄像机设备发送使第二摄像机设备开始拍摄第二视频的第四控制信号。
13.按照权利要求12所述的非临时性计算机可读介质,还包括:
接收来自用户的停止记录请求;和
响应于开始记录请求,
向第一摄像机设备发送使第一摄像机设备结束第一视频的拍摄的第五控制信号,和
向第二摄像机设备发送使第二摄像机设备结束第二视频的拍摄的第六控制信号。
14.按照权利要求9所述的非临时性计算机可读介质,还包括:
在单一画面中输出第一摄像机设备和第二摄像机设备中的每一个的剩余存储容量、电池电量、发热水平以及通信状态中的一个或者组合,以便显示给用户。
15.按照权利要求9所述的非临时性计算机可读介质,其中
第一摄像机设备拍摄第一视频,以及第二摄像机设备从不同的角度拍摄同一被摄物体的第二视频。
CN201780003878.2A 2016-09-12 2017-08-02 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法 Active CN108353144B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-177409 2016-09-12
JP2016177409A JP6743604B2 (ja) 2016-09-12 2016-09-12 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
PCT/JP2017/028129 WO2018047542A2 (en) 2016-09-12 2017-08-02 Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method

Publications (2)

Publication Number Publication Date
CN108353144A CN108353144A (zh) 2018-07-31
CN108353144B true CN108353144B (zh) 2022-02-11

Family

ID=60953919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780003878.2A Active CN108353144B (zh) 2016-09-12 2017-08-02 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法

Country Status (5)

Country Link
US (1) US10694141B2 (zh)
EP (1) EP3357235A2 (zh)
JP (1) JP6743604B2 (zh)
CN (1) CN108353144B (zh)
WO (1) WO2018047542A2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
US11375104B2 (en) * 2019-08-15 2022-06-28 Apple Inc. System for producing a continuous image from separate image sources
US11871114B2 (en) * 2019-10-04 2024-01-09 Visit Inc. System and method for producing panoramic image content
US11120538B2 (en) * 2019-12-27 2021-09-14 Zoox, Inc. Sensor degradation detection and remediation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486678A (zh) * 2014-12-12 2015-04-01 深圳市财富之舟科技有限公司 一种视频列表界面的管理方法
CN104754223A (zh) * 2015-03-12 2015-07-01 广东欧珀移动通信有限公司 一种生成缩略图的方法及拍摄终端
WO2016024440A1 (ja) * 2014-08-12 2016-02-18 ソニー株式会社 情報処理装置、プログラム、及び情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049979A1 (en) * 2000-05-18 2002-04-25 Patrick White Multiple camera video system which displays selected images
JP2005117369A (ja) 2003-10-08 2005-04-28 Konica Minolta Photo Imaging Inc 動画記録装置および動画再生装置並びにデジタルカメラ
WO2005071965A1 (ja) 2004-01-22 2005-08-04 Hitachi Kokusai Electric Inc. 映像配信装置
US20070033632A1 (en) * 2005-07-19 2007-02-08 March Networks Corporation Temporal data previewing system
US8199196B2 (en) * 2007-09-27 2012-06-12 Alcatel Lucent Method and apparatus for controlling video streams
US9083932B2 (en) * 2009-03-25 2015-07-14 Eloy Technology, Llc Method and system for providing information from a program guide
JP2011055294A (ja) * 2009-09-02 2011-03-17 Sony Corp 撮像装置、撮像システム及び撮像方法
JP5475392B2 (ja) * 2009-10-20 2014-04-16 キヤノン株式会社 情報処理装置、撮像装置、撮影システム、情報処理装置による撮影処理方法、撮像装置の制御方法およびプログラム
WO2012040725A2 (en) * 2010-09-24 2012-03-29 Pelco, Inc. Method and system for configuring a sequence of positions of a camera
JP5701707B2 (ja) * 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
US8934045B2 (en) * 2012-03-12 2015-01-13 Apple Inc. Digital camera system having remote control
JP6276414B2 (ja) * 2014-09-11 2018-02-07 富士フイルム株式会社 撮像制御装置、撮像制御方法、撮像システム及びプログラム
US20160259494A1 (en) * 2015-03-02 2016-09-08 InfiniGraph, Inc. System and method for controlling video thumbnail images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016024440A1 (ja) * 2014-08-12 2016-02-18 ソニー株式会社 情報処理装置、プログラム、及び情報処理方法
CN104486678A (zh) * 2014-12-12 2015-04-01 深圳市财富之舟科技有限公司 一种视频列表界面的管理方法
CN104754223A (zh) * 2015-03-12 2015-07-01 广东欧珀移动通信有限公司 一种生成缩略图的方法及拍摄终端

Also Published As

Publication number Publication date
WO2018047542A3 (en) 2018-04-19
JP6743604B2 (ja) 2020-08-19
WO2018047542A2 (en) 2018-03-15
JP2018046322A (ja) 2018-03-22
CN108353144A (zh) 2018-07-31
US20180324383A1 (en) 2018-11-08
EP3357235A2 (en) 2018-08-08
US10694141B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
US11323679B2 (en) Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
CN110168605B (zh) 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP7264051B2 (ja) 画像処理装置および画像処理方法
WO2018088237A1 (ja) 画像処理装置および設定方法、並びにプログラム
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US11022859B2 (en) Light emission control apparatus, light emission control method, light emission apparatus, and imaging apparatus
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
WO2018088238A1 (ja) 画像処理装置および制御方法、並びにプログラム
CN110785972A (zh) 通信系统和发送装置
CN110771102B (zh) 通信系统和控制设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant