CN111480332B - 控制器和控制方法 - Google Patents

Abstract

本技术涉及能够提供具有成本降低的摄影系统的控制器和控制方法。根据本发明，控制单元根据与由第一摄影部拍摄的第一图像和由第二摄影部拍摄的第二图像相关的被摄体的状态控制第一摄影部的第一摄影方向和第二摄影部的第二摄影方向，第二摄影方向不同于第一摄影方向。例如，本技术可应用于讲课捕获系统。

Description

控制器和控制方法

技术领域

本技术涉及控制器和控制方法，并且具体地涉及能够提供实现成本降低的成像系统的控制器和控制方法。

背景技术

近年来，提供了一种讲课捕获系统，用于记录在大学或其他学校授课的状态，并允许在远程地点参加该讲课。

PTL1公开了一种讲课捕获系统，该系统对讲师和听众进行成像以追踪讲师并检测听众的起立动作，并且根据需要在讲师和听众的视频之间切换，并且将视频合并成一个视频以输出。

PTL1的系统为了追踪讲师并检测听众的起立动作，包括能够捕获讲师和听众的俯瞰图的两个俯瞰相机，以及追踪由各个俯瞰相机检测到的讲师和听众的两个追踪相机。每个追踪相机是能够进行摇摄、倾斜、变焦的驱动方式的相机，并且能够以适当的视角对被摄体进行捕获和成像。

引用列表

专利文献

[PTL1]

JP 2005-33570A

发明内容

技术问题

同时，如果传统上根据与每个方向的成像对象相对应的被摄体的状况可控制在不同方向上的成像，则可实现相机数量的减少，并因此实现系统的成本降低。

考虑到上述情况而开发了本技术，并且本技术提供了一种实现成本降低的成像系统。

问题的解决方案

本技术的控制器包括：控制单元，该控制单元根据与由第一成像单元捕获的第一图像或由第二成像单元捕获的第二图像相关联的被摄体的状况，控制第一成像单元的第一成像方向和与第一成像方向不同的第二成像单元的第二成像方向。

根据本技术的控制方法是控制器的控制方法。所述控制方法包括：根据与由第一成像单元捕获的第一图像或由第二成像单元捕获的第二图像相关联的被摄体的状况，控制第一成像单元的第一成像方向和与第一成像方向不同的第二成像单元的第二成像方向。

根据本技术，根据与由第一成像单元捕获的第一图像或由第二成像单元捕获的第二图像相关联的被摄体的状况，控制第一成像单元的第一成像方向和与第一成像方向不同的第二成像单元的第二成像方向。

发明的有益效果

根据本技术，可以提供实现成本降低的成像系统。

注意，要提供的有益效果不必限于本文描述的有益效果，而可以是本公开中描述的任何有益效果。

附图说明

图1是示出应用了本技术的成像系统的配置示例的图。

图2是示出相机控制器的功能配置示例的框图。

图3是示出由相机控制单元设置的预设位置的示例的图。

图4是示出控制器的功能配置示例的框图。

图5是示出情境的描述示例的图。

图6是示出状态的细节的图。

图7是示出状态的细节的图。

图8是示出状态的细节的图。

图9是示出基于情境的成像系统的动作示例的图。

图10是示出基于情境的成像系统的动作示例的图。

图11是示出基于情境的成像系统的动作示例的图。

图12是示出基于编辑的情境的成像系统的动作示例的图。

图13是示出编辑之后的情境的描述示例的图。

图14是示出状态的细节的图。

图15是示出用于情境编辑的GUI的示例的图。

图16是示出用于情境编辑的GUI的示例的图。

图17是示出用于情境编辑的GUI的示例的图。

图18是示出用于定义和注册姿势的GUI的示例的图。

图19是示出成像系统的另一配置示例的图。

图20是示出相机控制器的功能配置示例的框图。

图21是示出情境的描述示例的图。

图22是示出状态的细节的图。

图23是示出状态的细节的图。

图24是示出基于情境的成像系统的动作示例的图。

图25是示出成像系统的另一配置示例的图。

图26是示出情境的描述示例的图。

图27是示出状态的细节的图。

图28是示出状态的细节的图。

图29是示出状态的细节的图。

图30是示出基于情境的成像系统的动作示例的图。

图31是示出成像系统的又一配置示例的图。

图32是示出相机控制器的功能配置示例的框图。

图33是示出状态的细节的图。

图34是示出由时间线表示的情境的描述示例的图。

图35是示出计算机的配置示例的框图。

图36是示意性地示出手术室系统的一般配置的图。

图37是示出集中式操作面板的操作画面图像的显示示例的图。

图38是示出应用了手术室系统的手术状态的示例的图。

图39是示出图38所示的相机头和相机控制单元(CCU)的功能配置的示例的框图。

具体实施方式

以下将描述用于执行本公开的模式(以下称为实施例)。注意，将按照以下顺序呈现描述。

0.由传统讲课捕获系统产生的问题

1.第一实施例(成像系统的基本配置和动作)

2.第二实施例(输出写在板上的内容的配置)

3.第三实施例(输出演示幻灯片的配置)

4.其他变型例

5.应用示例

<0.由传统讲课捕获系统产生的问题>

以往，已知有这样一种讲课捕获系统，其对讲师和听众进行成像，以追踪讲师并检测听众的起立动作，并根据需要在讲师和听众的视频之间进行切换，并将其合并为一个视频来输出。

为了追踪讲师并检测听众的起立动作，该系统包括能够捕获讲师和听众的俯瞰图的两个俯瞰相机，以及追踪由各个俯瞰相机检测到的讲师和听众的两个追踪相机。

然而，传统的讲课捕获系统产生以下问题。

(问题1)

该系统除了需要每个都对被摄体进行追踪和成像的追踪相机之外，还需要每个都检测被摄体的俯瞰相机。因此，系统的成本增加。

(问题2)

此外，上述整个系统的动作过程(例如，在通过俯瞰相机检测到听众的起立动作时，通过追踪相机对听众进行放大)由系统设计者预先确定。因此，用户通常难以对系统的动作进行任何改变。

例如，在讲课风格按每个讲师而不同时，在以往的系统中，要求讲师在授课时掌握预先确定的动作。在这种情况下，不能以原始的风格授课。

另外，根据传统系统，系统配置的改变(例如，追踪相机的数量的增加或减少，以及具有不同功能和性能的相机的组合的使用)也难以灵活地处理。

(问题3)

此外，传统系统主要设计用于对讲师和听众进行成像。在这种情况下，在讲课期间写在板上的内容和用于演示的幻灯片没有被清楚地记录。因此，观众难以识别关于板和演示的详细内容。

考虑到上述情况，以下将描述能够解决上述问题的系统的配置和动作。

根据本实施例的成像系统，控制单元根据与第一图像或第二图像相关联的被摄体的状况，控制第一相机的第一成像方向和与第一成像方向不同的第二相机的第二成像方向。通过控制第一成像方向来控制第一相机的成像范围，而通过控制第二成像方向来控制第二相机的成像范围。

与第一图像或第二图像相关联的被摄体不仅可以包括诸如下面描述的讲师和听众的人，而且可以包括用于板书书写的黑板或白板，以及从PC(个人计算机)输出的幻灯片和材料。

<1.第一实施例>

(成像系统的配置示例)

图1是示出应用本技术的成像系统的配置示例的图。

图1所示的成像系统构成为讲课捕获系统，并且设置在讲师L1向多个听众A1授课的教室或讲堂等中。

图1的成像系统包括讲师用相机11-1、听众用相机11-2、讲师用相机控制器12-1、听众用相机控制器12-2以及控制器13。向控制器13添加输入输出装置14和记录装置15，并且信息处理终端17进一步通过网络16与控制器13连接。

作为第一成像单元的讲师用相机11-1在讲师用相机控制器12-1的控制下，捕获讲师L1的图像，并且将捕获图像(讲师用相机图像)输出到讲师用相机控制器12-1。

作为第二成像单元的听众用相机11-2在听众用相机控制器12-2的控制下，捕获位于与讲师L1所处方向不同的方向上的听众A1的图像，并将捕获图像(听众用相机图像)输出到听众用相机控制器12-2。

例如，讲师用相机11-1和听众用相机11-2分别配置在教室的前部(讲台侧)和后部彼此相对的位置(成像方向彼此相对的位置)，以沿讲师L1所处的方向和听众A1所处的方向进行成像。

讲师用相机11-1和听众用相机11-2可以具有类似的配置，除了仅对应于成像对象的被摄体的不同，即，该被摄体是讲师L1还是听众A1。例如，讲师用相机11-1和听众用相机11-2分别构成为具有机械式摇摄和倾斜功能的PTZ用相机，并且也都能够进行光学和电子变焦。

注意，讲师11-1和讲师用相机11-2仅需要对位于不同方向的被摄体(即，不同种类的被摄体)进行成像即可，而不需要配备俯瞰相机。各个相机11-1和11-2的位置不限于上述位置。

例如，假设教室的前侧位于12点钟方向，讲师用相机11-1被布置在教室的中心附近以便在12点钟方向上进行成像的位置。在这种情况下，听众用相机11-2被设置在教室中心附近以便与听众A1所在的方向一致在6点钟方向进行成像或者在3点钟或9点钟方向进行的位置成像就足够了。

另外，在存在两个讲师L1的情况下，例如，假设教室的前侧位于12点钟的方向，两个讲师用相机11-1被布置在教室中心附近以便分别在10点钟和2点钟的方向上进行成像的位置。

此外，讲师用相机11-1和听众用相机11-2可以被配置为单个360度相机或鱼眼相机(一个成像装置)。在这种情况下，讲师用相机图像和听众用相机图像是通过从360度相机或鱼眼相机获得的全向图像和广角图像中剪切讲师L1所在方向上的图像和听众A1所在方向上的图像而获得的。

如上所述，应用本技术的成像系统不需要具有使用多个被设置为在不同方向上进行成像的相机的配置，而是可以具有其他配置，只要可以获得具有不同成像范围(视角和成像方向)的图像即可。

在讲师用相机11-1和讲师用相机11-2之间没有区别的情况下，讲师用相机11-1和讲师用相机11-2以下简称为相机11。从相机11输出的图像被称为相机图像。另外，在下文中假设相机图像是运动图像。然而，相机图像可以是静止图像，或者是通过在时间上连续成像而获得的连续图像。

讲师用相机控制器12-1在控制器13的控制下，控制讲师用相机11-1的视角或成像方向，以控制讲师用相机11-1的成像范围。将从讲师用相机11-1输出的讲师用相机图像输出到控制器13。此外，讲师用相机控制器12-1接收来自控制器13的计算和控制指令，并且将计算和控制结果输出到控制器13。

听众用相机控制器12-2在控制器13的控制下控制听众用相机11-2的视角或成像方向，以控制听众用相机11-2的成像范围。从听众用相机11-2输出的听众用相机图像被输出到控制器13。另外，听众用相机控制器12-2接收来自控制器13的计算和控制指令，并将计算和控制结果输出到控制器13。

讲师用相机控制器12-1和听众用相机控制器12-2可以具有类似的配置，除了控制对象的不同，即，控制对象是讲师用相机11-1还是听众用相机11-2。

在讲师用相机控制器12-1和讲师用相机控制器12-2之间没有区别的情况下，讲师用相机控制器12-1和讲师用相机控制器12-2在下文中简称为相机控制器12。注意，可以在相机11中内置相机控制器12。

另外，在相机11被配置为单个360度相机或鱼眼相机的情况下，提供单个相机控制器12以控制从全向图像或广角图像中剪切的讲师用相机图像和听众用相机图像的范围。

如上所述，相机控制器12通过控制相机11的视角和成像方向来控制讲师用相机图像和听众用相机图像的成像范围，或者从全向图像或广角图像中剪切的范围。

例如，控制器13控制多个相机控制器12(讲师用相机控制器12-1和听众用相机控制器12-2)，以获取从各相机控制器12输出的相机图像，并输出切换或合并为一个图像的相机图像。输出的相机图像被记录在记录装置15中，或者经由网络16被发送到信息处理终端17。

另外，控制器13向每个相机控制器12输出计算和控制指令，并且从每个相机控制器12获取计算和控制结果。控制器13基于从相机控制器12接收的计算和控制结果来控制相机控制器12。

注意，相机控制器12和控制器13各自可以包括具有相应功能的专用硬件，或者包括普通计算机并通过软件实现相应功能。另外，相机控制器12和控制器13可以不被配置为彼此分离的组件，而是被配置为彼此一体地设置为一个控制器的组件。

输入输出装置14包括接收来自用户的操作的键盘和鼠标，以及具有显示功能的显示器等。该显示器可以具有触摸面板的功能。控制器13基于由系统设计者或用户执行的并且经由输入输出装置14接收的操作来定义表示构成成像系统的各个装置的动作过程的情境(如何实现各个装置的动作)，以控制成像系统的动作。下面将描述该情境的细节。

信息处理终端17是位于讲师L1授课的场所或远程的观众视听从控制器13输出的图像时使用的终端。

信息处理终端17可以包括具有相应功能的专用硬件，或者可以包括普通计算机并通过软件实现相应功能。另外，可以在信息处理终端17上设置相机、麦克风等，以经由网络16向控制器13发送来自观众所处的空间的图像和语音。

(相机控制器的功能配置示例)

图2是描述上述相机控制器12(讲师用相机控制器12-1和听众用相机控制器12-2)的功能配置示例的框图。

相机控制器12包括移动体检测单元21、姿势检测单元22、跟踪单元23和相机控制单元24。

移动体检测单元21从各相机11获取相机图像(图像信号)，并且在相机控制单元24的控制下检测相机图像中的移动体。将表示检测出的移动体的位置(例如坐标)和形状的信息提供给相机控制单元24。

姿势检测单元22从各相机11获取相机图像(图像信号)，并且在相机控制单元24的控制下检测相机图像中的被摄体(讲师L1或听众A1)的姿势(动作)。将表示检测出的姿势的类型和姿态的信息提供给相机控制单元24。

跟踪单元23从各相机11获取相机图像(图像信号)，并在相机控制单元24的控制下追踪相机图像中的被摄体。指示与追踪对象相对应的被摄体的位置(例如，坐标)和形状的信息被提供给相机控制单元24。

相机控制单元24控制被设置为移动体检测单元21、姿势检测单元22和跟踪单元23的各个单元，并且基于作为控制的结果从各个单元获得的信息来计算相机11的适当视角和拍摄操作。相机控制单元24基于指示该计算结果的相机控制信号来控制相机11。

此外，相机控制单元24与控制器13交换为执行以下描述的情境而提供的信息、指示相机11的状态以及计算和控制结果的信息等作为装置控制信号。

例如，当相机控制单元24对作为移动体检测单元21、姿势检测单元22、跟踪单元23而设置的各个单元进行控制时，将图3的框PF所示的预设位置设定为讲师用相机图像的视角的预设位置。在图3中，预设位置(框PF)被设置在教室的黑板和讲台(讲桌)周围的范围内。

例如，当讲师L1站在讲台上时，即，当通过移动体检测单元21在讲师用相机图像中预设的框PF内检测到移动体时，相机控制单元24响应于该检测作为触发，将控制对象移动到跟踪单元23。相机控制单元24基于由跟踪单元23追踪被摄体(讲师L1)的结果而获得的信息，计算讲师用相机11-1的适当的视角，并生成用于控制摇摄、倾斜、变焦的相机控制信号，以控制讲师用相机11-1。

(控制器的功能配置示例)

图4是描述上述控制器13的功能配置示例的框图。

控制器13包括中央控制单元31、情境生成单元32和切换器33。

中央控制单元31基于预先定义的情境(下面描述)执行整个成像系统的动作控制。例如，中央控制单元31根据与讲师用相机图像或听众用相机图像相关联的被摄体的状况，综合控制讲师用相机11-1(在讲师L1所在的方向)的成像和听众用相机11-2(在听众A1所在的方向)的成像。

更具体地，中央控制单元31通过控制讲师用相机控制器12-1来获取讲师用相机图像，并且通过控制听众用相机控制器12-2来获取听众用相机图像。然后，中央控制单元31根据该情境下的讲师用相机图像或听众用相机图像中的被摄体的状况，控制各相机11的成像(各相机控制器12的动作)，并控制所获得的相机图像中的至少任意一个的输出(切换器33的动作)。

例如，被摄体的状况是指被摄体的行为。被摄体的行为可以是被摄体的动作，或者是从被摄体发出的声音。被摄体的动作的具体例包括通过姿势检测而检测出的起立、坐下、举手、鼓掌、在事态说明期间进行的诸如肢体语言或指示的各动作、向上述的预设位置的移动、从预设位置的移动等动作。被摄体发出的声音的示例包括诸如给他人的呼叫以及对该呼叫的回复的说话语音、鼓掌声、钟声等。

更具体地，根据本实施例的成像系统，如上所述，根据被摄体的状况，控制相机11(讲师用相机11-1和听众用相机11-2)的视角和成像方向(相机11的各成像范围)。

除了该控制之外，例如，在作为被摄体的状况在由相机11获取的相机图像中检测到多个被摄体之间的重叠的情况下，可以控制相机11的成像方向。此外，例如，在作为被摄体的状况在由相机11获取的相机图像中检测到相同类型的被摄体的情况下，可以控制相机11的视角和成像方向。

情境是描述与动作控制对象相对应的各个相机控制器12和切换器33的状态的转变的信息。更具体地，该情境描述由各个控制对象执行的动作(行为)，以及用于针对整个成像系统的多个状态(状态)中的每一个状态而转移到其他状态的触发(事件)。

中央控制单元31向各个控制器12和切换器33发出装置控制信号，以请求各个控制器12和切换器33执行在情境中描述的行为和事件。以这种方式，中央控制单元31管理各个相机控制器12和切换器33的状态(State)，并且控制各个相机控制器12和切换器33的动作。基于从输入输出装置14提供的操作信号，实现与用户的基本对话，诸如情境的执行的开始和终止，以及要执行的情境的选择。

中央控制单元31不仅可以执行预先定义的情境，也可以执行由情境生成单元32生成的情境。

情境生成单元32使用户能够定义并生成情境。基于从输入输出装置14提供的操作信号，实现用于生成情境的与用户的基本对话。将生成的情境提供给中央控制单元31。

作为输出控制单元的切换器33在中央控制单元31的控制下，获取从各相机控制器12输出的相机图像(图像信号)，并输出切换为该图像信号后的图像信号中的任一个，或者输出通过将多个图像信号合并后产生的图像信号。将输出的图像信号记录在记录装置15中，或者经由网络16发送到信息处理终端17。

通过切换器33合并相机图像(图像信号)的示例包括两个图像并排布置的并排合并、一个图像显示在另一个图像内的画中画合并、两个图像重叠的重叠等。

虽然图4的示例中的切换器33被内置在控制器13中，但是注意，切换器33可以被配置为与控制器13分离的独立装置。

(情境的描述示例)

在此将参考图5描述情境的描述示例。

如图5中所述，情境包括至少一个切入点(EP)和至少一个状态。

EP表示该情境的起始点。当从用户发出情境的执行开始的指令时，用于执行情境的处理从EP开始。

在每个状态中描述行为和事件。

在行为中描述由连接到控制器13(中央控制单元31)的各个装置执行的并且对应于动作控制对象的动作。

在事件中描述作为用于转变至其他状态的触发器的用于转变至其他状态的条件的控制对象的动作结果，以及与转变条件相关联的状态转变目的地。

因此，在由各个控制对象执行在该状态的行为中描述的动作期间，由各个控制对象中的任何一个执行的动作满足在特定状态的事件中描述的转换条件的情况下，该状态转变到与转变条件相关联地描述的其他状态。因此，该情境被认为覆盖了基于事件的从状态到状态的所有转变的表达。

注意，各转变条件假定是基于讲师用相机图像中的被摄体(讲师L1)或听众用相机图像中的被摄体(听众A1)的状况变化而设定的。虽然以下详细说明，但转变条件的示例包括基于讲师L1的移动的条件、以及基于听众A1的动作的条件。

图5中的示例描述了一个EP和六个状态A到F，各个状态由单向或双向箭头连接。成像系统的状态根据这些箭头在EP和各个状态之间转变。

图6至图8示出了状态A至F的细节。

各状态的行为描述由连接到中央控制单元31的各个源(作为讲师用相机控制器12-1、听众用相机控制器12-2和切换器33设置的各个装置)执行的动作。

关于讲师用相机控制器12-1和听众用相机控制器12-2，描述与对应的相机11的成像控制相关联的动作(上段)和对应的相机控制器12进行的计算(下段)。关于切换器33，描述与图像输出相关联的动作。

行为中的各个装置的动作的内容和数量根据各个装置中包括的功能的内容和数量而变化。因此，中央控制单元31被配置为查询各个连接的装置，以识别各个装置的功能的内容和数量。

在每个状态的事件中描述与转变到后续状态的条件相对应的源(装置)的动作结果以及状态转变目的地。在每个事件中描述仅一个转变目的地和一个转变条件，或者多个目的地和多个条件。另外，事件可以被描述为各个状态所共同的，而不是针对每个状态。例如，作为各状态共同的事件，可以描述在诸如发生错误的情况以及在任一状态下用户进行中断的情况的情况下强制转变到其他状态的一个或多个条件，以及相应的一个或多个条件的一个或多个转变目的地。

作为讲师用相机控制器12-1的动作，在状态A(图6)的行为中描述(通过讲师用相机11-1进行)Wide(广角)侧固定成像以及在预设的位置(讲台)对移动体的检测。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2)进行的Wide侧固定成像。此外，作为切换器33的动作，描述了讲师用相机图像的输出。

在状态A的事件中描述了讲师用相机控制器12-1在预设位置(讲台)处检测到移动体的情况下的状态向状态B的转变。

作为讲师用相机控制器12-1的动作，在状态B(图6)的行为中描述(通过讲师用相机11-1进行)Tele(远摄)侧摇摄-倾斜成像以及对追踪的执行。此外，作为听众用相机控制器12-2的动作，描述(通过听众用相机11-2)的Wide侧固定成像和姿势(起立)检测的执行。此外，作为切换器33的动作，描述了讲师用相机图像的输出。

在状态B的事件中描述在听众用相机控制器12-2检测到姿势(起立)的情况下状态到状态C的转变。

作为讲师用相机控制器12-1的动作，在状态C(图7)的行为中描述(通过讲师用相机11-1执行)Tele侧摇摄-倾斜成像以及对追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了远摄侧的摇摄-倾斜成像以及(由听众用相机11-2)姿势(坐下)检测的追踪和执行。此外，作为切换器33的动作，描述了听众用相机图像的输出。

在状态C的事件中描述在听众用相机控制器12-2确定追踪对象在固定时段或更长时段内仅移动比固定距离短的距离的情况下状态到状态D的转变。此外，描述在听众用相机控制器12-2确定追踪对象在比固定时段短的时段内没有移动固定距离或更长的情况下状态到状态E的转变。此外，描述在听众用相机控制器12-2在比固定时段短的时段内检测到姿势(坐下)的情况下状态到状态B的转变。

作为讲师用相机控制器12-1的动作，在状态D(图7)的行为中描述(通过讲师用相机11-1进行)Tele侧摇摄-倾斜成像以及追踪的执行。此外，作为听众用相机控制器12-2的动作，描述(通过听众用相机11-2进行)Tele侧摇摄-倾斜成像和姿势(坐下)检测的执行。此外，作为切换器33的动作，描述了讲师用相机图像和听众用相机图像并排合并以被输出。

在状态D的事件中描述在听众用相机控制器12-2检测到姿势(坐下)的情况下状态到状态B的转变。

作为讲师用相机控制器12-1的动作，在状态E(图8)的行为中描述(通过讲师用相机11-1进行)Tele侧固定成像以及对移动体检测的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Tele侧摇摄-倾斜成像和对追踪的执行。此外，作为切换器33的动作，描述了听众用相机图像的输出。

在状态E的事件中描述在讲师用相机控制器12-1在预设位置(讲台)检测到多个移动体(即，两个或更多个人作为讲师和听众)的情况下状态到状态F的转变。

作为讲师用相机控制器12-1的动作，在状态F(图8)的行为中描述(通过讲师用相机11-1执行)Tele侧摇摄-倾斜成像以及对追踪的执行。这里的摇摄-倾斜成像和追踪是与多个人相对应地执行的。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像。此外，作为切换器33的动作，描述了讲师用相机图像的输出。

在状态F的事件中描述讲师用相机控制器12-1确定听众移动到预设位置(讲台)的外部的情况下状态向状态B转移。

此外，作为各状态共同的事件(图8)，描述在用户向中央控制单元31给出终止指令的情况下整个成像系统的动作的终止。此外，描述了在构成成像系统的所有源(装置)中的任何一个中已经引起错误的情况下状态到状态B的转变。

(基于情境的成像系统的动作示例)

以下将描述基于上述情境的成像系统的动作示例。

注意，可以仅在设置了特定成像模式的情况下执行根据本实施例的基于情境的成像系统的动作。例如，可以响应于相机图像中的被摄体(讲师L1和听众A1的各个)的检测的触发来设定特定的成像模式，或者可以根据用户的操作来设定。或者，可以响应于预先设定的讲课开始时间的触发来设定特定的成像模式。

图9描述了在图1的成像系统中从讲师L1站在讲台上的时间到听众A1之一起立提问的时间的情境，并且对应于上述情境从状态A到状态C的转变。如图9所示，注意，在该示例中，讲师用相机11-1设置在进行授课的教室的后部中央部分以对讲师L1进行成像，而听众用相机11-2设置在教室的右前部分以对整个听众A1进行成像。

在各示出了基于情境的成像系统的动作示例的图中，以下假设上段示出了针对每个状态的进行授课的教室的顶视图，而中段和下段分别示出了针对每个状态的讲师用相机图像和听众用相机图像。教室的顶视图示出用虚线表示的讲师用相机11-1和听众用相机11-2的视角(拍摄范围)，以及讲师L1和听众A1的位置。另外，讲师用相机图像和听众用相机图像的每个中的由粗框围绕且由粗虚线箭头连接的图像表示从切换器33输出的图像。

首先，响应于用户经由输入输出装置14向控制器13(中央控制单元31)发出执行情境的指令，状态从EP(切入点)转变到状态A。此时，中央控制单元31指示讲师用相机控制器12-1、听众用相机控制器12-2和切换器33执行在状态A(图6)的行为中描述的动作。

响应于该指令，如图9的状态A所示，讲师用相机控制器12-1发出相机控制信号，指示讲师用相机11-1执行Wide侧固定成像，并且在讲师用相机图像中执行在将预设位置设置到讲台的状态下的移动体的检测。

另外，听众用相机控制器12-2发出相机控制信号，以指示听众用相机11-2执行Wide侧固定成像。

然后，切换器33输出由粗框围绕的讲师用相机图像。

如状态A(图6)的事件所示，当在该状态下，讲师用相机控制器12-1在讲师用相机图像的预定位置(讲师L1)检测到移动体(讲师L1)时，状态转变到状态B。此时，中央控制单元31向讲师用相机控制器12-1、讲师用相机控制器12-2、切换器33指示进行状态B(图6)的行为。

响应于该指令，如图9的状态B所示，讲师用相机控制器12-1执行讲师用相机图像中的讲师L1的追踪。讲师用相机控制器12-1还基于追踪结果发出相机控制信号以指示讲师用相机11-1执行Tele侧摇摄-倾斜成像，从而以适当的视角对讲师L1进行捕获。这里的适当视角是用于捕获讲师L1的半身像(bust-up shot)的视角。

另外，听众用相机控制器12-2发出相机控制信号以指示听众用相机11-2从状态A开始连续地执行Wide侧固定成像，并且在听众用相机图像中执行姿势(起立)检测。

然后，切换器33从状态A开始连续地输出由粗框围绕的讲师用相机图像。

当在该状态下所述听众用相机控制器12-2在所述听众用相机图像中检测到姿势(站起来)时，所述状态转变到状态C，如在状态B(图6)的情况下所描述的。此时，中央控制单元31向讲师用相机控制器12-1、讲师用相机控制器12-2、切换器33指示进行状态C(图7)的行为中描述的动作。

响应于该指令，如图9的状态C所示，讲师用相机控制器12-1继续与状态B中的动作类似的动作。

此外，听众用相机控制器12-2执行听众用相机图像中的听众A1的追踪。听众用相机控制器12-2还基于追踪结果发出相机控制信号，以指示听众用相机11-2执行Tele侧摇摄-倾斜成像，以适当的视角对听众A1进行捕获。这里的适当视角是用于捕获听众A1的半身像的视角。另外，听众用相机控制器12-2执行听众用相机图像中的起立听众A1的姿势(坐下)检测。

然后，切换器33将讲师用相机图像切换为由粗框围绕的讲师用相机图像，并输出该讲师用相机图像。

如在状态C(图7)的事件中所述，根据听众用相机控制器12-2的动作结果，该状态转变到状态D、状态E或状态B中的任何一个。

图10描述了在图1的成像系统中从听众A1起立时的时间到听众A1就地回答问题并坐下时的时间的场景，并且对应于上述情境的状态C、状态D和状态B的顺序的转变。

更具体地，在图10的状态C中，如状态C(图7)的事件所述，在听众用相机控制器12-2确定在听众用相机图像中追踪对象在固定时段或更长时段仅移动比固定距离短的距离(听众A1在座位起立回答问题)的情况下，状态转变到状态D。此时，中央控制单元31向讲师用相机控制器12-1、讲师用相机控制器12-2及切换器33指示执行状态D(图7)的行为中描述的动作。

响应于该指令，如图10的状态D所示，讲师用相机控制器12-1继续与状态C中的动作类似的动作。

另外，听众用相机控制器12-2执行听众用相机图像中的起立听众A1的姿势(坐下)的检测。

然后，切换器33将讲师用相机图像和听众用相机图像并排地合并，并输出合并后的图像。以这种方式，即使讲师L1和听众A1由不同的相机11进行成像，观众也可以在一个屏幕上检查讲师L1和听众A1之间的交流。

如在状态D(图7)的事件中所描述，当在该状态下听众用相机控制器12-2在听众用相机图像中检测到姿势(坐下)时，所述状态再次转变到状态B。响应于该转变，如图10中的状态B所示，切换器33将讲师用相机图像和听众用相机图像从通过并排合并获得的图像切换到由粗框围绕的讲师用相机图像，并输出该讲师用相机图像。

图11描述了在图1的成像系统中从听众A1起立、移动到讲台并回答问题的时间到听众A1返回座位并坐下的时间的场景，并对应于上述情境的状态C、状态E、状态F和状态B的顺序的转变。

更具体地，在图11的状态C中，如状态C(图7)的事件所述，在听众用相机控制器12-2确定在听众用相机图像中追踪对象在比固定时段短的时段中移动固定距离或更长的距离(听众移动到讲台以回答问题)的情况下，状态转变到状态E。此时，中央控制单元31向讲师用相机控制器12-1、讲师用相机控制器12-2、切换器33指示执行状态E(图8)的行为中描述的动作。

以这种方式，如图11的状态E所示，讲师用相机控制器12-1发出相机控制信号，以指示讲师用相机11-1执行Wide侧摇摄-倾斜成像。另外，讲师用相机控制器12-1在讲师用相机图像中执行移动体检测。即使在讲师L1和听众A1都站在讲台上的情况下，也能够使用讲师用相机11-1通过Wide侧摇摄-倾斜成像来对听众A1和讲师L1进行捕获。

另外，听众用相机控制器12-2发出相机控制信号以指示听众用相机11-2从状态C连续地执行Tele侧摇摄-倾斜成像，并且在听众用相机图像中执行听众A1的追踪。

此后，切换器33从状态C开始连续地输出由粗框围绕的听众用相机图像。

如状态E(图8)的事件所述，当在该状态下，讲师用相机控制器12-1在讲师用相机图像中的预定位置(讲台)处检测到多个移动体(即，作为讲师L1和听众A1的两个人)时，状态转变到状态F。此时，中央控制单元31向讲师用相机控制器12-1、听众用相机控制器12-2、切换器33指示执行状态F(图8)的行为中描述的动作。

响应于该指令，如图11的状态F所示，讲师用相机控制器12-1执行讲师用相机图像中的讲师L1和听众A1中的每一个的追踪。讲师用相机控制器12-1还基于追踪结果发出相机控制信号以指示讲师用相机11-1执行Tele侧摇摄-倾斜成像，从而以适当的视角对被摄体进行捕获。这里的适当视角是用于捕获讲师L1和听众A1两者的视角。

另外，听众用相机控制器12-2发出相机控制信号，以指示听众用相机11-2执行Wide侧固定成像，以具有与作为随后的转移目的地的状态B的角度相同的视角。在此不执行移动体检测和追踪。

然后，切换器33将听众用相机图像切换为由粗框围绕的讲师用相机图像，并输出该讲师用相机图像。

如状态F(图8)的事件所述，当在该状态下，讲师用相机控制器12-1确定在讲师用相机图像中听众已经移动到预设位置(讲台)之外时，状态再次转变到状态B。响应于该转换，如图11中的状态B所示，切换器33从状态F连续地输出由粗框围绕的讲师用相机图像。

根据上述配置，仅使用两个相机，就能够实现讲师的追踪和听众的动作(诸如起立和坐下)的检测，以及以适当的视角捕获讲师和听众。更具体地，讲师用相机和听众用相机中的一个进行放大以捕获被摄体的图像，而另一个相机进行缩小以利用两个相机之间的控制链接来检测被摄体。各个图像能够在适当的定时切换并输出。

因此，能够提供这样一种讲课捕获系统，其除了用于对被摄体进行追踪和成像的追踪相机之外，不需要设置检测用于被摄体的俯瞰相机，从而能够实现成本降低。

(情境编辑示例)

上述情境可能够由用户进行编辑。

根据上述情境，如参考图9所述，在听众A1起立提问的情况下，要输出的图像从讲师用相机图像切换到听众用相机图像(状态B→状态C)。

通过允许编辑成像系统的上述动作的情境，如图12所示，允许当听众A1举起他或她的手来提问时输出的图像从讲师用相机图像切换到听众用相机图像(状态B'→状态G)。

图13是示出编辑之后的情境的描述示例的图。

根据图13中的情境，图5中的情境中的状态B被切换到状态B'，并且新添加了状态G。

图14示出了状态B'和状态G的细节。

作为将在状态B'的行为中描述的听众用相机控制器12-2的动作，在状态B(图6)的行为中描述的"执行姿势(起立)检测"被切换到"执行姿势(举手)检测"。

另外，作为在听众用相机控制器12-2检测到姿势(起立)的情况下在状态B'的事件中描述的转变，到"状态C"的转变被切换到到"状态G"的转变。

作为讲师用相机控制器12-1的动作，在新添加的状态G的行为中描述了(通过讲师用相机11-1进行)Tele侧摇摄-倾斜成像和追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像和姿势(起立)检测的执行。此外，作为切换器33的动作，描述了听众用相机图像的输出。

在状态G的事件中描述在听众用相机控制器12-2检测到姿势(起立)的情况下状态到状态C的转变。

更具体地，如状态B'(图14)的事件中所述，当听众用相机控制器12-2在图12的状态B'中检测到听众用相机图像中的姿势(举手)时，状态转变到状态G。此时，中央控制单元31对讲师用相机控制器12-1、讲师用相机控制器12-2、切换器33指示进行状态G(图14)的行为中描述动作。

响应于该指令，如图12中的状态G所示，讲师用相机控制器12-1继续与状态B'中的动作类似的动作。

另外，听众用相机控制器12-2发出相机控制信号以指示听众用相机11-2从状态B'连续地执行Wide侧固定成像，并且在听众用相机图像中执行姿势(起立)检测。

然后，切换器33将讲师用相机图像切换为由粗框围绕的讲师用相机图像，并输出该讲师用相机图像。

如状态G(图14)的事件中所述，当在该状态下，听众用相机控制器12-2在听众用相机图像中检测到姿势(起立)时，状态转变到状态C。响应于该转变，如图12中的状态C所示，切换器33从状态G连续地输出由粗框围绕的讲师用相机图像。

整个成像系统的动作可以通过以上述方式编辑情境来改变。

(用于场景编辑的GUI的示例)

通过使用控制器13(中央控制单元31)向用户呈现GUI(图形用户界面)，实现了以上述方式编辑情境。控制器13(中央控制单元31)可以根据用户通过作为输入输出装置14设置的键盘或鼠标执行的操作来添加或删除状态，以及编辑(改变)现有情境中包括的状态(行为和事件的描述内容)。

图15是描绘在作为输入输出装置14设置的显示器中显示为用于情境编辑的GUI的情境的编辑画面的示例的图。

在图15的显示器100中显示参考图5描述的情境的编辑画面。

在图15中，在通过鼠标等选择构成情境的状态B的状态下，响应于右击操作等显示上下文菜单111。上下文菜单111显示三个项目，即，"添加状态"、"删除状态"和"编辑状态"。在项目"编辑状态"的右端显示三角形箭头，并且在箭头的右侧显示子菜单。在子菜单中显示两个项目，即"编辑行为"和"编辑事件"。

如果在图15中选择了子菜单的"编辑行为"，则如图16所示，在编辑画面中显示用于编辑状态B的行为的弹出窗口112。作为状态B的行为，在图16中的弹出窗口112中显示描述各个装置的动作内容的列表。

通过使用鼠标等选择由听众用相机控制器12-2执行的动作(执行姿势(起立)检测)的项目部分，显示图16中的下拉菜单。在下拉菜单中显示可由听众用相机控制器12-2执行的动作，诸如"执行移动体检测"、"执行追踪"、"执行姿势(举手)检测"和"执行姿势(坐下)检测"作为选项。

在下拉菜单中显示的选项是根据控制器13(中央控制单元31)关于内容和数量查询的各个装置的功能的内容和数量可执行的动作。此外，可以由用户基于各个装置的规格手动地添加要在下拉菜单中显示的选项。

注意，情境的编辑画面除了图15所示的示例之外，例如也可以是如图17所示的响应于使用鼠标在编辑画面中的右击操作等而在画面的右下区域显示的菜单按钮组121的画面。或者，菜单按钮组121也可以在情境的编辑画面中的固定位置默认显示。

此外，用户可以扩展各个装置的功能。例如，用户可以新定义并注册由相机控制器12的姿势检测单元22检测到的姿势的类型。

图18是示出作为用于定义和注册姿势并且显示在作为输入输出装置14而设置的显示器中的GUI的姿势注册画面的示例的图。

图18示出了在姿势注册画面150中与起立动作相对应的姿势的注册状态。例如，响应于用户使用软件选择姿势定义和注册模式，显示姿势注册画面150。

图像显示部151被包括在姿势注册画面150中。由相机11捕获的任何被摄体(人)的图像被显示在图像显示部151中。在图18左侧的姿势注册画面150的图像显示部151中出现坐下状态的人，而在图18右侧的姿势注册画面150的图像显示部151中出现从坐下状态转变的站立状态的人。

相机控制器12的姿势检测单元22识别图像中的人的姿势，在图像显示部151中生成粗线所示的骨骼结构信息，并将生成的骨骼结构信息经由相机控制单元24提供给中央控制单元31。切换器33将中央控制单元31获取的骨骼结构信息叠加在从相机控制器12接收到的图像上，并在姿势注册画面150的图像显示部151中显示叠加的信息。骨架结构信息可以在相机控制器12处被叠加在图像上。

在姿势注册画面150中的图像显示部151的上方设置有按钮b1、b2、b3、b4以及文本框tb。

按钮b1是用于开始记录在图像显示部151中显示的图像的按钮，而按钮b2是用于停止记录图像的按钮。按钮b3是用于再现记录的图像的按钮，而按钮b4是用于编辑再现的图像中的骨骼结构信息的按钮。用户可以通过使用鼠标等操作按钮b4来校正在图像显示部151中再现和显示的图像中的骨架结构信息。

文本框tb是输入要注册的姿势的名称的区域。用户可以通过操作键盘等来确定要注册的姿势的名称。

在姿势注册画面150中的图像显示部151的下方设置有时间线152和注册按钮153。

时间线152是指示在图像显示部151中显示的图像的再现位置的物体。条上的光标Rc指示整个图像中的就时间而言的当前再现位置。

在记录的图像中，时间线152的条上的图标Rs表示就时间而言实际用于姿势检测的图像的开始时间，并且图标Re表示就时间而言实际用于姿势检测的图像的结束时间。图标Rs和Re在时间线152的条上的位置可以由用户设置。

注册按钮153是用于与姿势名称相关联地注册包括在记录图像中的骨骼结构信息的按钮。通过操作注册按钮153注册图像中包括的骨架结构信息在记录图像中从图标Rs指示的开始位置到图标Re指示的结束位置的一系列改变，以及输入到文本框tb的姿势名称。

在图16的下拉菜单中添加并显示如上所述注册的姿势名称。姿势检测单元22通过在情境(行为)的编辑中将相机控制器12的动作变更为对添加姿势的检测的执行，能够检测与新注册的姿势相同或类似的姿势。

注意，在由姿势检测单元22执行的姿势检测中，可以以时间序列或以预定帧为单位，将相机图像中的被摄体的移动与记录图像中所包括的骨架结构信息进行相互比较。

根据图18中描述的示例，起立动作被注册为姿势。然而，考虑到一系列姿势变化是可记录的事实，允许注册任何姿势。

此外，虽然这里描述了姿势注册的示例，但是可以类似地注册下面描述的板书提取单元211(图20)所采用的板书提取模式和下面描述的用于面部检测/识别单元351的识别的面部。

根据上述配置，用户可以实现能够定义和编辑整个系统的动作的软件结构和GUI。更具体地，用户可以通过组合状态或者改变描述定义状态的各个源的动作(行为)的情境中的状态之间的转变，以及用于转变后续状态的事件来添加和删除系统的动作过程。

因此，允许用户(讲师)按照各讲课的类型进行授课，以及灵活地应对系统配置的改变。

<2.第二实施例>

(成像系统的配置示例)

图19是描绘应用本技术的成像系统的另一配置示例的图。

图19中的成像系统除了图1中的成像系统的配置之外还包括板书用相机11-3和板书用相机控制器12-3。

板书用相机11-3在板书用相机控制器12-3的控制下，捕获讲师L1在讲课期间使用的黑板(或白板)B1的图像，并将所获得的图像(板书用相机图像)输出到板书用相机控制器12-3。

板书用相机11-3设置在这样的位置，以便在与讲师用相机11-1的方向基本相同的方向上进行成像。

除了与成像对象对应的被摄体是黑板B1以外，板书用相机11-3可以具有与讲师用相机11-1和听众用相机11-2相同的配置。因此，与讲师用相机11-1和听众用相机11-2类似，板书用相机11-3也被配置为具有机械式摇摄和倾斜功能，并且还能够进行光学及电子变焦的PTZ用相机。

板书用相机控制器12-3在控制器13的控制下控制板书用相机11-3获取从板书用相机11-3输出的板书用相机图像，并将获取的图像输出到控制器13。另外，板书用相机控制器12-3从控制器13接收计算和控制指令，并将计算和控制结果输出到控制器13。

除了控制对象是板书用相机11-3之外，板书用相机控制器12-3基本上具有与讲师用相机控制器12-1和听众用相机控制器12-2的配置类似的配置，但是不同之处在于设置了下面描述的板书提取功能。

(板书用相机控制器的功能配置示例)

图20是描述上述板书用相机控制器12-3的功能配置示例的框图。

除了图2中的相机控制器12的配置之外，图20中的板书用相机控制器12-3还包括板书提取单元211。

板书提取单元211从板书用相机11-3获取板书用相机图像，并在相机控制单元24的控制下执行用于从板书用相机图像中提取写在黑板B1上的内容的板书提取处理。虽然在此不描述板书提取处理的细节，但是从板书提取处理得到的板书提取结果图像作为图像信号输出到控制器13(切换器33)。在这种情况下，切换器33在中央控制单元31的控制下，根据每个相机图像中的被摄体的图像或者板书提取处理的结果，控制相应相机图像或者板书提取结果图像中的至少一个的输出。

板书用相机图像不仅包括黑板B1，还包括在黑板B1上书写文字、图表等的讲师L1。板书提取单元211在从板书用相机图像中删除讲师L1，并通过对写在讲板上的文字、图形等进行再现和强调来提高其可视性的同时输出板书提取图像。

此外，板书提取单元211不仅能够提取写在板上的内容，而且能够按时间序列存储讲师L1在黑板B1上书写或删除文字的处理以识别书写开始或删除开始的时刻，以及书写内容(文字、图形等)。

(情境的描述示例)

图21是描述定义图19中的成像系统的动作的情境的描述示例的图。

根据图21中的情境，图13中的情境中的状态B'被切换到状态B"，并且状态H和I被新添加。

图22是描述状态B"的细节的图，而图23是描述状态H和I的细节的图。

除了类似于状态B'的行为的描述之外，在状态B"(图13)的行为中描述板书用相机控制器12-3的动作(图22)。作为板书用相机控制器12-3的动作，在状态B"的行为中描述(通过板书用相机11-3进行)Wide侧固定成像和板书提取(处理)的执行。

除了类似于状态B'的行为的描述之外，在状态B"的事件中描述在板书用相机控制器12-3检测到对板的书写或从板删除的情况下状态到状态H的转变(图13)。

作为讲师用相机控制器12-1的动作，在状态H(图23)的行为中描述(通过讲师用相机11-1执行)Wide侧固定成像和追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像和对姿势(举手)检测的执行。此外，作为板书用相机控制器12-3的动作，描述了(通过板书用相机11-3进行)Wide侧固定成像和板书提取的执行。作为切换器33的动作，描述板书提取结果图像的输出。

在状态H的事件中描述在听众用相机控制器12-2检测到姿势(举手)的情况下状态到状态G的转变。此外，描述在板书用相机控制器12-3确定在固定时段或更长时段内没有检测到对板的书写或从板的删除的情况下状态到状态I的转变。

作为讲师用相机控制器12-1的动作，在状态I(图23)的行为中描述(通过讲师用相机11-1执行)Tele侧固定成像和追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像和姿势(举手)检测的执行。此外，作为板书用相机控制器12-3的动作，描述了(通过板书用相机11-3进行)Wide侧固定成像和板书提取的执行。作为切换器33的动作，描述了讲师用相机图像和板书提取结果图像被并排合并以被输出。

在状态I的事件中描述在听众用相机控制器12-2检测到姿势(举手)的情况下状态到状态G的转变。此外，描述在板书用相机控制器12-3检测到向板写入或从板删除的情况下状态到状态H的转变。

(基于情境的成像系统的动作示例)

随后，将描述基于图21中的情境的成像系统的动作示例。

图21中的情境与图13中的情境的不同之处在于，设置了状态B"、状态H和状态I。因此，将参照图24来说明这些状态之间的状态转变。

当在图24的状态B"中听众用相机控制器12-2在听众用相机图像中检测到姿势(举手)时，状态转变到状态G，如状态B"(图22)的事件中所述。响应于该转变，如图24中的状态G所示，切换器33将讲师用相机图像切换为听众用相机图像，并输出听众用相机图像。

另一方面，如在状态B"(图22)的事件中所述，当板书用相机控制器12-3在板书用相机图像中检测到向板写入或从板删除时，状态转变到状态H。此时，中央控制单元31指示讲师用相机控制器12-1、听众用相机控制器12-2、板书用相机控制器12-3和切换器33执行状态H(图23)的行为中描述的动作。

响应于该指令，如图24中的状态H所示，切换器33将讲师用相机图像切换为板书提取结果图像，并输出板书提取结果图像。

如在状态H(图23)的事件中所描述的，当在该状态下，听众用相机控制器12-2在听众用相机图像中检测到姿势(举手)时，状态转变到状态G。响应于该转变，如图24中的状态G所示，切换器33将板书提取结果图像切换为听众用相机图像，并输出听众用相机图像。

另一方面，如在状态H(图23)的事件中所述，当板书用相机控制器12-3确定在固定时段或更长的时段内没有在板书用相机图像中检测到向板的写入或从板删除时，状态转变到状态I。此时，中央控制单元31指示讲师用相机控制器12-1、听众用相机控制器12-2、板书用相机控制器12-3和切换器33执行状态I(图23)的行为中描述的动作。

响应于该指令，如图24中的状态I所示，切换器33从板书提取结果图像进行切换，并且输出通过并排合并讲师用相机图像和板书提取结果图像而获得的图像。

如在状态I(图23)的事件中所描述的，当在此状态下，听众用相机控制器12-2在听众用相机图像中检测到姿势(举手)时，状态转变到状态G。响应于该转变，如图24中的状态G所示，切换器33将通过并排合并获得的讲师用相机图像和板书提取结果图像切换到听众用相机图像，并输出该听众用相机图像。

另一方面，如在状态H(图23)的事件中所述，当板书用相机控制器12-3检测到对板的写入或从板的删除时，状态再次转变到状态H。响应于该切换，如图24中的状态H所示，切换器33将通过并排合并获得的讲师用相机图像和板书提取结果图像切换成板书提取结果图像，并输出该板书提取结果图像。

根据上述配置，在讲师L1在黑板B1上书写期间(状态H)，输出板书提取结果图像。当讲师L1暂时停止板书书写时，除了板书提取结果图像之外，还输出讲师L1的状态出现的图像(状态I)。基本上，状态H和状态I之间的转变作为成像系统的状态重复，以输出板上的书写主要出现的图像。因此，观众能够识别讲课的详细内容。

<3.第三实施例>

(成像系统的配置示例)

图25是描绘应用本技术的成像系统的另一配置示例的图。

图25中的成像系统除了图1中的成像系统的配置之外还包括用于幻灯片301的PC。

作为信息处理装置的幻灯片用PC301与控制器13连接，并且在控制器13的控制下，将演示用幻灯片和与素材相关的数据输出到控制器13。在这种情况下，切换器33根据每个相机图像的被摄体的状况(包括幻灯片(素材)的输出改变)，控制各相机图像或幻灯片中至少一个的输出。注意，从幻灯片用PC301输出的幻灯片和素材也输出(显示)到讲师L1的后方(与听众A1相对的一侧)设置的未图示的画面。

幻灯片用PC301配置为个人计算机，但也可以配置为诸如平板终端和智能手机的便携式终端装置。

(情境的描述示例)

图26是描述定义图25中的成像系统的动作的情境的描述示例的图。

根据图26中的情境，图5中的情境中的状态B被切换到状态B”'，并且设置状态J、K、L和M，而不是状态C、D、E和F。

图27是描述状态B”'的细节的图，而图28和29是描述状态J、K、L和M的细节的图。

作为讲师用相机控制器12-1的动作，在状态B”'(图27)的行为中描述了(通过讲师用相机11-1进行)Tele侧摇摄-倾斜成像以及追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像和姿势(鼓掌)检测的执行。还描述了作为幻灯片用PC301的动作的幻灯片输出，以及作为切换器33的动作的讲师用相机图像输出。

在状态B”'的事件中描述在听众用相机控制器12-2检测到姿势(鼓掌)的情况下状态到状态M的转变。此外，描述了在幻灯片用PC301执行幻灯片切换(幻灯片馈送)的情况下状态到状态J的转变。

作为讲师用相机控制器12-1的动作，将(通过讲师用相机11-1进行)Tele侧摇摄-倾斜成像和追踪的执行描述为状态J(图28)的行为。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像和姿势(鼓掌)检测的执行。还描述了作为幻灯片用PC301的动作的幻灯片的输出，以及作为切换器33的动作的这些幻灯片的输出。

在状态J的事件中描述了在讲师用相机控制器12-1检测到姿势(肢体语言)的情况下状态到状态K的转变，以及在讲师用相机控制器12-1确定追踪对象已经移动了固定距离或更长的距离的情况下状态到状态L的转变。此外，描述了在听众用相机控制器12-2检测到姿势(鼓掌)的情况下状态到状态M的转变。

作为讲师用相机控制器12-1的动作，在状态K(图28)的行为中描述(通过讲师用相机11-1进行)Tele侧摇摄-倾斜成像以及追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像和对姿势(鼓掌)检测的执行。还描述了幻灯片的输出作为幻灯片用PC301的动作，以及讲师用相机图像和幻灯片的并排合并且输出合并的图像作为切换器33的动作。

在状态K的事件中描述在讲师用相机控制器12-1确定追踪对象已经移动了一定距离或更长距离的情况下状态向状态L的转变。此外，描述在讲师用相机控制器12-2检测到姿势(鼓掌)的情况下状态向状态M的转变。此外，描述了在幻灯片用PC301执行幻灯片切换的情况下状态到状态J的转变。

作为讲师用相机控制器12-1的动作，在状态L(图29)的行为中描述(通过讲师用相机11-1进行)以足以包括讲师L1和输出到讲师L1背后的画面的幻灯片的视角的摇摄-倾斜成像以及追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Wide侧固定成像和姿势(鼓掌)检测的执行。还描述了幻灯片的输出作为幻灯片用PC301的动作，以及讲师用相机图像的输出作为切换器33的动作。

在状态L的事件中描述在讲师用相机控制器12-1检测到姿势(肢体语言)的情况下状态向状态K的转变。另外，描述在听众用相机控制器12-2检测到姿势(鼓掌)的状态下状态向状态M的转变。此外，描述了在幻灯片用PC301执行幻灯片切换的情况下状态到状态J的转变。

作为讲师用相机控制器12-1的动作，在状态M(图29)的行为中描述(通过讲师用相机11-1进行)Tele侧摇摄-倾斜成像以及追踪的执行。此外，作为听众用相机控制器12-2的动作，描述了(通过听众用相机11-2进行)Tele侧摇摄-倾斜成像。还描述了幻灯片的输出作为幻灯片用PC301的动作，以及听众用相机图像的输出作为切换器33的动作。

例如，在状态M的事件中描述在中央控制单元31确定自从输出图像被切换到听众用相机图像起经过了固定时段的情况下状态到状态B"'的转变。

(基于情境的成像系统的动作示例)

随后，将描述基于图26中的情境的成像系统的动作示例。

图26中的情境与图5中的情境的不同之处在于，设置了B"'、状态J、状态K、状态L和状态M。因此，将参考图30描述这些状态之间的状态转变。

如在状态B"'(图27)的事件中所述，当在图30中的状态B"'中，听众用相机控制器12-2在听众用相机图像中检测到姿态(鼓掌)时，状态转变到状态M。

另一方面，如状态B"'(图27)的事件中所述，当幻灯片用PC301执行幻灯片切换时，状态转变到状态J。响应于该转变，如图30中的状态J所示，切换器33将讲师用相机图像切换到幻灯片，并且输出幻灯片。

如状态J(图28)的事件中所述，当在该状态下讲师用相机控制器12-1在讲师用相机图像中检测到姿势(肢体语言)时，状态转变到状态K。响应于该切换，如图30中的状态K所示，切换器33从幻灯片切换，并且输出通过并排合并讲师用相机图像和幻灯片而获得的图像。

如状态K(图28)的事件中所述，当在该状态下讲师用相机控制器12-1确定在讲师用相机图像中追踪对象已经移动固定距离或更长距离时，状态转变到状态L。响应于该转变，如图30中的状态L所示，切换器33从通过并排合并讲师用相机图像和幻灯片获得的图像切换，并以足以包括讲师L1和讲师L1后面的幻灯片的视角输出讲师用相机图像。

如在状态L(图29)的事件中所述，当在该状态下讲师用相机控制器12-1在讲师用相机图像中检测到姿势(肢体语言)时，状态转变到状态K。另外，当幻灯片用PC301执行幻灯片的切换时，状态再次转变到状态J。

另一方面，如在状态K(图28)的事件中所述，当在状态K中听众用相机控制器12-2检测到听众用相机图像中的姿势(鼓掌)时，状态转变到状态M。另外，当幻灯片用PC301执行幻灯片的切换时，状态再次转变到状态J。

此外，如状态J(图28)的事件中所述，当在状态J中讲师用相机控制器12-1确定讲师用相机图像中追踪对象已经移动了固定距离或更长距离时，状态再次转变到状态L。另一方面，当听众用相机控制器12-2在听众用相机图像中检测到姿势(鼓掌)时，状态转变到状态M。

在状态M中，如图30中的状态M所示输出听众用相机图像。虽然在状态M(图29)的行为中描述了执行Tele侧摇摄-倾斜成像，但是可以通过Wide侧固定成像来对整个听众进行成像。此外，可以预先设定在状态M下的听众用相机11-2的成像位置和摄影。

此后，如在状态M(图29)的事件中所述，当中央控制单元31确定经过了诸如完成预设摄影的固定时段时，状态再次转变到状态B"'。

在幻灯片切换的情况下，由于该幻灯片是讲师L1想要放映的幻灯片的可能性高，所以按照上述配置输出(状态J)。在讲师L1所进行的肢体语言被夸大的情况下，除了幻灯片以外，还输出出现讲师的状态的图像(状态K)。由此，观众能够有效地感觉到讲师L1对讲课的热情。

另外，在讲师L1开始步行的情况下，通过以稍微缩小的视角追踪讲师L1的摄影成像，能够提供动态图像(状态L)。另外，在听众A1鼓掌的情况下，通过输出听众出现的图像可提供具有逼真感觉的图像(状态M)。

基本上，主要出现幻灯片的图像被输出，并且讲师L1和听众A1的图像也被有效地插入。因此，观众可以在感觉真实感觉的同时识别演示的详细内容。

<4.其他变型实施例>

下面将描述上述实施例的其他变型。

(成像系统的配置示例)

图31是描绘应用本技术的成像系统的又一配置示例的图。

除了图1中的成像系统的配置之外，图31中的成像系统还包括板书用相机11-3、板书用相机控制器12-3和幻灯片用PC301。

因此，图31中的成像系统具有组合图19中的成像系统和图25中的成像系统的配置。

根据该配置，观众能够在识别讲课的详细内容或者感觉到临场感的同时，识别演示的详细内容。

(相机控制器的功能配置示例)

图32是描述上述相机控制器12的另一功能配置示例的框图。

除了图2中的相机控制器12的配置之外，图32中的板书用相机控制器12还包括面部检测/识别单元351。

面部检测/识别单元351从每个相机11获取相机图像，并在相机控制单元24的控制下检测相机图像中的面部或将该面部识别为特定面部。经由相机控制单元24将表示检测到面部的信息或表示识别出面部的信息提供给控制器13(中央控制单元31)。

注意，面部检测/识别单元351可以检测人或者将该人识别为特定人，而不是相机图像中的面部。此外，除了面部检测/识别单元351之外，相机控制器12还可以具有执行其他类型的识别处理、人工智能处理等的复杂功能。

在相机控制器12包括面部检测/识别单元351的情况下，构成图5中的情景的状态A和状态E可以分别切换到图33中所示的状态A'和状态E'。

作为将在状态A'的行为中描述的讲师用相机控制器12-1的动作，在状态A(图6)的行为中描述的"在预设位置(讲台)处执行移动体检测"被切换到"在预设位置(讲台)处执行面部检测或面部识别)"。

另外，作为将在状态A'的事件中描述的转变到状态B'的条件，通过讲师用相机控制器12-1"在预定位置(讲台)检测到移动体"被切换到"在预定位置(讲台)检测到面部或识别出特定面部"。

另一方面，作为状态E'的行为中描述的讲师用相机控制器12-1的动作，在状态E(图8)的行为中描述的"执行移动体检测"被切换为"执行面部检测或面部识别"。

此外，作为将在状态E'的事件中描述的转变到状态F的条件，通过讲师用相机控制器12-1"在预设位置(讲台)检测到多个移动体"被切换到"在预设位置(讲台)检测到多个(即，作为讲师和听众的两个或更多个人)面部或者识别出多个特定面部"。

以这种方式，可以响应于由诸如面部检测和面部识别的附加功能给出的触发而转变成像系统的状态。此外，例如，通过利用诸如通过面部检测所检测到的面部的位置的附加功能，可以组合并执行现有功能和附加功能以实现适当的视角或摄影。

(其他情景描述示例)

虽然在上述情况下由状态转变图来表示情景，但是可以由如图34中所描绘的时间线来表示情景。

图34中的情景是图5中所描绘的情景，并且由时间线表示以表示状态在时间序列中从图中的左侧向右侧的转变。图34的情景表示讲师用相机控制器12-1、讲师用相机控制器12-2、切换器33针对每个状态执行的动作(行为)。

在图34的情景中，假设在状态C之后每个装置(源)的动作被分支为三个部分，并且在这种情况下的分支条件类似于图7中所示的状态C的事件中的相应条件。注意，"转到★"指的是返回到状态B的起始点(★)。

以这种方式，情景也可以由时间线表示。

(计算机的配置示例)

上述一系列处理可以由硬件或软件执行。在通过软件执行一系列处理的情况下，构成软件的程序从程序记录介质安装到包含在专用硬件中的计算机、通用个人计算机等中。

图35是描述在程序下执行上述一系列处理的计算机的硬件的配置示例的框图。

上述控制器13由具有图35所示配置的计算机实现。

CPU1001、ROM1002、RAM1003通过总线1004相互连接。

输入/输出接口1005进一步连接到总线1004。在输入输出接口1005上连接有由键盘、鼠标等构成的输入单元1006、由显示器、扬声器等构成的输出单元1007。此外，包括硬盘、非易失性存储器等的存储单元1008、包括网络接口等的通信单元1009、以及驱动可移除介质1011的驱动器1010连接到输入/输出接口1005。

例如，根据如上配置的计算机，CPU1001执行存储在存储单元1008中并经由输入/输出接口1005和总线1004加载到RAM1003中的程序，以执行上述一系列处理。

由CPU1001执行的程序被记录在可移除介质1011中，或者例如经由诸如局域网、因特网和数字广播的有线或无线传输介质来提供，并且被安装在存储单元1008中。

注意，由计算机执行的程序可以是其中以本说明书中描述的顺序按时间序列执行处理的程序，或者可以是其中并行地或者在诸如进行调用时的必要定时执行处理的程序。

<5.应用示例>

根据本公开的技术可应用于各种系统。例如，上述成像系统可应用于会议系统或下文描述的手术室系统。

图36是示意性地描绘了根据本公开的实施例的技术可以应用于其中的手术室系统5100的一般配置的视图。参照图36，手术室系统5100构成为经由视听(AV)控制装置5107和手术室控制装置5109连接设置在手术室中的一组装置并使其相互协作。

在手术室中，可以安装各种装置。在图36中，作为示例，描绘了用于内窥镜手术的各种装置组5101、天花板相机5187、手术视野相机5189、多个显示装置5103A至5103D、记录器5105、病床5183和照明装置5191。天花板相机5187设置在手术室的天花板上，并对手术医生的手进行成像。手术视野相机5189设置在手术室的天花板上，并对整个手术室的状态进行成像。

在上述装置中，装置组5101属于后述的内窥镜手术系统5113，并且包括内窥镜、显示由内窥镜拾取的图像的显示装置等。属于内窥镜手术系统5113的各种装置也称为医疗装备。另一方面，显示装置5103A至5103D、记录器5105、病床5183以及照明装置5191是与内窥镜手术系统5113分开设置在手术室等中的装置。不属于内窥镜手术系统5113的装置也称为非医疗装备。视听控制器5107和/或手术室控制装置5109彼此协作地控制医疗装备和非医疗装备的操作。

视听控制器5107对医疗装备和非医疗装备的与图像显示有关的处理进行统一控制。具体地，手术室系统5100中所设置的装置中的装置组5101、天花板相机5187以及手术视野相机5189也可以是具有发送在手术期间显示的信息的功能的装置(以下，将该信息称为显示信息，并且将该装置称为发送源的装置)。同时，显示装置5103A至5103D中的每一个可以是显示信息被输出到的装置(该装置在下文中也被称为输出目的地的装置)。此外，记录器5105可以是用作发送源的装置和输出目的地的装置两者的装置。视听控制器5107具有控制发送源的装置和输出目的地的装置的操作以从发送源的装置获取显示信息并将该显示信息发送到输出目的地的装置以便显示或记录的功能。注意，显示信息包括在手术期间拾取的各种图像、与手术有关的各种信息(例如，患者的身体信息、过去的检查结果或关于手术过程的信息)等。

具体地，关于由内窥镜成像的患者的体腔内的手术部位的图像的信息可以作为显示信息从装置组5101发送到视听控制器5107。此外，可以从天花板相机5187发送由天花板相机5187拾取的与手术医生的手的图像有关的信息作为显示信息。另外，也可以从手术视野相机5189将与由手术视野相机5189拾取的图像相关并且示出整个手术室的状态的信息作为显示信息进行发送。注意，如果在手术室系统5100中存在具有图像拾取功能的其他装置，则视听控制器5107也可以从该其他装置获取与由该其他装置拾取的图像相关的信息作为显示信息。

或者，例如，在记录器5105中，由视听控制器5107记录与过去拾取的上述图像有关的信息。视听控制器5107可以从记录器5105获取与过去拾取的图像有关的信息作为显示信息。注意，也可以将与手术有关的各种信息预先记录在记录器5105中。

视听控制器5107控制作为输出目的地的装置的显示装置5103A至5103D中的至少一个，以显示所获取的显示信息(即，在手术期间拾取的图像或者与手术有关的各条信息)。在所示的示例中，显示装置5103A是安装成从手术室的天花板悬挂的显示装置；显示装置5103B是安装在手术室的壁面上的显示装置；显示装置5103C是安装在手术室中的桌子上的显示装置；并且显示装置5103D是具有显示功能的移动装置(例如，平板个人计算机(PC))。

此外，虽然在图36中未示出，但是手术室系统5100可以包括手术室外部的装置。手术室外的装置可以是例如连接到在医院内外构建的网络的服务器、医务人员使用的PC、安装在医院的会议室中的投影仪等。在这样的外部装置位于医院外的情况下，视听控制器5107也可以通过远程会议系统等使显示信息显示在其他医院的显示装置上，以执行远程医疗。

手术室控制装置5109对非医疗装备的图像显示所涉及的处理以外的处理进行统一控制。例如，手术室控制装置5109控制病床5183、天花板相机5187、手术视野相机5189和照明装置5191的驱动。

在手术室系统5100中，设置有集中操作面板5111，使得通过该集中操作面板5111能够向视听控制装置5107发出与图像显示有关的指令，或者向手术室控制装置5109发出与非医疗装备的操作有关的指令。集中操作面板5111通过在显示装置的显示面上设置触摸面板来配置。

图37是表示集中操作面板5111上的操作画面图像的显示的示例的图。在图37中，作为示例，示出了与在手术室系统5100中设置两个显示装置作为输出目的地的装置的情况相对应的操作画面。参照图37，操作画面图像5193包括发送源选择区域5195、预览区域5197和控制区域5201。

在发送源选择区域5195中，将手术室系统5100中所设置的发送源装置和表示该发送源装置所具有的显示信息的缩略图画面图像彼此相关联地显示。用户可以从在发送源选择区域5195中显示的任意发送源装置选择要在显示装置上显示的显示信息。

在预览区域5197中，显示在作为输出目的地的装置的两个显示装置(监控器1和监控器2)上显示的画面图像的预览。在所示的示例中，关于一个显示装置，四个图像通过画中画(PinP)显示来显示。四个图像对应于从在发送源选择区域5195中选择的发送源装置发送的显示信息。四个图像中的一个以相对大的尺寸显示为主图像，而其余三个图像以相对小的尺寸显示为子图像。用户可以通过从显示在该区域中的四个图像中适当地选择图像之一来在主图像和子图像之间进行交换。此外，在显示四个图像的区域的下方设置状态显示区域5199，并且与手术有关的状态(例如，手术的经过时间、患者的身体信息等)可以适当地显示在状态显示区域5199中。

在控制区域5201中设置有发送源操作区域5203和输出目的地操作区域5205。在发送源操作区域5203中，显示用于执行对发送源的装置的操作的图形用户界面(GUI)部件。在输出目的地操作区域5205中，显示用于对输出目的地的装置进行操作的GUI部件。在所示的示例中，在发送源操作区域5203中设置用于对具有图像拾取功能的发送源的装置中的相机执行操作(摇摄、倾斜和变焦)的GUI部件。用户可以通过适当地选择GUI部件中的任何一个来控制发送源的装置的相机的操作。注意，虽然未图示，但在发送源选择区域5195中选择的发送源的装置是记录器的情况下(即，在预览区域5197中显示过去记录在记录器中的图像的情况下)，可以在发送源操作区域5203中设置用于进行诸如图像的再现、再现的停止、倒带、快进等操作的GUI部件。

此外，在输出目的地操作区域5205中，设置了用于执行在作为输出目的地的装置的显示装置上显示的各种操作(交换、翻转、颜色调整、对比度调整以及在二维(2D)显示和三维(3D)显示之间切换)的GUI部件。用户可以通过适当地选择GUI部件中的任何一个来操作显示装置的显示。

另外，集中操作面板5111所显示的操作画面图像不限于上述示例，并且用户也可以通过集中操作面板5111对手术室系统5100中设置的视听控制装置5107和手术室控制装置5109能够控制的各装置进行操作输入。

图38是示出应用上述手术室系统的手术状态的示例的图。天花板相机5187和手术视野相机5189设置在手术室的天花板上，以使其能够对在病床5183上的患者5185的患病区域进行治疗的手术医生(医生)5181的手和整个手术室进行成像。天花板相机5187和手术视野相机5189可以包括倍率调整功能、焦距调整功能、成像方向调整功能等。照明装置5191设置在手术室的天花板上，并且至少照射在手术医生5181的手上。照明装置5191可以被配置成使得照射光量、照射光的波长(颜色)、光的照射方向等可以被适当地调节。

内窥镜手术系统5113、病床5183、天花板相机5187、手术视野相机5189和照明装置5191通过视听控制器5107和手术室控制装置5109(图38中未示出)彼此协作地连接，如图36所示。在手术室中设置中央操作面板5111，并且用户可以通过中央操作面板5111适当地操作手术室中存在的装置，如上所述。

下面，对内窥镜手术系统5113的配置进行详细说明。如所描述的，内窥镜手术系统5113包括内窥镜5115、其他手术工具5131、其上支撑内窥镜5115的支撑臂装置5141、以及其上安装有用于内窥镜手术的各种装置的推车5151。

在内窥镜手术中，代替切开腹壁进行剖腹手术，使用被称为套管针5139a至5139d的多个管状开孔设备来穿刺腹壁。然后，将内窥镜5115的透镜筒5117和其他外科工具5131通过套管针5139a至5139d插入到患者5185的体腔中。在所示的示例中，作为其他手术工具5131，气腹管5133、能量处理工具5135和钳子5137被插入患者5185的体腔。另外，能量处理工具5135是用于通过高频电流或超声波振动进行组织的切开、剥离、血管的封闭等的处理工具。然而，所描述的手术工具5131仅仅是示例，并且作为手术工具5131，可以使用通常在内窥镜手术中使用的各种手术工具，例如，一对镊子或牵开器。

在显示装置5155上显示由内窥镜5115拾取的患者5185的体腔内的手术部位的图像。手术医生5181在实时观察显示装置5155上显示的手术部位的图像的同时，使用能量处理工具5135或钳子5137来执行诸如切除患病区域的处理。另外，虽然未图示，但是气腹管5133、能量处理工具5135以及钳子5137在手术中由手术医生5181或助手等支承。

(支撑臂装置)

支撑臂装置5141包括从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括接头部分5147a、5147b和5147c以及连杆5149a和5149b，并且在臂控制装置5159的控制下被驱动。内窥镜5115由臂单元5145支撑，使得内窥镜5115的位置和姿态被控制。因此，可以实现内窥镜5115在适当位置的稳定固定。

(内窥镜)

内窥镜5115包括透镜筒5117，其具有从其远端起的预定长度的区域，以插入到患者5185的体腔中，以及相机头5119，其连接到透镜筒5117的近端。在所示的示例中，示出了内窥镜5115，其被配置成具有硬型透镜筒5117的硬镜。然而，内窥镜5115可以以其他方式被配置为具有软型透镜筒5117的软镜。

透镜镜筒5117在其远端处具有开口，物镜装配在该开口中。光源装置5157连接到内窥镜5115，使得由光源装置5157产生的光通过在透镜筒5117内部延伸的导光件被引入透镜筒5117的远端，并且通过物镜被朝向患者5185的体腔内的观察对象施加。应当注意，内窥镜5115可以是直接观察镜或者可以是透视观察镜或侧视镜。

光学系统和图像拾取元件被设置在相机头5119的内部，使得来自观察对象的反射光(观察光)通过光学系统被会聚在图像拾取元件上。观察光由图像拾取元件进行光电转换，以生成与观察光对应的电信号，即与观察图像对应的图像信号。图像信号作为RAW数据被发送到CCU5153。应注意，相机头5119具有结合在其中的功能，用于适当地驱动相机头5119的光学系统以调节倍率和焦距。

应当注意，为了建立与例如立体视觉(3D显示)的兼容性，可以在相机头5119上设置多个图像拾取元件。在这种情况下，为了将观察光引导到多个相应的图像拾取元件，在透镜筒5117内部设置多个中继光学系统。

(推车中的各种装置)

CCU5153包括中央处理单元(CPU)、图形处理单元(GPU)等，并且整体地控制内窥镜5115和显示装置5155的操作。具体地，CCU5153对从相机头5119接收的图像信号执行基于图像信号显示图像的各种图像处理，例如，显影处理(去马赛克处理)。CCU5153将已经执行了图像处理的图像信号提供给显示装置5155。此外，图36中所示的视听控制器5107连接到CCU5153。CCU5153还向视听控制器5107提供已经对其执行了图像处理的图像信号。此外，CCU5153向相机头5119发送控制信号以控制相机头5119的驱动。控制信号可以包括与诸如倍率或焦距的图像拾取条件有关的信息。关于图像拾取条件的信息可以通过输入装置5161输入，或者可以通过集中操作面板5111输入，如上所述。

显示装置5155在CCU5153的控制下基于CCU5153对其执行了图像处理的图像信号来显示图像。如果内窥镜5115准备用于高分辨率(诸如4K(水平像素数3840×垂直像素数2160)、8K(水平像素数7680×垂直像素数4320)等)的成像，和/或准备用于3D显示，那么可以使用能够进行高分辨率和/或3D显示的相应显示的显示装置作为显示装置5155。在该装置准备好用于诸如4K或8K的高分辨率的成像的情况下，如果用作显示装置5155的显示装置具有等于或不小于55英寸的尺寸，则可以获得更沉浸的体验。此外，可以根据目的设置具有不同分辨率和/或不同尺寸的多个显示装置5155。

光源装置5157包括例如发光二极管(LED)等光源，并将用于手术部位的成像的照射光供给至内窥镜5115。

臂控制装置5159包括诸如CPU的处理器，并且根据预定程序操作以根据预定控制方法控制支撑臂装置5141的臂单元5145的驱动。

输入装置5161是内窥镜手术系统5113的输入接口。用户可以通过输入装置5161对内窥镜手术系统5113进行各种信息的输入或指令输入。例如，用户可以通过输入装置5161输入与手术相关的各种信息，诸如患者的身体信息、与手术的手术过程相关的信息等。另外，用户也可以通过输入装置5161输入例如驱动臂单元5145的指令、改变内窥镜5115的图像拾取条件(照射光的类型、倍率、焦距等)的指令、驱动能量处理工具5135的指令等。

输入装置5161的类型不受限制，并且可以是各种已知输入装置中的任何一种。作为输入装置5161，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5171和/或杠杆等。在触摸面板用作输入装置5161的情况下，它可以设置在显示装置5155的显示面上。

输入装置5161是要安装在用户上的装置，例如眼镜型可穿戴装置或头戴式显示器(HMD)，并且响应于由所提及的任何装置检测到的用户的姿势或视线来执行各种输入。此外，输入装置5161包括可检测用户的运动的相机，并且响应于从由相机拾取的视频检测到的用户的姿势或视线来执行各种输入。此外，输入装置5161包括能够收集用户的语音的麦克风，并且通过麦克风利用语音执行各种输入。通过以这样的方式配置输入装置5161使得以非接触方式输入各种信息，尤其是属于清洁区域的用户(例如，手术医生5181)能够以非接触方式操作属于非清洁区域的装置。此外，由于用户可以在不从手中释放所拥有的手术工具的情况下操作装置，因此提高了用户的便利性。

处理工具控制装置5163控制能量处理工具5135的驱动，以烧灼或切开组织、封闭血管等。气腹装置5165通过气腹管5133将气体供给到患者5185的体腔中，以使体腔膨胀，从而确保内窥镜5115的视场并确保手术医生的工作空间。记录器5167是能够记录与手术有关的各种信息的装置。打印机5169是能够以诸如文本、图像或图形的各种形式打印与手术有关的各种信息的装置。

以下，对内窥镜手术系统5113的特性配置进行详细描述。

(支撑臂装置)

支撑臂装置5141包括用作基座的基座单元5143，以及从基座单元5143延伸的臂单元5145。在所示的示例中，臂单元5145包括多个接头部分5147a、5147b和5147c以及通过接头部分5147b彼此连接的多个连杆5149a和5149b。在图38中，为了简化说明，以简化形式描述臂单元5145的配置。实际上，可适当地设定接头部分5147a至5147c和连杆5149a、5149b的形状、数量、布置、以及接头部分5147a至5147c的旋转轴的方向等，以使臂部5145具有所期望的自由度。例如，臂单元5145可以优选地被包括，使得其具有等于或不小于6个自由度的自由度。这使得能够在臂部5145的可动范围内自由地移动内窥镜5115。因此，能够从所需方向将内窥镜5115的透镜筒5117插入患者5185的体腔中。

在上述接头部分5147a至5147c上设置致动器，通过该致动器的驱动，上述接头部分5147a至5147c能够围绕预定的旋转轴旋转。致动器的驱动由臂控制装置5159控制，以控制接头部分5147a至5147c中的每一个的旋转角度，从而控制臂单元5145的驱动。因此，可以实现对内窥镜5115的位置和姿态的控制。因此，臂控制装置5159可以通过诸如力控制或位置控制的各种已知控制方法来控制臂单元5145的驱动。

例如，如果手术医生5181通过输入装置5161(包括脚踏开关5171)适当地进行操作输入，臂单元5145的驱动可以由臂控制装置5159响应于该操作输入而适当地控制，以控制内窥镜5115的位置和姿态。在通过刚刚描述的控制将在臂单元5145的远端处的内窥镜5115从任意位置移动到不同的任意位置之后，内窥镜5115可以被固定地支撑在移动之后的位置处。应当注意，臂单元5145可以以主从方式操作。在这种情况下，臂单元5145可以由用户通过放置在远离手术室的位置处的输入装置5161来远程控制。

此外，在施加力控制的情况下，臂控制装置5159可执行动力辅助控制以驱动接头部分5147a至5147c的致动器，从而使得臂单元5145可接收用户的外力并跟随该外力平滑地移动。这使得当用户直接接触并移动臂单元5145时，可以用相对弱的力移动臂单元5145。因此，用户能够通过更简单和更容易的操作更直观地移动内窥镜5115，并且能够提高用户的便利性。

这里，通常在内窥镜手术中，内窥镜5115由被称为内窥镜师(scopist)的医生支撑。相反，在使用支撑臂装置5141的情况下，可以不用手以较高的确定性固定内窥镜5115的位置，因此，可以稳定地获得手术部位的图像，并且可以平滑地执行手术。

应注意，臂控制装置5159可以不必设置在推车5151上。此外，臂控制装置5159可以不必是单个装置。例如，臂控制装置5159可以设置在支撑臂装置5141的臂单元5145的接头部分5147a至5147c中的每一个中，使得多个臂控制装置5159彼此协作以实现臂单元5145的驱动控制。

(光源装置)

光源装置5157将手术部位的成像时的照射光供给至内窥镜5115。光源装置5157包括白光源，该白光源包括例如LED、激光光源或它们的组合。在这种情况下，在白光源包括红、绿和蓝(RGB)激光光源的组合的情况下，由于可以以高精度对每种颜色(每种波长)控制输出强度和输出定时，因此可以通过光源装置5157进行对所拾取图像的白平衡的调整。此外，在这种情况下，如果来自RGB激光光源的激光束被分时地施加到观察对象上，并且与照射定时同步地控制相机头5119的图像拾取元件的驱动，则可以分时地拾取分别对应于R、G和B颜色的图像。根据刚刚描述的方法，即使不为图像拾取元件设置滤色器，也可以获得彩色图像。

另外，也可以控制光源装置5157的驱动，以使输出的光的强度针对每个预定时间变化。通过与光强度的改变的定时同步地控制相机头5119的图像拾取元件的驱动以时分地获取图像并且合成图像，可以产生没有曝光不足阻挡阴影和曝光过度高亮的高动态范围的图像。

另外，光源装置5157也可以被配置为供给用于特殊光观察的预定波段的光。在特殊光观察中，例如，利用身体组织的光的吸收的波长依赖性，通过照射比通常观察时的照射光(即白色光)窄的频带的光，进行以高对比度对诸如粘膜的浅表部的血管等的预定组织进行成像的窄带光观察(窄带成像)。或者，在特殊光观察中，也可以进行用于从通过激发光的照射而产生的荧光获得图像的荧光观察。在荧光观察中，可以通过将激发光照射到身体组织上来执行来自身体组织的荧光的观察(自发荧光观察)，或者可以通过将诸如吲哚菁绿(ICG)的试剂局部注入身体组织中，并将对应于试剂的荧光波长的激发光照射到身体组织上，获得荧光图像。光源装置5157可以被配置为提供如上所述的适合于特殊光观察的这种窄带光和/或激发光。

(相机头和CCU)

参照图39更详细地描述内窥镜5115的相机头5119和CCU5153的功能。图39是表示图38所示的相机头5119及CCU5153的功能配置的示例的框图。

参考图39，相机头5119具有透镜单元5121、图像拾取单元5123、驱动单元5125、通信单元5127和相机头控制单元5129作为其功能。另外，CCU5153具有通信单元5173、图像处理单元5175以及控制单元5177作为其功能。相机头5119和CCU5153通过传输线缆5179连接以能够彼此双向通信。

首先，描述相机头5119的功能配置。透镜单元5121是设置在相机头5119与透镜镜筒5117的连接位置处的光学系统。从透镜镜筒5117的远端引入的观察光被引入到相机头5119中，并且进入透镜单元5121。透镜单元5121包括多个透镜的组合，所述多个透镜包括变焦透镜和聚焦透镜。透镜单元5121具有被调整为使得观察光被会聚在图像拾取单元5123的图像拾取元件的光接收面上的光学特性。此外，变焦透镜和聚焦透镜包括使得它们在它们的光轴上的位置是可移动的，以便调节拾取图像的倍率和焦点。

图像拾取单元5123包括图像拾取元件并且被布置在透镜单元5121的后级。通过透镜单元5121的观察光被会聚在图像拾取元件的光接收面上，并且通过光电转换产生与观察图像对应的图像信号。由图像拾取单元5123产生的图像信号被提供给通信单元5127。

作为图像拾取单元5123所包括的图像拾取元件，使用例如互补金属氧化物半导体(CMOS)类型的图像传感器，其具有Bayer(拜耳)阵列并且能够拾取彩色图像。应当注意，作为图像拾取元件，可以使用例如准备好用于成像等于或不小于4K的高分辨率的图像拾取元件。如果以高分辨率获得手术部位的图像，则手术医生5181可以以增强的细节理解手术部位的状态，并且可以更平滑地继续进行手术。

此外，图像拾取单元5123所包括的图像拾取元件被配置为使得其具有用于获取与3D显示兼容的右眼和左眼图像信号的一对图像拾取元件。在应用3D显示的情况下，手术医生5181能够以更高的准确度了解手术部位中的活体组织的深度。应当注意，如果图像拾取单元5123被配置为多板类型的图像拾取单元，则多个系统的透镜单元5121被设置成与图像拾取单元5123的各个图像拾取元件相对应。

图像拾取单元5123可以不必设置在相机头5119上。例如，图像拾取单元5123可在透镜筒5117内部设置在物镜的正后方。

驱动单元5125包括致动器，并在相机头控制单元5129的控制下沿光轴将透镜单元5121的变焦透镜和聚焦透镜移动预定距离。因此，可以适当地调整由图像拾取单元5123拾取的图像的倍率和焦点。

通信单元5127包括用于向CCU5153发送各种信息和从其接收各种信息的通信装置。通信单元5127通过传输线缆5179将从图像拾取单元5123获取的图像信号作为RAW数据发送到CCU5153。因此，为了以低延迟显示手术部位的拾取图像，优选地，通过光通信来发送图像信号。这是因为，由于在手术时，手术医生5181在通过拾取的图像观察患病区域的状态的同时进行手术，因此为了以更高的安全性和确定性实现手术，需要尽可能实时地显示手术部位的运动图像。在应用光通信的情况下，在通信单元5127中设置用于将电信号转换成光信号的光电转换模块。在图像信号被光电转换模块转换成光信号之后，它通过传输线缆5179被发送到CCU5153。

此外，通信单元5127从CCU5153接收用于控制相机头5119的驱动的控制信号。控制信号包括与图像拾取条件有关的信息，例如指定拾取图像的帧速率的信息、指定图像拾取时的曝光值的信息和/或指定拾取图像的倍率和焦点的信息。通信单元5127将接收到的控制信号提供给相机头控制单元5129。应当注意，来自CCU5153的控制信号也可以通过光通信来发送。在这种情况下，在通信单元5127中设置用于将光信号转换成电信号的光电转换模块。在控制信号被光电转换模块转换成电信号之后，将其设置给相机头控制单元5129。

值得注意的是，图像拾取条件(诸如帧速率、曝光值、倍率或焦点)是由CCU5153的控制单元5177基于所获取的图像信号自动设置的。换句话说，自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能被结合到内窥镜5115中。

相机头控制单元5129基于通过通信单元5127接收的来自CCU5153的控制信号控制相机头5119的驱动。例如，相机头控制单元5129基于指定拾取图像的帧速率的信息和/或指定图像拾取时的曝光值的信息，控制图像拾取单元5123的图像拾取元件的驱动。此外，例如，相机头控制单元5129基于指定拾取图像的倍率和焦点的信息，控制驱动单元5125适当地移动镜头单元5121的变焦透镜和聚焦透镜。相机头控制单元5129可以包括用于存储用于识别透镜筒5117和/或相机头5119的信息的功能。

应当注意，通过将诸如透镜单元5121和图像拾取单元5123的组件设置在具有高气密性和高防水性的密封结构中，相机头5119可以被提供有对高压灭菌处理的抵抗力。

现在，描述CCU5153的功能配置。通信单元5173包括用于向相机头5119发送各种信息和从其接收各种信息的通信装置。通信单元5173通过传输线缆5179接收从相机头5119发送到其的图像信号。因此，优选地，可以通过如上所述的光通信来发送图像信号。在这种情况下，为了与光通信兼容，通信单元5173包括用于将光信号转换成电信号的光电转换模块。通信单元5173将转换成电信号之后的图像信号提供给图像处理单元5175。

此外，通信单元5173向相机头5119发送用于控制相机头5119的驱动的控制信号。控制信号也可以通过光通信来发送。

图像处理单元5175对从相机头5119发送到其的RAW数据形式的图像信号执行各种图像处理。图像处理包括各种已知的信号处理，例如显影处理、图像质量改善处理(带宽增强处理、超分辨率处理、降噪(NR)处理和/或图像稳定处理)和/或放大处理(电子变焦处理)。此外，图像处理单元5175对图像信号执行检测处理，以执行AE、AF和AWB。

图像处理单元5175包括诸如CPU或GPU的处理器，并且当处理器根据预定程序操作时，可以执行上述图像处理和检测处理。值得注意的是，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号相关的信息，使得由多个GPU并行地执行图像处理。

控制单元5177进行与内窥镜5115进行的手术部位的图像拾取和拾取图像的显示有关的各种控制。例如，控制单元5177产生用于控制相机头5119的驱动的控制信号。因此，如果用户输入图像拾取条件，则控制单元5177基于用户的输入产生控制信号。或者，在内窥镜5115内置有AE功能、AF功能、AWB功能的情况下，控制单元5177响应于图像处理单元5175的检测处理结果，适当地计算最佳曝光值、焦距、白平衡，并生成控制信号。

此外，控制单元5177控制显示装置5155基于图像处理单元5175已经对其执行了图像处理的图像信号来显示手术部位的图像。因此，控制单元5177使用各种图像识别技术来识别手术部位图像中的各种物体。例如，控制单元5177通过检测手术部位图像所包含的物体的边缘的形状、颜色等，能够识别诸如钳子的手术工具、特定的生物体区域、出血、使用能量处理工具5135时的雾等。控制单元5177在控制显示装置5155显示手术部位图像时，利用识别结果使各种手术辅助信息与手术部位的图像重叠显示。在手术支持信息以重叠的方式显示并呈现给手术医生5181的情况下，手术医生5181可以更安全和确定地继续进行手术。

将相机头5119和CCU5153彼此连接的传输线缆5179是准备用于电信号通信的电信号线缆、准备用于光通信的光纤或其复合线缆。

这里，在图中所示的示例中，虽然通过使用传输线缆5179的有线通信来执行通信，但是相机头5119和CCU5153之间的通信可以通过无线通信来执行。在通过无线通信进行相机头5119和CCU5153之间的通信的情况下，不必在手术室中布置传输线缆5179。因此，可以消除手术室中的医务人员的移动被传输缆线5179干扰的情况。

以上，对能够应用本发明的实施方式的技术的手术室系统5100的示例进行了说明。要注意的是，在此，尽管以应用了手术室系统5100的医疗系统为内窥镜手术系统5113的情况为例进行了说明，但是手术室系统5100的配置并不限定于上述示例。例如，手术室系统5100可以代替内窥镜手术系统5113而应用于检查用的软性内窥镜系统或显微手术系统。

根据本公开的技术可应用于上述配置中的视听控制器5107。更具体地，例如，两个天花板相机5187被布置在这样的位置以便在不同方向上进行成像，并且与本技术的控制单元相对应的视听控制器5107被配置成控制两个天花板相机5187的成像方向。

视听控制器5107根据与由第一天花板相机5187捕获的第一图像和由第二天花板相机5187捕获的第二图像中的每一个相关联的被摄体的状况来控制两个天花板相机5187的成像方向。

通过将根据本公开的技术应用于视听控制器5107，输出由两个天花板相机5187在不同方向上捕获的手术医生的手的两个图像，同时例如根据手术医生的站立位置、手术医生的手的位置和手术部位的位置而适当地彼此切换。因此，能够在手术医生的身体或手等的后方的手术部位没有遗漏或不可见的情况下记录手术的状态。

注意，根据本技术的实施例不限于上述实施例，而是可以在不脱离本技术的主题的情况下以各种方式修改。

此外，要提供的有利效果不限于在本说明书中描述的并且仅通过示例给出的有利效果，而是可以包括其他有利效果。

此外，本技术可以具有以下配置。

(1)一种控制器，包括：

控制单元，该控制单元根据与由第一成像单元捕获的第一图像或由第二成像单元捕获的第二图像相关联的被摄体的状况，控制第一成像单元的第一成像方向和与第一成像方向不同的第二成像单元的第二成像方向。

(2)根据(1)所述的控制器，其中，所述控制单元根据第一图像或第二图像的所述被摄体的行为来控制第一成像方向和第二成像方向。

(3)根据(2)所述的控制器，其中，所述被摄体的行为包括所述被摄体的动作。

(4)根据(3)所述的控制器，其中，所述被摄体的动作包括起立、坐下、举手或移动中的至少一者。

(5)根据(2)所述的控制器，其中，所述被摄体的行为包括所述被摄体发出的声音。

(6)根据(5)所述的控制器，其中，所述被摄体发出的声音包括说话语音。

(7)根据(1)至(6)中任一项所述的控制器，其中，

所述控制单元执行针对第一图像的移动体检测、姿势检测和所述被摄体的追踪，

所述控制单元执行针对第二图像的移动体检测、姿势检测和所述被摄体的追踪，以及

所述控制单元根据针对第一图像或第二图像的移动体检测、姿势检测和追踪中的任何一个的结果来控制第一成像方向和第二成像方向。

(8)根据(7)所述的控制器，其中，所述控制单元根据与第一图像或第二图像相关联的所述被摄体的状况来控制第一图像和第二图像中的至少一个的输出。

(9)根据(8)所述的控制器，其中，所述控制单元在根据第一图像或第二图像的所述被摄体的状况在第一图像和第二图像之间切换的同时输出第一图像或第二图像。

(10)根据(8)所述的控制器，其中，所述控制单元根据第一图像或第二图像的所述被摄体的状况，并排地合成第一图像和第二图像并输出合成后的图像。

(11)根据(8)所述的控制器，其中，所述控制单元根据第一图像或第二图像的被摄体的状况，以画中画的方式合成第一图像和第二图像并输出合并后的图像。

(12)根据(8)至(11)中任一项所述的控制器，其中，

通过对位于第一成像方向上的讲师进行成像来获取第一图像，

通过对位于第二成像方向上的听众进行成像来获取第二图像，

所述控制单元对通过对位于与第一成像方向和第二成像方向不同的第三成像方向上的黑板或白板进行成像而获取的第三图像执行板书提取处理，以提取板书书写的内容，以及

所述控制单元根据针对第一图像或第二图像的移动体检测、姿势检测和追踪以及板书提取处理中的任何一个的结果来控制第一至第三成像方向，并且控制第一图像、第二图像和板书书写的内容中的任何一个的输出。

(13)根据(8)至(11)中任一项所述的控制器，其中，

通过对位于第一成像方向上的讲师进行成像来获取第一图像，

通过对位于第二成像方向上的听众进行成像来获取第二图像，以及

所述控制单元根据针对第一图像或第二图像的移动体检测、姿势检测和追踪中的任何一个的结果或者从信息处理装置输出的第三图像的输出变化来控制第一成像方向和第二成像方向，并且控制第一图像、第二图像或第三图像中的任何一个的输出。

(14)根据(1)至(13)中任一项所述的控制器，其中

所述控制单元基于表示控制对象的状态的转变的情境来控制各个控制对象的动作，

所述情境描述针对多个状态中的每一个状态的行为和事件，以及

所述行为描述由各个控制对象执行的动作，并且所述事件描述转变到其他状态的转变条件以及与转变条件相关联的状态的转变目的地。

(15)根据(14)所述的控制器，其中，在基于所述情境由处于第一状态的各个控制对象执行第一状态的行为中描述的动作期间，所述控制对象中的任何一个满足在第一状态的事件中描述的所述转变条件的情况下，所述状态转变到与所述转变条件相关联的第二状态。

(16)根据(15)所述的控制器，其中，所述转变条件包括基于第一图像或第二图像中的所述被摄体的状况的变化的条件。

(17)根据(14)至(16)中任一项所述的控制器，其中，所述情境以状态转变图或时间线的形式表示。

(18)根据(14)至(17)中任一项所述的控制器，其中，所述控制单元基于用户的操作来添加和删除所述情境中的状态，以及改变所述状态的描述内容。

(19)根据(18)所述的控制器，其中，所述控制单元控制GUI的显示，所述GUI接收所述情境中的状态的添加和删除以及所述状态的描述内容的改变。

(20)一种控制器的控制方法，包括：

根据与由第一成像单元捕获的第一图像或由第二成像单元捕获的第二图像相关联的被摄体的状况，控制第一成像单元的第一成像方向和与第一成像方向不同的第二成像单元的第二成像方向。

(21)一种控制器，包括：

控制单元，其至少根据通过在第一成像方向上成像而获取的第一图像的被摄体的状况来控制第一图像或与第一图像不同的第二图像中的至少一个的输出。

(22)根据(21)所述的控制器，其中

所述控制单元通过控制在不同于第一成像方向的第二成像方向上的成像来获取第二图像，以及

所述控制单元根据第一图像或第二图像的被摄体的状况来控制第一图像或第二图像中的至少一个的输出。

(23)根据(21)所述的控制器，其中

通过对位于第一成像方向的人成像来获取第一图像，

所述控制单元对第一图像的被摄体执行移动体检测、姿势检测和追踪，

所述控制单元获取板书提取处理的结果，所述板书提取处理从通过对位于不同于第一成像方向的第二成像方向上的黑板或白板成像而获取的第二图像中提取板书书写的内容，并且

所述控制单元根据对第一图像的移动体检测、姿势检测和追踪或者板书提取处理的结果，控制第一图像或者板书书写的内容中的至少一个的输出。

(24)根据(21)所述的控制器，其中

通过对位于第一成像方向的人成像来获取第一图像，

所述控制单元对第一图像的被摄体执行移动体检测、姿势检测和追踪，以及

所述控制单元根据从信息处理装置输出的对第一图像的移动体检测、姿势检测和追踪或者第二图像的输出改变中的任何一个的结果，控制第一图像或第二图像中的至少一个的输出。

(25)一种控制器的控制方法，包括：

至少根据与通过在第一成像方向上成像而获取的第一图像相关联的被摄体的状况，控制第一图像或不同于第一图像的第二图像中的至少一个的输出。

附图标记列表

11相机

11-1讲师用相机

11-2听众用相机

11-3板书用相机

12相机控制器

12-1讲师用相机控制器

12-2听众用相机控制器

12-3板书用相机控制器

13控制器

21移动体检测单元

22姿势检测单元

23跟踪单元

24相机控制器

31中央控制单元

32情境生成单元

33切换器

211板书提取单元

301幻灯片用PC

Claims (19)

1.一种控制器，包括：

处理电路，被配置为：

接收指示当第一成像单元和第二成像单元按照控制情境的第一状态被控制时在由第一成像单元捕获的第一图像中或由第二成像单元捕获的第二图像中可检测到的被摄体的状况的检测结果，所述控制情境包括用于控制第一成像单元和第二成像单元的多个状态；

确定是否至少按照所述被摄体的状况检测到用于触发在第一状态的事件中描述的状态转变的转变条件，所述事件还描述所述多个状态中作为与转变条件关联的转变目的地的第二状态；以及

响应于确定在事件中描述的转变条件被检测到，按照第二状态中的行为控制第一成像单元和第二成像单元，所述行为描述要由第一成像单元和第二成像单元执行的动作，

其中第一成像单元的第一成像方向和第二成像单元的第二成像方向按照所述控制情境被控制以指向空间中的不同区域。

2.根据权利要求1所述的控制器，其中，所述被摄体的状况是指被摄体的行为，所述处理电路被配置为根据指示所述被摄体的行为的检测结果来控制第一成像方向和第二成像方向。

3.根据权利要求2所述的控制器，其中，所述被摄体的行为包括所述被摄体的动作。

4.根据权利要求3所述的控制器，其中，所述被摄体的动作包括起立、坐下、举手或移动中的至少一者。

5.根据权利要求2所述的控制器，其中，所述被摄体的行为包括所述被摄体发出的声音。

6.根据权利要求5所述的控制器，其中，所述被摄体发出的声音包括说话语音。

7.根据权利要求1所述的控制器，其中所述处理电路被配置为：

执行按照第一图像或第二图像的移动体检测、姿势检测和所述被摄体的追踪，以及

根据按照第一图像或第二图像的移动体检测、姿势检测和追踪中的任何一个的结果来控制第一成像方向和第二成像方向。

8.根据权利要求1所述的控制器，其中，所述处理电路被配置为根据所述多个状态中的当前状态控制第一图像或第二图像的输出。

9.根据权利要求8所述的控制器，其中，所述处理电路被配置为通过根据所述被摄体的状况在第一图像和第二图像之间切换，控制第一图像或第二图像的输出。

10.根据权利要求8所述的控制器，其中，所述处理电路被配置为根据所述被摄体的状况，控制第一图像和第二图像的输出以并排地显示第一图像和第二图像。

11.根据权利要求8所述的控制器，其中，所述处理电路被配置为控制第一图像和第二图像的输出以便根据所述被摄体的状况以不同的尺寸显示第一图像和第二图像。

12.根据权利要求7所述的控制器，其中，

通过对位于第一成像方向上的讲师进行成像来获取第一图像，

通过对位于第二成像方向上的听众进行成像来获取第二图像，

所述处理电路被配置为：

对通过对黑板或白板进行成像的第三成像单元获取的第三图像执行板书提取处理，以提取呈现在黑板或白板上的内容；以及

根据按照第一图像或第二图像的移动体检测、姿势检测和追踪中的任何一个的结果以及板书提取处理，控制第一成像单元的第一成像方向、第二成像单元的第二成像方向和第三成像单元的第三成像方向；以及

控制第一图像、第二图像和呈现在黑板或白板上的内容中的任何一个的输出。

13.根据权利要求7所述的控制器，其中，

通过对位于第一成像方向上的讲师进行成像来获取第一图像，

通过对位于第二成像方向上的听众进行成像来获取第二图像，以及

所述处理电路被配置为：

根据按照第一图像或第二图像的移动体检测、姿势检测和追踪中的任何一个的结果或者从信息处理装置输出的第三图像的输出变化，控制第一成像单元的第一成像方向和第二成像单元的第二成像方向；以及

控制第一图像、第二图像或第三图像中的任何一个的输出。

14.根据权利要求1所述的控制器，其中，所述转变条件包括基于第一图像或第二图像中的所述被摄体的状况的变化的条件。

15.根据权利要求1所述的控制器，其中，所述控制情境以状态转变图或时间线的形式表示。

16.根据权利要求1所述的控制器，其中，所述处理电路被配置为基于用户的操作来添加和删除所述控制情境中的所述多个状态中的成员状态，或者改变所述多个状态的描述内容。

17.根据权利要求16所述的控制器，其中，所述处理电路被配置为控制GUI的显示，所述GUI接收所述控制情境中的所述多个状态的成员状态的添加和删除或者所述多个状态的描述内容的改变。

18.一种控制器的控制方法，包括：

接收指示当第一成像单元和第二成像单元按照控制情境的第一状态被控制时在由第一成像单元捕获的第一图像中或由第二成像单元捕获的第二图像中可检测到的被摄体的状况的检测结果，该控制情境包括用于控制第一成像单元和第二成像单元的多个状态；

确定是否至少按照所述被摄体的状况检测到用于触发在第一状态的事件中描述的状态转变的转变条件，所述事件还描述所述多个状态中作为与转变条件关联的转变目的地的第二状态；以及

响应于确定在事件中描述的转变条件被检测到，由所述控制器的处理电路按照第二状态中的行为控制第一成像单元和第二成像单元，所述行为描述要由第一成像单元和第二成像单元执行的动作，

其中第一成像单元的第一成像方向和第二成像单元的第二成像方向按照所述控制情境被控制以指向空间中的不同区域。

19.根据权利要求18所述的控制方法，其中，所述转变条件包括基于所述被摄体的状况的变化的条件。

Images