CN111345035A - 信息处理装置、信息处理方法以及信息处理程序 - Google Patents

Abstract

一种信息处理装置，设置成像区域中的关注区域，并且根据对象物的状态从关注区域中确定要显示的区域。

Description

信息处理装置、信息处理方法以及信息处理程序

技术领域

本技术涉及信息处理装置、信息处理方法以及信息处理程序。

背景技术

传统技术中已经提出了用于提取与对象物的位置、移动方向、运动有关的信息，并基于该信息切换多个视频的方案。此外，还提出了一种响应于用户输入基于摇摄和倾斜操作的视频转变的方法。

引用列表

专利文献

PTL1：JP2013-17071A

发明内容

技术问题

然而，在专利文献1的方法中，摇摄和倾斜动操作对于转变视频是必须的，并且不能基于视频中的被摄体自动地控制视频转变。另外，为了引入该方法，需要设置用于进行摇摄和倾斜动作的机构和控制，因此，在专利文献1的技术中，存在不容易引入这种方法的问题。

本技术是鉴于这种问题而完成的，并且本技术的目的在于提供一种能够根据视频中的状态来切换显示视频中的多个区域的信息处理装置、信息处理方法以及信息处理程序。

问题的解决方案

为了解决上述问题，第一技术是一种信息处理装置，其在成像区域中设置关注区域，并且根据对象物的状态从关注区域中确定要显示的区域。

此外，第二技术是一种信息处理方法，包括在成像区域中设置关注区域，并根据对象物的状态从关注区域中确定要显示的区域。

此外，第三技术是一种信息处理程序，其使计算机执行一种信息处理方法，该信息处理方法包括在成像区域中设置关注区域，并且根据对象物的状态从关注区域中确定要显示的区域。

发明的有益效果

根据本技术，可以根据视频中的状态可切换地显示视频中的多个区域。注意，优点并不总是限于本文所述的那些优点，而可以是说明书中所述的任何优点。

附图说明

图1是示出视频显示系统的配置的图。

图2是示出根据第一实施例的信息处理装置的配置的框图。

图3是示出特征量的比例的计算的说明图。

图4是示出特征量的比例的计算的说明图。

图5是示出合成处理的说明图。

图6是示出合成处理的说明图。

图7是示出特征量的比例的计算的说明图。

图8是示出信息处理装置的处理流程的流程图。

图9是示出设置关注区域和检出区域的另一示例的图。

图10是示出根据第二实施例的信息处理装置的配置的框图。

图11是示出根据第二实施例的视频显示系统的利用状态/使用状态的图。

图12是示出连结关注区域的说明图。

图13是示出连结关注区域的说明图。

图14是示出根据第三实施例的信息处理装置的配置的框图。

图15是示出根据第三实施例的视频显示系统的使用状态的图。

图16是投影变换的说明图。

图17示出了示出用户界面的示例的图。

图18是示出信息处理装置的第一使用模式的图。

图19是示出信息处理装置的第二使用模式的图。

图20示出了示出所显示的视频的转变的图。

图21是示出根据变型例的信息处理装置的配置的示例的框图。

图22示出了示出变型例中的图标的图。

图23是示出根据变型例的视频显示系统的配置的框图。

图24是示出车辆控制系统的示意性配置的示例的框图。

图25是辅助说明车外信息检测部和成像部的安装位置的示例的图。

图26是将本技术应用于车辆的第一示例的说明图。

图27是将本技术应用于车辆的第二示例的说明图。

图28是将本技术应用于车辆的第三示例的说明图。

具体实施方式

以下将参考附图描述本技术的实施例。注意，将按以下顺序给出描述。

<1.第一实施例>

[1-1.视频显示系统的配置]

[1-2.信息处理装置的配置]

[1-3.信息处理装置的处理]

<2.第二实施例>

<3.第三实施例>

<4.用户界面的示例>

<5.本技术的使用模式的具体示例>

[5-1.第一使用模式]

[5-2.第二使用模式]

<6.变型例>

<7.应用示例>

<1.第一实施例>

[1-1.视频显示系统的配置]

包括根据本技术的信息处理装置100的视频显示系统10包括成像装置20、信息处理装置100和显示装置30。成像装置20、信息处理装置100和显示装置30通过例如局域网(LAN)线缆或通用串行总线(USB)线缆彼此连接。注意，成像装置20、信息处理装置100和显示装置30的连接不限于有线连接，并且可以是诸如Wi-Fi或无线LAN的无线通信。

视频显示系统10被配置为使得信息处理装置100根据对象物的位置、运动等来处理由一个成像装置20捕获并输入到信息处理装置100的视频(在下文中，该视频被称为“输入视频”)，并且在显示装置30上显示输入视频中的预定区域。输入视频需要是包含要在显示装置30上显示的所有被摄体的视频。如图1所示，在本实施例中，成像装置20被设置成将所有三个书写板，即第一书写板1、第二书写板2和第三书写板3收入视角(成像区域)内，以便在显示装置30上显示第一书写板1、第二书写板2和第三书写板3。另外，将使用书写板进行授课的人物T作为权利要求书的对象物，并且在显示装置30上显示与人物T的位置和动作对应的三个书写板中的任一个。

在第一实施例中，在作为对象物的人物T站在第一书写板1前面的情况下，视频显示系统10在显示装置30上显示第一书写板1。此外，在人物T移动并且站在第二书写板2前面的情况下，视频显示系统10在显示装置30上显示第二书写板2。此外，在人物T站在第三书写板3前面的情况下，视频显示系统10在显示装置30上显示第三书写板3。注意，书写板是诸如黑板或白板的板状构件，其上可以绘制字符、图表、图片等。虽然以书写板和诸如讲师的人以这种方式站立在书写板前面作为示例描述了本实施例，但是本技术不限于这种使用模式。

成像装置20是能够捕获视频的数字摄像机或者配备有能够捕获视频的功能的电子装置，诸如个人计算机、平板终端或者智能电话。如图1所示，成像装置20被设置成能够在不执行摇摄和倾斜运动的情况下将三个书写板，即第一书写板1、第二书写板2和第三书写板3，作为要在显示装置30上显示的被摄体收入视角内。当用户使用视频显示系统10时，成像装置20将关于所捕获的输入视频的数据连续地提供给图像处理装置100。

显示装置30是由例如液晶显示器(LCD)、等离子体显示面板(PDP)或有机电致发光(EL)面板构成的显示装置。根据对象物的位置、运动等，在显示装置30上显示由成像装置20捕获的输入视频中的预定区域。

信息处理装置100被配置为使得由成像装置20捕获的输入视频经受根据本技术的视频处理，输入视频内的预定区域被确定为要显示的区域，并且该预定区域被显示在显示装置30上。信息处理装置100能够实时地处理由成像装置20捕获的输入视频，或者能够在完成成像之后处理视频内容。

信息处理装置100例如由诸如个人计算机、平板终端、智能手机的电子装置构成。信息处理装置100可以配置有程序，并且该程序可以预先安装在电子装置中，或者该程序可以通过下载、将程序存储在存储介质等中来分发，并且由用户自己安装在电子装置中。此外，信息处理装置100除了通过程序实现之外，还可以通过具有作为信息处理装置100的功能的硬件，通过专用装置、电路等的合成来实现。注意，成像装置20可以具有作为信息处理装置100的功能，或者显示装置30可以具有作为信息处理装置100的功能，并且成像装置20和显示装置30可以彼此直接连接。

[1-2.信息处理装置的配置]

接下来将参考图2的框图描述信息处理装置100的配置。信息处理装置100包括视频输入部110、区域设置部120、特征量获取部130、特征量比率计算部140、关注区域合成部150和视频输出部160。

关于从成像装置20提供的输入视频的数据被输入到视频输入部110，并且视频输入部110将关于输入视频的数据提供给区域设置部120。注意，根据再现的顺序，将构成输入视频的一系列连续帧图像从视频输入部110顺序地提供给区域设置部120。对构成输入视频的一系列连续帧图像执行由区域设置部120和随后的部件进行的一系列处理。对每个帧图像执行处理，并且将处理后的帧图像(下文中称为“合成帧图像”)顺序地提供给显示装置30。通过根据再现顺序在显示装置30上显示所述一系列连续的合成帧图像，在显示装置30上显示由信息处理装置100处理的视频。

区域设置部120对构成输入视频的每个帧图像，设置通过用户的输入而预先确定的关注区域和检出区域。用户需要在使用视频显示系统10之前将关注区域和检出区域输入到信息处理装置100。稍后将描述输入关注区域和检出区域的方法以及输入用户接口。

关注区域是从输入视频中切出并显示在显示装置30上的区域，并且用户能够任意确定关注区域的位置、形状、大小、数量。如图1所示，在本实施例中，假设用户预先为三个书写板中的每一个确定包含第一书写板1的关注区域A、包含第二书写板2的关注区域B和包含第三书写板3的关注区域C。

此外，将检出区域设置到每个帧图像以分别对应于所述关注区域。如图1所示，用户预先确定关注区域A的检出区域a、关注区域B的检出区域b和关注区域C的检出区域c，并且区域设置部120将检出区域a、b和c设置到每个帧图像。每个检出区域是按照关注区域设置的区域，使得检出区域对应于关注区域，并且用于检测特征量，基于该特征量确定哪个关注区域要显示在显示装置30上。由该特征量掌握的检出区域的内部状态对应于权利要求中的“状态”。注意，每个检出区域不一定需要与对应的关注区域重叠，并且只要一个关注区域对应于一个检出区域，用户就可以自由地确定检出区域的位置、形状和大小。

在第一实施例中，根据人物T的位置确定哪个关注区域要被显示在显示装置30上，因此，如图1中所示，假设用户预先将每个检出区域确定为在横向方向上从对应的关注区域的一端到另一端的范围内的区域。这是因为人物T在书写板的前面沿横向移动。横向方向与人物T通过行走而移动的方向和书写板的宽度方向相同。

在本实施例中，在人物T站在第一书写板1的前面，即，在检出区域a的前面的情况下，从输入视频中切出关注区域A并将其显示在显示装置30上。在人物T站在第二书写板2的前面，即在检出区域b的前面的情况下，从输入视频中切出关注区域B并将其显示在显示装置30上。在人物T站在第三书写板3的前面，即在检出区域c的前面的情况下，从输入视频中切出关注区域C并将其显示在显示装置30上。

表示由区域设置部120设置的关注区域和检出区域的信息与输入视频数据一起被提供给特征量获取部130。

返回参考图2。特征量获取部130从检出区域获取特征量。特征量被用于确定哪个关注区域将被确定为将在显示装置30上显示的区域。特征量的第一示例是构成每个检出区域内人物T所在的区域的像素数。特征量获取部130首先使用公知的被摄体检测技术等从要处理的每帧图像检测人物T所在的区域。作为被摄体检测方法，可以使用基于模板匹配的对象物检测技术、基于关于被摄体的亮度分布信息的匹配方法、基于图像中包含的肤色部分或人脸的特征量的方法等。此外，这些方案可以被合成以增强识别精度。

然后，特征量获取部130通过测量构成每个检出区域内人物T所在的区域的像素数，获取特征量。将由特征量获取部130获取的特征量与输入视频数据一起提供给特征量比率计算部140。

特征量比率计算部140使用按每个检出区域获取的特征量，计算相对于作为全部检出区域的合成的总检出区域，每个检出区域中的人物T的特征量的比例。该比例例如是将人物T的总像素数在总检出区域中的比例设为1.0而算出的。将由特征量比率计算部140计算出的特征量的比例与输入视频数据以及与关注区域和检出区域有关的信息一起提供给关注区域合成部150。

例如，如图3A所示，在人物T站在第一书写板1的前面并且人物T的特征量仅存在于检出区域a中的情况下，则相对于总检出区域，检出区域a中所占的特征量的比例是1.0，并且检出区域b和c中的每一个中的特征量的比例是零。此外，如图3B所示，在人物T站在第二书写板2的前面并且人物T的特征量仅存在于检出区域b中的情况下，则相对于总检出区域，检出区域b中所占的特征量的比例是1.0，并且检出区域a和c中的每一个中的特征量的比例是零。此外，在人物T站在第三书写板3的前面并且人物T的特征量仅存在于检出区域c中的情况下，则相对于总检出区域，检出区域c中所占的特征量的比例是1.0，并且检出区域a和b中的每一个中的特征量的比例是零。

此外，在如图4A所示人物T站在第一书写板1和第二书写板2两者的前面的情况下，这意味着人物T站在关注区域A和B两者的前面，并且还如图4B所示站在检出区域a和b两者的前面。图4B分离地示出了关注区域A和B以及检出区域a和b。在这种情况下，特征量存在于检出区域a和b两者中。如果假定存在于总检出区域内的人物T的总像素数的比例为1.0，检出区域a内的人物T的像素数为2500，并且检出区域b内的人物T的像素数为7500，则如图4C所示，特征量的比例为“检出区域内a为0.25”并且“检出区域内b为0.75”。以这种方式，根据像素数的比例来计算特征量的比例。注意，在人物T不存在的检出区域c中的特征量的比例为零。以这种方式，特征量比率计算部140计算每个检出区域中的特征量的比例。

关注区域合成部150对构成输入视频的帧图像中存在的所有关注区域进行切出，并基于由特征量比率计算部140计算出的每个检出区域中的特征量的比例，对所有关注区域进行合成。通过将由关注区域合成部150执行的合成处理所创建的合成帧图像提供给显示装置30，并根据再现顺序在显示装置30上显示所述合成帧图像，显示由信息处理装置100处理的视频。

将基于图1的示例描述关注区域的合成。通过基于构成每个关注区域的所有像素的特征量的比例合成关注区域A、B和C，来执行关注区域的合成。首先，关注区域合成部150从每个帧图像中切出关注区域A、B、C。

接着，关注区域合成部150基于与每个关注区域对应的检出区域的特征量的比例，合成关注区域。在此，将与关注区域A对应的检出区域a中的特征量的比例设为L，将与关注区域B对应的检出区域b中的特征量的比例设为M，并将与关注区域C对应的检出区域c中的特征量的比例设为N。

如图5所示，还假设关注区域A内的点(x，y)处的像素值是IA(x，y)，关注区域B内的相同点(x，y)处的像素值是IB(x，y)，并且关注区域C内的相同点(x，y)处的像素值是IC(x，y)。在这种情况下，最终输出到显示装置30的每个合成帧图像中的相同点(x，y)处的像素值I(A+B+C)(x，y)可以由下面的等式1表示。

[数学式1]

I(A+B+C)(x,y)

＝L·IA(x,y)+M·IB(x,y)+N·IC(x,y)

通过该处理，可以获得根据点(x，y)处的像素的特征量的比例来合成所有关注区域的状态。通过对构成关注区域的所有像素进行该处理，可以根据特征量的比例来合成关注区域A、B和C，从而获得合成帧图像。

例如，如图1所示，在人物T存在于第一书写板1的前面，即，在检出区域a的前面的情况下，检出区域a中的特征量与总检出区域的比例如下。

检出区域a：特征量的比例L＝1.0

检出区域b：特征量的比例M＝0.0

检出区域c：特征量的比例N＝0.0

通过将特征量的比例代入等式1，在合成帧图像中的点(x，y)处的像素值I(A+B+C)(x，y)由以下等式2表示。

[数学式2]

I(A+B+C)(x,y)

＝1·IA(x,y)+0·IB(x,y)+0·IC(x,y)

＝IA(x,y)

由于在除检出区域a之外的检出区域中的特征量的比例为零，因此关注区域A、B和C中的相同点(x，y)的合成结果与关注区域A中的点(x，y)的合成结果相同。对构成每个关注区域的所有像素执行该处理使得可以通过合成关注区域A、B和C来获得合成帧图像。在该示例的情况下，关注区域A、B和C的合成结果与关注区域A的合成结果相同，即，合成帧图像与关注区域A相同。该合成帧图像被发送到显示装置30。在人物T站在检出区域a前面的情况下，由此在显示装置30上仅显示关注区域A。同样地，在人物T站在检出区域b前面的情况下，在显示装置30上仅显示关注区域B，并且在人物T站在检出区域c前面的情况下，在显示装置30上仅显示关注区域C。

接下来，将描述人物T出现站在两个检出区域前面的情况。考虑人物T从一个关注区域移动到另一个关注区域的情况，例如，人物T从关注区域A移动到关注区域B的情况。在这种情况下，如图4A所示，直到完成到关注区域B的移动，人物T出现站在检出区域a和b两者的前面。

如图4B所示，在人物T出现站在检出区域a和b两者的前面的情况下，如图4C所示，假定相对于总检出区域，检出区域中的特征量的比例如下。

检出区域a：特征量的比例L＝0.25

检出区域b：特征量的比例M＝0.75

检出区域c：特征量的比例N＝0.0

注意，由于人物T不存在于检出区域c中，因此检出区域c中的特征量的比例为零。此外，假设关注区域A内的点(x，y)处的像素值为IA(x，y)，关注区域B内的相同点(x，y)处的像素值为IB(x，y)，并且关注区域C内的相同点(x，y)处的像素值为IC(x，y)。通过将特征量的比例代入等式1，在合成帧图像中的相同点(x，y)处的像素值I(A+B+C)(x，y)由以下等式3表示。

[数学式3]

I(A+B+C)(x,y)

＝0.25·IA(x,y)+0.75·IB(x,y)+0·IC(x,y)

＝0.25·IA(x,y)+0.75·IB(x,y)

这意味着，通过以比例[0.25:0.75]合成关注区域A中的点(x，y)处的像素和关注区域B中的点(x，y)处的像素，获得合成帧图像中的点(x，y)。由于检出区域c中的特征量的比例为零，因此不将关注区域C中的像素与关注区域A和B中的像素合成。

对构成每个关注区域的所有像素执行该处理使得可以获得作为关注区域A、B和C的合成结果的合成帧图像。在该示例的情况下，如图6所示，关注区域A、B和C的合成结果是以作为特征量的比例的“0.25:0.75”合成关注区域A和B中的人物T存在的区域的结果。因此，在合成帧图像内，人物T的一部分存在于关注区域A中，并且人物T的一部分存在于关注区域B中，并且人物T具有不同的颜色深浅以对应于特征量的比例。与检出区域b相对应的关注区域B中的人物T和与检出区域a相对应的关注区域A中的人物T以比输入视频中更亮的颜色显示，并且此外，与特征量的比例较高的检出区域b相对应的关注区域B中的人物T以比与特征量的比例较低的检出区域a相对应的关注区域A中的人物T更暗的颜色显示。

以这种方式生成的合成帧图像被发送到显示装置30，因此在人物T存在于检出区域a和b两者的前方的情况下，在显示装置30上显示通过合成关注区域A和B获得的视频。

当人物T从检出区域a移动到检出区域b时，随着人物T的位置的变化，如图7A到7E所示，检出区域a中的特征量的比例逐渐减小，并且检出区域b中的特征量的比例逐渐增大。另外，当人物T完成如图7E所示的向检出区域b的移动时，则检出区域b中的特征量的比例等于1.0，并且检出区域a中的特征量的比例等于0.0。当检出区域b中的特征量的比例是1.0并且检出区域a中的特征量的比例是0.0时，合成帧图像中的点(x，y)处的像素值I(A+B+C)(x，y)使用等式1由以下等式4表示。

[数学式4]

I(A+B+C)(x,y)＝0+1·IB(x,y)+0＝IB(x,y)

以这种方式，关注区域A、B和C中的相同点(x，y)的合成结果与关注区域B中的点(x，y)的合成结果相同；合成帧图像与关注区域B相同。因此，在显示装置30上仅显示关注区域B。尽管图7使用五张图表示人物T从关注区域A向关注区域B的移动，但特征量的获取和特征量的比例的计算不是以这样的不定时间隔执行的，而是对于全部连续帧图像执行的。

通过对构成该视频的所有系列的帧图像执行该合成处理，能够与人物T从关注区域A向关注区域B的移动，即检出区域a和b中的特征量的变化相对应地，获得从关注区域A向关注区域B逐渐平滑地变化的视频。

当人物T从关注区域A迅速移动到关注区域B时，检出区域a和b中的特征量的比例迅速变化，因此，迅速执行在显示装置30上从关注区域A到关注区域B的显示的切换。另一方面，当人物T从关注区域A缓慢移动到关注区域B时，检出区域a和b中的特征量的比例缓慢变化，因此，缓慢地执行在显示装置30上从关注区域A到关注区域B的显示的切换。

对于人物T从关注区域B到关注区域C的移动，从关注区域C到关注区域B的移动以及从关注区域B到关注区域A的移动，同样的情况也是成立的。

注意，除非人物T从任何一个关注区域移动到另一个关注区域，否则在任何检出区域中特征量不变化，因此，显示在显示装置30上的关注区域不被切换到另一个关注区域。在人物T继续存在于关注区域A中的情况下，关注区域A被连续地显示在显示装置30上。

返回参考图2。视频输出部160根据显示顺序将通过执行上述处理而生成的合成帧图像顺序地发送到显示装置30。由此，在显示装置30上显示由信息处理装置100处理的视频。注意，视频输出部160可以将每个处理后的合成帧图像发送到显示装置30，或者可以将多个合成帧图像作为具有一定长度的视频数据发送到显示装置30。

信息处理装置100如到目前为止所描述的那样配置。

[1-3.信息处理装置的处理]

接下来将参考图8的流程图描述由信息处理装置100执行的处理的流程。首先，在步骤S22中，信息处理装置100保持由使用视频显示系统10的用户输入的关于关注区域和检出区域的信息。

在接收到用户输入的用于开始处理的指令时，信息处理装置100接下来在步骤S12中开始视频处理。信息处理装置100对构成从成像装置20提供的输入视频的每个帧图像执行后续处理。

接下来，在步骤S13中，特征量获取部130获取每个检出区域中的特征量，并将该特征量提供给特征量比率计算部140。接着，在步骤S14中，特征量比率计算部140计算每个特征量检出区域中的特征量的比例，并且将指示特征量比例的信息提供给关注区域合成部150。

接着，在步骤S15中，关注区域合成部150根据检出区域中的特征量的比例，对关注区域执行合成处理，从而创建合成帧图像。在步骤S16中，视频输出部160然后将合成帧图像发送到显示装置30。通过将合成帧图像显示为构成显示装置30上的视频的一系列帧图像，在显示装置30上显示视频。

接下来，在步骤S17中，信息处理装置100确定是否存在给出关于处理结束的指令的用户输入。除非存在给出关于处理结束的指令的用户输入，否则信息处理装置100重复步骤S13至S17，并且在显示装置30上连续显示视频。在步骤S17中，在存在指示信息处理装置100结束处理的用户输入的情况下，信息处理装置100结束处理，并结束在显示装置30上显示视频。

本技术的第一实施例执行如上所述的处理。根据第一实施例，可以使用由一个成像装置20捕获的视频，在显示装置30上显示视频，就好像该视频是由多个成像装置捕获的一样。此时，通过使用检出区域中的特征量，可以自动地切换要在显示装置30上显示的视频中的区域。

此外，使用检出区域和特征量来切换要在显示装置30上显示的视频中的区域，使得能够平滑地切换显示区域。使用本技术使得可以降低在每个视频制作场所的成像装置等的装备成本，并且降低伴随视频切换的编辑成本。注意，信息处理装置100的处理不仅可以对从成像装置20实时提供的输入视频执行，而且可以对完成成像之后的视频内容执行，并且可以将处理后的视频作为视频档案递送。

注意，检出区域不总是如图1所示地设置。这是严格用于实现关注区域适合人物T的运动的显示的设置。例如，在总是自动选择三个书写板中的附加地绘制或擦除字符等的书写板并且将一个书写板切换到另一个书写板的情况下，可以将检出区域设置为适合书写板的大小，并且可以使用检出区域内的板内容的变化作为特征量。

注意，每个关注区域和对应的检出区域不必被设置为彼此重叠。关注区域和对应的检出区域可以被设置为分离状态。此外，如图1所示，并非总是需要设置每个关注区域来切出输入视频中的特定区域，并且可以将整个输入视频设置为关注区域。例如，如图9所示，可以针对输入视频设置关注区域A和C，还可以设置具有与输入视频的视角相同大小的关注区域B，并且可以将检出区域a、b和c设置为使得检出区域a、b和c不与关注区域重叠。在以这种方式设置关注区域和检出区域并且人物T存在于第二显示器的前方的情况下，特征量仅存在于检出区域b中，并且可以在显示装置30上显示关注区域B的范围内的视频，即与输入视频相同的视频。像这样的示例在捕获媒体广播视频时是有用的。

<2.第二实施例>

接下来将描述本技术的第二实施例。图10是示出根据第二实施例的信息处理装置200的配置的框图。第二实施例与第一实施例的不同之处在于，信息处理装置200包括特征量时间变化检测部210和关注区域连结部220。除了这些部件之外的配置与根据第一实施例的配置类似，并且省略其描述。此外，将参考与图1的那些类似的具体示例描述本实施例。

如图11所示，将考虑人物T站在第一书写板1和第二书写板2之间并且不从地点移动的情况，即，人物T站在两个检出区域前面的存在状态继续并且特征量的比例不变的情况。

特征量时间变化检测部210根据需要从特征量比率计算部140接收关于特征量的比例信息，并且检测特征量的比例在预定时间段或更长时间段内没有变化。该预定时间段可以可选地由用户确定并设置到信息处理装置100。在检测到特征量的比例在预定时间段或更长时间段内没有变化的情况下，特征量时间变化检测部210将检测结果通知给关注区域连结部220。输入视频数据也被提供给关注区域连结部220。

在人物T出现站在多个检出区域前面的状态持续并且特征量的比例在预定时间段或更长时间段内没有变化的情况下，关注区域连结部220将多个检出区域连结在一起，并且创建新的关注区域(在下文中，称为“连结关注区域”)。与根据第一实施例的关注区域合成部150的合成处理类似，关注区域连结部220对构成输入视频的一系列连续帧图像执行处理。这里，如图11所示，将通过采用与图1的示例类似的示例中人物T停留在人物T站在关注区域A和B两者前方的位置处的情况作为示例，描述第二实施例。

在如图12A所示人物T以重叠关注区域A和B的方式站立并且状态继续的情况下，在第一实施例中，在显示装置30上显示合成了全部关注区域A和B的状态。相反，在第二实施例中，在人物T以与关注区域A和B重叠的方式继续存在的情况下，关注区域连结部220通过如图12B所示假设关注区域A和B之间的边界大致为中心将关注区域A和B连结在一起创建连结关注区域R，并将通过从输入视频切出连结关注区域R而获得的帧图像发送到显示装置30。由此，在显示装置30上显示包含关注区域A的一部分和关注区域B的一部分的视频，并且能够在显示装置30上显示假设以人物T站立的位置大致为中心的容易观看的视频。

迅速地将显示装置30上的状态的显示从显示关注区域B的状态切换到显示图12B中示出的连结关注区域R的状态可能导致观众难以观看视频或者感觉奇怪。因此，希望逐步地遵循将关注区域之间的边界设置到中心的转变过程。在图12的示例中，人物T更靠近第二书写板2，即，关注区域B，并且检出区域b在特征量的比例上比检出区域a高，因此，进行显示以逐步地从关注区域B侧转变到关注区域A侧。

此时作为在显示装置30上显示的范围的连结关注区域R的转变如图13所示。如图13A至图13F所示，连结关注区域R从与特征量的比例高的检出区域b对应的关注区域B侧朝向关注区域A侧逐渐转变。此外，如图13F所示，连结关注区域R最终转变为关注区域A和B之间的边界(连结部分)位于连结关注区域R的中心的状态。

注意，此时，根据每帧图像中连结关注区域R移动程度，来确定连结关注区域R直到关注区域A和B之间的边界大致位于连结关注区域R的中心为止的转变速度。随着每帧图像中连结关注区域R的移动距离越大，转变速度变得越快，而随着每帧图像中连结关注区域R的移动距离越小，转变速度变得越慢。该转变速度可以可选地由用户确定。

根据该第二实施例，在作为特征量要被检测的对象物的对象物站在两个或更多个检出区域的前面并且特征量不变的情况下，可以在包含对象物的状态下在显示装置30上以易于观看的状态显示两个或更多个关注区域。

注意，特征量时间变化检测部210不仅可以检测到特征量的比例在预定时间段或更长时间段内没有变化，而且还可以检测特征量的比例的变化是否在具有预定上限和预定下限的阈值内。由此，即使在人物T稍微移动但继续存在站在多个检出区域的前方的情况下，也可以类似地执行上述处理。

注意，处理在固定时间段或更长时间段内没有在任何检出区域中检测到特征量的情况的方法的示例包括预先设置届时显示要转变到的关注区域并在显示装置30上显示该关注区域的方法，以及将整个输入视频作为关注区域在显示装置30上显示的方法。

在固定时间段或更长时间段内没有在任何检出区域中检测到特征量的情况意味着在固定时间段或更长时间段内对象物没有存在于任何检出区域中。在这种情况下，可以通过语音消息、消息的显示等向对象物(人物)或视频显示系统10的用户发出通知，以促使对象物或用户进入检出区域。

<3.第三实施例>

接下来将描述本技术的第三实施例。图14是描述根据第三实施例的信息处理装置300的配置的框图。第三实施例与第一实施例的不同之处在于，信息处理装置300包括投影变换部310。由于投影变换部310以外的配置与根据第一实施例的配置类似，因此省略该说明。

投影变换部310对在入射方向上不面向成像装置20的透镜正对面的关注区域执行投影变换处理。例如，如图15所示，在存在均被设置为具有大致平行四边形形状的矩形关注区域B和关注区域A和C，并且关注区域合成部150将在该状态下执行合成处理的情况下，存在这样的担忧，即，由于关注区域在形状上不匹配，所以不可能适当地执行合成处理。为了解决该担忧，在第三实施例中，在存在不面向成像装置20正对面并且不具有正方形或矩形形状的关注区域的情况下，投影变换部310对不面向成像装置20正对面的关注区域执行投影变换处理。对图15所示的关注区域C执行投影变换处理，如图16所示，可以获得与关注区域B的形状相适应的矩形关注区域C。由此，可以与第一实施例类似地对关注区域执行合成处理。尽管未示出，但是还期望对图15中的关注区域A执行投影变换处理。

投影变换部310是否对关注区域执行投影变换处理可以根据例如在由区域设置部120设置的多个关注区域中是否存在构成关注区域的四个角之中具有非90度的角度的关注区域来确定。或者，用户可以通过用户对显示装置30的状态的特定输入来指定要经受投影变换处理的关注区域。

注意，信息处理装置300被配置为使得构成要处理的视频的帧图像从区域设置部120被提供给特征量获取部130和投影变换部310。因此，特征量获取部130和特征量比率计算部140与由投影变换部310对关注区域进行的投影变换处理并行地执行第一实施例中所述的处理。另外，对经过投影变换处理的关注区域执行由特征量比率计算部140基于比较结果对关注区域的合成处理。

注意，投影变换部310还可以执行用于扩展或收缩长度或宽度以符合输出视频的规格并且均匀地调整关注区域的处理，使得关注区域合成部150在投影变换部310的处理之后合成多个关注区域。

根据该第三实施例，即使在关注区域形状不同的情况下，也可以通过投影变换处理使关注区域的形状匹配，因此，即使在关注区域形状不同的情况下，也可以对关注区域执行合成处理，并且以适当的状态在显示装置30上显示任何关注区域。

注意，在上述第一至第三实施例中，可以基于检出区域内构成对象物的像素的存在比例(特征量的比例)或者基于对象物的移动状况来获得各检出区域内的对象物的状态。检出区域内构成对象物的像素的存在比例如已经参照图4至图7等所述。存在比例可以通过测量每个检出区域中构成对象物的像素的数量并且计算相对于作为所有检出区域的合成的总检出区域，每个检出区域中对象物的像素的比例来获得。可以基于该像素的存在比例(特征量的比例)执行关注区域的切换和转变。

在基于对象物的移动状况获得对象物的状态的情况下，使用公知的速度检测技术获得对象物的移动速度，并且根据移动速度执行要显示的关注区域的切换、合成和转变。通过检测对象物的移动速度，可以与图7中示出的方式类似地根据对象物的移动速度获得对象物在检出区域中的位置和对象物的存在比例(特征量的比例)，并且可以基于位置和存在比例执行关注区域的切换、合成和转变。

例如，可以根据对象物在构成输入视频的一帧图像与下一帧图像之间的位置的差以及帧速率来获得对象物的移动速度。此外，作为设置在成像装置中或除成像装置之外的装置的速度传感器可以获得对象物的速度。速度传感器的示例包括对待测量的对象物(对象物)施加激光束、微波、超声波等，并根据反射波的频率变化来测量速度的速度传感器。

另外，可以通过根据检出区域中的上述对象物的状态，从输入视频内设置的多个关注区域中选择要显示的关注区域，并且将一个关注区域切换为所选择的关注区域，或者根据对象物的状态，使该关注区域平滑地转变到其他关注区域，来在显示装置30上显示该关注区域。此外，可以通过根据对象物的状态改变要从输入视频切出的关注区域的位置和范围，来在显示装置30上显示关注区域。

<4.用户界面的示例>

接下来将描述在使用本技术时的用户界面的示例。该用户界面显示在信息处理装置100或显示装置30等中设置的显示部(未示出)上，并且由用户用于输入关注区域和检出区域。图17中描述的用于输入关注区域和检出区域的用户界面包括关注区域输入按钮402和检出区域输入按钮403。当用户通过按下关注区域输入按钮402进行输入时，用户界面转变到图17A中所示的关注区域输入模式。此外，在用户通过按下检出区域输入按钮403进行输入时，用户界面转变到图17B所示的检出区域输入模式。

在图17A中示出的关注区域输入模式中，用户界面包括成像区域显示区域401、关注区域输入按钮402、检出区域输入按钮403、区域添加按钮404和区域删除按钮405。

在转变到关注区域输入模式之后，用户可以通过利用鼠标光标、触笔、用户的手指等指定成像区域显示区域401内的区域来指定四个点，并且显示指示关注区域的关注区域图标410。关注区域图标410由矩形框和设置在该框的四个角中的点构成。通过点击并移动构成关注区域图标410的一个或多个点，可以改变关注区域的形状和大小，并且通过点击并移动关注区域图标410内的区域，可以改变关注区域的位置。

在确定了关注区域的形状、大小和位置时，用户通过按下区域添加按钮404来执行输入。由此，关注区域信息被存储在信息处理装置100中。在删除一度确定的或者处于调整其大小和位置的过程中的关注区域的情况下，用户通过按下区域删除按钮405来执行输入。

在转变到检出区域输入模式之后，用户可以通过利用鼠标光标等指定成像区域显示区域401内的区域来指定四个点，并且显示指示检出区域的检出区域图标420。检出区域图标420由矩形框和设置在该框的四个角的点构成。通过点击并移动构成检出区域图标420的一个或多个点，可以改变检出区域的形状和大小，并且通过点击并移动检出区域图标420内的区域，可以改变检出区域的位置。

在确定了关注区域的形状、大小和位置时，用户通过按下区域添加按钮404来执行输入。由此，将检出区域信息存储在信息处理装置100中。在删除一度确定的或者处于调整其大小和位置的过程中的检出区域的情况下，用户通过按下区域删除按钮405来进行输入。

此外，在检出区域输入模式中，显示用于在任何检出区域中都没有检测到特征量的情况下选择信息处理装置100的动作的动作项406。概览项是显示成像装置20的整个成像区域，即，输入到信息处理装置100的整个视频。预设置项各自用于按照用户可选地确定的方式或者按照在信息处理装置100中预设置的方式来对信息处理装置100进行致动。

此外，在检出区域输入模式中，设置用于选择要检测其特征量的对象物的被摄体选择按钮407。

注意，图17中示出的用户界面仅仅是示例，并且用户界面不限于图17中示出的用户界面。此外，关注区域和检出区域的形状不限于四边形形状，并且可以是三角形形状、具有五个或更多个边缘的多边形形状或圆形形状。

<5.本技术的使用模式的具体示例>

[5-1.第一使用模式]

接下来将描述本技术的使用模式的具体示例。本技术在如图18所示的宽教室、宽会议室等中的演示或讲课(在下文中，称为“演示”)中是有用的。为了使用本技术，成像装置503必须对要在每个外部显示装置501上显示的白板502进行整体成像。信息处理装置100被安装在平台等上，并且预先连接到成像装置503和每个外部显示装置501。讲师在演示之前预先确定关注区域和检出区域，并将确定的关注区域和检出区域输入到信息处理装置100。

在开始演示时，通过打开存在于平台等上的系统启动开关504来开始根据本技术的信息处理装置100的处理。信息处理装置100对由成像装置503捕获的演示的输入视频执行处理，并且在每个外部显示装置501上实时显示处理后的视频。在每个外部显示装置501上显示的视频起辅助视频的作用，并且对于如图18所示的大型会场中位于远离讲师的位置的参与者来说观看演示更容易。此外，本技术还可用于将实时视频传递到远程位置。此外，可以记录由信息处理装置100创建的视频，并且可以在演示结束之后将视频作为视频档案递送。在演示结束时，通过关闭系统启动开关来结束处理和记录。

[5-2.第二使用模式]

已经通过使用一个人物T作为其特征量要被检测的对象物站在一个或多个书写板前面的示例描述了第一实施例。然而，本技术也适用于除了这样的示例之外的情况。例如，如图19所示，本技术还可应用于在演示或讲课中对多个听众进行成像的情况。

在图19的示例中，成像装置20对所有的听众进行成像，并基于听众就座的位置等，将包围多个听众的各个范围设置为关注区域A、B、C。此外，将包含关注区域中的所有听众的检出区域a、b和c设置为分别对应于关注区域。此外，在将听众的上升程度假定为特征量的情况下，执行与第一至第三实施例中的处理类似的处理。听众的这种上升程度是权利要求中的“变化程度”的一个示例。注意，可以通过公知的姿势检测技术或者通过由公知的面部检测技术检测到的面部位置的变化等来获得听众的上升程度。

图20示出了显示在显示装置30上的视频的转变。在每个听众都坐着的情况下，没有检测到特征量，因此输入视频被显示在显示装置30上，如图20A所示。当关注区域C中的听众S上升时，则检测听众S的上升程度作为特征量，并且根据特征量合成总区域和关注区域C，并且创建合成帧图像。然后，将合成帧图像发送到显示装置30，并且将一系列合成帧图像显示为视频。

在任何检出区域中都没有检测到特征量的情况是图20A中示出的初始状态，并且在该初始状态中显示与输入视频相同的输入视频。当关注区域C中的听众S上升时，则在将听众S的上升程度假定为特征量的情况下，根据特征量的变化如图20B至20D所示合成输入视频和关注区域C，并且最终，仅关注区域C被显示在显示装置30上，如图20E所示。随后，在例如存在于关注区域A中的听众上升的情况下，显示装置30上的显示从关注区域C的显示切换到关注区域A的显示。

这种使用模式使得可以在听众例如在演示中进行问题时段等的陈述时切出听众所在的关注区域，并且在显示装置30上显示所切出的关注区域。由此，即使在不清楚在听众中谁进行陈述的状态下，也能够在显示装置30上自动显示进行陈述的听众。

<6.变型例>

尽管已经具体描述了本技术的实施例，但是本技术不限于这些实施例，并且可以进行基于本技术的技术概念的各种修改。

可以通过公知的被摄体检测技术从输入视频中检测特征量要被检测的对象物，或者可以由用户预先指定该对象物。由用户预先指定对象物的方法的示例包括在显示装置30等上显示由公知的被摄体识别技术识别出的对象物以向用户呈现被摄体，并且通过用户从被摄体中选择被摄体并确定对象物来输入数据的方法。此外，该方法的示例还包括由用户使用框图标等指定输入视频中的区域并且将存在于框图标中的被摄体确定为要检测其特征量的对象物的方法。此外，对象物不限于人物，并且可以是诸如动物、车辆和机器人的移动对象物中的任何一种。

如图21所示，通过第一、第二和第三实施例的组合，信息处理装置可以被配置为包括特征量时间变化检测部210、关注区域连结部220和投影变换部310的信息处理装置400。

另外，尽管在根据本技术的显示装置30上显示输入视频中设置的多个关注区域的任意一个，但有时观众希望掌握当前显示哪个关注区域。因此，如图22所示，可以显示指示当前显示多个关注区域中的哪个关注区域的图标600作为辅助功能。

图标600在维持关注区之间的位置关系的状态下被配置有等分的矩形四边形，使得可以指示设置的关注区的数量和设置的关注区的布置。图22的示例表示图标被配置有三个四边形并且三个关注区域并排布置。如图22A所示，在三个关注区域中的中心关注区域被显示在显示装置30上的情况下，图标600中的中心矩形可以通过着色来显示。由此，观众能够掌握当前在显示装置30上显示哪个关注区域。此外，如图22B所示，可以使图标600与检出区域相对应，并且可以将在各检出区域中检测到的特征量的比例反映在图标600的显示模式(诸如颜色的深浅)的变化中。由此，观众能够掌握其特征量待被检测的被摄体当前存在于何处。此外，可以在显示装置30上显示指示关注区域的图标和指示检出区域的图标两者。注意，图标600的形状不限于四边形形状，并且可以是诸如圆形形状或矩形形状的任何形状，并且可以通过字符向用户指示当前显示的关注区域。

尽管已经通过以成像装置的数量为一个的情况为例描述了第一至第三实施例，但是成像装置的数量不限于一个。视频显示系统10可以使用多个成像装置来配置。例如，如图23所示，第一成像装置701对关注区域A进行成像，第二成像装置702对关注区域B进行成像，第三成像装置703对关注区域C进行成像，并且第四成像装置704对包含所有关注区域的输入视频进行成像，并将关于所有成像装置的视频数据提供给信息处理装置100。信息处理装置100从由第四成像装置704捕获到的输入视频中检测检出区域的特征量，并基于该特征量在显示装置30上显示关注区域中的任一个。

注意，本技术也适用于除了实时处理视频的情况之外的情况。例如，本技术中的处理可以在将记录的视频内容显示在显示装置上时执行。此外，本技术中的处理可以实时地对视频执行，与关注区域、检出区域、特征量、关注区域的切换等相关联的信息可以被记录为关于所记录的视频内容的元数据，并且每个关注区域的位置和范围、关注区域切换速度等可以稍后使用元数据来编辑。此时，可以响应于用户输入来执行对视频的实时处理，或者可以由信息处理装置100使用被摄体识别技术、模板等来自动执行对视频的实时处理。此外，观看视频的人可以从包含要在显示装置上显示的所有被摄体的输入视频中指定该人想要观看的任何区域作为关注区域，使得该人可以观看关注区域。这可以实现，因为本技术中的输入视频是包含要显示的所有被摄体的视频，这与摇摄和倾斜成像装置的方案不同。

<7.应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被实现为安装在任何种类的移动体中的装置，所述移动体诸如车辆、电动车辆、混合电动车辆、两轮车辆、自行车、个人移动装置、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)。

图24是示出作为能够应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统7000的概要配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图24所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500、以及集成控制单元7600。将多个控制单元彼此连接的通信网络7010可以是例如符合诸如控制器局域网(CAN)、局域互连网络(LIN)、局域网(LAN)、FlexRay(注册商标)等的任意标准的车载通信网络。

每个控制单元包括：微计算机，其根据各种程序执行算术处理；存储部，其存储由微计算机执行的程序、用于各种操作的参数等；以及驱动电路，其驱动各种控制对象装置。每个控制单元还包括：网络接口(I/F)，用于经由通信网络7010与其他控制单元进行通信；以及通信I/F，用于通过有线通信或无线电通信与车辆内和车辆外的装置、传感器等进行通信。图24中所示的集成控制单元7600的功能配置包括微计算机7610、通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F7660、声音/图像输出部7670、车载网络I/F7680和存储部7690。其他控制单元类似地包括微计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100起用于产生车辆的驱动力的驱动力产生装置(诸如内燃机、驱动马达等)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆的制动力的制动装置等的控制装置的作用。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制装置的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。车辆状态检测部7110例如包括检测车身的轴向旋转运动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器和用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度或车轮的旋转速度等的传感器中的至少一个。驱动系统控制部7100使用从车辆状态检测部7110输入的信号进行运算处理，并且控制内燃机、驱动马达、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种程序控制设置到车身的各种装置的操作。例如，车身系统控制单元7200起无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如头灯、倒车灯、刹车灯、转向信号灯、雾灯等的各种灯的控制装置的作用。在这种情况下，可以将从作为钥匙的替代的移动装置发送的无线电波或各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为用于驱动马达的电源的二次电池7310。例如，从包括二次电池7310的电池装置向电池控制单元7300供给关于电池温度、电池输出电压、电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号执行算术处理，并且执行用于调节二次电池7310的温度的控制或控制设置到电池装置的冷却装置等。

车外信息检测单元7400检测包括车辆控制系统7000的车辆外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其他相机中的至少一个。车外信息检测部7420例如包括用于检测当前大气状况或天气状况的环境传感器和用于检测包括车辆控制系统7000的车辆周边上的其他车辆、障碍物、行人等的周边信息检测传感器中的至少一个。

例如，环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器和检测降雪的雪传感器中的至少一个。周边信息检测传感器可以是超声波传感器、雷达装置和LIDAR装置(光检测和测距装置或激光成像检测和测距装置)中的至少一个。成像部7410和车外信息检测部7420中的每一个可以作为独立的传感器或装置而设置，或者可以作为集成了多个传感器或装置的装置而设置。

图25是表示成像部7410和车外信息检测部7420的安装位置的示例的图。成像部7910、7912、7914、7916和7918例如被布置在车辆7900的前鼻、侧视镜、后保险杠和后门上的位置和车辆内部内的挡风玻璃的上部上的位置中的至少一个位置处。设置在前鼻上的成像部7910和设置在车辆内部的挡风玻璃的上部的成像部7918主要获得车辆7900的前部的图像。设置在侧视镜上的成像部7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门上的成像部7916主要获得车辆7900的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图25示出了各个成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置到前鼻的成像部7910的成像范围。成像范围b和c分别表示设置到侧视镜的成像部7912和7914的成像范围。成像范围d表示设置在后保险杠或后门上的成像部7916的成像范围。例如，通过叠加由成像部7910、7912、7914和7916成像的图像数据，可以获得从上面观察的车辆7900的鸟瞰图像。

设置在车辆7900的前部、后部、侧部和角落以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。设置在车辆7900的前鼻、后保险杠、车辆7900的后门以及车辆内部的挡风玻璃的上部的车外信息检测部7920、7926和7930可以是例如LIDAR装置。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

返回到图24，将继续描述。车外信息检测单元7400使成像部7410对车辆外部的图像进行成像，并接收成像的图像数据。另外，车外信息检测单元7400从与车外信息检测单元7400连接的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声波传感器、雷达装置、LIDAR装置的情况下，车外信息检测单元7400发送超声波、电磁波等，并接收所接收的反射波的信息。车外信息检测单元7400也可以基于接收到的信息，执行检测诸如人、车辆、障碍物、标志、路面上的字符等物体的处理，或者检测与其之间的距离的处理。车外信息检测单元7400也可以基于接收到的信息，执行识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400也可以基于接收到的信息，计算与车辆外部的物体之间的距离。

另外，车外信息检测单元7400也可以基于接收到的图像数据，执行识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理，或着检测与其之间的距离的处理。车外信息检测单元7400可以对所接收的图像数据进行诸如失真校正、对准等的处理，并将由多个不同的成像部7410成像的图像数据合成，以生成鸟瞰图像或全景图像。车外信息检测单元7400也可以使用由包括不同的成像构件的成像部7410成像的图像数据，执行视点转换处理。

车内信息检测单元7500检测关于车辆内部的信息。车内信息检测单元7500例如与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如被设置在座椅表面、方向盘等中，并且检测坐在座椅中的乘客或握住方向盘的驾驶员的生物信息。车内信息检测单元7500可以基于从驾驶员状态检测部7510输入的检测信息，计算驾驶员的疲劳度或集中程度，或者判断驾驶员是否在打瞌睡。车内信息检测单元7500也可以对通过声音的收集而得到的声音信号进行诸如噪声消除处理等的处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的总体操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘客进行输入操作的装置(例如，触摸面板、按钮、麦克风、开关、控制杆等)实现。可以向集成控制单元7600提供通过对经由麦克风输入的语音进行语音识别而获得的数据。输入部7800可以是例如使用红外线或其他无线电波的远程控制装置，或者是支持车辆控制系统7000的操作的外部连接装置，诸如移动电话、个人数字助理(PDA)等。输入部7800可以是例如相机。在这种情况下，乘客可以通过手势输入信息。或者，可以输入通过检测乘客穿戴的可穿戴装置的移动而获得的数据。此外，输入部7800可以例如包括输入控制电路等，其基于乘客等使用上述输入部7800输入的信息产生输入信号，并将产生的输入信号输出到集成控制单元7600。乘客等通过操作输入部7800，向车辆控制系统7000输入各种数据或给出用于处理操作的指令。

存储部7690可以包括存储由微计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。另外，存储部7690可以由诸如硬盘驱动器(HDD)等的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等来实现。

通用通信I/F7620是广泛使用的通信I/F，该通信I/F作为与存在于外部环境7750中的各种设备的通信的中介。通用通信I/F7620可以实现蜂窝通信协议，诸如全球移动通信系统(GSM(注册商标))、全球微波接入互操作性(WiMAX(注册商标))、长期演进(LTE(注册商标))、LTE高级(LTE-A)等，或者其他无线通信协议，诸如无线LAN(也称为无线保真(Wi-Fi(注册商标))、蓝牙(注册商标)等。通用通信I/F7620可以例如经由基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司专用网络)上的设备(例如，应用服务器或控制服务器)。另外，通用通信I/F7620可以使用例如对等(P2P)技术连接到存在于车辆附近的终端(该终端例如是驾驶员、行人或商店的终端，或者是机器类型通信(MTC)终端)。

专用通信I/F7630是支持为在车辆中使用而开发的通信协议的通信I/F。专用通信I/F7630可以实现标准协议，例如，作为较低层的电气和电子工程师协会(IEEE)802.11p和作为较高层的IEEE1609的组合的车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)或蜂窝通信协议。专用通信I/F7630通常执行V2X通信，作为V2X通信的概念，包括车辆和车辆之间(车辆与车辆间)的通信、道路和车辆之间(车辆与基础设施间)的通信、车辆和家庭之间(车辆与家庭间)的通信、以及行人和车辆之间(车辆与行人间)的通信中的一个或多个。

例如，定位部7640通过接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从诸如移动电话、个人手持电话系统(PHS)或具有定位功能的智能电话的终端获得位置信息。

信标接收部7650例如接收从安装在道路等上的无线电站发送的无线电波或电磁波，从而获得关于当前位置、拥堵、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以被包括在上述的专用通信I/F7630中。

车内装置I/F7660是作为微计算机7610和车辆内存在的各种车内装置7760之间的连接的中介的通信接口。车内装置I/F7660可以使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线通用串行总线(WUSB)的无线通信协议来建立无线连接。另外，车内装置I/F7660可以通过通用串行总线(USB)、高清晰多媒体接口(HDMI(注册商标))、移动高清晰度链路(MHL)等经由图中未示出的连接端子(以及必要时的线缆)建立有线连接。车内装置7760可以例如包括由乘客拥有的移动装置和可穿戴装置以及携带到车辆中或附接到车辆的信息装置中的至少一个。车内装置7760还可以包括搜索到任意目的地的路径的导航装置。车内装置I/F7660与这些车内装置7760交换控制信号或数据信号。

车载网络I/F7680是作为微计算机7610和通信网络7010之间的通信的中介的接口。车载网络I/F7680依照通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微计算机7610基于经由通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F7660和车载网络I/F7680中的至少一个获得的信息，根据各种程序来控制车辆控制系统7000。例如，微计算机7610可以基于所获得的关于车辆内部和外部的信息来计算用于驱动力产生装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微计算机7610可以执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括车辆的碰撞避免或冲击减轻、基于跟随距离的跟随驾驶、车速维持驾驶、车辆碰撞的警告、车辆偏离车道的警告等。另外，微计算机7610可以通过基于所获得的关于车辆周围的信息控制驱动力产生装置、转向机构、制动装置等，执行旨在用于自动驾驶的协作控制，这使得车辆自主行驶而不依赖于驾驶员的操作等。

微计算机7610可以基于经由通用通信I/F7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F7660和车载网络I/F7680中的至少一个获得的信息，来生成车辆与诸如周围结构、人等的物体之间的三维距离信息，并且生成包括与车辆的当前位置的周围有关的信息的本地地图信息。另外，微计算机7610可以基于所获得的信息预测诸如车辆的碰撞、行人等的接近、进入封闭道路等的危险，并且生成警告信号。警告信号例如可以是用于产生警告声音或点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号发送到能够在视觉上或听觉上向车辆的乘客或车辆的外部通知信息的输出装置。在图24的示例中，作为输出装置，例示了音频扬声器7710、显示部7720和仪表板7730。显示部7720可以例如包括板上显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出装置可以是除了这些装置之外的装置，并且可以是诸如头戴式耳机、由乘客等佩戴的诸如眼镜型显示器的可佩戴装置、投影仪、灯等的其他装置。在输出装置是显示装置的情况下，显示装置以诸如文本、图像、表格、图表等的各种形式可视地显示通过由微计算机7610执行的各种处理获得的结果或从其他控制单元接收的信息。另外，在输出装置是音频输出装置的情况下，音频输出装置将由再现的音频数据或声音数据等构成的音频信号转换成模拟信号，并且在听觉上输出该模拟信号。

顺便提及，在图24所示的示例中，经由通信网络7010彼此连接的至少两个控制单元可以被集成到一个控制单元中。或者，每个单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括图中未示出的其他控制单元。另外，可以将上述控制单元之一所执行的部分或全部功能分配给其他控制单元。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的运算处理。类似地，连接到控制单元之一的传感器或装置可以连接到其他控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

图26是描述本技术应用于上述车辆7900的第一示例的图。在车辆7900的车顶上设置有能够捕获360度方向的视频的鱼眼镜头8000。系统被配置为使得由鱼眼镜头8000捕获的视频经由车辆7900内设置的信息处理装置100被显示在监视器或电子镜(在下文中，被称为“监视器等”)上。

假设鱼眼镜头8000捕获的360度方向的视频是输入视频，并且例如，前方向上90度宽度的关注区域是关注区域A，R侧方向上90度宽度的关注区域是关注区域B，后方向上90度宽度的关注区域是关注区域C，并且L侧方向上90度宽度的关注区域是关注区域D。进一步假设前方向上的90度宽度处的检出区域是检出区域a，R侧方向上的90度宽度处的检出区域是检出区域b，后方向上的90度宽度处的检出区域是检出区域c，并且L侧方向上的90度宽度处的检出区域是检出区域d。以这种方式设置关注区域和检出区域，并且由鱼眼镜头8000所捕获的视频由信息处理装置100处理并显示在车辆7900内的监视器等上。

利用该配置，例如，在将在车辆7900附近移动的人假定为要检测其特征量的对象物的情况下，执行与第一至第三实施例中的视频处理类似的视频处理。然后，在人存在于车辆7900的前方向的情况下，车辆7900的前方向的视频可以显示在监视器等上。在人存在于车辆7900的R侧方向上的情况下，车辆7900的R侧方向的视频可以显示在监视器等上。在人存在于车辆7900的后方向的情况下，可以在监视器等上显示车辆7900的后方向的视频。在人存在于车辆7900的L侧方向上的情况下，车辆7900的L侧方向的视频可以显示在监视器等上。由此，能够更详细地掌握车辆7900驾驶或停车时的周围状况，并且能够提高安全性。

另外，也可以使用来自捕获车辆7900的一个方向的视频的成像装置的输入视频。如在应用图27中示出的本技术的第二示例中，假定由车辆7900的后方向的成像装置9000捕获的视频作为输入视频，并且关注区域A、B、C和D可以显示在车辆7900内的监视器等上。这种使用模式也适用于在正方向、R侧方向和L侧方向上捕获视频的成像装置。

在将本技术应用于如上所述的车辆的情况下，成像装置的数量不限于一个，并且可以是两个或更多个。例如，如在将本技术应用于图28中示出的车辆的第三示例中，可以设置能够捕获车辆7900周围的360度方向上的视频的鱼眼镜头8000、捕获前方向上的视频的第一成像装置9100、捕获后方向上的视频的第二成像装置9200、捕获L侧方向上的视频的第三成像装置9300、以及捕获R侧方向上的视频的第四成像装置9400。在这种情况下，从由鱼眼镜头8000所捕获的360度全向视频中检测对象物的特征量，并且根据特征量来选择由第一成像装置9100、第二成像装置9200、第三成像装置9300和第四成像装置9400所捕获的视频中的一些，对其进行合成等，并且将其显示在监视器等上。

在使用多个成像装置的情况下，除了能够在360度方向上捕获视频的鱼眼镜头之外的成像装置的数量不限于四个，并且可以使用用于L侧方向的成像装置和用于R侧方向的成像装置的组合。或者，可以使用鱼眼镜头、用于后方向的成像装置、用于L侧方向的成像装置和用于R侧方向的成像装置的组合。

另外，本技术不仅适用于车辆，而且适用于诸如自行车、个人移动装置、飞机、无人驾驶飞机、轮船、机器人、建筑机械和农业机械(拖拉机)的移动体。

本技术还可以被配置如下。

(1)一种信息处理装置，其中

在成像区域中设置关注区域；以及

根据对象物的状态从所述关注区域中确定要显示的区域。

(2)根据(1)所述的信息处理装置，其中

设置与所述关注区域相对应的检出区域，以及

基于所述对象物在所述检出区域中的特征量，将多个所述关注区域合成为要显示的区域。

(3)根据(2)所述的信息处理装置，其中

所述特征量是基于构成所述检出区域中的所述对象物的像素数的值。

(4)根据(2)所述的信息处理装置，其中

在所述对象物存在于多个所述检出区域中的任意一个检出区域中的状态下，将与所述对象物存在的所述一个检出区域相对应的一个所述关注区域确定为要显示的区域。

(5)根据(2)所述的信息处理装置，其中

在所述对象物存在于多个所述检出区域中的两个或更多个检出区域中的状态下，将分别与所述对象物存在的所述两个或更多个检出区域相对应的两个或更多个所述关注区域合成为要显示的区域。

(6)根据(2)所述的信息处理装置，其中

所述特征量是在所述对象物在所述检出区域中从一个状态变化到其他状态的情况下的变化程度。

(7)根据(6)所述的信息处理装置，其中

根据所述特征量，将显示的所述关注区域和与所述对象物的状态变化的所述检出区域相对应的所述关注区域合成为要显示的区域。

(8)根据(2)所述的信息处理装置，其中

在所述对象物存在于所述多个检出区域中的两个或更多个检出区域中的状态下经过预定时间段的情况下，将分别与所述两个或更多个检出区域相对应的两个或更多个所述关注区域确定为要显示的区域。

(9)根据(8)所述的信息处理装置，其中

在所述对象物存在于所述两个检出区域中的状态下经过预定时间段的情况下，以与所述两个检出区域相对应的两个关注区域之间的边界大致位于显示装置的显示区域的中心的方式来显示所述两个关注区域。

(10)根据(1)至(9)中任一项所述的信息处理装置，其中

对在入射方向上不面向对成像区域进行成像的成像装置的透镜正对面的关注区域执行投影变换处理。

(11)根据(2)至(10)中任一项所述的信息处理装置，其中

对构成通过对成像区域进行成像而捕获的视频的每帧图像执行合成。

(12)根据(1)至(11)中任一项所述的信息处理装置，其中

所述成像区域由一个成像装置捕获。

(13)根据(12)所述的信息处理装置，其中

所述成像区域包括所有关注区域被所述一个成像装置收入视角内的区域。

(14)根据(1)至(13)中任一项所述的信息处理装置，其中

所述成像区域由多个成像装置捕获。

(15)根据(1)至(14)中任一项所述的信息处理装置，其中

所述对象物包括在所述成像区域中检测到的被摄体。

(16)根据(1)至(14)中任一项所述的信息处理装置，其中

所述对象物包括在所述成像区域中预先指定的被摄体。

(17)根据(1)至(16)中任一项所述的信息处理装置，其中

在显示装置上显示指示所述关注区域的图标。

(18)一种信息处理方法，包括：

设置成像区域中的关注区域；以及

根据对象物的状态从所述关注区域中确定要显示的区域。

(19)一种信息处理程序，使计算机执行一种信息处理方法，该方法包括：

设置成像区域中的关注区域；以及

根据对象物的状态从所述关注区域中确定要显示的区域。

附图标记列表

20：成像装置

30：显示装置

100：信息处理装置

Claims (19)

1.一种信息处理装置，其中

在成像区域中设置关注区域；以及

根据对象物的状态从所述关注区域中确定要显示的区域。

2.根据权利要求1所述的信息处理装置，其中

设置与所述关注区域相对应的检出区域，以及

基于所述对象物在所述检出区域中的特征量，将多个所述关注区域合成为要显示的区域。

3.根据权利要求2所述的信息处理装置，其中

所述特征量是基于构成所述检出区域中的所述对象物的像素数的值。

4.根据权利要求2所述的信息处理装置，其中

在所述对象物存在于多个所述检出区域中的任意一个检出区域中的状态下，将与所述对象物存在的所述一个检出区域相对应的一个所述关注区域确定为要显示的区域。

5.根据权利要求2所述的信息处理装置，其中

在所述对象物存在于多个所述检出区域中的两个或更多个检出区域中的状态下，将分别与所述对象物存在的所述两个或更多个检出区域相对应的两个或更多个所述关注区域合成为要显示的区域。

6.根据权利要求2所述的信息处理装置，其中

所述特征量是在所述对象物在所述检出区域中从一个状态变化到其他状态的情况下的变化程度。

7.根据权利要求6所述的信息处理装置，其中

根据所述特征量，将显示的所述关注区域和与所述对象物的状态变化的所述检出区域相对应的所述关注区域合成为要显示的区域。

8.根据权利要求2所述的信息处理装置，其中

在所述对象物存在于所述多个检出区域中的两个或更多个检出区域中的状态下经过预定时间段的情况下，将分别与所述两个或更多个检出区域相对应的两个或更多个所述关注区域确定为要显示的区域。

9.根据权利要求8所述的信息处理装置，其中

在所述对象物存在于所述两个检出区域中的状态下经过预定时间段的情况下，以与所述两个检出区域相对应的两个关注区域之间的边界大致位于显示装置的显示区域的中心的方式来显示所述两个关注区域。

10.根据权利要求1所述的信息处理装置，其中

对在入射方向上不面向对成像区域进行成像的成像装置的透镜正对面的关注区域执行投影变换处理。

11.根据权利要求2所述的信息处理装置，其中

对构成通过对成像区域进行成像而捕获的视频的每帧图像执行合成。

12.根据权利要求1所述的信息处理装置，其中

所述成像区域由一个成像装置捕获。

13.根据权利要求12所述的信息处理装置，其中

所述成像区域包括所有关注区域被所述一个成像装置收入视角内的区域。

14.根据权利要求1所述的信息处理装置，其中

所述成像区域由多个成像装置捕获。

15.根据权利要求1所述的信息处理装置，其中

所述对象物包括在所述成像区域中检测到的被摄体。

16.根据权利要求1所述的信息处理装置，其中

所述对象物包括在所述成像区域中预先指定的被摄体。

17.根据权利要求1所述的信息处理装置，其中

在显示装置上显示指示所述关注区域的图标。

18.一种信息处理方法，包括：

设置成像区域中的关注区域；以及

根据对象物的状态从所述关注区域中确定要显示的区域。

19.一种信息处理程序，使计算机执行一种信息处理方法，该方法包括：

设置成像区域中的关注区域；以及

根据对象物的状态从所述关注区域中确定要显示的区域。

Images