CN113056768B - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本公开涉及可以减少从检测到识别高分辨率图像中的对象的一系列处理所需的处理量的图像处理设备、图像处理方法和程序。获取单元从第一分辨率图像获取分辨率比第一分辨率图像低的第二分辨率图像，分类单元对第二分辨率图像中所包括的对象进行分类，指定单元在第一分辨率图像中指定与给定类别的对象对应的对象区域，并且识别单元对在第一分辨率图像中指定的对象区域执行对象的识别处理。例如，根据本公开的技术可以被应用于远程控制塔的相机系统。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开涉及图像处理设备、图像处理方法和程序，并且具体地，涉及可以减少高分辨率图像中的物体的从检测到识别的一系列处理所需的处理量的图像处理设备、图像处理方法和程序。

背景技术

传统上，已经存在检测在所捕获动态图像中出现的人或物体并执行识别处理的图像处理设备。

例如，专利文献1公开了检测从捕获所有方向的广角图像获取的低分辨率图像中的被摄体区域并对大范围图像中的与被摄体区域对应的区域执行识别处理的技术。

引用列表

专利文献

专利文献1：日本专利申请公开No.2013-9050

发明内容

本发明要解决的问题

然而，在高分辨率图像中识别到物体的情况下，对物体的从检测到识别的一系列处理所需的处理量增加。

本公开鉴于这种情形而做出，并且本公开使得能够减少检测到识别高分辨率图像中的对象的一系列处理所需的处理量。

问题的解决方案

本公开的图像处理设备是这样的图像处理设备，包括：第一获取单元，其从第一分辨率图像获取分辨率比第一分辨率图像低的第二分辨率图像；分类单元，其对第二分辨率图像中所包括的对象进行分类；指定单元，其在第一分辨率图像中指定与预定类别的对象对应的对象区域；以及识别单元，其对在所述第一分辨率图像中指定的对象区域执行对象的识别处理。

本公开的图像处理方法是一种由图像处理设备进行的图像处理方法，该方法包括：从第一分辨率图像获取分辨率比第一分辨率图像低的第二分辨率图像；对第二分辨率图像中所包括的对象进行分类；在第一分辨率图像中指定与预定类别的对象对应的对象区域；以及对在第一分辨率图像中指定的对象区域执行对象的识别处理。

本公开的程序是一种使计算机执行处理的程序，该程序包括：从第一分辨率图像获取分辨率比第一分辨率图像低的第二分辨率图像；对第二分辨率图像中所包括的对象进行分类；在第一分辨率图像中指定与预定类别的对象对应的对象区域；以及对在第一分辨率图像中指定的对象区域执行对象的识别处理。

在本公开中，从第一分辨率图像获取分辨率比第一分辨率图像低的第二分辨率图像，对第二分辨率图像中所包括的对象进行分类，在第一分辨率图像中指定与预定类别的对象对应的对象区域，并且对在第一分辨率图像中指定的对象区域执行对象的识别处理。

附图说明

图1是示出了向其应用根据本公开的技术的图像处理设备的图。

图2是示出了高分辨率图像的示例的图。

图3是示出了通过根据本公开的技术检测到的小物体的示例的图。

图4是示出了图像处理设备的功能配置示例的框图。

图5是图示了小物体检测处理的流程的流程图。

图6是图示了对象的提取和分类的细节的流程图。

图7是示出了通过产生HSV彩色掩模而获得的图像的示例的图。

图8是示出了通过背景消减/扩张处理而获得的处理过的图像的示例的图。

图9是用于描述轮廓矩形的设置的图。

图10是用于描述图像框的设置的图。

图11是用于描述根据轮廓矩形的图像框的切换的图。

图12是用于描述重复的消除的图。

图13是示出了小物体检测结果的示例的图。

图14是用于描述图像处理设备的处理速度的图。

图15是示出了图像处理设备的另一功能配置示例的框图。

图16是示出了图像处理设备的又一功能配置示例的框图。

图17是示出了图像处理设备的又一功能配置示例的框图。

图18是示出了图像处理设备的又一功能配置示例的框图。

图19是示出了通过投影到背景图像空间上而被更新的背景图像的示例的图。

图20是示出了图像处理设备的又一功能配置示例的框图。

图21是用于描述基于颜色的对象提取的图。

图22是示出了图像处理设备的又一功能配置示例的框图。

图23是示出了计算机的配置示例的框图。

图24是示意性示出了手术室系统的整体配置的图。

图25是示出了集中式操作面板上的操作画面的显示示例的图。

图26是示出了向其应用手术室系统的外科手术情形的示例的图。

图27是示出了图26中所示的摄像头和CCU的功能配置的示例的框图。

图28是示出了车辆控制系统的示意性配置的示例的框图。

图29是示出了外部信息检测单元和成像单元的安装位置的示例的说明图。

具体实施方式

下文中，将描述用于执行本公开的模式(下文中被称为实施例)。注意的是，将按以下顺序给出描述。

1.根据本公开的小物体检测的概要

2.图像处理设备的配置和操作

3.处理速度

4.变形例

5.计算机的配置示例

6.应用示例

<1.根据本公开的小物体检测的概要>

图1是示出了向其应用根据本公开的技术(本技术)的图像处理设备的图。

图1的图像处理设备10获取由成像设备21捕获的高分辨率图像(动态图像)。图像处理设备10从所获取的高分辨率图像中检测物体(特别地，小物体)，并将检测结果输出到显示设备22。

成像设备21包括配备有能够捕获高分辨率图像的互补型金属氧化物半导体(CMOS)图像传感器和电荷耦合器件(CCD)图像传感器的相机。

显示设备22包括能够显示高分辨率图像的液晶显示器(LCD)或有机电致发光(EL)显示器。在显示设备22上，小物体检测结果等被叠加并显示在由成像设备21捕获的高分辨率图像上。除了显示在显示设备22上之外，本技术的图像还可以作为图像数据被存储在例如存储设备(未示出)中。

例如，高分辨率图像是由安装在没有控制器的机场中设置的远程控制塔中的相机捕获的图像或由监视在偏远位置处的建筑物、工厂、商店、市镇等的远程监视设备获得的图像。例如，高分辨率图像的分辨率是4K分辨率。

图2是示出了高分辨率图像的示例的图。图2中示出的高分辨率图像是由安装在远程控制塔中的相机捕获的图像，并示出了停在机场停机坪中的多架飞机。此外，尽管未示出，但图2的高分辨率图像还示出了在机场上空飞行的多架飞机。

传统上，在具有4K分辨率的高分辨率图像中识别到诸如在远方飞行的飞机之类的小物体的情况下，对小物体的从检测到识别的一系列处理所需的处理量增加。具体地，即使在将现有的物体检测方法与高性能图形处理单元(GPU)一起使用的情况下，在具有4K分辨率的高分辨率图像中检测小物体也需要花费数秒至十几秒的处理量。

另一方面，在通过缩小高分辨率图像而获得的低分辨率图像中，因为分辨率低，所以小物体的识别精度降低。

因此，向其应用本技术的图像处理设备实现了对高分辨率图像中的小物体的从检测到识别的一系列处理所需的处理量减少。具体地，根据本公开的技术实现了对具有4K分辨率的高分辨率图像中的如图3中所示的像素尺寸为12×8、20×10、28×15、34×21、41×23、44×23和54×20的小物体的检测到识别所需的处理量的减少。

<2.图像处理设备的配置和操作>

下面，将描述应用本技术的图像处理设备10的配置和操作。

(图像处理设备的配置)

图4是示出了图像处理设备10的功能配置示例的框图。

图4的图像处理设备10包括跟踪处理单元31、中等分辨率图像获取单元32、对象提取单元33、分类单元34、指定单元35、去重复处理单元36、识别单元37和过滤处理单元38。图像处理设备10还包括低分辨率图像获取单元39、物体检测单元40、过滤处理单元41和去重复处理单元42。

跟踪处理单元31在例如由成像设备21供应的3840×2160个像素的高分辨率图像中跟踪随后将描述的识别单元37所识别的对象。要跟踪的对象是具有如上所述的像素尺寸的小物体。跟踪处理单元31每隔预定帧(诸如，每三帧)校正被跟踪对象的位置。指示在高分辨率图像上的被跟踪对象的区域的信息(下文中被称为对象区域)被供应到去重复处理单元36。指示对象区域的信息包括指示运动对象的尺寸和位置(图像上的坐标位置)的信息。

中等分辨率图像获取单元32从由成像设备21供应的高分辨率图像获取每隔预定帧(诸如，每15帧)的分辨率(诸如960×540个像素)比高分辨率图像低的中等分辨率图像。具体地，中等分辨率图像获取单元32具有用于转换图像分辨率的分辨率转换功能，并对高分辨率图像执行诸如细化处理(thinning processing)之类的下转换处理以获取中等分辨率图像。所获取的中等分辨率图像被供应到对象提取单元33和低分辨率图像获取单元39。注意的是，由成像设备21供应的高分辨率图像可以被原样地供应到低分辨率图像获取单元39。

注意的是，在图4的图像处理设备10中，如中等分辨率图像获取单元32中一样，由虚线包围的功能块每15帧重复进行各处理。

对象提取单元33在来自中等分辨率图像获取单元32的中等分辨率图像中提取预定对象。这里，虽然假定在中等分辨率图像中提取了运动对象，但可以根据提取方法提取静止对象。所提取的运动对象包括不要跟踪的对象以及要跟踪的小物体。对象提取单元33将指示所提取的运动对象的信息供应到分类单元34。指示运动对象的信息包括指示运动对象的尺寸和坐标位置的信息。

分类单元34基于来自对象提取单元33的信息在预定条件下对中等分辨率图像中所包括的运动对象进行分类。分类单元34将指示所分类的运动对象的信息供应到指定单元35。

指定单元35基于来自分类单元34的信息在高分辨率图像中指定与预定分类的运动对象对应的对象区域。指示对象区域的信息(对象的尺寸和坐标位置)被供应到去重复处理单元36。

去重复处理单元36基于来自跟踪处理单元31的信息和来自指定单元35的信息，在高分辨率图像中消除被跟踪处理单元31跟踪的对象的区域和由指定单元35指定的对象区域中的重复。指示高分辨率图像中的消除了重复的对象区域的信息被供应到识别单元37。

识别单元37基于来自去重复处理单元36的信息，对高分辨率图像中的对象区域执行运动对象识别处理。具体地，识别单元37通过由使用教师数据的机器学习来执行图像分类从而执行运动对象识别处理。识别单元37向过滤处理单元38供应表示对象区域中的运动对象是要识别的小物体的确定性的确定性等级。

过滤处理单元38执行时间序列过滤处理，以按时间序列判断来自识别单元37的确定性等级并判定确定性等级。指示其判定的确定性等级大于特定值的运动对象的信息例如被作为小物体检测结果供应到去重复处理单元42。

低分辨率图像获取单元39从来自中等分辨率图像获取单元32的中等分辨率图像获取具有比中等分辨率图像低的的分辨率(诸如300×300个像素)的低分辨率图像。具体地，低分辨率图像获取单元39具有用于转换图像分辨率的分辨率转换功能，并对中等分辨率图像执行诸如细化处理之类的下转换处理以获取低分辨率图像。所获取的低分辨率图像被供应到物体检测单元40。注意的是，在来自图像设备21的高分辨率图像从中等分辨率图像获取单元32被原样地供应的情况下，低分辨率图像获取单元39可对高分辨率图像执行下转换处理，以获取低分辨率图像。

物体检测单元40对来自低分辨率图像获取单元39的低分辨率图像执行物体检测单元。物体检测结果被供应到过滤处理单元41。

过滤处理单元41执行时间序列过滤处理，以按时间序列判断来自物体检测单元40的物体检测结果并判定物体检测结果。所判定的物体检测结果被供应到去重复处理单元42。

去重复处理单元42基于来自过滤处理单元38的小物体检测结果和来自物体检测单元40的物体检测结果，消除在高分辨率图像中识别到的运动对象(小物体)和物体检测单元40检测到的物体中的重复。指示高分辨率图像中的消除了重复的对象区域的信息被作为最终小物体检测结果输出。

(图像处理设备的操作)

接下来，将参考图5的流程图描述图像处理设备10进行的小物体检测处理的流程。在图5的处理中，每三帧执行步骤S11的处理，并且每15帧执行步骤S21至S28的处理以及步骤S31至S33的处理。

在步骤S11中，跟踪处理单元31跟踪高分辨率图像中的运动对象(小物体)。在由图像处理设备10针对高分辨率图像的预定帧执行了一次步骤S21至S28和S31至S33的处理之后，执行步骤S11的处理。

诸如模板匹配之类的基于区域的对象跟踪方法和诸如KLT方法之类的基于特征点的对象跟踪方法被用于跟踪运动对象。例如，为了跟踪运动对象，可以使用利用了核化相关滤波器(KCF)的对象跟踪方法，在该方法中，在跟踪对象时每当有必要时就学习对象模板。对于在高分辨率图像中被跟踪的运动对象设置随后描述的图像框，并且从高分辨率图像中切出针对其设置了图像框的区域。

此外，在步骤S21中，中等分辨率图像获取单元32从高分辨率图像获取分辨率图像。

在步骤S22中，对象提取单元33从中等分辨率图像获取单元32获取的中等分辨率图像中提取运动对象。

在步骤S23中，分类单元34对对象提取单元33从中等分辨率图像中提取的运动对象进行分类。

这里，将参考图6的流程图来描述步骤S22和S23中的运动对象的提取和分类的细节。

在步骤S51中，基于中等分辨率图像来生成HSV彩色掩模图像。根据HSV彩色掩模图像，可以通过指定H(色相)、S(饱和度)和V(亮度)的值来从中等分辨率图像中提取特定的颜色区域。

图7是基于从图2的高分辨率图像获得的中等分辨率图像生成的HSV彩色掩模图像的示例。图7中示出的HSV彩色掩模图像是从中等分辨率图像中提取天空的颜色的掩模图像。这里，例如，可以不仅生成用于提取天空的颜色的掩模图像，而且生成用于提取停机坪或跑道的铺砌表面的颜色的掩模图像。

在步骤S52中，对中等分辨率图像中的通过HSV彩色掩模图像提取颜色的区域执行背景减法/扩张处理。在背景消减中，通过将前一帧与当前帧进行比较，从中等分辨率图像中提取运动对象。另外，在扩张处理中，可以扩张通过背景消减提取的运动对象的像素区域。

图8是示出了通过对中等分辨率图像中由图7的HSV彩色掩模图像提取颜色的区域执行背景消减/扩张处理而获得的处理后图像的示例的图。

在图8的处理后图像中，中等分辨率图像中在天空区域中存在的多个(具体地，五个)运动对象被示出为一组白色像素。这些运动对象不仅包括要跟踪的飞机，而且包括不要跟踪的对象。

在步骤S53中，如图9中所示，设置其中容下所提取运动对象的轮廓的轮廓矩形。在图9中，示出针对参考图8描述的五个运动对象中的每一个的轮廓矩形。

在步骤S54中，如图10中所示，针对为其设置了轮廓矩形的运动对象设置图像框。该图像框是用于指定高分辨率图像中的包括跟踪目标的对象区域的信息。在图10的示例中，针对如参考图9描述的在其中提取了轮廓矩形的五个运动对象中的每一个设置图像框。

图像框的尺寸小于预定尺寸，并且准备尺寸不同的多个图像框。根据针对运动对象设置的轮廓矩形的尺寸来切换所设置的图像框的尺寸。预定尺寸是其中运动对象可以被检测为小物体的图像框的尺寸的上限。结果，不超过特定尺寸的运动对象被检测为小物体，并且超过特定尺寸的运动对象被检测为随后描述的大物体。

图11是用于描述根据轮廓矩形的图像框的切换的图。

在图11的左上方，示出了针对预定运动对象设置的轮廓矩形110。在图11的右侧，示出了具有不同尺寸的多个(具体地，三个)图像框120a、120b和120c。

例如，图像框120a的尺寸是与高分辨率图像的128×64个像素对应的16×8个像素，并且图像框120b的尺寸是与高分辨率图像的256×128个像素的32×16个像素。附加地，图像框120c的尺寸是与高分辨率图像的512×256个像素对应的64×32个像素。

当针对运动对象设置图像框时，轮廓矩形110的对角线D1的长度和图像框120(120a、120b、120c)的对角线D2(D2a、D2b、D2c)的长度从尺寸最小的图像框开始被依次进行比较。具体地，每当轮廓矩形110的对角线D1的长度超过图像框120的对角线D2的长度的75％(D2×0.75)时，重复与下一个尺寸增大的图像框120的对角线D2的长度的比较。然后，当轮廓矩形110的对角线D1的长度小于图像框120的对角线D2的长度的75％时，针对运动对象设置图像框120。

即，通过设置图像框，所提取的运动对象被基于其尺寸进行分类。

注意的是，要设置的图像框的尺寸可能被所提取运动对象存在于其中的区域限制。例如，针对存在于飞机看起来较小的天空区域中的运动对象，仅设置16×8个像素的图像框。附加地，针对存在于飞机看起来比天空区域大的铺砌表面的区域中的运动对象，设置32×16个像素或64×32个像素的图像框。

附加地，针对在提取运动对象时基于其尺寸进行分类的运动对象，设置中等分辨率图像上的坐标位置。例如，在中等分辨率图像上设置的运动对象的坐标位置是针对运动对象设置的轮廓矩形的中心。

当以这种方式基于运动对象的尺寸对其进行分类时，处理前进至图5中的步骤S24。

在步骤S24中，指定单元35在高分辨率图像中指定与基于其尺寸进行分类的各运动对象对应的对象区域。

具体地，指定单元35通过将针对中等分辨率图像中的各运动对象设置的图像框转换为高分辨率图像上的坐标来指定对象区域。

例如，假定针对中等分辨率图像上的以坐标位置(100，50)为中心的尺寸为5×5个像素的运动对象(轮廓矩形)设置16×8个像素的图像框。在这种情况下，将以坐标位置(100，50)为中心的16×8个像素的图像框转换为以高分辨率图像上的以坐标位置(400，200)为中心的128×64个像素的图像框，并且坐标变换后的图像框的区域成为对象区域。

这里，从高分辨率图像中切出指定的对象区域(坐标变换后的图像框的区域)。

在步骤S25中，去重复处理单元36消除高分辨率图像中由跟踪处理单元31跟踪的运动对象的区域和由指定单元35指定的对象区域中的重复。这里，通过使用交并比(IoU)，消除了在被跟踪的运动对象区域和所指定的对象区域中的重复。

根据IoU，如图12中所示，在对象区域131与对象区域132重叠的区域在对象区域131与对象区域132的总区域中的百分比超过预定阈值(例如，0.5)的情况下，判定对象区域131与对象区域132是重叠的。在这种情况下，对象区域131和对象区域132被判定是同一对象区域141。

当以这种方式消除了在被跟踪的运动对象区域和所指定的对象区域中的重复时，处理前进至步骤S26。

在步骤S26中，识别单元37对在高分辨率图像中消除了与被跟踪的运动对象区域的重复的对象区域执行运动对象识别处理。

此时，识别单元37基于作为在运动对象识别处理中使用的预定对象的图像的教师数据的像素尺寸对所指定的对象区域的尺寸进行归一化。具体地，对象区域的尺寸被全部归一化为128×64个像素的尺寸。结果，针对64个对象区域同时执行识别处理。

识别单元37通过使用预先从教师数据学习的学习模型对对象区域执行二元分类来确定对象区域中的运动对象是否像飞机。作为结果，计算出指示对象区域中的运动对象是要识别的小物体(飞机)的确定性的确定性等级。

在步骤S27中，过滤处理单元38执行时间序列过滤处理，以按时间序列判断识别单元37计算出的确定性等级并确定确定性等级。这里，例如，指示具有所确定的确定性等级的幅值最高的三个运动对象的信息被当作小物体(飞机)的检测结果。

这里，在描述步骤S28的处理之前，将描述步骤S31至S33的处理。

在步骤S31中，低分辨率图像获取单元39从来自中等分辨率图像获取单元32的中等分辨率图像获取低分辨率图像。

在步骤S32中，物体检测单元40对由低分辨率图像获取单元39获取的低分辨率图像执行物体检测。这里，由于对低分辨率图像执行了物体检测，因此检测对象不是诸如上述小物体之类的小物体，而是相对大的物体(大物体)。

在步骤S33中，过滤处理单元41执行时间序列过滤处理，以按时间序列判断来自物体检测单元40的物体检测结果并判定物体检测结果。

然后，在步骤S28中，去重复处理单元42消除在高分辨率图像中识别到的运动对象(小物体)和在低分辨率图像中检测到的大物体中的重复。同样，通过使用IoU，消除了在所识别的运动对象区域和检测到的大物体区域中的重复。

以这种方式，输出最终的小物体检测结果。

图13是示出了小物体检测结果的示例的图。

在图13中，运动对象的提取结果和被确定为飞机的所提取运动对象的检测结果被叠加并示出在图2的高分辨率图像上。

在图13中，图像框161、162和163示出了飞机的检测结果，其它图像框示出了除了飞机之外的运动对象的提取结果。在图像框161、162和163的附近示出了确定性等级的值。即，可以说，通过图像框161指定的运动对象最有可能是飞机。

根据以上处理，在从高分辨率图像获取的中等分辨率图像中，对比预定尺寸小的运动对象进行分类，并且与所分类的运动对象对应的区域被指定为高分辨率图像上的识别目标候选。利用该配置，可以减少对高分辨率图像中的对象(特别地，小物体)的从检测到识别的一系列处理所需的处理量。作为结果，可以在具有诸如4K分辨率之类的高分辨率的图像中实时地跟踪小物体。

特别地，由于通过设置图像框基于运动对象的尺寸对其进行分类，因此可以识别/跟踪比以前小的对象，并且可以提高识别精度。

<3.处理速度>

这里，将参考图14来描述本技术的图像处理设备10的处理速度。图像处理设备10被设计为使得在图14中由粗框包围的各框中执行的处理所需的时间如下。

由识别单元37对64个尺寸为128×64个像素的对象区域执行识别处理，并且处理时间为20ms。

每三帧执行的由跟踪处理单元31进行的跟踪处理的处理时间是每对象15ms。相应地，每30帧的跟踪处理的处理时间为150ms×物体数量。

在每15帧执行的处理中，在检测到12×8个像素的小物体的情况下，由对象提取单元33至过滤处理单元38进行的小物体检测处理的处理时间为220ms。附加地，物体检测单元40和过滤处理单元41进行的大物体检测处理的处理时间为70ms。

在串行地执行小物体检测处理和大物体检测处理的情况下，每15帧执行的处理的处理时间为290ms。相应地，每30帧的小物体检测处理和大物体检测处理的处理时间为580ms。

即，以上提到的一系列处理花费了150ms×物体数量和每30帧580ms的总时间。这里，假定帧数量常常为每秒30帧，如果小物体的数量为3，则一系列处理所需的时间可以减少至约1秒。附加地，在并行地执行上述一系列处理的情况下，即使在识别更多对象时，该一系列处理所需的时间也可以减少至约1秒。

<4.变形例>

下文中，将描述上述实施例的变形例。

(变形例1)

图15是示出了作为图像处理设备10的第一变形例的图像处理设备10A的功能配置示例的框图。

图15的图像处理设备10A与图1的图像处理设备10的不同之处在于，在中等分辨率图像获取单元32之前设置高分辨率化处理单元211。

高分辨率化处理单元211对由成像设备21供应的高分辨率图像执行诸如边缘增强之类的高分辨率处理，并将高分辨率图像供应到中等分辨率图像获取单元32。

利用这种配置，由于向对象提取单元33供应了强调了物体边缘的中等分辨率图像，因此可以提高对象提取单元33的对象提取性能。

(变形例2)

图16是示出了作为图像处理设备10的第二变形例的图像处理设备10B的功能配置示例的框图。

图16的图像处理设备10B与图1的图像处理设备10的不同之处在于，在对象提取单元33之前设置高分辨率背景图像产生单元221。

高分辨率背景图像产生单元221通过放大来自中等分辨率图像获取单元32的中等分辨率图像中的背景部分(增大分辨率)来产生高分辨率背景图像。所产生的高分辨率背景图像被供应到对象提取单元33。

在对象提取单元33中，通过背景消减在高分辨率背景图像上提取运动对象。

利用这种配置，可以提高较小运动对象的提取精度。

(变形例3)

图17是示出了作为图像处理设备10的第三变形例的图像处理设备10C的功能配置示例的框图。

图17的图像处理设备10C与图1的图像处理设备10的不同之处在于，设置识别单元231来替代识别单元37。

识别单元231使用递归神经网络(RNN)每隔15帧对动态图像而非静态图像执行运动对象识别处理。

利用这种配置，即使对于进出其它物体的阴影的小物体，也可以以高精度执行识别处理。

(变形例4)

图18是示出了作为图像处理设备10的第四变形例的图像处理设备10D的功能配置示例的框图。

图18的图像处理设备10D与图1的图像处理设备10的不同之处在于，在对象提取单元33之前设置背景图像空间投影单元241和高分辨率背景图像产生单元242。

背景图像空间投影单元241通过将来自中等分辨率图像获取单元32的中等分辨率图像投影到背景图像空间上来更新背景图像。投影到背景图像空间上的中等分辨率图像被供应到高分辨率背景图像产生单元242。背景图像空间对应于可以由成像设备21成像的成像范围。在成像设备21的成像范围中存在移动的情况下，背景图像在背景图像空间中随时间变化。

图19是示出了通过投影到背景图像空间上而被更新的背景图像的示例的图。

图19中示出的背景图像包括在五个不同成像范围中捕获的背景图像BG1至BG5。在成像范围与背景图像BG1至BG5的成像范围不同的中等分辨率图像从中等分辨率图像获取单元32供应的情况下，中等分辨率图像被投影在背景图像空间中的与成像范围对应的位置处，并且图19的背景图像被更新。

高分辨率背景图像产生单元242通过放大从背景图像空间投影单元241投影到背景图像空间上的中等分辨率图像中的背景部分(增大分辨率)来产生高分辨率背景图像。所产生的高分辨率背景图像被供应到对象提取单元33。

利用这种配置，即使在成像设备21的成像范围内存在移动的情况下，也可以提高较小运动对象的提取精度。

(变形例5)

图20是示出了作为图像处理设备10的第五变形例的图像处理设备10E的功能配置示例的框图。

图20的图像处理设备10E与图1的图像处理设备10的不同之处在于，设置对象提取单元251来取代对象提取单元33。

对象提取单元251在来自中等分辨率图像获取单元32的中等分辨率图像中提取预定颜色的对象。如图21中所示，例如，对象提取单元251仅提取中等分辨率图像的HSV颜色空间中的H(色相)为80至120的对象。指示所提取对象的信息被供应到分类单元34。

利用这种配置，可以在高分辨率图像中跟踪特定颜色的小物体。

(变形例6)

图22是示出了作为图像处理设备10的第六变形例的图像处理设备10F的功能配置示例的框图。

图22的图像处理设备10F与图1的图像处理设备10的不同之处在于，没有设置对象提取单元33并且设置分类单元261来替代分类单元34。

分类单元261基于低分辨率图像中所包括的物体的尺寸(例如，基于来自物体检测单元40的物体检测结果)对其进行分类。分类单元34将指示所分类的物体的信息供应到指定单元35。对在低分辨率图像中分类的物体执行从指定单元35到过滤处理单元38的处理。

利用这种配置，可以在高分辨率图像中跟踪相对小的物体。

(其它变形例)

在以上示例中，识别单元37在运动对象识别处理中对对象区域执行二元分类。然而，在存在多种类型的要识别的小物体的情况下，识别单元37在运动对象识别处理中可以对对象区域执行多类别分类。作为结果，例如，除了飞机之外，还可以检测诸如鸟之类的非飞机物体(生物)。

附加地，例如，当识别单元37执行飞机的识别处理时，识别单元37可以执行飞机颜色或飞机上绘制的字符(公司名称或其缩写)的识别处理。作为结果，可以确定识别到的飞机属于哪家航空公司。

附加地，在以上提到的示例中，分类单元34基于运动对象的尺寸对运动对象进行分类。然而，可以基于运动对象在图像上的位置或运动对象的移动速度以对运动对象进行进一步分类。

在基于运动对象在图像中的位置对运动对象进行分类的情况下，例如，通过对天空区域中的运动对象进行分类，可以仅检测在天空中飞行的飞机。附加地，通过对铺砌表面的区域中的运动对象进行分类，可以仅检测在地面(跑道)上滑行的飞机。

附加地，在基于运动对象的移动速度对运动对象进行分类的情况下，例如，通过对低速移动的运动对象进行分类，可以仅检测在远处天空中飞行的飞机。例如，可以通过将通过将两个连续帧中的运动对象的位置进行比较而获得的距离除以这两个帧之间的时间来获得运动对象的移动速度。附加地，可以跟踪运动对象的坐标位置的移动，使得可以根据运动对象是否按时间序列以恒定速率移动来检测飞机。注意的是，可以从跟踪对象中排除移动得如此快以至于其超过跟踪处理的图像框的运动对象。

<5.计算机的配置示例>

上述的一系列处理可以由硬件或软件执行。在一系列处理由软件执行的情况下，形成软件的程序从程序记录介质安装到结合在专用硬件中的计算机、通用个人计算机等。

图23是示出了根据程序执行上述一系列处理的计算机的硬件配置示例的框图。

上述信息处理设备10由具有图23中示出的配置的计算机来实现。

CPU 1001、ROM 1002和RAM 1003通过总线1004相互连接。

输入/输出接口1005也连接到总线1004。包括键盘、鼠标等的输入单元1006和包括显示器、扬声器等的输出单元1007连接到输入/输出接口1005。附加地，诸如硬盘和非易失性存储器之类的存储单元1008、诸如网络接口之类的通信单元1009以及用于驱动可移除介质511的驱动器1010连接到输入/输出接口1005。

在如上所述配置的计算机中，CPU 1001通过输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003上，并执行该程序以执行例如上述一系列处理。

由CPU 1001执行的程序通过被记录在可移除介质1011上进行设置，或者通过诸如局域网、互联网或数字广播之类的有线或无线传输介质来设置并被安装在例如存储单元1008中。

注意的是，由计算机执行的程序可以是根据本说明书中描述的顺序按时间顺序执行处理的程序，或者是并行地或在诸如进行调用时之类的必要定时执行处理的程序。

<6.应用示例>

以上，根据本公开的技术被应用于在由远程控制塔的相机系统获得的图像中跟踪诸如在远处飞行的飞机之类的小物体的配置。除此之外，根据本公开的技术可以被应用于在由监视在偏远位置处的建筑物、工厂、商店、城市等的远程监视设备获得的图像中跟踪远处的人和小动物的配置。附加地，根据本公开的技术可以被应用于在诸如足球或棒球之类的运动的中继图像中跟踪球的配置。

此外，根据本公开的技术可以被应用于各种产品。

(适用于手术室系统)

例如，本公开的技术可以被应用于手术室系统。

图24是示意性示出了可以应用根据本公开的技术的手术室系统5100的整体配置的图。参照图24，通过视听控制器(AV控制器)5107和手术室控制设备5109以协调方式连接安装在手术室中的一组设备来配置手术室系统5100。

各种设备可以被安装在手术室中。作为示例，图24示出了用于内窥镜外科手术的设备组5101、安装在手术室的天花板以对操作者的手进行成像的天花板相机5187、安装在手术室的天花板上以对整个手术室的情形进行成像的手术室相机5189、多个显示设备5103A至5103D、记录仪5105、病床5183和照明装置5191。

这里，在这些设备当中，设备组5101属于随后将描述的内窥镜外科手术系统5113，包括内窥镜、用于显示由内窥镜捕获的图像的显示设备等。属于内窥镜外科手术系统5113的各设备也被称为医疗设备。另一方面，例如，显示设备5103A至5103D、记录仪5105、病床5183和照明装置5191是与内窥镜外科手术系统5113在手术室中分开设置的设备。这些不属于内窥镜外科手术系统5113的设备中的每一个也被称为非医疗设备。视听控制器5107和/或手术室控制设备5109相互协作地控制医疗设备和非医疗设备的操作。

视听控制器5107全面地控制与医疗设备和非医疗设备中的图像显示相关的处理。具体地，在手术室系统5100中所包括的设备当中，设备组5101、天花板相机5187和手术室相机5189可以是具有发送在手术期间要显示的信息(下文中，也被称为显示信息)的功能的设备(下文中，也被称为源设备)。附加地，显示设备5103A至5103D可以是在其上输出显示信息的设备(下文中，也被称为输出目的地设备)。附加地，记录仪5105可以是与源设备和输出目的地设备二者对应的设备。视听控制器5107具有控制源设备和输出目的地设备的操作、从源设备获取显示信息并将显示信息发送到输出目的地设备以进行显示或记录的功能。注意的是，显示信息包括在手术期间捕获的各种图像和与手术相关的各种信息(例如，患者的身体信息、过去的检查结果、关于手术过程的信息等)。

具体地，视听控制器5107可以从设备组5101接收关于由内窥镜捕获的患者体腔中的外科手术部位的图像的信息作为显示信息。附加地，视听控制器5107可以从天花板相机5187接收关于由天花板相机5187捕获的操作者的手的图像的信息作为显示信息。附加地，视听控制器5107可以从手术室相机5189接收关于示出由手术室相机5189捕获的整个手术室的情形的图像的信息作为显示信息。注意的是，如果手术室系统5100具有具备成像功能的另一设备，则视听控制器5107也可以从其它设备获取关于由其它设备捕获的图像的信息作为显示信息。

可替代地，例如，视听控制器5107将关于这些先前捕获的图像的信息记录在记录仪5105中。视听控制器5107可以从记录仪5105获取关于先前捕获的图像的信息作为显示信息。注意的是，与手术相关的各种信息也可以被预先记录在记录仪5105中。

视听控制器5107将所获取的显示信息(即，在手术期间捕获的图像和关于手术的各种信息)显示在作为输出目的地设备的显示设备5103A至5103D中的至少一个上。在图24中示出的示例中，显示设备5103A是从手术室的天花板垂下的显示设备，显示设备5103B是安装在手术室的墙面上的显示设备，显示设备5103C是安装在手术室中的桌子上的显示设备，并且显示设备5103D是具有显示功能的移动设备(例如，平板个人计算机(PC))。

另外，尽管在图24中未示出，但手术室系统5100可以包括手术室外部的设备。手术室外部的设备可以是例如连接到在医院内部或外部构造的网络的服务器、供医务人员使用的PC、安装在医院会议室中的投影仪等。在这种外部设备位于医院外部的情况下，视听控制器5107还可以通过用于远程医疗的视频会议系统等将显示信息显示在另一医院的显示设备上。

手术室控制设备5109全面地控制除了与非医疗设备中的图像显示相关的处理之外的处理。例如，手术室控制设备5109控制病床5183、天花板相机5187、手术室相机5189和照明装置5191的驱动。

手术室系统5100设置有集中式操作面板5111，并且用户可以通过集中式操作面板5111向视听控制器5107给出关于图像显示的指令或者向手术室控制设备5109给出关于非医疗设备操作的指令。集中式操作面板5111包括设置在显示设备的显示面上的触摸面板。

图25是示出了集中式操作面板5111上的操作画面的显示示例的图。作为示例，图25示出了与手术室系统5100设置有作为输出目的地设备的两个显示设备的情况对应的操作画面。参照图25，操作画面5193设置有源选择区域5195、预览区域5197和控制区域5201。

在源选择区域5195中，链接并显示在手术室系统5100中设置的源设备和示出源设备所拥有的显示信息的缩略图画面。用户可以选择来自在源选择区域5195中显示的任何源设备的他/她想要在显示设备上显示的显示信息。

在预览区域5197中，显示在作为输出目的地设备的两个显示设备(监视器1和监视器2)上显示的画面的预览。在图25中示出的示例中，在一个显示设备上按PinP显示四个图像。这四个图像对应于由在源选择区域5195中选择的源设备发送的显示信息。在这四个图像中，一个被显示为相对大的主图像，而其余三个被显示为相对小的子图像。用户可以通过适当地选择在其中显示四个图像的区域来交换主图像和子图像。附加地，在显示四个图像的区域下方设置状态显示区域5199，并且可以在该区域中适当地显示与手术相关的状态(例如，手术经过的时间、患者的身体信息等)。

控制区域5201包括其中显示用于操作源设备的图形用户界面(GUI)部件的源操作区域5203以及其中显示用于操作输出目的地设备的GUI部件的输出目的地操作区域5205。在图25中示出的示例中，源操作区域5203包括用于在具有成像功能的源设备中的相机上执行各种操作(平移、倾斜和缩放)的GUI部件。用户可以通过适当地选择这些GUI部件来操作源设备中的相机的操作。注意的是，尽管未示出，但在源选择区域5195中选择的源设备是记录仪的情况下(即，在向前记录在记录仪中的图像显示在预览区域5197中的情况下)，源操作区域5203可以包括用于执行诸如图像的播放、停止、倒带和快进之类的操作的GUI部件。

附加地，输出目的地操作区域5205包括用于执行作为输出目的地设备的显示设备上的用于显示的各种操作(交换、翻转、色彩调整、对比度调整、2D显示与3D显示之间的切换)的GUI部件。用户可以通过适当地选择这些GUI部件来操作显示设备上的显示。

注意的是，显示在集中式操作面板5111上的操作画面不限于图25中示出的示例，并且可以通过集中式操作面板5111，用户被允许对能够由设置在手术室系统5100中的手术室控制设备5109和视听控制器5107控制的设备进行输入操作。

图26是示出了应用上述手术室系统的外科手术情形的示例的图。天花板相机5187和手术室相机5189被安装在手术室的天花板上，并且可以对治疗病床5183上的患者5185的患部的操作者(外科医生)5181的手以及整个手术室的情形进行成像。天花板相机5187和手术室相机5189可以设置有放大倍率调整功能、焦距调整功能、成像方向调整功能等。照明装置5191被安装在手术室的天花板上并且照射至少操作者5181的手。照明装置5191可以能够适当地调整照射光的量、照射光的波长(颜色)、光的照射方向等。

内窥镜外科手术系统5113、病床5183、天花板相机5187、手术室相机5189和照明装置5191通过视听控制器5107和手术室控制设备5109(图26中未示出)以协调的方式连接，如图24中所示。集中式操作面板5111设置在手术室中，并且如上所述，用户可以通过集中式操作面板5111适当地操作存在于手术室中的设备。

下文中，将详细地描述内窥镜外科手术系统5113的配置。如图26中所示，内窥镜外科手术系统5113包括内窥镜5115、其它外科手术工具5131、支撑内窥镜5115的支撑臂设备5141以及其上安装有内窥镜外科手术的各种设备的推车5151。

在内窥镜外科手术中，作为切割腹壁以打开腹部的替代，在腹壁中穿刺了多个被称为套管针5139a至5139d的管状打开设备。然后，内窥镜5115的镜筒5117和其它手术工具5131被从套管针5139a至5139d插入到患者5185的体腔中。在图26中示出的示例中，注气管5133、能量治疗工具5135和钳子5137被作为其它外科手术工具5131插入到患者5185的体腔中。附加地，能量治疗工具5135是通过高频电流或超声波振动执行组织的切开和剥离、血管的密封等的治疗工具。然而，注意的是，所图示的手术工具5131仅是示例，诸如镊子和牵开器之类的内窥镜外科手术中通常使用的各种手术工具可以被用作手术工具5131。

由内窥镜5115捕获的患者5185的体腔中的外科手术部位的图像显示在显示设备5155上。操作者5181在实时观看显示在显示设备5155上的外科手术部位的图像的同时，使用能量治疗工具5135和钳子5137，并执行诸如切除患部之类的治疗。注意的是，尽管省略了图示，但在手术期间，注气管5133、能量治疗工具5135和钳子5137由操作者5181或助手来支撑。

(支撑臂设备)

支撑臂设备5141包括从基部5143延伸的臂部5145。在图26中示出的示例中，臂部5145包括接头部5147a、5147b和5147c以及连杆5149a和5149b，并由来自臂控制设备5159的控制来驱动。臂部5145支撑内窥镜5115，并控制其位置和姿势。结果，内窥镜5115的位置可以被稳定地固定。

(内窥镜)

内窥镜5115包括镜筒5117和摄像头5119，镜筒5117的从顶端起的预定长度的区域被插入到患者5185的体腔中，摄像头5119连接到镜筒5117的底端。虽然图26示出了内窥镜5115被配置为具有硬质镜筒5117的所谓的刚性内窥镜5115的示例，但内窥镜5115可以被配置为具有软质镜筒5117的所谓的柔性内窥镜。

在镜筒5117的顶端处设置其中装配有物镜的开口。光源设备5157与内窥镜5115连接，并且由光源设备5157产生的光通过延伸到镜筒5117内部的导光件被引导到镜筒的顶端。光通过物镜朝向患者5185的体腔中的观察目标辐射。注意的是，内窥镜5115可以是前视内窥镜、斜视内窥镜或侧视内窥镜。

光学系统和成像设备设置在摄像头5119内部，并且来自观察目标的反射光(观察光)通过光学系统被聚焦到成像设备上。观察光被成像设备进行光电转换，并且产生与观察光对应的电信号，即，与观察到的图像对应的图像信号。图像信号被作为RAW数据发送到相机控制单元(CCU)5153。注意的是，摄像头5119具有通过适当地驱动光学系统来调整放大倍率和焦距的功能。

注意的是，例如，摄像头5119可以设置有多个成像设备，以便支持立体观看(3D显示)。在这种情况下，在镜筒5117内部设置有多个中继光学系统，以便将观察光引导到多个摄像设备的每一个。

(安装在推车上的各种设备)

CCU 5153包括中央处理单元(CPU)、图形处理单元(GPU)等，并执行内窥镜5115和显示设备5155的操作的集中控制。具体地，CCU5153对从摄像头5119接收的图像信号执行诸如显影处理(去马赛克处理)之类的基于图像信号来显示图像的各种图像处理。CCU 5153将经受图像处理的图像信号提供到显示设备5155。另外，图24中示出的视听控制器5107连接到CCU 5153。CCU 5153也将经受图像处理的图像信号提供到视听控制器5107。另外，CCU5153还向摄像头5119发送控制信号，以控制其驱动。控制信号可以包括诸如放大倍率和焦距之类的关于成像条件的信息。关于成像条件的信息可以通过输入设备5161输入，或者可以通过上述集中式操作面板5111输入。

显示设备5155在CCU 5153的控制下，基于经受CCU 5153进行的图像处理的图像信号来显示图像。在内窥镜5115与诸如4K(水平像素3840×垂直像素2160)或8K(水平像素7680×垂直像素4320)之类的高分辨率成像和/或3D显示兼容的情况下，能够进行高分辨率显示的设备和/或能够进行3D显示的设备可以被用作与内窥镜5115对应的显示设备5155。在显示设备5155与诸如4K或8K之类的高分辨率成像兼容的情况下，通过使用尺寸为55英寸或更大的显示设备5155，可以获得更沉浸式的感觉。另外，取决于应用，可以提供分辨率和尺寸不同的多个显示设备5155。

光源设备5157例如包括诸如发光二极管(LED)之类的光源，并且向内窥镜5115供应用于对外科手术部位进行成像的照射光。

臂控制设备5159例如包括诸如CPU之类的处理器，并根据预定程序进行操作，以根据预定控制方法来控制支撑臂设备5141的臂部5145的驱动。

输入设备5161是针对内窥镜外科手术系统5113的输入接口。用户可以通过输入设备5161向内窥镜外科手术系统5113输入各种信息和指令。例如，用户通过输入设备5161输入关于外科手术的各种种类的信息，诸如患者的身体信息和关于手术过程的信息。另外，例如，用户通过输入设备5161输入驱动臂部5145的指令、改变内窥镜5115的成像条件(照射光的类型、放大倍率、焦距等)的指令、驱动能量治疗工具5135的指令等。

输入设备5161的类型不受限制，输入设备5161可以是各种已知的输入设备。作为输入设备5161，例如，可以应用鼠标、键盘、触摸面板、开关、脚踏开关5171和/或杆。在触摸面板被用作输入设备5161的情况下，触摸面板可以设置在显示设备5155的显示面上。

可替代地，输入设备5161是用户穿戴的设备，诸如眼镜型可穿戴设备或头戴式显示器(HMD)，并且根据这些设备检测到的用户的姿势或视线来执行各种输入。另外，输入设备5161包括能够检测用户移动的相机，并且根据从由相机捕获的图像中检测到的用户的姿势或视线来执行各种输入。此外，输入设备5161包括能够收集用户语音的麦克风，并且用通过麦克风的语音来执行各种输入。如上所述，由于输入设备5161能够以非接触方式输入各种信息，因此属于清洁区域的用户(例如，操作者5181)可以以非接触方式操作属于非清洁区域的设备。另外，用户可以在不将他/她的手从手术工具上松开的情况下操作设备，这对于用户而言是方便的。

治疗工具控制设备5163控制能量治疗工具5135的驱动，以进行组织烧灼、切口、血管密封等。为了出于确保内窥镜5115的视野并确保操作者的工作空间的目的而使患者5185的体腔膨胀，使用注气设备5165通过注气管道5133将气体输送到体腔中。记录仪5167是能够记录与外科手术相关的各种信息的设备。打印机5169是能够以诸如文本、图像和图形之类的各种格式来打印与外科手术相关的各种信息的设备。

下文中，将更详细地描述内窥镜外科手术系统5113的特定特性配置。

(支撑臂设备)

支撑臂设备5141包括作为底座的基部5143和从基部5143延伸的臂部5145。尽管图26中示出的示例的臂部5145包括多个接合部5147a、5147b和5147c以及通过接合部5147b连接的多个连杆5149a和5149b，但在图26中，为了简单起见，臂部5145的配置被以简化方式示出。实际上，接合部5147a至5147c以及连杆5149a和5149b的形状、数量和布置、接合部5147a至5147c的旋转轴的方向等可以被适当地设置，以实现臂部5145所期望的自由度。例如，臂部5145可以被适当地配置为具有六个或更多个自由度。结果，内窥镜5115可在臂部5145的可移动范围内自由移动，使得内窥镜5115的镜筒5117可以被从所期望方向插入到患者5185的体腔中。

接合部5147a至5147c设置有致动器，并且接合部5147a至5147c因驱动致动器能绕预定旋转轴旋转。致动器的驱动受臂控制设备5159的控制，由此接合部5147a至5147c的旋转角度受控制并且臂部5145的驱动受控制。结果，内窥镜5115的位置和姿势可以受控制。此时，臂控制设备5159可以通过诸如力控制或位置控制之类的各种公知控制方法来控制臂部5145的驱动。

例如，当操作者5181通过输入设备5161(包括脚踏开关5171)适当地输入了操作时，臂控制设备5159可以按照输入操作适当地控制臂部5145的驱动，并控制内窥镜5115的位置和姿势。根据该控制，臂部5145的顶端处的内窥镜5115可以被从任意位置移动到任意位置，然后被固定地支撑在其移动到达的位置处。注意的是，臂部5145可以通过所谓的主从方法进行操作。在这种情况下，使用者可以通过安装在远离手术室的地方的输入设备5161对臂部5145进行远程操作。

另外，在施加力控制的情况下，臂控制设备5159可以执行从用户接收外力的所谓的动力辅助控制，并且关节部5147a至5147c的致动器可以被驱动，使得臂部5145根据外力而平滑地移动。结果，当使用者在直接触摸臂部5145的同时移动臂部5145时，他/她可以以相对轻的力来移动臂部5145。因此，内窥镜5115可以以更简单的操作更直观地移动，这对于用户而言是方便的。

这里，通常，在内窥镜外科手术中，被称为内窥镜医生的外科医生支撑内窥镜5115。另一方面，通过使用支撑臂设备5141，可以不费人力地更加可靠地固定内窥镜5115的位置。因此，可以可靠地获得外科手术部位的图像并平稳地执行手术。

注意的是，臂控制设备5159不一定必须设置在推车5151上。另外，臂控制设备5159不一定必须是一个设备。例如，臂控制设备5159可以设置在支撑臂设备5141的臂部5145的各关节部5147a至5147c中，并且多个臂控制设备5159可以彼此配合以控制臂部5145的驱动。

(光源设备)

光源设备5157向内窥镜5115供应用于对外科手术部位进行成像的照射光。光源设备5157例如包括LED、激光光源或包括其组合的白光源。此时，在由RGB激光光源的组合配置白光源的情况下，可以以高精度控制每种颜色(每种波长)的输出强度和输出定时。因此，可以在光源设备5157中调整所捕获图像的白平衡。另外，在这种情况下，还可以通过以分时方式用来自每个RGB激光光源的激光照射观察目标并与照射定时同步地控制摄像头5119的成像设备的驱动来以时分方式捕获对应于RGB的图像。根据该方法，可以在成像设备中不设置滤色器的情况下获得彩色图像。

另外，光源设备5157的驱动可以受控制，以便每预定的时间改变待输出光的强度。通过与光强度改变的定时同步地控制摄像头5119的成像设备的驱动并合成图像来以时分方式获取图像，可以产生没有所谓的黑屏和过度曝光的宽动态范围图像。

另外，光源设备5157可以有能力与特殊光观察对应地供应预定波长带中的光。在特殊的光观察中，执行所谓的窄带成像，通过例如利用身体组织中的光吸收的波长依赖性并与正常观察期间的照射光(即，白光)相比发射更窄频带中的光，以高对比度对粘膜表面上的诸如血管之类的预定组织进行成像。可替代地，在特殊光观察中，可以执行荧光观察，利用通过发射激发光而产生的荧光来获得图像。例如，荧光观察的示例包括用激发光照射身体组织并观察来自身体组织的荧光(自发荧光观察)，或者将诸如吲哚菁绿(ICG)之类的试剂局部注射到人体组织中并用与试剂的荧光波长对应的激发光照射身体组织以获得荧光图像。光源设备5157可以有能力供应与这种特殊光观察对应的窄带光和/或激发光。

(摄像头和CCU)

将参考图27更详细地描述内窥镜5115的摄像头5119和CCU 5153的功能。图27是示出了图26中示出的摄像头5119和CCU 5153的功能配置的示例的框图。

参照图27，摄像头5119具有透镜单元5121、成像单元5123、驱动单元5125、通信单元5127和摄像头控制单元5129作为其功能件。另外，CCU 5153具有通信单元5173、图像处理单元5175和控制单元5177作为其功能件。摄像头5119和CCU 5153通过传输电缆5179彼此通信地连接。

首先，将描述摄像头5119的功能配置。透镜单元5121是设置在与镜筒5117连接的部分处的光学系统。从镜筒5117的顶端取得的观察光被引导到摄像头5119，进入透镜单元5121。透镜单元5121是通过组合包括变焦透镜和聚焦透镜的多个透镜而配置的。透镜单元5121的光学特性被调整，使得观察光被聚焦到成像单元5123的成像设备的光接收表面上。另外，变焦透镜和聚焦透镜被配置为使得它们在光轴上的位置可以移动，以便调整所捕获图像的放大倍率和焦点。

成像单元5123包括成像设备，并被布置在透镜单元5121之后。已经经过透镜单元5121的观察光被聚焦到成像设备的光接收表面上，并且通过光电转换来产生与观察图像对应的图像信号。由成像单元5123生成的图像信号被提供到通信单元5127。

作为成像单元5123中所包括的成像设备，例如，使用具有拜耳(Bayer)阵列并能够进行颜色成像的互补型金属氧化物半导体(CMOS)型图像传感器。注意的是，作为成像设备，例如，可以使用支持4K或更高的高分辨率图像的成像设备。通过以高分辨率获得外科手术部位的图像，操作者5181可以更详细地掌握外科手术部位的状态，并可以更顺畅地进行手术。

另外，成像单元5123中所包括的成像设备具有用于获取对应于3D显示的针对右眼和左眼的图像信号的一对成像设备。3D显示使得操作者5181能够更准确地掌握外科手术部位中活组织的深度。注意的是，在成像单元5123为多板型的情况下，设置与成像设备对应的多个透镜单元5121。

另外，成像单元5123不一定必须被设置在摄像头5119中。例如，成像单元5123可以设置在镜筒5117内部，在物镜正后方。

驱动单元5125包括致动器，并在摄像头控制单元5129的控制下，使透镜单元5121的变焦透镜和聚焦透镜沿着光轴移动预定距离。利用该配置，由成像单元5123捕获的图像的放大倍率和焦点可以被适当调整。

通信单元5127包括用于向CCU 5153发送并从其接收各种信息的通信设备。通信单元5127通过传输电缆5179将从成像单元5123获得的图像信号作为RAW数据发送到CCU5153。此时，优选的是，通过光通信来传输图像信号，以便以低延迟显示外科手术部位的所捕获图像。在进行外科手术时，操作者5181在执行手术的同时用所捕获图像观察患部的状况。因此，为了更安全且更可靠的外科手术，需要尽可能接近实时地显示外科手术部位的动态图像。在执行光通信的情况下，通信单元5127设置有将电信号转换为光信号的光电转换模块。图像信号被光电转换模块转换为光信号，然后通过传输电缆5179被传输到CCU 5153。

另外，通信单元5127从CCU 5153接收用于控制摄像头5119的驱动的控制信号。例如，控制信号包括诸如指定所捕获图像的帧频的信息、指定成像时的曝光值的信息和/或指定所捕获图像的放大倍率和焦点的信息之类的关于成像条件的信息。通信单元5127将接收到的控制信号提供到摄像头控制单元5129。注意的是，来自CCU 5153的控制信号也可以通过光通信来传输。在这种情况下，通信单元5127设置有将光信号转换为电信号的光电转换模块。控制信号被光电转换模块转换为电信号，然后被提供到摄像头控制单元5129。

注意的是，上述诸如帧频、曝光值、放大倍率和焦点之类的成像条件可以由CCU5153的控制单元5177基于所获取的图像信号来自动设置。即，在内窥镜5115中安装所谓的自动曝光(AE)功能、自动聚焦(AF)功能和自动白平衡(AWB)功能。

摄像头控制单元5129基于通过通信单元5127接收的来自CCU 5153的控制信号来控制摄像头5119的驱动。例如，摄像头控制单元5129基于指定所捕获图像的帧频的信息和/或指定成像时的曝光的信息来控制成像单元5123的成像设备的驱动。另外，例如，摄像头控制单元5129基于指定所捕获图像的放大倍率和焦点的信息，通过驱动单元5125适当地移动透镜单元5121的变焦镜头和聚焦透镜。摄像头控制单元5129还可以包括存储用于指定镜筒5117和摄像头5119的信息的功能。

注意的是，通过将透镜单元5121、成像单元5123等布置在气密且高度防水的封闭结构中，可以使摄像头5119耐受高压灭菌处理。

接下来，将描述CCU 5153的功能配置。通信单元5173包括用于向摄像头5119发送各种信息以及从摄像头5119接收各种信息的通信设备。通信单元5173通过传输电缆5179接收从摄像头5119发送的图像信号。此时，如上所述，可以优选地通过光通信来发送图像信号。在这种情况下，为了支持光通信，通信单元5173设置有将光信号转换为电信号的光电转换模块。通信单元5173将转换为电信号的图像信号提供到图像处理单元5175。

另外，通信单元5173将用于控制摄像头5119的驱动的控制信号发送到摄像头5119。控制信号也可以通过光通信来发送。

图像处理单元5175对作为从摄像头5119发送的RAW数据的图像信号执行各种图像处理。图像处理的示例包括诸如显影处理、增强处理(例如，频带强调处理、超分辨率处理、降噪(NR)处理和/或相机抖动校正处理)和/或放大处理(电子变焦处理)之类的各种已知信号处理。另外，图像处理单元5175还对图像信号执行检测处理，以执行AE、AF和AWB。

图像处理单元5175包括诸如CPU或GPU之类的处理器，并且上述图像处理和检测处理可以由根据预定程序进行操作的处理器执行。注意的是，在图像处理单元5175包括多个GPU的情况下，图像处理单元5175适当地划分与图像信号相关的信息并且通过多个GPU并行地执行图像处理。

控制单元5177执行与通过内窥镜5115对外科手术部位的成像以及所捕获图像的显示相关的各种控制。例如，控制单元5177生成用于控制摄像头5119的驱动的控制信号。此时，在用户输入成像条件的情况下，控制单元5177基于用户的输入来生成控制信号。可替代地，在内窥镜5115配备有AE功能、AF功能和AWB功能的情况下，控制单元5177根据图像处理单元5175进行检测处理的结果来适当地计算最佳曝光值、焦距和白平衡，并生成控制信号。

另外，控制单元5177使显示设备5155基于经受图像处理单元5175的图像处理的图像信号来显示外科手术部位的图像。此时，控制单元5177使用各种图像识别技术来识别外科手术部位的图像中的各种对象。例如，控制单元5177可以通过检测外科手术部位的图像中所包括的对象边缘的形状、颜色等识别诸如钳子之类的外科手术工具、特定生物部位、出血、使用能量治疗工具5135时的薄雾等。当在显示设备5155上显示外科手术部位的图像时，控制单元5177使用识别结果，在外科手术部位的图像上叠加并显示各种外科手术支持信息。通过叠加并显示外科手术支持信息并将其呈现给操作者5181，可以更安全且可靠地进行外科手术。

连接摄像头5119和CCU 5153的传输电缆5179是支持电信号的电信号电缆、支持光通信的光纤或其复合电缆。

这里，虽然在图27中示出的示例中使用传输电缆5179有线地执行通信，但摄像头5119与CCU 5153之间的通信可以被无线地执行。在摄像头5119与CCU 5153之间的通信被无线地执行的情况下，不必将传输电缆5179置在手术室中。因此，可以解决传输电缆5179阻碍医务人员在手术室中移动的情形。

以上已经描述了可以应用根据本公开的技术的手术室系统5100的示例。注意的是，尽管这里以应用手术室系统5100的医疗系统是内窥镜外科手术系统5113的情况为例进行了描述，但手术室系统5100的配置不限于这样的示例。例如，手术室系统5100可以替代内窥镜外科手术系统5113被应用于检查用柔性内窥镜系统或显微外科手术系统。

在上述配置当中，根据本公开的技术可以被应用于控制单元5177。通过将根据本公开的技术应用于控制单元5177，可以识别外科手术部位图像中所包括的外科手术部位中的微小血管和微小出血点。当在显示设备5155上显示外科手术部位的图像时，控制单元5177使用识别结果，在外科手术部位的图像上叠加并显示各种外科手术支持信息。通过叠加并显示外科手术支持信息并将其呈现给操作者5181，可以更安全且可靠地进行外科手术。

(适用于移动控制系统)

根据本公开的技术可以被实现为安装在包括汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动装置、飞机、无人机、轮船、机器人、建筑机械、农业机械(拖拉机)等的任意类型的可移动体上的设备。

图28是示出了车辆控制系统7000的示意性配置示例的框图，车辆控制系统7000是可以应用根据公开的技术的移动控制系统的示例。车辆控制系统7000包括通过通信网络7010连接的多个电子控制单元。在图28中示出的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、外部信息检测单元7400、内部信息检测单元7500和集成控制单元7600。例如，连接多个控制单元的通信网络7010可以是与诸如控制器局域网(CAN)、局域互联网络(LIN)、局域网(LAN)或FlexRay(注册商标)之类的任意标准兼容的车载通信网络。

各控制单元包括：微型计算机，其根据各种程序执行算术处理；存储单元，其存储由微型计算机执行的程序或用于各种算术运算的参数；以及驱动电路，其驱动要受控制的各种设备。每个控制单元包括通过通信网络7010与其它控制单元通信的网络I/F以及通过有线通信或无线通信与车辆的内部或外部的设备、传感器等通信的通信I/F。在图28中，作为集成控制单元7600的功能配置，图示了微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内设备I/F 7660、音频图像输出单元7670、车载网络I/F 7680和存储单元7690。其它控制单元类似地包括微型计算机、通信I/F、存储单元等。

驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作诸如内燃机或驱动电机之类的用于产生车辆驱动力的驱动力产生设备、用于向车轮传输驱动力的驱动力传输机构、调整车辆转向角的转向机构、产生车辆制动力的制动设备的控制器。驱动系统控制单元7100可以具有作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)之类的控制器的功能。

车辆状态检测器7110连接到驱动系统控制单元7100。车辆状态检测器7110包括例如检测车辆车身的轴旋转移动的角速率的陀螺仪传感器、检测车辆加速度的加速度传感器或检测加速度踏板操作量、制动踏板操作量、方向盘转向角、发动机速度、车轮旋转速度的传感器等中的至少一个。驱动系统控制单元7100使用从车辆状态检测器7110输入的信号来执行算术处理，以控制内燃机、驱动电机、电动转向设备、制动设备等。

车身系统控制单元7200根据各种程序来控制配备在车辆车身上的各种设备的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗设备或诸如前照灯、后灯、制动灯、闪光信号灯或雾灯之类的各种灯的控制器。在这种情况下，车身系统控制单元7200可以接收从取代各种开关的键或信号的便携式设备发送的无线电波的输入。车身系统控制单元7200接收这些无线电波或信号的输入，并控制车辆的门锁设备、电动窗设备、灯等。

电池控制单元7300根据各种程序来控制作为驱动电机的电力供应源的二次电池7310。例如，电池控制单元7300从包括二次电池7310的电池设备接收诸如电池温度、电池输出电压或电池剩余容量之类的信息的输入。电池控制单元7300使用这些信号执行算术处理，以控制二次电池7310的温度调整。

外部信息检测单元7400检测配备有车辆控制系统7000的车辆外部的信息。例如，成像单元7410或外部信息检测器7420中的至少一个连接到外部信息检测单元7400。成像单元7410包括飞行时间(ToF)相机、立体相机、单眼相机、红外相机或其它相机中的至少一种。例如，外部信息检测器7420包括用于检测当前天气的环境传感器或用于检测配置有车辆控制系统7000的车辆周围的其它车辆、障碍物、行人等的环境信息检测传感器中的至少一种。

例如，环境传感器可以是检测下雨天气的雨滴传感器、检测雾的雾传感器、检测日照程度的日照传感器或检测降雪的雪传感器中的至少一种。环境信息检测传感器可以是超声传感器、雷达设备或光检测和测距或激光成像检测与测距(LIDAR)设备中的至少一种。成像单元7410和外部信息检测器7420可以被设置为独立的传感器或设备，或者可以被设置为其中集成有多个传感器或设备的设备。

这里，图29示出了成像单元7410和外部信息检测器7420的安装位置的示例。例如，成像单元7910、7912、7914、7916和7918设置在车辆7900的前车头、后视镜、后保险杠、后门或车辆内部中的挡风玻璃上部部分中的至少一个中。设置在前车头上的成像单元7910和设置在车辆内部中的挡风玻璃上部部分中的成像单元7918主要获取车辆7900前方的图像。设置在后视镜上的成像单元7912和7914主要获取车辆7900的侧面的图像。设置在后保险杠或后门上的成像单元7916主要获取车辆7900后方的图像。设置在车辆内部中的挡风玻璃上部部分上的成像单元7918主要用于检测前车、或行人、障碍物、交通信号灯、交通标志、车道等。

注意的是，图29示出了成像单元7910、7912、7914和7916的成像范围的示例。成像范围a指示设置在前车头上的成像单元7910的成像范围，成像范围b和c指示设置在后视镜上的成像单元7912和7914的成像范围，并且成像范围d指示设置在后保险杠或后门上的成像单元7916的成像范围。例如，通过叠加成像单元7910、7912、7914和7916所捕获的多个图像数据，可以获得从上方观察到的车辆7900的鸟瞰图图像。

例如，设置在车辆7900的车辆内部中的挡风玻璃的前、后、侧面、拐角和车辆内部中的挡风玻璃上部部分上的外部信息检测部7920、7922、7924、7926、7928和7930可以是超声传感器或雷达设备。例如，设置在车辆7900的前车头、后保险杠、后门和车辆内部中的挡风玻璃上部部分上的外部信息检测部7920、7926和7930可以是LIDAR设备。这些外部信息检测部7920至7930主要用于检测前车、行人、障碍物等。

返回图28，将继续描述。外部信息检测单元7400使成像单元7410捕获车辆外部的图像，并接收所捕获的图像数据。另外，外部信息检测单元7400还从与其连接的外部信息检测器7420接收检测信息。在外部信息检测器7420是超声传感器、雷达设备或LIDAR设备的情况下，外部信息检测单元7400致使发送超声波、电磁波等，并接收关于接收到的反射波的信息。外部信息检测单元7400可以基于接收到的信息来执行人、车辆、障碍物、标识、路面上的字符等的物体检测处理或距离检测处理。外部信息检测单元7400可以基于接收到的信息来执行用于识别降雨、雾、路面状况等的环境识别处理。外部信息检测单元7400可以基于接收到的信息来计算与车辆外部物体的距离。

另外，外部信息检测单元7400可以基于接收到的图像数据来执行识别人、车辆、障碍物、标识、路面上的字符等的图像识别处理或距离检测处理。外部信息检测单元7400可以对接收到的图像数据执行诸如失真校正或位置调整之类的处理，组合由不同的成像单元7410捕获的多个图像数据，并生成鸟瞰图图像或全景图像。外部信息检测单元7400可以使用由不同的成像单元7410捕获的多个图像数据来执行视点转换处理。

内部信息检测单元7500检测车辆内部的信息。例如，检测驾驶员状态的驾驶员状态检测器7510连接到内部信息检测单元7500。驾驶员状态检测器7510可以包括对驾驶员进行成像的相机、检测驾驶员生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等上，并检测坐在座椅上的乘员或握住方向盘的驾驶员的生物信息。内部信息检测单元7500可以基于从驾驶员状态检测器7510输入的检测信息来计算驾驶员的疲劳程度或注意力，或者确定驾驶员是否已睡着。内部信息检测单元7500可以对收集到的音频信号执行诸如噪声消除处理之类的处理。

集成控制单元7600根据各种程序来控制车辆控制系统7000中的整体操作。输入单元7800连接到集成控制单元7600。例如，输入单元7800由乘员可以对其执行输入操作的诸如触摸面板、按钮、麦克风、开关或杆之类的设备来实现。集成控制单元7600可以接收通过麦克风的语音输入的语音识别而获得的数据的输入。例如，输入单元7800可以是使用红外线或其它无线电波的远程控制设备，或者与车辆控制系统7000的操作兼容的诸如移动电话或个人数字助理(PDA)之类的外部连接设备。输入单元7800可以是例如相机，在这种情况下，乘员可以通过姿势输入信息。可替代地，可以输入通过检测乘员穿戴的可穿戴设备的移动而获得的数据。此外，例如，输入单元7800可以包括使用以上输入单元7800基于乘员输入的信息等来生成输入信号并将输入信号输出到集成控制单元7600的输入控制电路等。通过操作输入单元7800，乘员等将各种数据输入车辆控制系统7000或者向车辆控制系统7000给出关于对车辆的处理操作的指令。

存储单元7690可以包括存储由微型计算机执行的各种程序的只读存储器(ROM)以及存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。另外，存储单元7690可以由诸如硬盘驱动(HDD)之类的磁存储设备、半导体存储设备、光存储设备或磁光存储设备等来实现。

通用通信I/F 7620是调解与外部环境7750中存在的各种设备的通信的通用通信I/F。通用通信I/F 7620可以实现蜂窝通信协议，诸如全球移动通信系统GSM(注册商标)，WiMAX(注册商标)，长期演进(LTE)(注册商标)或高级LTE(LTE-A)，或诸如无线LAN(也被称为Wi-Fi(注册商标))或蓝牙(注册商标)之类的其它无线通信协议。例如，通用通信I/F7620可以通过基站或接入点连接到存在于外部网络(例如，互联网、云网络或企业经营者专用网络)中的设备(例如，应用服务器或控制服务器)。另外，例如，通用通信I/F 7620可以通过使用对等(P2P)技术与存在于车辆附近的终端(例如，驾驶员的终端、行人、或商店、或机器类型通信(MTC)终端)连接。

专用通信I/F 7630是支持出于为了在车辆中使用而设计的通信协议的通信I/F。例如，专用通信I/F 7630可以实现作为下层IEEE802.11p与上层IEEE1609的组合的车辆环境无线接入(WAVE)、专用短距离通信(DSRC)或诸如蜂窝通信协议之类的标准协议。专用通信I/F 7630执行V2X通信，V2X通信是包括车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信中的一个或更多个的概念。

例如，定位单元7640接收来自全球导航卫星系统(GNSS)卫星的GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，以执行定位并生成包括车辆的纬度、经度和高度的位置信息。注意的是，定位单元7640可以通过与无线接入点交换信号来指定当前位置，或者可以从具有定位功能的诸如移动电话、PHS或智能手机之类的终端获取位置信息。

信标接收单元7650接收从安装在道路上的无线电台等发送的无线电波或电磁波，并例如获取诸如当前位置、交通拥堵、交通限制、或所需时间之类的信息。注意的是，信标接收单元7650的功能可以被包括在上述的专用通信I/F 7630中。

车内设备I/F 7660是调解微型计算机7610与车辆中存在的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可以使用无线LAN、蓝牙(注册商标)或诸如近场通信(NFC)或无线USB(WUSB)之类的无线通信协议来建立无线连接。另外，车内设备I/F 7660可以通过未示出的连接端子(如有必要，电缆)建立诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等之类的有线连接。例如，车内设备7760可以包括由乘员所拥有的移动设备或可穿戴设备或车辆中携带或附接到车辆的信息设备中的至少一种。另外，车内设备7760可以包括搜索通往任意目的地的路线的导航设备。车内设备I/F 7660与这些车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是调解微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于通过通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内设备I/F 7660或车载网络I/F 7680中的至少一个获取的信息，根据各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于所获取的关于车辆内部和外部的信息来计算驱动力产生设备、转向机构或制动设备的控制目标值，并将控制命令输出到驱动系统控制单元7100。例如，微型计算机7610可以执行协调控制，该协调控制的目的是实现高级驾驶员辅助系统(ADAS)的功能，包括车辆的碰撞避免或冲击减轻、基于车间距离的跟随行驶、车速保持行驶、车辆碰撞警告、车辆车道偏离警告等。另外，微型计算机7610可以基于所获取的关于车辆周围的信息来控制驱动力产生设备、转向机构、制动设备等，以例如执行目的是在不依赖于驾驶员操作的情况下进行自主行驶的自动驱动的协调控制。

微型计算机7610可以基于通过通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内设备I/F 7660或车载网络I/F 7680中的至少一个获取的信息来生成诸如结构和人之类的周围对象与车辆之间的三维距离信息，并创建包括车辆当前位置的外围信息的局部地图信息。另外，微型计算机7610可以基于所获取的信息来预测车辆碰撞、行人等接近、进入封闭道路等的风险，并生成警告信号。例如，警告信号可以是用于发出警告声或点亮警告灯的信号。

音频图像输出单元7670将音频或图像中的至少一个的输出信号发送到能够在视觉或听觉上向乘员或向车辆外部给出信息通知的输出设备。在图28的示例中，音频扬声器7710、显示单元7720和仪表板7730被示出为输出设备的示例。例如，显示单元7720可以包括车载显示器或平视显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。输出设备可以是诸如耳机之类的除了这些设备之外的设备、诸如乘员佩戴的诸如眼镜型显示器之类的可穿戴设备、投影仪或灯。在输出设备是显示设备的情况下，显示设备以诸如文本、图像、表格和图形之类的各种格式可视地显示通过微型计算机7610执行的各种处理获得的结果或从其它控制单元接收的信息。另外，在输出设备是语音输出设备的情况下，语音输出设备将包括再现的语音数据、声学数据等的音频信号转换为模拟信号，并以听觉方式输出模拟信号。

注意的是，在图28中示出的示例中，通过通信网络7010连接的至少两个控制单元可以被集成为一个控制单元。可替代地，各控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括未示出的另一控制单元。另外，在以上描述中，任何控制单元的一些或全部功能可以被赋予另一控制单元。即，只要通过通信网络7010发送和接收信息，预定的算术处理就可以由任何控制器执行。类似地，连接到控制单元之一的传感器或设备可以连接到另一控制单元，并且多个控制单元可以通过通信网络7010彼此进行检测信息的发送和接收。

在上述配置当中，根据本公开的技术可以被应用于外部信息检测单元7400。通过将根据本公开的技术应用于外部信息检测单元7400，可以识别在车辆外部捕获的外部图像中包括的远处的人、车辆、障碍物、标识、路面上的字符等。当在显示单元7720上显示外部图像时，外部信息检测单元7400使用识别结果在外部图像上叠加并显示各种驱动支持信息。通过叠加并显示驱动支持信息并将其呈现给驾驶员，可以预先掌握道路状况等，提前防止事故。

根据本公开的技术的实施例不限于上述实施例，并且可在不脱离本公开的技术的范围的情况下进行各种修改。

另外，本说明书中描述的效果仅仅是例示性的而不是限制性的。因此，可以获得其它效果。

此外，根据本公开的技术可以具有以下配置。

(1)一种图像处理设备，包括：

第一获取单元，其从第一分辨率图像获取分辨率比第一分辨率图像低的第二分辨率图像；

分类单元，其对第二分辨率图像中所包括的对象进行分类；

指定单元，其在第一分辨率图像中指定与预定类别的对象对应的对象区域；以及

识别单元，其对在所述第一分辨率图像中指定的对象区域执行对象的识别处理。

(2)根据(1)所述的图像处理设备，还包括：

提取单元，其在第二分辨率图像中提取运动对象，其中，

分类单元对所提取的运动对象进行分类。

(3)根据(2)所述的图像处理设备，其中，

提取单元通过背景消减来提取运动对象。

(4)根据(2)或(3)所述的图像处理设备，其中，

分类单元基于所提取的运动对象的尺寸对运动对象进行分类。

(5)根据(4)所述的图像处理设备，其中，

分类单元通过针对在第二分辨率图像中提取的运动对象设置比预定尺寸小的多个图像框来对运动对象进行分类。

(6)根据(5)所述的图像处理设备，其中，

分类单元根据容下所提取的运动对象的轮廓的轮廓矩形的尺寸来切换要设置的图像框的尺寸。

(7)根据(5)或(6)所述的图像处理设备，其中，

指定单元通过将在第二分辨率图像中设置的图像框的坐标转换成第一分辨率图像上的坐标来指定对象区域。

(8)根据(2)至(7)中任一项所述的图像处理设备，还包括：

跟踪处理单元，其在第一分辨率图像中跟踪识别到的运动对象；以及

第一去重处理单元，其在第一分辨率图像中消除所跟踪的运动对象和所指定的对象区域中的重复。

(9)根据(8)所述的图像处理设备，其中，

跟踪处理单元每隔预定帧校正要跟踪的运动对象的位置。

(10)根据(9)所述的图像处理设备，其中，

识别单元通过基于用于对象的识别处理的教师数据的尺寸对所指定的对象区域的尺寸进行归一化来执行对象的识别处理。

(11)根据(10)所述的图像处理设备，还包括：

第二获取单元，其从第二分辨率图像获取分辨率比第二分辨率图像低的第三分辨率图像；以及

物体检测单元，其对第三分辨率图像执行物体检测。

(12)根据(11)所述的图像处理设备，还包括：

第二去重处理单元，其在所述第一分辨率图像中消除识别到的运动对象和由物体检测单元检测到的对象中的重复。

(13)根据以上(4)至(12)中任一项所述的图像处理设备，其中，

分类单元还基于所提取的运动对象的位置对运动对象进行分类。

(14)根据以上(4)至(13)中任一项所述的图像处理设备，其中，

分类单元还基于所提取的运动对象的移动速度对运动对象进行分类。

(15)根据以上(1)至(14)中任一项所述的图像处理设备，其中，

识别单元通过对对象区域执行二元分类来执行对象的识别处理。

(16)根据以上(1)至(14)中任一项所述的图像处理设备，其中，

识别单元通过对对象区域执行多类别分类来执行对象的识别处理。

(17)根据(1)至(16)中任一项所述的图像处理设备，还包括：

高分辨率化处理单元，其增加第一分辨率图像的分辨率，其中，

第一获取单元从高分辨率化的第一分辨率图像获取第二分辨率图像。

(18)根据以上(1)至(17)中任一项所述的图像处理设备，其中，

第一获取单元、分类单元、指定单元和识别单元每隔预定帧重复处理。

(19)一种由图像处理设备进行的图像处理方法，所述方法包括：

从第一分辨率图像获取分辨率比所述第一分辨率图像低的第二分辨率图像；

对第二分辨率图像中所包括的对象进行分类；

在第一分辨率图像中指定与预定类别的对象对应的对象区域；以及

对在第一分辨率图像中指定出的对象区域执行对象的识别处理。

(20)一种使计算机执行处理的程序，包括：

从第一分辨率图像获取分辨率比第一分辨率图像低的第二分辨率图像；

对第二分辨率图像中所包括的对象进行分类；

在第一分辨率图像中指定与预定类别的对象对应的对象区域；以及

对在第一分辨率图像中指定的对象区域执行对象的识别处理。

参考符号列表

10 图像处理设备

31 跟踪处理单元

32 中等分辨率图像获取单元

33 对象提取单元

34 分类单元

35 指定单元

36 去重处理单元

37 识别单元

38 过滤处理单元

39 低分辨率图像获取单元

40 物体检测单元

41 过滤处理单元

42 去重处理

Claims (17)

1.一种图像处理设备，包括：

第一获取单元，所述第一获取单元从第一分辨率图像获取分辨率比所述第一分辨率图像低的第二分辨率图像；

提取单元，所述提取单元在所述第二分辨率图像中提取运动对象；

分类单元，所述分类单元通过针对在所述第二分辨率图像中提取的运动对象设置比预定尺寸小的多个图像框来对运动对象进行分类；

指定单元，所述指定单元在所述第一分辨率图像中指定与预定类别的对象对应的对象区域；以及

识别单元，所述识别单元对在所述第一分辨率图像中指定的所述对象区域执行所述对象的识别处理。

2.根据权利要求1所述的图像处理设备，其中，

所述提取单元通过背景消减来提取运动对象。

3.根据权利要求1或2所述的图像处理设备，其中，

所述分类单元根据容下所提取的运动对象的轮廓的轮廓矩形的尺寸来切换要设置的图像框的尺寸。

4.根据权利要求3所述的图像处理设备，其中，

所述指定单元通过将在所述第二分辨率图像中设置的图像框的坐标转换成所述第一分辨率图像上的坐标来指定所述对象区域。

5.根据权利要求4所述的图像处理设备，还包括：

跟踪处理单元，所述跟踪处理单元在所述第一分辨率图像中跟踪识别到的运动对象；以及

第一去重处理单元，所述第一去重处理单元在所述第一分辨率图像中消除所跟踪的运动对象和所指定的对象区域的重复。

6.根据权利要求5所述的图像处理设备，其中，

所述跟踪处理单元每隔预定帧校正要跟踪的运动对象的位置。

7.根据权利要求6所述的图像处理设备，其中，

所述识别单元通过基于用于所述对象的识别处理的教师数据的尺寸对所指定的对象区域的尺寸进行归一化来执行所述对象的识别处理。

8.根据权利要求7所述的图像处理设备，还包括：

第二获取单元，所述第二获取单元从所述第二分辨率图像获取分辨率比所述第二分辨率图像低的第三分辨率图像；以及

物体检测单元，所述物体检测单元对所述第三分辨率图像执行物体检测。

9.根据权利要求8所述的图像处理设备，还包括：

第二去重处理单元，所述第二去重处理单元在所述第一分辨率图像中消除识别到的运动对象和由所述物体检测单元检测到的对象中的重复。

10.根据权利要求1所述的图像处理设备，其中，

所述分类单元还基于所提取的运动对象的位置对运动对象进行分类。

11.根据权利要求1所述的图像处理设备，其中，

所述分类单元还基于所提取的运动对象的运动速度对运动对象进行分类。

12.根据权利要求1所述的图像处理设备，其中，

所述识别单元通过对所述对象区域执行二元分类来执行所述对象的识别处理。

13.根据权利要求1所述的图像处理设备，其中，

所述识别单元通过对所述对象区域执行多类别分类来执行所述对象的识别处理。

14.根据权利要求1所述的图像处理设备，还包括：

高分辨率化处理单元，所述高分辨率化处理单元提高所述第一分辨率图像的分辨率，其中，

所述第一获取单元从高分辨率化的所述第一分辨率图像获取所述第二分辨率图像。

15.根据权利要求1所述的图像处理设备，其中，

所述第一获取单元、所述分类单元、所述指定单元和所述识别单元每隔预定帧重复处理。

16.一种由图像处理设备进行的图像处理方法，所述方法包括：

从第一分辨率图像获取分辨率比所述第一分辨率图像低的第二分辨率图像；

在所述第二分辨率图像中提取运动对象；

通过针对在所述第二分辨率图像中提取的运动对象设置比预定尺寸小的多个图像框来对运动对象进行分类；

在所述第一分辨率图像中指定与预定类别的对象对应的对象区域；以及

对在所述第一分辨率图像中指定的所述对象区域执行所述对象的识别处理。

17.一种计算机可读存储介质，其上存储有程序，所述程序在被处理器运行时使所述处理器执行处理，包括：

从第一分辨率图像获取分辨率比所述第一分辨率图像低的第二分辨率图像；

在所述第二分辨率图像中提取运动对象；

通过针对在所述第二分辨率图像中提取的运动对象设置比预定尺寸小的多个图像框来对运动对象进行分类；

在所述第一分辨率图像中指定与预定类别的对象对应的对象区域；以及

对在所述第一分辨率图像中指定的所述对象区域执行所述对象的识别处理。