CN107431761A - 图像处理设备、图像处理方法以及图像处理系统 - Google Patents

Abstract

为了提出一种图像处理设备、图像处理方法和图像处理系统，能够利用所述设备、所述方法和所述系统以适应来自不同拍摄时间的帧图像之间的同一物体的检测位置的变化的方式来确定切出区域。图像处理设备，设置有：第一区域设置单元，其在第一帧图像中的切出区域内设定约束物体的检测位置的第一区域；以及切出区域决定单元，其基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来确定第二帧图像的切出区域。

Description

图像处理设备、图像处理方法以及图像处理系统

技术领域

本公开涉及图像处理设备、图像处理方法以及图像处理系统。

背景技术

通常，已经开发了用于从拍摄的图像中切出诸如检测目标人的物体的区域的各种技术。

例如，专利文献1描述了一种用于检测由具有鱼眼镜头的相机拍摄的图像中的移动物体并切出检测到的移动物体中的每一个的外切四边形区域的技术。此外，专利文献2描述了一种用于将在拍摄图像中检测到并且彼此之间具有小于阈值的距离的检测到的人作为相同的组合，并且沿着围绕该相同的组合的框切出图像的技术。

引用列表

专利文献

专利文献1：JP2001-333422A

专利文献2：JP2012-253723A

发明内容

技术问题

然而，当使用专利文献1或专利文献2中描述的技术时，切出区域的位置受到限制。例如，根据专利文献1所述的技术，切出区域始终基于移动后的人的位置来决定，而无论每次人的位置变化时人的位置的变化幅值如何。

因此，本公开提出了一种新颖且改进的图像处理设备、图像处理方法以及图像处理系统，其能够根据在不同时间拍摄的帧图像之间的同一物体的检测位置的变化来决定切出区域。

解决问题

根据本公开，提供了一种图像处理装置，包括：第一区域设定单元，被配置为在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；以及切出区域决定单元，被配置为基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域。

另外，根据本公开，提供了一种图像处理方法，包括：在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；以及基于第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域。

另外，根据本公开，提供了一种图像处理系统，包括：第一区域设定单元，被配置为在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；切出区域决定单元，被配置为基于第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来确定第二帧图像的切出区域；切出图像生成单元，被配置为通过从所述第二帧图像中切出由所述切出区域决定单元决定的第二帧图像的切出区域来生成切出图像；以及存储单元，被配置为存储所生成的切出图像。

发明的有益效果

如上所述，根据本公开能够根据在不同时间拍摄的帧图像之间的同一物体的检测位置的变化来决定切出区域。注意，这里描述的效果不一定是有限的，并且可以显示本公开中描述的任何效果。

附图说明

[图1]图1是示出根据本公开的实施例的图像处理系统的配置示例的说明图。

[图2]图2是示出由相机10生成的缩小图像32的示例的说明图。

[图3]图3是示出从帧图像30生成的多个裁剪图像50的示例的说明图。

[图4]图4是示出根据实施例的相机10的配置的功能框图。

[图5]图5是示出帧图像30和裁剪区域40之间的关系的说明图。

[图6]图6是示出根据实施例的监视终端22的配置的功能框图。

[图7]图7是示出根据实施例的区域设定单元104的配置的功能框图。

[图8]图8是示出根据实施例设定死区区域60的示例的说明图。

[图9]图9是示出在根据实施例改变的人的检测位置的情况下决定裁剪区域的示例的说明图。

[图10]图10是示出在根据实施例改变人的检测位置的情况下决定裁剪区域的另一示例的说明图。

[图11]图11是示出根据实施例的操作的流程图。

[图12]图12是示出根据实施例的裁剪图像生成处理的操作的一部分的流程图。

[图13]图13是示出根据实施例的裁剪图像生成处理的操作的一部分的流程图。

具体实施方式

在下文中，将参照附图详细描述本公开的优选实施例(一个或多个)。在本说明书和附图中，用相同的附图标记表示具有基本相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。

注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件有时在相同的附图标记之后使用不同的字母彼此区分开。例如，具有基本相同的功能和结构的结构元件根据需要被分为视频裁剪单元106a和视频裁剪单元106b。然而，当不需要特别区分具有基本相同的功能和结构的结构元件时，仅附加相同的附图标记。例如，在不需要将视频裁剪单元106a和视频裁剪单元106b彼此区分的情况下，它们被简单地称为视频裁剪单元106。

此外，在“具体实施方式”部分中，以下列顺序进行描述。

1.图像处理系统的基本配置

2.实施例的详细描述

3.修改

<<1.图像处理系统的基本配置>>

<1-1.基本配置>

如在“2.实施例的详细描述”中作为示例具体描述地，本公开可以以各种形式执行。首先，参照图1，将对根据实施例的图像处理系统的基本配置进行描述。

如图1所示，根据实施例的图像处理系统包括相机10、储存器20、监控终端22和通信网络24。

[1-1-1.相机10]

相机10是根据本公开的图像处理设备的示例。相机10是用于拍摄外部环境的移动图像的设备。相机10可以被安装在挤满人或车辆的地方、监控目标的地方等中。例如，相机10可以被安装在道路、车站、机场、商业建筑物、游乐园、公园、停车场、限制区域等中。

此外，相机10能够通过使用拍摄的帧图像生成另一图像，并且经由随后描述的通信网络24将生成的另一图像发送到另一设备。这里，例如，帧图像是具有由相机10拍摄的最大分辨率的图像。例如，帧图像可以是4K图像。

例如，相机10基于帧图像生成具有较小数据量的另一图像。这是因为由于发送具有大数据量的帧图像需要花很长时间，因此将帧图像本身发送到另一设备不是优选的。

这里，由相机10生成的另一图像的示例包括通过简单地降低帧图像的分辨率而获得的缩小图像，以及通过裁剪(切出)注视目标区域而获得的裁剪图像。例如，缩小图像可以是全HD图像。

图2是示出缩小图像(缩小图像32)的示例的说明图。缩小图像32包括帧图像中包括的所有区域。然而，如图2所示，诸如人的面部的注视目标区域在缩小图像32中可能如此小，因此可能难以看到注视目标区域。注意，图2所示的区域40是对应于随后描述的裁剪区域的区域。通常，裁剪区域被设定在帧图像内。然而，为了便于描述，将与图2中的缩小图像32中的裁剪区域对应的区域称为区域40。

另外，图3是示出从一个帧图像生成的多个裁剪图像(裁剪图像的集合52)的示例的说明图。虽然裁剪图像50具有与帧图像相同的分辨率，但是裁剪图像50中的每一个仅包括帧图像的部分区域，如图3所示。因此，根据实施例的相机10基本上从一个帧图像生成一个缩小图像和一个或多个裁剪图像。在这样的生成示例中，用户可以检查由相机10拍摄的整个场景，并且可以以高分辨率检查注视目视区域。此外，与帧图像相比，能够减少总的数据量。

接下来，参照图4，将对相机10的内部配置进行描述。如图4所示，相机10包括图像拍摄单元100、视频缩小单元102、区域设定单元104、多个视频裁剪单元106和通信单元108。注意，尽管图4示出了其中存在四个视频裁剪单元106的示例，但是视频裁剪单元的数量不限于此。例如，存在任意数量的视频裁剪单元，只要最小数量为1。

(1-1-1-1.图像拍摄单元100)

图像拍摄单元100具有通过使诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器通过透镜形成外部的视频的图像来获取帧图像的功能。例如，图像拍摄单元100通过以预定的帧速率拍摄外部的视频来获取帧图像。

(1-1-1-2.视频缩小单元102)

视频缩小单元102通过将由图像拍摄单元100获取的帧图像缩小到预定尺寸来生成缩小图像。

(1-1-1-3.区域设定单元104)

区域设定单元104设定由图像拍摄单元100获取的帧图像中的裁剪区域。裁剪图像是基于裁剪区域生成的。例如，区域设定单元104在由图像拍摄单元100获取的帧图像中设定与相机10中的视频裁剪单元106的数量相同数量的裁剪区域。

图5是示出区域设定单元104设定裁剪区域的示例的说明图。注意，在图5中，“crop_width”表示裁剪区域的宽度的长度，并且“crop_height”表示裁剪区域的高度的长度。

如图5所示，区域设定单元104在帧图像30中检测诸如人300的检测目标物体，并且基于物体的检测位置302设定裁剪区域40。

(1-1-1-4.视频裁剪单元106)

视频裁剪单元106是根据本公开的切出图像生成单元的示例。视频裁剪单元106通过从由图像拍摄单元100获取的帧图像中切出由区域设定单元104设定的裁剪区域来生成裁剪图像。

例如，图3示出了分别由四个视频裁剪单元106生成的四个裁剪图像50的示例。如图3所示，例如，视频裁剪单元106a从由区域设定单元104设定的对应于图2所示的区域40a的裁剪区域生成裁剪图像50a。另外，视频裁剪单元106b从由区域设定单元104设定的对应于图2所示的区域40b的裁剪区域生成裁剪图像50b。

(1-1-1-5.通信单元108)

经由随后描述的通信网络24，通信单元108与和通信网络24连接的设备交换各种信息。例如，通信单元108向储存器20发送通过视频缩小单元102获取的缩小图像和由多个视频裁剪单元106生成的多个裁剪图像。

[1-1-2.储存器20]

储存器20是被配置为存储从相机10接收的缩小图像和裁剪图像的存储设备。例如，储存器20将接收到的缩小图像和多个接收到的裁剪图像与相机10的识别信息以及图像拍摄日期和时间相关联地存储。注意，储存器20可以被安装在数据中心、观察者正在工作的监控中心等中。

(1-1-3.监控终端22)

监控终端22是被配置为显示由相机10生成的裁剪图像和缩小图像的信息处理终端。例如，监控终端22可以被安装在监控中心中，并且可以由观察者使用。

接下来，将描述监控终端22的配置的细节。图6是示出根据实施例的监控终端22的配置的功能框图。如图6所示，监控终端22包括控制单元220、通信单元222、显示单元224和输入单元226。

(1-1-3-1.控制单元220)

控制单元220通过使用嵌入在监控终端22中的诸如中央处理单元(CPU)、随机存取存储器(RAM)和只读存储器(ROM)的硬件来控制监控终端22的整个操作。

(1-1-3-2.通信单元222)

经由随后描述的通信网络24，通信单元222与和通信网络24连接的设备交换各种信息。例如，通信单元222从储存器20接收存储在储存器20中的缩小图像和裁剪图像。

注意，通信单元222还能够直接从相机10接收由相机10生成的缩小图像和多个裁剪图像。

(1-1-3-3.显示单元224)

例如，显示单元224由诸如液晶显示器(LCD)或有机发光二极管(OLED)的显示器来实现。例如，显示单元224显示包括从储存器20接收的缩小图像和裁剪图像的监控屏幕。

(1-1-3-4.输入单元226)

输入单元226包括诸如鼠标、键盘或麦克风的输入设备。输入单元226接收由用户在监控终端22上执行的各种输入。

(1-1-4.通信网络24)

通信网络24是有线或无线通信信道，通过该通信信道从与通信网络24连接的设备发送信息。例如，通信网络24可以包括公共网络、各种局域网(LAN)、广域网(WAN)等。公共网络包括因特网、卫星通信网络、电话网络等，并且LAN包括以太网(注册商标)。此外，通信网络24可以包括专用线路网络，诸如因特网协议虚拟专用网络(IP-VPN)。

注意，根据实施例的图像处理系统不限于上述配置。例如，储存器20可以与监控终端22集成。或者，图像处理系统不必包括储存器20或监控终端22。

<1-2.问题的组织>

如上所述，区域设定单元104基于在帧图像中检测到的物体的检测位置来设定裁剪区域。

用于设定裁剪区域的方法的示例包括用于设定裁剪区域，从而使得检测目标物体的检测位置位于裁剪区域的中心的方法。根据该设定方法，能够生成裁剪图像，使得用户可以容易地看到裁剪图像中的检测目标物体。

然而，该设定方法包括当物体的检测位置在拍摄的运动图像中稍微振动时，裁剪图像稍微振动的问题。

为了解决这个问题，已知技术提出了一种通过使用多个过去的帧图像来平滑物体的检测位置的方法。然而，根据已知技术，在设定短的平滑时间间隔的情况下，不可能完全去除振动。因此，裁剪图像仍然稍微振动。

此外，根据已知技术，裁剪图像受到过去的帧图像中的物体的检测位置的影响。因此，例如，在物体快速移动的情况下，生成裁剪图像，其中物体看起来比其实际移动移动地慢。

因此，考虑到上述情况，已经开发了根据实施例的相机10。根据实施例的相机10能够根据当前帧图像中的物体的检测位置是否在前一帧图像中设定的死区区域内，来决定当前帧图像中的裁剪区域的位置。

<<2.实施例的详细描述>>

<2-1.配置>

区域设定单元104是根据实施例的相机10的特征之一。接下来，参照图7，将描述根据实施例的区域设定单元104的配置的细节。

如图7所示，区域设定单元104包括物体检测单元120、死区区域设定单元122、裁剪区域决定单元124和跟踪目标设定单元126。

[2-1-1.物体检测单元120]

物体检测单元120检测由图像拍摄单元100获取的帧图像中的物体。例如，物体检测单元120检测帧图像中的预设类型的物体。此外，例如，物体检测单元120检测所获取的帧图像中的物体。物体的数量小于或等于相机10中的视频裁剪单元106的数量。在这种情况下，检测目标物体的类型可以包括人和车辆。另外，检测目标物体的类型还可以包括船舶、飞机、摩托车、自行车等。

[2-1-2.死区区域设定单元122]

(2-1-2-1.设定示例1)

死区区域设定单元122是根据本公开的第一区域设定单元的示例。死区区域设定单元122基于由图像拍摄单元100获取的帧图像(以下称为当前帧图像)是否是初始帧的帧图像(以下称为初始帧图像)来设定死区区域。例如，在当前帧图像是初始帧图像的情况下，死区区域设定单元122设定当前帧图像中的死区区域，使得当前帧图像中由物体检测单元120检测到的物体的检测位置位于死区区域的中心。

这里，初始帧图像可以是裁剪图像的生成开始的初始帧的帧图像。此外，死区区域是根据本公开的第一区域的示例。注意，死区区域是用于基于与当前帧图像中的物体的检测位置的位置关系来决定当前帧图像中的裁剪区域的位置的区域。死区区域的细节将在随后描述。

接下来，参照图8，将描述死区区域设定单元122的功能的细节。图8是示出在当前帧图像是初始帧图像的情况下设定死区区域60和裁剪区域40的示例的说明图。例如，在当前帧图像是初始帧图像并且图8所示的人300是检测目标物体的情况下，死区区域设定单元122设定当前帧图像中的死区区域60，使得由物体检测单元120检测到的人的检测位置302位于死区区域60的中心600。

注意，尽管随后将描述细节，但是下面设定裁剪图像的中心，使得裁剪图像的中心与物体检测位置302不同，但与死区区域60的中心600相同。换句话说，即使物体检测位置302在随后的帧中从死区区域60的中心600移动，裁剪区域40的中心也被设定在与死区区域60的中心600相同的位置处。

(2-1-2-2.设定示例2)

-情况1

此外，在当前帧图像是初始帧之后的帧的帧图像的情况下，死区区域设定单元122基于前一帧图像中的死区区域是否包括当前帧图像中的物体的检测位置来设定死区区域。例如，在前一帧图像中的死区区域包括当前帧图像中的物体的检测位置的情况下，死区区域设定单元122将当前帧图像中的死区区域的位置设定在与前一帧图像中的死区区域相同的位置处。注意，由于死区区域的位置相同，因此裁剪区域的位置也变得与前一帧图像相同。随后将详细描述。

接下来，参照图9，将描述上述功能的细节。图9是示出在当前帧图像是除了初始帧图像之外的帧图像的情况下设定死区区域60和裁剪区域40的示例的说明图。在图9所示的示例中的人300是检测目标物体的情况下，人的检测位置302被包括在前一帧图像中的死区区域60中，如图9所示。因此，死区区域设定单元122将当前帧图像中的死区区域的位置设定在与前一帧图像中的死区区域60相同的位置处。

-情况2

此外，在前一帧图像中的死区区域不包括当前帧图像中的物体的检测位置的情况下，死区区域设定单元122通过移动前一帧图像中的死区区域来设定当前帧图像中的死区区域，使得当前帧图像中的物体的检测位置在死区区域的轮廓线内。在这种情况下，例如，死区区域设定单元122通过在当前帧图像中的物体的检测位置的方向上移动前一帧图像中的死区区域达前一帧图像中的死区区域的轮廓线与当前帧图像中的物体的检测位置之间的最小距离来设定当前帧图像中的死区区域。

接下来，参照图10，将描述上述功能的细节。图10是示出在当前帧图像是除了初始帧图像以外的帧图像的情况下，设定死区区域60和裁剪区域40的另一示例的说明图。在图10中所示的示例中的人300是检测目标物体的情况下，人的检测位置302不包括在前一帧图像中的死区区域中。因此，如图10所示，死区区域设定单元122设定当前帧图像30中的死区区域60，使得人的检测位置302与死区区域60的轮廓线重叠。例如，根据设定示例，在物体偏离在前一帧图像中设定的死区区域的情况(诸如物体快速移动的情况)下，死区区域接近物体的检测位置达物体偏离前一帧图像中的死区区域的轮廓线的距离。因此，能够设定当前帧图像中的死区区域，使得物体的检测位置不偏离轮廓线所包围的死区区域。

注意，即使在下一帧图像中检测到的物体的检测位置偏离当前帧图像中的死区区域的情况下，死区区域设定单元122也能够设定下一帧图像中的死区区域，使得物体的检测位置不偏离由轮廓线包围的死区区域。换句话说，死区区域设定单元122以使得每当物体的位置离开死区区域时死区区域跟随物体的位置关系来设定死区区域。

注意，例如，死区区域可以具有矩形形状或圆形形状。此外，死区区域具有预定尺寸。例如，在死区区域具有矩形形状的情况下，死区域的宽度可以在从几个像素的长度到裁剪区域的宽度的一半的范围内。此外，死区区域的高度可以在从几个像素的长度到裁剪区域的高度的一半的范围内。

注意，假设死区区域的尺寸基本上是提前设定的。然而，例如，管理人也能够适当地改变死区区域的尺寸。

(2-1-2-2.设定示例2)

注意，例如，在当前帧图像包括多个物体的情况下，死区区域设定单元122基于由跟踪目标设定单元126(将随后描述)设定为跟踪目标的物体的检测位置来设定死区区域。

例如，在前一帧图像中的死区区域包括(在当前帧图像中)设定为跟踪目标的物体的检测位置的情况下，死区区域设定单元122将当前帧图像中的死区区域的位置设定在与前一帧图像中的死区区域的相同位置。此外，在前一帧图像中的死区区域不包括(在当前帧图像中)设定为跟踪目标的物体的检测位置的情况下，死区区域设定单元122通过移动前一帧图像中的死区区域来设定当前帧图像中的死区区域，使得(在当前帧图像中)设定为跟踪目标的物体的检测位置在死区区域的轮廓线内。

[2-1-3.裁剪区域决定单元124]

(2-1-3-1.决定示例1)

裁剪区域决定单元124是根据本公开的切出区域决定单元的示例。裁剪区域决定单元124根据当前帧图像是否是初始帧图像来设定当前帧图像中的裁剪区域。例如，在当前帧图像是初始帧图像的情况下，裁剪区域决定单元124设定当前帧图像中的裁剪区域，使得当前帧图像中由物体检测单元120检测到的物体的检测位置位于裁剪区域的中心。

例如，在图8所示的示例中，裁剪区域决定单元124设定当前帧图像30中的裁剪区域40，使得由物体检测单元120检测到的人的检测位置302位于裁剪区域40的中心。

(2-1-3-2.判定示例2)

-情况1

例如，在当前帧图像是除了初始帧图像之外的帧图像的情况下，裁剪区域决定单元124基于由物体检测单元120检测到的物体的检测位置与前一帧图像中的死区区域之间的位置关系来设定当前帧图像中的裁剪区域。例如，在前一帧图像中的死区区域包括由物体检测单元120检测到的物体的检测位置的情况下，裁剪区域决定单元124决定使当前图像帧中的裁剪区域的位置与前一帧图像中的裁剪区域的位置相同。注意，当前帧图像中的裁剪区域的形状和尺寸基本上被设定为与前一帧图像中的裁剪区域的形状和尺寸相同。

在图9所示的示例中，人的检测位置302被包括在前一帧图像中的死区区域60中。因此，裁剪区域决定单元124决定使当前帧图像30中的裁剪区域40的位置与前一帧图像中的裁剪区域的位置相同。

根据这样的决定示例，裁剪区域的位置在物体的检测位置在初始帧图像中设定的死区区域内的帧之间不变化。换句话说，即使当物体稍微振动时，裁剪区域的位置也不变，除非物体离开死区区域。因此，能够提高裁剪图像的可见性。

-情况2

此外，在前一帧图像中的死区区域不包括由物体检测单元120检测到的物体的检测位置的情况下，裁剪区域决定单元124决定当前帧图像中的裁剪区域，使得(当前帧图像中)由死区区域设定单元122设定的死区区域的中心位于裁剪区域的中心。

在图10所示的示例中，裁剪区域决定单元124决定当前帧图像30中的裁剪区域40，使得当前帧图像30中由死区区域设定单元122设定的死区区域60的中心600位于裁剪区域40的中心。注意，图10中的虚线矩形44表示前一帧图像中的裁剪区域。如图10所示，前一帧图像中的裁剪区域44的位置与当前帧图像30中的裁剪区域40的位置不同。

(2-1-3-3.判定示例3)

注意，例如，在当前帧图像包括多个物体的情况下，裁剪区域决定单元124能够基于由跟踪目标设定单元126(随后描述)设定为跟踪目标的物体的检测位置与关于跟踪目标物体设定的死区区域之间的位置关系来决定当前帧图像中的裁剪区域的位置。

例如，在针对物体设定的死区区域包括由跟踪目标设定单元126设定为跟踪目标的物体的检测位置的情况下，裁剪区域决定单元124决定使当前帧图像中的裁剪区域的位置与前一帧图像中的裁剪区域的位置相同。此外，在针对物体设定的前一帧图像中的死区区域不包括由跟踪目标设定单元126设定为跟踪目标的物体的检测位置的情况下，裁剪区域决定单元124决定当前帧图像中的裁剪区域，使得针对当前帧图像中的物体设定的死区区域的中心位于裁剪区域的中心。

[2-1-4.跟踪目标设定单元126]

跟踪目标设定单元126基于由物体检测单元120执行的物体的检测结果来设定跟踪目标物体。例如，跟踪目标设定单元126基于在图像拍摄区域中设定的特定位置(诸如监控目标位置)与由物体检测单元120检测到的物体的检测位置之间的距离，设定当前帧图像中的跟踪目标物体。

例如，在图像拍摄范围中设定的特定位置与由物体检测单元120检测到的物体的检测位置之间的距离在预定距离内的情况下，跟踪目标设定单元126将当前帧图像中的跟踪目标物体设定为前一帧图像中的跟踪目标物体。另一方面，在图像拍摄范围中设定的特定位置与由物体检测单元120检测到的物体的检测位置之间的距离超过预定距离的情况下，跟踪目标设定单元126将当前帧图像中的跟踪目标物体设定为与前一帧图像中的跟踪目标物体不同的物体。例如，与前一帧图像中的跟踪目标物体不同的物体可以是最接近特定位置的物体。

<2-2.操作>

上面已经描述了根据实施例的配置。接下来，参照图11至图13，将描述根据实施例的操作。注意，将描述操作示例，其中相机10包括四个视频裁剪单元106和从一个帧图像生成的四个裁剪图像和一个缩小图像。注意，该操作以预定的帧速率重复。

[2-2-1.整体操作]

图11是示出根据实施例的操作示例的流程图。如图11所示，首先，相机10的图像拍摄单元100通过在预定的图像拍摄定时到达时拍摄外部的视频来获取帧图像(S101)。

接下来，视频缩小单元102通过将在S101中获取的帧图像(以下称为当前帧图像)缩小到预定尺寸来生成缩小图像(S103)。

随后，相机10执行与视频裁剪单元106的数量相同次数(换句话说，四次)的“裁剪图像生成处理”(随后描述)(S105至S111)。

接下来，通信单元108将S103中生成的缩小图像和S107中生成的四个裁剪图像发送到储存器20(S113)。

[2-2-2.裁剪图像生成处理]

接下来，参照图12至图13，将对S107中的“裁剪图像生成处理”中的操作的细节进行描述。如图12所示，相机10的物体检测单元120首先检测当前帧图像中的检测目标物体(S151)。

接下来，在当前帧图像是初始帧图像的情况下(S153中为“是”)，死区区域设定单元122设定当前帧图像中的死区区域，使得在S151中检测到的物体的检测位置位于在死区区域的中心(S155)。

随后，裁剪区域决定单元124决定当前帧图像中的裁剪区域，使得在S151中检测到的物体的检测位置位于裁剪区域的中心(S157)。接下来，相机10执行随后所述的S167中的操作。

接下来，参照图13，将描述在当前帧图像不是初始帧图像的情况下执行的操作的示例(S153中为“否”)。如图13所示，死区区域设定单元122首先确定在S151中检测到的物体的检测位置是否在前一帧图像中的死区区域内(S161)。

在前一帧图像中的死区区域包括物体的检测位置的情况下(S161中为“是”)，死区区域设定单元122将当前帧图像中的死区区域的位置设定为与前一帧图像中的死区区域相同的位置。接下来，裁剪区域决定单元124决定使当前帧图像中的裁剪区域的位置与前一帧图像中的裁剪区域的位置相同(S169)。接下来，相机10执行将在随后所述的S167中的操作。

另一方面，在物体的检测位置偏离前一帧图像中的死区区域的情况下(S161中为“否”)，死区区域设定单元122通过移动前一帧图像中的死区区域来设定当前帧图像中的死区区域，使得当前帧图像中的物体的检测位置在死区区域的轮廓线内(S163)。

接下来，裁剪区域决定单元124决定当前帧图像中的裁剪区域，使得(当前帧图像中)在S163中设定的死区区域的中心位于裁剪区域的中心(S165)。

随后，视频裁剪单元106通过从当前帧图像中切出在S157、S165或S169中决定的裁剪区域来生成裁剪图像(S167)。

<2-3.效果>

[2-3-1.效果1]

例如，如参照图4、图7、图11至图13等所述，根据实施例的相机10基于当前帧图像中的物体的检测位置与在前一帧图像中设定的死区区域之间的位置关系来决定当前帧图像中的裁剪区域。因此，能够根据当前帧图像和前一帧图像之间的物体的检测位置的变化幅值来决定切出区域。

例如，在前一帧图像中的死区区域包括在当前帧图像中检测到的物体的检测位置的情况下，相机10决定使当前帧图像中的裁剪区域的位置与前一帧图像中的裁剪区域的位置相同。因此，裁剪区域的位置在物体的检测位置处于在初始帧图像中设定的死区域内的帧之间不变。换句话说，即使当物体稍微振动时，裁剪区域的位置也不变，除非物体离开死区区域。因此，能够提高裁剪图像的可见性。

此外，与已知技术相比，能够在不在时间方向上执行平滑处理的情况下，消除裁剪图像的小的振动。

[2-3-2.效果2]

此外，例如，在物体的检测位置偏离在前一帧图像中设定的死区域的情况(诸如物体快速移动的情况)下，相机10将死区区域移动到更靠近物体的检测位置达物体偏离前一帧图像中的死区区域的轮廓线的距离。接下来，相机10决定当前帧图像中的裁剪区域，使得移动的死区区域的中心位于裁剪区域的中心。因此，即使在物体快速移动的情况下，也能够将死区区域设定在与物体接触的位置。因此，用户感觉好像物体在连续的裁剪图像之间平滑地移动，并且可以获得高可见性。

[2-3-3.效果3]

此外，由于通过裁剪区域决定单元124决定裁剪区域的方法是简单的，因此相机10可以实时地生成裁剪图像。

[2-3-4.效果4]

此外，根据本实施例，能够简单地通过使用相机10来生成缩小图像和裁剪图像。因此，相机10不必将帧图像发送到诸如服务器的另一设备，以生成缩小图像和裁剪图像，并且能够减少通信流量。

<<3.修改>>

以上已经参照附图描述了本公开的优选实施例(一个或多个)，而本公开不限于上述示例。本领域技术人员可以在随附权利要求的范围内发现各种改变和修改，并且应当理解，它们将自然地落入本公开的技术范围内。

<3-1.修改1>

在上述实施例中，已经描述了相机10用作根据本公开的图像处理设备的示例。然而，本公开不限于此。例如，在监控终端22(的控制单元220)包括所有视频缩小单元102、区域设定单元104以及多个视频裁剪单元106而不是相机10的情况下，监控终端22可以用作根据本公开的图像处理设备。

或者，在服务器能够经由通信网络24与相机10通信，并且服务器包括所有视频缩小单元102、区域设定单元104和多个视频裁剪单元106而不是相机10的情况下，单独提供的服务器(未示出)可以用作根据本公开的图像处理设备。另外，服务器可以与储存器20集成。

<3-2.修改2>

此外，根据上述实施例，还能够提供一种计算机程序，用于使诸如CPU、ROM和RAM的硬件执行与上述视频缩小单元102、区域设定单元104以及视频裁剪单元106等同的功能。此外，能够提供其中存储有计算机程序的记录介质。

另外，本技术也可以如下配置。

(1)一种图像处理设备，包括：

第一区域设定单元，被配置为在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；以及

切出区域决定单元，被配置为基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域。

(2)根据(1)所述的图像处理设备，

其中，所述切出区域决定单元基于所述第一区域与所述第二帧图像中的物体的检测位置之间的位置关系，决定是否使所述第二帧图像的所述切出区域的位置与所述第一帧图像的所述切出区域的位置相同。

(3)根据(2)所述的图像处理设备，

其中，在第一区域包括第二帧图像中的物体的检测位置的情况下，切出区域决定单元决定使第二帧图像的切出区域的位置与第一帧图像的切出区域的位置相同。

(4)根据(2)或(3)所述的图像处理设备，其中

在第一区域不包括第二帧图像中的物体的检测位置的情况下，第一区域设定单元移动第一区域的位置，使得第二帧图像中的物体的检测位置包含于第一区域的轮廓线上，以及

切出区域决定单元通过将移动后的第一区域的中心设定到第二帧图像的切出区域的中心来决定第二帧图像的切出区域。

(5)根据(4)所述的图像处理设备，

其中，所述第二帧图像的所述切出区域的形状和尺寸与所述第一帧图像的所述切出区域的形状和尺寸相同。

(6)根据(5)所述的图像处理设备，

其中，所述第一帧图像的所述切出区域的中心的位置和所述第一区域的中心的位置与所述第一帧图像中的所述物体的检测位置相同。

(7)根据(2)至(6)中任一项所述的图像处理设备，其中

所述第一区域设定单元在第一帧图像的切出区域中分别设定包括多个物体中的每一个的检测位置的第一区域，

所述图像处理设备还包括：跟踪目标设定单元，被配置为将所述多个物体中的任一个设定为跟踪目标，以及

所述切出区域决定单元基于由跟踪目标设定单元设定的跟踪目标物体的检测位置与对于跟踪目标物体设定的第一区域之间的位置关系，确定是否使所述第二帧图像的所述切出区域的位置与所述第一帧图像的所述切出区域的位置相同。

(8)根据(2)至(7)中任一项所述的图像处理设备，还包括

切出图像生成单元，被配置为通过从第二帧图像中切出由切出区域决定单元决定的第二帧图像的切出区域来生成切出图像。

(9)根据(2)至(8)中任一项所述的图像处理设备，

其中，所述物体是人或车辆。

(10)一种图像处理方法，包括：

在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；以及

基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域。

(11)一种图像处理系统，包括：

第一区域设定单元，被配置为在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；

切出区域决定单元，被配置为基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域；

切出图像生成单元，被配置为通过从所述第二帧图像中切出由所述切出区域决定单元决定的第二帧图像的切出区域来生成切出图像；以及

存储单元，被配置为存储所生成的切出图像。

附图标记列表

10 相机

20 储存器

22 监控终端

24 通信网络

100 图像拍摄单元

102 视频缩小单元

104 区域设定单元

106 视频裁剪单元

108 通信单元

120 物体检测单元

122 死区区域设定单位

124 裁剪区域决定单位

126 跟踪目标设定单位

220 控制单元

222 通信单元

224 显示单元

226 输入单元

Claims (11)

1.一种图像处理设备，包括：

第一区域设定单元，被配置为在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；以及

切出区域决定单元，被配置为基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域。

2.根据权利要求1所述的图像处理设备，

其中，所述切出区域决定单元基于所述第一区域与所述第二帧图像中的物体的检测位置之间的位置关系，决定是否使所述第二帧图像的所述切出区域的位置与所述第一帧图像的所述切出区域的位置相同。

3.根据权利要求2所述的图像处理设备，

其中，在第一区域包括第二帧图像中的物体的检测位置的情况下，切出区域决定单元决定使第二帧图像的切出区域的位置与第一帧图像的切出区域的位置相同。

4.根据权利要求2所述的图像处理设备，其中

在第一区域不包括第二帧图像中的物体的检测位置的情况下，第一区域设定单元移动第一区域的位置，使得第二帧图像中的物体的检测位置包含于第一区域的轮廓线上，以及

切出区域决定单元通过将移动后的第一区域的中心设定到第二帧图像的切出区域的中心来决定第二帧图像的切出区域。

5.根据权利要求4所述的图像处理设备，

其中，所述第二帧图像的所述切出区域的形状和尺寸与所述第一帧图像的所述切出区域的形状和尺寸相同。

6.根据权利要求5所述的图像处理设备，

其中，所述第一帧图像的所述切出区域的中心的位置和所述第一区域的中心的位置与所述第一帧图像中的所述物体的检测位置相同。

7.根据权利要求2所述的图像处理设备，其中

所述第一区域设定单元在第一帧图像的切出区域中分别设定包括多个物体中的每一个的检测位置的第一区域，

所述图像处理设备还包括：跟踪目标设定单元，被配置为将所述多个物体中的任一个设定为跟踪目标，以及

所述切出区域决定单元基于由跟踪目标设定单元设定的跟踪目标物体的检测位置与对于跟踪目标物体设定的第一区域之间的位置关系，决定是否使所述第二帧图像的所述切出区域的位置与所述第一帧图像的所述切出区域的位置相同。

8.根据权利要求2所述的图像处理设备，还包括

切出图像生成单元，被配置为通过从第二帧图像中切出由切出区域决定单元决定的第二帧图像的切出区域来生成切出图像。

9.根据权利要求2所述的图像处理设备，

其中，所述物体是人或车辆。

10.一种图像处理方法，包括：

在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；以及

基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域。

11.一种图像处理系统，包括：

第一区域设定单元，被配置为在第一帧图像的切出区域中设定包括物体的检测位置的第一区域；

切出区域决定单元，被配置为基于所述第一区域与第一帧图像之后的第二帧图像中的物体的检测位置之间的位置关系来决定第二帧图像的切出区域；

切出图像生成单元，被配置为通过从所述第二帧图像中切出由所述切出区域决定单元决定的第二帧图像的切出区域来生成切出图像；以及

存储单元，被配置为存储所生成的切出图像。