CN110647792A - 信息处理设备、控制方法和存储介质 - Google Patents
信息处理设备、控制方法和存储介质 Download PDFInfo
- Publication number
- CN110647792A CN110647792A CN201910554038.6A CN201910554038A CN110647792A CN 110647792 A CN110647792 A CN 110647792A CN 201910554038 A CN201910554038 A CN 201910554038A CN 110647792 A CN110647792 A CN 110647792A
- Authority
- CN
- China
- Prior art keywords
- detection area
- image
- detection
- setting unit
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000010365 information processing Effects 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims description 106
- 238000009877 rendering Methods 0.000 claims 2
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/231—Analysis of motion using block-matching using full search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明涉及一种信息处理设备、控制方法和存储介质。在通过使用整体搜索和局部搜索来检测拍摄图像中的被摄体的情况下,通过减小拍摄图像内的要进行整体搜索的区域来降低计算成本,并且防止了对拍摄图像中的通过了线的被摄体的数量进行计数的精度的下降。
Description
技术领域
本发明涉及用于检测被摄体的信息处理设备、控制方法和存储介质。
背景技术
传统上,已知有用于分析图像并检测图像内的被摄体的技术。此外,已知有用于对按时间顺序连续的多个图像进行被摄体检测处理以追踪被摄体的技术。此外,已知有用于基于被摄体追踪结果和图像内所设置的线的位置来对通过了该线的被摄体的数量进行计数的通过计数技术(以下将该线称为通过计数线)。
通常,被摄体检测处理的计算成本高。因此,已知有用于通过缩小要进行被摄体检测处理的区域来降低计算成本的技术。使用这样的技术缩短了检测处理时间。
在T.Futagi等人在Image Laboratory的第28(3)卷第53-57页(2017年3月)上发表的标题为“High Speed Massive People Counting Video Content Analysis Software”的非专利文献中,首先,从摄像设备获取图像,然后,对整个图像进行使用被摄体的特征量的检测处理。例如,在使用成形为人物形状的块图像(patch image)扫描整个图像的同时进行匹配(以下将这样的处理称为整体搜索)。在第一次整体搜索结束时,从摄像设备获取下一图像(例如,与下一帧相对应的图像),并且执行另一整体搜索。这里,与第二次整体搜索的开始并行地,对下一图像中的通过第一次整体搜索所检测到的被摄体的周边局部地进行被摄体检测(以下称为局部搜索)。例如,仅扫描通过使用块图像所检测到的被摄体的周边。在局部搜索结束时,从摄像设备获取下一图像。如果并行地进行的整体搜索处理结束,则对通过整体搜索所检测到的被摄体的周边执行进一步的局部搜索。另一方面,如果并行地进行的整体搜索未结束,则对通过局部搜索所检测到的被摄体的周边执行局部搜索。
根据T.Futagi等人在Image Laboratory的第28(3)卷第53-57页(2017年3月)上发表的标题为“High Speed Massive People Counting Video Content AnalysisSoftware”的非专利文献,并行地执行与局部搜索相比需要更高的计算成本的整体搜索和与整体搜索相比需要更低的计算成本的局部搜索,并且输出局部搜索的被摄体检测结果。因而,在缩短针对各图像的被摄体检测处理时间的同时,对被摄体进行追踪。
然而,在T.Futagi等人在Image Laboratory的第28(3)卷第53-57页(2017年3月)上发表的标题为“High Speed Massive People Counting Video Content AnalysisSoftware”的非专利文献所论述的技术中,在整体搜索处理时间(主要是在使用块图像进行扫描的同时进行匹配的处理时间)变长时,直到进行新被摄体的检测为止的时间长度变长。结果,在整体搜索结束之前,被摄体可能通过了通过计数线。在这种情况下,被摄体的通过计数更有可能失败。
发明内容
本发明旨在缩短整体搜索处理时间,以防止由于在整体搜索所用的扫描处理完成之前要检测的被摄体通过了线而导致的通过计数精度下降。
根据本发明的方面,一种信息处理设备,包括:获取单元,其被配置为获取拍摄图像;第一设置单元,其被配置为对所述拍摄图像设置用于检测被摄体的第一检测区域;第二设置单元,其被配置为设置用于检测新被摄体的第二检测区域,所述第二检测区域包括所述第一设置单元所设置的所述第一检测区域的端部的至少一部分;以及检测单元,其被配置为在所述第二设置单元所设置的所述第二检测区域中检测所述新被摄体,并且基于所述新被摄体来执行局部搜索。
通过以下参考附图对典型实施例的说明,本发明的更多特征将变得明显。
附图说明
图1是示意性示出通过计数系统的结构的图。
图2A和2B是示出各个装置的硬件结构的框图。
图3A和3B是示意性示出各个装置的功能结构的框图。
图4是示意性示出搜索处理的流程图。
图5是示意性示出拍摄图像的一个示例的图。
图6是被摄体检测区域和通过计数线叠加在图5所示的拍摄图像上的图。
图7是整体搜索区域叠加在被摄体检测区域的端部附近的图。
图8是在考虑到通过计数线的形状的情况下、整体搜索区域叠加在被摄体检测区域的端部附近的图。
图9是示出针对被摄体检测区域、通过计数线以及整体搜索区域和局部搜索区域之间的边界的操作用户界面(UI)的图。
图10是示意性示出通过计数处理的流程图。
具体实施方式
以下参考附图来说明典型实施例。在各个典型实施例中,与T.Futagi等人在ImageLaboratory的第28(3)卷第53-57页(2017年3月)上发表的标题为“High Speed MassivePeople Counting Video Content Analysis Software”的非专利文献中所论述的处理同样地,并行地执行整体搜索处理和局部搜索处理以进行追踪处理,并且实现通过计数处理。
在第一典型实施例中,系统对从摄像设备获取到的图像设置被摄体检测区域,并且将从该检测区域的端部附近起的一定距离内的区域设置为整体搜索区域。然后,与T.Futagi等人在Image Laboratory的第28(3)卷第53-57页(2017年3月)上发表的标题为“High Speed Massive People Counting Video Content Analysis Software”的非专利文献中所论述的处理同样地,并行地执行整体搜索处理和局部搜索处理以进行追踪处理,并且实现通过计数处理。以下说明本典型实施例中的直到设置整体搜索区域为止的处理。
图1是示出根据本典型实施例的系统结构的一个示例的图。
本典型实施例的系统包括摄像设备110和客户端设备120。摄像设备110和客户端设备120经由网络150可通信地彼此连接。客户端设备120与输入设备130和显示设备140连接。
诸如网络照相机等的摄像设备110拍摄图像。客户端设备120是诸如个人计算机、服务器设备和平板装置等的信息处理设备。客户端设备120驱动摄像设备110,获取拍摄图像,检测所获取到的图像中的运动物体,并且叠加掩模(mask)。输入设备130包括鼠标和键盘。诸如监视器等的显示设备140显示客户端设备120所输出的图像。在本典型实施例中,客户端设备120、输入设备130和显示设备140是独立的设备。然而,例如,客户端设备120和显示设备140可以是一体化地设置的,或者输入设备130和显示设备140可以是一体化地设置的。此外,客户端设备120、输入设备130和显示设备140可以是一体化地设置的。
网络150将摄像设备110与客户端设备120连接。网络150包括满足通信标准(例如,(以太网))的多个组件。这多个组件包括路由器、交换机和线缆。在本典型实施例中,可以采用任何通信标准、大小和结构的网络150,只要可以进行摄像设备110和客户端设备120之间的通信即可。例如,网络150可以包括因特网、有线局域网(有线LAN)、无线LAN和广域网(WAN)。
图2A是示出摄像设备110的硬件结构的一个示例的图。
摄像设备110包括中央处理单元(CPU)211、主存储装置212、辅助存储装置213、驱动单元214、摄像单元215和网络接口(I/F)216。这些组件经由系统总线217可通信地连接至彼此。
CPU 211控制摄像设备110的操作。主存储装置212是用作CPU 211的工作区和临时数据存储区的诸如随机存取存储器(RAM)等的存储装置。辅助存储装置213是诸如硬盘驱动器(HDD)、只读存储器(ROM)和固态驱动器(SSD)等的存储装置。辅助存储装置213存储各种程序和各种设置数据。
驱动单元214驱动摄像设备110并且改变摄像设备110的姿势,由此改变摄像单元215的摄像方向和视角。摄像单元215包括摄像元件和光学系统,以利用光学系统的光轴与摄像元件的交点作为摄像中心在摄像元件上形成被摄体图像。摄像元件包括例如互补金属氧化物半导体(CMOS)和电荷耦合器件(CCD)。网络I/F 216是用于经由网络150与诸如客户端设备120等的外部装置的通信的接口。
CPU 211基于辅助存储装置213中所存储的程序来执行处理,使得实现以下参考图3A所述的摄像设备110的功能和摄像设备110所进行的处理。
图2B是示出客户端设备120的硬件结构的一个示例的图。
客户端设备120包括CPU 221、主存储装置222、辅助存储装置223、输入I/F 224、输出I/F 225和网络I/F 226。这些组件经由系统总线227可通信地连接至彼此。
CPU 221控制客户端设备120的操作。主存储装置222是用作CPU 221的工作区和临时数据存储区的诸如随机存取存储器(RAM)等的存储装置。辅助存储装置223是诸如HDD、ROM和SSD等的存储装置。辅助存储装置223存储各种程序和各种设置数据。
输入I/F 224是用于接收来自诸如输入设备130等的装置的输入的接口。输出I/F225是用于向诸如显示设备140等的装置输出信息的接口。网络I/F 226是用于经由网络150与诸如摄像设备110等的外部装置的通信的接口。
CPU 221基于辅助存储装置223中所存储的程序来执行处理,使得实现以下参考图3B所述的客户端设备120的功能和以下参考图4所示的流程图所述的客户端设备120所进行的处理。
图3A是示出摄像设备110的功能结构的一个示例的图。
摄像设备110包括摄像控制单元311、信号处理单元312、驱动控制单元313和通信单元314。
摄像控制单元311经由摄像单元215拍摄周围环境的图像。信号处理单元312对摄像控制单元311所拍摄到的图像进行图像处理。信号处理单元312例如对摄像控制单元311所拍摄到的图像进行编码。在摄像控制单元311所拍摄到的图像是静止图像的情况下,信号处理单元312通过使用诸如联合图像专家组(JPEG)等的编码方法对图像进行编码。在摄像控制单元311所拍摄到的图像是运动图像的情况下,信号处理单元312通过使用诸如H.264/运动图像专家组第四阶段高级视频编码(MPEG-4 AVC)(以下称为H.264)和高效率视频编码(HEVC)等的编码方法来对图像进行编码。此外,信号处理单元312还可以例如通过使用用户经由摄像设备110的操作单元从多个预定编码方法中选择的编码方法来对图像进行编码。
驱动控制单元313经由驱动单元214进行用以改变摄像控制单元311的摄像方向和视角的控制。然而,驱动控制单元313也可以改变摄像控制单元311的摄像方向或视角。可选地,摄像控制单元311的摄像方向和视角也可以是固定的。通信单元314将由摄像控制单元311拍摄到的且由信号处理单元312处理后的图像经由网络I/F 216发送至客户端设备120。此外,通信单元314经由网络I/F 216接收要从客户端设备120提供至摄像设备110的控制指示。
图3B是示出客户端设备120的功能结构的一个示例的图。
客户端设备120包括输入信息获取单元321、通信控制单元322、图像获取单元323、设置单元324、检测单元325、绘制单元326和显示控制单元327。
输入信息获取单元321接收从用户经由输入设备130的输入。通信控制单元322经由网络150接收从摄像设备110发送来的图像。此外,通信控制单元322经由网络150向摄像设备110发送控制指示。图像获取单元323经由通信控制单元322从摄像设备110获取摄像设备110所拍摄到的图像作为要进行被摄体检测处理的图像。可选地,图像获取单元323可以获取辅助存储装置223中所存储的图像作为要进行被摄体检测处理的图像。设置单元324在图像获取单元323所获取到的图像中设置要检测被摄体的区域(第一检测区域)、通过计数线(检测线)和整体搜索区域(第二检测区域)。检测单元325对图像获取单元323所获取到的图像进行整体搜索和局部搜索以追踪被摄体。此外,检测单元325基于被摄体追踪结果和上述的通过计数线的位置来进行被摄体通过计数处理。绘制单元326将设置单元324所设置的检测区域(第一设置单元所设置的第一检测区域)、整体搜索区域(第二设置单元所设置的第二检测区域)和通过计数线叠加在拍摄图像上。此外,绘制单元326将检测单元325所检测到的被摄体叠加在拍摄图像上。显示控制单元327基于来自CPU 221的指示,将叠加了被摄体检测结果的拍摄图像输出至显示设备140。
图10是示意性示出根据本典型实施例的客户端设备120所进行的通过计数处理的流程图。在步骤S1001中,通信控制单元322和图像获取单元323从摄像设备110获取拍摄图像。在步骤S1002中,输入信息获取单元321或设置单元324基于来自用户的指示(第一检测区域指示)来设置检测区域。在步骤S1003中,检测单元325基于步骤S1002中所设置的设置来对图像获取单元323新获取到的拍摄图像执行整体搜索处理、局部搜索处理、追踪处理和检测线通过检测处理。
检测单元325在用户所指定的区域上进行使用被摄体的特征量的检测处理。这里,在使用成形为人物形状的块图像扫描第二检测区域的同时进行匹配。在针对第二检测区域的整体搜索结束时,检测单元325从摄像设备110获取下一帧的图像(下一帧图像),并且针对从第二检测区域检测到的新被摄体的附近进行局部搜索以追踪该被摄体。检测单元325通过追踪被摄体来在被摄体穿过检测线时检测到被摄体的通过。
在步骤S1004中,绘制单元326和显示控制单元327将所检测到的通过计数的数量显示在显示设备140的画面上。在步骤S1005中,CPU 221判断是否结束通过计数处理。如果CPU 221判断为不结束通过计数处理(步骤S1005中为“否”),则处理进入步骤S1003。如果CPU 221判断为结束通过计数处理(步骤S1005中为“是”),则处理结束。这里,基于用户是否发出了通过计数处理结束指示或者图像分析模式是否已结束来进行该判断。
图4是示出整体搜索区域设置处理的流程图。参考图4的流程图来说明直到客户端设备120获取图像并在所获取到的图像中设置整体搜索区域为止的处理。
在步骤S400中,设置单元324经由通信控制单元322从摄像设备110获取摄像设备110所拍摄到的图像。以下将步骤S400中所获取到的由摄像设备110拍摄到的图像称为拍摄图像。
图5是示出摄像设备110所拍摄到的拍摄图像的一个示例的图。在图5中,图像500表示摄像设备110所拍摄到的拍摄图像。被摄体501-503表示图像500中的环境内的通过计数对象。
在步骤S401中,设置单元324对拍摄图像设置被摄体检测区域和通过计数线。在本典型实施例中,该系统经由显示设备140向用户显示拍摄图像,并且基于来自用户在拍摄图像上的输入来设置被摄体检测区域和通过计数线。
图6是示出设置单元324所设置的被摄体检测区域和通过计数线的示例的图。在图6中,区域600表示设置单元324对图像500设置的被摄体检测区域。此外,实线601表示设置单元324对图像500设置的通过计数线。
在步骤S402中,设置单元324将被摄体检测区域分割成具有任意大小的小区域。在本典型实施例中,小区域被设置为图像中的一个像素。然而,小区域不限于此。例如,小区域可以是具有任意大小的矩形。小区域也可以通过使用诸如超像素(super pixel)等的图像区域分割算法来创建。然后,在步骤S403中,设置单元324以列表形式管理分割得到的小区域。
在步骤S404中,设置单元324关注列表的顶部的小区域。
在步骤S405中,设置单元324判断是否将正关注的小区域设置为整体搜索区域。在本典型实施例中,设置单元324基于从检测区域的端部起的距离来判断小区域是否是整体搜索区域。具体处理流程如下。
1)从小区域的重心向着检测区域的各边画垂线,并且计算各垂线的长度。
2)选择最短的垂线。
3)如果所选择的垂线的长度是阈值以下(步骤S405中为“是”),则设置单元324判断为正关注的小区域是整体搜索区域,并且处理进入步骤S406。另一方面,如果所选择的垂线的长度大于阈值(步骤S405中为“否”),则设置单元324判断为正关注的小区域不是整体搜索区域,并且处理进入步骤S407。
使用通过客户端设备120接收来自用户的输入来获得上述阈值的示例说明本典型实施例,但获得阈值的方式不限于此。例如,客户端设备120可以从摄像设备110接收包括拍摄被摄体的数个帧的运动图像。在这种情况下,对运动图像中的各检测区域进行整体搜索,并且对所检测到的被摄体执行通过计数处理。随后,在改变上述阈值的情况下并行地执行整体搜索和局部搜索,并且执行通过计数处理。此时,可以从提供与仅使用整体搜索进行通过计数的情况相同的通过计数结果的阈值中选择最小值。
在步骤S406中,设置单元324在列表上记录正关注的小区域是整体搜索区域。
在步骤S407中,设置单元324在列表上记录正关注的小区域不是整体搜索区域。
在步骤S408中,设置单元324判断是否正关注列表的底部。如果设置单元324判断为正关注列表的底部(步骤S408中为“是”),则处理进入步骤S410。如果设置单元324判断为未关注列表的底部(步骤S408中为“否”),则处理进入步骤S409。
在步骤S409中,设置单元324关注下一小区域,并且处理进入步骤S405。
在步骤S410中,基于与小区域列表上所存储的各个小区域是否是整体搜索区域有关的信息,设置单元324对拍摄图像设置整体搜索区域。
图7示出根据本典型实施例的在图4的流程图的步骤S410中设置的整体搜索区域的示例。
在图7中,由虚线和点划线包围的区域700是在步骤S410中对图像500设置的整体搜索区域。
在本典型实施例中,在区域700(第二检测区域)中执行整体搜索,并且在区域600(第一检测区域)中执行局部搜索以进行追踪处理,由此实现通过计数处理。因此,与在区域600中一律地并行执行整体搜索和局部搜索的情况相比,可以降低计算成本。
在上述的第一典型实施例中,将从检测区域的端部附近起的一定距离内的区域设置为整体搜索区域,由此降低了通过计数处理的计算成本。然而,在对通过进行计数的方向上存在偏差的情况下,在防止通过计数精度下降的同时,与第一典型实施例中所设置的整体搜索区域相比,可以进一步缩小整体搜索区域。例如,在图像500中,被摄体正沿垂直方向移动,并且通过计数处理对仅垂直方向上的被摄体的通过进行计数。在这种情况下,从检测区域的上端或下端而不是从检测区域的左端或右端出现新被摄体。因此,用于检测新被摄体的整体搜索区域可以仅是被摄体检测区域的上下端,并且可以从整体搜索的对象中排除左右端。
在第二典型实施例中,说明如下的方法,通过该方法,基于用户所设置的通过计数线来判断被摄体通过方向,并且基于该被摄体通过方向来设置整体搜索区域。
由于本典型实施例的系统的结构以及摄像设备110和客户端设备120的硬件结构和功能结构与第一典型实施例中的相同,因此省略了对其的说明。
此外,由于本典型实施例中的图4所示的流程图中的步骤S400-S404和步骤S406-S410的处理与第一典型实施例所述的这些处理相同,因此省略了对这些处理的说明。本典型实施例与第一典型实施例的不同之处在于图4所示的步骤S405中的用于判断正关注的小区域是否是整体搜索区域的方法。在本典型实施例中,设置单元324基于通过计数线的位置和从检测区域的端部起的距离来判断是否将正关注的小区域设置为整体搜索区域。具体处理如下。
1)从正关注的小区域的重心向检测区域的各边画垂线,并且计算各垂线的长度。
2)选择最短的垂线。
3)从正关注的小区域的重心向通过计数线画垂线,并且计算垂线的长度。
4)如果向着检测区域的边的垂线的长度是阈值以下、并且向着通过计数线的垂线的长度是阈值以上,则设置单元324判断为正关注的小区域是整体搜索区域,并且处理进入步骤S406。另一方面,如果向着检测区域的边的垂线的长度大于阈值或者向着通过计数线的垂线的长度小于阈值,则设置单元324判断为正关注的小区域不是整体搜索区域,并且处理进入步骤S407。
在本典型实施例中,上述的两个阈值是由用户指定的;然而,指定阈值的方式不限于此。例如,从摄像设备110接收到包括拍摄了通过的被摄体的数个帧的运动图像,对该运动图像的各检测区域进行整体搜索,并且对所检测到的被摄体执行通过计数处理。随后,在改变上述两个阈值的情况下并行地执行整体搜索和局部搜索,并执行通过计数处理。这里,从提供与仅使用整体搜索进行通过计数的情况相同的通过计数结果的阈值中,可以选择最小值作为从正关注的小区域至被摄体检测区域的边的垂线的阈值,并且可以选择最大值作为从正关注的小区域至通过计数线的垂线的阈值。
图8示出根据本典型实施例的在步骤S410中设置的整体搜索区域的示例。
在图8中,各自均由虚线和点划线包围的区域801和802是在步骤S410中对图5所示的图像500设置的整体搜索区域。
在本典型实施例中,对区域801和802执行整体搜索,对区域600执行局部搜索以进行追踪处理,由此实现通过计数处理。因此,与第一典型实施例相比,可以在降低计算成本的同时对区域600实现通过计数处理。
在本典型实施例中,已经使用被摄体沿垂直方向通过的环境的示例说明了用于降低计算成本的方法;然而,环境不限于此。本典型实施例也可应用于被摄体沿水平方向或倾斜方向通过的环境。
在上述的第一典型实施例中,将从检测区域的端部附近起的一定距离内的区域设置为整体搜索区域。在上述的第二典型实施例中,将与通过计数线相距一定距离以上且在从检测区域的端部附近起的一定距离以内的区域设置为整体搜索区域。然而,典型实施例不限于此。整体搜索区域也可以通过用户所进行的手动操作来设置。在第三典型实施例中,说明用于基于用户所进行的手动操作来设置被摄体检测区域、通过计数线和整体搜索区域的方法。
系统经由显示设备140向用户显示摄像设备110所拍摄到的实时图像。
图9示出用于设置被摄体检测区域、通过计数线和整体搜索区域的操作用户界面(UI)。在图9中,将摄像设备110所拍摄到的实时图像显示在拍摄图像显示区域900中。在本典型实施例中,将视频图像显示在拍摄图像显示区域900中。然而,要显示的图像不限于此,并且也可以是静止图像。在本典型实施例中,如图9所示,说明用于在被摄体沿垂直方向和水平方向通过的环境中设置整体搜索区域的方法。在图9中,虚线901表示要检测被摄体的区域。与被摄体检测区域的各顶点重叠的矩形是被摄体检测区域的操纵器。用户拖动操纵器,由此可以改变被摄体检测区域的形状。此外,在本典型实施例中,用户可以拖动被摄体检测区域的边以向被摄体检测区域添加顶点。另外,在本典型实施例中,用户可以右击被摄体检测区域的顶点以删除该顶点。然而,删除顶点的方式不限于此。用户也可以双击顶点。例如,在用户在平板装置上进行操作的情况下,用户可以双轻击或者轻击并按住顶点。
在图9中,实线902-905表示通过计数线。与通过计数线的端部重叠的圆圈表示通过计数线的起点,并且双圆圈表示通过计数线的终点。在本典型实施例中,显示起点和终点以使用户区分通过计数线的IN(进)和OUT(出)。然而,进行区分的方式不限于此。例如,可以在通过计数线上以垂直于通过计数线的方式显示箭头。在这种情况下,可以向用户呈现:被摄体沿从箭头的轴向着箭头的尖端的方向的通过被计数为IN,并且被摄体沿反方向的通过被计数为OUT。此外,上述的圆圈和双圆圈各自也用作通过计数线的操纵器。用户可以拖动圆圈和双圆圈以改变通过计数线的形状。
在图9中,点划线906表示整体搜索区域和局部搜索区域之间的边界。在由点划线906表示的多边形内部的区域是局部搜索区域。在由点划线906表示的多边形外部且在被摄体检测区域内部的区域是整体搜索区域。与多边形的各个顶点重叠的矩形是操纵器。在用户拖动操纵器的情况下,可以改变边界的形状。在本典型实施例中,与被摄体检测区域同样地,可以添加或删除顶点。
例如,上述检测系统的功能结构在摄像设备110或客户端设备120中可被部分或全部实现为硬件。
尽管详细说明了本发明的典型实施例,但本发明不限于所公开的典型实施例。可以任意组合各个典型实施例。
根据上述典型实施例,可以缩短整体搜索处理时间、并且防止由于在整体搜索所用的扫描处理完成之前要检测的被摄体通过了线而导致的通过计数精度下降。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (9)
1.一种信息处理设备,包括:
获取单元,其被配置为获取拍摄图像;
第一设置单元,其被配置为对所述拍摄图像设置用于检测被摄体的第一检测区域;
第二设置单元,其被配置为设置用于检测新被摄体的第二检测区域,所述第二检测区域包括所述第一设置单元所设置的所述第一检测区域的端部的至少一部分;以及
检测单元,其被配置为在所述第二设置单元所设置的所述第二检测区域中检测所述新被摄体,并且基于所述新被摄体来执行局部搜索。
2.根据权利要求1所述的信息处理设备,其中,所述检测单元对在所述第二设置单元所设置的所述第二检测区域中检测到的所述新被摄体的周边执行所述局部搜索,以执行用于追踪所述新被摄体的追踪处理。
3.根据权利要求2所述的信息处理设备,还包括第三设置单元,所述第三设置单元被配置为在所述拍摄图像中设置检测线,所述检测线是为了检测经由所述追踪处理所追踪的被摄体的通过而设置的。
4.根据权利要求3所述的信息处理设备,还包括通过计数单元,所述通过计数单元被配置为基于经由所述追踪处理所获取到的追踪结果以及所述检测线来执行通过计数。
5.根据权利要求3所述的信息处理设备,其中,所述第二设置单元基于所述检测线来设置所述第二检测区域。
6.根据权利要求1所述的信息处理设备,还包括渲染单元,所述显示控制单元被配置为将所述第一设置单元所设置的所述第一检测区域或者所述第二设置单元所设置的所述第二检测区域叠加在所述拍摄图像上。
7.根据权利要求3所述的信息处理设备,还包括渲染单元,所述显示控制单元被配置为将所述第三设置单元所设置的检测线叠加在所述拍摄图像上。
8.一种信息处理设备的控制方法,所述控制方法包括:
获取拍摄图像;
对所述拍摄图像设置用于检测被摄体的第一检测区域;
设置用于检测新被摄体的第二检测区域,所述第二检测区域包括所设置的所述第一检测区域的端部的至少一部分;以及
在所设置的所述第二检测区域中检测所述新被摄体,并且基于所述新被摄体来执行局部搜索。
9.一种非暂时性计算机可读介质,其存储用于使计算机执行方法的程序,所述方法包括:
获取拍摄图像;
对所述拍摄图像设置用于检测被摄体的第一检测区域;
设置用于检测新被摄体的第二检测区域,所述第二检测区域包括所设置的所述第一检测区域的端部的至少一部分;以及
在所设置的所述第二检测区域中检测所述新被摄体,并且基于所述新被摄体来执行局部搜索。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122422A JP7195782B2 (ja) | 2018-06-27 | 2018-06-27 | 情報処理装置、制御方法及びプログラム |
JP2018-122422 | 2018-06-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110647792A true CN110647792A (zh) | 2020-01-03 |
CN110647792B CN110647792B (zh) | 2023-09-19 |
Family
ID=67262060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910554038.6A Active CN110647792B (zh) | 2018-06-27 | 2019-06-25 | 信息处理设备、控制方法和存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11308342B2 (zh) |
EP (1) | EP3588375A1 (zh) |
JP (1) | JP7195782B2 (zh) |
CN (1) | CN110647792B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7428052B2 (ja) * | 2020-03-31 | 2024-02-06 | コベルコ建機株式会社 | 作業機械の周囲検知装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050001154A1 (en) * | 2003-07-04 | 2005-01-06 | Konica Minolta Holdings, Inc. | Counting system and counting method |
US20160224829A1 (en) * | 2015-02-04 | 2016-08-04 | UDP Technology Ltd. | People counter using tof camera and counting method thereof |
EP3244323A1 (en) * | 2016-05-13 | 2017-11-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, search apparatus, and computer program |
CN107707871A (zh) * | 2016-06-22 | 2018-02-16 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
CN107862243A (zh) * | 2016-09-21 | 2018-03-30 | 佳能株式会社 | 搜索设备、包括该搜索设备的摄像设备和搜索方法 |
CN107958202A (zh) * | 2016-10-14 | 2018-04-24 | 佳能株式会社 | 人体检测设备、人体检测设备的控制方法和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009211311A (ja) * | 2008-03-03 | 2009-09-17 | Canon Inc | 画像処理装置及び方法 |
TW201001338A (en) * | 2008-06-16 | 2010-01-01 | Huper Lab Co Ltd | Method of detecting moving objects |
JP2010140425A (ja) * | 2008-12-15 | 2010-06-24 | Hitachi Kokusai Electric Inc | 画像処理システム |
JP5578816B2 (ja) * | 2009-09-02 | 2014-08-27 | キヤノン株式会社 | 画像処理装置 |
JP6181925B2 (ja) * | 2012-12-12 | 2017-08-16 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP5674857B2 (ja) * | 2013-05-10 | 2015-02-25 | 技研トラステム株式会社 | 乗降者計数装置 |
JP5853141B2 (ja) * | 2014-03-26 | 2016-02-09 | パナソニックIpマネジメント株式会社 | 人数計測装置、人数計測システムおよび人数計測方法 |
FR3046488B1 (fr) | 2015-12-30 | 2018-02-23 | Fenotek | Systeme pour mesurer la frequentation d’une zone d’accueil et procede d’estimation du franchissement d’un seuil associe |
-
2018
- 2018-06-27 JP JP2018122422A patent/JP7195782B2/ja active Active
-
2019
- 2019-06-21 US US16/449,000 patent/US11308342B2/en active Active
- 2019-06-21 EP EP19181764.2A patent/EP3588375A1/en not_active Withdrawn
- 2019-06-25 CN CN201910554038.6A patent/CN110647792B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050001154A1 (en) * | 2003-07-04 | 2005-01-06 | Konica Minolta Holdings, Inc. | Counting system and counting method |
US20160224829A1 (en) * | 2015-02-04 | 2016-08-04 | UDP Technology Ltd. | People counter using tof camera and counting method thereof |
EP3244323A1 (en) * | 2016-05-13 | 2017-11-15 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, search apparatus, and computer program |
CN107707871A (zh) * | 2016-06-22 | 2018-02-16 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
CN107862243A (zh) * | 2016-09-21 | 2018-03-30 | 佳能株式会社 | 搜索设备、包括该搜索设备的摄像设备和搜索方法 |
CN107958202A (zh) * | 2016-10-14 | 2018-04-24 | 佳能株式会社 | 人体检测设备、人体检测设备的控制方法和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US11308342B2 (en) | 2022-04-19 |
JP7195782B2 (ja) | 2022-12-26 |
CN110647792B (zh) | 2023-09-19 |
EP3588375A1 (en) | 2020-01-01 |
JP2020005111A (ja) | 2020-01-09 |
US20200005066A1 (en) | 2020-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102519085B1 (ko) | 로컬 및 글로벌 모션에 효율적인 멀티-프레임 초해상도 방법 및 장치 | |
CN113837079B (zh) | 显微镜的自动对焦方法、装置、计算机设备和存储介质 | |
US10176616B2 (en) | Automatic capture and refinement of a digital image of a group of people without user intervention | |
KR102199094B1 (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
JP6808358B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10713797B2 (en) | Image processing including superimposed first and second mask images | |
WO2021168804A1 (zh) | 图像处理方法、图像处理装置和图像处理系统 | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
US9904865B2 (en) | Setting apparatus which sets a detection region for a detection process | |
US11019251B2 (en) | Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program | |
US8625933B2 (en) | Image processing apparatus and method for the same | |
JP7371076B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
CN110647792B (zh) | 信息处理设备、控制方法和存储介质 | |
JP2019027890A (ja) | 構造物検査システム、構造物検査装置及び構造物検査方法 | |
JP6525934B2 (ja) | 画像処理装置および制御方法 | |
US10885348B2 (en) | Information processing device, information processing method, and storage medium | |
US10943103B2 (en) | Human body detection apparatus, human body detection method, information processing apparatus, information processing method, and storage medium | |
JP2016051236A (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
KR101756274B1 (ko) | 감시용 카메라 및 감시용 카메라의 동작 방법 | |
KR20210116247A (ko) | 화상 처리장치, 화상 처리방법, 및 비일시적인 컴퓨터 판독가능한 기억매체 | |
JP2021090170A (ja) | 情報処理装置、情報処理方法、プログラム及び記憶媒体 | |
JP2019128791A (ja) | 画像処理装置およびその制御方法 | |
JP2019212090A (ja) | 画像処理装置、撮影装置、画像処理方法、およびプログラム | |
JP2014143551A (ja) | 画像処理装置、撮像装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |