CN110555363A - 信息处理装置、摄像装置、信息处理方法和存储介质 - Google Patents

信息处理装置、摄像装置、信息处理方法和存储介质 Download PDF

Info

Publication number
CN110555363A
CN110555363A CN201910462604.0A CN201910462604A CN110555363A CN 110555363 A CN110555363 A CN 110555363A CN 201910462604 A CN201910462604 A CN 201910462604A CN 110555363 A CN110555363 A CN 110555363A
Authority
CN
China
Prior art keywords
queue
line
passes
area
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910462604.0A
Other languages
English (en)
Inventor
大矢崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110555363A publication Critical patent/CN110555363A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00Counting of objects distributed at random, e.g. on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • G07C2011/04Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere related to queuing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种信息处理装置、摄像装置、信息处理方法和存储介质。提供了一种即使队列延伸也可以准确地估计队列中的等待时间的信息处理装置。信息处理装置包括计算单元,该计算单元用于进行第一计算处理或者第二计算处理,其中第一计算处理用于基于第一检测单元所检测到的对象人物通过第一线的时间和第二检测单元所检测到的对象人物通过第二线的时间来计算该对象人物在队列中的等待时间,以及第二计算处理用于基于获取单元获取到在包括该对象人物的队列中排队的人数的时间和第二检测单元所检测到的对象人物通过第二线的时间来计算对象人物在队列中的等待时间。

Description

信息处理装置、摄像装置、信息处理方法和存储介质
技术领域
本发明涉及信息处理装置、摄像装置、信息处理方法和存储介质。
背景技术
用户队列出现在诸如车站建筑、机场、零售商店和银行等的设施处。存在用于从队列的拍摄图像对在这样的队列中等待的人进行计数并且估计等待时间的技术。
关于对队列中的人的计数,在日本特开2008-217289中,进入房间的人数和离开房间的人数是根据人的移动方向来测量的,而停留在房间中的人数是根据所测量的进入和离开房间的人数之间的差所获得的。在日本特开2004-287752中,从拍摄监视区域的入口和出口的多个照相机的图像来检测进入或离开监视区域的人,以获得该监视区域中的人数,并且进一步使用拍摄整个监视区域的照相机的图像来校正该监视区域中的人数。在日本特开2005-216217中,利用设置在队列上方的照相机来拍摄队列并且通过图像处理来测量和显示人数。关于队列中的等待时间的估计,在日本特开2007-317052中,通过背景减除法对形成队列的人进行计数以获得队列中的人数,然后估计等待时间。
日本特开2008-217289和2004-287752的方法基于对通过预定区域的入口和出口的人的观察来测量该区域内的人数。因此,如果队列延伸超过入口,则等待人数的测量精度可能降低。另一方面,日本特开2005-216217和2007-317052的方法由于使用所测量的队列的长度,因此可以应对队列的尾端超过入口的这种延伸。然而,使用队列的长度可能降低等待时间的估计精度。
发明内容
本发明的目的是提供一种即使队列延伸也可以准确地估计队列中的等待时间的信息处理装置。
根据本发明的信息处理装置包括:获取单元,其被配置为从图像获取队列中排队的人数;第一检测单元,其被配置为检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;第二检测单元,其被配置为检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及计算单元,其被配置为进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测单元所检测到的对象人物通过所述第一线的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取单元获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,其中,所述计算单元被配置为在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
一种摄像装置,包括:摄像单元,其被配置为拍摄队列的图像;获取单元,其被配置为从所述摄像单元所拍摄的图像获取所述队列中排队的人数;第一检测单元,其被配置为检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;第二检测单元,其被配置为检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及计算单元,其被配置为进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测单元所检测到的对象人物通过所述第一线的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取单元获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,其中,所述计算单元被配置为在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
一种信息处理装置所进行的信息处理方法,所述信息处理方法包括:获取处理,其包括从图像获取队列中排队的人数;第一检测处理,其包括检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;第二检测处理,其包括检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及计算处理,其包括进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测处理中所检测到的对象人物通过所述第一线的时间和所述第二检测处理中所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取处理中获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测处理中所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,其中,所述计算处理包括:在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
一种计算机可读存储介质,其存储用于使计算机用作信息处理装置的各组件的程序,所述信息处理装置包括:获取单元,其被配置为从图像获取队列中排队的人数;第一检测单元,其被配置为检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;第二检测单元,其被配置为检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及计算单元,其被配置为进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测单元所检测到的对象人物通过所述第一线的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取单元获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,其中,所述计算单元被配置为在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
以下通过参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出根据第一实施例的信息处理系统的典型系统结构的示意图。
图2是示出根据第一实施例的信息处理系统的典型硬件结构等的框图。
图3是示出根据第一实施例的信息处理装置的典型软件结构的框图。
图4A和图4B是用于说明第一估计处理和第二估计处理的示意图。
图5是示出队列的尾端在队列的入口内的队列图像的示例的示意图。
图6是示出队列的尾端在队列的入口外的队列图像的示例的示意图。
图7A和7B是示出根据第一实施例的信息处理装置的典型处理的流程图。
图8是用于说明根据第二实施例的估计处理的示意图。
图9是示出根据第二实施例的典型主处理的流程图。
具体实施方式
在下文中,将参考附图来详细描述本发明的优选实施例。
(第一实施例)
在本实施例中,将描述信息处理系统获得队列中的等待时间的处理。图1是示出根据第一实施例的信息处理系统的典型系统结构的示意图。信息处理系统110包括摄像装置120和经由网络连接到摄像装置120的信息处理装置130。信息处理系统110使用第一估计处理或第二估计处理来获得在队列100中排队的人111的等待时间。人111通过入口101进入队列100,沿着向导103移动,并通过出口102离开队列100。也就是说,队列100从出口102开始沿着向导103朝向入口101延伸。在本实施例中,人111在进入队列100(通过入口101)之后离开队列100(通过出口102)所需的时间被称为“等待时间”。
摄像装置120是拍摄队列的图像(队列图像)的照相机(例如网络照相机),并且可以提供至少一个或多个摄像装置。摄像装置120拍摄队列中的人111的图像,并且在信息处理装置130上运行的软件检测图像中的人111以对在队列中等待的人进行计数。在下文中,在队列中等待的人的总数被称为“队列长度”。尽管期望摄像装置120拍摄整个队列100的图像,但是也可以通过使用多个摄像装置120观察队列100的各部分并将它们进行组合来获得队列长度。使用多个摄像装置可以应对整个队列不能纳入一个摄像装置的视野的情况或者队列100的形状复杂使得其中一些被隐藏的情况。当队列100在深度方向上延伸较远使得难以根据人在画面上的位置来检测这些人时,使用多个摄像装置也是有效的。
信息处理装置130是使用第一估计处理或第二估计处理来获得队列中的等待时间的信息处理装置。信息处理装置130包括例如个人计算机(PC)、服务器装置或平板装置等。
图2是示出根据第一实施例的信息处理系统110的典型硬件结构等的图。信息处理装置130和摄像装置120经由网络140通信连接。网络140是用于连接摄像装置120和信息处理装置130的网络。网络140包括例如满足诸如以太网(Ethernet,商标)等的通信标准的多个路由器、交换机和线缆等。在本实施例中,任何通信标准及其任何规模和配置都是可接受的,只要它们可以进行摄像装置120和信息处理装置130之间的通信即可。例如,网络140可以包括因特网、有线局域网(LAN)、无线LAN或广域网(WAN)等。
摄像装置120是诸如网络照相机等的摄像装置。在本实施例中,信息处理装置130进行摄像装置120的驱动以及从摄像装置120的拍摄图像的获取等。摄像装置120包括CPU210、ROM 211、RAM 212、摄像单元213和通信控制单元214。CPU 210读取存储在ROM 211中的程序以控制摄像装置120的处理。RAM 212用作临时存储区域,诸如CPU 210的工作区域或主存储器等。ROM 211存储引导程序等。摄像单元213具有摄像元件和摄像元件上的被摄体的光学系统,并且以光学系统的光轴和摄像元件之间的交叉作为摄像中心在摄像元件上进行摄像。摄像单元213包括诸如互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)等的摄像元件。通信控制单元214用于经由网络140与诸如信息处理装置130等的外部装置通信。摄像装置120的功能以及摄像装置120的处理等通过CPU 210基于存储在ROM 211中的程序执行处理来实现。
信息处理装置130具有CPU 220、ROM 221、RAM 222、输入单元223、显示单元224和通信控制单元225作为硬件组件。CPU 220读取存储在ROM 221中的程序以执行各种处理。RAM 222用作临时存储区域,诸如CPU 220的工作区域或主存储器等。ROM 221存储引导程序等。输入单元223控制经由输入装置230向信息处理装置130输入信息。显示单元224控制显示装置240上的画面的显示。在本实施例中,信息处理装置130和显示装置240是独立的装置,但是显示装置240可以包括在信息处理装置130中。信息处理系统110还可以包括多个显示装置240。通信控制单元225通过有线或无线将信息处理装置130连接到另一装置。CPU220读取存储在ROM 221中的程序以执行处理,从而实现信息处理装置130的功能和稍后将描述的流程图中的信息处理装置130的处理。
图3是示出根据第一实施例的信息处理装置130的典型软件结构的图。信息处理装置130包括通信单元301、图像获取单元302、人检测单元303、通过人数获取单元304、区域人数获取单元305、设置单元308、选择单元306和估计单元307作为软件组件。通信单元301通过有线或无线与诸如摄像装置120等的装置进行通信。图像获取单元302通过通信单元301获取由摄像装置120拍摄的队列图像。应注意,无论具体图像格式或压缩方法如何,根据本实施例的信息处理装置130都可以获得等待时间。人检测单元303是被配置为检测队列图像中的人及他们的位置的检测器。例如,人检测单元303可以使用但不限于检测人的上半身的形状的方法、检测人的面部的方法或者通过学习其它特征量来检测人的方法。
通过人数获取单元304对通过队列100的入口101和出口102各自的通过人进行计数,以获取通过的人数。区域人数获取单元305是等待人数获取器,其被配置为对构成队列100的包括在队列图像中的各区域(队列区域)中存在的人111进行计数,以获得在队列100中等待的人数。设置单元308是被配置为设置队列100的入口101和出口102的设置器。此外,设置单元308在各队列区域中设置(稍后将描述的)设置区域并设置各设置区域的阈值。设置单元308的设置可以由用户使用输入装置230来进行。选择单元306基于由区域人数获取单元305获得的等待人数来确定队列的尾端所位于的队列区域。选择单元306基于判断结果来选择第一估计处理或第二估计处理,并指示估计单元307进行所选择的估计处理。估计单元307是被配置为进行选择单元306所选择的估计处理以获得队列中的等待时间的估计器。
这里,将参考图4A和4B来描述第一估计处理和第二估计处理。图4A和4B是用于说明第一估计处理和第二估计处理的图。图4A是用于说明第一估计处理的图。第一估计处理是用于估计队列410中的等待时间的处理,其中可以获得进入时间(人通过入口的时间)、离开时间(人通过出口的时间)以及队列长度。对于队列410,针对在队列中等待的每个人设置进入时间Tin和序号N。进入时间Tin是人111通过入口101的时间,而序号N是在人111进入队列之前排队的人数,其与在紧挨着人111进入队列之前的队列长度一致。离开时间Tout是人111通过出口102的时间。
例如,当检测到人111通过入口101时,针对人111新设置人111的进入时间Tin和序号N。接着,当检测到在队列410的开头处的人111通过出口时,队列410中的序号前移,使得在队列中排队的每个人111的序号N减1。当N=0时,这意味着该人处于队列的开头。在这种状态下,当观察到该人111通过出口时,设置离开时间Tout。等待时间Tw是离开时间Tout和进入时间Tin之间的差,并且通过以下等式获得。
Tw=Tout-Tin...(1)
图4B是用于说明第二估计处理的图。第二估计处理是用于估计队列420中的等待时间的处理,其中可以获得离开时间和队列长度。在第二估计处理中,不能基于通过入口来观察进入时间,而作为替代由队列长度的改变来检测人111的进入。具体地,定期观察队列长度L,并且从前次观察时的队列长度L'和前次观察到本次观察的时间段期间的离开数Nout来获得从前次观察到本次观察的时间段期间进入队列的人数(新进入的人数)。由以下等式获得新进入的人数Nin。
Nin=L-L′+Nout......(2)
当由该等式计算的Nin为正时,将与Nin相对应的新进入的人数添加到队列420。后续处理与第一估计处理相同。也就是说,当观察到人111通过出口时,使用等式(1)来获得该人111的等待时间。此时,获得新进入的人数时的观察时间被用作等式(1)的进入时间Tin。在这种情况下,等式(1)的进入时间Tin可以是例如观察到队列长度L的时间或者观察到队列长度L'的时间。
以下是第一估计处理和第二估计处理的比较。第一估计处理可以通过检测通过入口的人而无延迟地将新进入的人添加到队列中。另一方面,在第二估计处理中,由于仅在观察队列中等待的人数(队列长度L)的定时才能添加新进入的人,因此在实际进入时间和用于获得等待时间的进入时间Tin之间可能出现误差。可以通过缩短观察间隔来解决该问题。然而,在第二估计处理中,观察队列长度L。因此,在队列长度大使得存在大量等待的人的队列的情况下,人检测处理的负担大,并且难以缩短观察间隔。结果,与第一估计处理相比,第二估计处理具有即使在不能明确定义队列的入口时也可以应用的优点,而另一方面,等待时间的估计精度方面较差。
根据本实施例的信息处理装置130设置图像中的队列的入口和出口,并且当队列的尾端未到达入口时使用第一估计处理来获得等待时间。当队列的尾端延伸到入口外时,信息处理装置130不能使用第一估计处理获得等待时间,因此使用第二估计处理来获得等待时间。
图5是示出队列的尾端在队列的入口101内的队列图像的示例的图。图6是示出队列的尾端在队列的入口101外的队列图像的示例的图。在由摄像装置120拍摄的队列图像中设置入口101和出口102。例如,可以通过在队列图像中的任意位置处形成虚线来设置入口101和出口102。因此,队列图像可以包括入口101内的第一队列区域510和入口101外的第二队列区域520。可以在第一队列区域510和第二队列区域520各自中进一步设置一个或多个设置区域R。在本实施例中,在第一队列区域510中设置了设置区域R1至R3,并且在第二队列区域520中设置了设置区域R4至R6。在本实施例中,例如,可以通过预先观察或预测队列将延伸到的区域来设置第二队列区域520中的设置区域R4至R6。在图5中,第一队列区域510中包括的设置区域R3对应于尾端。因此,信息处理装置130进行第一估计处理以获得等待时间。另一方面,在图6中,第二队列区域520中包括的设置区域R5是尾端。因此,信息处理装置130进行第二估计处理以获得等待时间。
图7A和7B是示出根据第一实施例的信息处理装置的处理的示例的流程图。图7A是示出根据本实施例的主处理的示例的流程图。首先,在处理开始之后,在步骤S701中,图像获取单元302通过通信单元301获取由摄像装置120拍摄的队列图像。在步骤S702中,人检测单元303检测队列图像中的人。在步骤S703中,基于人检测单元303的检测结果,通过人数获取单元304对通过队列的入口101和出口102各自的人进行计数。这里,由于信息处理装置130被默认设置为首先进行第一估计处理,因此对通过队列的入口和出口各自的人进行计数。
接着,在步骤S704中,区域人数获取单元305基于人检测单元303的检测结果来对在各设置区域R中检测到的人进行计数。队列长度L是在设置区域R1至R6中检测到的人数的和,其由以下等式表示。
L=∑Ln|n=1...N......(3)
在上面的等式中,Ln表示在设置区域Rn中检测到的人数。
随后,在步骤S705中,区域人数获取单元305判断对所有设置区域R中检测到的人的计数是否已经结束。如果对所有设置区域R中检测到的人的计数未结束(否),则处理返回到步骤S704并重复步骤S704至S705。如果对所有设置区域R中检测到的人的计数已经结束(是),则在步骤S706中,选择单元306判断队列的尾端位于第一队列区域和第二队列区域中的哪一个。应注意,S704和S705的处理不必在每次获取到图像时都进行,并且进行处理的次数可以根据系统的负荷减少到诸如每获取到图像两次等而进行一次。
这里,将描述步骤S706中的尾端判断处理的细节。图7B是示出根据本实施例的尾端判断处理的示例的流程图。该流程中的各处理可以由选择单元306进行。首先,在步骤S720中,选择单元306临时设置判断使得队列的尾端位于入口101内的第一队列区域510中。接着,在步骤S721中,选择单元306将队列的尾端所在的设置区域R初始化为设置区域R1。设置区域R1是最靠近队列的出口102的设置区域R。随后,在步骤S722中,选择单元306判断在设置区域Rn中等待的人数是否等于或大于阈值。这里,n是自然数。阈值由设置单元308设置。阈值可以被设置为固定值,或者可以基于在最近时间段中在判断区域内检测到的人数的统计量来设置。可以使用乘以预定常数的最频值或平均值作为统计量。可以针对设置区域R设置不同的阈值,或者也可以设置相同的阈值。如果在步骤S722中判断为在设置区域Rn中等待的人数小于阈值(否),则选择单元306判断为设置区域Rn是队列的尾端所位于的尾端区域Ren并且处理进入S725。如果在设置区域Rn中等待的人数等于或大于阈值(是),则在步骤S723中选择单元306将Rn递增1。
接着,在步骤S724中,选择单元306判断是否已经完成了对所有设置区域R的处理。也就是说,选择单元306将Rn+1与Rn的最大值Rmx进行比较。具体地,例如,在图5中,由于设置了六个设置区域R,因此最大值Rmx为6。返回到图7B,如果Rn+1的值等于或小于最大值Rmx(否),则由于还没有完成对所有设置区域R的处理,因此处理返回到步骤S722并重复步骤S722至S724。如果Rn+1的值大于最大值Rmx(是),则由于已经完成了对所有设置区域R的处理,因此选择单元306判断为设置区域Rmx是尾端区域Ren,并且处理进入S725。
在步骤S725中,选择单元306判断尾端区域Ren的值是否大于入口区域Rin的值。这里,入口区域Rin是位于入口101内并且与入口101相邻的设置区域R。具体地,例如,在图5中,Rin=3。返回到图7B,如果Ren的值小于或等于Rin的值(否),则由于队列的尾端位于第一队列区域510内,因此选择单元306判断为队列的尾端位于入口101内,并且处理进入图7A中的S707。另一方面,如果在步骤S725中判断为Ren的值大于Rin的值(是),则由于队列的尾端位于第二队列区域520中,因此在步骤S726中选择单元306判断为队列的尾端位于入口101外,并且处理类似地进入S707。
返回到图7A,在步骤S707中,选择单元306基于尾端判断的结果来判断队列的尾端是否在入口101外。如果尾端不在入口101外(否),则处理进入S708,并且选择单元306选择第一估计处理并指示估计单元307进行第一估计处理。如果尾端在入口101外(是),则处理进入S709,并且选择单元306选择第二估计处理并指示估计单元307进行第二估计处理。接着,在步骤S710中,估计单元307进行由选择单元306选择的估计处理并输出结果。在步骤S711中,如果已经发出终止指示,则终止处理。如果尚未发出终止指示,则处理返回到步骤S701以继续处理。
根据以上所述,可以根据队列的尾端是位于入口内还是入口外来切换等待时间估计处理的方法。结果,无论队列的状态如何,都可以提高队列中的等待时间的估计精度。
尽管已经关于使用一个摄像装置的情况描述了本实施例,但是可以通过不同的摄像装置来获得队列的出口和入口的图像。此外,可以在通过不同摄像装置获得的图像中设置多个设置区域。在这种情况下,可以采用并行处理配置,使得用于在步骤703和704中获取队列的等待人数的处理在不同实现的处理、任务或线程上执行,并且在主处理、任务或线程中组合结果。
此外,在本实施例中,队列的入口和出口由队列图像中的虚线定义,但是本发明不限于此。例如,可以设置诸如基于红外线的通过传感器等的检测装置,并且可以通过连接该检测装置和信息处理装置来设置入口和出口。
(第二实施例)
接着,将描述第二实施例。在第二实施例中未提及的事项遵循上述实施例。在第二实施例中,如果队列的尾端位于入口外,则整个队列被分成两个队列:位于第一队列区域中的队列和位于第二队列区域中的队列。然后,将利用队列获得的估计结果进行组合以估计总等待时间。
首先,将参考第一实施例的图6来描述根据本实施例的队列的划分。在图6中,队列的尾端位于第二队列区域520中。此时,位于第一队列区域510中包括的设置区域R1至R3中的队列被设置为第一队列,并且位于第二队列区域520中包括的设置区域R4至R6中的队列被设置为第二队列。以这种方式,可以以入口101作为第一队列的入口并且以出口102作为第一队列的出口针对第一队列进行第一估计处理。另一方面,不能在第二队列中定义队列的入口,并且通过将入口101设置为第二队列的出口来进行第二估计处理。
图8是用于说明根据第二实施例的估计处理的图。第一估计处理方法和第二估计处理方法与第一实施例的第一估计处理方法和第二估计处理方法相同,但是等待总人数是第一队列810和第二队列820的各个等待人数的和。另外,在本实施例中,可以说通过第二队列820的出口821的人111同时是通过第一队列810的入口811的人111。因此,当检测到通过第一队列810的入口811时,针对人111,除了第一队列810的进入时间之外还设置与第二队列820的等待时间Twm有关的信息。当人111通过第一队列810的出口812时,将第二队列820的等待时间与第一队列810的等待时间相加以获得等待时间Tw。也就是说,根据本实施例的估计处理的等待时间Tw可以由以下等式表示。
Tw=Tout-Tin+Twm......(4)
图9是示出根据第二实施例的主处理的示例的流程图。与图7A中的附图标记相同的附图标记分配了与图7A所示的流程图中的步骤相同的步骤,并且将省略对这些步骤的描述。在步骤S706中,进行相同的队列尾端判断。然而,无论结果如何,在步骤S901中,选择单元306都针对第一队列810选择第一估计处理,并指示估计单元307针对第一队列810进行第一估计处理。估计单元307针对第一队列810进行第一估计处理。接着,如果选择单元306在步骤S707中判断为队列的尾端在入口外(是),则处理进入步骤S902。在步骤S902中,选择单元306针对第二队列820选择第二估计处理,并指示估计单元307针对第二队列820进行第二估计处理。估计单元307针对第二队列820进行第二估计处理。此后,在步骤S903中,估计单元307将对第一队列810的第一估计处理的结果和对第二队列820的第二估计处理的结果进行组合。具体地,估计单元307将第二队列820的等待时间与第一队列810的等待时间相加以输出等待时间估计结果。如果选择单元306在步骤S707中判断为队列的尾端不在入口外(否),则估计单元307输出对第一队列810的第一估计处理的结果。
作为上述处理的结果,即使具有入口和出口的队列延伸超过入口,也可以在不降低精度的情况下估计队列中的等待时间。
尽管上面已经描述了本发明的实施例,但是本发明不限于这些实施例,并且在其要旨的范围内可以进行各种修改。
本发明还可以通过经由网络或存储介质提供用于实现上述实施例的一个或多个功能的程序的系统或设备并使该系统或设备的计算机中的一个或多个处理器读取并执行该程序来实现。本发明还可以通过实现一个或多个功能的电路(例如,ASIC)来实现。此外,通过将本发明的处理存储在摄像装置120的ROM 211中,摄像装置120可以执行本发明的功能。在这种情况下,摄像装置120对上述流程图的处理是通过摄像装置120的CPU 210基于存储在ROM 211中的程序执行处理来实现的。此外,在这种情况下,摄像装置120通过(作为输出单元的)通信控制单元214将所获得的等待时间输出到诸如信息处理装置等的外部装置。
虽然已经参考典型实施例描述了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求的范围应被赋予最广泛的解释,以便包含所有这些修改和等同的结构和功能。
本申请要求2018年5月30日提交的日本专利申请2018-103820的权益,其通过引用整体并入本文。

Claims (9)

1.一种信息处理装置,包括:
获取单元,其被配置为从图像获取队列中排队的人数;
第一检测单元,其被配置为检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;
第二检测单元,其被配置为检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及
计算单元,其被配置为进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测单元所检测到的对象人物通过所述第一线的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取单元获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,
其中,所述计算单元被配置为在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
2.根据权利要求1所述的信息处理装置,还包括判断单元,所述判断单元被配置为判断所述队列的尾端是否比所述第一线更靠近所述队列的开头,
其中,所述计算单元被配置为在所述判断单元判断为所述队列的尾端比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述判断单元判断为所述队列的尾端不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
3.根据权利要求2所述的信息处理装置,其中,所述图像包括所述第一区域和在所述第一区域外并且构成所述队列的第二区域,以及
所述判断单元被配置为在所述队列的尾端位于所述第一区域内的情况下判断为所述队列的尾端比所述第一线更靠近所述队列的开头,以及在所述队列的尾端位于所述第二区域内的情况下判断为所述队列的尾端不比所述第一线更靠近所述队列的开头。
4.根据权利要求3所述的信息处理装置,还包括设置单元,所述设置单元被配置为在所述第一区域和所述第二区域内设置一个或多个设置区域,
其中,所述获取单元被配置为获取所述一个或多个设置区域中的各个设置区域中的人数,以及
所述判断单元被配置为在具有比阈值少的人数的设置区域包括在所述第一区域内的情况下判断为所述队列的尾端位于所述第一区域内,以及在具有比阈值少的人数的设置区域包括在所述第二区域内的情况下判断为所述队列的尾端位于所述第二区域内。
5.根据权利要求4所述的信息处理装置,其中,所述设置单元被配置为针对所述多个设置区域中的各个设置区域设置所述阈值。
6.根据权利要求1所述的信息处理装置,其中,所述第二检测单元所检测到的所述对象人物通过所述第二线的时间是在所述对象人物被添加到所述队列之后所述第二检测单元所检测到的通过所述第二线的人数达到在所述对象人物被添加到所述队列之后所述获取单元所获取到的人数的时间。
7.一种摄像装置,包括:
摄像单元,其被配置为拍摄队列的图像;
获取单元,其被配置为从所述摄像单元所拍摄的图像获取所述队列中排队的人数;
第一检测单元,其被配置为检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;
第二检测单元,其被配置为检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及
计算单元,其被配置为进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测单元所检测到的对象人物通过所述第一线的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取单元获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,
其中,所述计算单元被配置为在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
8.一种信息处理装置所进行的信息处理方法,所述信息处理方法包括:
获取处理,其包括从图像获取队列中排队的人数;
第一检测处理,其包括检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;
第二检测处理,其包括检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及
计算处理,其包括进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测处理中所检测到的对象人物通过所述第一线的时间和所述第二检测处理中所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取处理中获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测处理中所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,
其中,所述计算处理包括:在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
9.一种计算机可读存储介质,其存储用于使计算机用作信息处理装置的各组件的程序,所述信息处理装置包括:
获取单元,其被配置为从图像获取队列中排队的人数;
第一检测单元,其被配置为检测人通过第一线,所述第一线是人在进入作为包括所述队列的开头的区域的第一区域时通过的线;
第二检测单元,其被配置为检测人通过第二线,所述第二线是人在离开所述第一区域时通过的并且与所述队列的开头相对应的线;以及
计算单元,其被配置为进行第一计算处理或者第二计算处理,其中所述第一计算处理用于基于所述第一检测单元所检测到的对象人物通过所述第一线的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,以及所述第二计算处理用于基于所述获取单元获取到包括所述对象人物的队列中排队的人数的时间和所述第二检测单元所检测到的所述对象人物通过所述第二线的时间来计算所述对象人物在所述队列中的等待时间,
其中,所述计算单元被配置为在所述队列的尾端的位置比所述第一线更靠近所述队列的开头的情况下进行所述第一计算处理,以及在所述队列的尾端的位置不比所述第一线更靠近所述队列的开头的情况下进行所述第二计算处理。
CN201910462604.0A 2018-05-30 2019-05-30 信息处理装置、摄像装置、信息处理方法和存储介质 Pending CN110555363A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-103820 2018-05-30
JP2018103820A JP7237467B2 (ja) 2018-05-30 2018-05-30 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN110555363A true CN110555363A (zh) 2019-12-10

Family

ID=66625819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910462604.0A Pending CN110555363A (zh) 2018-05-30 2019-05-30 信息处理装置、摄像装置、信息处理方法和存储介质

Country Status (5)

Country Link
US (1) US10872422B2 (zh)
EP (1) EP3576054B1 (zh)
JP (1) JP7237467B2 (zh)
KR (1) KR102482765B1 (zh)
CN (1) CN110555363A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704782B2 (en) * 2018-10-03 2023-07-18 The Toronto-Dominion Bank Computerized image analysis for automatically determining wait times for a queue area
CN109840982B (zh) * 2019-01-02 2020-07-14 京东方科技集团股份有限公司 排队推荐方法及装置、计算机可读存储介质
CN112581677A (zh) * 2020-12-25 2021-03-30 深圳市创族智能实业有限公司 一种防插队的人脸识别排号机

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519567A (ja) * 2004-11-02 2008-06-05 センサーマティック・エレクトロニクス・コーポレーション 行列監視のためのシステム及び方法
JP2015215787A (ja) * 2014-05-12 2015-12-03 キヤノン株式会社 情報処理装置、待ち時間推定システム、情報処理方法及びプログラム
CN105139040A (zh) * 2015-10-13 2015-12-09 商汤集团有限公司 一种排队状态信息检测方法及其系统
WO2016004304A1 (en) * 2014-07-02 2016-01-07 WaitTime, LLC Techniques for automatic real-time calculation of user wait times
JP2016224651A (ja) * 2015-05-29 2016-12-28 株式会社日立パワーソリューションズ 行列末尾認識用の画像処理装置
JP2017068718A (ja) * 2015-09-30 2017-04-06 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN107153819A (zh) * 2017-05-05 2017-09-12 中国科学院上海高等研究院 一种排队长度自动检测方法及排队长度控制方法
JP2018036788A (ja) * 2016-08-30 2018-03-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20180144198A1 (en) * 2016-11-18 2018-05-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
JPH11175694A (ja) * 1997-12-11 1999-07-02 Omron Corp 混雑報知装置
JP3915721B2 (ja) 2003-03-20 2007-05-16 コニカミノルタホールディングス株式会社 監視装置
JP2005216217A (ja) 2004-02-02 2005-08-11 Chuo Electronics Co Ltd 行列の人数計測システムおよび人数計測方法
JP2005267010A (ja) * 2004-03-17 2005-09-29 Oki Electric Ind Co Ltd 監視端末及び監視システム
US7409076B2 (en) * 2005-05-27 2008-08-05 International Business Machines Corporation Methods and apparatus for automatically tracking moving entities entering and exiting a specified region
WO2007007470A1 (ja) * 2005-07-12 2007-01-18 Pioneer Corporation テーマパーク管理装置、テーマパーク管理方法、テーマパーク管理プログラムおよび記録媒体
JP2007317052A (ja) 2006-05-29 2007-12-06 Japan Airlines International Co Ltd 行列の待ち時間の計測システム
JP2008217289A (ja) 2007-03-02 2008-09-18 Mitsubishi Precision Co Ltd 人数計測システム
US8131010B2 (en) * 2007-07-30 2012-03-06 International Business Machines Corporation High density queue estimation and line management
US20130223678A1 (en) * 2012-02-24 2013-08-29 Bas Strategic Solutions, Inc. Time in Line Tracking System and Method
EP2677460B1 (de) * 2012-06-20 2015-07-08 Xovis AG Verfahren zur Bestimmung der Länge einer Warteschlange
GB201306313D0 (en) * 2013-04-08 2013-05-22 Vision Semantics Ltd Queue analysis
JP6724326B2 (ja) * 2015-09-30 2020-07-15 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US10282763B1 (en) * 2016-07-20 2019-05-07 Musa Sulejmani Queue wait time estimation system
JP6843557B2 (ja) * 2016-08-30 2021-03-17 キヤノン株式会社 システム、情報処理装置、情報処理方法及びプログラム
US20180240176A1 (en) * 2017-02-21 2018-08-23 Panasonic Intellectual Property Management Co., Ltd. Electronic routing and messaging in a venue based on activity level

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008519567A (ja) * 2004-11-02 2008-06-05 センサーマティック・エレクトロニクス・コーポレーション 行列監視のためのシステム及び方法
JP2015215787A (ja) * 2014-05-12 2015-12-03 キヤノン株式会社 情報処理装置、待ち時間推定システム、情報処理方法及びプログラム
WO2016004304A1 (en) * 2014-07-02 2016-01-07 WaitTime, LLC Techniques for automatic real-time calculation of user wait times
JP2016224651A (ja) * 2015-05-29 2016-12-28 株式会社日立パワーソリューションズ 行列末尾認識用の画像処理装置
JP2017068718A (ja) * 2015-09-30 2017-04-06 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN105139040A (zh) * 2015-10-13 2015-12-09 商汤集团有限公司 一种排队状态信息检测方法及其系统
JP2018036788A (ja) * 2016-08-30 2018-03-08 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20180144198A1 (en) * 2016-11-18 2018-05-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN107153819A (zh) * 2017-05-05 2017-09-12 中国科学院上海高等研究院 一种排队长度自动检测方法及排队长度控制方法

Also Published As

Publication number Publication date
KR20190136931A (ko) 2019-12-10
US10872422B2 (en) 2020-12-22
EP3576054B1 (en) 2024-08-21
JP7237467B2 (ja) 2023-03-13
US20190370976A1 (en) 2019-12-05
JP2019207639A (ja) 2019-12-05
KR102482765B1 (ko) 2022-12-29
EP3576054A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
JP6843557B2 (ja) システム、情報処理装置、情報処理方法及びプログラム
EP3576054B1 (en) Information processing device, imaging device, information processing method, and storage medium
EP2840557B1 (en) Image processing system, server device, image pickup device and image evaluation method
WO2016203697A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP2015103104A (ja) 情報処理装置、情報処理方法、情報処理システム
US10318792B2 (en) Target pickup device and target detection method
JP2019078880A (ja) 制御装置、撮像装置、制御方法、及びプログラム
EP3663969A1 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
CN113811825A (zh) 作业分析装置、作业分析方法及程序
JP6991737B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2599701B2 (ja) エレベータの待機乗客数の検出方法
CN108334820B (zh) 信息处理设备、信息处理方法和存储介质
EP3883236A1 (en) Information processing apparatus, imaging apparatus, method, and storage medium
JP7182893B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
US20190026565A1 (en) Information processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium
WO2021124705A1 (ja) 計数システム、計数方法、プログラム
JP2020071783A (ja) 画像解析装置、画像解析方法、及びプログラム
JP2019192154A (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP7129209B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019192155A (ja) 画像処理装置、撮影装置、画像処理方法およびプログラム
JP2021022783A (ja) 制御装置、追尾システム、制御方法、及びプログラム
EP3965073A2 (en) Apparatus, method, and storage medium
EP4090007A1 (en) Imaging control apparatus for controlling exposure of imaging apparatus based on subject authentication result, imaging control method, and storage medium
EP4243402A1 (en) Information processing device, image capturing device, program, storage medium, and method
JP2023008071A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination