CN105723703A - 监控装置、监控系统以及监控方法 - Google Patents

监控装置、监控系统以及监控方法 Download PDF

Info

Publication number
CN105723703A
CN105723703A CN201580002435.2A CN201580002435A CN105723703A CN 105723703 A CN105723703 A CN 105723703A CN 201580002435 A CN201580002435 A CN 201580002435A CN 105723703 A CN105723703 A CN 105723703A
Authority
CN
China
Prior art keywords
picture
sub
image
subject area
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580002435.2A
Other languages
English (en)
Other versions
CN105723703B (zh
Inventor
合田阳一
松本裕一
由雄宏明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105723703A publication Critical patent/CN105723703A/zh
Application granted granted Critical
Publication of CN105723703B publication Critical patent/CN105723703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

监控装置具有：处理条件设定部，其根据用户的操作输入，在监视影像上设定对象区域；滞留信息获取部，其观测监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；副图像生成部，其生成副图像；副图像配置控制部，其基于由滞留信息获取部获取到的滞留信息，来控制副图像在监视影像上的配置位置；以及输出控制部，其基于由副图像配置控制部决定的副图像的配置位置，来生成将副图像合成在监视影像上而得到的监控影像，并将监控影像输出到显示装置。

Description

监控装置、监控系统以及监控方法
技术领域
本发明涉及一种生成使与在监视影像上设定的对象区域有关的副图像叠加显示在监视影像上而得到的监控影像并使该监控影像显示于显示装置的监控装置、监控系统以及监控方法。
背景技术
在便利店等店铺中，以下的监控系统被广泛普及：设置对店铺内进行拍摄的照相机，使由该照相机拍摄得到的监视影像显示在监视器上，来监视店铺内的状况。在这种监控系统中，当指定监视影像内的关注的区域来将该区域的图像放大显示时，能够详细地观察关注的区域中的人物的状态，从而能够可靠且高效地实施监视业务。
在像这样将监视影像内的关注的区域的图像放大显示的情况下，可以采用将放大图像作为副图像叠加显示在监视影像上的、所谓的PinP(PictureinPicture：画中画)方式，但是若单纯将副图像叠加显示在所指定的区域的正上，则所指定的区域的原图像及其周边部会被副图像遮住，从而成为监视业务的障碍。因此，期望将副图像配置于监视影像上的与所指定的区域不同的位置。
在这种PinP方式中，作为将副图像配置于监视影像上的与所指定的区域不同的位置的技术，以往已知如下一种技术：将发生异常的区域的放大图像作为副图像配置在监视影像的角落(参照专利文献1)。另外，已知如下一种技术：将人物的最佳拍摄的脸部图像作为副图像配置在没有运动的区域(静态块)、即不存在人物的区域(参照专利文献2)。
专利文献1：日本特开平10-322684号公报
专利文献2：日本特开2006-217070号公报
发明内容
那么，在专利文献1所记载的技术中，发生异常的区域的放大图像作为副图像叠加显示在监视影像上，因此能够详细地观察发生异常的区域的状况，但是关于将副图像配置于监视影像的哪个位置，没有进行任何考虑，只是单纯配置于监视影像的角落，那就会存在在监视影像中与关注的区域、即发生异常的区域关联性高的区域被遮住的情况，当变为这种状态时，存在给监视业务造成障碍的担忧。
另外，在专利文献2所记载的技术中，人物的最佳拍摄的脸部图像作为副图像被配置于不存在人物的区域，因此能够避免副图像成为监视业务的障碍，但是当在监视区域混杂的状况下整个监视影像存在大量的人物时，存在无法顺利找到没有运动的区域(静态块)、从而无法适当地应对混杂的状况的问题，期望一种无论监视区域的状况如何都能够将副图像配置于监视影像上的适当位置的技术。
本发明是为了解除这种以往技术的问题而提出的，其主要目的在于提供一种构成为如下结构的监控装置、监控系统以及监控方法：将与在监视影像上指定的区域有关的副图像配置于监视影像上的适当位置，副图像不会成为监视业务的妨碍，能够完成高效的监视业务。
本发明的监控装置生成使与在监视影像上设定的对象区域有关的副图像叠加显示在监视影像上而得到的监控影像，并使该监控影像显示于显示装置，该监控装置具有：对象区域设定部，其根据用户的操作输入，在所述监视影像上设定所述对象区域；滞留信息获取部，其观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；副图像生成部，其生成所述副图像；副图像配置控制部，其基于由所述滞留信息获取部获取到的所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及输出控制部，其基于由该副图像配置控制部决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
另外，本发明的监控系统生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置。该监控系统具有：照相机，其拍摄监视区域；多个信息处理装置；以及显示装置，其显示所述监控影像。并且，所述多个信息处理装置中的任一信息处理装置具备：对象区域设定部，其根据用户的操作输入，在所述监视影像上设定所述对象区域；滞留信息获取部，其观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；副图像生成部，其生成所述副图像；副图像配置控制部，其基于由所述滞留信息获取部获取到的所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及输出控制部，其基于由该副图像配置控制部决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
另外，本发明的监控方法使信息处理装置进行以下处理：生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置。该监控方法具有以下步骤：根据用户的操作输入，在所述监视影像上设定所述对象区域；观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；生成所述副图像；基于所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及基于通过该步骤决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
根据本发明，基于运动体的滞留状况来控制副图像在监视影像上的配置位置，因此能够将副图像配置于监视影像上的适当位置。因此，副图像不会成为监视业务的妨碍，能够高效地完成监视业务。
附图说明
图1是第一实施方式所涉及的监控系统的整体结构图。
图2是表示店铺中的照相机1的设置状况的俯视图。
图3A是表示监视器7所显示的监控影像的说明图。
图3B是表示监视器7所显示的监控影像的说明图。
图4是说明在由PC3进行的处理中生成的滞留信息的说明图。
图5是说明由PC3进行的处理的概要的说明图。
图6是表示PC3的概要结构的功能框图。
图7是表示监视器7所显示的对象区域输入画面的说明图。
图8A是表示监视器7所显示的副图像设定画面的说明图。
图8B是表示监视器7所显示的副图像设定画面的说明图。
图8C是表示监视器7所显示的副图像设定画面的说明图。
图9是表示由副图像配置控制部34进行的处理的过程的流程图。
图10是说明由候选区域评价部52进行的候选区域设定处理的说明图。
图11是表示第二实施方式中监视器7所显示的监控影像的说明图。
图12是说明第三实施方式中由PC3进行的处理的概要的说明图。
图13是表示第五实施方式所涉及的监控系统中的照相机1和PC3的概要结构的功能框图。
具体实施方式
第一发明生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置。该监控装置具有：对象区域设定部，其根据用户的操作输入，在所述监视影像上设定所述对象区域；滞留信息获取部，其观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；副图像生成部，其生成所述副图像；副图像配置控制部，其基于由所述滞留信息获取部获取到的所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及输出控制部，其基于由该副图像配置控制部决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
据此，基于运动体的滞留状况来控制副图像在监视影像上的配置位置，因此能够将副图像配置于监视影像上的适当位置。因此，副图像不会成为监视业务的妨碍，能够高效地完成监视业务。
另外，第二发明为以下结构：所述滞留信息包括与滞留度和滞留时间有关的信息，所述滞留度是滞留于在所述监视影像上设定的观测区域的运动体的数量，所述滞留时间是运动体在所述观测区域内滞留的时间。
据此，基于滞留度和滞留时间来控制副图像的配置位置，因此能够将副图像配置于适当位置。
另外，第三发明为以下结构：所述副图像配置控制部基于所述滞留信息，以与所述对象区域之间的、与运动体的滞留状态有关的关联性低为条件，来决定所述副图像的配置位置。
据此，在与对象区域的关联性低的区域配置副图像，与对象区域的关联性高的区域不被副图像遮住，因此能够避免成为监视业务的妨碍。
另外，第四发明的所述副图像配置控制部基于所述滞留信息，来判定所述对象区域处于滞留状态和非滞留状态中的哪一种。而且，在判定为所述对象区域处于滞留状态的情况下，以所述滞留度和所述滞留时间的值均小为条件，来决定所述副图像的配置位置。在判定为所述对象区域处于非滞留状态的情况下，以所述滞留度的值小且所述滞留时间的值大为条件，来决定所述副图像的配置位置。
据此，在运动体的数量少的区域配置副图像，因此能够极力避免运动体被副图像遮住。而且，在用户关注运动体滞留的区域并将对象区域指定为该运动体滞留的区域的一部分的情况下，对象区域为滞留状态，在运动体流动的区域配置副图像，另外，在用户关注运动体流动的区域并将对象区域指定为该运动体流动的区域的一部分的情况下，对象区域为非滞留状态，在运动体滞留的区域配置副图像。因此，用户所关注的区域不会被副图像遮住，能够避免副图像成为监视业务的妨碍。
另外，第五发明为以下结构：所述副图像配置控制部基于所述滞留信息，针对作为所述副图像的配置位置的候选的多个候选区域，获取表示与所述对象区域之间的关联性的高低的评价值。而且，以该评价值小为条件，来选择最佳的所述候选区域，基于该候选区域来决定所述副图像的配置位置。
据此，能够简单地以高精度搜索最佳的候选区域，从而能够高效且高精度地决定副图像的配置位置。
另外，第六发明为以下结构：所述副图像配置控制部检测所述对象区域的原图像中出现的运动体的朝向，基于该检测的结果来决定所述副图像的配置位置。
据此，用户通过观看监控影像中对象区域的原图像中照出的运动体的朝向，能够立即发现与对象区域对应的副图像，因此能够实现监视业务的进一步的高效化。
另外，第七发明为以下结构：所述副图像生成部生成将所述对象区域的原图像放大而得到的放大图像来作为所述副图像。
据此，将对象区域的原图像放大而得到的放大图像作为副图像叠加显示在监视影像上，因此能够详细地观察关注的区域中的运动体的状态。
另外，第八发明是一种监控系统，该监控系统生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置。该监控系统具有：照相机，其拍摄监视区域；多个信息处理装置；以及显示装置，其显示所述监控影像。并且，所述多个信息处理装置中的任一信息处理装置具有：对象区域设定部，其根据用户的操作输入，在所述监视影像上设定所述对象区域；滞留信息获取部，其观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；副图像生成部，其生成所述副图像；副图像配置控制部，其基于由所述滞留信息获取部获取到的所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及输出控制部，其基于由该副图像配置控制部决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
据此，与第一发明同样地，将与在监视影像上指定的区域有关的副图像配置于监视影像上的适当位置，副图像不会成为监视业务的妨碍，能够高效地完成监视业务。
另外，第九发明是一种监控方法，该监控方法使信息处理装置进行以下处理：生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置。该监控方法具备以下步骤：根据用户的操作输入，在所述监视影像上设定所述对象区域；观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；生成所述副图像；基于所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及基于通过该步骤决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
据此，与第一发明同样地，将与在监视影像上指定的区域有关的副图像配置于监视影像上的适当位置，副图像不会成为监视业务的妨碍，能够高效地完成监视业务。
下面，参照附图来说明本发明的实施方式。
(第一实施方式)
图1是第一实施方式所涉及的监控系统的整体结构图。该监控系统是以超市等零售店铺等为对象而构建的，具有照相机1、记录器(影像存储装置)2以及PC(监控装置)3。
照相机1设置于店铺内的适当场所，通过照相机1对店铺内(监视区域)进行拍摄，由此得到的影像被存储于记录器2。
PC3上连接有由店长等用户进行各种输入操作的鼠标等输入设备6以及显示监控画面的监视器(显示装置)7。通过监视器7所显示的监控画面，用户能够实时地浏览由照相机1拍摄得到的店铺内的影像，另外，能够浏览记录器2中录制的过去的店铺内的影像。
另外，在多个店铺中各自设置有照相机1、记录器2以及PC3，在对多个店铺进行综合的本部设置有PC11，在PC11中，能够实时地浏览由照相机1拍摄得到的店铺内的影像，另外，能够浏览记录器2中录制的过去的店铺内的影像，由此能够在本部确认店铺内的状况。
在本实施方式中，设置于店铺的PC3构成为对店铺内的人物、商品的状态进行监视的监控装置，店铺侧的用户、例如店长能够利用PC3浏览由PC3生成的监控影像，并且，该监控影像被发送到设置于本部的PC11，本部侧的用户、例如对所负责的地域的各店铺进行指导、提议的主管等在PC11中也能够浏览该监控影像，PC3、PC11构成为浏览监控影像的浏览装置。
接着，说明店铺中的照相机1的设置状况。图2是表示店铺中的照相机1的设置状况的俯视图。
在店铺内设置有商品展示架和收银台。顾客在商品展示架取得期望的商品后在收银台进行支付，此时，顾客从设置有商品展示架的商品展示区域侧进入收银台，当结账结束时从收银台退出。照相机1被设置成从正面拍摄进入收银台的顾客，由此，能够根据通过照相机1得到的监视影像来进行人物检测。此外，在店铺中，除此以外还将照相机1设置为对通过商品展示架之间的通路的顾客、在商品展示架的面前进行品评的顾客进行拍摄。
接着，说明由图1所示的PC3进行的处理的概要。图3A、图3B是表示图1所示的监视器7所显示的监控影像的说明图。图4是说明在由PC3进行的处理中生成的滞留信息的说明图。图5是说明由PC3进行的处理的概要的说明图。
如图3A、图3B所示，在由照相机1拍摄得到的监视影像上照出在收银台进行结算的人物，这些人物从入口侧、即远离照相机1的里侧进入收银台，从出口侧、即接近照相机1的面前侧退出，在收银台的周围形成以在收银台进行结算的人物为开头的队伍，在此成为人物滞留的状态。另外，在收银台的入口侧形成朝向收银台的人物的流动，在收银台的出口侧，形成已在收银台完成结算的人物朝向店铺的出入口等的人物的流动。
在本实施方式中，用户将对象区域指定为在监视影像上关注的区域的一部分，使将该对象区域的原图像放大而得到的放大图像以PinP方式显示在监视影像上。即，将放大图像作为副图像叠加显示在监视影像上。
在此，图3A是用户关注人物滞留的区域、将对象区域设定为该人物滞留的区域的一部分的情况。在该情况下，通过使将对象区域的原图像放大而得到的放大图像作为副图像显示，能够详细地观察对象区域内的人物的状态，但是，此时也需要对人物滞留的区域整体的人物的状态进行观察。因此，需要避开人物滞留的区域地配置副图像。因此，在本实施方式中，将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域、即人物流动的区域。
图3B是用户关注人物流动的区域、将对象区域设定为该人物流动的区域的一部分的情况。在该情况下，通过使将对象区域的原图像放大而得到的放大图像作为副图像显示，能够详细地观察对象区域内的人物的状态，但是，此时也需要对人物流动的区域整体的人物的状态进行观察。因此，需要避开人物流动的区域地配置副图像。因此，在本实施方式中，将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域、即人物滞留的区域。
这样，在本实施方式中，将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域，由此能够不受副图像干扰地观察与对象区域关联性高的区域、即用户所关注的区域整体。另外，在将副图像配置于与对象区域关联性低的区域的情况下，也期望将副图像配置成尽可能不遮住人物。因此，在本实施方式中，将副图像配置于人物少且与对象区域关联性低的区域。
另外，在本实施方式中，为了将副图像配置于与对象区域之间的、与人物的滞留状态有关的关联性低的区域，而观测监视影像中出现的人物的滞留状态，基于作为该观测的结果而得到的滞留信息来判定对象区域的滞留状态，根据该对象区域的滞留状态来搜索与对象区域关联性低的区域，决定副图像的配置位置。
在此，在本实施方式中，如图4所示，按将监视影像分割为格子状而得到的多个单元C(观测区域)的每个单元C来获取表示人物的滞留状况的滞留信息。在本实施方式中，作为每个单元C的滞留信息，获取每个单元C的滞留度(在图4所示的例子中，显示为B1～B10这10个级)和每个单元C的滞留时间，该滞留度是在规定的观测期间内滞留于各单元C内的人物的人数，该滞留时间是在规定的观测期间内人物在各单元C内滞留的时间。然后，基于每个单元C的滞留信息(滞留度和滞留时间)来判定对象区域的滞留状态，另外，搜索与对象区域关联性低的区域。
此外，在图4中，为了说明表示监视影像内的滞留状况的滞留信息，记载了使滞留信息可视化的热度图图像，但是在将副图像叠加显示在监视影像上的情况下，该热度图图像并不显示于监控影像。另外，图4中记载了表示每个单元C的滞留度的热度图图像，但是能够同样地得到表示每个单元C的滞留时间的热度图图像。
另外，在本实施方式中，如图5所示，针对对象区域求出每个人物的滞留时间的均值、即平均滞留时间，基于该对象区域中的平均滞留时间来判定对象区域处于滞留状态和非滞留状态中的哪一种。通过将平均滞留时间与规定的阈值相比较来进行该滞留状态的判定。
另一方面，在决定副图像的配置位置时，在监视影像上设定候选区域，针对该候选区域来评价其与对象区域之间的、与滞留状态有关的关联性。此时，针对候选区域求出滞留度以及将每个人物的滞留时间相加而得到的总滞留时间，基于该候选区域中的滞留度和总滞留时间来评价与对象区域的关联性。
在此，首先，去除滞留度高的候选区域、即存在大量的人物的候选区域，限定于滞留度低的候选区域、即人物少的候选区域。然后，选择与对象区域关联性低的候选区域、即处于与对象区域的滞留状态相反的滞留状态的候选区域。具体地说，在对象区域处于滞留状态的情况下，选择滞留度低且总滞留时间短的候选区域，在对象区域处于非滞留状态的情况下，选择滞留度低且总滞留时间长的候选区域。
此外，在图3A、图3B所示的监控影像中，监视影像显示为运动图像，另外，始终显示副图像的显示框，在该显示框中以运动图像的方式显示作为对象区域的原图像的放大图像的副图像。通常，监视影像的运动图像与副图像的运动图像是同步地再现的，但是根据监视者的喜好，也能够使副图像的运动图像的再现定时相对于监视影像的运动图像延迟。另外，在监控影像上始终显示表示对象区域的范围的框。另外，在本实施方式中，能够在监视影像上设定多个对象区域，在监控影像上显示有表示对象区域与副图像的对应关系的辅助线。此外，也可以通过改变对象区域的框和副图像的显示框的颜色来显示对应关系。另外，还可以利用将对象区域的框与副图像的显示框连接的箭头来显示对应关系。
另外，在本实施方式中，设为不使图4所示的热度图图像显示于监控影像，但是也可以是能够由用户切换显示模式和非显示模式。例如，当在监视用途下浏览监控影像时，热度图图像会干扰监视，因此最好选择非显示模式，而在监视以外的用途、例如顾客行动分析等用途下，热度图图像成为参考，因此最好选择显示模式。另外，在本实施方式中，能够由用户指定副图像的配置位置，此时，也可以显示热度图图像以作为用于该指定的参考。
接着，说明由图1所示的PC3进行的处理。图6是表示PC3的概要结构的功能框图。
PC3具有影像获取部31、滞留信息获取部32、副图像生成部33、副图像配置控制部34、输出控制部35以及处理条件设定部(对象区域设定部)36。
在影像获取部31中，从照相机1或记录器2获取由照相机1对店铺内进行拍摄得到的影像。在此，在使当前的影像实时显示的情况下从照相机1获取影像，在显示过去的影像的情况下从记录器2获取影像。
滞留信息获取部32观测在由影像获取部31获取到的影像中出现的人物的滞留状况，获取以各单元C(参照图4)为对象的表示人物的滞留状况的滞留信息(滞留时间和滞留度)，该滞留信息获取部32具有位置信息获取部41、位置信息存储部42、滞留度获取部43以及滞留时间获取部44。
位置信息获取部41从由影像获取部31获取到的影像检测人物，获取每个人物的位置信息，具有人物检测部45和运动线路信息获取部46。
在人物检测部45中，进行以下处理：从由影像获取部31获取到的影像(帧)检测人物。由人物检测部45进行的处理只要使用公知的图像识别技术即可。在运动线路信息获取部46中，进行以下处理：基于人物检测部45中的检测结果来获取每个人物的运动线路(轨迹)。由运动线路信息获取部46获取到的、与每个人物的运动线路有关的信息作为每个人物的位置信息而存储到位置信息存储部42。
此外，在位置信息获取部41中，获取人物的中心点的坐标，以将该中心点连接的方式生成运动线路。另外，由位置信息获取部41获取的位置信息中包含根据检测出人物的影像的拍摄时刻而获取到的、与每个人物的检测时刻等有关的时间信息。
在滞留度获取部43中，进行以下处理：对位置信息存储部42中存储的每个人物的位置信息(运动线路信息)进行时间性统计处理，按每个单元C获取规定的观测期间中的滞留度(滞留人数)。在该处理中，对在观测期间通过各单元C的各人物的运动线路的条数进行计数，来求出观测期间中的滞留度。
在滞留时间获取部44中，进行以下处理：对位置信息存储部42中存储的每个人物的位置信息(运动线路信息)进行时间性统计处理，按每个单元C获取规定的观测期间中的滞留时间(总滞留时间和平均滞留时间)。在该处理中，首先，以在观测期间通过各单元C的各人物的运动线路为对象，获取每个人物的滞留时刻(相对于单元C的进入时刻和退出时刻)，接着，根据该每个人物的滞留时刻来获取每个人物的滞留时间，接着，将该每个人物的滞留时间相加，来获取观测期间中的总滞留时间。进而，通过将总滞留时间除以滞留度来获取每个人物的滞留时间的均值、即平均滞留时间。
另外，在滞留信息获取部32中，进行以下处理：根据每个单元C的滞留信息来生成由处理条件设定部36设定的对象区域的滞留信息(滞留时间和滞留度)。另外，在滞留信息获取部32中，进行以下处理：根据每个单元C的滞留信息来生成由副图像配置控制部34设定的候选区域的滞留信息。在该生成对象区域和候选区域的滞留信息的处理中，例如，能够通过将对象区域和候选区域所包括的各单元C的滞留信息乘以各单元C的占有率来求出对象区域和候选区域的滞留信息。此外，也可以不生成每个单元C的滞留信息，而是根据位置信息(运动线路信息)来生成对象区域和候选区域的滞留信息。
在副图像生成部33中，进行以下处理：从监视影像剪切出对象区域的图像区域，基于所剪切出的该原图像来生成副图像。在本实施方式中，进行以下处理：基于由处理条件设定部36设定的倍率或副图像的尺寸来放大对象区域的原图像。此外，在由处理条件设定部36设定了倍率(放大率)的情况下，根据对象区域的原图像的尺寸和倍率来决定副图像的尺寸。另外，在由处理条件设定部36设定了副图像的尺寸的情况下，进行以适合于该尺寸的方式放大原图像的处理。
副图像配置控制部34基于由滞留信息获取部32获取到的滞留信息来控制副图像在监视影像上的配置位置，具有对象区域判定部51、候选区域评价部52以及配置位置决定部53。
在对象区域判定部51中，进行以下处理：基于由滞留信息获取部32获取到的对象区域的滞留信息来判定对象区域的滞留状态。在本实施方式中，如上所述，在滞留信息获取部32中，求出对象区域的平均滞留时间、即作为通过对象区域的各人物的滞留时间的均值的平均滞留时间，具体地说，求出将各人物的滞留时间相加而得到的总滞留时间T除以滞留度F而得到的值(T/F)，在对象区域判定部51中，基于该平均滞留时间来判定对象区域的滞留状态。
在此，在平均滞留时间长、即人物滞留的情况下，判定为滞留状态，在平均滞留时间短、即人物流动的情况下，判定为非滞留状态。具体地说，将平均滞留时间与规定的阈值进行比较，在平均滞留时间为阈值以上的情况下判定为滞留状态，在平均滞留时间小于阈值的情况下判定为非滞留状态。
在候选区域评价部52中，进行以下处理：在监视影像上依次设定候选区域，使滞留信息获取部32进行获取每个候选区域的滞留信息的处理，基于该每个候选区域的滞留信息，来针对各候选区域评价其与对象区域之间的、与滞留状态有关的关联性。在本实施方式中，针对各候选区域计算表示与对象区域之间的关联性的高低的评价值。根据预先设定的计算式来计算与对象区域关联性高的候选区域上该评价值大的值，当与对象区域关联性高时，评价值变大，当与对象区域关联性低时，评价值变小。此外，在候选区域评价部52中，从副图像生成部33获取副图像的尺寸，以与该副图像的尺寸相同的尺寸来设定候选区域。
在配置位置决定部53中，进行以下处理：基于候选区域评价部52中的各候选区域的评价结果来选择最佳的候选区域，决定副图像的配置位置。在该处理中，以与对象区域之间的、与滞留状态有关的关联性低为条件，来选择候选区域。在本实施方式中，在候选区域评价部52中，针对各候选区域，计算表示与对象区域之间的关联性的高低的评价值，在配置位置决定部53中，以评价值小为条件来选择候选区域。此外，能够将评价值以外的条件考虑在内地选择候选区域，在不考虑评价值以外的条件的情况下，选择评价值最小的候选区域，之后对此适当说明。
此外，在本实施方式中，能够选择将副图像的配置位置固定于预先设定的位置的模式，在该情况下，在副图像配置控制部34中，将该预先设定的位置作为副图像的配置位置。另外，在本实施方式中，能够选择不进行与滞留状态有关的关联性的评价的模式，在该情况下，仅基于各候选区域的滞留度来选择最佳的候选区域。即，选择滞留度低的候选区域。
在输出控制部35中，进行以下处理：基于由副图像配置控制部34决定的副图像的配置位置来生成将由副图像生成部33生成的副图像合成在监视影像上而得到的监控影像，将该监控影像输出到监视器7。由此，监控影像(参照图3A、图3B)显示在监视器7上。另外，在输出控制部35中，进行以下处理：使监视器7显示对象区域输入画面(参照图7)、副图像设定画面(参照图8A、图8B、图8C)。
在处理条件设定部36中，进行以下处理：根据用户的操作输入来设定对象区域在监视影像上的位置。在该设定处理中，使显示了监视影像的对象区域输入画面(参照图7)显示于监视器7，使用户在该对象区域输入画面上输入对象区域的位置，从而获取对象区域的位置信息。按照由处理条件设定部36设定的对象区域的位置信息，在滞留信息获取部32中进行获取对象区域的滞留信息的处理，另外，在副图像生成部33中进行从监视影像剪切出对象区域的图像区域的处理。
另外，在处理条件设定部36中，进行以下处理：根据用户的操作输入来设定与副图像有关的处理条件。在该设定处理中，使监视器7显示副图像设定画面(参照图8A、图8B、图8C)，使用户在该副图像设定画面上输入处理条件，从而获取与处理条件有关的信息。按照由处理条件设定部36设定的处理条件，在副图像生成部33中进行生成副图像的处理，另外，在副图像配置控制部34中进行副图像的配置位置的控制。
接着，说明用户在监视影像上指定对象区域的操作。图7是表示图6所示的监视器7所显示的对象区域输入画面的说明图。
在本实施方式中，在处理条件设定部36中，进行根据用户的输入操作来在监视影像上设定对象区域的处理，此时，在监视器7上显示图7所示的对象区域输入画面。该对象区域输入画面用于由用户指定对象区域在监视影像上的位置，在该对象区域输入画面上显示有监视影像。用户使用鼠标等输入设备6来在监视影像上进行指定呈矩形的对象区域的一个顶点及其对角方向的另一个顶点的操作。例如，进行以下的拖放(Draganddrop)操作：点击一个顶点，拖拽到另一个顶点后释放。通过该操作，能够输入对象区域的位置。
接着，说明设定与副图像有关的各种条件的处理。图8A、图8B、图8C是表示图6所示的监视器7所显示的副图像设定画面的说明图。
在本实施方式中，在处理条件设定部36中，进行根据用户的输入操作来设定与副图像有关的各种条件的处理，此时，在监视器7上显示图8A、图8B、图8C所示的副图像设定画面。该副图像设定画面用于由用户指定与副图像有关的各种条件，如图8A所示，在该副图像设定画面上，设置有配置位置设定模式选择部61、尺寸设定模式选择部62、倍率指定部63以及尺寸指定部64。
在配置位置设定模式选择部61中，用户选择与副图像的配置位置有关的设定模式。在配置位置设定模式选择部61中，如图8B所示，能够通过下拉菜单来选择固定设定、动态设定(无关联性评价)以及动态设定(有关联性评价)中的任一设定模式。在固定设定中，将副图像的配置位置直接设定为在初始设定中预先决定的位置。在动态设定(无关联性评价)中，仅以滞留度低为条件来决定副图像的配置位置。在动态设定(有关联性评价)中，如上所述那样根据基于滞留状态的关联性评价来决定副图像的配置位置。
此外，也可以在配置位置设定模式选择部61中设置使用户任意地指定副图像的配置位置的模式。
在尺寸设定模式选择部62中，用户选择与副图像的尺寸有关的设定模式。在尺寸设定模式选择部62中，如图8C所示，能够通过下拉菜单来选择固定设定、倍率指定以及尺寸指定中的任一设定模式。在固定设定中，将预先设定的尺寸(或倍率)作为副图像的尺寸。在倍率指定中，将以由倍率指定部63指定的倍率将原图像放大而得到的放大图像的尺寸作为副图像的尺寸。在尺寸指定中，将由尺寸指定部64指定的尺寸作为副图像的尺寸。
在倍率指定部63中，用户指定副图像的倍率(放大率)。在尺寸指定部64中，用户指定副图像的尺寸。当在尺寸设定模式选择部62中选择了倍率指定时，能够在倍率指定部63中指定倍率，当在尺寸设定模式选择部62中选择了尺寸指定时，能够在尺寸指定部64中指定尺寸。在图8A所示的例子中，在倍率指定部63和尺寸指定部64中由用户输入数值，从而能够由用户指定任意的倍率和尺寸。
另外，在图8A所示的例子中，将副图像设为正方形，在尺寸指定部64中，以像素为单位来指定正方形的一个边的长度。此外，也可以将副图像设为任意纵横比的长方形，在尺寸指定部64中，分别指定副图像的纵横的长度。在该情况下，最好在对象区域设定画面(参照图7)中指定了对象区域之后显示该副图像设定画面。另外，也可以是，在副图像设定画面中指定了副图像的纵横的长度之后，在对象区域设定画面中能够以与所指定的纵横的长度对应的纵横比来指定对象区域。
这样，在本实施方式中，能够由用户自由地选择与副图像的配置位置有关的设定模式以及与副图像的尺寸有关的设定模式，另外，用户能够自由地指定副图像的倍率(放大率)和副图像的尺寸，因此能够根据监视区域的状况、监视业务的内容等来显示适当的副图像，由此能够实现监视业务的高效化。
接着，说明由图6所示的副图像配置控制部34进行的处理。图9是表示由副图像配置控制部34进行的处理的过程的流程图。
在本实施方式中，在副图像配置控制部34中，判定对象区域的滞留状态，根据该判定的结果来针对候选区域评价其与对象区域之间的、与滞留状态有关的关联性，基于该评价的结果来选择最佳的候选区域以决定副图像的配置位置。
具体地说，首先，在副图像配置控制部34的对象区域判定部51中，基于平均滞留时间来判定对象区域的滞留状态(ST101)。接着，在候选区域评价部52中，在判定为对象区域处于滞留状态的情况下(ST102：“是”)，针对候选区域计算第一评价值(ST103)。另一方面，在判定为对象区域处于非滞留状态的情况下(ST102：“否”)，针对候选区域计算第二评价值(ST104)。
然后，在配置位置决定部53中，基于第一评价值或第二评价值来选择最佳的候选区域，决定副图像的配置位置(ST105)。此时，选择第一评价值或第二评价值最小的候选区域，将该候选区域的位置作为副图像的配置位置。
接着，说明由图6所示的副图像配置控制部34的候选区域评价部52进行的候选区域设定处理。图10是说明由候选区域评价部52进行的候选区域设定处理的说明图。
在本实施方式中，在副图像配置控制部34的候选区域评价部52中，以与由副图像生成部33设定的副图像的尺寸相同的尺寸在监视影像上依次设定候选区域，针对各候选区域计算表示与对象区域之间的、与滞留状态有关的关联性的高低的评价值。此时，从规定的开始位置起错开固定的间隔地在监视影像上依次设定候选区域。
具体地说，在X方向(横向)和Y方向(纵向)上错开固定的间隔地在监视影像上依次设定候选区域。在图10所示的例子中，以监视影像的左上端为开始位置，从该开始位置起沿X方向(横向)错开固定的间隔地依次设定候选区域，当候选区域到达监视影像的右端时，接着，沿Y方向(纵向)错开固定的间隔，在此基础上沿X方向(横向)依次设定候选区域，通过重复这些来以监视影像整体为对象地设定候选区域。
接着，说明由图6所示的副图像配置控制部34的候选区域评价部52进行的评价值计算处理。
在本实施方式中，在副图像配置控制部34的候选区域评价部52中，针对各候选区域计算表示与对象区域之间的、与人物的滞留状态有关的关联性的高低的评价值。该评价值根据对象区域的滞留状态而不同，在对象区域处于滞留状态的情况下计算第一评价值，在对象区域处于非滞留状态的情况下计算第二评价值。
如下式所示，对象区域处于滞留状态的情况下的第一评价值S1为对滞留度F和总滞留时间T分别乘以规定的权重系数Wa1、Wb1而得到的值之和。
S1＝F×Wa1+T×Wb1
在此，在滞留度F和总滞留时间T的值均小的情况下，第一评价值S1变小。
另外，如下式所示，对象区域处于非滞留状态的情况下的第二评价值S2为对滞留度F和总滞留时间T的倒数分别乘以规定的权重系数Wa2、Wb2而得到的值之和。
S2＝F×Wa2+1/T×Wb2
在此，在滞留度F的值小且总滞留时间T的值大的情况下，第二评价值S2变小。
当像这样在候选区域评价部52中计算出第一评价值或第二评价值时，接着，在配置位置决定部53中进行以下处理：基于第一评价值或第二评价值来选择最佳的候选区域，基于该候选区域的位置来决定副图像的配置位置。
在该配置位置决定处理中，选择第一评价值或第二评价值最小的候选区域。由此，在对象区域处于滞留状态的情况下，选择滞留度和总滞留时间的值均小的候选区域，在对象区域处于非滞留状态的情况下，选择滞留度的值小且总滞留时间的值大的候选区域。
此外，评价值的计算式中使用的权重系数Wa1、Wb1、Wa2、Wb2只要以常数给出即可，但是也可以能够由用户适当变更以得到适当的评价结果。
另外，在配置位置决定处理中，有时会发现多个第一评价值或第二评价值相同的候选区域，在该情况下，可以基于预先设定的条件来将候选区域限定为一个，但是也可以对第一评价值或第二评价值相同的多个候选区域进行画面显示，使得能够由用户进行选择。
此外，在本实施方式中，以监视影像整体为对象来设定候选区域，但是在该情况下，有时会将大幅远离对象区域的位置决定为副图像的配置位置，从而成为对象区域同与其对应的副图像大幅相离的状态，用户要耗费工时来找出与对象区域对应的副图像。因此，最好在距对象区域比较近的位置决定副图像的配置位置，由此，能够减少用户的视线移动，提高监视业务的高效性。
在此，为了在距对象区域比较近的位置决定副图像的配置位置，只要在设定候选区域时将候选区域的设定范围限定于距对象区域规定的距离以下的区域即可。另外，也可以从基于滞留信息的评价值小的候选区域中选择距对象区域的距离短的候选区域。
另外，也可以是，以使距对象区域的距离反映到候选区域的评价值中的方式设定评价值的计算式。在该情况下，只要将评价值的计算式设定为在距对象区域的距离长的情况下评价值变大即可。例如，只要对评价值的计算式追加与从对象区域到候选区域的距离成正比的项即可。这样，当距对象区域的距离大时，评价值变大，通过选择评价值小的候选区域来选择距对象区域的距离短的候选区域。
如以上那样，在本实施方式中，在处理条件设定部(对象区域设定部)36中，根据用户的操作输入来在监视影像上设定对象区域，在滞留信息获取部32中，观测监视影像中出现的人物的滞留状况，获取表示该人物的滞留状况的滞留信息，在副图像生成部33中生成副图像，在副图像配置控制部34中，基于由滞留信息获取部32获取到的滞留信息，来控制副图像在监视影像上的配置位置，在输出控制部35中，基于由副图像配置控制部34决定的副图像的配置位置，来生成将副图像合成在监视影像上而得到的监控影像，并将该监控影像输出到显示装置。由此，基于人物的滞留状况来控制副图像在监视影像上的配置位置，因此能够将副图像配置于监视影像上的适当位置。因此，副图像不会成为监视业务的妨碍，能够高效地完成监视业务。
另外，在本实施方式中，滞留信息包括与滞留度和滞留时间有关的信息，该滞留度是滞留于在监视影像上设定的观测区域的人物的数量，该滞留时间是人物在观测区域内滞留的时间，基于滞留度和滞留时间来控制副图像的配置位置，因此能够将副图像配置于适当位置。
另外，在本实施方式中，在副图像配置控制部34中，基于滞留信息，以与对象区域之间的、与人物的滞留状态有关的关联性低为条件，来决定副图像的配置位置，从而副图像被配置在与对象区域的关联性低的区域，与对象区域的关联性高的区域不被副图像遮住，因此能够避免成为监视业务的妨碍。
另外，在本实施方式中，在副图像配置控制部34中，基于滞留信息来判定对象区域处于滞留状态和非滞留状态中的哪一种，在判定为对象区域处于滞留状态的情况下，以滞留度和滞留时间的值均小为条件来决定副图像的配置位置，在判定为对象区域处于非滞留状态的情况下，以滞留度的值小且滞留时间的值大为条件来决定副图像的配置位置。由此，在人物的数量少的区域配置副图像，因此能够极力避免人物被副图像遮住。而且，在用户关注人物滞留的区域并将对象区域指定为该人物滞留的区域的一部分的情况下，对象区域为滞留状态，在人物流动的区域配置副图像，另外，在用户关注人物流动的区域并将对象区域指定为该人物流动的区域的一部分的情况下，对象区域为非滞留状态，在人物滞留的区域配置副图像。因此，用户所关注的区域不会被副图像遮住，能够避免副图像成为监视业务的妨碍。
另外，在本实施方式中，在副图像配置控制部34中，基于滞留信息，针对作为副图像的配置位置的候选的多个候选区域，获取表示与对象区域的关联性的高低的评价值，以该评价值小为条件来选择最佳的候选区域，基于该候选区域来决定副图像的配置位置，因此，能够简单地以高精度搜索最佳的候选区域，从而能够高效且高精度地决定副图像的配置位置。
另外，在本实施方式中，在副图像生成部33中，生成将对象区域的原图像放大而得到的放大图像来作为副图像，将对象区域的原图像放大而得到的放大图像作为副图像叠加显示在监视影像上，因此能够详细地观察关注的区域中的人物的状态。
(第二实施方式)
接着，说明第二实施方式。此外，在此未特别提及的部分与第一实施方式相同。图11是表示第二实施方式中监视器7所显示的监控影像的说明图。
在第一实施方式中，在副图像配置控制部34中，基于滞留信息(滞留时间和滞留度)来决定副图像的配置位置，但是在第二实施方式中，除了滞留信息以外，还基于对象区域的原图像中照出的人物的脸的朝向来决定副图像的配置位置。特别是，在此，将副图像配置在与对象区域的原图像中照出的人物的脸的朝向大致一致的方向。
此外，在副图像配置控制部34中进行的检测人物的脸的朝向的处理中只要使用公知的图像识别技术即可。另外，在图11所示的例子中，在监视影像上设定有多个对象区域，显示有表示对象区域与副图像的对应关系的箭头。
在第二实施方式中，在副图像配置控制部34中，除了滞留信息以外，还基于对象区域的原图像中照出的人物的脸的朝向来选择最佳的候选区域。此时，与第一实施方式同样地，基于评价值来选择最佳的候选区域。在该情况下，只要将评价值的计算式设定为在候选区域位于与人物的脸的朝向一致的方向上的情况下评价值变低即可。例如，只要对评价值的计算式追加与候选区域相对于对象区域的方向同人物的脸的朝向所形成的角度成正比的项即可。这样，当候选区域相对于对象区域的方向与人物的脸的朝向大不相同时，评价值变大，通过选择评价值小的候选区域来选择位于与人物的脸的朝向大致一致的方向上的候选区域。
另外，也可以基于对象区域的原图像中照出的人物的脸的朝向来限定候选区域的设定范围。另外，也可以是，在以与第一实施方式相同的过程求出评价值之后，从评价值小的候选区域中选择位于与人物的脸的朝向大致一致的方向上的候选区域。
此外，考虑了对象区域的原图像中照出的人物的脸的朝向屡次改变的状况。在这种情况下，若副图像位置频繁改变则监视影像反而会成为看不清楚的状况，因此延长到下一次判定人物的脸的朝向为止的时间，由此能够改善监视影像的不易看清的程度。另外，在对象区域内存在多个人物的情况下，只要基于脸的朝向不同的人物的比率来决定对象区域整体的脸的朝向即可。
这样，在本实施方式中，在副图像配置控制部34中，检测在对象区域的原图像中出现的人物的脸的朝向，基于该检测结果来决定副图像的配置位置，用户通过观看监控影像中对象区域的原图像中照出的人物的脸的朝向，能够立即发现与对象区域对应的副图像，因此能够实现监视业务的进一步的高效化。
另外，在图11所示的例子中，将副图像靠监视影像的左右端地配置，当这样排列副图像时，能够直观地掌握朝向哪个方向的人物存在多少，从而能够实现监视业务的高效化。
(第三实施方式)
接着，说明第三实施方式。此外，在此未特别提及的部分与第一实施方式相同。图12是说明第三实施方式中由PC3进行的处理的概要的说明图。
在第一实施方式中，如图5所示，使用作为每个人物的滞留时间的均值的平均滞留时间、即将每个人物的滞留时间相加而得到的总滞留时间除以滞留度而得到的值来进行对象区域的滞留状态的判定，使用滞留度和总滞留时间来进行决定副图像的配置位置时的关联性的评价，但是在第三实施方式中，虽然与第一实施方式同样地使用平均滞留时间来进行对象区域的滞留状态的判定，但是决定副图像的配置位置时的关联性的评价也使用平均滞留时间来进行。
即，在对象区域处于滞留状态的情况下、即对象区域的平均滞留时间为规定的阈值以上的情况下，选择平均滞留时间最小的候选区域。另一方面，在对象区域处于非滞留状态的情况下、即对象区域的平均滞留时间小于阈值的情况下，选择平均滞留时间最大的候选区域。
当像这样使用平均滞留时间来进行决定副图像的配置位置时的关联性的评价时，不考虑滞留度，因此有时会将副图像配置于人物混杂的区域，但是由于将副图像配置于关联性低的区域，因此不会对监视业务产生大的障碍。
(第四实施方式)
接着，说明第四实施方式。此外，在此未特别提及的部分与第一实施方式相同。
在第一实施方式中，基于滞留信息来决定副图像的配置位置，但是在第四实施方式中，基于人物的移动方向来决定副图像的配置位置。
在用户关注人物流动的区域并将对象区域设定为该人物流动的区域的一部分的情况下，人物沿与对象区域中的人物的移动方向大致一致的方向移动的区域处于与对象区域相同的人物的流动中，当将副图像配置于该区域时，无法观察用户所关注的区域的整体，因此需要避开这种区域地配置副图像。
在此，在第一实施方式中，通过基于滞留信息搜索候选区域，来将副图像配置于人物不流动的区域，因此能够不受副图像干扰地观察人物流动的区域整体的人物的状态。另一方面，在第四实施方式中，通过基于人物的移动方向搜索候选区域，能够将副图像配置于不处于与对象区域相同的人物的流动中的区域。
在第四实施方式中，首先，基于每个人物的运动线路来检测每个人物的移动方向，对通过各单元C的每个人物的移动方向进行平均化等统计处理，来求出以单元C为单位的移动方向。接着，基于以单元C为单位的移动方向来求出对象区域中的移动方向，另外，求出候选区域中的移动方向。然后，只要将移动方向与对象区域中的移动方向大致一致的候选区域、即相对于人物的流动位于对象区域的下游侧的候选区域以及移动方向与对象区域中的移动方向大致为相反方向的候选区域、即相对于人物的流动位于对象区域的上游侧的候选区域从选择对象中去除即可。
另外，也可以是，以使人物的移动方向反映到候选区域的评价值中的方式设定评价值的计算式。在该情况下，只要将评价值的计算式设定为在与对象区域中的移动方向大致一致或大致为相反方向的情况下评价值变低即可。例如，对评价值的计算式追加与对象区域中的移动方向同候选区域中的移动方向所形成的角度(在超过90度的情况下为其补角)成反比的项。这样，当对象区域中的移动方向与候选区域中的移动方向大致一致或大致为相反方向的情况下评价值变大，通过选择评价值小的候选区域来选择不处于与对象区域相同的人物的流动中的候选区域。
除此以外，也可以是，在设定候选区域时，将位于与对象区域中的移动方向大致一致或大致为反方向的方向上的区域从候选区域的设定范围中去除。
如以上那样，在第四实施方式中，基于人物的移动方向来选择最佳的候选区域，但是该处理只要在基于滞留信息来搜索候选区域时找不到适当的候选区域的情况下实施即可。另外，也能够不考虑滞留信息，而仅基于人物的移动方向来搜索候选区域。
(第五实施方式)
接着，说明第五实施方式。此外，在此未特别提及的部分与第一实施方式相同。图13是表示第五实施方式所涉及的监控系统中的照相机1和PC3的概要结构的功能框图。
在第五实施方式中，第一实施方式中设置于PC3的滞留信息获取部32被设置于照相机1。在照相机1中设置有具有摄像元件和光学元件的摄像部71，从摄像部71输出的影像被输入到滞留信息获取部32。另一方面，在PC3中设置有副图像生成部33、副图像配置控制部34、输出控制部35以及处理条件设定部36。
在照相机1和PC3的各部中进行与第一实施方式相同的处理，但是特别是在第五实施方式中，将由处理条件设定部36设定的信息、即与对象区域等有关的信息从PC3的控制部73发送到照相机1的控制部72，基于该信息在滞留信息获取部32中进行规定的处理。此外，设为在照相机1侧，输入与对象区域等有关的信息来在滞留信息获取部32中进行规定的处理，但是也可以使来自滞留信息获取部32的滞留信息输入到PC3，在PC3侧参照与对象区域等有关的信息来进行规定的处理。
以上，基于特定的实施方式说明了本发明，但是这些实施方式不过是例示，本发明并不限定于这些实施方式。另外，上述实施方式中示出的本发明所涉及的监控装置、监控系统以及监控方法的各结构要素未必是全部必需的，至少只要不脱离本发明的范围就能够适当取舍选择。
例如，在前述的实施方式中，说明了超市等零售店铺的例子，但是不限定于这种零售店铺，也能够应用于零售店铺以外的业务方式的店铺、例如饮食店、银行等，并且，能够广泛应用于店铺以外的监视区域、特别是在监视区域内出现混合存在人物滞留的区域和人物流动的区域的状况的场所。
另外，在前述的实施方式中，说明了将作为监视对象的运动体设为人物的例子，但是也可以以人物以外的运动体、例如汽车、自行车等车辆为对象。
另外，在前述的实施方式中，如图4所示，按将监视影像分割为格子状而得到的多个单元C(分割区域)的每个单元C来获取表示人物的滞留状况的滞留信息，但是不限定于像这样分割为格子状的结构，只要根据监视区域的状况来以适当的分割线进行分割即可。另外，监视影像的分割数也是适当设定即可，并且，分割区域的大小也不限定于均匀地设定的结构，只要根据监视区域的状况来设定为适当的大小即可。
另外，在前述的实施方式中，将使对象区域的原图像放大得到的放大图像作为副图像叠加显示在监视影像上，但是副图像不限定于放大图像，例如，也可以将拍摄时刻与监控影像中所显示的监视影像的拍摄时刻不同的对象区域的原图像等倍地作为副图像叠加显示在监视影像上。
另外，在前述的第一实施方式中，使设置于店铺的PC3进行监控所需的处理，但是也可以如图1所示那样，使设置于本部的PC11、构成云计算系统的云计算机12进行该所需的处理。另外，也可以由多个信息处理装置分担所需的处理，经由IP网络、LAN等通信介质在多个信息处理装置之间传递信息。在该情况下，由分担所需的处理的多个信息处理装置构成监控系统。
在这种结构中，最好使设置于店铺的PC3等装置进行监控所需的处理中的至少运算量大的处理、例如人物检测处理。当这样构成时，剩余的处理所需的信息的数据量较少，因此即使使设置于与店铺不同的场所的信息处理装置、例如设置于本部的PC11进行剩余的处理，也能够减轻通信负荷，因此利用广域网络连接方式的系统的运用变得容易。
另外，也可以使云计算机12进行监控所需的处理中的至少运算量大的处理、例如人物检测处理。当这样构成时，剩余的处理的运算量较小，因此在店铺等用户侧不需要高速的信息处理装置，能够减少用户所负担的成本。
另外，也可以使云计算机12进行所需的全部处理、或者使云计算机12分担所需的处理中的至少影像输出处理，当这样构成时，除了设置于店铺、本部的PC3、11以外，在智能电话13、平板终端14等便携式终端中也能够显示影像，由此除了店铺、本部以外，能够在外出目的地等任意的场所确认店铺内的状况。
另外，在本实施方式中，说明了使设置于店铺的PC3进行监控所需的处理、并且使PC3的监视器7显示监控画面、对象区域输入画面等、在PC3进行所需的输入和输出的情况，但是也可以在与进行监控所需的处理的信息处理装置不同的信息处理装置、例如设置于本部的PC11、平板终端14等便携式终端中进行所需的输入和输出。
产业上的可利用性
本发明所涉及的监控装置、监控系统以及监控方法具有将与在监视影像上指定的区域有关的副图像配置于监视影像上的适当位置、副图像不会成为监视业务的妨碍、能够完成高效的监视业务的效果，作为生成使与在监视影像上设定的对象区域有关的副图像叠加显示在监视影像上而得到的监控影像并使该监控影像显示于显示装置的监控装置、监控系统以及监控方法等而有用。
附图标记说明
1：照相机；2：记录器；3：PC(监控装置)；6：输入设备；7：监视器；11：PC；12：云计算机；13：智能电话；14：平板终端；31：影像获取部；32：滞留信息获取部；33：副图像生成部；34：副图像配置控制部；35：输出控制部；36：处理条件设定部(对象区域设定部)；41：位置信息获取部；42：位置信息存储部；43：滞留度获取部；44：滞留时间获取部；45：人物检测部；46：运动线路信息获取部；51：对象区域判定部；52：候选区域评价部；53：配置位置决定部；61：配置位置设定模式选择部；62：尺寸设定模式选择部；63：倍率指定部；64：尺寸指定部；71：摄像部；72：照相机1的控制部；73：PC3的控制部。

Claims (9)

1.一种监控装置，生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置，该监控装置的特征在于，具备：
对象区域设定部，其根据用户的操作输入，在所述监视影像上设定所述对象区域；
滞留信息获取部，其观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；
副图像生成部，其生成所述副图像；
副图像配置控制部，其基于由所述滞留信息获取部获取到的所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及
输出控制部，其基于由所述副图像配置控制部决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
2.根据权利要求1所述的监控装置，其特征在于，
所述滞留信息包括与滞留度和滞留时间有关的信息，所述滞留度是滞留于在所述监视影像上设定的观测区域的运动体的数量，所述滞留时间是运动体在所述观测区域内滞留的时间。
3.根据权利要求1所述的监控装置，其特征在于，
所述副图像配置控制部基于所述滞留信息，以与所述对象区域之间的、与运动体的滞留状态有关的关联性低为条件，来决定所述副图像的配置位置。
4.根据权利要求3所述的监控装置，其特征在于，
所述副图像配置控制部基于所述滞留信息，来判定所述对象区域处于滞留状态和非滞留状态中的哪一种，在判定为所述对象区域处于滞留状态的情况下，以所述滞留度和所述滞留时间的值均小为条件，来决定所述副图像的配置位置，在判定为所述对象区域处于非滞留状态的情况下，以所述滞留度的值小且所述滞留时间的值大为条件，来决定所述副图像的配置位置。
5.根据权利要求3所述的监控装置，其特征在于，
所述副图像配置控制部基于所述滞留信息，针对作为所述副图像的配置位置的候选的多个候选区域，获取表示与所述对象区域之间的关联性的高低的评价值，以该评价值小为条件，来选择最佳的所述候选区域，基于该候选区域来决定所述副图像的配置位置。
6.根据权利要求1所述的监控装置，其特征在于，
所述副图像配置控制部检测所述对象区域的原图像中出现的运动体的朝向，基于该检测的结果来决定所述副图像的配置位置。
7.根据权利要求1所述的监控装置，其特征在于，
所述副图像生成部生成将所述对象区域的原图像放大而得到的放大图像来作为所述副图像。
8.一种监控系统，生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置，该监控系统的特征在于，具有：
照相机，其拍摄监视区域；
多个信息处理装置；以及
显示装置，其显示所述监控影像，
其中，所述多个信息处理装置中的任一信息处理装置具备：
对象区域设定部，其根据用户的操作输入，在所述监视影像上设定所述对象区域；
滞留信息获取部，其观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；
副图像生成部，其生成所述副图像；
副图像配置控制部，其基于由所述滞留信息获取部获取到的所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及
输出控制部，其基于由所述副图像配置控制部决定的所述副图像的配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
9.一种监控方法，使信息处理装置进行以下处理：生成使与在监视影像上设定的对象区域有关的副图像叠加显示在所述监视影像上而得到的监控影像，并使该监控影像显示于显示装置，该监控方法的特征在于，具备以下步骤：
根据用户的操作输入，在所述监视影像上设定所述对象区域；
观测所述监视影像中出现的运动体的滞留状况，获取表示该运动体的滞留状况的滞留信息；
生成所述副图像；
基于所述滞留信息，来控制所述副图像在所述监视影像上的配置位置；以及
基于所决定的所述副图像的所述配置位置，来生成将所述副图像合成在所述监视影像上而得到的所述监控影像，并将所述监控影像输出到所述显示装置。
CN201580002435.2A 2014-10-17 2015-07-22 监控装置、监控系统以及监控方法 Active CN105723703B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014212699A JP5906556B1 (ja) 2014-10-17 2014-10-17 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2014-212699 2014-10-17
PCT/JP2015/003667 WO2016059740A1 (ja) 2014-10-17 2015-07-22 モニタリング装置、モニタリングシステムおよびモニタリング方法

Publications (2)

Publication Number Publication Date
CN105723703A true CN105723703A (zh) 2016-06-29
CN105723703B CN105723703B (zh) 2019-12-17

Family

ID=55746306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580002435.2A Active CN105723703B (zh) 2014-10-17 2015-07-22 监控装置、监控系统以及监控方法

Country Status (6)

Country Link
US (1) US9794508B2 (zh)
JP (1) JP5906556B1 (zh)
CN (1) CN105723703B (zh)
DE (1) DE112015004690T5 (zh)
GB (1) GB2535091B (zh)
WO (1) WO2016059740A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108337546A (zh) * 2017-01-20 2018-07-27 杭州海康威视数字技术股份有限公司 一种目标对象显示方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102076531B1 (ko) * 2015-10-27 2020-02-12 한국전자통신연구원 멀티 센서 기반 위치 추적 시스템 및 방법
JP2017156956A (ja) * 2016-03-01 2017-09-07 株式会社東芝 機器選択装置、その方法及びそのプログラム
TWI590195B (zh) * 2016-05-26 2017-07-01 晶睿通訊股份有限公司 具有低資料儲存量與低資料計算量的影像流量分析方法、及其相關的攝影裝置與攝影系統
US10819921B2 (en) 2017-05-25 2020-10-27 Google Llc Camera assembly having a single-piece cover element
US10683962B2 (en) 2017-05-25 2020-06-16 Google Llc Thermal management for a compact electronic device
JP7056673B2 (ja) * 2018-01-29 2022-04-19 日本電気株式会社 処理装置、処理方法及びプログラム
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
JP7229698B2 (ja) * 2018-08-20 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7299692B2 (ja) 2018-12-05 2023-06-28 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102588413B1 (ko) * 2019-01-31 2023-10-12 한화비전 주식회사 히트맵을 생성하는 장치 및 방법
US11257283B2 (en) 2019-03-07 2022-02-22 Alibaba Group Holding Limited Image reconstruction method, system, device and computer-readable storage medium
JP7269122B2 (ja) * 2019-07-18 2023-05-08 株式会社日立ハイテク データ分析装置、データ分析方法及びデータ分析プログラム
JP7349919B2 (ja) * 2020-01-21 2023-09-25 三菱電機株式会社 集中監視システム
JP6744652B1 (ja) * 2020-04-30 2020-08-19 アースアイズ株式会社 混雑情報報知システム
JP2022144490A (ja) * 2021-03-19 2022-10-03 東芝テック株式会社 店舗システム及びプログラム
EP4171022B1 (en) * 2021-10-22 2023-11-29 Axis AB Method and system for transmitting a video stream

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322684A (ja) * 1997-05-20 1998-12-04 Fujitsu General Ltd カメラ装置
US20100013977A1 (en) * 2006-12-11 2010-01-21 Nikon Corporation Electronic camera
JP2011248836A (ja) * 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
CN103477355A (zh) * 2011-03-31 2013-12-25 松下电器产业株式会社 人数测量装置
JP5597762B1 (ja) * 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4685465B2 (ja) 2005-02-01 2011-05-18 パナソニック株式会社 監視記録装置
JP4449782B2 (ja) * 2005-02-25 2010-04-14 ソニー株式会社 撮像装置および画像配信方法
JP2014016507A (ja) * 2012-07-10 2014-01-30 Panasonic Corp 表示制御装置
JP5597781B1 (ja) 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10322684A (ja) * 1997-05-20 1998-12-04 Fujitsu General Ltd カメラ装置
US20100013977A1 (en) * 2006-12-11 2010-01-21 Nikon Corporation Electronic camera
JP2011248836A (ja) * 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
CN103477355A (zh) * 2011-03-31 2013-12-25 松下电器产业株式会社 人数测量装置
JP5597762B1 (ja) * 2013-12-27 2014-10-01 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108337546A (zh) * 2017-01-20 2018-07-27 杭州海康威视数字技术股份有限公司 一种目标对象显示方法及装置
CN108337546B (zh) * 2017-01-20 2020-08-28 杭州海康威视数字技术股份有限公司 一种目标对象显示方法及装置
US11386934B2 (en) 2017-01-20 2022-07-12 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for displaying target object

Also Published As

Publication number Publication date
JP2016082431A (ja) 2016-05-16
GB2535091B (en) 2020-08-05
GB201608665D0 (en) 2016-06-29
JP5906556B1 (ja) 2016-04-20
CN105723703B (zh) 2019-12-17
US20160323532A1 (en) 2016-11-03
WO2016059740A1 (ja) 2016-04-21
DE112015004690T5 (de) 2017-07-06
US9794508B2 (en) 2017-10-17
GB2535091A (en) 2016-08-10

Similar Documents

Publication Publication Date Title
CN105723703A (zh) 监控装置、监控系统以及监控方法
CN105516648B (zh) 活动状况分析装置、活动状况分析系统及活动状况分析方法
CN104954736B (zh) 滞留状况分析装置、滞留状况分析系统及分析方法
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5942173B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5728654B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
WO2017169225A1 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
US20150220935A1 (en) Payment service support apparatus, payment service support system, and payment service support method
US20180338224A1 (en) System and method for estimating interest in, activity at and occupancy of a physical location
JP2015125671A (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP6098981B2 (ja) 会計業務支援装置、会計業務支援システムおよび会計業務支援方法
JP7384516B2 (ja) 情報処理装置、商品推薦方法、プログラム、及びシステム
JP2016015579A (ja) 情報処理装置、情報処理方法及びプログラム
JP6399096B2 (ja) 情報処理装置、表示方法およびコンピュータプログラム
JP2017168885A (ja) 撮像制御装置及びカメラ
JP6508482B2 (ja) 活動状況分析システムおよび活動状況分析方法
CN110852770B (zh) 数据处理方法、装置、计算设备及显示设备
JP2015127940A (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
CN113129112A (zh) 物品推荐方法、装置及电子设备
JP2019133432A (ja) 店内監視装置、店内監視方法、および店内監視プログラム
WO2021097831A1 (zh) 信息显示方法、装置、计算机设备和存储介质
WO2019151068A1 (ja) 情報処理方法、情報処理装置、および記録媒体
JPWO2018104998A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2003284045A (ja) 画像監視システムおよび監視方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant