CN110476421A - 视频图像处理设备、视频图像分析系统、方法和程序 - Google Patents

视频图像处理设备、视频图像分析系统、方法和程序 Download PDF

Info

Publication number
CN110476421A
CN110476421A CN201880023062.0A CN201880023062A CN110476421A CN 110476421 A CN110476421 A CN 110476421A CN 201880023062 A CN201880023062 A CN 201880023062A CN 110476421 A CN110476421 A CN 110476421A
Authority
CN
China
Prior art keywords
image
video image
specified
track
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880023062.0A
Other languages
English (en)
Inventor
平川康史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN110476421A publication Critical patent/CN110476421A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

根据本发明的视频图像处理设备包括显示控制装置(501)，该显示控制装置(501)使显示单元显示指示视频图像中的对象的位置变化的轨迹。显示控制装置(501)获取指定正被显示的轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于被指定的点处时的该对象。

Description

视频图像处理设备、视频图像分析系统、方法和程序
技术领域
本发明涉及一种用于处理视频图像的视频图像处理设备、视频图像处理方法和视频图像处理程序。本发明还涉及一种用于分析视频图像的视频图像分析系统。
背景技术
例如，存在一种视频图像分析技术，用于利用计算机分析从相机设备获得的视频图像并且发出警报。例如，存在一种视频图像分析技术，用于从视频图像中检测对象的位置或运动，并且当检测结果满足预定条件时生成警报。这种视频图像分析技术在存在操作者的控制中心处被利用，例如以检查基于其已发出警报的视频图像，并且根据发出的警报采取适当的措施。
在这种情况下，通常在当前视频图像正在控制中心处被监测时，执行用以检查基于其已发出警报的视频图像的操作。当警报被发出时，操作者检查过去的视频图像，以确定警报是否为误报警。如果警报不是误报警，则操作者获取必要的信息并采取措施，诸如将信息作为适当的警报发送给预定地址。在这样做时，操作者从过去的视频图像中选择从中可以进行检查以确定报警是否是误报警的信息，并且如果警报不是误报警，则操作者获取作为警报中的目标的入侵者、危险的移动对象等的特征(这些中的任何一个在下文中将被称为对象)。
关于这种视频图像监测，专利文献1至3公开了示例技术。
例如，专利文献1公开了在显示移动图像的显示设备的显示屏幕上，对象的移动轨迹被叠加并显示在从作为移动图像的源的成像设备顺序获得的图像上。专利文献1还公开了从用户接收正被显示的移动轨迹的指定，移动轨迹以与其他移动轨迹的显示模式不同的显示模式被显示，并且设置对象检测区域使得移动轨迹不与任何其他移动轨迹相交。
专利文献2公开了在视频图像中示出不同的人和一辆车辆的轨迹的示例。
在专利文献3中，公开了显示通过组合帧图像获得的合成图像，作为根据部分的位移来确定行为的方法。专利文献3还公开了通过将连续帧彼此叠加来组合图像的示例，以及在合成图像中用点和箭头指示移动图像和目标部分的运动轨迹的示例。
引用列表
专利文献
[专利文献1]日本专利申请公开No.2015-018340
[专利文献2]日本专利申请公开No.2009-015827
[专利文献3]日本专利申请公开No.2012-133666
发明内容
技术问题
在监控领域中，需要以下显示：该显示使得操作者能够在警报被发出之后、在监测当前视频图像的同时从过去的图像中快速收集对象的特征，并且还需要用于该显示的界面。然而，通过专利文献1中公开的方法，移动轨迹总是被简单地叠加在当前图像上。虽然可以观察对象的移动路径，但是不可能知道仅在过去的视频图像中显示的、对象的近期和当前行为，周围区域中的情况、特征的变化等。因此，为了收集这样的信息，操作者必须切换屏幕或在另一窗口上检查过去的视频图像。这导致了时间成本和疏忽风险的问题。
专利文献2中公开的方法的问题与专利文献1中的那些问题基本相同。即，通过专利文献2中公开的方法，移动轨迹总是简单地叠加在当前图像上。虽然可以观察对象的移动路径，但是不可能知道仅在过去的视频图像中显示的、对象的近期和当前行为、周围区域中的情况、特征的变化等。
通过专利文献3中公开的方法，连续帧彼此叠加，使得可以检查过去的对象或对象的一部分的状态。然而，即使该方法被简单地应用于监控视频图像，当前正被显示的图像也变得复杂，并且难以获得必要的信息。
例如，在视频图像中的连续帧简单地彼此叠加的情况下，各个帧中的对象彼此重叠，并且不能获得必要的信息。
上述时间成本和疏忽风险的问题可能不仅在伴随警报的实时视频图像的监控的地点中引起，而且还可能在需要快速检查视频图像中的两个或更多个时间点处的图像的场景中引起。
本发明是鉴于上述问题而完成的，其目的在于提供一种使用户能够快速掌握视频图像中的两个或更多个时间点处的对象的情况的视频图像处理设备、视频图像分析系统、视频图像处理方法以及视频图像处理程序。
问题的解决方案
根据本发明的视频图像处理设备的特征在于包括：显示控制装置，该显示控制装置使显示单元显示指示视频图像中的对象的位置变化的轨迹，其中该显示控制装置获取指定正被显示的轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于被指定的点处时的该对象。
根据本发明的视频图像分析系统的特征在于包括：跟踪装置，该跟踪装置分析视频图像，并且从视频图像连续获取跟踪目标对象的位置；存储装置，该存储装置存储指示由跟踪装置获取的位置的位置信息，该位置信息与关于视频图像中的、从中获取该位置的图像的标识信息相关联；显示控制装置，该显示控制装置基于被存储在存储装置中的信息，使显示单元显示指示视频图像中的对象的位置变化的轨迹，其中该显示控制装置获取指定正被显示的轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于被指定的点处时的该对象。
根据本发明的视频图像处理方法的特征在于包括：使显示单元显示指示视频图像中的对象的位置变化的轨迹；获取指定正被显示的轨迹中的点的第一请求；以及通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于被指定的点处时的该对象。
根据本发明的视频图像处理程序特征在于使计算机：执行使显示单元显示指示视频图像中的对象的位置变化的轨迹的过程；在该过程中，获取指定正被显示的轨迹中的点的第一请求；以及通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于指定点处时的该对象。
发明的有益效果
根据本发明，用户可以快速掌握视频图像中的两个或更多个时间点处的对象的情况。
附图说明
图1是示意性地示出第一实施例的视频图像分析系统的配置的图。
图2是示出第一实施例的视频图像分析系统的示例配置的框图。
图3是示出跟踪单元103中的检测的示例的说明图。
图4是示出轨迹的示例表达的说明图。
图5是示出跟踪线和对象之间的对应性的示例的说明图。
图6是示出将信息附接到跟踪线的示例的说明图。
图7是示出将信息附接到跟踪线的示例的说明图。
图8是示出第一实施例的视频图像分析设备2的示例操作的流程图。
图9是示出第一实施例的视频图像处理设备4的示例操作的流程图。
图10是示出显示控制单元105中的显示控制的示例的流程图。
图11是示出在显示图像时的显示图像的示例和叠加图像的示例的说明图。
图12是示出在显示图像时的显示图像的示例和叠加图像的示例的说明图。
图13是示出在显示图像时的显示图像的示例和叠加图像的示例的说明图。
图14是示出在显示图像时的显示图像的示例和叠加图像的示例的说明图。
图15是示出在显示图像时的显示图像的示例和叠加图像的示例的说明图。
图16是示出在显示图像时的显示图像的示例和叠加图像的示例的说明图。
图17是示出在显示图像时的显示图像的示例和叠加图像的示例的说明图。
图18是示出第二实施例的视频图像分析系统的示例配置的框图。
图19是示出显示控制单元205中的显示控制的示例的流程图。
图20是示出事件处理的示例的流程图。
图21是示出事件处理的示例的流程图。
图22是示出事件处理的示例的流程图。
图23是示出事件处理的示例的流程图。
图24是示出事件处理的示例的流程图。
图25是示出事件处理的示例的流程图。
图26是示出显示图像的合成样式的示例的说明图。
图27是示出在显示图像时的显示图像的示例和叠加图像的示例的说明视图。
图28是示出在显示图像时的显示图像的示例和叠加图像的示例的说明视图。
图29是示出在显示图像时的显示图像的示例和叠加图像的示例的说明视图。
图30是示出根据本发明的实施例的计算机的示例配置的示意框图。
图31是示出本发明的视频图像处理设备的概要的框图。
具体实施方式
示例性实施例1。
以下是参考附图对本发明的实施例的描述。在下面描述的每个实施例中，将描述将本发明应用于用于故障检测的视频图像监测的示例情况，但是本发明不限于在用于故障检测的视频图像监测中使用。
图1是示意性地示出第一实施例的视频图像分析系统的配置的图。如图1中所示，视频图像分析系统100包括视频图像输入设备1、视频图像分析设备2、存储设备3、视频图像处理设备4和显示设备5。
视频图像输入设备1输入要被分析的图像。例如，利用能够捕获移动图像的成像设备形成视频图像输入设备1。尽管在图1中仅示出了一个视频图像输入设备1，但是可以使用多于一个视频图像输入设备1。
通常，“视频图像”意指利用对应于各个连续帧的帧图像形成的移动图像。然而，在本发明中，“视频图像”可以不是所谓的移动图像，而是可以是包括伴随有关于成像时间和成像区域的信息的两个或更多个静止图像的静止图像组、用被包括在上述静止图像组中的静止图像形成的移动图像或者合成图像组等。此外，在下面的描述中，视频图像中的图像可以不是移动图像中的所谓帧图像，而可以是上文提及的“视频图像”中包括的图像。此外，在下面的描述中，视频图像中的特定时间点处的图像可以不是所谓的移动图像中的时间点处的帧图像，而可以是与上文提及的“视频图像”中包括的预定时间轴上的时间点相对应的时间的图像。
视频图像分析设备2分析已被输入到其中的视频图像(该视频图像在下文中将被称为“输入视频图像”)，将分析结果存储到存储设备3中，并在必要时输出警告或任何其他消息。
视频图像分析设备2分析输入视频图像，检测并跟踪诸如出现在输入视频图像中的移动对象的预定对象，并且从输入视频图像中连续获取对象的位置。例如，视频图像分析设备2可以获取输入视频图像中的每个时间点处的对象的位置。视频图像分析设备2还生成分析信息，其中指示所获取的对象的位置的位置信息与关于获取位置时的图像的标识信息相关联。在下文中，在一些情况下，要被跟踪的对象也将被称为“跟踪目标对象”。
视频图像分析设备2还分析输入视频图像，并且还可以检测：对应时间，该对应时间是从中已经获取跟踪目标对象的位置的输入视频图像中的图像的时间点；在该时间点处在输入视频图像中的图像中的跟踪目标对象的特征；与跟踪目标对象相关的另一对象存在或不存在；以及在存在这样的对象的情况下的该对象的特征。
对象(其可以是跟踪目标对象或另一相关对象)的特征的示例是对象的状态(诸如对象的方向、大小和操作或其预定部分)，输入视频图像中的对象(诸如状态、衣服和所有物)的特征的变化，与对象和另一相关对象相关的其他事项(诸如另一对象的存在/不存在及其分类)等。
视频图像分析设备2还可以根据分析结果输出预定消息，该分析结果包括从输入视频图像中检测到的那些项目。例如，视频图像分析设备2可以确定对象的位置和从输入视频图像检测到的其他项目是否满足预定条件。如果视频图像分析设备2确定预定条件被满足，则视频图像分析设备2可以输出预定消息。例如，视频图像分析设备2可以将预定消息输出到控制中心中的预定显示设备、用户终端或预定终端。
存储设备3存储输入视频图像和指示由视频图像分析设备2实施的视频图像分析的结果的信息。存储设备3不仅可以存储输入视频图像，而且还可以为每个跟踪目标对象存储分析信息，该分析信息例如将指示包括从输入视频图像获取的位置和其他检测到的项目的分析结果的信息与指示在输入视频图像中从其获取了位置的图像的信息(诸如标识信息)相关联。
应当注意，存储设备3不一定存储所有输入视频图像。例如，在输入视频图像是像实时视频图像那样被顺序输入的流式视频的情况下，或者在视频图像大小(数据容量)大于预定阈值的情况下，存储设备3可以仅存储来自输入视频图像的最新部分的预定量的视频图像。这里，可以将一定的图像数目、时间长度或数据容量确定为预定量。
视频图像处理设备4在显示设备5上显示在输入视频图像中的任何时间点处包括的图像(其可以是移动图像和静止图像)、根据输入视频图像生成的图像等。根据输入视频图像生成的图像不限于任何特定种类。例如，这样的图像可以是预定区域的草图，或者可以是由在输入视频图像中的两个或更多个时间点处包括的图像形成的合成图像。例如，视频图像处理设备4在显示设备5上显示由用户指定的图像。
视频图像处理设备4具有以下功能：当在显示设备5上显示输入视频图像时显示轨迹，该轨迹指示这样的图像中的对象的位置的变化。稍后将描述轨迹显示方法。
视频图像处理设备4可以输出关于要在显示设备5上显示的图像的图像信息，并且使显示设备5显示期望的图像。
显示设备5是根据从视频图像处理设备4输出的图像信息显示图像的图像显示设备。利用显示器等形成显示设备5。尽管图1中仅示出了一个显示设备5，但是可以使用多于一个显示设备5。在使用多于一个显示设备5的情况下，视频图像处理设备4将轨迹叠加在正被显示在由用户指定来显示轨迹的至少一个显示设备5上的图像上。
图2是示出该实施例的视频图像分析系统的示例配置的框图。应当注意，图2示出了视频图像分析系统在功能方面的示例配置。如图2中所示，视频图像分析系统100可以包括视频图像输入单元101、视频图像保持单元102、跟踪单元103、分析信息存储单元104、显示控制单元105和显示单元106。
这里，视频图像输入单元101对应于视频图像输入设备1。视频图像保持单元102和分析信息存储单元104对应于存储设备3。跟踪单元103对应于视频图像分析设备2。显示控制单元105对应于视频图像处理设备4。显示单元106对应于显示设备5。
在图2中所示的示例中，例如，利用视频图像分析设备2中包括的诸如CPU的信息处理设备形成跟踪单元103。利用视频图像处理设备4中包括的诸如CPU的信息处理设备形成显示控制单元105。尽管在图1中，视频图像分析设备2和视频图像处理设备4被示为分开的设备，但是这些设备可以用一个设备形成。
视频图像输入单元101输入视频图像。
视频图像保持单元102存储输入视频图像。应当注意，视频图像保持单元102可以仅存储来自输入视频图像中的最新图像的预定量的视频图像。
跟踪单元103分析输入视频图像，并且从输入视频图像连续获取跟踪目标对象的位置。利用跟踪单元103对跟踪目标对象进行跟踪的方法不限于任何特定方法。
当获取位置时，跟踪单元103还检测与获取位置时的时间相对应的时间(对应时间)、在输入视频图像的时间点处的跟踪目标对象的特征或与图像中的跟踪目标对象相关的另一对象的特征。
然后，跟踪单元103将分析信息存储到分析信息存储单元104中。在分析信息中，指示包括从输入视频图像获取的位置和与位置一起检测到的项目的分析结果的信息与关于输入视频图像中从其获取位置的图像的标识信息相关联。这里，标识信息不限于任何特定信息，只要它可以标识输入视频图像中的图像。例如，标识信息可以是指示输入视频图像中的图像的时间点的信息，或者是附接到视频图像中的图像的标识符。
此外，跟踪单元103可以具有根据分析结果或其他信息输出预定消息的功能。
跟踪单元103可以根据从诸如红外传感器、压力传感器或振动传感器之类的预定传感器输入的传感器信息来输出指示警报的消息。在从输入视频图像检测到对象(在视频图像中看到除了背景之外的对象)作为输入视频图像的分析结果的情况下，跟踪单元103可以输出该效果的消息。在从输入视频图像检测到预定对象(诸如人类或特定的人Y)作为输入视频图像的分析结果的情况下，跟踪单元103可以输出该效果的消息。例如，在检测到越过预定入侵检测线的移动对象的情况下，或者在移动对象进入预定区域或对象被遗留在预定区域中或从预定区域被带走的情况下，跟踪单元103可以输出该效果的消息。
图3(a)至图3(d)是示出跟踪单元103中的检测的示例的说明图。图3(a)中所示的示例是其中从输入视频图像的图像区域a01检测到对象(移动对象)的示例。应当注意，标志T表示被视为跟踪目标对象的对象。图3(b)中所示的示例是其中从输入视频图像的图像区域a01检测到预定对象的示例。应当注意，标志a02表示对象区域，该对象区域是从输入视频图像中的图像检测到的对象的区域。图3(c)中所示的示例是其中检测到对象越过输入视频图像的图像区域a01中的入侵检测线a03的示例。此外，图3(d)中所示的示例是其中检测到对象被遗留在输入视频图像的图像区域a01的预定监测区域a04中的示例。这里，被遗留的对象被检测为相关对象ro，其是与跟踪目标对象T相关的另一对象。
跟踪单元103可以将作为跟踪结果的、指示所获取的位置的信息与其他信息分开存储。对于每个跟踪目标对象，跟踪单元103可以将使指示位置的信息与关于输入视频图像中的图像的标识信息相关联的信息、与使指示除了位置之外的检测到的项目的信息与关于输入视频图像中的图像的标识信息相关联的信息分开地存储到分析信息存储单元104中。在该实施例中，即使在这种情况下，这些种类的信息的组合也被称为“分析信息”。
显示控制单元105使显示单元106显示轨迹，该轨迹指示视频图像中的对象的位置的变化。例如，当显示输入视频图像中包括的某个时间点处的图像或根据输入视频图像生成的预定图像时，显示控制单元105将图像设置为背景图像，并且在背景图像上叠加输入视频图像中的预定对象的轨迹。应当注意，背景图像不限于任何特定种类的图像，只要其包括与图像区域中的对象的移动路径的至少一部分相对应的区域。
此外，根据分析信息存储单元104中存储的信息，本实施例的显示控制单元105向对象的输入视频图像中的轨迹添加通知功能，该通知功能向用户通知输入视频图像的分析结果和从预定时间起的逝去时间。
例如，根据通过分析输入视频图像获得的分析结果中所示的对象的特征或与对象相关的另一对象的特征，显示控制单元105可以使轨迹的一部分的显示模式与另一部分不同，或者在轨迹的一部分附近添加指示分析结果或逝去时间的信息。备选地，例如，根据从预定时间开始的逝去时间，显示控制单元105可以使轨迹的一部分的显示模式与另一部分不同，或者在轨迹的一部分附近添加指示逝去时间的信息。
分析结果不限于任何特定结果，只要它们是作为分析输入视频图像的结果而获得的项目。例如，分析结果可以是作为跟踪输入视频图像中示出的对象的结果而获得的对象相关的项目(项目可以是对象的特征或与对象相关的另一对象的特征)。如上所述，这样的项目的示例包括对象的状态、对象的特征的变化、与对象相关的另一对象的存在或不存在、以及这样的相关对象的信息量。对象的状态可以是整个对象或者对象的预定部分的方向、大小、移动(运动或行为)等。
与对象相关的另一对象的示例是绘制与输入视频图像中的对象的轨迹具有预定关系的轨迹的对象。应当注意，上述“遗留”和“带走”以及后面描述的“交互”是预定关系的示例。
此外，例如，轨迹中伴随信息的对应位置可以是与检测到要被显示的项目时的时间点相对应的轨迹中的位置。在要显示从预定时间起的逝去时间的情况下，轨迹中的对应位置是轨迹中与从预定时间起已经过去逝去时间时的时间相对应的位置。
例如，显示控制单元105可以设置“附近”，其是从轨迹中的对应位置的预定像素范围。
预定时间可以是输入视频图像中的最新时间或者从分析输入视频图像的预定系统发送预定消息时的时间。
此外，在轨迹中包括作为分析结果的、由用户指定的点或段(section)或满足预定条件的点或段的情况下，显示控制单元105可以通过以下形式显示轨迹：该点或段能够在叠加轨迹时被识别。
例如，显示控制单元105可以使轨迹的一部分(诸如点或段)的显示模式与另一部分不同，或者在轨迹的一部分(诸如点或段)附近添加指示分析结果或逝去时间的信息。
在下文中，满足条件的这种点可以被称为条件点。同样，满足条件的这种段可以被称为条件段。
例如，条件点或条件段可以是对象或其预定部分的方向、大小或移动满足预定条件的点或段，或者是对象的特征的变化满足预定条件的点或段。
此外，例如，在轨迹包括其中根据分析结果将对象确定为漫游(roaming)的漫游段的情况下，显示控制单元105可以缩短主题段，然后以与其他段不同的显示模式来显示该段。应当注意，漫游段也是条件段的示例。
显示控制单元105可以根据轨迹与围绕轨迹的伸展矩形的粗糙度比率来确定轨迹中的段是否是漫游段，该轨迹是对象的轨迹中的各个时间单元的段的轨迹，或者是跟随时间单元段并具有预定厚度的一个或多个段的轨迹。确定漫游段的方法不限于上述方法。例如，可以取决于当前位置是否位于基于设定时间内的过去位置的区域中或者每个设定时间处的位置变化是否等于或小于预定距离来确定漫游段。
例如，在轨迹中包括漫游段并且漫游段被缩短以供显示的情况下，显示控制单元105获取指定经缩短和显示的段的预定请求。然后，显示控制单元105可以将该段恢复到原始状态并显示原始段，或者显示包括指定段中与原始段中包括的点相对应的点的备选显示。
显示控制单元105可以显示线或滑动条作为上述备选显示。线或滑动条对应于显示单元106的显示区域中的缩短之前的段作为上述备选显示。在这个阶段，优选使线分段与主题段具有相同的显示目标，或者将相同的信息附接到线分段。
此外，例如，在输入视频图像是要被顺序输入的流式视频图像的情况下，显示控制单元105可以将输入视频图像中的某个时间点处的图像和基于输入视频图像生成的预定图像中的一个图像设置为背景图像，并显示叠加在背景图像上的轨迹。利用这种布置，用户可以持续地识别最新逝去时间和对象的状态。
在该阶段，例如，即使背景图像是输入视频图像中包括的过去时间点处的图像，显示控制单元105也可以在背景图像上叠加与从输入视频图像检测到的对象的最新分析结果相对应的显示模式中的轨迹，或者与从预定时间起的最新逝去时间相对应的显示模式中的轨迹。利用这种布置，在检查作为过去图像的背景图像时，用户可以通过检查以下来识别最新情况：包括与对象的图像、最新特征等一起显示的、对象的最新位置的轨迹、以及具有随逝去时间变化的显示模式或伴随信息的轨迹。
在该实施例中，具有随上述分析结果或从预定时间起的逝去时间而变化的显示模式或伴随信息的轨迹也被称为跟踪线。
例如，显示控制单元105可以使用跟踪线来显示以下信息(特征)。
-对象的行进方向(其是跟踪线)
-从预定时间起的逝去时间
-对象的面的方向
-在对应点处的停留时间(使用逝去时间的显示以及以上点或段的显示)
-诸如对象的装备的颜色或样式之类的特征
-对象的运动(诸如蹲伏、站立、行走、跑步(速度)或跳跃)
-与另一对象的交互(诸如交叉、汇合或分支)
-跟踪线所属的人
与另一对象的交互的示例包括人之间的交互以及与另一对象(诸如车辆)的交互。这里，可以取决于在对象的轨迹中是否存在位于就时间和距离而言接近另一对象的轨迹的范围中的点或段来确定交互的存在或不存在。在诸如人之间的对话之类的交互之后、其他对象的轨迹移开的情况下，交互可以被显示为“交叉”。在通过诸如人乘坐车辆之类的交互、两个或更多个轨迹被组合成一个轨迹的情况下，交互可以被显示为“汇合”。在通过诸如人下车之类的交互、两个或更多个轨迹从一个轨迹被导出的情况下，交互可以被显示为“分支”。
使用其轨迹要被显示的对象并使用轨迹，显示控制单元105可以缩窄(多个)对象，以基于例如以下来显示轨迹、要在显示单元106上使用轨迹被显示的(多个)显示项目以及要被显示的轨迹的范围：用户的指定、针对逝去时间的参考时间或参考定时、从参考起的逝去时间、对象的方向、对象的停留时间、对象的装备的颜色、对象的装备的样式和对象的前进方向。
显示控制单元105还可以显示一个背景图像中的两个或更多个对象的轨迹。例如，显示控制单元105可以通过显示对象的轨迹来显示与和对象相关的另一对象的交互。
轨迹中的显示模式可以通过改变例如以下来变化：颜色、线类型(包括虚线的形状等)、间距(包括点之间的间距和虚线中的线之间的间距)、线厚度、诸如与虚线中的线或标记相对应的部分之类的元素的形状、或者标记或方向性标志的方向。应当注意，这些项目可以组合使用。这里，标记可以是指示包括在线分段中的斑点或段之间的间距的记号，或者是表示总是存在于轨迹中的常规项目的记号、图或一些其他标志。符号是仅在特定条件被满足时提供的任何适当的字符、记号、图和其他标志。备选地，显示控制单元105可以通过在缩窄轨迹中的预定段时改变显示方法(经缩窄的显示)来变化轨迹中的显示模式。
图4(a)至图4(j)是各自示出轨迹(跟踪线)的示例表达的说明图。图4(a)示出了颜色密度在轨迹中变化的示例。图4(b)示出了颜色在轨迹中变化的示例。在图4(b)中，颜色的差异由线的阴影表示。图4(c)示出了标记间隔在轨迹中变化的示例。图4(d)示出了标记的形状在轨迹中变化的示例。图4(e)示出了轨迹中附接的方向性标志的方向变化的示例。例如，方向性标志与对象的方向相关联。尽管在图4(e)中，箭头被示出为方向性标志的示例，但是方向性标志可以是在其顶部没有任何记号的简单线，或者可以具有诸如三角形形状的一些其他形状。图4(f)示出了指示特定信息的符号被附接到对应点的示例。图4(g)示出了显示模式随着特定标记闪烁而变化的示例。
图4(h)示出了段的经缩窄的显示的示例，以及除了特定范围之外的范围变灰的示例。图4(i)示出了段的经缩窄的显示的另一示例，以及除了特定范围(诸如特定时间段内的段)之外的范围被擦除的示例。图4(j)示出了段的经缩窄的显示的另一示例，以及跟踪线的厚度在当前段和其他段之间变化的示例。对于经缩窄的显示，优选通过使用与用于改变特定范围中的显示模式的方法不同的方法来改变显示模式。
图5是示出跟踪线和对象之间的对应性的示例的说明视图。如图5中所示，显示控制单元105可以通过向跟踪线和对象指派相同的数字等来将跟踪线与对象相关联。在图中，标志TL表示跟踪线。图中的跟踪线TL根据对象的状态被着色。但是，在图5中，不同的颜色由线的阴影来指示。
在一个图像包括多于一个跟踪目标人并且同时显示特定对象在不同时间点处的图像的情况下，显示控制单元105可以通过将相同的数字等指派给对象的对象区域的附近、或者用相同颜色的框架或相同类型的线围绕对象的对象区域来指示对象的身份。
图6和图7是示出其中信息被附接到跟踪线的示例的说明图。图6示出了在轨迹中同时显示特定对象在不同时间点处的图像的情况下、要被附接到轨迹的伴随信息的示例。应当注意，除了背景图像之外的其他时间点处的对象图像也被包括在伴随信息中。
例如，图6示出了一个示例，其中围绕对象的对象区域a02的框架的线类型变化，并且符号被添加到显示上的框架。在图6所示的示例中，对象区域a02-1至a02-3的框架根据对象特征的变化(外套存在或不存在)由实线指示，并且对象区域a02-4的框架由点划线指示。
以这种方式，框架的线类型可以取决于对象的状态而变化。图6还示出了一个示例，其中进一步叠加了通过在输入视频图像中切出与警报被发出时的时间(警报时间点)相对应的时间点处的图像中包括的对象的对象区域而获得的图像，并且将该效果的符号(图中带圆圈的A)附接到对象区域a02-2的框架线上。图中带圆圈的R是在对应于当前时间的时间点处附接的符号的示例，并且图中带圆圈的P是附接到对应于过去时间的时间点的符号的示例。以这种方式，轨迹中的特定时间点的“附近”还包括根据该点显示的对象的对象区域a02的附近。要被附接的信息还包括：当对象位于轨迹内的点处时生成的图像中包括的对象的对象区域的剪切图像(下文中称为对象图像)。
此外，图中的感叹号是指示特征已改变的符号的示例。图中的“ro”记号是指示存在与另一对象的交互的符号的示例。在对象没有伴随任何对象图像的情况下，可以在跟踪线上的对应点附近附接类似的符号。
此外，如图7中所示，显示控制单元105可以在轨迹中附接关于对象的与诸如用户指定的点之类的特定点相对应的时间点处的信息，或者关于与特定点相对应的时间点处的逝去时间的信息。除此之外，例如，显示控制单元105可以通过改变在警报时间点、某个其他的过去时间点和当前时间点处的框架线的颜色来表达与颜色或伴随信息相对应的时间。
此外，显示控制单元105可以允许用户根据逝去时间和分析结果来指定目标以显示轨迹、显示项目和轨迹的范围。例如，可以准备能够指定下面列出的项目的图形用户界面(GUI)，使得用户能够缩窄对象以显示轨迹、显示项目、轨迹的范围等。
要被缩窄的目标的示例。
-被设置为针对逝去时间的参考时间的时间或定时，以及从参考时间起的逝去时间(例如，从警报发出的时间起的几分钟内)
-对象的方向
-对象的停留时间
-对象的装备的颜色或样式
-对象的行进方向
GUI可以是一般菜单表达，诸如组合框、列表、复选框、单选按钮、文本输入或时间选择。
接下来，描述根据该实施例的操作。图8是示出该实施例的视频图像分析设备2(跟踪单元103)的示例操作的流程图。在图8中所示的示例中，首先从视频图像输入设备1输入要被分析的视频图像(步骤S11)。
然后，视频图像分析设备2跟踪输入视频图像中的跟踪目标对象，连续获取跟踪目标对象的位置，并且在对应时间或位置被获取时的图像中检测关于跟踪目标对象的预定项目(步骤S12：视频图像分析过程)。
然后，视频图像分析设备2输出伴随分析结果的视频图像(步骤S13：具有分析结果的视频图像输出)。代替上述输出，视频图像分析设备2可以将输入视频图像与指示分析结果的信息相关联，并且将输入视频图像和信息存储到存储设备3中。
视频图像分析设备2重复步骤上述S11至S13中的处理，直到视频图像输入结束(步骤S14)。
图9是示出该实施例的视频图像处理设备4(显示控制单元105)的示例操作的流程图。在图9中所示的示例中，首先从视频图像分析设备2等输入伴随分析结果的视频图像(步骤S21)。视频图像处理设备4可以从预定的存储单元读取输入视频图像和指示分析结果的信息，而不是接收伴随分析结果的视频图像的输入。
当输入视频图像时，视频图像处理设备4在显示设备5上显示输入视频图像中的特定时间点处的图像或根据输入视频图像创建的图像(步骤S22：显示控制过程)。稍后将详细描述显示控制过程。
视频图像处理设备4重复步骤S21和S22中的上述处理，直到检测到显示结束(步骤S23)。
在下面的描述中，解释步骤S22中的显示控制过程的示例，其中功能块是操作的主体。图10是示出显示控制单元105中的显示控制(上述步骤S22中的显示控制过程)的示例的流程图。
在该示例中，假设在步骤S101之前，预先确定或者由用户指定要被显示的背景图像和对象。还假设可以是背景图像的图像(诸如输入视频图像中的预定量的图像或者从输入视频图像生成的图像)与其标识符一起被存储在视频图像保持单元102中。此外，假设分析信息存储单元104存储分析信息，其中指示包括由跟踪单元103从输入视频图像获取的位置和其他检测到的项目的分析结果的信息与关于输入视频图像中从其获取位置的图像的标识信息相关联。
在图10中所示的示例中，显示控制单元105首先从视频图像保持单元102获取背景图像(步骤S101)。
然后，显示控制单元105从分析信息存储单元104获取分析信息(步骤S102)。
然后，显示控制单元105根据关于背景图像的区域信息，生成适合于背景图像的对象轨迹(步骤S103)。这里，区域信息是将背景图像的坐标与(真实)成像区域的坐标相关联的信息。在轨迹生成中，应当生成轨迹图像，其中仅在与背景图像相对应的图像区域中绘制要被显示的轨迹(跟踪线)。以下技术是已知技术：根据指示对象的连续位置的位置信息来计算或绘制其在图像中的区域与成像区域之间的位置关系适合于已知背景图像的轨迹线的路径，并且因此，在本文中不对其详细解释。
在步骤S103中，根据分析信息，显示控制单元105生成伴随被附接在轨迹中的对应位置附近的信息的轨迹。该信息指示轨迹中的显示模式是否随输入视频图像的分析结果或从预定时间起的逝去时间而变化，或者指示输入视频图像的分析结果或逝去时间。
然后，显示控制单元105将所生成的轨迹叠加在背景图像上，以生成作为用于显示的图像的显示图像(步骤S104)。
最后，显示控制单元105将所生成的显示图像的图像数据输出到显示单元106，并且使显示单元106显示该显示图像(步骤S105)。
接下来，描述该实施例中的显示图像的示例。
图11至图17是示出显示图像的示例的说明视图。在这些图中的每一个图中，(a)是示出通过将作为彩色图像的显示图像转换为简化图像而获得的图像的说明视图，并且(b)是示出作为除了显示图像中的背景图像之外的图像的简化的叠加图像的说明视图。应当注意，由于显示图像被简化，因此最初使用不同颜色示出的一些部分通过使用另一方法(诸如附接不同种类的线或记号)来不同地示出。
图11中所示的示例是在最新图像被设置为背景图像、并且包括最新对象的背景图像每时每刻都被更新的情况下的显示图像的示例。在图11中，对应于最新时间的对象图像是背景图像的图像。在图11(a)中，轨迹的显示模式(具体为颜色)随着从最新时间起逝去的时间而变化，同时提供与对应时间处的对象的状态相对应的符号(诸如带圆圈的A、带圆圈的P、带圆圈的R或“ro”标记)。
在图11(b)中，由于附图的限制，用线类型(虚线中的线之间的间距)代替颜色来表达逝去时间的差异。如图11中所示，显示控制单元105可以叠加并显示除了跟踪线之外的信息，诸如入侵检测线a03。
图12中所示的示例是在警报时间点处的图像被设置为背景图像、并且仅跟踪线每时每刻都被更新的情况下的显示图像的示例。如图12中所示，显示控制单元105可以在显示最新图像以及过去图像的同时叠加基于对象的最新位置的轨迹。因此，观察另一跟踪目标对象(例如，与入侵者相关的另一对象)是可能的。在图12(a)中所示的示例中，例如，围绕对象和另一对象的对象区域的线是不同的，线是实线和虚线，并且线的颜色对于每个对象是变化的。在图12(b)中，提供用于标识对象的数字代替颜色。
在图12中所示的示例中，不包括最新的对象图像。然而，显示控制单元105还可以对最新的对象图像(从对象的对象区域切出的图像)或整个最新图像执行诸如透明度提升之类的预定处理，并且然后将经处理的图像叠加在背景图像上。
图13中所示的示例是在将除了诸如入侵者之类的用于警报的跟踪目标对象的跟踪目标对象指定为对象的情况下的显示图像的示例。如图13中所示，其轨迹要被显示的对象不限于任何特定对象，并且可以是例如由用户指定的任何跟踪目标对象。
图14中所示的示例是在存在与对象相关的另一对象的情况下的显示图像的示例。如图14中所示，在对象的轨迹之间识别出连接的情况下，诸如当人下车时，显示控制单元105可以确定这些对象彼此相关，并且在背景图像上叠加和显示对象的轨迹以及其他对象的轨迹。
在图14中所示的示例情况中，最新图像被设置为背景图像，并且包括最新对象的背景图像被每时每刻更新。然而，在显示相关对象的轨迹时的时间处的背景图像，以及更新背景图像的方法不限于任何特定图像和任何特定方法。
此外，在检测到对象与另一对象之间的交互的情况下，显示控制单元105可以显示对象的轨迹以及与对象具有交互的其他对象的轨迹，即使交互不是对象下车。在这种情况下，可以对其他对象的轨迹给出类似的通知功能。
图15中所示的示例是其上叠加包括漫游段的轨迹的显示图像的示例。在图15中，(a-1)和(b-1)分别是显示图像的示例和其上叠加没有被缩短的漫游段的简化叠加图像的示例。(b-1)中的附图标记a11指示已检测到其中对象漫游的区域。此外，(a-2)和(b-2)是显示图像的示例和其上叠加缩短之后的漫游段的简化叠加图像的示例。此外，(a-3)和(b-3)是显示图像的示例和其上叠加缩短和扩展之后的漫游段的简化叠加图像的示例。例如，在显示控制单元105确定对象在特定区域周围漫游的情况下，显示控制单元105可以设置漫游段，该漫游段是与漫游部分相对应的轨迹中的段，并且将该段内的分析结果转成一组，以仅显示典型信息。
当执行分组时，显示控制单元105优选地以指示该段是经分组和缩短的段的模式来显示信息(例如，通过附接一些符号或提供缩窄显示)。在该示例中，(a-1)和(b-1)对应于分组之前的显示图像(处于正常状态)，并且(a-2)和(b-2)对应于分组之后的显示图像。
在显示控制单元105在分组之后从用户接收到指定显示图像中的段的扩展指令的情况下，显示控制单元105可以扩展并显示该段，如(a-3)和(b-3)中所示。在这种情况下，可以通过直接点击鼠标滚轮或扩展之后的跟踪线、交替地显示在显示屏上的预定区域中的滑动条的操作等来接收关于扩展之后的段内的点的指令输入。
图16中所示的示例是以下示例：其中以注释段能够被识别的模式，将由用户指定的特定范围中的段显示为注释段。应当注意，显示控制单元105可以将对应于注释段的时间信息和图像信息添加到分析信息，使得不在的监督者可以被通知注释段。在下文中，将根据这样的注释段被添加的信息也将被称为注释信息。
此外，显示控制单元105可以切出与注释段相对应的视频图像(图像组)，并将视频图像输出到预定设备。因此，可以降低监督者的检查成本。
图17中所示的示例是其中用线类型来表达对象的方向和姿势的变化的分类结果的示例。如图17中所示，在显示模式根据对象的状态和特征的改变而在轨迹内变化的情况下，操作者可以确定哪个时间点应该检查图像，以检验对象的出现。
如上所述，在本实施例中，对象的轨迹被显示在当前正被检查的屏幕上，而轨迹的一部分的显示模式根据从预定时间起逝去的时间以及输入视频图像的分析结果而与另一部分不同，或者与轨迹中的点相关联的信息被附接。因此，用户可以直观地知道不仅与对象的行进方向相关联而且与对象的轨迹中的点相关联的逝去时间和分析结果。
例如，从对象的轨迹中，用户可以知道在从预定时间起逝去的特定时间段时的对象的位置(或对象位于哪里)，以及对象如何在逝去的特定时间段之前和之后花费时间。从对象的轨迹中，用户还可以识别以下情况：入侵时间(入侵是否真实发生)、对象的状态(分类结果，诸如方向、姿势、运动和装备的颜色等)以及与对象相关的另一对象的存在或不存在。
换言之，轨迹的一部分的显示模式根据从预定时间起逝去的时间或分析结果(例如，对象的方向和移动)而改变，或者信息被附接到轨迹的一部分附近，使得变得容易选择在轨迹中的哪点处应该检查图像以观察对象的细节。具体地，例如，除非改变轨迹的一部分的显示模式或者将信息附接到轨迹的一部分附近，否则不可能确定应该在轨迹中的哪个点处检查对象以观察对象的细节。因此，检查对象的细节需要很长时间。另一方面，在本实施例中，与对象面向相机时的时间点相对应的点的轨迹比其他点厚。因此，在检查当前视频图像的同时从过去的视频图像中检查对象的细节的情况下，应该选择轨迹的厚部分，并且应该检查在对应于该点的时间点处的对象或者位于该点的对象。因此，可以容易地检查对象的细节。应当注意，根据来自用户的指定或预定条件，还可以通过缩窄其轨迹要被显示的对象、显示项目或轨迹的范围来实现上述效果。
以上述方式，通过使用轨迹向用户呈现分析对象的结果和从预定时间起逝去的时间是可能的。因此，根据由当前正被显示的轨迹所呈现的信息，用户可以迅速识别视频图像中的两个或更多个时间点处的对象的情况。例如，在检查当前图像时，用户可以快速确定应该选择来自过去哪个点的图像以获得所期望的信息。例如，用户还可以在检查过去图像的同时识别对象的当前位置。
此外，取决于要被附接到轨迹的信息，在特定时间点(诸如警报发出时间)处的对象的图像被叠加并显示在轨迹中的对应点附近，使得用户可以知道对象在两个或更多个时间点处的情况而无需切换屏幕。
如稍后将在第二实施例中详细描述的，可以使得用户能够使用轨迹来指定从哪个时间点应该选择要被叠加的图像。以这种方式，用户可以获取必要的信息，而不使屏幕显示复杂化。即使在从用户接收到这样的指令时，根据本实施例的轨迹显示也可以帮助用户确定从哪个时间点应该选择和检查对象。因此，用户可以迅速掌握视频图像中的两个或更多个时间点处的对象的情况。
示例性实施例2
接下来，描述本发明的第二实施例。在该实施例中，显示控制单元105具有在被叠加并显示在背景图像上的轨迹中的GUI功能。更具体地，视频图像处理设备4还具有以下GUI功能：获取指定正被显示的轨迹中的点的请求(预定指令输入)，该请求与被叠加并显示在背景图像上的轨迹相关联，并且根据该请求执行屏幕控制。
利用该功能，以下变得可能：用户仅通过跟踪当前正被显示的轨迹，检查在对象位于沿着轨迹的相同背景图像中的指定点处时的对象。此外，使得用户能够同时显示来自两个或更多个时间点(诸如背景图像的时间点和对应于指定点的时间点，或者对应于第一指定点的时间点和对应于第二指定点的时间点)的对象，并且切换背景图像。
在下面的描述中，与第一实施例中的组件相同的那些组件由与第一实施例中使用的附图标记相同的附图标记来标注，并且将不对它们进行解释。
本实施例的视频图像分析系统的系统配置基本上与图1中所示的第一实施例的配置相同。在下面描述的示例中，视频图像分析设备2(跟踪单元103)检测跟踪目标对象的位置，并且还检测除了位置之外的信息(诸如对应时间、跟踪目标对象的特征以及与跟踪目标对象相关的另一对象)。但是，检测该信息不是必要的。换言之，本实施例的视频图像分析设备2(跟踪单元103)应该能够分析输入视频图像，并且生成分析信息，其中指示输入视频图像中的跟踪目标对象的位置的位置信息与关于从中获取位置的图像的标识信息相关联。
图18是示出本实施例的视频图像分析系统的示例配置的框图。图18中所示的视频图像分析系统200包括显示控制单元205，而不是图2中所示的第一实施例的视频图像分析系统100的显示控制单元105。
显示控制单元205在显示单元106上显示输入视频图像中的预定对象的轨迹。例如，当显示输入视频图像、输入视频图像中包括的某个时间点处的图像、或根据输入视频图像生成的预定图像时，显示控制单元205将图像设置为背景图像，并且将输入视频图像中的预定对象的轨迹叠加在背景图像上。在本实施例中，背景图像不限于任何特定图像，只要它是包括与图像区域中的对象的移动路径的至少一部分相对应的区域的图像。
本实施例的显示控制单元205还将GUI功能添加到输入视频图像中的对象的轨迹。GUI功能用于获取指定当前正被显示的轨迹中的点的预定请求，并且根据该请求执行显示控制。
例如，显示控制单元205获取指定当前正被显示的轨迹中的点的第一请求，并且显示被叠加在显示单元106上正在显示的适当背景图像上的指定图像。指定图像包括当对象位于指定点处时的对象。在下文中，第一请求也将被称为“指定图像添加请求”。由包括第一请求的预定请求指定的点也将被称为“指定点”。在请求中段被指定的情况下，该段也将被称为“指定段”。
在该阶段，每当指定点改变时，显示控制单元205可以叠加指定图像。指定图像包括在对象位于指定点处时的对象。以这种方式，可以使得用户能够简单地通过移动轨迹中的指向斑点的位置来检查与同一图像中的指向斑点的时间点相对应的图像中示出的对象。应当注意，显示控制单元205可以叠加指定图像，该指定图像是视频图像中包括的图像之中的、当对象位于指定点处时生成的图像(该图像在下文中将被称为对应图像)。
例如，在第一请求是当由指向设备指向的斑点在轨迹中移动时、与关于指向斑点的位置信息一起输入的请求的情况下，显示控制单元205可以在每次获取第一请求时叠加指定图像，其包括当对象位于由位置信息指示作为指定点的点处时的对象。以这种方式，用户可以简单地通过追溯轨迹来检查当对象位于同一图像中的指定点处时的对象。
例如，在通过从视频图像中包括的图像之中的、当对象位于指定点处时所生成的图像(对应图像)中切出对象的对象区域来获得图像，并且所获得的图像被用作指定图像的情况下，显示控制单元205将指定图像叠加在与背景图像中的对应图像中的对象的位置相对应的位置中。例如，在根据对应图像中的对象的位置和大小确定指定图像被叠加在背景图像上的位置和大小之后，显示控制单元205可以将指定图像叠加在背景图像上。
此外，例如，在通过从对应图像切出对象而获得的图像被用作指定图像的情况下，显示控制单元205可以将第二指定图像与指定图像一起叠加在背景图像上。通过从对应图像中切出与对象相关的另一对象来获得第二指定图像。
显示控制单元205还可以获取指定当前正被显示的轨迹中的点的第二请求，并将背景图像切换到对应图像。在切换的同时，显示控制单元205可以在被切换的背景图像上叠加并显示对象的轨迹。在下文中，第二请求也将被称为“背景切换请求”。
显示控制单元205还可以获取指定当前正被显示的轨迹中的点或段的第三请求。然后，显示控制单元205可以将指示指定的信息添加到视频图像中包括的图像之中的、当对象位于指定点或段处时生成的图像(对应图像)，或者可以提取图像并将图像输出到外部。此外，显示控制单元205可以在该阶段将段设置为注释段。然后，显示控制单元205可以使该段的显示模式与当前正被显示的图像中的其他段不同，并将指示该变化的信息添加到该段。在下文中，第三请求也将被称为“注释添加请求”。
当显示轨迹时，显示控制单元205还可以将指定图像与轨迹一起叠加在背景图像上。指定图像从输入视频图像中满足预定条件时的图像获得。这等效于第一实施例中的显示伴随特定点时间的对象图像的轨迹。
当在背景图像上叠加指定图像时，例如，显示控制单元205还可以在指定图像上叠加关于对象的标识信息或关于与指定点相对应的时间点的信息。这等效于第一实施例中的通过指派相同的数字等来进行关联以指示对象的身份以及根据逝去时间或对应时间添加信息(例如带圆圈的P、带圆圈的A和带圆圈的R)。
例如，显示控制单元205还可以获取指定当前正被显示的轨迹中的点或段的第四请求。然后，显示控制单元205可以在背景图像上显示指定图像，直到获取用以取消第四请求的指令。指定图像包括对象位于指定点处时的对象。在下文中，第四请求也将被称为“指定图像固定请求”。
在没有获取任何请求的情况下，例如，显示控制单元205可以在添加指示警报时间点的符号等之后，持续显示警报时间点的对象图像或警报时间点处的相关对象的图像，如第一实施例中那样。
此外，显示控制单元205不仅可以将GUI功能添加到轨迹，还可以将GUI功能添加到显示图像中包括的跟踪目标对象的对象区域。换言之，在显示图像中显示除了当前对象之外的跟踪目标对象(跟踪目标对象被示出或叠加在背景图像上)的情况下，显示控制单元205可以使用户从跟踪目标对象之中选择其轨迹将要被新显示的对象。例如，在如图12中所示在屏幕上显示除了当前对象之外的跟踪目标对象的情况下，当从用户获取指定除了当前对象之外的跟踪目标对象的对象切换请求时，显示控制单元205可以将指定的跟踪目标对象设置为新对象，并且在当前背景图像上显示新对象的轨迹。在该阶段，先前对象的轨迹可以被留下或擦除，或者可以由用户选择。
此外，显示控制单元205还可以执行控制以显示时间信息和触发警报的检测到的项目，响应于显示而接收用户操作等，并且显示与这些项目相对应的时间的图像。在这种情况下，显示方法可以是将图像进一步叠加在当前正被显示的显示图像上的方法，或者是通过切换背景图像来显示图像的方法。在进一步叠加图像的情况下，可以叠加对应时间的整个图像，或者可以切出图像的一部分(对应部分)然后进行叠加。
在该实施例中，还利用视频图像处理设备4中包括的诸如CPU的信息处理设备来形成显示控制单元205。
接下来，描述根据该实施例的操作。图19是示出显示控制单元205中的显示控制的示例的流程图。
在该示例中，还是假设在步骤S201之前，预先确定或者由用户指定背景图像和要被显示的对象。还假设可以是背景图像的图像(诸如输入视频图像中的预定量的图像或从输入视频图像生成的图像)与其标识符一起被存储在视频图像保持单元102中。此外，假设分析信息存储单元104存储分析信息，其中指示包括由跟踪单元103从输入视频图像获取的位置和其他检测到的项目的分析结果的信息与关于在输入视频图像中从其获取位置的图像的标识信息相关联。
在下面描述的示例中，关于要在显示单元106上显示的显示图像的图像信息被划分成层，并且这些层被存储和管理。然后这些层被彼此叠加并输出。然而，生成显示图像的方法不限于此示例。
在图19中所示的示例中，显示控制单元205首先从视频图像保持单元102获取背景图像，并且将背景图像设置在背景层中(步骤S201)。更具体地，设置在层中意味着将关于要在层中被显示的图像的图像信息存储到为该层提供的缓冲器中。
然后，显示控制单元205从分析信息存储单元104获取分析信息(步骤S202)。
然后，显示控制单元205根据关于背景图像的区域信息来生成适合于背景图像的对象的轨迹，并且将所生成的轨迹设置在轨迹层中(步骤S203和S204)。在该阶段，显示控制单元205生成轨迹(轨迹图像)，其中点是与图像相关联的轨迹中的时间或输入视频图像中的时间点或关于时间点的时间信息。
然后，显示控制单元205将背景层中的图像信息和轨迹层中的图像信息彼此叠加，并且将经叠加的图像信息存储到显示缓冲器中，显示缓冲器存储要被输出到显示单元106的图像信息(步骤S205)。
在该阶段，如果存在要被预先显示的对象图像等，则显示控制单元205可以将对象图像作为指定图像转换为与被设置为背景图像的对应图像的位置和大小相对应的图像。然后，显示控制单元205可以将对象图像与固定标签一起设置在指定图像要被设置的叠加图像层中。叠加图像层的数目等于要被彼此叠加的图像的数目。
然后，显示控制单元205确定图像是否被设置在叠加图像层中(步骤S206)，以将到目前为止设置的指定图像叠加在背景图像上。如果图像被设置在叠加图像层中(步骤S206中为是)，则显示控制单元205进一步将所设置的图像叠加并存储到显示缓冲器中(步骤S207)。
如果图像被设置在两个或更多个叠加图像层中，则在步骤S207中，显示控制单元205将所有设置的图像叠加并存储到显示缓冲器中。然后，显示控制单元205前进到步骤S208。
另一方面，如果在叠加图像层中没有设置任何图像(步骤S206中为否)，则显示控制单元205直接前进到步骤S208。
在步骤S208中，显示控制单元205将被存储在显示缓冲器中的图像信息输出到显示单元106。
通过步骤S201至S208中的上述操作，在显示单元106上显示显示图像，在该显示图像中，背景图像、轨迹以及在叠加图像层中设置的(多个)图像(如果有)彼此叠加。
在显示单元106上显示图像的情况下，显示控制单元205获取包括指定当前正被显示的轨迹中的点的预定请求。在该示例中，显示控制单元205接收与该请求相对应的事件。然后，显示控制单元205执行与该事件相对应的处理(步骤S209：事件处理)。事件处理的示例在图20和图25中示出。
显示控制单元205可以例如在从事件处理结束起经过预定时间之后，返回到步骤S202，并且在重复步骤S202至S208中的操作的同时获取请求，以更新轨迹。
现在参考图20至图25，描述了事件处理的示例。
图20是示出根据第一请求(指定图像添加请求)的事件处理的示例的流程图。在图20中所示的示例中，在所接受的事件是指示已经获取第一请求的第一请求事件的情况下(步骤E11中为是)，显示控制单元205执行步骤E11至E14中的处理。
显示控制单元205首先清除未附接固定标签的(多个)叠加图像层(步骤E12)。这里，固定标签是指示对应的叠加图像层中的图像将被持续显示的标签。在步骤E12中，可以在下一显示图像更新定时处清除在第一请求之前被显示的固定标签的(多个)叠加图像层中设置的(多个)指定点图像。
然后，显示控制单元205从对应图像获取指定图像，该对应图像与由与事件相关的第一请求指定的点相对应，根据需要调整位置和大小，并且将指定图像设置在新的叠加图像层中(步骤E13和E14)。为了反映显示图像中的设置内容，显示控制单元205返回到步骤S206。
以这种方式，从对应于指定点的对应图像获得的指定图像被叠加在当前显示图像上。
图21是示出与指示第一请求无效的第一请求取消事件相对应的事件处理的示例的流程图。这里，第一请求取消事件假定发生在由第一请求指定的点移动到另一位置时或者当接收到指示新点的第一请求时。
在图21中所示的示例中，在所接受的事件是第一请求取消事件的情况下(步骤E15中为是)，显示控制单元205执行步骤E16中的处理。
具体地，显示控制单元205清除未附接固定标签的(多个)叠加图像层(步骤E16)。
因此，在显示屏幕更新定时处，清除叠加在当前显示图像上并且对应于移动之前的点或由先前第一请求指定的点的指定图像。应当注意，在步骤E16之后，显示控制单元205可以立即返回到步骤S205并且更新显示屏幕。
图22是示出与第二请求(背景切换请求)相对应的事件处理的示例的流程图。在图22中所示的示例中，在所接受的事件是指示已经获取第二请求的第二请求事件的情况下(步骤E21中为是)，显示控制单元205执行步骤E22和E23中的处理。
显示控制单元205首先清除所有轨迹层和叠加图像层(步骤E22)。
然后，显示控制单元205设置背景图像，该背景图像是与指定点相对应的对应图像(步骤E23)。为了反映显示图像中的设置内容，显示控制单元205返回到步骤S201。
因此，对应图像被设置为背景图像，并且在显示单元106上显示其中轨迹被叠加在背景图像上的显示图像。在该阶段，如果存在要被显示的对象图像，则显示控制单元205可以将对象图像作为指定图像转换为与被设置为背景图像的对应图像的位置和大小相对应的图像。然后，显示控制单元205可以将对象图像与固定标签一起设置在叠加层中。
图23是示出与第三请求(注释添加请求)相对应的事件处理的示例的流程图。在图23中所示的示例中，在所接受的事件是指示已经获取第三请求的第三请求事件的情况下(步骤E31中为是)，显示控制单元205执行步骤E32中的处理。
具体地，显示控制单元205将注释信息(指示用户已发出指令的信息)添加到与指定点或指定段相对应的图像和轨迹(步骤E32)。
应当注意，显示控制单元205还可以从输入视频图像中切出与指定点或指定段相对应的图像，并且将图像输出到外部。
图24是示出与第四请求(指定图像固定请求)相对应的事件处理的示例的流程图。在图24中所示的示例中，在所接受的事件是指示已经获取第四请求的第四请求事件的情况下(步骤E41中为是)，显示控制单元205执行步骤E42中的处理。
具体地，显示控制单元205将固定标签设置在其中设置了与指定点相对应的指定图像的叠加图像层中(步骤E42)。
以这种方式，防止当前正被显示的指定图像在下一显示屏幕更新定时及之后被清除。
图25是示出与对应于第五请求(第四请求取消请求)的第五请求事件相对应的事件处理的示例的流程图。在图25中所示的示例中，在所接受的事件是指示已经获取第五请求的第五请求事件的情况下(步骤E51中为“是”)，显示控制单元205执行步骤E52中的处理。
具体地，显示控制单元205取消其中设置了与指定点相对应的指定图像的叠加图像层中的固定标签(步骤E52)。
以这种方式，在下一显示屏幕更新定时处清除当前以固定方式被显示的指定图像。
接下来，描述该实施例中的显示图像的示例。首先，描述该实施例中的显示图像的合成样式的示例。
图26是示出在该实施例中针对要被生成的合成图像(显示图像)的生成样式的示例的说明图。在图26中，示出了从中移除轨迹的显示图像的生成样式的示例。如图26中所示，例如，显示控制单元205可以通过将从指定点图像切出的图像叠加在过去图像上来生成显示图像(生成样式1)。这里，指定点图像对应于上文提及的对应图像。从指定点图像切出的图像对应于上文提及的指定图像。
此外，例如，显示控制单元205可以通过将从最新图像切出的图像和从指定点图像切出的图像叠加在过去图像上来生成显示图像(生成样式2)。这里，从最新图像切出的图像可以是最新图像中包括的对象的对象图像。
此外，显示控制单元205例如可以通过将从指定点图像切出的图像叠加在最新图像上来生成显示图像(生成样式3)。
此外，例如，显示控制单元205可以通过将从过去图像切出的图像和从指定点图像切出的图像叠加在最新图像上来生成显示图像(生成样式4)。这里，从过去图像切出的图像可以是任何过去图像中包括的对象或相关对象的对象图像。这样的对象图像的示例包括在特定时间点处在过去图像中包括的对象或相关对象的对象图像，特定时间点诸如警报时间点、检测到特征变化时的时间点、或者是存在与另一相关对象的交互时的时间点。
图27至图29是示出根据该实施例的显示图像的示例的说明图。在本实施例的这些图中的每一个图中，(a)是示出通过将作为彩色图像的显示图像转换为灰度图像而获得的图像的说明视图，并且(b)是示出简化叠加图像的说明视图，该简化叠加图像是显示图像中的除了背景图像之外的图像，如第一实施例中那样。
图27中所示的示例是在用户发出第一请求之后要被显示的显示图像的示例，该第一请求指定与显示图像中的轨迹中的特定过去时间点相对应的点，其中最新图像被设置为背景图像并且包括最新对象的背景图像每时每刻都被更新。在该示例中，由第一请求指定的点由白色箭头指示。
如图27中所示，响应于第一请求，显示控制单元205可以进一步在显示图像上叠加并显示指定图像(那时的对象图像)。指定图像通过从对应于指定点的对应图像中切出对象的对象区域a02-3来形成。在该示例中，在获取第一请求之前，通过从发出警报时的对应图像中切出对象的对象区域a02-2而获得的指定图像和轨迹被叠加在最新图像上。
图28中所示的示例是在要被叠加在显示图像上的指定图像随着这样的第一请求的移动而改变时显示的显示图像的示例。在图中，同时显示对象区域a02-3、对象区域a02-4和对象区域a02-5。然而，在实践中，根据指向斑点(图中的白色箭头)的移动，这些区域在显示上切换。
图28中所示的示例是用户在以下情况下指定过去的特定时间点的显示设备的示例：最新图像被设置为背景图像，并且包括最新对象的背景图像每时每刻都被更新。如图28中所示，在用户指定对象的跟踪线中的点的情况下，例如，显示控制单元105可以叠加并显示对象位于该点处时的对象的对象图像(图中的对象区域a02-3)，以及相关对象的对象图像(参见图中的对象区域a02-4)。以这种方式，还可以使用户能够检查相关对象的特性等。
在检测到对象与除了下车的对象之外的另一对象之间的交互的情况下，显示控制单元205可以将交互时的其他对象的图像设置为相关对象的图像，并且叠加且显示该图像以及同一时间点的对象的图像。
如上所述，根据本实施例，用户简单地指定当前正被显示的轨迹、伴随轨迹的对象的对象区域、或相关对象的对象区域，并且进行预定输入。以这种方式，可以显示与指定点相对应的切出图像，或者可以切换背景图像。因此，可以迅速掌握视频图像中的两个或更多个时间点处的对象的状态和周围的状态。
在上述示例中，本实施例的显示控制单元205还将通知功能添加到轨迹，如第一实施例中描述的那样。然而，显示控制单元205可以仅向轨迹添加GUI功能，而不向轨迹给出这样的通知功能。换言之，即使对于简单的轨迹显示，也可以提供该实施例的GUI功能。
接下来，描述根据本发明的实施例的计算机的示例配置。图30是示出根据本发明的实施例的计算机的示例配置的示意框图。计算机1000包括CPU 1001、主存储设备1002、辅助存储设备1003、接口1004、显示设备1005和输入设备1006。
例如，上述的视频图像分析设备和视频图像处理设备可以被安装在计算机1000上。在这种情况下，各个设备的操作可以作为程序被存储在辅助存储设备1003中。CPU 1001从辅助存储设备1003读取程序，将程序加载到主存储设备1002中，并且根据程序执行根据上述实施例的预定处理。
辅助存储设备1003是非瞬态物理介质的示例。非瞬态物理介质的其他示例包括磁盘、磁光盘、CD-ROM、DVD-ROM、半导体存储器等，以经由接口1004连接到计算机1000。此外，在经由通信线路将这种程序递送到计算机1000的情况下，计算机1000可以在接收到递送之后将程序加载到主存储设备1002中，并且执行根据上述实施例的预定处理。
此外，程序可以用于执行每个实施例中的预定处理的一部分。此外，程序可以是用于结合已经被存储在辅助存储设备1003中的另一程序来执行根据上述实施例的预定处理的差分程序。
接口1004向其他设备发送信息和从其他设备接收信息。显示设备1005向用户呈现信息。输入设备1006接收来自用户的信息输入。
取决于实施例中的处理细节，可以省略计算机1000的一些组件。例如，如果设备不向用户呈现信息，则可以省略显示设备1005。
每个设备的每个组件的一部分或全部由通用或专用电路、处理器等或其组合实现。这些可以用单个芯片来形成，或者可以用经由总线连接的芯片来形成。备选地，每个设备的每个组件的一部分或全部可以用上文提及的电路等和程序的组合形成。
在每个设备的每个组件的一部分或全部由信息处理设备和电路等形成的情况下，信息处理设备和电路等可以以集中方式或分布式方式来布置。例如，信息处理设备和电路等可以用经由通信网络彼此连接的客户端和服务器系统、云计算系统等来形成。
图31是示出本发明的视频图像处理设备的概要的框图。如图31中所示，本发明的视频图像处理设备50可以包括显示控制装置501。
显示控制装置501(例如，显示控制单元105或205)获取指定正被显示的轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，指定图像包括对象位于指定点处的对象。
代替上述处理，根据作为视频图像的分析结果获得的分析结果中所示的对象的特征、与分析结果中示出的对象相关的另一对象的特征、或者从预定时间起的逝去时间的时间，显示控制装置501可以使轨迹的一部分的显示模式与另一部分不同，或者将指示分析结果或逝去时间的信息附接到轨迹的一部分附近。
通过向轨迹添加特定通知功能和GUI功能，用户可以迅速掌握视频图像中的两个或更多个时间点处的对象的情况。
以上公开的示例性实施例可以被描述为以下补充说明。
补充说明1。
一种视频图像处理设备，包括显示控制装置，该显示控制装置使显示单元显示指示视频图像中的对象的位置变化的轨迹，其中该显示控制装置获取指定正被显示的轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于被指定的点处时的该对象。
补充说明2。
根据补充说明1的视频图像处理设备，其中每当被指定的点改变时，显示控制装置在背景图像上叠加指定图像，该指定图像包括该对象位于指定点处时的该对象。
补充说明3。
根据补充说明1或2的视频图像处理设备，其中指定图像是通过从对应图像中切出对象而获得的图像，该对应图像是视频图像中包括的图像之中的、当对象位于被指定的点处时生成的图像。并且，当在背景图像上叠加指定图像时，显示控制装置将第二指定图像与该指定图像一起叠加在背景图像上，第二指定图像是通过从对应图像中切出与对象相关的另一对象而获得的图像。
补充说明4。
根据补充说明3的视频图像处理设备，其中与对象相关的另一对象绘制与视频图像中的对象的轨迹具有预定关系的轨迹。
补充说明5。
根据补充说明1至4中任一项的视频图像处理设备，其中显示控制装置获取指定正被显示的轨迹中的点的第二请求，并且将背景图像切换到对应图像，该对应图像是视频图像中包括的图像之中的、当对象位于被指定的点处时生成的图像。
补充说明6。
根据补充说明1至5中任一项的视频图像处理设备，其中显示控制装置获取指定正被显示的轨迹中的点和段中的一个的第三请求，并且将指示该指定的信息附接到视频图像中包括的图像之中的、当对象位于点和段中的被指定的该一个处时生成的图像，或者从视频图像中提取图像并将该图像输出到外部。
补充说明7。
根据补充说明1至6中任一项的视频图像处理设备，其中显示控制装置将关于对象的标识信息或关于与被指定的点相对应的时间的信息附接到所述指定图像，并且将指定图像叠加在背景图像上。
补充说明8。
根据补充说明1至7中任一项的视频图像处理设备，其中显示控制装置根据通过分析视频图像获得的分析结果中示出的对象的特征、与分析结果中示出的对象相关的另一对象的特征、以及从预定时间起的逝去时间中的一个，使轨迹的一部分的显示模式与另一部分不同，或者将指示分析结果和逝去时间中的一个的信息附接到所述轨迹的一部分附近。
补充说明9。
一种视频图像分析系统，包括：
跟踪装置，该跟踪装置分析视频图像，并且从视频图像中连续获取跟踪目标对象的位置；存储装置，该存储装置存储指示由跟踪装置获取的位置的位置信息，该位置信息与关于视频图像中的、从中获取该位置的图像的标识信息相关联；以及显示控制装置，该显示控制装置基于被存储在存储装置中的信息，使显示单元显示指示视频图像中的对象的位置变化的轨迹，其中显示控制装置获取指定正被显示的轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于指定点处时的该对象。
补充说明10。
一种视频图像处理方法，包括：
使显示单元显示指示视频图像中的对象的位置变化的轨迹；获取指定正被显示的轨迹中的点的第一请求；以及通过将指定图像叠加在正被显示的显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于被指定的点处时的该对象。
补充说明11。
一种视频图像处理程序，用于使计算机：
执行使显示单元显示指示视频图像中对象的位置变化的轨迹的过程；在该过程中，获取指定正被显示的轨迹中的点的第一请求；以及通过将指定图像叠加在正被显示的显示单元上的任意背景图像上来显示指定图像，该指定图像包括该对象位于被指定的点处时的该对象。
尽管已经参考该实施例和示例描述了本发明，但是本发明不限于上述实施例和示例。可以对本发明的配置和细节进行本发明的范围内的、本领域技术人员可以理解的各种变化。
本申请要求基于2017年3月31日提交的日本专利申请2017-070667的优先权，其全部公开内容并入本文。
工业适用性
本发明不仅适用于监控，还适用于检查伴随分析信息的视频图像。例如，本发明可以适用于市场营销，以从在商店中或在特定物品附近拍摄的视频图像中识别顾客的情况。
附图标记列表
100、200：视频图像分析系统
1：视频图像输入设备
2：视频图像分析设备
3：存储设备
4：视频图像处理设备
5：显示设备
101：视频图像输入单元
102：视频图像保持单元
103：跟踪单元
104：分析信息存储单元
105、205：显示控制单元
106：显示单元
1000：计算机
1001：CPU
1002：主存储设备
1003：辅助存储设备
1004：接口
1005：显示设备
1006：输入设备
50：视频图像处理设备
501：显示控制装置

Claims (11)

1.一种视频图像处理设备，包括：
显示控制装置，所述显示控制装置使显示单元显示指示视频图像中的对象的位置变化的轨迹，
其中所述显示控制装置获取指定正被显示的所述轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在所述显示单元上的任意背景图像上来显示所述指定图像，所述指定图像包括所述对象位于被指定的所述点处时的所述对象。
2.根据权利要求1所述的视频图像处理设备，其中，
每当被指定的所述点改变时，所述显示控制装置在所述背景图像上叠加所述指定图像，所述指定图像包括所述对象位于被指定的所述点处时的所述对象。
3.根据权利要求1或2所述的视频图像处理设备，其中，
所述指定图像是通过从对应图像中切出所述对象而获得的图像，所述对应图像是所述视频图像中包括的图像之中的、当所述对象位于被指定的所述点处时生成的图像，并且
当在所述背景图像上叠加所述指定图像时，所述显示控制装置将第二指定图像与所述指定图像一起叠加在所述背景图像上，所述第二指定图像是通过从所述对应图像中切出与所述对象相关的另一对象而获得的图像。
4.根据权利要求3所述的视频图像处理设备，其中，
与所述对象相关的所述另一对象绘制与所述视频图像中的所述对象的所述轨迹具有预定关系的轨迹。
5.根据权利要求1至4任一项所述的视频图像处理设备，其中，
所述显示控制装置获取指定正被显示的所述轨迹中的点的第二请求，并且将所述背景图像切换到对应图像，所述对应图像是所述视频图像中包括的图像之中的、当所述对象位于被指定的所述点处时生成的图像。
6.根据权利要求1至5中任一项所述的视频图像处理设备，其中，
所述显示控制装置获取指定正被显示的所述轨迹中的点和段中的一个的第三请求，并且将指示所述指定的信息附接到所述视频图像中包括的图像之中的、当所述对象位于所述点和所述段中的被指定的所述一个处时生成的图像，或者从所述视频图像中提取所述图像并且将所述图像输出到外部。
7.根据权利要求1至6中任一项所述的视频图像处理设备，其中，
所述显示控制装置将关于所述对象的标识信息或关于与被指定的所述点相对应的时间的信息附接到所述指定图像，并且将所述指定图像叠加在所述背景图像上。
8.根据权利要求1至7中任一项所述的视频图像处理设备，其中，
所述显示控制装置根据通过分析所述视频图像获得的分析结果中示出的所述对象的特征、与所述分析结果中示出的所述对象相关的另一对象的特征、以及从预定时间起的逝去时间中的一个，使所述轨迹的一部分的显示模式与另一部分不同，或者将指示所述分析结果和所述逝去时间中的一个的信息附接到所述轨迹的一部分附近。
9.一种视频图像分析系统，包括：
跟踪装置，所述跟踪装置分析视频图像，并且从所述视频图像中连续获取跟踪目标对象的位置；
存储装置，所述存储装置存储指示由所述跟踪装置获取的所述位置的位置信息，所述位置信息与关于所述视频图像中的、从中获取所述位置的图像的标识信息相关联；以及
显示控制装置，所述显示控制装置基于被存储在所述存储装置中的所述信息，使显示单元显示指示所述视频图像中的所述对象的所述位置变化的轨迹，
其中所述显示控制装置获取指定正被显示的所述轨迹中的点的第一请求，并且通过将指定图像叠加在正被显示在所述显示单元上的任意背景图像上来显示所述指定图像，所述指定图像包括所述对象位于被指定的所述点处时的所述对象。
10.一种视频图像处理方法，包括：
使显示单元显示指示视频图像中的对象的位置变化的轨迹；获取指定正被显示的所述轨迹中的点的第一请求；以及
通过将指定图像叠加在正被显示在所述显示单元上的任意背景图像上来显示所述指定图像，所述指定图像包括所述对象位于被指定的所述点处时的所述对象。
11.一种视频图像处理程序，用于使计算机：
执行使显示单元显示指示视频图像中的对象的位置变化的轨迹的过程；
在所述过程中，获取指定正被显示的所述轨迹中的点的第一请求；以及
通过将指定图像叠加在正被显示在所述显示单元上的任意背景图像上来显示所述指定图像，所述指定图像包括所述对象位于被指定的所述点处的所述对象。
CN201880023062.0A 2017-03-31 2018-02-21 视频图像处理设备、视频图像分析系统、方法和程序 Pending CN110476421A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-070677 2017-03-31
JP2017070677 2017-03-31
PCT/JP2018/006229 WO2018180039A1 (ja) 2017-03-31 2018-02-21 映像処理装置、映像解析システム、方法およびプログラム

Publications (1)

Publication Number Publication Date
CN110476421A true CN110476421A (zh) 2019-11-19

Family

ID=63677955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880023062.0A Pending CN110476421A (zh) 2017-03-31 2018-02-21 视频图像处理设备、视频图像分析系统、方法和程序

Country Status (7)

Country Link
US (3) US20190378279A1 (zh)
EP (1) EP3606055A4 (zh)
JP (4) JP6725061B2 (zh)
CN (1) CN110476421A (zh)
AR (1) AR111195A1 (zh)
SG (1) SG11201907834UA (zh)
WO (1) WO2018180039A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111238323A (zh) * 2020-03-09 2020-06-05 深圳市宏源建设工程有限公司 一种控制爆破远程监控系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
WO2020147792A1 (zh) * 2019-01-16 2020-07-23 杭州海康威视数字技术股份有限公司 一种视频显示方法、装置、系统及摄像机
CN111447403B (zh) * 2019-01-16 2021-07-30 杭州海康威视数字技术股份有限公司 一种视频显示方法、装置及系统
WO2020213426A1 (ja) * 2019-04-18 2020-10-22 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN110602525B (zh) * 2019-08-23 2021-09-17 江西憶源多媒体科技有限公司 一种视频分析结果与图像帧绑定传输的方法
GB2592035A (en) * 2020-02-13 2021-08-18 Univ Cranfield Object location status monitoring apparatus and method
CN111832539A (zh) * 2020-07-28 2020-10-27 北京小米松果电子有限公司 视频处理方法及装置、存储介质
US20220268918A1 (en) * 2021-02-24 2022-08-25 Amazon Technologies, Inc. Techniques for generating motion information for videos

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201315654Y (zh) * 2008-08-25 2009-09-23 云南正卓信息技术有限公司 监狱专用SkyEyesTM智能监控系统
US20150356840A1 (en) * 2013-02-06 2015-12-10 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
CN105759720A (zh) * 2016-04-29 2016-07-13 中南大学 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0594536A (ja) 1991-10-01 1993-04-16 Nippon Telegr & Teleph Corp <Ntt> 移動物体抽出処理方法
JP2000099851A (ja) 1998-09-21 2000-04-07 Oki Electric Ind Co Ltd 監視システム装置
JP2006093955A (ja) * 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
JP2006350761A (ja) 2005-06-17 2006-12-28 Nippon Telegr & Teleph Corp <Ntt> Ｒｆｉｄタグ発行装置，ｒｆｉｄタグ発行方法およびｒｆｉｄタグ発行プログラム
JP2006350751A (ja) * 2005-06-17 2006-12-28 Hitachi Ltd 店舗内の販売分析装置及びその方法
JP4541316B2 (ja) 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US20090002489A1 (en) 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
JP5159381B2 (ja) 2008-03-19 2013-03-06 セコム株式会社 画像配信システム
US20110199461A1 (en) * 2008-10-17 2011-08-18 Panasonic Corporation Flow line production system, flow line production device, and three-dimensional flow line display device
JP2010123069A (ja) * 2008-11-21 2010-06-03 Panasonic Corp センシングデータ検索装置及び検索画像作成方法
JP5603663B2 (ja) * 2010-06-02 2014-10-08 Ｔｏａ株式会社 移動体軌跡表示装置および移動体軌跡表示プログラム
DE102010031429A1 (de) * 2010-07-16 2012-01-19 Robert Bosch Gmbh Verfahren zum Bereitstellen eines Kombinations-Videos
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
JP5718632B2 (ja) 2010-12-22 2015-05-13 綜合警備保障株式会社 部位認識装置、部位認識方法、及び部位認識プログラム
JP6031735B2 (ja) * 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP6159179B2 (ja) * 2013-07-09 2017-07-05 キヤノン株式会社 画像処理装置、画像処理方法
US9453904B2 (en) * 2013-07-18 2016-09-27 Golba Llc Hybrid multi-camera based positioning
JP6364743B2 (ja) 2013-10-31 2018-08-01 株式会社Ｊｖｃケンウッド 情報処理装置、制御方法、プログラム、及び情報システム
JP6610545B2 (ja) 2014-06-30 2019-11-27 日本電気株式会社 個人情報に配慮した画像処理システム、画像処理方法及びプログラム
JP6532234B2 (ja) * 2015-01-09 2019-06-19 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP5909709B1 (ja) * 2015-05-29 2016-04-27 パナソニックＩｐマネジメント株式会社 動線分析システム、カメラ装置及び動線分析方法
JP2017070667A (ja) 2015-10-09 2017-04-13 京楽産業．株式会社 遊技機

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201315654Y (zh) * 2008-08-25 2009-09-23 云南正卓信息技术有限公司 监狱专用SkyEyesTM智能监控系统
US20150356840A1 (en) * 2013-02-06 2015-12-10 Sony Corporation Information processing apparatus, information processing method, program, and information processing system
CN105759720A (zh) * 2016-04-29 2016-07-13 中南大学 基于计算机视觉的机械手跟踪定位在线识别与纠偏方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111238323A (zh) * 2020-03-09 2020-06-05 深圳市宏源建设工程有限公司 一种控制爆破远程监控系统

Also Published As

Publication number Publication date
JP2020167720A (ja) 2020-10-08
EP3606055A4 (en) 2020-02-26
US11748892B2 (en) 2023-09-05
AR111195A1 (es) 2019-06-12
US20210233254A1 (en) 2021-07-29
JPWO2018180039A1 (ja) 2019-12-26
EP3606055A1 (en) 2020-02-05
JP2021185698A (ja) 2021-12-09
US20190378279A1 (en) 2019-12-12
WO2018180039A1 (ja) 2018-10-04
SG11201907834UA (en) 2019-09-27
US20230351612A1 (en) 2023-11-02
JP7279747B2 (ja) 2023-05-23
JP2023085397A (ja) 2023-06-20
JP6725061B2 (ja) 2020-07-15

Similar Documents

Publication Publication Date Title
CN110476421A (zh) 视频图像处理设备、视频图像分析系统、方法和程序
AU2014382730C1 (en) Method and device for detecting a touch between a first object and a second object
JP6760485B2 (ja) 映像処理装置、映像解析システム、方法およびプログラム
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
EP2945403B1 (en) User profiling using location data from analysed user&#39;s path
DK2596630T3 (en) Tracking apparatus, system and method.
EP2450832A1 (en) Image processing apparatus and image processing method
CN104811660B (zh) 控制装置及控制方法
KR20150109978A (ko) 영상 처리 시스템 및 영상 처리 방법
JP6935368B2 (ja) 機械学習装置及び方法
CA3160731A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
CN105975925B (zh) 基于联合检测模型的部分遮挡行人检测方法
JP6120404B2 (ja) 移動体行動分析・予測装置
CN108737793A (zh) 使用摄像机网络跟踪运动对象
CN111814510B (zh) 一种遗留物主体检测方法及装置
JP6334767B1 (ja) 情報処理装置、プログラム、及び情報処理方法
JP2012128877A (ja) 不審行動検知システム及び方法
CN108921072A (zh) 一种基于视觉传感器的人流量统计方法、装置及系统
KR101513414B1 (ko) 감시 영상 분석 방법 및 시스템
KR101840042B1 (ko) 복합 가상 팬스 라인 설정 방법 및 이를 이용한 침입 감지 시스템
KR101736431B1 (ko) 다중영상을 이용한 교통정보 스마트 모니터링 시스템 및 방법
CN109101900A (zh) 一种对象分布信息的确定方法、装置和电子设备
JP2012084078A (ja) 動体情報解析装置、動体情報解析システム、動体情報解析装置の制御方法、および動体情報解析装置の制御プログラム
JP7468653B2 (ja) 処理システム及び処理方法
JPWO2021152736A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191119