CN110119667A - 用于学习用于人员重新识别的模型的方法和用于由所学习的模型来识别人员的方法 - Google Patents

用于学习用于人员重新识别的模型的方法和用于由所学习的模型来识别人员的方法 Download PDF

Info

Publication number
CN110119667A
CN110119667A CN201910103546.2A CN201910103546A CN110119667A CN 110119667 A CN110119667 A CN 110119667A CN 201910103546 A CN201910103546 A CN 201910103546A CN 110119667 A CN110119667 A CN 110119667A
Authority
CN
China
Prior art keywords
video camera
personnel
image
camera
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910103546.2A
Other languages
English (en)
Inventor
G·布洛特
S·F·朗格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110119667A publication Critical patent/CN110119667A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于在使用摄像机100的图像的情况下学习用于人员重新识别的模型的方法600，其中，该方法至少具有读取的步骤，在该步骤中读取探测信号135，该探测信号代表在摄像机网络的至少摄像机100的监测区域内探测到的人员。该方法至少还具有收集的步骤，在该步骤中，使用所读取的探测信号135来从摄像机100收集多个图像信号140，所收集的图像信号140代表摄像机100的各一个图像中的所拍摄的图像区段。最后，该方法至少具有适配的步骤，使用所收集的图像信号140来对用于人员重新识别的模型进行适配，以便在摄像机网络的摄像机100或至少一个第二摄像机的图像中重新识别出所探测的人员。

Description

用于学习用于人员重新识别的模型的方法和用于由所学习的 模型来识别人员的方法
技术领域
本发明涉及一种用于在使用摄像机的图像的情况下学习用于人员重新识别的方法、一种用于通过摄像机网络的第二摄像机由所学习的用于人员重新识别的模型来识别人员的方法以及一种使用所述方法的设备。本发明的主题也是一种计算机程序。
背景技术
已知用于观测一个或多个监测区域的监测系统，其中，至少一个或多个监测摄像机指向所述一个和/或多个监测区域。在此，由监测摄像机跟踪位于监测区域内的显著对象(例如人员或车辆)。将由监测摄像机所拍摄的图像序列和/或视频序列传输给中央单元(例如监测中心)，并且在那里由监测人员分析处理和/或自动化地分析处理所述图像序列和/或视频序列。
DE 10 2009 055 127 A1描述一种用于探测和跟踪显著对象的视频监测系统，其中，根据预给定的模型描述借助探测装置来探测该对象，并且在确定的时间段上由跟踪装置跟踪该对象，其中，跟踪装置检测多个跟踪参数并且与探测装置反向耦合，使得在重复探测的情况下将跟踪参数提供给探测装置并且考虑所述跟踪参数用于该对象的探测。
发明内容
在所述背景下，借助在此提供的方案提出一种用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法、一种用于通过摄像机网络的第二摄像机由所学习的用于人员重新识别的模型来识别人员的方法、一种使用所述方法的设备，以及最后提出一种相应的计算机程序。通过在说明书中列举的措施，可以实现所提出的设备的有利的扩展方案和改善方案。
在使用摄像机的多个所拍摄的图像区段的情况下如此学习和匹配用于人员重新识别的模型，使得在图像区段上探测到的人员也可以在摄像机网络的其他摄像机中被重新识别出和跟踪。
在此提出一种用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法，其中，该方法具有如下步骤：
读取探测信号，该探测信号代表在摄像机网络的至少摄像机的监测区域内探测到的人员；
在使用所读取的探测信号的情况下从摄像机收集多个图像信号，其中，所收集的图像信号代表摄像机的各一个图像中的所拍摄的图像区段；
在使用所收集的图像信号的情况下对用于人员重新识别的模型进行适配，以便在摄像机网络的摄像机或至少第二摄像机的图像中重新识别出所探测的人员。
所述模型可以涉及过程或复杂关系的简化表示。优选地，该模型构造成人工神经网络，其中，该人工神经网络以预确定的网络架构布置和连接，其中，所述连接用于信息交换。在此设置，两个神经元之间的信息流强度能够通过加权而改变。优选地，在模型的适配中改变神经网络的连接的加权。所述摄像机可以涉及摄影技术装置，该摄影技术装置可以在摄影胶片上或电子地在磁性录像带上或在数字存储介质上记录静态的或运动的图像、或者通过接口传递所述静态的或动态的图像。摄像机网络可以涉及具有多个静态布置的摄像机的联网的安全系统，所述摄像机用于对监测区域进行监测。监测区域可以涉及确定的通常公共的区域或空间(例如在机场或火车站中)，由摄像机网络监测所述区域或空间，以便通过视频监测的预防性和保护性作用而导致安全状况的持续改善。图像区段可以涉及情景的被捕获在摄影图像上的部分区域。
在此提出的方法方案的优点尤其在于，通过确定至少一个用于主动摄像机调节的调节参数，可以如此学习和训练用于人员重新识别的模型，使得人工地增加关于在监测区域中探测到的人员的可用数据量。基于该人工增加的数据量，可以生成用于人员重新识别的更稳健和不依赖于照明的特征。由此，例如可以通过整个摄像机网络无缝地(nahtlos)跟踪所探测到的人员，而不会丢失该人员的身份，或者不会将该人员与另一被跟踪的人员混淆。此外，智能视频和/或图像内容分析的使用简化了对关键性设施(例如火车站、机场或公共场合)的监测，因为智能算法可以自动地探测并且在时间上跟踪情景中的人员。因此，如果人员例如在关键性的或敏感的区域中停留，或者如果识别到与正常行为的另一偏差，则监测系统可以自动地向安全人员发出警报。
根据一种实施方式，可以借助提取步骤从所收集的图像信号提取所探测的人员的特定人员特征，其中，尤其给特定的人员特征分配用于辨识人员的标识符，其中，在适配的步骤中，将特定的人员特征输出给摄像机网络的摄像机或第二摄像机。根据特定人员特征中的这种与标识符关联的分配信息，可以通过用于监测关键性区域的整体摄像机网络来唯一明确地并且无缝地跟踪和辨识确定的人员。
根据一种实施方式，借助确定的步骤，可以优选在使用所收集的图像区段的情况下确定调节参数，该调节参数用于调整摄像机的或第二摄像机的拍摄特性，其中，尤其在收集的步骤中，可以将所确定的调节参数用于拍摄至少一个另外的图像信号。在此，调节参数主要用于使所拍摄的或待拍摄的图像区段匹配于所拍摄的或待拍摄的情景的当前测量的曝光特性，并且甚至可以根据未来预期的曝光特性来匹配该调节参数。通过借助调节参数来对摄像机或第二摄像机的预测性调节，快速变化的情景中的各种要求被满足。优选地，借助所确定的调节参数来调整摄像机或第二摄像机。在此，尤其在预确定的调整范围中逐步地和/或随机地改变调节参数，从而拍摄所述图像区段。
根据一种实施方式，在确定的步骤中，可以将亮度和/或对比度和/或颜色表示识别作为调节参数。通过在亮度、对比度和颜色表示方面使用或匹配所拍摄的或待拍摄的图像区段，可以实现数据可变性的提高，这导致用于人员重新识别的模型的改善。优选地，作为变化的调节参数的附加或替代，可以禁用摄像机的红外截止滤光器，并且在红外截止滤光器被禁用的情况下拍摄图像区段，并且将所述图像区段用于对用于人员重新识别的模型进行适配。
根据一种实施方式，在收集的步骤中，可以沿者所探测的人员的运动轨迹收集图像信号的图像区段。在此，如此选择沿着运动轨迹拍摄的图像区段，以便在该图像区段上提取人员的特定特征，借助所述特定特征，也可以在摄像机网络的另一摄像机中唯一明确地分配所探测的人员。
在此提出一种用于通过摄像机网络的摄像机或第二摄像机由所学习的用于人员重新识别的模型来识别人员的方法，其中，该方法具有如下步骤：
相应于用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法的步骤；
检测至少一个第二图像信号，其中，该第二图像信号代表摄像机或第二摄像机的图像的第二图像区段；
在使用用于人员重新识别的模型的情况下，通过摄像机网络的摄像机或第二摄像机在所读取的第二图像信号上识别所探测的人员。
根据一种实施方式，在相应于用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法的步骤中，可以将在所收集的图像信号上探测到的人员的特定人员特征输出给摄像机或第二摄像机，其中，在识别的步骤中，同样地，在通过摄像机自身或第二摄像机所读取的第二图像信号上，通过特定人员特征识别如下人员：所述人员已经由第一摄像机所探测到。根据特定人员特征中的与标识符关联的分配信息，可以通过用于监测关键性区域的整体摄像机网络唯一明确地并且无缝地跟踪和辨识所确定的人员。
根据一种实施方式，在相应于用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法的步骤中，可以将所确定的调节参数输出给摄像机或第二摄像机，其中，在检测的步骤中，将所确定的调节参数用于由摄像机或第二摄像机所检测的第二图像区段。通过摄像机借助调节参数的预测性调节，可靠地满足快速变化的情景中的各种要求，并且已经由第一摄像机探测到的人员也能够通过摄像机网络的第二摄像机唯一明确地辨识。
根据一种实施方式，在用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法中，和/或，在用于通过摄像机网络的第二摄像机由所学习的用于人员重新识别的模型来识别人员的方法中，摄像机网络的第一摄像机和第二摄像机可以与计算单元连接，其中，尤其在计算单元上执行收集的步骤和/或识别的步骤。在此，在计算单元上收集通过第一摄像机和/或第二摄像机拍摄的多个图像区段，以便根据从图像区段提取的人员特征来学习用于人员重新识别的模型。
在此提出的方法中的一个或多个例如可以以软件实现或以硬件实现或以软件与硬件的混合形式(例如在设备或控制设备中)实现。
在此提出的方案还提供一种设备，该设备构造用于在相应的装置中执行、操控或实现在此提出的方法的变型方案的步骤。通过本发明的设备形式的实施变型方案，也可以快速且高效地解决本发明所基于的任务。
为此，所述设备可以具有：至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储单元、至少一个用于从传感器读取传感器信号或用于将数据信号或控制信号输出到执行器的至传感器或执行器的接口和/或至少一个用于读取或输出嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器或类似物，其中，所述存储单元例如可以是闪存、EPROM或磁性存储单元。通信接口可以构造用于无线地和/或有线地读取或输出数据，其中，可以读取或输出有线数据的通信接口例如可以电学地或光学地从相应数据传输线路中读取所述数据或将所述数据输出到相应的数据传输线路中。
在此，设备可以理解为电设备，所述电设备处理传感器信号并且根据所述传感器信号输出控制信号和/或数据信号。所述设备可以具有可以以硬件形式和/或软件形式构造的接口。在硬件形式的构造中，所述接口例如可以是所谓的系统专用集成电路的一部分，该部分包含所述设备的各种各样的功能。然而也能够实现，所述接口是独立的集成电路或至少部分地由分立的构件组成。在软件形式的构造中，所述接口可以是软件模块，所述软件模块例如和另外的软件模块存在于微控制器上。
也有利的是一种计算机程序产品或具有程序代码的计算机程序，所述程序代码能够存储在机器可读的载体或存储介质上，例如半导体存储器、硬盘存储器或光学存储器并且用于尤其当所述程序产品或程序在计算机或设备上实施时，执行、实现和/或操控根据上面所描述的实施方式中任一项所述的方法的步骤。
附图说明
在此提出的方案的实施例在附图中示出并且在以下说明书中进一步阐述。附图示出：
图1示出根据一种实施例的具有如下设备的第一摄像机的示意图：该设备用于在使用摄像机的图像的情况下学习用于人员重新识别的模型；
图2示出根据一种实施例的具有如下设备的第二摄像机的示意图：该设备用于由所学习的用于人员重新识别的模型来识别人员；
图3示出根据一种实施例的用于阐述在人员重新识别的情况下借助调节参数的主动摄像机调节的意义的图示；
图4示出根据一种实施例的用于阐述在人员重新识别的情况下借助调节参数的主动摄像机调节的意义的图示；
图5示出根据一种实施例的用于使用用于学习用于人员重新识别的模型的方法以及用于由所学习的用于人员重新识别的模型来识别人员的方法的简化系统结构；
图6示出根据一种实施例的用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法的一种实施例的流程图；
图7示出根据一种实施例的用于由所学习的用于人员重新识别的模型来识别人员的方法的一种实施例的流程图。
在本发明的有利实施例的以下描述中，对于在不同附图中示出的并且作用相似的元素使用相同或相似的附图标记，其中，省去对这些元素地重复性描述。
具体实施方式
图1示出根据一种实施例的具有如下设备105的第一摄像机100的示意图：该设备用于在使用摄像机100的图像的情况下学习用于人员重新识别的模型。用于学习用于人员重新识别的模型的设备105具有：读取装置110、收集装置115、确定装置120、提取装置125以及适配装置130。
读取装置110构造用于读取探测信号135，其中，探测信号135代表在摄像机网络的至少摄像机100的监测区域内探测到的人员。此外，收集装置115构造用于从摄像机100读取多个图像信号140，并且在使用已经由读取装置110所读取的探测信号135的情况下收集所述多个图像信号，其中，所收集的图像信号140代表摄像机100的各一个图像中的所拍摄的图像区段。此外，收集装置115构造用于沿着所探测的人员的运动轨迹来收集图像信号140的图像区段。根据一种实施例，同样可以在外部布置的计算单元上收集图像信号140，摄像机100与该计算单元连接。确定装置120构造用于在使用所收集的图像信号140或由图像信号140所代表的图像区段的情况下确定调节参数145，该调节参数用于调整摄像机100的拍摄特性。在此，可以将亮度和/或对比度和/或颜色表示识别作为调节参数145。在此，接下来，收集装置115还构造用于使用所识别的调节参数145来拍摄至少一个另外的图像信号140。提取装置125构造用于从所收集的图像信号140提取所探测的人员的特定人员特征150。此外，在此给特定人员特征150分配用于辨识人员的标识符。最后，适配装置130构造用于在使用所收集的图像信号140的情况下对用于人员重新识别的模型进行适配，以便在摄像机网络的至少第二摄像机中重新识别出所探测的人员。在此，适配装置130还构造用于预先将特定人员特征150以及调节参数145输出给摄像机网络的第二摄像机。
图2示出根据一种实施例的具有如下设备205的第二摄像机200：该设备用于由所学习的用于人员重新识别的模型来识别人员。用于通过摄像机网络的第二摄像机200由所学习的用于人员重新识别的模型来识别人员的设备205具有：检测装置210和识别装置215。
检测装置210构造用于检测至少一个第二图像信号220，其中，第二图像信号220代表第二摄像机200的图像中的第二图像区段。检测装置210在此还构造用于检测所确定的调节参数145并且将其用于所检测的第二图像区段，其中，在使用所收集的图像区段的情况下，由图1中的设备的适配装置将所确定的调节参数145输出给第二摄像机200，该调节参数用于调整第二摄像机200的拍摄特性，所述图1中的设备用于学习用于人员重新识别的模型。最后，检测装置210构造用于检测所提取的特定人员特征150。识别装置215构造用于在使用用于人员重新识别的模型的情况下，通过摄像机网络的第二摄像机200在所读取的第二图像信号220上识别所探测的人员。在此，识别装置215尤其构造用于根据所检测的第二图像信号220中的特定人员特征150来识别所探测的人员，其中，由图1中的设备的适配装置将特定人员特征150输出给第二摄像机，所述特定人员特征用于由所收集的图像信号识别所探测的人员，所述图1中的设备用于学习用于人员重新识别的模型。根据一种实施例，同样可以在外部布置的计算单元上根据所检测的第二图像信号220中的特定人员特征来识别所探测的人员，第二摄像机200与该计算单元连接。
图3示出根据一种实施例的用于阐述在人员重新识别的情况下借助调节参数的主动摄像机调节的意义的图示。在此，该图示具有四个所拍摄的图像区段305、310、315、320，所述图像区段由摄像机在没有主动摄像机调节的情况下在四个不同时刻所拍摄。
在图像区段305、310、315、320上能够看出由摄像机所探测的人员325，该人员在确定的时间段上沿着运动轨迹330被跟踪。现在，为了对可用于人员重新识别的模型进行学习，沿着人员325的运动轨迹330选择和收集所探测的人员330的多个图像区段305、310、315、320，以便在这些所收集的图像区段305、310、315、320上提取或学习人员325的特定特征。放大的左侧图像340示出四个所拍摄和所收集的图像区段305、310、315、320的叠加的总体情景。四个图像区段305、310、315、320分别在四个不同的时刻所拍摄，其中，首先在时刻t-3拍摄了图像区段305，紧接着在时刻t-2拍摄了图像区段310，然后在时刻t-1拍摄了图像区段315。在时刻t拍摄的图像区段320示出最当前的图像区段。
此外，在图3中示出用于激活摄像机调节的功能345，根据一种实施例，该功能的x轴表示亮度参数，并且该功能的y轴表示时间变化过程。功能345的曲线图350在此表示摄像机调节的禁用，其中明显的是，在时间变化过程上，曲线图350作为直线示出，因为对于所有四个图像区段305、310、315、320而言，摄像机调节保持不变。
如图3所示，图像区段305、310、315、320是相同的。因此，在不具有主动摄像机调节的摄像机中，只能使用人员325的有限数量的图像区段，因为尤其在具有恒定照明的情景中，数据方面的可变性很小。相应地，三个图像区段310、315、320被删除，因为这些附加的图像区段310、315、320在时刻t-2、t-1和t没有附加价值(Mehrwert)。因此，只能使用时刻t-3的图像区段305。常规的恒定摄像机调节基于如下假设：从图像到图像，情境不发生明显变化。因此，假设摄像机针对图3中所示情景所计算的调节参数对于接下来的图像保持有效。然而，在如下应用中这种假设失去其有效性：在这些应用中出现快速变化的情景(例如在跟踪逃跑人员时)。因此，在常规摄像机调节中产生滞后，从而摄像机的图像传感器不再能正确地描述变换的照明特性。
此外，在逐点干扰事件(punktuelle)的情况下(例如在摄像机前走过一群人时)是成问题的。因此，存在对主动摄像机调节的需求，即使在快速变化的情景中，主动摄像机调节也允许对图像区段中的所拍摄的情景进行令人满意的转换。
另一问题在于，不同摄像机视图在视点和照明方面的巨大差异会严重改变人员325的外观，这使得在摄像机网络的另一摄像机中重新辨识人员325变得困难。由于不同的照明特性和/或不同的摄像机视图和/或人员325的遮蔽和/或人员325的仅偶尔旋转对称的外观以及由于仅受限可用的训练数据，为了生成稳健的模型而面临的巨大挑战在于人员外观方面的高度可变性。
图4示出根据一种实施例的用于阐述在人员重新识别的情况下借助调节参数的主动摄像机调节的意义的图示。该图示在此具有四个所拍摄的图像区段305、310、315、320，这些图像区段由具有主动摄像机调节的摄像机在四个不同时刻所拍摄。
在图像区段305、310、315、320上能够看出由摄像机所探测的人员325，该人员在确定的时间段上沿着运动轨迹330被跟踪。放大的左侧图像340示出四个所拍摄和所收集的图像区段305、310、315、320的叠加的总体情景。四个图像区段305、310、315、320分别在四个不同的时刻所拍摄，其中，首先在时刻t-3拍摄了图像区段305，紧接着在时刻t-2拍摄了图像区段310，然后在时刻t-1拍摄了图像区段315。在时刻t拍摄的图像区段320示出最当前的图像区段。
此外，在图4中示出用于激活摄像机调节的功能345，根据一种实施例，该功能的x轴表示亮度参数，并且该功能的y轴表示时间变化过程。功能345的曲线图350在此表示摄像机调节的激活，其中，明显的是，在时间变化过程上，对于四个图像区段305、310、315、320中的每个而言，摄像机调节是主动变化的。
如果人员325首次进入摄像机网络的摄像机的视野中，则将该人员325的多个图像区段305、310、315、320保存和收集在计算单元中或用于学习用于人员重新识别的模型的设备的收集装置中，其中，从这些所收集的图像区段305、310、315、320提取人员325的特定人员特征。此外，给所述特定人员特征分配唯一明确的标识符，其中，该标识符可以涉及数字和/或字母组合。根据这些人员数据，学习和适配用于人员重新识别的模型，以便在摄像机网络的另一摄像机中重新识别出同一人员325，并且使该人员与原始预给定的特定人员特征以及标识符相关联。
借助主动摄像机调节，在每个所拍摄的图像区段305、310、315、320中，在使用所确定的调节参数的情况下改变摄像机的拍摄特性，使得在时刻t-2、t-1和t产生新的数据用于学习用于人员重新识别的模型。该调节参数可以涉及用于使亮度和/或对比度和/或颜色表示匹配于图像区段305、310、315、320的参数。能够容易看出，图4中人员的衣物颜色被略微地改变，这是因为颜色表示受到摄像机调节的影响。
通过主动地控制摄像机调节，还可以显著提高沿着人员325的运动轨迹330的数据可变性。通过人工增加数据，可以借助神经网络训练用于人员重新识别的更稳健的模型，或者可以显著提高计算单元中的用于人员325的图像区段305、310、315、320的数量。主动控制摄像机调节对摄像机图像的表示有直接影响。由于主动摄像机调节的中断，无法再实现有意义的数据增加，这将显著降低人员重新识别的准确度。
目前，摄像机还可以如此调节，使得所述摄像机切换到特定的夜间模式中。在该模式中，虽然切换到灰度图像，但是红外截止滤光器被禁用。这具有如下优点：即使对于人员不可见的波长也被拍摄到图像中。于是，这些拍摄具有人员325的基于外观的特征，这些基于外观的特征无法被人类感知到，但是对于人员重新识别来说却意味着附加信息并由此增加了信息内容。
图5示出根据一种实施例的用于学习用于人员重新识别的模型的方法以及用于由所学习的用于人员重新识别的模型来识别人员的方法的简化系统结构。该系统结构具有第一摄像机100和第二摄像机200以及外部布置的计算单元510，所述摄像机布置在摄像机网络505中并且彼此连接，第一摄像机100和第二摄像机200与该计算单元连接。
第一摄像机100和第二摄像机200都指向待监测的第一监测区域515和第二监测区域520。在第一监测区域515和第二监测区域520中，分别在使用探测信号135的情况下探测显著的人员325，并且由第一摄像机100和第二摄像机200根据人员325的运动轨迹330跟踪该显著的人员。第一摄像机100拍摄多个图像信号140，其中，图像信号140代表第一摄像机100的图像340中的多个图像区段。在此，沿着人员325的被跟踪的运动轨迹330拍摄这些图像区段。将所拍摄的图像区段传输给外部布置的计算单元510，将图像区段保存和收集在该计算单元中。在使用所收集的图像区段的情况下，确定用于调整摄像机100的拍摄特性的调节参数145。在此，在此将亮度和/或对比度和/或颜色表示确定作为调节参数145。在下文中，将所确定的调节参数145用于拍摄至少一个另外的图像信号140。除了调节参数145的确定以外，在使用所收集的图像区段的情况下提取人员325的特定人员特征150，并且给人员325分配唯一明确的标识符。根据该人员数据，现在学习和适配用于人员重新识别的模型，以便一旦人员325停留在第二摄像机200的监测区域520中，就同样在摄像机网络505的第二摄像机200中重新识别出同一人员325，并且使该人员与原始预给定的特定人员特征150以及标识符关联。为此，将调节参数145和所探测的人员325的特定人员特征150输出给摄像机网络505的第二摄像机200。第二摄像机200检测第二图像信号220，该第二图像信号代表第二摄像机200的图像540中的第二图像区段。将所确定的调节参数145用于第二图像区段，并且在所读取的第二图像信号220上识别所探测的人员325的特定人员特征150。因此，在使用用于人员重新识别的模型的情况下，由第二摄像机200唯一明确地识别所探测的人员325。
也能够设想的是，通过第一摄像机100(例如在随后的时刻)拍摄第二图像信号220，并且将所述第二图像信号用于识别由第一摄像机100所监测的区域(在相应的随后的时刻)中的人员。因此，不一定需要仅对于——在使用摄像机100的数据的情况下，在由第二摄像机200所检测的图像中识别人员的情况——进行模型的适配，而是也可以将模型的匹配再次用于由通过摄像机100所检测的图像的图像区段进行人员识别。
图6示出根据一种实施例的用于在使用摄像机的图像的情况下学习用于人员重新识别的模型的方法600的一种实施例的流程图。可以在使用在图1中提出的设备的情况下使用方法600，所述设备用于在使用摄像机的图像的情况下学习用于人员重新识别的模型。
方法600首先具有步骤605，在该步骤中，读取探测信号，该探测信号代表在摄像机网络的至少摄像机的监测区域内探测到的人员。接下来，方法600具有步骤610，在该步骤中，在使用所读取的探测信号的情况下，从摄像机收集多个图像信号，其中，所收集的图像信号代表摄像机的各一个图像中的所拍摄的图像区段。在此，沿着所探测的人员的运动轨迹收集图像信号的图像区段。根据一种实施例，步骤610同样可以在外部布置的计算单元上执行。在方法600的步骤615中，在使用所收集的图像区段的情况下确定用于调整摄像机的拍摄特性的调节参数。在此可以将亮度和/或对比度和/或颜色表示识别作为调节参数。接下来，尤其可以重新实施方法600的步骤610，以便将所确定的调节参数用于拍摄至少一个另外的图像信号。在方法600的另一步骤620中，从所收集的图像信号提取所探测的人员的特定人员特征，其中，尤其给特定人员特征分配用于辨识人员的标识符。最后，方法600具有步骤625，在该步骤中，在使用所收集的图像信号的情况下对用于人员重新识别的模型进行适配，以便在摄像机网络的所述摄像机或至少第二摄像机的图像中重新识别出所探测的人员，其中，同样在步骤625中将特定人员特征输出给摄像机网络的摄像机或第二摄像机。
图7示出根据一种实施例的用于由所学习的用于人员重新识别的模型来识别人员的方法的一种实施例的流程图。可以在使用在图2中提出的设备的情况下使用方法700，该设备用于由所学习的用于人员重新识别的模型来识别人员。在能够实施用于由所学习的用于人员重新识别的模型来识别人员的方法700之前，必要的是，执行图6中的用于学习用于人员重新识别的模型的方法的步骤。
方法700首先具有步骤705，在该步骤中，检测至少一个第二图像信号，其中，该第二图像信号代表所述摄像机或第二摄像机的图像中的第二图像区段。在此，将在上述的用于学习用于人员重新识别的模型的方法中所确定的调节参数输出给所述摄像机或第二摄像机，从而在方法700的步骤705中，还可以将所确定的调节参数用于所检测的第二图像区段。最后，方法700具有步骤710，在该步骤中，在使用用于人员重新识别的模型的情况下，通过摄像机网络的所述摄像机或第二摄像机在所读取的第二图像信号上识别所探测的人员。在此，将在上述的用于学习用于人员重新识别的模型的方法中、在所收集的图像数据上探测到的人员的特定人员特征输出给摄像机或第二摄像机，使得在方法700的步骤710中，还可以在所读取的第二图像信号上识别所探测的人员的特定人员特征。
根据一种实施例，同样可以在外部布置的计算单元上实施步骤710。
如果一个实施例包括第一特征与第二特征之间的“和/或”连接，则这可以如此解读，该实施例根据一种实施方式不仅具有第一特征而且具有第二特征，根据另一实施方式要么仅具有第一特征要么仅具有第二特征。

Claims (12)

1.一种用于在使用摄像机(100)的图像的情况下学习用于人员重新识别的模型的方法(600)，其中，所述方法(600)具有如下步骤：
读取(605)探测信号(135)，所述探测信号代表在摄像机网络(505)的至少所述摄像机(100)的监测区域(515)内探测到的人员(325)；
在使用所读取的探测信号(135)的情况下从所述摄像机(100)收集(610)多个图像信号(140)，其中，所收集的图像信号(140)代表所述摄像机(100)的各一个图像(340)中的所拍摄的图像区段(305，310，315，320)；
在使用所收集的图像信号(140)的情况下对用于人员重新识别的模型进行适配(625)，以便在所述摄像机网络(505)的所述摄像机(100)的或至少一个第二摄像机(200)的图像中重新识别出所探测的人员(325)。
2.根据上述权利要求中任一项所述的方法(600)，所述方法具有如下步骤：从所收集的图像信号(140)中提取(620)所探测的人员(325)的特定人员特征(150)，其中，尤其给所述特定人员特征(150)分配用于辨识所述人员(325)的标识符，其中，在所述适配(625)的步骤中，将所述特定人员特征(150)输出给所述摄像机网络(505)的所述摄像机(100)或所述第二摄像机(200)。
3.根据上述权利要求中任一项所述的方法(600)，所述方法具有如下步骤：尤其在使用所收集的图像区段(305，310，315，320)的情况下确定(615)用于调整所述摄像机(100)或所述第二摄像机(200)的拍摄特性的调节参数(145)，其中，尤其在所述收集(610)的步骤中，将所确定的调节参数(145)用于拍摄至少一个另外的图像信号(140)。
4.根据权利要求3所述的方法(600)，在所述方法中，在所述确定(615)的步骤中，将亮度和/或对比度和/或颜色表示识别作为调节参数(145)。
5.根据上述权利要求中任一项所述的方法(600)，在所述方法中，在所述收集(610)的步骤中，沿着所探测的人员(325)的运动轨迹(330)收集所述图像信号(140)的图像区段(305，310，315，320)。
6.一种用于通过摄像机网络(505)的摄像机或第二摄像机(200)由所学习的用于人员重新识别的模型来识别人员的方法(700)，其中，所述方法(700)具有如下步骤：
相应于根据权利要求1至5中任一项所述的方法(600)的步骤(605，610，615，620，625)；
检测(705)至少一个第二图像信号(220)，其中，所述第二图像信号(220)代表摄像机(100)或所述第二摄像机(200)的图像(540)中的第二图像区段；
在使用用于人员重新识别的模型的情况下，通过所述摄像机网络(505)的所述摄像机(100)或所述第二摄像机(200)在所读取的第二图像信号(220)上识别(710)所探测的人员(325)。
7.根据权利要求6所述的方法(700)，在所述方法中，在相应于根据权利要求1至5中任一项所述的方法(600)的步骤中，将在所收集的图像信号(140)上探测到的人员(325)的特定人员特征(150)输出给所述摄像机或所述第二摄像机(200)，其中，在识别(710)所探测的人员(325)的步骤中，在所读取的第二图像信号(220)上识别所述特定人员特征(150)。
8.根据权利要求6所述的方法(700)，在所述方法中，在相应于根据权利要求1至5中任一项所述的方法(600)的步骤中，将所确定的调节参数(135)输出给所述摄像机或所述第二摄像机(200)，其中，在所述检测(705)的步骤中，将所确定的调节参数(145)用于所检测的第二图像区段。
9.根据权利要求1至5中任一项所述的方法(600)和/或根据权利要求6至8中任一项所述的方法(700)，其中，所述摄像机网络(505)的第一摄像机(100)和第二摄像机(200)与计算单元(510)连接，其中，尤其在所述计算单元(510)上执行所述收集(610)的步骤和/或所述识别(710)的步骤。
10.一种设备(105；205)，所述设备设置用于在相应的单元中实施和/或操控根据权利要求1至8中任一项所述的方法(600；700)的步骤。
11.一种计算机程序，所述计算机程序设置用于实施和/或操控根据上述权利要求中任一项所述的方法(600；700)。
12.一种机器可读的存储介质，所述存储介质尤其是非易失性机器可读的存储介质，在所述存储介质上存储有根据权利要求11所述的计算机程序。
CN201910103546.2A 2018-02-07 2019-02-01 用于学习用于人员重新识别的模型的方法和用于由所学习的模型来识别人员的方法 Pending CN110119667A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018201914.2A DE102018201914A1 (de) 2018-02-07 2018-02-07 Verfahren zum Anlernen eines Modells zur Personen-Wiedererkennung unter Verwendung von Bildern einer Kamera und Verfahren zum Erkennen von Personen aus einem angelernten Modell zur Personen-Wiedererkennung durch eine zweite Kamera eines Kameranetzwerkes
DE102018201914.2 2018-02-07

Publications (1)

Publication Number Publication Date
CN110119667A true CN110119667A (zh) 2019-08-13

Family

ID=67308887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910103546.2A Pending CN110119667A (zh) 2018-02-07 2019-02-01 用于学习用于人员重新识别的模型的方法和用于由所学习的模型来识别人员的方法

Country Status (3)

Country Link
US (1) US11126852B2 (zh)
CN (1) CN110119667A (zh)
DE (1) DE102018201914A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443833B (zh) * 2018-05-04 2023-09-26 佳能株式会社 对象跟踪方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060203107A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Perfecting of digital image capture parameters within acquisition devices using face detection
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN105407276A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 拍照方法和设备
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
US8311276B2 (en) * 2008-01-07 2012-11-13 JVC Kenwood Corporation Object tracking apparatus calculating tendency of color change in image data regions
WO2010045271A1 (en) * 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
US8103056B2 (en) * 2008-10-15 2012-01-24 Honeywell International Inc. Method for target geo-referencing using video analytics
DE102009055127A1 (de) 2009-12-22 2011-06-30 Robert Bosch GmbH, 70469 Vorrichtung und Verfahren zum Überwachen von Videoobjekten
US9113119B2 (en) * 2011-12-20 2015-08-18 Pelco, Inc. Method and system for color adjustment
DE102015205738A1 (de) * 2015-03-30 2016-10-06 Carl Zeiss Industrielle Messtechnik Gmbh Bewegungsmesssystem einer Maschine und Verfahren zum Betreiben des Bewegungsmesssystems
US10325351B2 (en) * 2016-03-11 2019-06-18 Qualcomm Technologies, Inc. Systems and methods for normalizing an image
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
US10692000B2 (en) * 2017-03-20 2020-06-23 Sap Se Training machine learning models
US10636173B1 (en) * 2017-09-28 2020-04-28 Alarm.Com Incorporated Dynamic calibration of surveillance devices
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
US20190244030A1 (en) * 2018-02-07 2019-08-08 Hitachi, Ltd. Object tracking in video using better object area
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060203107A1 (en) * 2003-06-26 2006-09-14 Eran Steinberg Perfecting of digital image capture parameters within acquisition devices using face detection
CN104992142A (zh) * 2015-06-03 2015-10-21 江苏大学 一种基于深度学习和属性学习相结合的行人识别方法
CN105407276A (zh) * 2015-11-03 2016-03-16 北京旷视科技有限公司 拍照方法和设备
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法

Also Published As

Publication number Publication date
US11126852B2 (en) 2021-09-21
US20190244026A1 (en) 2019-08-08
DE102018201914A1 (de) 2019-08-08

Similar Documents

Publication Publication Date Title
CN106503615B (zh) 基于多传感器的室内人体检测跟踪和身份识别系统
KR101286454B1 (ko) 눈 영상의 특성을 이용한 모조얼굴 식별장치 및 방법
CN107978051A (zh) 一种基于人脸识别的门禁系统及方法
CN103106397B (zh) 基于亮瞳效应的人脸活体检测方法
US20090324010A1 (en) Neural network-controlled automatic tracking and recognizing system and method
CN110321767B (zh) 图像提取装置和方法、行为分析系统和存储介质
JP5459674B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
CN109241933A (zh) 视频联动监控方法、监控服务器、视频联动监控系统
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
CN109196850A (zh) 摄像装置和摄像系统
CN104091176A (zh) 人像比对在视频中的应用技术
CN109218667B (zh) 一种公共场所安全预警系统和方法
CN207491128U (zh) 一种rgb+ir图像采集设备
CN108337429A (zh) 图像处理设备和图像处理方法
CN105959592A (zh) 一种自适应光线的生物计量信息采集装置和方法
KR100822476B1 (ko) 원격 응급상황 모니터링 시스템 및 방법
JP2007148988A (ja) 顔認証装置、顔認証方法および入退場管理装置
CN109255319A (zh) 针对静态照片的人脸识别支付信息防伪方法
CN109684494A (zh) 一种景区寻人方法、系统及云端服务器
JP7151775B2 (ja) 認証システム、認証方法、及び、プログラム
CN108540707A (zh) 人脸识别执法仪
CN109120844A (zh) 摄像控制装置、摄像控制方法以及存储介质
CN109754504A (zh) 一种智能门禁系统
CN110119667A (zh) 用于学习用于人员重新识别的模型的方法和用于由所学习的模型来识别人员的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination