CN116941237A - 成像装置、跟踪系统和成像方法 - Google Patents

成像装置、跟踪系统和成像方法 Download PDF

Info

Publication number
CN116941237A
CN116941237A CN202280018411.6A CN202280018411A CN116941237A CN 116941237 A CN116941237 A CN 116941237A CN 202280018411 A CN202280018411 A CN 202280018411A CN 116941237 A CN116941237 A CN 116941237A
Authority
CN
China
Prior art keywords
imaging
unit
feature
target
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280018411.6A
Other languages
English (en)
Inventor
渡边正浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116941237A publication Critical patent/CN116941237A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种成像装置，利用该成像装置可以在减小数据带的重量的同时增加目标检测的精度。该成像装置12具有：成像单元22，其对目标进行成像；特征量提取部24，其提取由成像单元22捕获到的目标的多个特征量；优先级决定部27，其决定由特征量提取部24提取出的多个特征量的优先级；控制部28，其根据优先级和输出目的地的允许量来决定特征量；以及输出单元32，其输出由控制部28决定的特征量。成像装置12还包括用于计算目标的移动方向的移动方向计算单元25，并且输出单元32能够输出与移动方向相关联的特征量。

Description

成像装置、跟踪系统和成像方法
技术领域
本技术涉及成像装置、跟踪系统和成像方法，并且更具体地，涉及识别成像目标并跟踪成像目标的移动的成像装置、跟踪系统和成像方法。
背景技术
传统上，已知一种监视系统，能够通过从安全摄像头捕获的图像中获得和记录人的移动轨迹，并且识别获得移动轨迹的人的面部，从而将此人与被面部识别的其他人区分开来。
例如，在专利文献1中，提出了一种监视信息收集系统，包括：用于监视的成像手段；人体检测手段，以从成像手段捕获的图像中检测人；轨迹分析手段，以在图像中分析人体检测手段检测到的人并获得移动轨迹；面部识别手段，以通过从由人体检测手段检测到的人的图像中的面部获得能够将该面部与其他面部区分开的面部数据来识别面部；记录手段，用于与允许将不同人的面部数据相互区分开的识别码相关联地记录面部数据和与面部数据相对应的移动轨迹；面部确定手段，用于将由面部识别手段获得的面部数据与记录在记录手段中的面部数据进行比较，并且确定面部数据是否满足预定条件；以及面部数据收集手段，在满足该条件的情况下，将与面部识别手段获得的面部数据对应的移动轨迹与已经在记录手段中记录的该面部数据相关联的识别码相关联，并记录在记录手段中，在不满足预定条件的情况下，则将通过面部识别手段获得的面部数据和该面部数据对应的移动轨迹与尚未关联面部数据的识别码相关联，并记录在记录手段中。
[引用列表]
[专利文献]
[专利文献1]
JP 2018-93283A
发明内容
[技术问题]
然而，在专利文献1中公开的技术中，要记录在成像单元中的数据量增加，并且有可能出现成像单元之间的通信速度变慢或者数据不能交换的情况。另外，在专利文献1的技术中，由于未假定根据数据接收侧的成像装置的环境条件等来确定要向其传送数据的成像装置，因此根据环境等的状态，可能不能以高精度检测目标。
因此，本技术的主要目的是提供一种能够在减少数据带宽的同时提高目标检测精度的成像装置。
[问题的解决方案]
根据本技术的成像装置包括：成像单元，以捕获目标的图像；特征量提取部，以提取由成像单元捕获图像的目标的多个特征量；优先级确定部，确定由特征量提取部提取的多个特征量的优先级；控制部，根据优先级的等级和输出目的地的允许的量来确定特征量；以及输出单元，输出由控制部确定的特征量。成像单元可同时捕获在同一区域中的目标的图像。
根据本技术的成像装置可还包括移动方向计算部，移动方向计算部计算目标的移动方向，并且输出单元还可将特征量和移动方向相关联地输出。优先级确定部具有隐私等级设置部，隐私等级设置部设置每个特征量的隐私等级，并且能够根据隐私等级确定优先级。根据本技术的成像装置还包括成像位置获取部，成像位置获取部来获取成像单元的成像位置和成像方向，并且输出单元还可输出成像位置和成像方向。根据本技术的成像装置还包括环境信息获取部，环境信息获取部获取成像装置周围的环境信息，并且控制部还可以基于环境信息确定特征量的输出目的地。根据本技术的成像装置还包括状态变化信息获取部，状态变化信息获取部获取特征量的输出目的地的状态变化信息，并且控制部还可以根据状态变化信息确定输出目的地。根据本技术的成像装置还包括情感信息获取部，情感信息获取部获取与目标的情感相关的情感信息，并且输出单元也可以将特征量和情感信息相关联地输出。成像单元捕获多个目标的多个图像，成像装置还包括对象选择部，对象选择部从由成像单元捕获图像的多个目标中选择关注目标，特征量提取部也可以提取由对象选择部选择的目标的多个特征量。
此外，根据本技术的另一个成像装置包括：输入单元，以根据输入的优先级和输入的允许的量来输入目标的多个特征量；以及跟踪部，以基于由输入单元输入的特征量来跟踪目标。
此外，根据本技术的跟踪系统包括：多个成像装置，成像装置各自具有：成像单元，以捕获目标的图像；特征量提取部，以提取由成像单元捕获图像的目标的多个特征量；优先级确定部，以确定由特征量提取部提取的多个特征量的优先级；发送部，以根据优先级的等级和发送目的地的允许量来发送特征量；接收部，以根据优先级的等级和能够接收的允许量来接收特征量；以及跟踪部，基于由接收部接收的特征量来跟踪目标，其中多个成像装置互相协作以发送和接收特征量。
此外，根据本技术的成像方法包括：捕获目标的图像的步骤；提取已捕获的图像的目标的多个特征量的步骤；确定已提取的多个特征量的优先级的步骤；根据优先级的等级和输出目的地的允许的量来确定特征量的步骤；以及输出所确定的特征量的步骤。
此外，根据本技术的另一成像方法包括：根据优先级和输入的允许的量输入目标的多个特征量的步骤；以及基于输入的特征量跟踪目标的步骤。
[本发明的有利效果]
根据本技术，能够提供一种能够在减少数据带宽的同时提高目标检测准确度的成像装置。此外，上述效果不一定是限制性的，并且本说明书中所示出的任何效果或可以从本说明书获得的其他效果都可以伴随上述效果或代替上述效果。
附图说明
图1是示出根据本技术的第一实施方式的跟踪系统的配置示例的示意图。
图2是示出根据本技术的第一实施方式的成像装置的配置示例的框图。
图3是示出根据本技术的第一实施方式的成像装置的操作示例的流程图。
图4是示出用于解释根据本技术的第一实施方式的由跟踪系统进行的跟踪方法的图像。
图5是示出根据本技术的第一实施方式的由跟踪系统进行的列表管理的概念图。
图6是示出根据本技术的第一实施方式的由跟踪系统进行的列表分配的示例的序列图。
图7是示出用于解释根据本技术的第一实施方式的由跟踪系统进行的跟踪方法的概念图。
图8是示出根据本技术的第二实施方式的由跟踪系统进行的列表分配的示例的序列图。
图9是示出用于解释根据本技术的第二实施方式的由跟踪系统进行的跟踪方法的概念图。
图10是示出根据本技术的第二实施方式的由跟踪系统进行的跟踪方法的示例的流程图。
图11是示出根据本技术的第三实施方式的由跟踪系统进行的列表管理的概念图。
图12是示出根据本技术的第三实施方式的由跟踪系统跟踪进行的跟踪方法的示例的序列图。
图13是示出用于解释根据本技术的第四实施方式的由跟踪系统进行的跟踪方法的概念图。
具体实施方式
下面将参考附图描述用于执行本技术的优选实施方式。以下描述的实施方式示出了本技术的典型实施方式的示例，并且任何实施方式可与另一实施方式组合。此外，本技术的范围不由这些范围限缩解释。将按照以下顺序给出描述。
1.第一实施方式
(1)跟踪系统10的配置示例
(2)相机12的配置示例
(3)相机12的操作示例
(4)由跟踪系统10进行的跟踪方法
2.第二实施方式
3.第三实施方式
4.第四实施方式
1.第一实施方式
(1)跟踪系统10的配置示例
首先，将参照图1描述根据本技术的第一实施方式的跟踪系统10的配置示例。图1是示出了跟踪系统10的配置示例的示意图。跟踪系统10可应用于跟踪可疑人、交通量调查、演示检测等应用。
如图1中所示，作为示例，跟踪系统10包括服务器11和相机12，该相机12是与服务器11通信连接的多个成像装置。可以使用云服务器作为服务器11。
每一相机12包含例如RGB相机和深度相机，并且可以捕获一个或一个以上目标的图像。此外，在本实施方式中，示出了使用三个相机12(相机1(Cam1)、相机2(Cam2)和相机3(Cam3))的示例，但是相机12的数量不限于此，并且可以是两个、四个或更多个。
跟踪系统10捕获多个相机12(Cam1、Cam2、Cam3)的各个相机所跟踪的目标的图像，并且计算各个目标的特征量和三维移动方向矢量，从而将计算结果信息从捕获图像的相机12发送到服务器11。例如，可以通过使用人工智能(AI)来进行特征量和移动方向矢量的计算。
已经接收到计算结果信息的服务器11通过将计算结果信息中的特征量与登记的特征量进行比较来识别跟踪目标，并且根据跟踪目标的移动方向将关于跟踪目标的信息发送到各个相机12。每个相机12彼此协作以发送和接收特征量，以跟踪(执行跟踪)该跟踪目标。稍后将描述该跟踪方法的细节。
(2)相机12的配置示例
接下来，将参照图2描述相机12的配置示例。图2是示出了相机12的配置示例的框图。
要使用的相机12的示例包括RGB相机、深度相机(iTOF/dToF/结构光/立体/主动立体)、偏振相机、DVS相机、多光谱/IR相机、高速视觉相机、红外相机等。
如图2所示，相机12例如包括：输入单元21，以将从外部接收到的信息输入到必要配置中；成像单元22，以捕获目标的图像；成像位置获取部23，以获取成像单元22的成像位置和成像方向；特征量提取部24，以提取由成像单元22捕获的目标的多个特征量；以及移动方向计算部25，以计算目标的移动方向。
此外，相机12还具有：优先级确定部27，以确定由特征量提取部24提取的多个特征量的优先级；以及控制部28，以根据优先级和输出目的地的允许的量来确定特征量；环境信息获取部29，以获取相机12的位置周围的环境信息；状态变化信息获取部30，以获取要输出特征量的相机12的状态变化信息；以及输出单元32，以输出在控制部28中确定的特征量。
此外，相机12还包括：跟踪部33，以基于由输入单元21输入的特征量来跟踪目标；以及通信部34，以向外部发送信息和从外部接收信息。此外，相机12可包括情感信息获取部31，以获取与目标的情感有关的情感信息。
输入单元21可以根据优先级和输入的允许的量来输入目标的多个特征量。
成像单元22可以包括对象选择部41，对象选择部41从由成像单元22捕获图像的多个目标中选择关注目标。此外，成像单元22可同时捕获相同区域中的目标的图像。此时，特征量提取部24可以提取由对象选择部41选择的目标的多个特征量。另外，对象选择部41也可以作为相机12中的成像单元22以外的部件提供。
优先级确定部27具有隐私等级设置部26，隐私等级设置部26为每个特征量设置隐私保护等级。优先级确定部27能够根据由隐私等级设置部26设置的隐私等级来确定优先级。
隐私等级设置部26具有在“能够处理”和“不能处理”具有隐私顾虑的信息之间切换的功能。附带地，将表示隐私等级的信息添加至特征量。隐私等级设置部26还具有确定是否输出特征量并在输出特征量时根据隐私等级控制输出顺序的功能。
控制部28可以基于由环境信息获取部29获取的环境信息来确定特征量的输出目的地，并且可以根据由状态变化信息获取部30获取的状态变化信息来确定输出目的地。
环境信息获取部29获取的环境信息包含纬度、经度、时间、方向、天气、温度、湿度、气流、SO2、CO、NOx、SPM、CO2、噪声等。
由状态变化信息获取部30获取的状态变化信息包括：在由于特征量检测算法替换功能而可由对象相机12获取的特征量发生了变化的情况下的信息、在由于相机12的环境变化而无法获取特征量(故障、亮度、恶劣天气、电池容量降低等)的情况下的信息等。
输出单元32能够输出由成像位置获取部23获取的成像位置和成像方向。另外，输出单元32可以彼此关联地输出由移动方向计算部25计算的特征量和移动方向，并且彼此关联地输出由情感信息获取部31获取的特征量和情感信息。
通信部34具有发送部42和接收部43，发送部42根据优先级等级和发送目的地的允许量发送特征量，接收部43根据优先级等级和接收的允许量接收特征量。
现在将描述目标的特征量的特定示例。作为由RGB相机提取的特征量，可以列举作为人的静态特征的关键部位位置，诸如人的面部、手、脚、指纹、体质、头发颜色和眼睛颜色、及其移动量等。此外，可以列举人的动态特征，诸如步态、语音、手势和眨眼、移动方向向量等。此外，附加信息包括形状、颜色、图案、衣服或目标的移动量、所有物、配件、购物篮、车厢等。
另外，人或目标的移动量、形状、反射率(主动方法)等可被引用为由深度相机提取的特征量。注意，虽然即使RGB相机也可以获取二维移动量，但是能够获取深度信息的深度相机也可以获取三维移动量。
除了上述之外，偏振相机可提取与RGB相机的特征量相似的特征量，并且可特别用于透过玻璃看到的或位于水下等的目标。DVS相机可提取目标的移动目标的轮廓的特征量、高亮度或低亮度目标的位置变化等。多谱/IR相机可提取诸如植物的植被指数(NDVI)的特征量。高速视觉相机可提取目标的移动量和矢量、高速移动目标上的图案和角色等的特征量。此外，红外相机可提取人或目标的温度的特征量等。
(3)相机12的操作示例
接下来，将参照图3描述相机12的操作示例。图3是示出了相机12的操作示例的流程图。在相机12的成像单元22捕获包含目标的图像的情况下，开始以下的操作。
如图3所示，在步骤S1中，特征量提取部24从由成像单元22捕获的RGB图像中提取目标。
在步骤S2中，特征量提取部24从各个提取的目标中提取该目标的多个特征量。
在步骤S3中，移动方向计算部25根据深度信息计算各个相应的目标的移动方向矢量。
在步骤S4中，控制部28根据优先级等级和输出目的地的允许量，从提取的特征量中确定特征量，并且将确定的特征量和计算出的各个目标的移动方向矢量的信息打包。
在步骤S5中，输出单元32将与目标的数量相同数量的打包数据输出至外部。即，输出单元32能够向外部输出由控制部28确定的特征量。
(4)跟踪系统10的跟踪方法
接下来，将参考图4至图7描述根据本实施方式的跟踪系统10的跟踪方法。图4描绘了用于说明跟踪系统10的跟踪方法的图像。图4的A示出了由相机12的Cam1捕获的图像，图4的B示出了由相机12的Cam2捕获的图像，图4的C示出了由相机12的Cam3捕获的图像。
在本实施方式中，如图4的B所示，描述了以下情况：由Cam2捕获的图像中，人1和人2在Cam1的方向(图中的左方向)上移动并且人3在Cam3的方向(图中的右方向)上移动，并且基于捕获的图像Cam1跟踪人1和人2，并且Cam3跟踪人3。
将参见图5和图6来描述跟踪系统10的列表管理。图5描绘说明跟踪系统10的列表管理的概念图。图5的A示出由作为主机服务器的服务器11管理的特征量的列表，图5的B示出由Cam1管理的特征量的列表，图5的C示出由Cam2管理的特征量的列表，并且图5的D示出由Cam3管理的特征量的列表。
例如，如图5的A所示，服务器11管理作为待跟踪目标的所有特征量的特征量1至8的列表。如图5的B所示，例如，Cam1按照优先级从高到低的顺序按照特征量1、3、6、2、4和5的顺序来管理要被跟踪的目标的特征量的列表。如图5的C所示，例如，Cam2按照优先级从高到低的顺序按照特征量2、1、4、5、3和6的顺序管理要被跟踪的目标的特征量的列表。如图5的D所示，例如，Cam3按照优先级从高到低的顺序，按照特征量5、2、1、3、4和6的顺序来管理要被跟踪的目标的特征量的列表。
图6是示出跟踪系统10的列表分配的示例的序列图。如图6所示，在作为主机服务器的服务器11管理特征量的情况下，服务器11分别将Cam1和Cam3的列表分配到Cam2，并且分别将Cam2的列表分配到Cam1和Cam3。
在此，一个相机12可以处理由特征量提取部24提取的多个特征量。如上所述，在针对每个相机12的列表(优先化的特征量表)中管理多个特征量。各个相机12可以通过优先级确定部27独立地确定列表中的多个特征量的优先级。
在输出特征量时，发送侧(发送源)相机12比较发送侧和接收侧(发送目的地)的列表，并且可以根据接收侧相机12的优先级来重新排列并输出发送数据。
在由于通信频带等的限制或其他系统要求而限制了发送/接收容量的情况下，各个相机12按照优先级的升序丢弃特征量，并且能够调整要针对各个目标输出的特征量的总容量，使得该容量落入该限制内。
另外，各个相机12所管理的列表在服务器11和相机12之间、或者在相机12(通过P2P)之间通过定期的通信或者在发生某种变化时发生的事件通信进行交换，从而建立可动态地跟随相机12的状态变化的机制。
接下来，将参照图4和图7描述跟踪系统10经由服务器11进行的跟踪方法。图7是用于说明跟踪系统10经由服务器11的跟踪方法的概念图。
如图4和图7所示，例如，跟踪系统10通过相机12的Cam2捕获图像，包括作为跟踪对象的目标的人1、人2和人3。接下来，Cam2从捕获的图像中提取各个人1、人2和人3的特征量，并计算三维移动方向矢量，以打包每个人的特征量和移动方向矢量信息。然后，Cam2将每个人的打包信息发送到服务器11。已经接收到打包信息的服务器11将针对每个人的打包信息中的特征量与服务器11中登记的特征量进行核对以识别跟踪目标。
如图7所示，在作为核对的结果，人1的特征量是没有登记在服务器11中的新特征量的情况下，服务器11将新特征量登记在服务器11中，并且基于打包信息中的移动方向矢量信息确定人1的移动目的地是在Cam1的方向上。在人2和人3的特征量已经登记在服务器11中的情况下，服务器11确定特征量已经登记在服务器11中，并且基于打包信息中的移动方向矢量信息确定人2的目的地是在Cam1的方向上，而人3的目的地是在Cam3的方向上。
然后，服务器11根据跟踪对象的移动方向将关于人1和人2的信息发送到Cam1，并且将关于人3的信息发送到Cam3，并且Cam1跟踪(执行跟踪)人1和人2，并且Cam3跟踪人3。
类似于Cam2的操作，Cam1捕获包括人1和人2的图像，并且Cam3捕获包括人3的图像。接下来，Cam1从所捕获图像中提取人1和人2的相应特征量，并计算三维移动方向矢量，以对每个人打包特征量和移动方向矢量信息。Cam3从捕获的图像中提取人3的特征量，并且计算三维移动方向矢量以打包特征量和移动方向矢量信息。
然后，Cam1将每个人的打包信息发送到服务器11，Cam3将关于人3的打包信息发送到服务器11。已经接收到打包信息的服务器11将针对每个人的打包信息中的特征量与服务器11中登记的特征量进行核对以识别跟踪对象。
如图7所示，作为核对的结果，由于人1和人2的特征量已经登记在服务器11中，因此服务器11基于打包信息中的移动方向矢量信息确定人1的目的地是在Cam X的方向上，并且人2的目的地是在Cam Y的方向上。
类似地，作为核对的结果，由于人3的特征量已经登记在服务器11中，因此服务器11确定人3的特征量已经登记在服务器11中，并且基于打包信息中的方向矢量信息确定人3的目的地是Cam Z的方向。
然后，服务器11根据跟踪对象的移动方向将人1、人2和人3的信息分别发送到CamX、Cam Y和Cam Z，并且Cam X跟踪人1、Cam Y跟踪人2并且Cam Z跟踪人3。跟踪系统10可以重复这些操作，并且利用彼此协作的多个相机12来跟踪跟踪对象。
如上所述，根据本实施方式的具有多个相机12的跟踪系统10可以通过使用特征量来减少要发送和接收的数据量，并且减少负荷。此外，跟踪系统10可通过执行切换到能够识别人和目标的相机12并获取多个适当的特征量来获取数据。此外，跟踪系统10可根据优先级列表动态地改变相机12之间的通信量。因此，根据跟踪系统10，可以在减少数据带宽的同时提高目标检测精度。
此外，由于仅输出特征量并且跟踪系统10不直接输出关于个人脸部和身体的信息，所以能够保护个人隐私。另外，由于跟踪系统10具有关于每个目标(人)的移动方向矢量信息，因此当跟踪其图像被多个相机12捕获的多个人时，可以减少用于确定哪个相机12应当是用于每个目标的切换目的地的处理的负荷。这还使得跟踪系统10能够增加能够被跟踪的人数。另外，由于使用多个摄像头12根据特征量对人进行检查，因此不需要使摄像头12的成像区域重叠。
2.第二实施方式
接下来，参照图8到图10，描述根据本技术的第二实施方式的由跟踪系统进行的跟踪方法。图8是示出根据本实施方式的跟踪系统的列表分配的示例的序列图。根据本实施方式的跟踪方法与根据第一实施方式的跟踪方法的不同之处在于：在相机12之间交换诸如特征量的信息。本实施方式的其他点与第一实施方式相同。
如图8所示，在单独相机12管理特征量的情况下，例如，Cam2分别将Cam1和Cam3的列表分配给Cam1和Cam3，并且Cam1和Cam3分别将Cam2的列表分配给Cam2。
接下来，参考图9和图10，将给出用于自动跟踪的跟踪方法的描述，其中，仅多个相机12通过跟踪系统10彼此协作。图9为用于解释根据本实施方式的跟踪系统的跟踪方法的概念图。图10是示出根据本实施方式的跟踪系统的跟踪方法的示例的流程图。
如图9和图10中所示，在步骤S11中，相机12的Cam2捕获包括跟踪对象人1、人2和人3的图像并且检测人1、人2和人3。此时，Cam2从捕获的图像中提取人1、人2和人3中的每一个的特征量并计算三维移动方向矢量，从而打包每个人的特征量和移动方向矢量信息。然后，Cam2将每个人的打包信息发送到服务器11。
在步骤S12中，服务器11或Cam2选择人1(即关注的人)作为跟踪对象。此时，已经接收到打包信息的服务器11将针对每个人的打包信息中的特征量与服务器11中登记的特征量进行核对以识别跟踪对象。
如图9所示，在人1的特征量是作为核对的结果尚未登记在服务器11中的新特征量的情况下，服务器11将新特征量登记在服务器11中，并且基于打包信息中的移动方向矢量信息确定人1的移动目的地是在Cam1的方向上。在人2和人3的特征量是已经在服务器11中登记的特征量的情况下，服务器11确定特征量已经在服务器11中登记，并且基于打包信息中的移动方向矢量信息确定人2的目的地是在Cam1的方向上，而人3的目的地是在Cam3的方向上。然后，服务器11将选择的人1的信息发送到Cam2。
在步骤S13中，Cam2基于从服务器11接收的关于人1的信息关注并跟踪人1。
在步骤S14中，Cam2基于打包信息中的移动方向矢量信息确定人1的目的地是Cam1的方向。然后，Cam2发送将成像相机切换至Cam1的指令并且向Cam1发送人1的信息。
在步骤S15中，Cam1继续以与Cam2相似的方式跟踪人1。此时，Cam1捕获包括人1的图像。接下来，Cam1从捕获图像提取人1的特征量，并计算三维移动方向矢量。Cam1根据优先级和输出目的地的允许量从提取的特征量中确定多个特征量，并将确定的特征量和计算的人1的移动方向矢量信息打包。Cam1基于打包信息中的移动方向矢量信息确定人1的目的地的相机12。然后，基于打包信息中的特征量跟踪人1(即，目标)。之后，Cam1将切换成像相机的指令和人1的信息发送到确定的相机12。
如上所述，与根据第一实施方式的跟踪方法相似，根据本实施方式的跟踪方法，可以在减小数据带宽的同时提高目标检测精度。此外，根据与本实施方式有关的跟踪方法，由于多个相机12可以在不涉及服务器11发送和接收特征量的情况下相互协作，因此可以以更高的速度自动跟踪跟踪对象。
3.第三实施方式
接下来，参照图11和图12，描述根据本技术的第三实施方式的由跟踪系统10进行的跟踪方法。图11描述了示出根据本实施方式的跟踪系统10的列表管理的概念图。图11的A示出由作为主服务器的服务器11管理的特征量的列表，图11的B示出由Cam1管理的特征量的列表，图11的C示出由Cam2管理的特征量的列表，并且图11的D示出由Cam3管理的特征量的列表。根据本实施方式的跟踪方法与根据第一实施方式的跟踪方法的不同之处在于根据隐私等级来确定特征量的优先级。本实施方式的其他点与第一实施方式相同。
如图11的A所示，例如，服务器11管理其中作为待跟踪对象的所有特征量的特征量1至8与隐私等级相关联的列表。在本实施方式中，特征量1至3和特征量6至8处于隐私等级0，特征量4处于隐私等级1，并且特征量5处于隐私等级2。
如图11的B所示，例如，Cam1按照优先级从高到低的顺序按照特征量1、3、6、2、4和5的顺序管理要被跟踪的目标的特征量的列表。如图11的C所示，例如，Cam2按照优先级从高到低的顺序按照特征量2、1、4、5、3和6的顺序管理要被跟踪的目标的特征量的列表。如图11的D所示，例如，Cam3按照优先级从高到低的顺序，按照特征量5、2、1、3、4和6的顺序来管理要被跟踪的目标的特征量的列表。然后，Cam1、Cam2和Cam3中的每一个的特征量4处于隐私等级1，并且特征量5处于隐私等级2。Cam1、Cam2和Cam3的特征量4和5以外的特征量具有隐私等级零。
图12是示出根据本实施方式的跟踪系统的跟踪方法的示例的序列图。
如图12中所示，例如，在将关于人1的信息从相机12的Cam1发送至Cam2的情况下，由Cam1获取的关于人1的信息不按照Cam1的列表的优先级顺序发送，而是按照在根据接收侧上的Cam2的列表的优先级和隐私等级重新排列列表之后的顺序发送。如果对数据发送/接收容量有限制，则按照优先级的升序或者隐私等级的降序删除要输出的数据，然后发送。
Cam2将从Cam1接收到的关于人1的信息与由Cam2获取的关于人1的信息进行核对，并且确定它们是否彼此一致。在它们一致的情况下，该人被假定为人1，并且Cam2跟踪人1。在它们不匹配的情况下，将该人视为与人1不同的人并且与Cam2获取的可能的另一人进行比较。
之后，在人1从Cam2的成像范围向Cam3移动的情况下，Cam2在接收侧根据Cam3的列表的优先级和隐私等级重新排列列表之后发送人1的信息。
与Cam2类似，Cam3将从Cam2接收到的人1的信息与由Cam3获取的人1的信息进行核对，并且确定它们是否匹配。在它们匹配的情况下，假设该人是人1，并且Cam3继续跟踪人1。在它们不匹配的情况下，将该人确定为与人1不同的人并且与Cam3获取的可能的另一人进行比较。
如上所述，根据与本实施方式有关的跟踪方法，与根据第一实施方式的跟踪方法类似，可以在减少数据带宽的同时提高目标检测精度，并且使确定处理的负荷更轻。此外，根据与本实施方式有关的跟踪方法，由于根据隐私等级确定要发送的特征量，因此能够进一步保护隐私。
4.第四实施方式
接下来，参照图13，描述根据本技术的第四实施方式的由跟踪系统10进行的跟踪方法。图13是用于解释根据本实施方式的跟踪系统10的跟踪方法的概念图。根据本实施方式的跟踪方法与根据第一实施方式的跟踪方法的不同之处在于考虑多个人的情感信息来跟踪目标(诸如人)。本实施方式的其他点与第一实施方式相同。
如图13中所示，根据本实施方式的跟踪系统10用相机12的Cam1捕获包括人1、人2和人3的图像，并从捕获的图像中提取人1、人2和人3的各自的特征量，从而计算三维移动方向矢量并获得情感信息。此外，由Cam2捕获包括人4、人5和人6的图像，并且从捕获的图像中提取人4、人5和人6中的每一个的特征量，从而计算三维移动方向矢量并获取情感信息。另外，由Cam3捕获包含人7、人8和人9的图像，并从捕获的图像中提取人7、人8和人9中的每一个的特征量，从而计算三维移动方向矢量，并获取情感信息。
如上所述，根据与本实施方式有关的跟踪方法，与根据第一实施方式的跟踪方法类似，可以在减小数据带宽的同时提高目标检测精度。此外，根据与本实施方式有关的跟踪方法，可以根据整个场景的情感流来跟踪要被跟踪的目标，因为可以从由Cam1、Cam2和Cam3获取的多个人1至9的情感信息中掌握整个位置中的情感流。
应注意，本技术可采用以下配置。
(1)
一种成像装置，包括：
成像单元，捕获目标的图像；
特征量提取部，提取由成像单元捕获到的目标的多个特征量；
优先级确定部，确定由特征量提取部提取的多个特征量的优先级；
控制部，根据优先级的等级和输出目的地的允许量来确定特征量；以及
输出单元，输出单元输出由控制部确定的特征量。
(2)
根据(1)所述的成像装置，其中
成像单元同时捕获在同一区域中的目标的图像。
(3)
根据(1)或(2)所述的成像装置，还包括：
移动方向计算部，计算目标的移动方向，其中
输出单元将特征量和移动方向彼此相关联地输出。
(4)
根据(1)至(3)中任一项所述的成像装置，其中
优先级确定部具有隐私等级设置部，隐私等级设置部设置每个特征量的隐私等级，并且优先级确定部根据隐私等级确定优先级。
(5)
根据(1)至(4)中任一项所述的成像装置，还包括：
成像位置获取部，获取成像单元的成像位置和成像方向，其中，
输出单元输出成像位置和成像方向。
(6)
根据(1)至(5)中任一项所述的成像装置，还包括：
环境信息获取部，获取成像装置周围的环境信息，其中，
控制部基于环境信息确定特征量的输出目的地。
(7)
根据(1)至(6)中任一项所述的成像装置，还包括：
状态变化信息获取部，获取特征量的输出目的地的状态变化信息，其中，
控制部根据状态变化信息确定输出目的地。
(8)
根据(1)至(7)中任一项所述的成像装置，还包括：
情感信息获取部，获取与目标的情感相关的情感信息，其中，
输出单元将特征量和情感信息相关联地输出。
(9)
根据(1)至(8)中任一项所述的成像装置，其中，
成像单元捕获多个目标的多个图像，并且
成像装置还包括对象选择部，对象选择部从由成像单元捕获图像的多个目标中选择关注目标，并且
特征量提取部提取由对象选择部选择的目标的多个特征量。
(10)
一种成像装置，包括：
输入单元，根据优先级和输入的允许量输入目标的多个特征量；以及
跟踪部，基于由输入单元输入的特征量来跟踪目标。
(11)
一种跟踪系统，其中多个成像装置彼此协作以发送和接收多个特征量，成像装置各自包括：
成像单元，捕获目标的图像；
特征量提取部，提取由成像单元捕获到的目标的多个特征量；
优先级确定部，确定由特征量提取部提取的多个特征量的优先级；发送部，根据优先级的等级和发送目的地的允许量来发送特征量；接收部，根据优先级的等级和能够接收的允许量来接收特征量；以及跟踪部，基于由接收部接收的特征量跟踪目标。
(12)
一种成像方法，包括：
捕获目标的图像的步骤；
提取已捕获图像的目标的多个特征量的步骤；
确定已提取的多个特征量的优先级的步骤；
根据优先级的等级和输出目的地的允许量来确定特征量的步骤；以及输出所确定的特征量的步骤。
(13)
一种成像方法，包括：
根据优先级和输入的允许量来输入目标的多个特征量的步骤；以及基于输入的特征量跟踪目标的步骤。
[参考标号列表]
10：跟踪系统
11：服务器
12：相机(成像装置)
21：输入单元
22：成像单元
23：成像位置获取部
24：特征量提取部
25：移动方向计算部
26：隐私等级设置部
27：优先级确定部
28：控制部
29：环境信息获取部
30：状态变化信息获取部
31：情感信息获取部
32：输出单元
33：跟踪部
34：通信部
41：对象选择部
42：发送部
43：接收部。

Claims (13)

1.一种成像装置，包括：
成像单元，捕获目标的图像；
特征量提取部，提取由所述成像单元捕获图像的所述目标的多个特征量；
优先级确定部，确定由所述特征量提取部提取的所述多个特征量的优先级；
控制部，根据所述优先级的等级和输出目的地的允许量来确定所述特征量；以及
输出单元，输出由所述控制部确定的所述特征量。
2.根据权利要求1所述的成像装置，其中，
所述成像单元同时捕获在同一区域中的目标的图像。
3.根据权利要求1所述的成像装置，还包括：
移动方向计算部，计算所述目标的移动方向，其中，
所述输出单元将所述特征量和所述移动方向相关联地输出。
4.根据权利要求1所述的成像装置，其中，
所述优先级确定部具有隐私等级设置部，所述隐私等级设置部设置每个所述特征量的隐私等级，并且所述优先级确定部根据所述隐私等级确定所述优先级。
5.根据权利要求1所述的成像装置，还包括：
成像位置获取部，获取所述成像单元的成像位置和成像方向，其中，
所述输出单元输出所述成像位置和所述成像方向。
6.根据权利要求1所述的成像装置，还包括：
环境信息获取部，获取所述成像装置的周围的环境信息，其中，
所述控制部基于所述环境信息确定所述特征量的输出目的地。
7.根据权利要求1所述的成像装置，还包括：
状态变化信息获取部，获取所述特征量的输出目的地的状态变化信息，其中，
所述控制部根据所述状态变化信息确定所述输出目的地。
8.根据权利要求1所述的成像装置，还包括：
情感信息获取部，获取与所述目标的情感相关的情感信息，其中，
所述输出单元将所述特征量和所述情感信息相关联地输出。
9.根据权利要求1所述的成像装置，其中，
所述成像单元捕获多个所述目标的多个图像，并且
所述成像装置还包括对象选择部，所述对象选择部从由所述成像单元捕获图像的多个所述目标中选择关注目标，并且
所述特征量提取部提取由所述对象选择部选择的所述目标的多个特征量。
10.一种成像装置，包括：
输入单元，根据优先级的等级和输入的允许量来输入目标的多个特征量；以及
跟踪部，基于由所述输入单元输入的所述特征量来跟踪所述目标。
11.一种跟踪系统，其中，多个成像装置互相协作以发送和接收多个特征量，所述成像装置各自包括：
成像单元，捕获目标的图像；
特征量提取部，提取由所述成像单元捕获图像的所述目标的多个特征量；
优先级确定部，确定由所述特征量提取部提取的多个特征量的优先级；
发送部，根据所述优先级的等级和发送目的地的允许量来发送所述特征量；
接收部，根据所述优先级的等级和能够接收的允许量来接收所述特征量；以及
跟踪部，基于由所述接收部接收的所述特征量来跟踪所述目标。
12.一种成像方法，包括：
捕获目标的图像的步骤；
提取已捕获图像的所述目标的多个特征量的步骤；
确定已提取的多个所述特征量的优先级的步骤；
根据所述优先级的等级和输出目的地的允许量来确定所述特征量的步骤；以及
输出所确定的特征量的步骤。
13.一种成像方法，包括：
根据优先级的等级和输入的允许量来输入目标的多个特征量的步骤；以及
基于输入的特征量来跟踪所述目标的步骤。
CN202280018411.6A 2021-03-09 2022-01-19 成像装置、跟踪系统和成像方法 Pending CN116941237A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-037678 2021-03-09
JP2021037678 2021-03-09
PCT/JP2022/001685 WO2022190652A1 (ja) 2021-03-09 2022-01-19 撮像装置、追跡システム、および撮像方法

Publications (1)

Publication Number Publication Date
CN116941237A true CN116941237A (zh) 2023-10-24

Family

ID=83226589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280018411.6A Pending CN116941237A (zh) 2021-03-09 2022-01-19 成像装置、跟踪系统和成像方法

Country Status (5)

Country Link
US (1) US20240155221A1 (zh)
KR (1) KR20230155432A (zh)
CN (1) CN116941237A (zh)
TW (1) TW202238439A (zh)
WO (1) WO2022190652A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム
JP6909575B2 (ja) 2016-11-30 2021-07-28 マクセル株式会社 監視情報収集システム
JP2019016098A (ja) * 2017-07-05 2019-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
WO2022190652A1 (ja) 2022-09-15
TW202238439A (zh) 2022-10-01
US20240155221A1 (en) 2024-05-09
KR20230155432A (ko) 2023-11-10

Similar Documents

Publication Publication Date Title
Luber et al. People tracking in rgb-d data with on-line boosted target models
US20110074970A1 (en) Image processing apparatus and image processing method
JP6921694B2 (ja) 監視システム
EP3500979A1 (en) Computer device for training a deep neural network
WO2008018423A1 (fr) Dispositif de vérification d'objets et procédé de vérification d'objets
KR20090020390A (ko) 얼굴영상 촬영 및 분류 시스템과 방법
EP2923303A1 (en) Method and apparatus for detecting people by a surveillance system
KR102297217B1 (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
JP4667508B2 (ja) 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム
CN112419233B (zh) 一种数据标注方法、装置、设备以及计算机可读存储介质
CN108513110A (zh) 人脸识别监控摄像头
CN108540707A (zh) 人脸识别执法仪
CN106897678A (zh) 一种结合心跳信号的远程人脸识别方法、装置和系统
CN108960146A (zh) 人脸识别监控视频的图像预处理方法
CN108921104A (zh) 基于人脸识别的流动人群视频监控方法
CN116941237A (zh) 成像装置、跟踪系统和成像方法
KR20150117935A (ko) 다중 구역에 대한 카메라 영상파일 통합 시스템
KR101829274B1 (ko) 비콘을 이용한 영상 보안 시스템 및 방법과 이를 위한 객체 관리 장치
Zhang et al. Critical Infrastructure Security Using Computer Vision Technologies
CN108960147A (zh) 基于人脸识别的流动人群视频监控系统
CN208522852U (zh) 人脸识别执法仪
Vadlamani et al. A novel indoor positioning system for unprepared firefighting scenarios
Schelle et al. Visual communication with UAS: recognizing gestures from an airborne platform
JP7480841B2 (ja) イベントの管理方法、イベント管理装置、システム及びプログラム
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination