CN111034171A - 信息处理系统 - Google Patents
信息处理系统 Download PDFInfo
- Publication number
- CN111034171A CN111034171A CN201880052807.6A CN201880052807A CN111034171A CN 111034171 A CN111034171 A CN 111034171A CN 201880052807 A CN201880052807 A CN 201880052807A CN 111034171 A CN111034171 A CN 111034171A
- Authority
- CN
- China
- Prior art keywords
- nice
- image capturing
- video
- information
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 40
- 238000000034 method Methods 0.000 description 25
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 11
- 101150052583 CALM1 gene Proteins 0.000 description 11
- 102100025580 Calmodulin-1 Human genes 0.000 description 11
- 102100025579 Calmodulin-2 Human genes 0.000 description 11
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 11
- 101001077352 Homo sapiens Calcium/calmodulin-dependent protein kinase type II subunit beta Proteins 0.000 description 11
- 101150091339 cam-1 gene Proteins 0.000 description 11
- 238000009877 rendering Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 9
- 101150026942 CAM3 gene Proteins 0.000 description 7
- 101150058073 Calm3 gene Proteins 0.000 description 7
- 102100025926 Calmodulin-3 Human genes 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Astronomy & Astrophysics (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
从多个视频推测包括在视频中的对象的运动。根据本发明的信息处理系统设置有多个图像拾取装置和从所述图像拾取装置获取视频信息的服务器,其中,服务器具有:对象识别部,其从视频信息识别特定对象;以及推测部,其推测基于视频信息获得的特定对象的运动。
Description
技术领域
本公开涉及一种信息处理系统。
背景技术
到目前为止,下文提到的专利文献1例如公开了一种包括多个监控摄像头和用于记录由监控摄像头捕获的视频的记录器的监控摄像头系统,其中,记录器根据从监控摄像头接收到的视频来确定监控摄像头的各个设置值。
现有技术文献
专利文献
专利文献1:JP 2018-121163A
发明内容
本发明要解决的技术问题
最近,城市地区已经广泛地使用了监控摄像头,并且可以从监控摄像头捕获的视频中获取关于各种对象的信息。例如,由于可以从由监控摄像头捕获的图像中识别出可疑人员和可疑车辆,因此监控摄像头在快速破案和预防犯罪中发挥作用。
然而,在试图识别移动对象(例如,可疑人员)时,尽管由监控摄像头捕获的视频可以有效地识别对象,但其难以识别对象的后续运动。
因此,存在用于从多个视频猜测视频中所包括的对象的运动的需求。
问题的解决方案
根据本公开,提供了一种信息处理系统,其包括多个图像捕获装置和从多个图像捕获装置获取视频信息的服务器,其中,该服务器具有:同步部,使从多个图像捕获装置获取的多条视频信息的时间同步;对象识别部,从视频信息识别特定对象;以及猜测部,猜测基于视频信息而获得的特定对象的运动。
发明的有利效果
根据本公开,如上所述,从多个视频猜测视频中包括的对象的运动。
注意,上述优点不必是限制性的,并且在本公开中提及的任何优点或可以从本公开中掌握的其它优点可以与上述优点一起呈现或代替上述优点呈现。
附图说明
[图1]是示出NICE系统(服务器)和NICE捕获装置的整体构成的示意图。
[图2]是示出NICE装置所需规格的示意图。
[图3]是示出NICE捕获装置的示意图。
[图4]是解释实时跟踪对象的处理的示意图。
[图5]是解释实时跟踪对象的处理的示意图。
[图6]是解释实时跟踪对象的处理的示意图。
[图7]是解释实时跟踪对象的处理的示意图。
[图8]是解释从所记录的视频跟踪对象的处理的示意图。
[图9]是解释从所记录的视频跟踪对象的处理的示意图。
[图10]是解释从所记录的视频跟踪对象的处理的示意图。
[图11]是解释从所记录的视频跟踪对象的处理的示意图。
[图12]是解释从所记录的视频跟踪对象的处理的示意图。
[图13]是举例示出视频记录格式的示意图。
[图14]是举例示出NICE系统的服务器的配置的示意图。
[图15]是示出存储在数据库中的多条信息中的与NICE捕获装置有关的摄像头数据库的信息的示意图。
[图16]是示出NICE系统的视频数据库的信息的示意图。
[图17]是解释猜测对象的位置的处理的示意图。
[图18]是解释猜测对象的位置的处理的示意图。
[图19]是解释猜测对象的位置的处理的示意图。
[图20]是示出其中用户操纵NICE呈现装置300的屏幕以指定对象10的方式的示意图。
[图21]是示出其中NICE捕获装置和NICE呈现装置连接到NICE系统的方式的示意图。
[图22]是示出摄像头模块所包括的光学透镜的示意图。
[图23]是举例示出NICE捕获装置的另一配置的示意图。
[图24]是举例示出NICE捕获装置、NICE呈现装置以及NICE系统的具体配置的示意图。
具体实施方式
以下将参照附图详细描述本发明的优选实施方式。注意,在本说明书和附图中,具有基本相同的功能和配置的那些部件由相同的附图标记表示,并且将省略它们的冗余描述。
注意,将按照以下顺序描述实施方式。
1.NICE系统的概念
2.NICE系统的概述
2.1.NICE观察器
2.2.NICE追踪器
2.3.NICE 3D世界
3.NICE捕获装置的概述
3.1.NICE捕获装置的配置示例
4.NICE系统(服务器)的配置示例
1.NICE系统的概念
根据本实施方式的NICE系统(智能摄像头生态系统的网络)是提供用于跟踪和分析对象以及搜索和分析3D地图、视频或图像的服务的系统。为了实现这些服务,该系统连接到摄像头系统。在本实施方式中,摄像头系统将被称为NICE捕获装置。NICE捕获装置可以被假设为城市中的监控摄像头、智能家居中的安全摄像头、可穿戴摄像头、无人机、仪表盘摄像头等。
图1是示出包括NICE系统(服务器)200和NICE捕获装置(图像捕获装置)100的信息处理系统的整体构成的示意图。优选地,NICE系统200包括云服务器,并且NICE系统200和NICE捕获装置100组成根据本实施方式的信息处理系统。
NICE系统200控制NICE捕获装置100来分析场景,以便生成诸如用于SLAM(即时定位与映射)的3D地图以用于捕获对象的图像。此外,为了跟踪对象、生成3D地图以及生成场景中的元数据以便搜索视频的目的,NICE系统200可以对由NICE捕获装置100捕获和记录到的视频执行后处理。如图1所示,在NICE捕获装置100之间执行同步处理,以便获取深度信息。此外,NICE捕获装置100同时获取具有不同频谱的相同场景的视频以用于分析事件。GPS(全球定位系统)提供关于绝对位置和绝对时间的信息,并且LPWA(低功率广域)系统能够获取各个NICE捕获装置100的位置。
图2是示出NICE装置所需规格的示意图。NICE系统200使用NICE捕获装置100来猜测对象10的位置、方向、速度等。NICE捕获装置100通过无线通信向NICE系统100发送视频数据、音频数据和传感器数据。
图3是示出NICE捕获装置100的示意图。为了有效地提供服务,NICE捕获装置100具有用于从GPS获得绝对时间和绝对位置的传感器等。另外,NICE捕获装置100还具有用于获得基于世界轴的图像捕获方向的诸如AHRS的测量系统。此外,NICE捕获装置100包括用于测量到对象的距离的诸如ToF传感器的传感器。注意,稍后将描述NICE捕获装置100的配置细节。
根据NICE规格,NICE捕获装置100具有为了有效地测量对象并捕获其图像而定义的其系统。例如,NICE捕获装置100的系统定义包括图像传感器和透镜能力、摇摄/倾斜/变焦的细节确定、用于获得正确图像捕获方向的合理控制细节的确定以及IMU准确性。
此外,NICE系统200具有被定义为用于控制NICE捕获装置100并且然后处理已经积累的许多视频的用户界面。这意味着NICE的规格定义了与NICE系统协作的显示系统。用于NICE系统的显示系统在本说明书中被称为NICE呈现装置300。NICE呈现装置300被假设为计算机,诸如可以由一只手握持智能手机,或者诸如VR系统或AR系统的头戴式显示器。NICE呈现装置300具有定义其自身装置的系统和用户界面的规格。图21是示出其中NICE捕获装置100和NICE呈现装置300连接到NICE系统200的方式的示意图。NICE呈现装置300可以通过对等通信直接从NICE捕获装置100获取视频流。此外,图24是举例示出NICE捕获装置100、NICE呈现装置300以及NICE系统200的具体配置的示意图。
NICE系统200控制NICE捕获装置100和NICE呈现装置300。另一方面,在要求不存在待机时间的使用情况下,NICE呈现装置300可以直接控制NICE捕获装置200。然后,多个NICE捕获装置200可以彼此通信,以便适当地调整相关位置。如果考虑到无人机摄像头,那么非常重要的就是不延迟地产生多架无人机的编队飞行。
2.NICE系统的概述
NICE系统200主要处理关于嵌入在每个视频帧中的绝对时间/位置/方向的信息。包括绝对时间/位置/方向的图片(图像)允许理解新应用的巨大变化,使得系统的技术要求变得清晰。这些规格应用于以下三个用例应用:
[NICE观察器]利用多个NICE捕获装置100来跟踪对象;
[NICE追踪器]通过分析指定对象的行为来搜索视频;以及
[NICE 3D世界]利用多个NICE捕获装置100生成3D地图。
下面将描述这些应用是什么样的以及NICE系统200是如何工作的。
2.1.NICE观察器
NICE观察器是利用多个NICE捕获装置100来跟踪对象的应用。只要NICE捕获装置100存在,NICE观察器就跟踪移动的对象。下面指示控制多个NICE捕获装置100的步骤。
A)用户利用NICE显示系统300来指定对象10作为目标,图20是示出其中用户操纵NICE呈现装置300的屏幕以指定对象10的方式的示意图。例如,NICE呈现装置300具有触摸面板,用户可以操纵该触摸面板以指定在屏幕上显示的对象10。
B)NICE系统200利用诸如ToF传感器的传感器测量从其自身到对象10的近似距离。NICE系统200已知其自身的位置和图像捕获方向,并且在确定了到对象10的距离时计算对象10的位置和高度。
C)NICE系统200确定对象10的位置并在可靠距离的范围内找到自由的NICE捕获装置100。
NICE系统200通过从NICE捕获装置100获取位置信息,已经知道了所有NICE捕获装置100的位置。通过识别已找到对象10的NICE捕获装置100的位置和到对象10的可靠距离,NICE系统200可以找到能够跟踪对象10的其它NICE捕获装置100。
D)NICE系统200同时控制所有NICE捕获装置100,并在每个帧中根据对象10的运动来跟踪对象10。
为了计算对象10移动的方向和速度,NICE系统200利用多个NICE捕获装置100获取不同的场景。NICE系统200猜测对象10的下一位置,以便顺畅地控制捕获对象10的所有NICE捕获装置100。
E)NICE系统200根据对象10的运动来管理一组NICE捕获装置100。
NICE系统200管理固定为NICE捕获装置100的装置和诸如无人机的移动装置。无人机摄像头由NICE系统200控制,以便跟踪与位置无关的对象。
NICE观察器提供了一种有效地跟踪对象而无需用户的繁琐的操作的处理。
下文将参考图4至图7描述实时跟踪对象10的处理。注意,在图4至图7中,假设对象10存在于距地面的预定高度处,并且对象10被投影到地面上的位置由符号X表示。如图4所示,首先,用户使用NICE显示系统300指定对象10作为目标。然后,NICE系统200监控NICE捕获装置100中的任一个并向NICE捕获装置100发送命令以测量到对象10的距离。NICE捕获装置100使用其自身的ToF传感器等测量对象10的近似位置(到对象10的距离)。当NICE捕获装置100的位置和到对象10的距离被发送到NICE系统200时,NICE系统200的识别引擎捕获对象10并识别对象10的近似位置(初级扫描)。
接下来,如图5所示,NICE系统200获得对存在于对象10的近似位置周围的区域(由图5中的虚线指示)中的其它NICE捕获装置100的控制权。
接下来,如图6所示,NICE系统200根据绝对时间对由NICE捕获装置100捕获的视频中所记录的帧进行时间同步,并且根据帧的纬度、经度和高度以及对象识别来预测在帧之间的对象10的运动,猜测下一位置。所猜测的结果被发送到用户的NICE显示系统300以反馈给用户。
此外,如图7所示,在NICE捕获装置100是固定的摄像头的情况下,NICE系统200预测对象10的下一位置,此后获得对存在于对象10的下一位置周围的NICE捕获装置100的控制,并且重复与上述相同的处理。另外,在NICE捕获装置100是诸如无人机的移动体的情况下,NICE系统200控制它们以跟踪对象10。
2.2.NICE追踪器
NICE追踪器是用于搜索由NICE捕获装置100捕获的视频的应用。NICE追踪器提供了拾取视频的功能,该视频中用户指定的对象10被自动捕获。搜索视频的步骤如下所示。
A)用户根据NICE格式从视频中确定对象10。
B)NICE系统200根据视频确定时间和位置。
C)NICE系统200基于时间和位置来搜索由其它NICE捕获装置100捕获的视频。
D)NICE系统200从收集到的视频中分析对象10的精确位置及其运动,并确定对象10的方向。
E)通过收集视频,已经基于对象10的位置和方向搜索了对象10的NICE系统200再次分析该对象。
以上述方式,NICE追踪器针对由NICE捕获装置100捕获的被跟踪对象提供有效的视频搜索处理。
下文将基于图8至图11描述从所记录的视频跟踪对象的处理。如图8所示,用户使用NICE呈现装置300从所记录的视频指定特定对象10。NICE系统200通过对象识别来指定对象10。
如图9所示,基于在由NICE捕获装置100捕获的视频20的帧中所记录的对象10的位置、时间以及图像捕获方向来拾取其中由近距离摄像头捕获到指定对象10的视频20。注意,在图9中,指示各个视频20的位置表示已经捕获各个视频20的NICE捕获装置100的位置。
如图10所示,基于所记录的绝对时间对视频20进行时间同步。然后,NICE系统200基于在多个视频20中记录的对象10的位置和图像捕获方向来猜测对象10的位置和高度,计算由图像识别指定的对象10的移动方向,并且猜测对象10的下一个位置。
如图11所示,在确定了对象10的下一个所猜测的位置和时间之后,拾取捕获下一个位置周围的对象10的视频20,并且重复与上述相同的处理以跟踪对象10。
2.3.NICE 3D世界
NICE 3D世界是利用NICE捕获装置100生成自由视点视频(3D世界)的应用。一旦用户指定对象10的位置,则NICE系统200收集在指定位置周围的NICE捕获装置100。然后,NICE系统200生成自由视点视频,使得NICE呈现装置300可以视觉地感知该视频。生成自由视点视频的步骤如下所述。
A)为了说明,用户通过在NICE呈现装置300上的地图上指定位置和时间来确定位置和时间。
B)NICE系统200在指定位置周围收集NICE捕获装置100,然后NICE捕获装置100获得在该指定位置周围捕获到的视频的场景。
为了有效地生成3D地图,NICE捕获装置100以特殊模式获取场景以获得广角。同时,NICE捕获装置100具有不同的能力和特性。为了将图像转换成用于3D世界的地图,NICE系统200校正FOV或各个场景的失真。为此,NICE捕获装置100将它们的能力和特性发送到NICE系统200。
C)NICE系统200分析由NICE捕获装置100获取的场景并在该位置生成自由视点视频。
D)当用户改变指定位置时,NICE系统200根据指定位置再次收集NICE捕获装置100,并再次生成自由视点视频。
NIDE 3D世界提供了实时的自由视点视频。NIDE 3D世界使得用户可以通过自由视点视频虚拟地移动到世界的任何地方。
3.NICE捕获装置概要
NICE捕获装置100通过网络将从安装在自身上的传感器所收集的信息发送到其它装置,以便使它们识别NICE世界。要发送的数据包括例如RGB彩色图像、它们自身的位置信息、深度图、温度图、音频、由GPS测量的位置、大气压力、温度、行为、移动速度、加速度等。
智能NICE捕获装置100分析获取到的数据,以便将它们作为更容易处理的信息发送。这些信息表示范围、对象的类型、坐标、移动速度、移动方向、颜色、人的面部表情、人的身份、汽车登记号码、人数等。
此外,一些NICE捕获装置100具有包括LED灯、PTZ控制以及声音警报的活动功能。NICE捕获装置100基本上具有将所获取的信息发送到NICE系统100的功能。另一方面,NICE捕获装置100可以具有双向通信功能。
NICE捕获装置100被构造为各种类型中的任一种的系统,该各种类型包括监控摄像头、家庭安全摄像头、作为家庭自动化的中央核心的智能家居代理、可穿戴摄像头、无人机以及汽车仪表板摄像头。
这里,定义了NICE捕获装置100及其用于向NICE系统200发送数据的数据格式。此外,在随后的部分中,将定义NICE系统200所猜测的装置的系统简档。
NICE捕获装置100的中心功能是传感器融合与摄像头的组合。这意味着NICE捕获装置100既作为网络摄像头又作为根据本实施方式的NICE捕获装置100。在NICE捕获装置100基于ONVIF(开放型网络视频接口论坛)连接到现有网络的情况下,它还作为ONVIF摄像头。另一方面,在NICE捕获装置100连接到NICE系统200的情况下,它表现为如上所述的NICE捕获装置100。
为了理解精确控制,用于NICE捕获装置100的参考系统定义了其组件的能力。此外,NICE捕获装置100的数据格式基于ONVIF来定义,以便保持其自身与当前网络摄像头的技术之间的互操作性。
NICE捕获装置100不仅获取图像,而且还获取与图像有关的诸如帧的绝对时间/位置/方向的元数据。由于存在用于获得这些种类的数据的多个处理,因此系统根据应用的特性而不同。例如,在监控摄像头的情况下,由于NICE捕获装置100的位置是固定的,则通过保持关于固定位置的信息,可以使得诸如GPS接收器的位置传感器不必要。
3.1.NICE捕获装置的配置示例
图12是示出NICE捕获装置100的配置的框图。如图12所示,NICE捕获装置100具有摄像头模块102、测距传感器104、IMU(惯性测量单元)106、控制部120、GPS 108以及通信模块110。
摄像头模块102基本上包括诸如CMOS传感器和光学透镜的图像捕获元件的模块,以用于控制摄像头的图像捕获条件(摇摄、倾斜,变焦位置和聚焦位置)。图22是示出摄像头模块102所包括的光学透镜的示意图。可以基于光学透镜的规格和聚焦位置来获取到对象10的距离。此外,可以基于光学透镜的规格和对象10距光轴的偏移来确定对象10距图像捕获方向的位置偏移。测距传感器104是诸如ToF传感器的传感器,并且测量到对象10的距离。在摄像头模块102是立体摄像头的情况下,还可以基于左图像和右图像之间的视差来确定到对象10的距离。此外,可以基于对象10相对于由此获得的NICE捕获装置100的位置和NICE捕获装置100的位置来确定对象10。此外,基于关于到对象10的距离的信息生成深度图。
控制部120是用于整体控制NICE捕获装置100的组件。控制部120具有经由无线链路通过通信模块110将所获取的图像信息、摄像头的图像捕获条件、传感器信息、关于到对象10的距离的信息等发送到NICE系统100的功能。注意,无线通信的类型和无线网络的种类不限于任何特定的类型和种类,并且可以是任何现有的类型和种类。图23是举例示出NICE捕获装置100的另一配置的示意图。如图23所示,NICE捕获装置100还可以包括用于生成用于移动自身的驱动力的马达121和122以及用于获取语音的麦克风。此外,摄像头模块102可包括用于调节摇摄、倾斜、变焦位置和聚焦位置的致动器112。基于从NICE系统200的摄像头控制部206发送的控制命令来控制马达121和122以及致动器112。基于控制命令中包括的对象10的位置,来调整摇摄、倾斜、变焦位置和聚焦位置,以便NICE捕获装置100捕获对象10的图像,或者执行控制以使NICE捕获装置100跟踪对象10。
图13是举例示出视频记录格式的示意图。具体地,图13示出由NICE捕获装置100记录的视频记录格式的视频数据帧,以及表示对应于视频数据帧所记录的图像捕获绝对时间、NICE捕获装置100的绝对位置以及NICE捕获装置100的图像捕获方向的信息。如图13所示,为每个视频帧记录与每个视频帧对应的图像捕获绝对时间、绝对位置以及图像捕获方向。图13所示的视频记录格式从NICE捕获装置100发送到NICE系统200。
4.NICE系统(服务器)配置示例
图14、图15以及图16是示出NICE系统200侧的组件的示意图。图14是举例示出NICE系统200的服务器的配置的示意图。如图16所示,NICE系统200具有视频同步部202、对象识别部204、摄像头控制部206、对象位置猜测部208、以及数据库210。
视频同步部202根据绝对时间执行对在由如图6所示的各个NICE捕获装置100捕获的视频中记录的帧进行时间同步的处理。对象识别部204执行搜索由各个NICE捕获装置100捕获的视频中记录的帧并从帧中识别用户已经指定的对象10的处理。如图20所示,在用户指定对象10的情况下,例如,对象识别部204识别所指定的图像的特征量,对视频的每个帧执行匹配以由此识别对象10,并且识别对象10的位置。如上所述,对象识别部204可以基于NICE捕获装置100与对象10的相对位置以及NICE捕获装置100的位置来识别对象10的位置。摄像头控制部206向NICE捕获装置100发送控制命令,以控制NICE捕获装置100,特别是其摄像头模块102。具体地,摄像头控制部206获得对存在于对象10周围的NICE捕获装置100的控制,并且控制NICE捕获装置100捕获对象10的图像。此外,在NICE捕获装置100是诸如无人机的移动体的情况下,摄像头控制部206根据对象10的运动来移动NICE捕获装置100。对象位置猜测部208基于已经根据绝对时间进行了时间同步的帧的纬度、经度、高度以及图像捕获方向,预测对象10在帧之间的运动并猜测对象10的下一个位置。
数据库210存储各种数据。图15是示出存储在数据库210中的多条信息中的与NICE捕获装置100有关的摄像头数据库的信息的示意图。如图15所示,摄像头数据库存储关于摄像头(NICE捕获装置100)的当前位置的信息。在NICE捕获装置100是诸如无人机的移动体的情况下,根据从NICE捕获装置100发送的位置信息,依次地更新存储在摄像头数据库中的关于当前位置的信息。
此外,图16是示出NICE系统200的视频数据库的信息的示意图。图16所示的信息通过接收来自NICE捕获装置100的图13所示的信息而获得。如图16所示,关于图像捕获时间、图像捕获位置以及图像捕获方向的信息相对于由NICE捕获装置100捕获的各个视频被存储。更具体地,如图13所示,各个帧的捕获绝对时间、绝对位置以及捕获方向也被记录在视频数据库中。
下文将详细描述利用对象位置猜测部208猜测对象10的位置的处理。图17至图19是示出用于猜测对象10的位置的过程的示意图。图17示出三个NICE捕获装置100捕获对象10的各个图像以及由该NICE捕获装置100捕获的视频帧的方式。这里,三个NICE捕获装置100被称为CAM1、CAM2以及CAM3。图17示出分别由CAM1、CAM2以及CAM3捕获到的帧N的图像和帧N+1的图像。
在图17中,对象10正沿箭头A1所示的方向移动。因此,对象10位于来自CAM1的帧N的图像30的中心和来自CAM1的帧N+1的图像32的左端。此外,对象10位于来自CAM2的帧N的图像34的中心和来自CAM2的帧N+1的图像36的右端。此外,对象10位于来自CAM3的帧N的图像38的中心和来自CAM3的帧N+1的图像40的中心稍微靠右。
图18示出其中基于图17所示的图像30、32、34、36、38以及40来预测对象位置并1且控制NICE捕获装置100的方式。如图18所示,视频同步部202同步来自CAM1、CAM2以及CAM3的各个帧的图像。具体地说,同步图像30、34以及38,并且同步图像32、36以及40。同步图像被输入到识别对象10的对象识别部204。因此从图像30、32、34、36、38以及40中去除背景,从而仅允许识别对象10。
被对象识别部204识别出对象10的图像30、32、34、36、38以及40与表示图像捕获位置的位置信息和表示图像捕获方向的信息一起被输入到对象位置猜测部208。对象位置猜测部208基于各个CAM1、CAM2以及CAM3的图像捕获位置和图像捕获方向、图像30、32、34、36、38以及40中的对象10的位置以及CAM1、CAM2以及CAM3的规格(变焦信息,诸如焦距,以及诸如对象10的聚焦位置的信息)来猜测对象10的下一个位置。摄像头控制部206基于对象10的下一位置向CAM1、CAM2以及CAM3发送控制命令,以控制CAM1、CAM2以及CAM3。对CAM1、CAM2以及CAM3的控制包括对CAM1、CAM2以及CAM3的图像捕获方向的控制、对CAM1、CAM2以及CAM3的运动的控制等。
此外,图19是示出其中视频同步部202、对象识别部204以及对象位置猜测部208执行与图18所示的相对于用与图17中的方式类似的方式获得的图像30、32、34、36、38以及40的处理类似的处理的示例的示意图,并且将获得的对象的所猜测位置存储在数据库210中。
前文已经参考附图详细描述了本公开的优选实施方式。然而,本公开的技术范围不限于实施方式的示例。显然,在本公开的技术领域中具有普通知识的人员可以设想在专利权利要求的范围中所描述的技术概念的范围内的各种变化和修改,并且应当理解,这些变化和修改必然落入本公开的技术范围内。
此外,本说明书中提及的优点仅是解释性或说明性的,而不是限制性的。换言之,根据本公开的技术可以呈现本领域技术人员根据本说明书所显而易见的其它优点,连同或代替上述优点。
注意,以下布置也属于本公开的技术范围。
(1)一种信息处理系统,包括多个图像捕获装置和从多个图像捕获装置获取视频信息的服务器,其中,
服务器具有
对象识别部,从视频信息中识别特定对象,以及
猜测部,猜测基于视频信息获得的特定对象的运动。
(2)根据(1)所述的信息处理系统,还包括:
同步部,对从多个图像捕获装置获取的多条视频信息的时间进行同步,其中,
对象识别部从时间已被同步部同步了的多条视频信息中识别特定对象。
(3)根据(1)或(2)所述的信息处理系统,其中,
视频信息被根据预定格式从图像捕获装置发送到服务器,并且
预定格式包括每个帧的视频、每个帧的图像捕获时间、以及关于用于捕获视频的图像捕获条件的信息。
(4)根据(3)所述的信息处理系统,其中,
图像捕获条件包括图像捕获装置的图像捕获位置、图像捕获方向、变焦位置信息或聚焦位置信息。
(5)根据(1)至(4)中任一项所述的信息处理系统,其中,
对象识别部基于从任一图像捕获装置获得的特定对象的位置来指定存在于特定对象周围的多个图像捕获装置,并且从所指定的图像捕获装置获得的视频信息来识别特定对象。
(6)根据(1)至(5)中任一项所述的信息处理系统,还包括:
控制部,获得对存在于特定对象周围的图像捕获装置的控制,并控制该图像捕获装置。
(7)根据(6)所述的信息处理系统,其中,
控制部控制控制部已获得对其的控制的图像捕获装置,以使图像捕获装置捕获特定对象的图像。
(8)根据(6)所述的信息处理系统,其中,
控制部包括图像捕获装置控制部,图像捕获装置控制部基于已由猜测部猜测到的特定对象的运动,将多个图像捕获装置中的至少一些图像捕获装置移动到特定对象的移动路径。
(9)根据(1)至(8)中任一项所述的信息处理系统,其中,
猜测部从实时获取的视频信息中猜测对象的运动。
(10)根据(1)至(8)中任一项所述的信息处理系统,其中,
服务器包括用于存储视频信息的数据库,以及
猜测部从过去捕获的并存储在数据库中的视频信息猜测对象的运动。
参考标记列表
100 NICE捕获装置
200 NICE系统
202 视频同步部
204 对象识别部
206 摄像头控制部
208 对象位置猜测部
210 数据库。
Claims (10)
1.一种信息处理系统,包括:
多个图像捕获装置;和
服务器,从多个所述图像捕获装置获取视频信息,其中,
所述服务器包括:
对象识别部,从所述视频信息中识别特定对象,以及
猜测部,猜测基于所述视频信息获得的所述特定对象的运动。
2.根据权利要求1所述的信息处理系统,还包括:
同步部,对从多个所述图像捕获装置获取的多条所述视频信息的时间进行同步,其中,
所述对象识别部从时间已被所述同步部同步的多条所述视频信息中识别所述特定对象。
3.根据权利要求1所述的信息处理系统,其中,
所述视频信息根据预定格式从所述图像捕获装置发送到所述服务器,并且
所述预定格式包括每个帧的视频、每个帧的图像捕获时间以及关于用来捕获所述视频的图像捕获条件的信息。
4.根据权利要求3所述的信息处理系统,其中,
所述图像捕获条件包括所述图像捕获装置的图像捕获位置、图像捕获方向、变焦位置信息或聚焦位置信息。
5.根据权利要求1所述的信息处理系统,其中,
所述对象识别部基于从任一所述图像捕获装置获得的所述特定对象的位置来指定存在于所述特定对象周围的多个所述图像捕获装置,并且从所指定的所述图像捕获装置获得的所述视频信息来识别所述特定对象。
6.根据权利要求1所述的信息处理系统,还包括:
控制部,获得对存在于所述特定对象周围的所述图像捕获装置的控制,并控制所述图像捕获装置。
7.根据权利要求6所述的信息处理系统,其中,
所述控制部控制所述控制部已获得对其的控制的所述图像捕获装置,以使所述图像捕获装置捕获所述特定对象的图像。
8.根据权利要求6所述的信息处理系统,其中,
所述控制部包括图像捕获装置控制部,所述图像捕获装置控制部基于已由所述猜测部猜测到的所述特定对象的所述运动,将多个所述图像捕获装置中的至少一些移动到所述特定对象的移动路径。
9.根据权利要求1所述的信息处理系统,其中,
所述猜测部从实时获取的所述视频信息猜测对象的所述运动。
10.根据权利要求1所述的信息处理系统,其中,
所述服务器包括用于存储所述视频信息的数据库,以及
所述猜测部从过去捕获的并存储在所述数据库中的所述视频信息猜测对象的所述运动。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762563220P | 2017-09-26 | 2017-09-26 | |
US62/563,220 | 2017-09-26 | ||
PCT/JP2018/035737 WO2019065757A1 (ja) | 2017-09-26 | 2018-09-26 | 情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111034171A true CN111034171A (zh) | 2020-04-17 |
CN111034171B CN111034171B (zh) | 2022-05-17 |
Family
ID=65903066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880052807.6A Active CN111034171B (zh) | 2017-09-26 | 2018-09-26 | 信息处理系统 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3691247A4 (zh) |
JP (1) | JP7369623B2 (zh) |
KR (1) | KR20200053474A (zh) |
CN (1) | CN111034171B (zh) |
WO (1) | WO2019065757A1 (zh) |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040100563A1 (en) * | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
US20060078162A1 (en) * | 2004-10-08 | 2006-04-13 | Dynapel, Systems, Inc. | System and method for stabilized single moving camera object tracking |
US20080079824A1 (en) * | 2006-09-29 | 2008-04-03 | Fujifilm Corporation | Image taking system |
CN101572804A (zh) * | 2009-03-30 | 2009-11-04 | 浙江大学 | 多摄像机智能控制方法及装置 |
CN101616309A (zh) * | 2009-07-16 | 2009-12-30 | 上海交通大学 | 无重叠视域多摄像机人体目标跟踪方法 |
CN101639922A (zh) * | 2008-07-31 | 2010-02-03 | Nec九州软件株式会社 | 来宾路径分析系统和方法 |
CN101807111A (zh) * | 2009-02-13 | 2010-08-18 | 夏普株式会社 | 信息设备及其控制方法和系统 |
CN101918989A (zh) * | 2007-12-07 | 2010-12-15 | 常州环视高科电子科技有限公司 | 带有对象跟踪和检索的视频监控系统 |
CN102469303A (zh) * | 2010-11-12 | 2012-05-23 | 索尼公司 | 视频监视 |
KR20120054971A (ko) * | 2010-11-22 | 2012-05-31 | 엘지이노텍 주식회사 | 네트워크 카메라 및 이를 이용한 대상 추적 방법 |
CN103270537A (zh) * | 2011-10-27 | 2013-08-28 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN104639916A (zh) * | 2015-03-04 | 2015-05-20 | 合肥巨清信息科技有限公司 | 一种大场景多目标跟踪拍摄视频监控系统及其监控方法 |
CN104662533A (zh) * | 2012-09-20 | 2015-05-27 | 汽车云股份有限公司 | 所捕获的车辆数据的收集和使用 |
CN105100700A (zh) * | 2014-05-20 | 2015-11-25 | 三星Sds株式会社 | 利用摄像机之间的交接的目标物跟踪装置及方法 |
CN105100727A (zh) * | 2015-08-14 | 2015-11-25 | 河海大学 | 一种固定位监控图像中指定物品实时跟踪方法 |
CN105323540A (zh) * | 2014-07-18 | 2016-02-10 | 南京专创知识产权服务有限公司 | 多摄像机智能控制四轴飞行器 |
CN105407283A (zh) * | 2015-11-20 | 2016-03-16 | 成都因纳伟盛科技股份有限公司 | 一种多目标主动识别跟踪监控方法 |
WO2016157327A1 (ja) * | 2015-03-27 | 2016-10-06 | 日本電気株式会社 | 映像監視システム及び映像監視方法 |
US20160323559A1 (en) * | 2015-04-29 | 2016-11-03 | Panasonic Intellectual Property Management Co., Ltd. | Method for selecting cameras and image distribution system capable of appropriately selecting cameras |
US20170026680A1 (en) * | 2014-04-14 | 2017-01-26 | Panasonic Intellectual Property Management Co., Lt | Video distribution method, video reception method, server, terminal apparatus, and video distribution system |
CN106503615A (zh) * | 2016-09-20 | 2017-03-15 | 北京工业大学 | 基于多传感器的室内人体检测跟踪和身份识别系统 |
CN106575437A (zh) * | 2014-08-26 | 2017-04-19 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030210329A1 (en) | 2001-11-08 | 2003-11-13 | Aagaard Kenneth Joseph | Video system and methods for operating a video system |
JP2004282535A (ja) * | 2003-03-18 | 2004-10-07 | Mitsubishi Electric Corp | 画角調整装置 |
JP2009182400A (ja) * | 2008-01-29 | 2009-08-13 | Sony Corp | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
JP6607433B2 (ja) | 2014-06-23 | 2019-11-20 | パナソニックIpマネジメント株式会社 | 映像配信方法及びサーバ |
JP6621063B2 (ja) | 2015-04-29 | 2019-12-18 | パナソニックIpマネジメント株式会社 | カメラ選択方法及び映像配信システム |
JP6540330B2 (ja) * | 2015-07-28 | 2019-07-10 | 日本電気株式会社 | 追跡システム、追跡方法および追跡プログラム |
JP2018121163A (ja) | 2017-01-24 | 2018-08-02 | 三菱電機株式会社 | 監視カメラシステム |
-
2018
- 2018-09-26 JP JP2019545574A patent/JP7369623B2/ja active Active
- 2018-09-26 KR KR1020207004259A patent/KR20200053474A/ko not_active Application Discontinuation
- 2018-09-26 EP EP18862833.3A patent/EP3691247A4/en active Pending
- 2018-09-26 CN CN201880052807.6A patent/CN111034171B/zh active Active
- 2018-09-26 WO PCT/JP2018/035737 patent/WO2019065757A1/ja unknown
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040100563A1 (en) * | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
US20060078162A1 (en) * | 2004-10-08 | 2006-04-13 | Dynapel, Systems, Inc. | System and method for stabilized single moving camera object tracking |
US20080079824A1 (en) * | 2006-09-29 | 2008-04-03 | Fujifilm Corporation | Image taking system |
CN101918989A (zh) * | 2007-12-07 | 2010-12-15 | 常州环视高科电子科技有限公司 | 带有对象跟踪和检索的视频监控系统 |
CN101639922A (zh) * | 2008-07-31 | 2010-02-03 | Nec九州软件株式会社 | 来宾路径分析系统和方法 |
CN101807111A (zh) * | 2009-02-13 | 2010-08-18 | 夏普株式会社 | 信息设备及其控制方法和系统 |
CN101572804A (zh) * | 2009-03-30 | 2009-11-04 | 浙江大学 | 多摄像机智能控制方法及装置 |
CN101616309A (zh) * | 2009-07-16 | 2009-12-30 | 上海交通大学 | 无重叠视域多摄像机人体目标跟踪方法 |
CN102469303A (zh) * | 2010-11-12 | 2012-05-23 | 索尼公司 | 视频监视 |
KR20120054971A (ko) * | 2010-11-22 | 2012-05-31 | 엘지이노텍 주식회사 | 네트워크 카메라 및 이를 이용한 대상 추적 방법 |
CN103270537A (zh) * | 2011-10-27 | 2013-08-28 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN104662533A (zh) * | 2012-09-20 | 2015-05-27 | 汽车云股份有限公司 | 所捕获的车辆数据的收集和使用 |
US20170026680A1 (en) * | 2014-04-14 | 2017-01-26 | Panasonic Intellectual Property Management Co., Lt | Video distribution method, video reception method, server, terminal apparatus, and video distribution system |
CN105100700A (zh) * | 2014-05-20 | 2015-11-25 | 三星Sds株式会社 | 利用摄像机之间的交接的目标物跟踪装置及方法 |
CN105323540A (zh) * | 2014-07-18 | 2016-02-10 | 南京专创知识产权服务有限公司 | 多摄像机智能控制四轴飞行器 |
CN106575437A (zh) * | 2014-08-26 | 2017-04-19 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
CN104639916A (zh) * | 2015-03-04 | 2015-05-20 | 合肥巨清信息科技有限公司 | 一种大场景多目标跟踪拍摄视频监控系统及其监控方法 |
WO2016157327A1 (ja) * | 2015-03-27 | 2016-10-06 | 日本電気株式会社 | 映像監視システム及び映像監視方法 |
US20160323559A1 (en) * | 2015-04-29 | 2016-11-03 | Panasonic Intellectual Property Management Co., Ltd. | Method for selecting cameras and image distribution system capable of appropriately selecting cameras |
CN105100727A (zh) * | 2015-08-14 | 2015-11-25 | 河海大学 | 一种固定位监控图像中指定物品实时跟踪方法 |
CN105407283A (zh) * | 2015-11-20 | 2016-03-16 | 成都因纳伟盛科技股份有限公司 | 一种多目标主动识别跟踪监控方法 |
CN106503615A (zh) * | 2016-09-20 | 2017-03-15 | 北京工业大学 | 基于多传感器的室内人体检测跟踪和身份识别系统 |
Non-Patent Citations (1)
Title |
---|
刘黎明 等: "无人机在侦查工作中的应用", 《河北公安警察职业学院学报》 * |
Also Published As
Publication number | Publication date |
---|---|
WO2019065757A1 (ja) | 2019-04-04 |
CN111034171B (zh) | 2022-05-17 |
JP7369623B2 (ja) | 2023-10-26 |
EP3691247A1 (en) | 2020-08-05 |
JPWO2019065757A1 (ja) | 2020-11-19 |
KR20200053474A (ko) | 2020-05-18 |
EP3691247A4 (en) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101634966B1 (ko) | Vr 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법 | |
US8416298B2 (en) | Method and system to perform optical moving object detection and tracking over a wide area | |
CN110830756B (zh) | 一种监控方法与装置 | |
CN103686131B (zh) | 使用图像的3d信息的监控设备和系统以及监控方法 | |
US9898670B2 (en) | Method and device for observing the environment of a vehicle | |
KR20160062880A (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
US9418299B2 (en) | Surveillance process and apparatus | |
CN110910460A (zh) | 一种获取位置信息的方法、装置及标定设备 | |
KR101985711B1 (ko) | 증강현실 cctv 시스템 및 그 제어방법 | |
WO2015185161A1 (en) | System and method for remote monitoring at least one observation area | |
JP6482855B2 (ja) | 監視システム | |
KR20150019230A (ko) | 복수의 카메라를 이용한 객체 추적 방법 및 장치 | |
CN111034171B (zh) | 信息处理系统 | |
KR102610397B1 (ko) | 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템 | |
KR20230121951A (ko) | Vr기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법 | |
KR101653820B1 (ko) | 열 감지 기반의 대상체 및 상황 감지 시스템 | |
CN112581630A (zh) | 一种用户交互方法和系统 | |
CN111611897A (zh) | 一种基于相机网络的无人机侦测系统及方法 | |
KR20200109799A (ko) | 영상내 객체의 깊이정보를 추정하는 장치 및 방법 | |
CN114071003B (zh) | 一种基于光通信装置的拍摄方法和系统 | |
KR102046043B1 (ko) | 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법 | |
CN115361499B (zh) | 双机协同的边防目标识别与追踪系统及方法 | |
KR102437421B1 (ko) | 입체적 멀티미디어 정보를 결정하기 위한 방법 및 장치 | |
JP7242822B2 (ja) | 推定システムおよび自動車 | |
KR101464192B1 (ko) | 다시점 보안 카메라 시스템 및 영상 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |