CN110710199A - 智能摄像机、图像处理装置以及数据通信方法 - Google Patents

智能摄像机、图像处理装置以及数据通信方法 Download PDF

Info

Publication number
CN110710199A
CN110710199A CN201880037256.6A CN201880037256A CN110710199A CN 110710199 A CN110710199 A CN 110710199A CN 201880037256 A CN201880037256 A CN 201880037256A CN 110710199 A CN110710199 A CN 110710199A
Authority
CN
China
Prior art keywords
data
image
unit
feature data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880037256.6A
Other languages
English (en)
Other versions
CN110710199B (zh
Inventor
高崎大辅
安波真悟
栗原伸一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017159728A external-priority patent/JP2019041159A/ja
Priority claimed from JP2017166057A external-priority patent/JP6668298B2/ja
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Publication of CN110710199A publication Critical patent/CN110710199A/zh
Application granted granted Critical
Publication of CN110710199B publication Critical patent/CN110710199B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

能够使影像信号与特征数据同步地传送。根据实施方式，智能摄像机具备图像传感器、特征数据生成部、编码部、同步处理部、复用部以及发送部。图像传感器输出影像信号。特征数据生成部生成影像信号的特征数据。编码部对影像信号进行编码而生成影像数据。同步处理部使生成的特征数据与影像数据同步。复用部将影像数据和与该影像数据同步的特征数据复用到传输流。发送部将传输流发送到通信网络。

Description

智能摄像机、图像处理装置以及数据通信方法
技术领域
本发明的实施方式涉及关于智能摄像机的技术。
背景技术
智能摄像机被关注。智能摄像机具备图像传感器、处理器以及通信功能。用于使多个智能摄像机与云计算系统(以下，简称为云端)协作，将影像数据活用作大数据的平台也正在配备。例如，研究使用影像数据来实施用于防灾的定点观测、交通的监视、道路、桥梁等基础设施的监视、人物检索、人物追踪、可疑人物的追缉等。为了实现这样的解决方案，重要的是通过各种算法来分析影像信号或者影像数据并得到图像分析信息。
为了分析影像信号，不仅利用影像信号，还利用影像信号所附带的元数据(例如摄影日期时间、分辨率、摄像机位置、摄像机指向方向等)。有时还使用图像分析信息和元数据计算新的图像分析信息。将分析影像信号而得到的图像分析信息和影像信号所附带的元数据总称为特征数据。也就是说，特征数据包括图像分析信息和元数据中的至少任意一方。另外，影像数据能够理解为对影像信号进行编码而得到的数字数据。
在现有技术中，为了传送特征数据，需要构建与影像数据的收集系统分开的系统，效率低。特别是，其课题在于无法取得影像信号与特征数据的同步，难以在云端侧进行将两方的数据进行组合的分析。在利用影像数据侧，期望能够获取与影像信号同步的特征数据。
另外，近年来由于传感器设备的小型化及低价格化，还销售搭载有多个摄像机的智能手机、车载摄像机等。还研究使用了复眼摄像机的立体图像的生成、具有距离信息的图像(距离图像)的生成等。还已知将多个摄像机设备排列成阵列状的阵列摄像机。进而，还已知将可见光摄像机、近红外线摄像机以及远红外线摄像机安装于共同的框体的多光谱摄像机(还被称为混合摄像机)。这些下一代摄像机期待经由有线网络、无线网络连接于中心装置，应用于远程监视系统等。
将阵列摄像机的所有的摄像机的影像数据发送到中心装置的情形少，切换输出任意的摄像机的图像的情形较多。例如为了进行人物探测，进行如下运用，即，在白天用可见光摄像机进行定点观测，而在夜间切换为红外线摄像机。这样，将包含影像的流的传送所需的占用带宽抑制到最小限度。
然而，当切换影像时，有时接收传输流侧的处理来不及，时间序列的图像分析数据缺失一部分。在技术上，将这种情况称为“在图像处理中产生不连续”。例如，当彩色影像突然切换为单色影像时，尽管接受此的中心装置获取到相同的视野的影像，但难以继续进行图像处理。摄像机间的色调的不同、波长的不同、对比度的不同、焦点的偏离、画面尺寸的不同、视角的不同等带来不连续的因素有各种各样。当不连续变得严重时，图像处理有可能会被复位。
这样，在该技术领域，存在难以保持影像的切换(帧切换)前后的、图像处理的连续性这样的技术课题。在用多个单眼摄像机观察共同的视野的方式的系统中，情况也是相同的。
现有技术文献
专利文献
专利文献1：日本特开2005-328479号公报
非专利文献
非专利文献1：服部宽著，“从动态的背景之中仅检测人物的图像辨别技术(日文：動的な背景の中から人物だけを検出する画像認識技術)”，东芝评论Vol.65No.6(2010)，p60～61
非专利文献2：“数字广播中的影像编码、声音编码以及复用方式(日文：デジタル放送における映像符号化、音声符号化及び多重化方式)”，ARIB标准规格ARIB STD－B323.1版(平成26年12月16日修改)
非专利文献3：“复眼型距离图像CMOS图像传感器(日文：複眼型距離画像CMOSイメージセンサ)”，[online]，[平成29年6月15日检索]，因特网，
<URL:http://www.toshiba.co.jp/rdc/detail/13_t24.htm>
非专利文献4：“面向多功能化的下一代摄像机(日文：多機能化に向かう次世代カメラ)”，[online]，[平成29年6月15日检索]，因特网，
<URL:http://toshiba.semicon－storage.com/design_support/elearning/keytechnology/__icsFiles/afieldfile/2010/11/05/edn1011_39_47feature02.pdf>
发明内容
本发明的目的在于提供能够使影像信号与特征数据同步地传送的智能摄像机、图像处理装置以及数据通信方法。
另外，本发明的目的在于提供能够在影像切换的前后保持图像处理的连续性的智能摄像机、图像处理装置以及数据通信方法。
根据实施方式，智能摄像机具备图像传感器、特征数据生成部、编码部、同步处理部、复用部以及发送部。图像传感器输出影像信号。特征数据生成部生成影像信号的特征数据。编码部对影像信号进行编码而生成影像数据。同步处理部使生成的特征数据与影像数据同步。复用部将影像数据和与该影像数据同步的特征数据复用到传输流。发送部将传输流发送到通信网络。
附图说明
图1是示出实施方式的监视摄像机系统的一个例子的系统图。
图2是示出摄像机C1～Cn的一个例子的框图。
图3是示出图像处理装置200的一个例子的框图。
图4是示出摄像机C1～Cn的功能块的一个例子的图。
图5是示出图4所示的摄像机信息生成部1a的功能块的一个例子的图。
图6是示出特征数据参数的一个例子的图。
图7是示出图4所示的检测信息生成部2e的功能块的一个例子的图。
图8是示出特征数据的一个例子的图。
图9是示出生成附带特征数据的内容的工序的一个例子的图。
图10是示出传输流的TS基本体系的图。
图11是示出包含同步复用的特征数据的传输流的一个例子的图。
图12是示出与点云数据有关的特征数据元素的一个例子的图。
图13是示出图像处理装置200的功能块的一个例子的图。
图14是示出第1实施方式中的摄像机C1～Cn的处理次序的一个例子的流程图。
图15是示出第1实施方式中的图像处理装置200的处理次序的一个例子的流程图。
图16是示出摄像机C1～Cn的功能块的另一例子的图。
图17是示出特征数据的另一例子的图。
图18是示出图像处理装置200的功能块的另一例子的图。
图19是示出第2实施方式中的摄像机C1～Cn的处理次序的一个例子的流程图。
图20是示出第2实施方式中的图像处理装置200的处理次序的一个例子的流程图。
图21是示出第2实施方式中的摄像机C1～Cn的处理次序的另一例子的流程图。
图22是示出第2实施方式中的摄像机C1～Cn的处理次序的另一例子的流程图。
图23是示出在实施方式的监视摄像机系统中与人物追踪相关的数据的流动的一个例子的图。
图24是示出图1所示的摄像机C1～Cn的功能块的另一例子的图。
图25是示出图像处理装置200的功能块的另一例子的图。
图26是示出在摄像机与图像处理装置之间交换的信息的一个例子的图。
图27是示出第3实施方式中的摄像机的处理次序的一个例子的流程图。
图28是示出特征数据参数的另一例子的图。
图29是用于说明实施方式中的作用的图。
图30是示出监视摄像机系统的另一例子的系统图。
图31是示出监视摄像机系统的另一例子的系统图。
具体实施方式
参照附图，说明本发明的实施方式。此外，在该说明书中，图像被理解成构成静止图像或者动态图像的1帧量的图像。另外，影像是指一连串的图像的集合，能够理解成动态图像。
图1是示出实施方式的监视摄像机系统的一个例子的系统图。图1所示的系统具备作为智能摄像机的多个摄像机C1～Cn和设置于云端100的图像处理装置200。摄像机C1～Cn连接于云端100。
摄像机C1～Cn分别设置于不同的场所。例如，摄像机C3～C5配置于包括超高层的办公大厦耸立排列的大厦街的区块A，摄像机C6～Cn配置于包括郊外的住宅区的区块B，摄像机C1、C2配置于除了区块A、B以外的场所。各摄像机C1～Cn具有光学系统(包括镜头以及摄像元件)。各摄像机C1～Cn在各自的场所感测在光学系统的视野内捕捉到的影像，生成影像数据。
图像处理装置200经由通信网络连接于摄像机C1～Cn、移动通信系统的基站BS或者数据库等。作为通信网络的协议，例如能够利用TCP/IP(Transmission ControlProtocol(传输控制协议)/InternetProtocol(网际协议))。也可以在摄像机与云端100之间介有中继网络101。
图像处理装置200收集从摄像机C1～Cn分别发送的影像数据作为传输流(传输流)。图像处理装置200对收集到的影像数据例如实施明暗、滤波或者轮廓抽取等图像处理。
车辆V1或者移动电话P1也能够经由基站BS访问云端100。车辆V1的车载摄像机以及移动电话P1的摄像机也能够作为智能摄像机进行动作。
另外，在区块A、B例如分别设置有边缘服务器S1、S2。边缘服务器S1对云端100请求与区块A的特征(例如白天人口多等)相应的数据，实现与获取到的数据相应的服务的提供、以及用于提供服务的基础(平台)的构建。另外，边缘服务器S1也可以作为用于使用户利用获取到的数据的、高速的运算处理功能以及大容量的存储设备等资源发挥功能。
边缘服务器S2对云端100请求与区块B的特征(例如儿童、学校的数量多等)相应的数据，实现与获取到的数据相应的服务的提供、以及用于提供服务的平台的构建。另外，边缘服务器S2也可以作为用于使用户利用获取到的数据的资源发挥功能。
此外，云计算系统的利用方式大致分为作为服务而提供应用程序的SaaS(Software as a Service，软件即服务)、作为服务而提供用于使应用程序运行的基础(平台)的PaaS(Platform as a Service，平台即服务)、及作为服务而提供高速的运算处理功能以及大容量的存储设备等资源的IaaS(Infrastructure as a Service，基础设施即服务)。云端100能够应用于任意的方式。
图2是示出摄像机C1的一个例子的框图。摄像机C2～Cn也具备同样的结构。摄像机C1具备摄像机部1、驱动部14、处理器15、存储器16、通信接口部18以及GPS信号接收部7。
摄像机部1具备作为光学系统的摄像部1d、和信号处理部13。摄像部1d具备镜头10和对镜头10的视野进行摄影而输出影像信号的图像传感器17。图像传感器17例如为CMOS(互补型金属氧化膜半导体)传感器，例如生成帧速率为每秒30帧的影像信号。信号处理部13对从摄像部1d的图像传感器17输出的影像信号实施编码等数字运算处理。摄像部1d具备用于调节光量的光圈机构、用于使摄影方向变化的马达机构等。
驱动部14根据处理器的控制来驱动各机构，调节向图像传感器17的光量，或者调整摄影方向。
处理器15根据存储于存储器16的程序集中地控制摄像机C1的动作。处理器15例如具备多芯CPU(Central Processing Unit，中央处理单元)，是通过高速地执行图像处理而调谐的LSI(Large Scale Integration，大规模集成电路)。还能够由FPGA(FieldProgrammable Gate Array，现场可编程门阵列)等构成处理器15。MPU(Micro ProcessingUnit，微处理单元)也为处理器之一。
存储器16为同步动态随机存取存储器(Synchronous Dynamic RAM(SDRAM))等半导体存储器、或者可擦除可编程只读存储器(Erasable Programmable ROM(EPROM))、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM)等非易失性存储器，存储用于使处理器15执行实施方式的各种功能的程序、以及影像数据等。也就是说处理器15通过载入并执行存储于存储器16的程序，从而实现在实施方式中说明的各种功能。
GPS信号接收部7接收从GPS(Global Positioning System，全球定位系统)卫星发送的定位信号，根据来自多个卫星的定位信号进行定位处理。通过定位处理来得到摄像机C1的位置信息和时刻信息。特别是在利用如移动电话、车载摄像机那样的移动的摄像机的情况下，位置信息变得重要。位置信息以及时刻信息存储于存储器16。通信接口部18经由专用线路L连接于云端100，作为单向或者双向的数据交换的中介。
图3是示出图像处理装置200的一个例子的框图。图像处理装置200为具备CPU210的计算机，具备ROM(Read Only Memory，只读存储器)220、RAM(Random Access Memory，随机存取存储器)230、硬盘驱动器(Hard Disk Drive：HDD)240、光学媒体驱动器260、通信接口部(I/F)270以及GPU(Graphics Processing Unit，图形处理单元)2010。
CPU210执行OS(Operating System，操作系统)以及各种程序。ROM42存储BIOS(Basic Input Output System，基本输入输出系统)、UEFI(Unified Extensible FirmwareInterface，统一可扩展固件接口)等基本程序、以及各种设定数据等。RAM230临时地存储从HDD240载入的程序、数据。HDD240存储由CPU210执行的程序、数据。
光学媒体驱动器260读取记录于CD－ROM280等记录介质的数字数据。由图像处理装置200执行的各种程序例如能够记录于CD－ROM260而分发。保存于该CD－ROM280的程序能够由光学媒体驱动器260读取，安装于HDD240。还能够从云端100下载最新的程序，更新已经安装的程序。
通信接口部270连接于云端100，与摄像机C1～Cn、以及除了云端100之外的服务器、数据库等通信。
GPU2010为特别强化面向图像处理的功能的处理器，能够高速地执行积和运算、卷积运算、3D(三维)重构等运算处理。接下来，以上述结构为基础，说明多个实施方式。
[第1实施方式]
<基于点云数据的社会基础设施的老化诊断>
在第1实施方式中，作为使摄像机C1～Cn与云端100协作地实现的应用程序的一个例子，说明基于点云数据的社会基础设施的老化诊断。点云(point cloud)是指按照位置坐标区分的点的集合，近年来，在各种领域被应用。例如，当计算出由构造物的表面的各点的位置坐标构成的点云数据的时间序列时，能够求出构造物的形状的时间上的变化。
在实施方式中，点云数据能够理解成将坐标作为要素的集合。坐标是指用于指定点的位置的数的组。例如，将用(x，y，z)表示的3维坐标作为要素的集合为点云数据。对其加上时间的1维而成的4维坐标(x，y，z，t)的集合也能够理解成点云数据。
进而，将坐标和与该坐标对应的点的属性信息进行组合的信息也可以说成点云数据的一个方式。例如，由R(red，红)、G(Green，绿)、B(Blue，蓝)构成的颜色信息为属性信息的一个例子。因而，如果使用用(x，y，z，R，G，B)这样的矢量表示的数据，则能够管理每个坐标的颜色。这样的构造的数据例如适合监视大厦壁面的颜色的经年变化等。
不仅是点云数据，3维CAD(Computer Aided Design，计算机辅助设计)数据、海拔数据、地图数据、地形数据、距离数据等也能够表达成由坐标的集合构成的数据。进而，表示3维的空间信息、位置信息以及与它们类似的信息的数据、及能够变换为这些数据的数据也能够理解为点云数据的一个例子。
图4是示出安装于图2所示的摄像机C1的硬件的功能块的一个例子的图。摄像机C2～Cn也具备同样的功能块。摄像机C1除了具备摄像机部1、GPS信号接收部7以及存储器16之外，还具备特征数据生成部2、同步处理部8、复用处理部(Multiplexer：MUX)3以及影像数据发送部4。
摄像机部1具备摄像部1d、麦克风1c、摄像机信息生成部1a、方向传感器1b、影像编码处理部1e以及声音编码处理部1f。其中，影像编码处理部1e以及声音编码处理部1f能够作为信号处理部13的功能而安装。
作为编码部的影像编码处理部1e例如依照ARIB STD－B32对包含来自摄像部1d的影像信息的影像信号进行编码，生成影像数据。该影像数据被输入到复用处理部3。
麦克风1c收集摄像机C1的周边的声音，输出包含声音信息的声音信号。声音编码处理部1f例如依照ARIB STD－B32对该声音信号进行编码，生成声音数据。该声音数据被输入到复用处理部3。
方向传感器1b例如为利用了霍尔元件等的地磁传感器，输出摄像部1d相对于3维轴(X轴、Y轴、Z轴)的指向方向。方向传感器1b的输出作为摄像机方向信息而传给特征数据生成部2。摄像机方向信息也可以包含摄像机主体的旋转角度信息等。
摄像机信息生成部1a例如如图5所示具备旋转角度检测部11以及变焦比率检测部12。旋转角度检测部11利用旋转编码器等来检测摄像机C1的旋转角度，将摄像机方向信息传给特征数据生成部2(图4)的摄像机方向信息生成部2b。变焦比率检测部12检测与摄像部1d的镜头10相关的变焦比率，将变焦信息传给特征数据生成部2的变焦倍率信息生成部2c。进而，还能够从摄像机信息生成部1a输出摄像机C1的光圈开度、是否在视野内捕捉到目标等的信息。
图4的特征数据生成部2生成表示影像信号的特征的特征数据。特征数据例如包含如图6的特征数据参数所示的项目。在图6中，特征数据参数包括绝对时刻信息、摄像机方向信息、变焦倍率信息、位置信息以及传感器信息等项目。这些能够理解成影像信号的元数据。
进而，特征数据参数包含图像分析信息的项目。图像分析信息为分析影像信号而得到的、构造物的点云数据、人物的脸识别信息、人检测信息、步行识别信息等信息。例如，作为脸识别信息的一个例子，能够举出在OpenCV(Open Source Computer VisionLibrary，开源计算机视觉库)中也能够利用的Haar－Like特征量。除此之外，已知亮度梯度方向直方图(histograms of oriented gradients：HOG)特征量、亮度梯度方向共生直方图(Co－occurrence HOG：Co－HOG)特征量等图像分析信息。
另外，在图4中，特征数据生成部2具备时刻信息生成部2a、摄像机方向信息生成部2b、变焦倍率信息生成部2c、位置信息生成部2d以及检测信息生成部2e。
时刻信息生成部2a从GPS信号接收部7获取时刻信息，生成作为绝对时刻信息的UTC(Universal Time Co－ordinated，协调通用时间)时刻信息(图6)。摄像机方向信息生成部2b从自摄像机信息生成部1a获取到的摄像机信息生成摄像部1d的指向方向的水平方向角度值、垂直方向角度值(图6)等，作为摄像机方向信息。
变焦倍率信息生成部2c从自摄像机信息生成部1a获取到的变焦信息生成变焦倍率值等变焦倍率信息。位置信息生成部2d根据从GPS信号接收部7获取到的定位数据，生成纬度信息、经度信息、高度(high)信息等位置信息。
检测信息生成部2e例如如图7所示具备影像信号分析部91以及传感器信息接收部92。作为分析部的影像信号分析部91分析来自摄像机部1的影像信号，生成基于该影像信号的图像分析信息。传感器信息接收部92从设置于摄像机C1的各种传感器获取传感器信息等，生成温度信息、湿度信息、…、数字转速表信息(车载摄像机等)、…等传感器信息。
存储器16在其存储区域存储特征数据保存部2f。特征数据保存部2f例如保存如图8所示的特征数据。在图8中，特征数据除了包含绝对时刻信息F1、摄像机方向信息F2、变焦倍率信息F3、位置信息F4等传感器信息之外，还包含检测信息F5。能够在检测信息F5中包含图像分析信息。
返回到图4，进一步继续进行说明。同步处理部8使从特征数据生成部2传来的特征数据与来自摄像机部1的影像数据同步。即同步处理部8使用缓冲存储器等，使特征数据的时间戳与图像帧的时间戳(例如绝对时刻)相匹配。由此，成为影像数据的时间序列与特征数据的时间序列相互一致的状态。
作为复用部的复用处理部3使影像数据和与该影像数据同步的特征数据例如复用到MPEG－2(Moving Picture Experts Group–2，运动图像专家组–2)系统的传输流。也就是说，复用处理部3使与时刻同步的特征数据复用到传输流。
只要利用MPEG－2Systems，就能够利用遵循ITU－T建议H.222.的PES头部选项。另外，作为PES包内的流标识符，能够利用非专利文献2所示的辅助流(0xF9)、元数据流(0xFC)、扩张流ID(0xFD)、未定义(0xFC)中的至少任意一个。
此外，复用处理部3将预先设定的期间中的特征数据复用到传输流。作为预先设定的期间，例如设定人的活动量高的白天时间段、或者通勤人口增加的平时等。除此之外，也可以限于在视野内捕捉到活动的物体时生成特征数据，并进行复用。通过这样做，能够节约传送带宽。
作为发送部的影像数据发送部4经由通信网络将从复用处理部3输出的传输流(TS)发送到云端100。
图9是示出生成包含特征数据的传输流的工序的一个例子的图。将该工序称为附带特征数据的内容生成工序。附带特征数据的内容生成工序是通过由影像编码处理部1e、声音编码处理部1f、复用处理部3、同步处理部8以及影像数据发送部4协调地发挥功能而实现的。
影像编码处理部1e、声音编码处理部1f、复用处理部3、同步处理部8以及影像数据发送部4能够作为在图2的处理器15根据存储于存储器16的程序来执行运算处理的过程中生成的工序而实现其功能。也就是说，图9的附带特征数据的内容生成工序为通过由影像编码处理工序、声音编码处理工序、复用处理工序、同步处理工序以及影像数据发送工序相互进行工序间通信而相互交换数据而实现的处理功能之一。
在图9中，影像信号由影像编码处理部1e压缩编码，发送到复用处理部3。声音信号由声音编码处理部1f压缩编码，发送到复用处理部3。复用处理部3将压缩编码而成的影像信号、声音信号分别例如变换为具有MPEG2－TS形式的包构造的数据信号，依次排列影像包以及声音包而使两者复用。
这样生成的附带特征数据的传输流(TS)被传给影像数据发送部4。此时，影像编码处理部1e从STC(System Time Clock，系统时钟)生成部43接收STC，从该STC生成PTS(Presentation Time Stamp，演示时间戳)/DTS(Decoding Time Stamp，解码时间戳)，并嵌入到影像编码数据。声音编码处理部1f也获取STC，从STC生成PTS，将PTS嵌入到声音编码数据。进而，复用处理部3也接收STC，进行基于该STC的PCR(Program Clock Reference，节目时钟参考)的插入、PCR的值变更、PCR包的位置变更等。
通过此前的过程，能够得到如图10所示的传输流的TS基本体系。该TS基本体系具有TS(Transport Stream，传输流)、PAT(Program Association Table，节目关联表格)、PMT(Program Map Table，节目映射表格)的阶层构造，在PMT的属下配置影像(Video)、声音(Audio)、PCR等PES(Packetized Elementary Stream，打包基本流)包。PTS/DTS插入于影像包的头部，PTS插入于声音包的头部。
进而，在图9中，同步处理部8生成特征数据参数以及特征数据元素，并传给复用处理部3。复用处理部3利用TS基本体系的MEPG2－TS构造将特征数据嵌入。
如图11所示，复用处理部3在TS基本体系中的任意的位置(TS属下、PAT属下或者PMT属下)配置特征数据参数。另外，复用处理部3将对头部附加有PTS/DTS的特征数据元素配置于PMT的属下。此时，例如将流类型、元素PID等标识符插入到包含特征数据元素的PMT的头部即可。此外特征数据参数也可以包含于特征数据元素。
图12是示出与点云数据有关的特征数据元素的一个例子的图。点云数据按照包含从原点(例如摄像机的位置)起的方向(X，Y，Z)、从原点起的距离、颜色信息(R、G、B的各值)以及反射率的数据构造表示。特征数据元素通过将这些项目数值化而生成。此外在利用车载摄像机的情况下，能够根据由GPS获取到的位置信息来计算原点。
以上，说明了安装于第1实施方式中的摄像机C1～Cn的功能块的一个例子。更具体而言，例如图4的影像数据发送部4作为图2的通信接口部18的功能而安装。另外，图4的复用处理部3、同步处理部8、特征数据生成部2、时刻信息生成部2a、摄像机方向信息生成部2b、变焦倍率信息生成部2c、位置信息生成部2d以及检测信息生成部2e的各功能通过存储于图2的存储器16的程序被载入到处理器15的寄存器，处理器15依照伴随该程序的进行而生成的工序而执行运算处理来实现的。即，存储器16存储复用处理程序、同步处理程序、特征数据生成程序、时刻信息生成程序、摄像机方向信息生成程序、变焦倍率信息生成程序、位置信息生成程序以及检测信息生成程序。接下来，说明云端100的图像处理装置200的结构。
图13是示出安装于图3所示的图像处理装置200的硬件的功能块的一个例子的图。图像处理装置200具备影像数据接收部21、特征数据分离部(DeMultiplexer：DEMUX)22、影像数据积蓄部23、影像数据数据库(DB)23a、特征数据积蓄部24、特征数据数据库(DB)24a、特征数据处理部25、检测信息生成部25a、时间序列变化检测部26、变化状态信息积蓄部27、变化状态数据数据库(DB)27a、点云数据管理部28、以及点云数据数据库(DB)28a。
影像数据接收部21经由云端100的通信网络接收来自摄像机C1～Cn的传输流。接收到的传输流被发送到特征数据分离部22。特征数据分离部22使影像数据和特征数据从传输流分离。影像数据保存于影像数据积蓄部23的影像数据数据库(DB)23a。特征数据保存于特征数据积蓄部24的特征数据数据库(DB)24a。
另外，影像数据和特征数据中的至少任意一方被发送到特征数据处理部25。特征数据处理部25具备检测信息生成部25a。检测信息生成部25a处理从摄像机C1～Cn分别发送的特征数据，生成如图12所示的点云数据。生成的点云数据被发送到特征数据积蓄部24，与特征数据对应起来保存到特征数据DB24a。
保存的特征数据根据来自特征数据配送部29的请求而被读出，向记录于配送目的地数据库的配送目的地的目标地址信息配送。目标地址信息例如为IP(网际协议)地址。如果使用遵循IPv6(IP version6)的IP地址，则能够构建与IoT(Internet of Things，物联网)的亲和性高的系统，但还能够利用遵循IPv4(IP version 4)的IP地址。
时间序列变化检测部26比较保存于特征数据DB的点云数据和过去的点云数据(保存于点云数据管理部28的点云数据数据库(DB)28a)，检测点云数据的时间序列的变化。该点云数据的时间序列的变化作为变化状态信息而被发送到变化状态信息积蓄部27，保存到变化状态数据数据库(DB)27a。
此外，图13所示的影像数据接收部21、特征数据分离部22、特征数据处理部25、检测信息生成部25a、时间序列变化检测部26、点云数据管理部28以及特征数据配送部29的各处理功能通过在存储于图3的HDD240的程序被载入到RAM230之后，CPU210依照伴随该程序的进行而生成的工序而执行运算处理来实现的。即，HDD240存储影像数据接收程序、特征数据分离程序、特征数据处理程序、检测信息生成程序、时间序列变化检测程序、点云数据管理程序以及特征数据配送程序。
另外，图13所示的影像数据积蓄部23、特征数据积蓄部24、变化状态信息积蓄部27为设置于图3的例如HDD240的存储区域，影像数据DB23a、特征数据DB24a、变化状态数据DB27a、点云数据DB28a以及配送目的地DB29a存储于这些存储区域。接下来，说明上述结构中的作用。
图14是示出第1实施方式中的摄像机C1～Cn的处理次序的一个例子的流程图。在此，将摄像机C1作为主体而进行说明，但摄像机C2～Cn也同样地进行动作。
在图14中，摄像机C1对影像信号进行编码而生成影像数据(步骤S0)，并且继续执行时刻信息的生成(步骤S1)、位置信息的生成(步骤S2)、摄像机方向信息的生成(步骤S3)以及变焦倍率信息的生成(步骤S4)。另外，摄像机C1对影像信号进行图像分析而生成图像分析信息(步骤S5)。进而，也可以通过将该图像分析信息与时刻信息、位置信息、摄像机方向信息以及变焦倍率信息合并(传感器融合)，从而生成点云数据(步骤S51)。
进而摄像机C1适当地获取来自其它传感器的信息，生成温度信息、湿度信息等传感器信息(步骤S6)。接下来摄像机C1从这些信息生成特征数据，使特征数据复用到影像数据(步骤S7)，向图像处理装置200流发送所生成的影像数据(步骤S8)。
图15是示出第1实施方式中的图像处理装置200的处理次序的一个例子的流程图。当接收到从摄像机C1流发送的影像数据时(步骤S9)，图像处理装置200使影像数据和特征数据从接收到的传输流分离(DEMUX)(步骤S10)。图像处理装置200在将分离的特征数据保存到特征数据(DB)24a之后(步骤S11)，将影像数据以及/或者特征数据发送到检测信息生成部25a(步骤S12)。
接下来，图像处理装置200使用特征数据生成点云数据，将点云数据和特征数据保存到特征数据DB24a(步骤S13)。接下来，图像处理装置200参照保存于特征数据DB24a的点云数据以及与其对应的特征数据、和点云数据DB28a的点云数据，对照场所、设施内的位置、角度等，并重叠点云数据(步骤S14)。
根据重叠的结果，图像处理装置200计算各点的移动量等的差异(步骤S15)，将该差异作为变化状态信息而保存于变化状态数据DB27a(步骤S16)。进而，图像处理装置200将与差异部分相当的新的点云数据传给点云数据管理部28，更新点云数据DB28a(步骤S17)。
如以上说明，在第1实施方式中，在与网络连接的摄像机C1～Cn中单独地获取影像信号，并进行分析，生成特征数据。然后，使对影像信号进行编码而成的影像数据和特征数据保持相互的同步地复用到传输流，从各摄像机C1～Cn发送到云端100。也就是说，将影像信号和与该影像信号关联的特征数据例如同步复用到MPEG－2Systems的共同的传输流，传送至图像处理装置200。由于这样做，所以图像处理装置200仅通过使影像数据和特征数据从传输流分离，就能够得到与影像信号同步的特征数据。
例如，已知称为Exif(Exchangeable image file format，可交换的图像文件格式)的图像文件格式，但其为将摄影日期时间等嵌入到静止图像的方式，不适合处理影像的特征数据，也不适合取得严格的同步。作为医用图像格式而已知的DICOM(Digital Imagingand COmmunication in Medicine，医学数字成像与通信)也为将检查信息等记载于静止图像的标签信息的形式，所以依然不适合处理基于影像的特征数据。
相对于此，根据第1实施方式，能够使包含解析影像数据而得到的图像分析信息和影像数据的元数据的特征数据与影像数据同步，并复用到传输流。即，能够使影像信号与特征数据同步地传送。
另外，接收到传输流的图像处理装置能够获取与影像数据同步的特征数据，所以能够生成基于准确的位置数据的高精度的点云数据。由此，能够以高的精度诊断道路、设施等社会基础设施的老化状况。
[第2实施方式]
<人物追踪>
在第2实施方式中，作为使摄像机C1～Cn与云端100协作地实现的应用程序的另一例子，说明人物追踪。人物追踪是指根据影像数据来跟踪特定的个人的移动轨迹的解决方案，近年来需求增加。
图16是示出摄像机C1～Cn的功能块的另一例子的图。在图16中对与图4共同的部分附加相同的附图标记而示出，在此仅说明不同的部分。图16所示的摄像机C1还具备特征数据接收部5和特征数据转送部6。特征数据转送部6存储转送目的地数据库(DB)6a。
特征数据接收部5接收从其它智能摄像机转送的特征数据。接收到的特征数据记录于特征数据DB2f。特征数据转送部6向预先登记的对方目的地转送由特征数据生成部2生成的特征数据。应转送特征数据的目标地址的目标地址信息以IP地址等形式记录于转送目的地数据库(DB)6a。此外，影像数据发送部4、特征数据接收部5、以及特征数据转送部6以及转送目的地DB6a能够作为图2的通信接口部18的功能而安装。
在第1实施方式中，说明了将特征数据复用到传输流而传送。在第2实施方式中，公开例如将特征数据以IP包的形式在设备间交换的方式。
例如，对以JPEG(Joint Picture Experts Group，联合图像专家组)2000所代表的可逆压缩方式复用的图像数据附加特征数据，从而能够传送特征数据。在利用JPEG2000的情况下，也可以视为遵循ITU－T建议T.801、T.802或者T.813等，将特征数据插入到XMLbox、UUID box等数据区。
图17是示出特征数据的另一例子的图。在图17中，特征数据除了包含绝对时刻信息F1、摄像机方向信息F2、变焦倍率信息F3、位置信息F4之外，还包含检测信息F5。能够将传感器信息F6和图像分析信息F7应用于检测信息F5。
图18是示出图像处理装置200的功能块的另一例子的图。在图18中对与图13共同的部分附加相同的附图标记而示出，在此仅说明不同的部分。
图18所示的图像处理装置200还具备特征数据配送部29、对象数据选择部30以及人物特征数据管理部31。人物特征数据管理部31存储人物特征数据数据库(DB)31a。人物特征数据DB31a例如为记录有表示作为追缉(跟踪)的对象的人物的特征的人物特征数据的数据库。
其中，对象数据选择部30将从传输流分离的人物特征数据与人物特征数据DB31a的人物特征数据进行对照。当根据其结果而判定出接收到作为追缉对象而设定的人物的特征数据时，对象数据选择部30将追缉指示输出到特征数据积蓄部24。
特征数据配送部29从特征数据DB24a读出作为追缉指示的对象的人物的特征数据，向预先登记的对方目的地转送。应转送特征数据的目标地址的目标地址信息以IP地址等形式记录于配送目的地数据库(DB)29a。
此外，图18所示的对象数据选择部30以及人物特征数据管理部31的各处理功能通过在存储于图3的HDD240的程序被加入到RAM230之后，CPU210依照伴随该程序的进行而生成的工序而执行运算处理来实现的。即，HDD240存储对象数据选择程序以及人物特征数据管理程序。
另外，图18所示的人物特征数据DB31a存储于设置于图3的例如HDD240的存储区域。接下来，说明上述结构中的作用。
(经由图像处理装置200将特征数据配送到各摄像机的方式)
图19是示出第2实施方式中的摄像机C1～Cn的处理次序的一个例子的流程图。在图19中，对与图14共同的部分附加相同的附图标记而示出，在此仅说明不同的部分。在生成变焦倍率信息之后(步骤S4)，摄像机C1生成作为人物特征数据的图像分析信息(步骤S18)。例如，能够将先前叙述的Haar－Like特征量、HOG特征量或者Co－HOG特征量等用作人物特征数据。人物特征数据在摄像机C1～Cn的各个中生成，经由通信网络分别发送到图像处理装置200。
图20是示出图18所示的图像处理装置200的处理次序的一个例子的流程图。在图20中，当接收到包含影像数据的传输流时(步骤S9)，图像处理装置200使影像数据和特征数据从传输流分离(步骤S10)，将特征数据保存到特征数据DB24a(步骤S11)。影像数据以及/或者特征数据被发送到检测信息生成部25a(步骤S12)。也可以由该检测信息生成部25a生成人物特征数据。
接下来，图像处理装置200参照在人物特征数据DB31a中被设定成有追缉请求的人物的特征数据，与从摄像机C1～Cn接收到的人物特征数据进行对照(步骤S19)。其结果，如果针对从摄像机C1～Cn接收到的人物特征数据有追缉请求(在步骤S20中是)，则对象数据选择部30输出追缉指示(步骤S201)。
当接收到来自对象数据选择部30的追缉指示时，特征数据积蓄部24对特征数据配送部29发出追缉指示(步骤S21)。于是，特征数据配送部29从配送目的地DB29a抽取配送对象的摄像机，配送特征数据(步骤S22)。
通过以上的次序，能够在多个摄像机C1～Cn间，经由图像处理装置200相互交换特征数据。例如，能够实现在由设置于A国的国际机场的登机口的摄像机获取到需要关注的人物的特征数据的情况下，预先将特征数据发送到从该登机口出发的所有的飞机的目的地、以及经过地点的摄像机这样的应用程序。由此，能够准确地跟踪需要关注的人物的移动轨迹。并且，特征数据的传送以及处理经由图像处理装置200而进行，所以能够充分地享受图像处理装置200以及云端100的处理能力。
(各摄像机相互配送特征数据的方式)
图21是示出图16所示的摄像机C1～Cn的处理次序的另一例子的流程图。在图21中，对与图19共同的部分附加相同的附图标记而示出，在此仅说明不同的部分。在生成传感器信息之后(步骤S6)，摄像机C1将人物特征数据发送到特征数据转送部6(步骤S23)。特征数据转送部6从转送目的地DB6a选择转送对象的摄像机，转送特征数据(步骤S24)。
图22是示出第2实施方式中的摄像机C1～Cn的处理次序的另一例子的流程图。在此将摄像机C6作为主体而进行说明。例如，当接收到来自摄像机C1的人物特征数据时(步骤S25)，摄像机C6将人物特征数据发送到检测信息生成部2e(步骤S26)。该摄像机C6使用从摄像机C1接收到的人物特征数据来进行人物追缉，另外，在该期间，也继续进行基于影像信号的特征数据的生成(步骤S27)。
如果追缉对象的人物从视野消失等无法进行人物追缉，则摄像机C6将在追缉中途生成的人物特征数据发送到特征数据转送部6(步骤S28)。然后，摄像机C6从转送目的地DB6a选择转送对象的摄像机，转送人物特征数据(步骤S29)。这样，在转送目的地的摄像机中追缉对象的人物被捕捉，同样地，继续人物追踪。
图23是示出在实施方式的监视摄像机系统中与人物追踪相关的数据的流动的一个例子的图。在图23中，示意地涉及摄像机A、B、X以及Y。
摄像机A以及B将影像数据以及特征数据复用到传输流，并发送到云端100。从摄像机B发送的特征数据经由云端100的图像处理装置200例如转送到摄像机A、X、以及Y的各个。这样，有经由图像处理装置200将人物的特征数据转送到多个摄像机的路径。
另一方面，还有经由通信网络直接将特征数据从摄像机A转送到摄像机X的路径。该特征数据经由摄像机X进一步发送至摄像机Y。在各摄像机中对于应转送到接下来的摄像机的特征数据进行取舍选择，仅将应转送的数据送出到通信网络。不需要的特征数据既可以在转送的过程中被丢弃，也可以经由许多摄像机而由各个摄像机重新利用与需要关注的人物等有关的重要的特征数据。
如以上叙述那样，在第2实施方式中，在摄像机C1～Cn中单独地生成与人物追踪有关的人物特征数据，与影像数据同步复用而传送到图像处理装置200。由于这样做，所以能够使影像信号与特征数据同步地传送，图像处理装置200能够得到与影像信号同步的特征数据。
进而，在第2实施方式中，将由各摄像机生成的特征数据例如IP包化而直接转送到其它摄像机。因而，能够不使用图像处理装置200的资源，而在摄像机C1～Cn间相互交换特征数据。由此，具有能够将云端100的负荷转移到边缘侧(摄像机、设备侧)，能够减轻与影像数据的分析相关的负荷、或者与特征数据的转送相关的网络负荷的效果。
[第3实施方式]
<具有多个摄像部的摄像机的影像的切换>
用于使多个智能摄像机与云计算系统(云端)协作，将影像数据活用作大数据的平台正在配备。例如，正在研究将影像数据活用于用于防灾的定点观测、交通的监视、道路、桥梁等基础设施的监视、人物检索、人物追踪、以及可疑人物的追缉等。
图24是示出图1所示的摄像机C1的第3例子的框图。摄像机C2～Cn也具备同样的结构。摄像机C1具备多个摄像部1a～1m、开关部1010、处理器15、存储器16、传感器部107、发送部201、接收部202、同步处理部20以及复用部(Multiplexer：MUX)19。
摄像部1a～1m对各自的视野内的影像进行摄影，单独地生成影像数据。摄像部1a～1m例如分别具备镜头110、光圈机构102、图像传感器17以及编码部104。镜头110的视野内的像(image)通过镜头110以及光圈机构102而成像于图像传感器17。图像传感器17为CMOS(互补型金属氧化膜半导体)传感器等图像传感器，例如生成帧速率为每秒30帧的影像信号。编码部104对从图像传感器17输出的影像信号进行编码而生成影像数据。来自摄像部1a～1m的影像数据经由内部总线203转送到开关部1010以及处理器15。
摄像部1a～1m的摄影波段也可以分别不同。例如，也可以将可见光、近红外光、远红外光、紫外线等摄影波段单独地分配给各摄像部1a～1m。即摄像机C1可以为多光谱摄像机。
传感器部107例如经由数据总线204获取摄像部1a～1m的设备类型、像素数、帧速率、灵敏度、镜头110的焦点距离、光圈机构102的光量、视角、绝对时刻信息、摄像机方向信息、变焦倍率信息、以及滤波器的波长特性等参数信息，转送到处理器15以及存储器16。另外，传感器部107例如具有基于GPS(Global Positioning System，全球定位系统)的定位功能，通过使用了从GPS卫星接收到的定位信号的定位处理来获取摄像机C1的位置信息和时刻信息。传感器部107将获取到的位置信息以及时刻信息转送到处理器15以及存储器16。位置信息在摄像机自身移动的情况例如摄像机搭载于移动电话、车的情况等下是重要的。另外，传感器部107例如具备温度传感器、湿度传感器以及加速度传感器等传感器，利用这些传感器获取与设置有摄像机C1的环境有关的信息，作为传感器信息。传感器部107将获取到的传感器信息转送到处理器15以及存储器16。
开关部1010将从摄像部1a～1m中的任意摄像部输出的影像数据选择性地送出到同步处理部20。由处理器15决定选择来自哪个摄像部1a～1m的影像数据。
同步处理部20使来自开关部1010的影像数据与包含从该影像数据生成的特征量的特征数据相互同步。特征量是由处理器15根据影像数据生成的。特征数据是由处理器15根据特征量以及从传感器部107转送的参数信息、传感器信息、位置信息以及时刻信息等生成的。
影像数据例如在时间上比特征数据提前根据该影像数据生成特征数据所花费的时间量。同步处理部20与提前的时间量相应地，将影像数据临时存储于缓冲存储器。同步处理部20通过与制作特征数据的定时相匹配地从缓冲存储器读出影像数据，从而使影像数据与特征数据同步。同步的影像数据以及特征数据被传给复用部19。
复用部19使影像数据和与该影像数据同步的特征数据例如复用到MPEG－2(Moving Picture Experts Group－2)系统的传输流。
发送部201经由线路L将影像数据以及特征数据被复用的传输流发送到云端100的图像处理装置200。
接收部202经由线路L获取从云端100或者图像处理装置200发送的数据。在从图像处理装置200发送的数据中，例如包含与图像处理装置200中的图像处理有关的消息。消息例如包括表示图像处理方式的类别、以及优先的影像参数(对比度值、以及信噪比等)的信息等。获取到的数据被转送到处理器15以及存储器16。
存储器16例如为同步动态随机存取存储器(Synchronous Dynamic RAM(SDRAM))等半导体存储器、或者可擦除可编程只读存储器(Erasable Programmable ROM(EPROM))、以及电可擦除可编程只读存储器(Electrically Erasable Programmable ROM)等非易失性存储器。存储器16存储用于使处理器15执行实施方式的各种功能的程序16a、以及特征数据16b。
处理器15根据存储于存储器16的程序控制摄像机C1的动作。处理器15例如具备多芯CPU(Central Processing Unit，中央处理单元)，为被调谐成能够高速地执行图像处理的LSI(Large Scale Integration，大规模集成电路)。还能够由FPGA(Field ProgrammableGate Array，现场可编程门阵列)等构成处理器15。此外，也可以不使用CPU，而使用MPU(Micro Processing Unit，微处理单元)来构成处理器15。
处理器15作为实施方式的处理功能而具备图像分析部15a、选择部15b、切换控制部15c以及特征数据生成部15d。图像分析部15a、选择部15b、切换控制部15c以及特征数据生成部15d能够理解成通过存储于存储器16的程序16a被载入到处理器15的寄存器，伴随该程序的进行而处理器15执行运算处理而生成的工序。也就是说程序16a包括图像分析程序、选择程序、切换程序以及特征数据生成程序。
图像分析部15a对从摄像部50a～50m转送的影像数据实施图像分析以及影像分析。由此，图像分析部15a生成从摄像部50a～50m转送的每个影像数据的特征量。在本实施方式中，特征量例如被用作表示影像的特征的指标以及表示图像的特征的指标。在特征量中，例如还包含用于识别可见光影像、红外线影像、远红外线影像、紫外线影像、彩色影像或者单色影像这样的影像的性质的信息。更具体而言，特征量包括亮度梯度方向直方图(Histograms of Oriented Gradients：HOG)特征量、对比度、分辨率、S/N比以及色调等。另外，亮度梯度方向共生直方图(Co－occurrence HOG：Co－HOG)特征量、Haar－Like特征量等也作为特征量而已知。
选择部15b针对在图像处理装置200中执行的图像处理判定哪个摄像部1a～1m的影像数据适合转送到图像处理装置200。即，选择部15b选择生成与图像处理装置200的图像处理相应的影像数据的摄像部。具体而言，选择部15b例如使用预定的评价值选择摄像部50a～50m中的1个摄像部。评价值表示影像数据与图像处理装置200的图像处理相应的程度，根据由图像分析部15a计算出的特征量来计算。
例如，在由图像处理装置200实施了轮廓抽取处理的情况下，选择部15b关于从摄像部1a～1m转送的各个影像数据，计算表示影像的轮廓是清晰还是不清晰的指标。该指标能够根据影像数据的特征量在例如0～100的范围以数值的方式表示，将该值作为评价值。在着眼于轮廓抽取处理的情况下，输出高对比度的单色图像的摄像部的评价值最高。
选择部15b选择生成评价值最高的影像数据的摄像部。
对于图像处理装置200而言，频繁地切换摄像部是不优选的。因而，例如，只要不从图像处理装置200发送表示图像处理方式的变更等的消息，选择部15b就仅计算关于由当前使用中的摄像部生成的影像数据的评价值。选择部15b如果计算出的评价值为既定的阈值以上，则不计算关于由其它摄像部生成的影像数据的评价值。另一方面，在计算出的评价值小于既定的阈值的情况下，计算关于由其它摄像部生成的影像数据的评价值。使用图27的流程图，详细说明。
此外，例如在由图像处理装置200采用的图像处理允许摄像部的频繁的切换的情况下，选择部15b例如也可以以一定周期(每分钟、每隔10分钟、或者每隔1小时等)计算各个摄像部的评价值。由此，能够灵活地应对环境(天气等)的变化。
切换控制部15c以及开关部1010每当由选择部15b选择出其它摄像部时，将来自选择出的摄像部的影像数据使相互的帧相位同步并切换输出。也就是说，切换控制部15c以及开关部1010作为切换部发挥功能。当随着时间的经过而摄影环境大幅变化，或者图像处理装置200的请求发生变化时，选择与当前使用的摄像部不同的摄像部。于是，切换控制部15c依照内部总线203的同步信号，使来自此前选择出的摄像部的影像数据的帧相位与来自新选择出的摄像部的影像数据的帧相位同步。具体而言，通过使切换前的影像数据的帧的开始符号的相位和切换后的影像数据的帧的开始符号的相位与来自外部的同步信号相匹配，从而使各个影像数据的帧相位同步。当帧同步完成时，切换控制部15c切换开关部1010，将来自选择出的摄像部的影像数据发送到同步处理部20。
特征数据生成部15d生成来自由选择部15b选择出的摄像部的影像数据的特征数据。具体而言，特征数据生成部15d例如根据由图像分析部15a生成的特征量、以及从传感器部107转送的传感器信息、位置信息以及时刻信息等，生成来自由选择部15b选择出的摄像部的影像数据的特征数据。生成的特征数据临时地存储于存储器16(特征数据16b)，发送到同步处理部20。此外，特征数据生成部15d也可以在由切换控制部15c切换连接之后，经过了为了使图像处理装置200的图像处理追随而足够的期间时，使特征数据的生成停止。
图25是示出图像处理装置200的第3例子的框图。图像处理装置200为具备CPU或者MPU等处理器250的计算机。图像处理装置200具备ROM(Read Only Memory，只读存储器)220、RAM(Random Access Memory，随机存取存储器)230、硬盘驱动器(Hard Disk Drive：HDD)240、光学媒体驱动器260以及通信接口部270。进而，也可以具备作为强化面向图像处理的功能的处理器的GPU(Graphics Processing Unit，图形处理单元)2010。GPU能够高速地执行积和运算、卷积运算、3D(三维)重构等运算处理。
ROM220存储BIOS(Basic Input Output System，基本输入输出系统)、UEFI(Unified Extensible Firmware Interface，统一可扩展固件接口)等的基本程序、以及各种设定数据等。RAM230临时地存储从HDD240载入的程序、数据。HDD240存储由处理器250执行的程序240a、图像处理数据240b以及特征数据240c。
光学媒体驱动器260读取记录于CD－ROM280等记录介质的数字数据。由图像处理装置200执行的各种程序例如记录于CD－ROM280而分发。保存于该CD－ROM280的程序由光学媒体驱动器260读取，并安装到HDD240。还能够经由通信接口部270从云端100下载最新的程序，更新已经安装的程序。
通信接口部270连接于云端100，与摄像机C1～Cn、以及除了云端100之外的服务器、数据库等进行通信。由图像处理装置200执行的各种程序例如也可以经由通信接口部270从云端100下载，并安装到HDD240。
通信接口部270具备接收部270a。接收部270a经由云端100的通信网络从摄像机C1～Cn接收包含影像数据的传输流。
处理器250执行OS(Operating System，操作系统)以及各种程序。
另外，处理器250作为实施方式的处理功能而具备图像处理部250a、分离部250b、解码部250c、补偿部250d以及通知部250e。图像处理部250a、分离部250b、解码部250c、补偿部250d以及通知部250e能够理解成通过存储于HDD240的程序240a被载入到处理器250的寄存器，处理器250伴随该程序的进行而执行运算处理而生成的工序。也就是说，程序240a包括图像处理程序、分离程序、解码程序、补偿程序以及通知程序。
图像处理部250a对接收到的传输流所包含的影像数据、或者从该影像数据解码的影像进行图像处理，得到点云数据以及人物追缉数据等图像处理数据。该图像处理数据作为图像处理数据240b而存储于HDD240。
分离部250b使上述影像数据和特征数据从接收到的传输流分离。分离的特征数据作为特征数据240c而存储于HDD240。
解码部250c对分离的影像数据进行解码而再生影像。
补偿部250d根据分离的特征数据补偿再生的影像的连续性。也就是说，补偿部250d根据特征数据(传感器信息/参数信息)，进行各像素的色调变换处理等，以使摄像部的切换前后的影像逐渐变化。例如，补偿部250d以在切换前10秒、切换后10秒共计20秒的期间使接收到的影像的各像素的色调逐渐变化的方式处理。已知这样的处理称为变形。使影像变化的期间优选为长到为了针对摄像部的切换使图像处理装置200的图像处理功能追随而所需的期间以上。
经由了由补偿部250d进行的处理的图像帧传给图像处理部250a。图像处理部250a即使接收到的影像数据包含影像数据的切换部分，也能够针对补偿的影像进行图像处理。
通知部250e将包含与图像处理部250a的图像处理有关的信息的消息通知给摄像机C1～Cn。例如表示使图像处理方式的类别、影像的对比度优先、或者使影像的信噪比优先等的信息通过消息被通知到摄像机C1～Cn。
图26是示出在摄像机C1与图像处理装置200之间交换的信息的一个例子的图。摄像机C1将由选择出的摄像部生成的影像数据、以及关于该影像数据的特征数据复用到传输流而发送。图像处理装置200根据需要而经由云端100将与图像处理有关的消息发送到摄像机C1。接收到消息的摄像机C1从摄像部50a～50d选择与消息所记载的信息相应的摄像部。然后，摄像机C1将由选择出的摄像部生成的影像数据、以及关于该影像数据的特征数据复用到传输流而发送。
图27是示出第3实施方式中的摄像机C1～Cn的处理次序的一个例子的流程图。在此将摄像机C1作为主体而进行说明，但摄像机C2～Cn也同样地进行动作。
在图27中，摄像机C1等待来自图像处理装置200的消息的通知(步骤S41)。如果接收到消息(在步骤S41中是)，则摄像机C1解读其内容(步骤S42)。在此，在接收的消息中，例如包含表示图像处理方式的类别或者优先的影像参数(对比度值以及信噪比等)的信息等。摄像机C1判断通过解读而辨别的、应计算的特征量是否需要从作为当前计算对象的特征量变更(步骤S43)。
如果在应计算的特征量中没有变更(在步骤S43中否)，则处理次序返回到步骤S41，摄像机C1等待来自图像处理装置200的消息的通知。如果在步骤S43中被判定为在特征量中有变更(是)，则处理次序进入到步骤S47。
另一方面，如果在步骤S41中未接收到消息(否)，则摄像机C1关于来自在该时间点选择出的摄像部(当前的摄像部)的影像数据，计算作为当前计算对象的特征量(步骤S44)，计算基于该特征量的评价值(步骤S45)。
接下来，摄像机C1比较计算出的评价值和预先决定的阈值(步骤S46)。如果评价值为阈值以上(是)，则当前的摄像部的评价值足够高，所以跳过摄像部的切换，处理次序返回到步骤S41。如果在步骤S46中评价值小于阈值(否)，则摄像机C1关于由摄像部50a～50m生成的影像数据分别计算作为当前计算对象的特征量(步骤S47)。
在此，在处理次序从步骤S46进入到步骤S47的情况下，未从图像处理装置200请求应计算的特征量的变更。另一方面，在从步骤S43进入到步骤S47的情况下，从图像处理装置200请求了应计算的特征量的变更。
接下来，摄像机C1根据计算出的特征量计算评价值(步骤S48)。摄像机C1根据该评价值选择摄像部50a～50m中的评价值最高的摄像部(步骤S49)。如果当前的摄像部与本次选择出的摄像部相同(在步骤S50中否)，则跳过摄像部的切换而处理次序返回到步骤S41。
如果当前的摄像部与本次选择出的摄像部不同，则摄像机C1判定为需要摄像部的切换(在步骤S50中是)，开始生成与切换目的地的摄像部的影像有关的特征数据(步骤S51)。接着，摄像机C1在新选择出的摄像部与当前选择中的摄像部之间取得影像信号的帧的同步，执行摄像部的切换(步骤S52)。然后，当经过包含帧切换的时间点的预定期间时，特征数据的生成结束(步骤S53)。在该期间生成的特征数据与影像数据一起例如如图7所示同步复用到传输流(步骤S54)，并发送到图像处理装置200。
图28是表示由摄像机C1生成的特征数据的参数的另一例子的图。在图28中，特征数据参数包括绝对时刻信息、摄像机方向信息以及变焦倍率信息等参数信息、位置信息、传感器信息以及特征量等项目。传感器信息例如能够包括温度信息、湿度信息、数字转速表信息(车载摄像机等)、构造物的点云数据等。
如以上叙述那样，在第3实施方式中，在具有多个摄像部的摄像机中，在摄像机侧判断来自哪个摄像部的影像最适合图像处理装置200的图像处理。即在摄像机中，关于来自各摄像部的影像实施与图像处理装置200的图像处理同样的处理，选择得分(评价值)最高的摄像部。
另外，在第3实施方式中，在切换具有多个摄像部的摄像机的影像时，在摄像机侧计算为了消除图像处理装置200中的图像处理的不连续而足够的期间的特征量，同步复用到影像数据而传送到图像处理装置200。
在现有的远程监视系统中，当影像(摄像部)间的色调差异大时，每当切换摄像机的摄像部时，如图29(a)所示，特征数据变得不连续，有时在图像处理装置200侧，图像处理被复位。特别是在使用了种类不同的摄像机的混合摄像机系统中，该趋势大。
相对于此，在第3实施方式中，在生成影像流的摄像机中，由选择部15b选择生成最适合图像处理装置200的图像处理的影像的摄像部。当选择出的摄像部发生变化时，在其前后的摄像部间使影像数据的帧同步，切换影像数据。然后，将影像数据和其特征数据(传感器信息、参数信息、判定结果等)同步复用到传送帧而发送到图像处理装置200。
由于这样做，所以能够如图29(b)所示，在多个摄像机的同步切换时，经由云端将特征数据从摄像机传给图像处理装置200。由此，特征数据不间断地传送到图像处理装置200，能够在图像处理装置200中补偿特征数据的连续性。
进而，补偿部250d根据经由云端获取到的特征数据，补偿与该特征数据同步地发送的影像的连续性。也就是说，补偿部250d在图像处理时使用特征数据补偿摄像部的切换前后的影像的连续性。由此图像处理装置200能够根据补偿的影像数据实施图像处理。
这样，能够选择最适合图像处理装置200的摄像机，并切换影像。并且，对影像数据和与该影像数据相伴的特征数据进行相同的传输流同步复用，所以影像和作为其分析结果的特征数据的时间序列不会发生偏离。因而，能够保持图像处理装置200中的图像处理的连续性。由此，同时实现由单一的传送路径共有多个摄像机影像这样的经济性和一边连续地进行接收侧的图像处理一边维持处理精度。
即，根据第3实施方式，能够提供能够在影像切换的前后保持图像处理的连续性的智能摄像机、图像处理装置以及数据通信方法。
(向多视点摄像机系统的应用例)
图30是示出多视点摄像机系统的一个例子的图。第3实施方式的讨论关于多视点摄像机系统也成立。在图30所示的例子中，例如作为云端100的服务而安装选择部15b、切换控制部15c的功能即可。
(向阵列摄像机系统的应用例)
图31是示出具备以阵列状排列的多个摄像机的、所谓的阵列摄像机系统的一个例子的图。例如有将摄像机C1作为可见光摄像机、将摄像机C2作为红外线摄像机、由两个摄像机C1、C2观察共同的被摄体的阵列摄像机系统。在这种系统中，将图24所示的选择部15b、切换控制部15c以及开关部1010安装于图像处理装置200，从而能够进行与第3实施方式同样的讨论。也就是说，在根据图像处理装置200的图像处理来切换摄像机C1、C2时，只要将图像处理所需的特征数据同步复用到影像数据而传送，就能够补偿图像处理装置200中的图像处理的连续性。
此外，本发明并不限定于上述实施方式。例如，复用于传输流的特征数据与系统要件相应地包含绝对时刻信息、摄像机方向信息、变焦倍率信息、位置信息、检测信息(传感器信息、图像分析信息等)、或者特征量等信息中的至少任意一个即可。
另外，既可以是保存于图13的特征数据DB的数据为将坐标作为要素的集合，也可以是保存于点云数据管理部28的点云数据DB28a的数据为表示该集合的过去的状态的数据。在该情况下，时间序列变化检测部26检测由各个集合所包含的坐标群重新构成的表面的、相对于时间的变化。该表面的时间变化作为变化状态信息而发送到变化状态信息积蓄部27，并保存到变化状态数据DB27a。
另外，例如在传感器信息中，与系统要件相应地包含温度信息、湿度信息、振动信息、加速度信息、雨量信息、水位信息、速度信息、数字转速表信息以及点云数据、或者摄像部的设备类型、像素数、帧速率、灵敏度、镜头的焦点距离、光量、以及视角等信息中的至少任意一个即可。
另外，在第3实施方式中，不限于具备多个摄像机的多光谱摄像机，关于将不同的波长截止滤波器与1个摄像部进行组合，由单眼型的摄像机得到多个影像的形式的摄像机，也成立与上述相同的讨论。
另外，在第3实施方式中，在摄像部的切换时生成特征数据，并复用到影像流。除此之外，也可以始终计算特征数据，在需要的情况(产生摄像部的切换时)下，复用到影像流。
另外，在第3实施方式中，叙述了图像分析部15a分析摄像部50a～50m的每个摄像部的影像，针对摄像部50a～50m的每个摄像部生成影像的特征量。不仅有针对影像定义的特征量，还有针对图像计算的特征量。因而，还能够构成为由图像分析部15a计算图像的特征量，根据图像的特征量来执行各种处理。
进而，也可以将第3实施方式中的图像分析部15a的功能分别单独地安装于摄像部50a～50m。如果这样做，则能够从摄像部50a～50m集中输出摄影的影像的影像数据和该影像的特征量。选择部使用该影像数据所附带的特征量来得到评价值，选择摄像部50a～50m中的任意摄像部即可。这样使分析的处理转移到摄像部50a～50m，从而能够节约处理器15的资源。
一般而言，云计算系统大致分为作为服务而提供应用程序的SaaS(Software as aService，软件即服务)、作为服务而提供用于使应用程序运行的基础(平台)的PaaS(Platform as a Service，平台即服务)、作为服务而提供高速的运算处理功能以及大容量的存储设备等资源的IaaS(Infrastructure as a Service，基础设施即服务)。图1所示的云端100在任意的种类的系统中都能够应用。
与计算机关联地使用的“处理器”这样的用语例如能够理解为CPU、GPU或者ASIC(Application Specific Integrated Circuit，专用集成电路)、SPLD(SimpleProgrammable Logic Device，简单可编程逻辑器件)、CPLD(Complex Programmable LogicDevice，复杂可编程逻辑器件)、或者FPGA等电路。
处理器通过读出并执行存储于存储器的程序，从而实现基于程序的特有的功能。还能够代替存储器，而构成为将程序直接编入到处理器的电路内。在该例中，处理器通过读出并执行编入到电路内的程序而实现其功能。
说明了本发明的几个实施方式，但这些实施方式是作为例子而提示，未意图限定发明的范围。这些新的实施方式能够以其它各种方式被实施，能够在不脱离发明的要旨的范围进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围、要旨，并且包含于权利要求书所记载的发明及与其等同的范围。

Claims (40)

1.一种智能摄像机，具备：
图像传感器，输出影像信号；
编码部，对所述影像信号进行编码而生成影像数据；
特征数据生成部，生成所述影像信号的特征数据；
同步处理部，使生成的所述特征数据与所述影像数据同步；
复用部，将所述影像数据和与该影像数据同步的特征数据复用到传输流；以及
发送部，将所述传输流发送到通信网络。
2.根据权利要求1所述的智能摄像机，其中，
所述智能摄像机还具备分析部，该分析部分析所述影像信号，生成基于所述影像信号的图像分析信息，
所述同步处理部使包含所述图像分析信息的特征数据与所述影像数据同步。
3.根据权利要求1所述的智能摄像机，其中，
所述同步处理部使所述特征数据与所述影像信号的图像帧的时间戳同步。
4.根据权利要求1所述的智能摄像机，其中，
所述复用部将预先设定的期间中的特征数据复用到所述传输流。
5.根据权利要求1所述的智能摄像机，其中，
所述特征数据包含所述影像信号的摄影时刻信息、所述图像传感器的指向方向信息、所述图像传感器的旋转角度信息、所述图像传感器的变焦倍率信息或者所述图像传感器的位置信息中的至少任意一个。
6.根据权利要求1所述的智能摄像机，其中，
所述特征数据为包含坐标和与该坐标对应的点的属性信息的点云数据。
7.根据权利要求1所述的智能摄像机，其中，
所述智能摄像机还具备转送部，该转送部经由所述通信网络将所述特征数据转送给其它智能摄像机。
8.根据权利要求7所述的智能摄像机，其中，
所述智能摄像机还具备转送目的地数据库，该转送目的地数据库预先记录有应转送所述特征数据的目标地址的目标地址信息，
所述转送部向记录于所述转送目的地数据库的目标地址信息转送所述特征数据。
9.一种智能摄像机，能够与图像处理装置通信，其中，所述智能摄像机具备：
多个摄像部，分别生成影像数据；
选择部，从所述多个摄像部选择生成与所述图像处理装置中的图像处理相应的影像数据的摄像部；
切换部，每当由所述选择部选择出其它摄像部时，将来自该选择出的摄像部的所述影像数据使相互的帧相位同步而切换输出；
特征数据生成部，生成包括所述切换输出的时间点的预定期间中的来自选择出的所述摄像部的影像的特征数据；
同步处理部，使切换输出的所述影像数据与所述特征数据同步；
复用部，将同步的所述影像数据和特征数据复用到传输流；以及
发送部，将所述传输流发送到所述图像处理装置。
10.根据权利要求9所述的智能摄像机，其中，
所述智能摄像机还具备图像分析部，该图像分析部分析每个所述摄像部的影像而生成每个该摄像部的影像的特征量，
所述选择部根据每个所述摄像部的影像的特征量，选择生成与所述图像处理装置中的图像处理相应的影像数据的摄像部。
11.根据权利要求10所述的智能摄像机，其中，
所述选择部根据所述特征量针对每个所述摄像部计算表示与所述图像处理装置中的图像处理相应的程度的评价值，
根据所述评价值，选择生成与所述图像处理装置中的图像处理相应的影像数据的摄像部。
12.根据权利要求11所述的智能摄像机，其中，
所述选择部如果选择出的摄像部的评价值小于既定的阈值，则选择与该选择出的摄像部不同的摄像部。
13.根据权利要求9所述的智能摄像机，其中，
所述智能摄像机还具备接收部，该接收部从所述图像处理装置接收包含与所述图像处理有关的信息的消息，
所述选择部依照所述消息所包含的信息选择所述摄像部。
14.根据权利要求9所述的智能摄像机，其中，
对所述多个摄像部分别单独地分配摄影波段。
15.根据权利要求14所述的智能摄像机，其中，
所述多个摄像部包括红外线摄像机和可见光摄像机。
16.根据权利要求9所述的智能摄像机，其中，
所述特征数据包含所述摄像部的传感器信息以及所述影像的参数信息中的至少任意一个。
17.根据权利要求16所述的智能摄像机，其中，
所述传感器信息包括设备类型、像素数、帧速率、灵敏度、镜头的焦点距离、光量以及视角中的至少任意一个。
18.根据权利要求17所述的智能摄像机，其中，
所述参数信息包括所述影像的色调以及亮度直方图中的至少任意一个。
19.一种图像处理装置，具备：
接收部，接收传输流，该传输流包含影像数据和与该影像数据同步复用的该影像数据的特征数据；
分离部，使所述影像数据和所述特征数据从接收到的所述传输流分离；以及
存储部，保存分离的所述特征数据。
20.根据权利要求19所述的图像处理装置，其中，还具备：
检测部，从分离的所述特征数据检测与基础设施有关的数据的时间序列的变化；
积蓄部，积蓄基于所述数据的时间序列的变化的与所述基础设施有关的变化状态信息。
21.根据权利要求20所述的图像处理装置，其中，
与所述基础设施有关的数据为包含坐标和与该坐标对应的点的属性信息的点云数据。
22.根据权利要求19所述的图像处理装置，其中，还具备：
积蓄部，积蓄分离的所述特征数据；
人物特征数据库，记录表示人物的特征的人物特征数据；以及
选择部，将分离的所述特征数据与所述人物特征数据库的人物特征数据进行对照，根据其结果，从所述积蓄部选择作为追缉对象而设定的人物的特征数据。
23.根据权利要求19所述的图像处理装置，其中，还具备：
转送目的地数据库，预先记录有应转送所述特征数据的目标地址的目标地址信息；以及
转送部，向记录于所述转送目的地数据库的目标地址信息转送所述特征数据。
24.根据权利要求19所述的图像处理装置，其中，
所述接收部从具有多个摄像部的智能摄像机接收，
所述分离部使所述影像数据和与该影像数据同步的特征数据从接收到的所述传输流分离，
所述图像处理装置还具备：
解码部，对所述影像数据进行解码而再生影像；
补偿部，根据分离的所述特征数据，补偿再生的所述影像的连续性；以及
图像处理部，根据补偿的所述影像进行图像处理。
25.根据权利要求24所述的图像处理装置，其中，
所述图像处理装置还具备通知部，该通知部将包含与所述图像处理有关的信息的消息通知给所述智能摄像机。
26.根据权利要求25所述的图像处理装置，其中，
所述消息包含表示使所述影像的对比度优先的信息、或者表示使所述影像的信噪比优先的信息中的任意信息。
27.一种数据通信方法，能够应用于具备输出影像信号的图像传感器以及处理器的智能摄像机，其中，所述数据通信方法具备：
所述处理器对所述影像信号进行编码而生成影像数据的过程；
所述处理器生成所述影像信号的特征数据的过程；
所述处理器使生成的所述特征数据与所述影像数据同步的过程；
所述处理器将所述影像数据和与该影像数据同步的特征数据复用到传输流的过程；以及
所述处理器将所述传输流发送到通信网络的过程。
28.根据权利要求27所述的数据通信方法，其中，
所述数据通信方法还具备所述处理器分析所述影像信号，生成基于所述影像信号的图像分析信息的过程，
所述处理器使包含所述图像分析信息的特征数据与所述影像数据同步。
29.根据权利要求27所述的数据通信方法，其中，
所述处理器使所述特征数据与所述影像信号的图像帧的时间戳同步。
30.根据权利要求27所述的数据通信方法，其中，
所述处理器将预先设定的期间中的特征数据复用到所述传输流。
31.根据权利要求27所述的数据通信方法，其中，
所述特征数据包含所述影像信号的摄影时刻信息、所述图像传感器的指向方向信息、所述图像传感器的旋转角度信息、所述图像传感器的变焦倍率信息或者所述图像传感器的位置信息中的至少任意一个。
32.根据权利要求27所述的数据通信方法，其中，
所述数据通信方法还具备所述处理器经由所述通信网络将所述特征数据转送给其它智能摄像机的过程。
33.根据权利要求32所述的数据通信方法，其中，
所述处理器向记录于预先记录有应转送所述特征数据的目标地址的目标地址信息的转送目的地数据库的所述目标地址信息转送所述特征数据。
34.一种数据通信方法，能够应用于具备分别生成影像数据的多个摄像部以及处理器的智能摄像机，其中，所述数据通信方法具备：
所述处理器选择生成与图像处理装置中的图像处理相应的影像数据的摄像部的过程；
每当选择出其它摄像部时，所述处理器将来自该选择出的摄像部的所述影像数据使相互的帧相位同步而切换输出的过程；
所述处理器生成包括所述切换输出的时间点的预定期间中的来自选择出的所述摄像部的影像的特征数据的过程；
所述处理器使切换输出的所述影像数据与所述特征数据同步的过程；
所述处理器将同步的所述影像数据和特征数据复用到传输流的过程；以及
所述处理器将所述传输流发送到所述图像处理装置的过程。
35.根据权利要求34所述的数据通信方法，其中，
所述数据通信方法还具备所述处理器分析每个所述摄像部的影像而生成每个该摄像部的影像的特征量的过程，
在所述选择的过程中，所述处理器根据每个所述摄像部的影像的特征量，选择生成与所述图像处理装置中的图像处理相应的影像数据的摄像部。
36.根据权利要求35所述的数据通信方法，其中，
所述选择的过程包括：
所述处理器根据所述特征量针对每个所述摄像部计算表示与所述图像处理装置中的图像处理相应的程度的评价值的过程；以及
所述处理器根据所述评价值选择生成与所述图像处理装置中的图像处理相应的影像数据的摄像部的过程。
37.根据权利要求36所述的数据通信方法，其中，
在所述选择的过程中，所述处理器如果选择出的摄像部的评价值小于既定的阈值，则选择与该选择出的摄像部不同的摄像部。
38.根据权利要求34所述的数据通信方法，其中，还具备：
所述处理器从所述图像处理装置接收包含与所述图像处理有关的信息的消息的过程；以及
所述处理器依照所述消息所包含的信息选择所述摄像部的过程。
39.根据权利要求34所述的数据通信方法，其中，
所述特征数据包含所述摄像部的传感器信息以及所述影像的参数信息中的至少任意一个。
40.根据权利要求39所述的数据通信方法，其中，
所述传感器信息包括设备类型、像素数、帧速率、灵敏度、镜头的焦点距离、光量以及视角中的至少任意一个。
CN201880037256.6A 2017-08-22 2018-08-22 智能摄像机、图像处理装置以及数据通信方法 Expired - Fee Related CN110710199B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017-159728 2017-08-22
JP2017159728A JP2019041159A (ja) 2017-08-22 2017-08-22 スマートカメラ、サーバ、スマートカメラシステム、データ伝送方法およびプログラム
JP2017-166057 2017-08-30
JP2017166057A JP6668298B2 (ja) 2017-08-30 2017-08-30 スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム
PCT/JP2018/030973 WO2019039507A1 (ja) 2017-08-22 2018-08-22 スマートカメラ、画像処理装置、およびデータ通信方法

Publications (2)

Publication Number Publication Date
CN110710199A true CN110710199A (zh) 2020-01-17
CN110710199B CN110710199B (zh) 2021-03-02

Family

ID=65439103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037256.6A Expired - Fee Related CN110710199B (zh) 2017-08-22 2018-08-22 智能摄像机、图像处理装置以及数据通信方法

Country Status (3)

Country Link
US (1) US20200177935A1 (zh)
CN (1) CN110710199B (zh)
WO (1) WO2019039507A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374632B2 (ja) * 2019-07-09 2023-11-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10924636B1 (en) 2020-04-30 2021-02-16 Gopro, Inc. Systems and methods for synchronizing information for videos
DE102022123295A1 (de) 2022-09-13 2024-03-14 Zf Cv Systems Global Gmbh Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187352A (ja) * 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The 特定人物検出システム
CN101615295A (zh) * 2008-06-24 2009-12-30 索尼株式会社 图像处理系统、图像处理方法和计算机程序
US20110096234A1 (en) * 2009-10-27 2011-04-28 Rajesh Mamidwar Method and system for multiplexed transport interface between demodulators (demods) and set-top box (stb) system-on-chips (socs)
CN102118242A (zh) * 2010-01-06 2011-07-06 索尼公司 接收设备和方法、程序和接收系统
CN105340266A (zh) * 2014-03-03 2016-02-17 Smk株式会社 图像处理系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843482B2 (en) * 2005-10-28 2014-09-23 Telecom Italia S.P.A. Method of providing selected content items to a user
JP2007158860A (ja) * 2005-12-06 2007-06-21 Canon Inc 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
JP2007243270A (ja) * 2006-03-06 2007-09-20 Toshiba Corp 映像監視システムおよび方法
JP2009010903A (ja) * 2007-05-30 2009-01-15 Sony Corp 撮像装置及び撮像方法
JP4973334B2 (ja) * 2007-06-26 2012-07-11 ソニー株式会社 撮像装置および撮像装置の切り替え方法
JP5439549B2 (ja) * 2012-07-09 2014-03-12 株式会社東芝 情報処理装置、情報処理システム、サービス提供システムおよび情報処理方法
JP5950166B2 (ja) * 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
WO2015037186A1 (ja) * 2013-09-13 2015-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 広告データ提供方法
GB2535706A (en) * 2015-02-24 2016-08-31 Nokia Technologies Oy Device with an adaptive camera array
EP3065394A1 (en) * 2015-03-05 2016-09-07 Thomson Licensing Light field metadata

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003187352A (ja) * 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The 特定人物検出システム
CN101615295A (zh) * 2008-06-24 2009-12-30 索尼株式会社 图像处理系统、图像处理方法和计算机程序
US20110096234A1 (en) * 2009-10-27 2011-04-28 Rajesh Mamidwar Method and system for multiplexed transport interface between demodulators (demods) and set-top box (stb) system-on-chips (socs)
CN102118242A (zh) * 2010-01-06 2011-07-06 索尼公司 接收设备和方法、程序和接收系统
CN105340266A (zh) * 2014-03-03 2016-02-17 Smk株式会社 图像处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
博多弘树: "大于Google的汽车——NNT汽车制作的危险电线杆图", 《URL: HTTPS://BUSINESSNETWORK.JP/DETAIL/TABID/65/ARTID/4924/DEFAULT.ASPX》 *

Also Published As

Publication number Publication date
WO2019039507A1 (ja) 2019-02-28
US20200177935A1 (en) 2020-06-04
CN110710199B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
JP7307259B2 (ja) 三次元情報処理方法及び三次元情報処理装置
CN107534789B (zh) 影像同步装置及影像同步方法
WO2017134706A1 (ja) 映像表示方法及び映像表示装置
WO2018030206A1 (ja) カメラワーク生成方法及び映像処理装置
US10078644B1 (en) Apparatus and methods for manipulating multicamera content using content proxy
JP6460105B2 (ja) 撮影方法、撮影システムおよび端末装置
US9167164B2 (en) Metadata associated with frames in a moving image
CN110710199B (zh) 智能摄像机、图像处理装置以及数据通信方法
CN109661812A (zh) 多视点摄像系统、三维空间重构系统及三维空间识别系统
JP2017139725A (ja) 映像表示方法及び映像表示装置
US9871994B1 (en) Apparatus and methods for providing content context using session metadata
CN104539929A (zh) 带有运动预测的立体图像编码方法和编码装置
US9693010B2 (en) Method, electronic device, and server for generating digitally processed pictures
KR102192405B1 (ko) 비디오 데이터의 실시간 프레임 정렬
WO2014103731A1 (ja) 画像処理装置および方法、並びにプログラム
CN105959575A (zh) 一种可变焦全景摄像机
JP2006211415A (ja) 車載用映像記録装置
JP2020005168A (ja) カメラ装置、カメラシステム及びサーバ装置
WO2015194082A1 (ja) 画像処理方法および画像処理システム
JP6952456B2 (ja) 情報処理装置、制御方法、及びプログラム
EP4398207A1 (en) Dynamic video presentation method applied to gis and system thereof
JP6668298B2 (ja) スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム
WO2019000427A1 (zh) 一种图像处理方法、装置及电子设备
CN110447230B (zh) 视频数据中的符号体系编码的方法及装置
JP2019041159A (ja) スマートカメラ、サーバ、スマートカメラシステム、データ伝送方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210302

CF01 Termination of patent right due to non-payment of annual fee