CN113906734A - 同步控制装置、同步控制方法以及同步控制程序 - Google Patents

同步控制装置、同步控制方法以及同步控制程序 Download PDF

Info

Publication number
CN113906734A
CN113906734A CN202080040390.9A CN202080040390A CN113906734A CN 113906734 A CN113906734 A CN 113906734A CN 202080040390 A CN202080040390 A CN 202080040390A CN 113906734 A CN113906734 A CN 113906734A
Authority
CN
China
Prior art keywords
frame
data
video
synchronization control
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080040390.9A
Other languages
English (en)
Inventor
小野正人
星出高秀
松原靖
深津真二
南宪一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN113906734A publication Critical patent/CN113906734A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

更可靠地对来自多个摄像系统设备的影像/声音数据进行同步控制。在对从多个摄像系统设备(2)分别发送的多数的影像/声音数据的进行同步的同步控制部(15)中具备：帧取得部(151)，其针对每个影像/声音数据从影像/声音数据取得多个帧数据，并对多个帧数据分别赋予基于取得时刻的帧时间戳；以及帧整形部(152)，其基于帧时间戳的值对多个帧数据赋予新的帧时间戳，使得多个影像/声音数据之间时间上接近的多个帧数据成为相同时刻，多个帧数据间的时间间隔成为等间隔。

Description

同步控制装置、同步控制方法以及同步控制程序
技术领域
本发明涉及对影像/声音数据进行同步控制的技术。
背景技术
在企业领域，存在多个监视据点汇集化的倾向，远程对多个监视据点进行影像监视的远程影像监视技术的需要正在扩大。例如，迫切期望一种远程影像监视系统，实现能够在一个据点监视多个机场的航空管制、能够统一监视机场大厅、火车站、体育场的公共空间监视、能够远程监视泥石流、海啸、水库的防灾监视。
该远程影像监视系统为了不仅对多个监视据点进行综合监视，而且还有效掌握各个监视据点的宽广监视区域的状况，例如为了迅速实现防恐对策的强化、大规模自然灾害的预防，具有实时地向监视侧传送高清晰且宽视角的影像的功能。
例如，据点侧的远程影像监视装置从多个摄像系统设备分别接收多个摄像机影像(影像/声音数据)，对接收到的多个影像/声音数据进行合成，使用MMT(MPEG MediaTransport媒体传输)协议经由IP网络向监视侧的远程影像监视装置同步传送合成后的全景影像的影像/声音数据以及从影像数据中检测出的对象信息。在IP网络的传输区间使用NTP(Network Time Protocol：网络时间协议)，因此能够确保影像/声音数据与对象信息的同步控制(非专利文献1)。
现有技术文献
非专利文献
非专利文献1：“デジタル放送におけるMMTによるメディアトランスポート方式”、標準規格、ARIB STD-B60、1.13版、一般社団法人電波産業会、2018年10月
发明内容
发明所要解决的课题
然而，在多个摄像系统设备与据点侧的远程影像监视装置之间存在如下课题：难以完全同步控制从各摄像系统设备分别接收的多个影像/声音数据。
多个摄像系统设备中存在拍摄处理的延迟/波动、在拍摄后进行预定影像处理的情况等差异。另外，在据点侧的远程影像监视装置中也存在内部时刻的波动等，在分别接收各影像/声音数据的该远程影像监视装置内的多个信息收集设备(信息收集电路板)之间也存在差异。
因此，如图8所示，即使在通过多个摄像系统设备2分别拍摄相同的影像时，有时在多个影像/声音数据分别被赋予的帧时间戳中也会产生偏差。由此，在通过据点侧的远程影像监视装置A进行合成处理时会产生无法确定合成对象的影像/声音帧的状况，即使在IP网络的传输区间以及监视侧的提示系统设备(输出用电路板)之间确保了同步，也会发生再生时产生同步偏差的状况。
因此，需要在影像/声音数据之间进行同步控制，但为了掌握影像/声音数据被赋予的帧时间戳的偏差，一般需要确认信息收集系统设备的日志，确认MMT协议的数据包，需要非常繁杂的处理。另外，帧时间戳的偏差由于信息收集系统设备的状况(内部时刻的波动等)有可能不是固定的，难以使该偏差完全同步。
本发明是鉴于上述情况而做出的，其目的在于更可靠地同步控制来自多个摄像系统设备的影像/声音数据。
用于解决课题的手段
为了解决上述课题，本发明的同步控制装置对从多个摄像系统设备发送的多个数据进行同步，所述数据为影像数据、声音数据或者影像以及声音数据，同步控制装置具备：帧取得部，其针对每个所述数据从所述数据取得多个帧数据，并且对所述多个帧数据分别赋予基于取得时刻的帧时间戳；以及帧整形部，其基于所述帧时间戳的值对所述多个帧数据赋予新的帧时间戳，使得所述多个数据之间时间上接近的多个帧数据成为相同时刻，所述多个帧数据之间的时间间隔成为等间隔。
在所述同步控制装置中，所述帧整形部将从预定的基准时刻起算按所述数据的帧时间间隔刻画的时刻作为所述新的帧时间戳。
在所述同步控制装置中还具备缺失帧检测部，该缺失帧检测部在检测出所述帧数据的缺失时，复制所述缺失的帧数据的下一帧数据来作为所述缺失的帧数据，并插入所复制的帧数据。
在所述同步控制装置中还具备剩余帧检测部，该剩余帧检测部在检测出所述帧数据的重复或剩余时，删除所述重复或剩余的帧数据。
另外，本发明的同步控制方法是由同步控制装置进行的同步控制方法，该同步控制装置对从多个摄像系统设备发送的多个数据进行同步，所述数据是影像数据、声音数据或者影像以及声音数据，同步控制方法具有以下步骤：针对每个所述数据从所述数据中取得多个帧数据，并对所述多个帧数据分别赋予基于取得时刻的帧时间戳；以及基于所述帧时间戳的值对所述多个帧数据赋予新的帧时间戳，使得在所述多个数据之间时间上接近的多个帧数据成为相同时刻，所述多个帧数据之间的时间间隔成为等间隔。
另外，本发明的同步控制程序使计算机执行所述同步控制方法。
发明效果
根据本发明，能够更可靠地同步控制来自多个摄像系统设备的影像/声音数据。
附图说明
图1表示远程影像监视系统的结构例。
图2表示合成处理装置的结构例。
图3表示影像数据的同步控制处理流程。
图4表示同步处理后的帧数据的图像。
图5表示同步及复制处理后的帧数据的图像。
图6表示同步和删除处理后的帧数据的图像。
图7表示帧时间戳的赋予例。
图8表示课题的图像。
具体实施方式
以下，使用附图对用于实施本发明的一个实施方式进行说明。
在本实施方式中，为了解决上述课题，公开了同步控制装置、同步控制方法以及同步控制程序(以下，在本段落中简称为“同步控制装置”)。在本实施方式中，作为例子说明将该同步控制装置应用于远程影像监视系统的情况。但是，该同步控制装置例如也可用于在娱乐领域的公众观看中使用的信息处理系统等远程监视以外的用途。
[远程影像监视系统]
首先，对本实施方式的远程影像监视系统进行说明。
在远程影像监视系统中，据点侧的远程影像监视装置使用MMT协议将合成了多个摄像机影像(影像/声音数据)而得到的全景影像的影像/声音数据以及从影像数据检测出的对象信息经由IP网络向监视侧的远程影像监视装置同步传送。在IP网络的传输区间，使用NTP从而低延迟地实现影像/声音数据与对象信息的同步控制。
图1表示本实施方式的远程影像监视系统1的结构例。该远程影像监视系统1具备配置在据点侧的据点侧远程影像监视装置A和配置在监视侧的监视侧远程影像监视装置B。
首先，对据点侧的远程影像监视装置A进行说明。如图1所示，据点侧的远程影像监视装置A例如具备合成处理装置10、对象信息综合装置20。
合成处理装置10具备以下功能：从配置在据点侧的多个摄像系统设备2分别接收多个影像/声音数据，对接收到的多个影像数据进行合成来生成全景影像，从接收到的影像数据中检测1个以上的对象来进行跟踪，并且对生成的全景影像的影像数据和声音数据进行编码处理，使用MMT协议将编码处理后的影像/声音数据经由IP网络4传送给监视侧的远程影像监视装置B。为了执行该功能，如图1所示，合成处理装置10例如具备合成处理部11、编码处理部12以及对象检测/跟踪处理部13。
合成处理部11从SDI接口分别输入来自多个摄像系统设备2的例如最大4K尺寸的影像/声音数据，在输入的定时进行同步，并实时地合成已同步的多个影像数据。在合成多个影像数据时，为了降低摄像系统设备2之间的视差的影响，合成处理部11动态变更在多个影像数据之间同步的各影像数据的接缝(seam)，并且有效使用跟踪了预定对象的跟踪处理结果，从而实现合成品质的提高。
编码处理部12对通过合成而得到的全景影像的影像/声音数据进行编码处理，转换为由构成监视侧的远程影像监视装置B的解码装置30可接收的MMTP包，经由IP网络4送出到该解码装置30。例如，编码处理部12通过HEVC(High Efficiency Video Coding：高效影像编码)编码或AVC(Advanced Video Coding：高级影像编码)编码对输入的影像非压缩数据进行编码，并通过AAC(Advanced Audio Coding：高级音频编码)编码对声音非压缩数据进行编码，转换为MMTP流后送出。此时，通过管理MMTP流的时间代码，确保与从对象信息综合装置20送出的对象信息的同步。
对象检测/跟踪处理部13从多个影像数据中检测1个以上的对象来进行跟踪，并将该对象的检测以及跟踪的执行结果作为对象信息通过Websocket发送至对象信息综合装置20。另外，对象的检测以及跟踪方法能够使用公知的技术来实现。
对象信息综合装置20通过Websocket从对象检测/跟踪处理部13收到对象信息，将收到的对象信息中包含的对象在摄像机影像上的坐标转换为环绕影像上的坐标。此外，对象信息综合装置20对于同时出现在重叠区域中的对象综合为一个对象。并且，对象信息综合装置20向对象信息内的跟踪信息附加预定的协调密钥来向未图示的预定的外部服务器进行询问，将得到的任意的附加信息追加到跟踪信息中。然后，对象信息综合装置20根据跟踪信息生成信令消息，进行MMTP数据包化来转换为MMTP流，使用MMT协议经由IP网络4送出到构成监视侧的远程影像监视装置B的综合对象信息接收装置40。
接着，对监视侧的远程影像监视装置B进行说明。如图1所示，监视侧的远程影像监视装置B例如具备解码装置30和综合对象信息接收装置40。
解码装置30具备以下功能：经由IP网络4从合成处理装置10的编码处理部12接收MMTP流，对接收到的MMTP流内的MMTP包中包含的影像/声音数据进行解码处理，在未图示的多个输出用设备之间对通过解码处理解码后的影像/声音数据进行同步控制后分别输出到多个显示系统设备3。
综合对象信息接收装置40经由IP网络4从对象信息综合装置20接收MMTP流，取得接收到的MMTP流内的MMTP包中包含的对象信息，将该对象信息内的对象的坐标转换为用于对影像/声音分量进行识别的每个财产(Asset)的坐标，并分别输出到多个显示系统设备3。另外，在非专利文献1中记载了与财产相关的详细内容。
另外，在实际的运用中，在解码装置30以及综合对象信息接收装置40与显示系统设备3之间设置有将影像/声音数据与对象信息重叠的附加信息重叠装置，但该附加信息重叠装置是数据信息的重叠功能，所以能够安装在解码装置30、综合对象信息接收装置40、显示系统设备3中的任意一个中。另外，摄像系统设备2例如是4K摄像机。显示系统设备3例如是显示器，多个显示系统设备3是多屏幕。
[合成处理装置]
合成处理装置10的功能如上所述，但在本实施方式中，为了解决难以完全同步控制从多个摄像系统设备2分别接收的多个影像/声音数据的课题，在合成处理装置10中还具备同步控制部(同步控制装置)。
图2表示还具备同步控制部的合成处理装置10的结构例。该合成处理装置10进行控制来提高在大概相同的定时从多个摄像系统设备2分别发送的多个影像/声音数据的同步精度。例如，合成处理装置10具备摄像机影像接收部14、同步控制部15以及合成处理部11。在图2中，省略了图1中所示的编码处理部12以及对象检测/跟踪处理部13。
摄像机影像接收部14具备以下功能：通过多个信息收集用设备分别接收从多个摄像系统设备2输出的多个摄像机影像，将接收到的多个影像/声音数据分别送出到同步控制部15。
同步控制部15具备以下功能：在摄像机影像接收部14与合成处理部11之间发挥功能，对于从摄像机影像接收部14送出的多个影像/声音数据进行同步控制，将进行同步控制后的多个影像/声音数据分别送出到合成处理部11。为了执行该功能，如图2所示，同步控制部15例如具备帧取得部151、帧整形部152、缺失帧检测部153以及剩余帧检测部154。
帧取得部151具备以下功能：针对每个影像/声音数据从影像/声音数据取得多个帧数据，并对该多个帧数据分别赋予基于取得时刻的帧时间戳。
帧整形部152具备以下功能：基于所赋予的帧时间戳的值，对多个帧数据赋予新的帧时间戳，使得多个影像/声音数据之间时间上接近的多个帧数据成为相同时刻，多个帧数据间的时间间隔成为等间隔。
缺失帧检测部153具备以下功能：针对多个影像/声音数据判定帧数据是否有缺失，在检测到帧数据的缺失时，复制所缺失的帧数据的下一帧数据来作为该缺失的帧数据，并将复制的帧数据插入到缺失位置。
剩余帧检出部154具备以下功能：对于多个影像/声音数据判定帧数据中是否存在重复或剩余，在检测出帧数据的重复或者剩余时，删除重复或剩余的帧数据。
合成处理部11的功能如上所述。与合成处理装置10同样地，同步控制部15能够通过具备CPU、存储器、输入输出接口、通信接口等的计算机来实现。另外，也能够做成用于使计算机作为同步控制部15发挥功能的同步控制程序、该同步控制程序的存储介质。
[同步控制方法]
接着，对同步控制多个摄像机影像的同步控制方法进行说明。在该同步控制方法中，以摄像机影像中包含的影像/声音数据中的影像数据为例进行说明。即使在声音数据或者影像以及声音数据的情况下，也能够应用该同步控制方法。图3表示影像数据的同步控制处理流程。
步骤S1；
最初，摄像机影像接收部14分别接收从多个摄像系统设备2在大致相同的定时分别输出的多个影像数据，并将接收到的多个影像数据分别送出到同步控制部15。然后，同步控制部15针对多个影像数据，对各影像数据中包含的各帧数据执行后述的步骤S2～步骤S7。
步骤S2；
首先，帧取得部151从各影像数据分别取得各帧数据，对各帧数据分别赋予基于所取得的各帧数据的各取得时刻的帧时间戳。
例如，如果是帧速率为60fps的影像，则帧时间间隔约为16.66msec，所以当在“2019/4/1/12：00.052”从第一摄像机取得开头帧数据，在“2019/4/1/12：00.070”取得第二帧数据时，帧取得部151对开头帧数据和第二帧数据分别赋予它们的取得时刻。关于来自其他摄像机的帧数据也是同样的。
另外，帧取得部151也可以使用帧数据的接收时刻或到达时刻来代替帧数据的取得时刻。权利要求书中记载的“取得时刻”包含接收时刻以及到达时刻。
步骤S3；
接着，帧整形部152基于在步骤S2中赋予的帧时间戳的值，按照影像数据的帧速率对多个帧数据赋予新的帧时间戳，使得多个影像数据之间时间上接近的多个帧数据成为相同时刻，多个帧数据间的时间间隔成为等间隔。
即，帧整形部152按照帧速率将基于帧数据的取得时刻或到达时刻而赋予的帧时间戳整形为等间隔。此时，将新的帧时间戳设为从预定基准时刻(1900/1/1/0：00.000＝NTPv4 64bit表现中的0)开始计算，按每个帧时间间隔计算出的值。由此，能够与多个摄像系统设备2无关地赋予无偏差的帧时间戳。
(新的帧时间戳的赋予例1)
例如，在是帧速率为60fps的影像时，帧时间间隔约为16.66msec，因此帧整形部152首先如下所示那样计算从上述预定的基准时刻开始计算的当前时刻(“2019/4/1/12:00.000”)及其之后的每个帧时间间隔的时刻。其中，每秒正好设为“0.000”。另外，下述时刻的例子是在小数点3位进行四舍五入而得到的值。
2019/4/1/12:00.000
2019/4/1/12:00.017
2019/4/1/12:00.033
2019/4/1/12:00.050
2019/4/1/12:00.067
……
并且，在来自3个摄像机的影像数据的各到达时刻从以下所示的时刻开始时，
第一摄像机(开头帧数据)2019/4/1/12:00.052
第二摄像机(开头帧数据)2019/4/1/12:00.055
第三摄像机(开头帧数据)2019/4/1/12:00.056
帧整形部152从计算出的上述多个“每个帧时间间隔的时刻”中选择最接近各到达时刻的“2019/4/1/12:00.050”，向全部3个影像数据的开头帧数据分别赋予选择出的“2019/4/1/12:00.050”。
另外，关于时刻的选择方法可以考虑各种方法。例如，对于开始了帧处理后初次接收到的帧数据，将该帧数据的取得时刻与该取得时刻前后的“每个帧时间间隔的时刻”进行比较，选择接近的时刻。在帧数据的取得时刻为帧时间间隔的中心时，帧整形部152选择旧的时刻。
然后，帧整形部152对开头帧数据之后的帧数据赋予每个帧时间间隔(约16.66msec)的时刻。
由此，在上述例子的情况下，对全部3个影像数据赋予如下所示的帧时间戳，将3个影像数据完全同步控制。另外，以下赋予的帧时间戳“00：00.017”是将“16.66msec”＝“00：00.01666”在小数点3位进行了四舍五入而得到的值。
开头帧数据2019/4/1/12:00.050
第二帧数据2019/4/1/12:00.050+00:00.017×1
第三帧数据2019/4/1/12:00.050+00:00.017×2
……
第n帧数据2019/4/1/12:00.050+00:00.017×(n－1)
(新的帧时间戳的赋予例2)
在赋予例1中，说明了对开头以外的帧数据赋予每个帧时间间隔的时刻的方法。另一方面，在帧数据中存在缺失或剩余及重复的情况下，如果像赋予例1那样对开头以外的帧数据一律赋予每个帧时间间隔的时刻，则有可能对多个影像数据之间时间上完全不同的帧数据赋予相同的帧时间戳。
因此，不仅限于开头帧数据，对于开头以外的帧数据也将其取得时刻与“每个帧时间间隔的时刻”进行比较并进行选择。由此，赋予与帧数据的取得时刻一致的时刻的帧时间戳，因此即使在帧数据中存在缺失或重复的情况下，也能够可靠地赋予正确的帧时间戳。
通过进行至此说明的步骤S1～步骤S3的处理，如图4所示，能够可靠地同步控制来自多个摄像系统设备2的各摄像机影像。但是，如上所述，根据摄像系统设备2的时时刻刻的状况或状态，有可能产生拍摄处理的大幅延迟/波动，从而产生帧数据的缺失或剩余以及重复。
因此，在步骤S4以后，确认帧数据的过不足，进行帧数据的复制或删除，由此，即使在帧数据中存在波动、缺失、剩余、重复的情况下，也可实现所有的摄像机影像的帧时间戳始终同步的状态。
步骤S4；
接着，缺失帧检测部153判定与各影像数据相关的帧数据是否存在缺失。例如，缺失帧检测部153参照在步骤S3中赋予的新的帧时间戳的值，在以帧时间间隔刻画的时刻所对应的帧时间戳中存在一部分遗漏的情况下，判定为帧数据存在缺失。在帧数据存在缺失的情况下，进入步骤S5，在帧数据没有缺失的情况下，进入步骤S6。
步骤S5；
在帧数据存在缺失的情况下，如图5所示，缺失帧检测部153复制所缺失的帧数据的下一帧数据来作为该缺失的帧数据，并插入所复制的帧数据。即，缺失帧检测部153执行在检测到帧缺失的时间点复制缺失帧的下一帧并追加输入的重复处理。然后，进入步骤S6。
步骤S6；
接着，剩余帧检测部154判定在帧数据中是否存在重复或剩余。例如，剩余帧检测部154参照在步骤S3赋予的帧时间戳的值，在对多个帧数据赋予了相同的帧时间戳时，判定为帧数据中存在重复或剩余。在帧数据中存在重复或剩余的情况下，进入步骤S7，在帧数据中没有重复或剩余的情况下，结束处理。
步骤S7；
在帧数据中存在重复或剩余的情况下，如图6所示，剩余帧检测部154删除重复或剩余的帧数据。即，剩余帧检测部154执行在检测到帧的重复或剩余的时间点删除重复或剩余帧的跳过处理。然后，结束处理。
最后，对帧时间戳的赋予方法进行总结。
首先，帧取得部151针对多个影像数据，对各帧数据分别赋予基于帧数据的取得时刻的帧时间戳。该帧时间戳由于拍摄处理的延迟/波动等，例如如图7的白圆圈所示。
然后，帧整形部152按照影像数据的帧速率(60fps)，计算从基准时刻(“1900/1/1/0：00.000”)开始计算的当前时刻(“2019/4/1/12：00.000”)起以帧时间间隔(16.66msec)刻画的时刻(图7的斜阴影线圆圈)，将该“以帧时间间隔刻画的时刻”作为新的帧时间戳分别赋予给各帧数据。即，帧整形部152进行以下处理：对于按照帧速率从基准时刻开始计算而计算出的时刻重新分配基于帧数据取得时刻的帧时间戳。
此时，如图7所示的帧时间戳TS1那样，在没有对基于取得时刻的帧时间戳过去的连续2个以上的预定赋予的帧时间戳进行再分配时，对于直至1帧前为止的帧数据执行重复处理。另外，如帧时间戳T2那样，在对基于取得时刻的帧时间戳未来的预定赋予的帧时间戳进行了再分配时，执行跳过处理。
[实施方式的效果]
如上所述，根据本实施方式，在对从多个摄像系统设备2在大致相同的定时分别发送的多个影像/声音数据进行同步的同步控制部15中具备：帧取得部151，其对每个影像/声音数据从影像/声音数据取得多个帧数据，并对多个帧数据分别赋予基于取得时刻的帧时间戳；以及帧整形部152，其基于帧时间戳的值对多个帧数据赋予新的帧时间戳，使得多个影像/声音数据之间时间上接近的多个帧数据成为相同时刻，多个帧数据间的时间间隔成为等间隔，因此在远程影像监视系统中能够更可靠地对来自多个摄像系统设备的多个影像/声音数据进行同步控制。
另外，根据本实施方式，帧整形部152将从1900/1/1/0:00.000开始计算并按影像/声音数据的帧时间间隔刻画的时刻设为新的帧时间戳，因此能够实现对输入的全部影像帧赋予与UTC(Coordinated Universal Time：协调世界时)同步的帧时间戳。
另外，根据本实施方式，还具备缺失帧检测部153，该缺失帧检测部153在检测出帧数据的缺失的情况下，复制所缺失的帧数据的下一帧数据来作为该缺失的帧数据，并插入所复制的帧数据，所以能够更可靠地同步控制多个影像/声音数据。
另外，根据本实施方式，还具备剩余帧检测部154，该剩余帧检测部154在检测出帧数据的重复或剩余的情况下，删除重叠或剩余的帧数据，所以能够更可靠地对多个影像/声音数据进行同步控制。
附图标记的说明
1 远程影像监视系统
2 摄像系统设备
3 显示系统设备
4 IP网络
10 合成处理装置
11 合成处理部
12 编码处理部
13 对象检测/跟踪处理部
14 摄像机影像接收部
15 同步控制部
151 帧取得部
152 帧整形部
153 缺失帧检测部
154 剩余帧检测部
20 对象信息综合装置
30 解码装置
40 综合对象信息接收装置
A 据点侧远程影像监视装置
B 监视侧远程影像监视装置。

Claims (6)

1.一种同步控制装置，其对从多个摄像系统设备发送的多个数据进行同步，
其特征在于，
所述数据为影像数据、声音数据、或影像以及声音数据，
所述同步控制装置具备：
帧取得部，其针对每个所述数据从所述数据取得多个帧数据，并且对所述多个帧数据分别赋予基于取得时刻的帧时间戳；以及
帧整形部，其基于所述帧时间戳的值对所述多个帧数据赋予新的帧时间戳，使得所述多个数据之间时间上接近的多个帧数据成为相同时刻，所述多个帧数据之间的时间间隔成为等间隔。
2.根据权利要求1所述的同步控制装置，其特征在于，
所述帧整形部将从预定的基准时刻开始计算并按所述数据的帧时间间隔刻画的时刻作为所述新的帧时间戳。
3.根据权利要求1所述的同步控制装置，其特征在于，
所述同步控制装置还具备缺失帧检测部，该缺失帧检测部在检测出所述帧数据的缺失时，复制所述缺失的帧数据的下一帧数据来作为所述缺失的帧数据，并插入所复制的帧数据。
4.根据权利要求1所述的同步控制装置，其特征在于，
所述同步控制装置还具备剩余帧检测部，该剩余帧检测部在检测出所述帧数据的重复或剩余时，删除所述重复或剩余的帧数据。
5.一种由同步控制装置进行的同步控制方法，该同步控制装置对从多个摄像系统设备发送的多个数据进行同步，
其特征在于，
所述数据是影像数据、声音数据、或影像以及声音数据，
所述同步控制方法具有：
针对每个所述数据从所述数据中取得多个帧数据，并对所述多个帧数据分别赋予基于取得时刻的帧时间戳的步骤；以及
基于所述帧时间戳的值对所述多个帧数据赋予新的帧时间戳，使得所述多个数据之间时间上接近的多个帧数据成为相同时刻，所述多个帧数据之间的时间间隔成为等间隔的步骤。
6.一种同步控制程序，其特征在于，
所述同步控制程序使计算机执行权利要求5所述的同步控制方法。
CN202080040390.9A 2019-05-31 2020-05-15 同步控制装置、同步控制方法以及同步控制程序 Pending CN113906734A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-102905 2019-05-31
JP2019102905A JP7208530B2 (ja) 2019-05-31 2019-05-31 同期制御装置、同期制御方法及び同期制御プログラム
PCT/JP2020/019464 WO2020241308A1 (ja) 2019-05-31 2020-05-15 同期制御装置、同期制御方法及び同期制御プログラム

Publications (1)

Publication Number Publication Date
CN113906734A true CN113906734A (zh) 2022-01-07

Family

ID=73553406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080040390.9A Pending CN113906734A (zh) 2019-05-31 2020-05-15 同步控制装置、同步控制方法以及同步控制程序

Country Status (4)

Country Link
US (1) US12041371B2 (zh)
JP (1) JP7208530B2 (zh)
CN (1) CN113906734A (zh)
WO (1) WO2020241308A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116366780A (zh) * 2023-04-10 2023-06-30 小米汽车科技有限公司 用于帧同步的帧序号确定方法、装置及车辆

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022153385A1 (ja) * 2021-01-13 2022-07-21 日本電信電話株式会社 映像処理装置、映像処理方法、および、映像処理プログラム
CN117119223B (zh) * 2023-10-23 2023-12-26 天津华来科技股份有限公司 基于多通道传输的视频流播放控制方法及系统
CN117528262B (zh) * 2023-12-29 2024-04-05 江西赛新医疗科技有限公司 一种医疗设备数据传输的控制方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341859A (zh) * 2009-03-05 2012-02-01 诺基亚公司 来自多个内容源的内容的同步
CN102510494A (zh) * 2011-10-09 2012-06-20 杭州华三通信技术有限公司 对i帧进行同步的方法及设备
CN103414957A (zh) * 2013-07-30 2013-11-27 广东工业大学 一种音视频数据同步的方法和装置
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
WO2014136318A1 (ja) * 2013-03-04 2014-09-12 株式会社ドッドウエル ビー・エム・エス カメラ監視システム及びカメラ監視方法
CN104301677A (zh) * 2014-10-16 2015-01-21 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
CN104813659A (zh) * 2013-03-21 2015-07-29 联发科技股份有限公司 视频帧处理方法
CN105049917A (zh) * 2015-07-06 2015-11-11 深圳Tcl数字技术有限公司 录制音视频同步时间戳的方法和装置
CN105430537A (zh) * 2015-11-27 2016-03-23 刘军 对多路数据进行合成的方法、服务器及音乐教学系统
CN106791899A (zh) * 2016-12-13 2017-05-31 飞狐信息技术（天津）有限公司 直播中减少观众端画面卡顿的方法及装置以及客户端
CN107251564A (zh) * 2015-03-05 2017-10-13 三菱电机株式会社 数据处理装置、数据处理方法及数据处理程序
JP2017212515A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム
CN107534789A (zh) * 2015-06-25 2018-01-02 松下知识产权经营株式会社 影像同步装置及影像同步方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280545B2 (en) * 2011-11-09 2016-03-08 Microsoft Technology Licensing, Llc Generating and updating event-based playback experiences
WO2016014591A1 (en) * 2014-07-21 2016-01-28 Avigilon Corporation Timeline synchronization control method for multiple display views
WO2016068768A1 (en) * 2014-10-31 2016-05-06 Telefonaktiebolaget L M Ericsson (Publ) Video stream synchronization
WO2018088061A1 (ja) 2016-11-08 2018-05-17 ソニー株式会社 画像転送装置、画像転送方法、プログラム、動画像生成システム
US10063613B2 (en) * 2016-11-15 2018-08-28 Genvid Technologies, Inc. Systems and methods for utilizing client-side synchronization of video and overlay
US10271074B2 (en) * 2016-12-30 2019-04-23 Facebook, Inc. Live to video on demand normalization

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341859A (zh) * 2009-03-05 2012-02-01 诺基亚公司 来自多个内容源的内容的同步
CN102510494A (zh) * 2011-10-09 2012-06-20 杭州华三通信技术有限公司 对i帧进行同步的方法及设备
WO2014136318A1 (ja) * 2013-03-04 2014-09-12 株式会社ドッドウエル ビー・エム・エス カメラ監視システム及びカメラ監視方法
CN104813659A (zh) * 2013-03-21 2015-07-29 联发科技股份有限公司 视频帧处理方法
CN103414957A (zh) * 2013-07-30 2013-11-27 广东工业大学 一种音视频数据同步的方法和装置
CN103702013A (zh) * 2013-11-28 2014-04-02 北京航空航天大学 一种用于多路实时视频的帧同步方法
CN104301677A (zh) * 2014-10-16 2015-01-21 北京十方慧通科技有限公司 面向大场景的全景视频监控的方法及装置
CN107251564A (zh) * 2015-03-05 2017-10-13 三菱电机株式会社 数据处理装置、数据处理方法及数据处理程序
CN107534789A (zh) * 2015-06-25 2018-01-02 松下知识产权经营株式会社 影像同步装置及影像同步方法
CN105049917A (zh) * 2015-07-06 2015-11-11 深圳Tcl数字技术有限公司 录制音视频同步时间戳的方法和装置
CN105430537A (zh) * 2015-11-27 2016-03-23 刘军 对多路数据进行合成的方法、服务器及音乐教学系统
JP2017212515A (ja) * 2016-05-24 2017-11-30 日本電信電話株式会社 トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム
CN106791899A (zh) * 2016-12-13 2017-05-31 飞狐信息技术（天津）有限公司 直播中减少观众端画面卡顿的方法及装置以及客户端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116366780A (zh) * 2023-04-10 2023-06-30 小米汽车科技有限公司 用于帧同步的帧序号确定方法、装置及车辆
CN116366780B (zh) * 2023-04-10 2024-04-02 小米汽车科技有限公司 用于帧同步的帧序号确定方法、装置及车辆

Also Published As

Publication number Publication date
US12041371B2 (en) 2024-07-16
JP7208530B2 (ja) 2023-01-19
JP2020198509A (ja) 2020-12-10
US20220210295A1 (en) 2022-06-30
WO2020241308A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
CN113906734A (zh) 同步控制装置、同步控制方法以及同步控制程序
CN101536014B (zh) 用于多媒体捕获的嵌入式装置
CN113892274B (zh) 同步控制装置、同步控制方法以及同步控制程序
EP2866451A1 (en) Method and apparatus for IP video signal synchronization
KR101821145B1 (ko) 영상 라이브 스트리밍 시스템
WO2018015806A1 (en) System and method providing object-oriented zoom in multimedia messaging
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
CN112866733A (zh) 多直播设备的云导播同步系统及方法
CN110958466A (zh) 一种基于rtmp传输的sdi信号同步回传方法
JP2020178237A (ja) 映像処理装置、映像処理方法及び映像処理プログラム
WO2018224839A2 (en) Methods and systems for generating a reaction video
WO2007110822A1 (en) Method and apparatus for synchronising recording of multiple cameras
JP4713336B2 (ja) 情報同期システム、情報送信装置、情報受信装置、情報同期プログラム、情報送信プログラム、及び情報受信プログラム
JP5367771B2 (ja) 映像伝送システム
KR102094848B1 (ko) (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
AU2019204751B2 (en) Embedded appliance for multimedia capture
JP2019103087A (ja) 映像配信装置、制御方法及びプログラム
JP5579657B2 (ja) 動画フレーム同期システム
AU2013254937A1 (en) Embedded Appliance for Multimedia Capture
CA2914803A1 (en) Embedded appliance for multimedia capture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40061200

Country of ref document: HK