JP2020198509A - 同期制御装置、同期制御方法及び同期制御プログラム - Google Patents
同期制御装置、同期制御方法及び同期制御プログラム Download PDFInfo
- Publication number
- JP2020198509A JP2020198509A JP2019102905A JP2019102905A JP2020198509A JP 2020198509 A JP2020198509 A JP 2020198509A JP 2019102905 A JP2019102905 A JP 2019102905A JP 2019102905 A JP2019102905 A JP 2019102905A JP 2020198509 A JP2020198509 A JP 2020198509A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- data
- time
- video
- frame data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/64322—IP
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
最初に、本実施形態に係る遠隔映像監視システムについて説明する。
合成処理装置10の機能は、上述した通りであるが、本実施形態では、複数の撮像系機器2からそれぞれ受信する複数の映像・音声データを完全に同期制御することは難しいという課題を解決するため、合成処理装置10に同期制御部(同期制御装置)を更に備える。
次に、複数のカメラ映像を同期制御する同期制御方法について説明する。当該同期制御方法では、カメラ映像に含まれる映像・音声データのうち、映像データを例に説明する。音声データ、又は、映像及び音声データの場合でも、当該同期制御方法を適用できる。図3は、映像データの同期制御処理フローを示す図である。
最初に、カメラ映像受信部14は、複数の撮像系機器2から概ね同じタイミングでそれぞれ出力された複数の映像データをそれぞれ受信し、受信した複数の映像データを同期制御部15にそれぞれ送出する。その後、同期制御部15は、複数の映像データについて、各映像データに含まれる各フレームデータに対して後述するステップS2〜ステップS7を実行する。
まず、フレーム取得部151は、各映像データから各フレームデータをそれぞれ取得し、取得した各フレームデータの各取得時刻を基にしたフレームタイムスタンプを各フレームデータにそれぞれ付与する。
次に、フレーム整形部152は、ステップS2で付与されたフレームタイムスタンプの値を基に、映像データのフレームレートに従い、複数の映像データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与する。
例えば、フレームレートが60fpsの映像の場合、フレーム時間間隔は約16.66msecとなるので、フレーム整形部152は、まず、上記所定の基準時刻から起算した現在時刻(「2019/4/1/12:00.000」)以降におけるフレーム時間間隔毎の時刻を下記に示すように算出する。但し、毎秒ちょうどは、「.000」とする。尚、下記時刻の例は、小数点3桁で四捨五入した値である。
2019/4/1/12:00.017
2019/4/1/12:00.033
2019/4/1/12:00.050
2019/4/1/12:00.067
・・・
そして、3つのカメラからの映像データの各到着時刻が下記に示す時刻から始まった場合、
第1カメラ(先頭フレームデータ) 2019/4/1/12:00.052
第2カメラ(先頭フレームデータ) 2019/4/1/12:00.055
第3カメラ(先頭フレームデータ) 2019/4/1/12:00.056
フレーム整形部152は、算出していた上記複数の「フレーム時間間隔毎の時刻」の中から当該各到着時刻に最も近い「2019/4/1/12:00.050」を選択し、選択した「2019/4/1/12:00.050」を3つ全ての映像データの先頭フレームデータにそれぞれ付与する。
第2フレームデータ 2019/4/1/12:00.050+00:00.017×1
第3フレームデータ 2019/4/1/12:00.050+00:00.017×2
・・・
第nフレームデータ 2019/4/1/12:00.050+00:00.017×(n-1)
付与例1では、先頭以外のフレームデータに対しては、フレーム時間間隔毎の時刻を付与する方法を説明した。一方、フレームデータに欠損又は余剰及び重複がある場合、付与例1のように先頭以外のフレームデータに対してフレーム時間間隔毎の時刻を一律付与してしまうと、複数の映像データ間で時間的に全く異なるフレームデータに同じフレームタイムスタンプが付与される可能性がある。
次に、欠損フレーム検出部153は、各映像データに係るフレームデータに欠損があるか否かを判定する。例えば、欠損フレーム検出部153は、ステップS3で付与された新たなフレームタイムスタンプの値を参照し、フレーム時間間隔で刻んだ時刻に対応するフレームタイムスタンプに一部漏れがある場合、フレームデータに欠損があると判定する。フレームデータに欠損がある場合、ステップS5へ進み、フレームデータに欠損がない場合、ステップS6へ進む。
フレームデータに欠損がある場合、欠損フレーム検出部153は、図5に示すように、欠損したフレームデータの次のフレームデータを当該欠損したフレームデータとして複製して挿入する。つまり、欠損フレーム検出部153は、フレームの欠損を検知した時点で欠損フレームの次フレームを複製して追加入力するリピート処理を実行する。その後、ステップS6へ進む。
次に、余剰フレーム検出部154は、フレームデータに重複又は余剰があるか否かを判定する。例えば、余剰フレーム検出部154は、ステップS3で付与されたフレームタイムスタンプの値を参照し、複数のフレームデータに同じフレームタイムスタンプが付与されている場合、フレームデータに重複又は余剰があると判定する。フレームデータに重複又は余剰がある場合、ステップS7へ進み、フレームデータに重複又は余剰がない場合、処理を終了する。
フレームデータに重複又は余剰がある場合、余剰フレーム検出部154は、図6に示すように、重複又は余剰であるフレームデータを削除する。つまり、余剰フレーム検出部154は、フレームの重複又は余剰を検知した時点で重複又は余剰フレームを削除するスキップ処理を実行する。その後、処理を終了する。
以上より、本実施形態によれば、複数の撮像系機器2から概ね同じタイミングでそれぞれ送信される複数の映像・音声データを同期する同期制御部15において、映像・音声データ毎に、映像・音声データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを複数のフレームデータにそれぞれ付与するフレーム取得部151と、フレームタイムスタンプの値を基に、複数の映像・音声データ間で時間的に近い複数のフレームデータが同時刻となり、複数のフレームデータ間の時間間隔が等間隔となるように、複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部152と、を備えるので、遠隔映像監視システムにおいて複数の撮像系機器からの複数の映像・音声データをより確実に同期制御できる。
2…撮像系機器
3…表示系機器
4…IPネットワーク
10…合成処理装置
11…合成処理部
12…エンコード処理部
13…オブジェクト検出・トラッキング処理部
14…カメラ映像受信部
15…同期制御部
151…フレーム取得部
152…フレーム整形部
153…欠損フレーム検出部
154…余剰フレーム検出部
20…オブジェクト情報統合装置
30…デコード装置
40…統合オブジェクト情報受信装置
A…拠点側の遠隔映像監視装置
B…監視側の遠隔映像監視装置
Claims (6)
- 複数の撮像系機器から送信される複数のデータを同期する同期制御装置において、
前記データは、映像データ、音声データ、又は、映像及び音声データであり、
前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するフレーム取得部と、
前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するフレーム整形部と、
を備えることを特徴とする同期制御装置。 - 前記フレーム整形部は、
所定の基準時刻から起算して前記データのフレーム時間間隔で刻んだ時刻を前記新たなフレームタイムスタンプとすることを特徴とする請求項1に記載の同期制御装置。 - 前記フレームデータの欠損を検出した場合、前記欠損したフレームデータの次のフレームデータを前記欠損したフレームデータとして複製して挿入する欠損フレーム検出部
を更に備えることを特徴とする請求項1に記載の同期制御装置。 - 前記フレームデータの重複又は余剰を検出した場合、前記重複又は余剰であるフレームデータを削除する余剰フレーム検出部
を更に備えることを特徴とする請求項1に記載の同期制御装置。 - 複数の撮像系機器から送信される複数のデータを同期する同期制御装置で行う同期制御方法において、
前記データは、映像データ、音声データ、又は、映像及び音声データであり、
前記データ毎に、前記データから複数のフレームデータを取得し、取得時刻を基にしたフレームタイムスタンプを前記複数のフレームデータにそれぞれ付与するステップと、
前記フレームタイムスタンプの値を基に、前記複数のデータ間で時間的に近い複数のフレームデータが同時刻となり、前記複数のフレームデータ間の時間間隔が等間隔となるように、前記複数のフレームデータに新たなフレームタイムスタンプを付与するステップと、
を行うことを特徴とする同期制御方法。 - 請求項5に記載の同期制御方法をコンピュータに実行させることを特徴とする同期制御プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019102905A JP7208530B2 (ja) | 2019-05-31 | 2019-05-31 | 同期制御装置、同期制御方法及び同期制御プログラム |
CN202080040390.9A CN113906734A (zh) | 2019-05-31 | 2020-05-15 | 同步控制装置、同步控制方法以及同步控制程序 |
PCT/JP2020/019464 WO2020241308A1 (ja) | 2019-05-31 | 2020-05-15 | 同期制御装置、同期制御方法及び同期制御プログラム |
US17/611,340 US12041371B2 (en) | 2019-05-31 | 2020-05-15 | Synchronous control device, synchronous control method, and synchronous control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019102905A JP7208530B2 (ja) | 2019-05-31 | 2019-05-31 | 同期制御装置、同期制御方法及び同期制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020198509A true JP2020198509A (ja) | 2020-12-10 |
JP7208530B2 JP7208530B2 (ja) | 2023-01-19 |
Family
ID=73553406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019102905A Active JP7208530B2 (ja) | 2019-05-31 | 2019-05-31 | 同期制御装置、同期制御方法及び同期制御プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US12041371B2 (ja) |
JP (1) | JP7208530B2 (ja) |
CN (1) | CN113906734A (ja) |
WO (1) | WO2020241308A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022153385A1 (ja) * | 2021-01-13 | 2022-07-21 | 日本電信電話株式会社 | 映像処理装置、映像処理方法、および、映像処理プログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116366780B (zh) * | 2023-04-10 | 2024-04-02 | 小米汽车科技有限公司 | 用于帧同步的帧序号确定方法、装置及车辆 |
CN117119223B (zh) * | 2023-10-23 | 2023-12-26 | 天津华来科技股份有限公司 | 基于多通道传输的视频流播放控制方法及系统 |
CN117528262B (zh) * | 2023-12-29 | 2024-04-05 | 江西赛新医疗科技有限公司 | 一种医疗设备数据传输的控制方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017212515A (ja) * | 2016-05-24 | 2017-11-30 | 日本電信電話株式会社 | トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム |
WO2018088061A1 (ja) * | 2016-11-08 | 2018-05-17 | ソニー株式会社 | 画像転送装置、画像転送方法、プログラム、動画像生成システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102510494B (zh) * | 2011-10-09 | 2014-02-05 | 杭州华三通信技术有限公司 | 对i帧进行同步的方法及设备 |
US9280545B2 (en) * | 2011-11-09 | 2016-03-08 | Microsoft Technology Licensing, Llc | Generating and updating event-based playback experiences |
JP5940004B2 (ja) * | 2013-03-04 | 2016-06-29 | 株式会社ドッドウエル ビー・エム・エス | カメラ監視システム及びカメラ監視方法 |
US9912929B2 (en) * | 2013-03-21 | 2018-03-06 | Mediatek Inc. | Video frame processing method |
CN103414957A (zh) * | 2013-07-30 | 2013-11-27 | 广东工业大学 | 一种音视频数据同步的方法和装置 |
CN103702013B (zh) * | 2013-11-28 | 2017-02-01 | 北京航空航天大学 | 一种用于多路实时视频的帧同步方法 |
WO2016014591A1 (en) * | 2014-07-21 | 2016-01-28 | Avigilon Corporation | Timeline synchronization control method for multiple display views |
WO2016068768A1 (en) * | 2014-10-31 | 2016-05-06 | Telefonaktiebolaget L M Ericsson (Publ) | Video stream synchronization |
WO2016139808A1 (ja) * | 2015-03-05 | 2016-09-09 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びデータ処理プログラム |
JP6820527B2 (ja) * | 2015-06-25 | 2021-01-27 | パナソニックIpマネジメント株式会社 | 映像同期装置及び映像同期方法 |
CN105049917B (zh) * | 2015-07-06 | 2018-12-07 | 深圳Tcl数字技术有限公司 | 录制音视频同步时间戳的方法和装置 |
CN105430537B (zh) * | 2015-11-27 | 2018-04-17 | 刘军 | 对多路数据进行合成的方法、服务器及音乐教学系统 |
US10063613B2 (en) * | 2016-11-15 | 2018-08-28 | Genvid Technologies, Inc. | Systems and methods for utilizing client-side synchronization of video and overlay |
CN106791899A (zh) * | 2016-12-13 | 2017-05-31 | 飞狐信息技术(天津)有限公司 | 直播中减少观众端画面卡顿的方法及装置以及客户端 |
US10271074B2 (en) * | 2016-12-30 | 2019-04-23 | Facebook, Inc. | Live to video on demand normalization |
-
2019
- 2019-05-31 JP JP2019102905A patent/JP7208530B2/ja active Active
-
2020
- 2020-05-15 CN CN202080040390.9A patent/CN113906734A/zh active Pending
- 2020-05-15 US US17/611,340 patent/US12041371B2/en active Active
- 2020-05-15 WO PCT/JP2020/019464 patent/WO2020241308A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017212515A (ja) * | 2016-05-24 | 2017-11-30 | 日本電信電話株式会社 | トランスコード装置、映像配信システム、トランスコード方法、映像配信方法及びトランスコードプログラム |
WO2018088061A1 (ja) * | 2016-11-08 | 2018-05-17 | ソニー株式会社 | 画像転送装置、画像転送方法、プログラム、動画像生成システム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022153385A1 (ja) * | 2021-01-13 | 2022-07-21 | 日本電信電話株式会社 | 映像処理装置、映像処理方法、および、映像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7208530B2 (ja) | 2023-01-19 |
US20220210295A1 (en) | 2022-06-30 |
WO2020241308A1 (ja) | 2020-12-03 |
CN113906734A (zh) | 2022-01-07 |
US12041371B2 (en) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020241308A1 (ja) | 同期制御装置、同期制御方法及び同期制御プログラム | |
US9819973B2 (en) | Embedded appliance for multimedia capture | |
EP2866451A1 (en) | Method and apparatus for IP video signal synchronization | |
WO2020241309A1 (ja) | 同期制御装置、同期制御方法及び同期制御プログラム | |
US10382800B2 (en) | Video surveillance system and video surveillance method | |
WO2016117480A1 (ja) | テレコミュニケーションシステム | |
WO2022269723A1 (ja) | 同期制御を行う通信システム、その同期制御方法、受信サーバ及び同期制御プログラム | |
AU2019204751B2 (en) | Embedded appliance for multimedia capture | |
JP5367771B2 (ja) | 映像伝送システム | |
WO2024011293A1 (en) | Systems, methods, and storage media for transmitting multiple data streams over a communications network for remote inspection | |
AU2013254937B2 (en) | Embedded Appliance for Multimedia Capture | |
CA2914803C (en) | Embedded appliance for multimedia capture | |
JP2021069100A (ja) | 配信システム、プログラム、およびコンピュータ読み取り可能な記憶媒体 | |
AU2012202843A1 (en) | Embedded appliance for multimedia capture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7208530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |