JP2018207152A

JP2018207152A - 同期制御装置及び同期制御方法

Info

Publication number: JP2018207152A
Application number: JP2017106587A
Authority: JP
Inventors: 小野　正人; Masato Ono; 正人小野; 功次難波; Koji Nanba; 佐藤　孝子; Takako Sato; 孝子佐藤; 喜秀外村; Yoshihide Tonomura; 山口　徹也; Tetsuya Yamaguchi; 徹也山口; 知之兼清; Tomoyuki Kanekiyo
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-05-30
Filing date: 2017-05-30
Publication date: 2018-12-27
Anticipated expiration: 2037-05-30
Also published as: JP6606526B2

Abstract

【課題】複数の撮像系機器で撮影され、ＭＭＴ化される映像間で同期を取る。
【解決手段】テスト信号再生部１１がテスト信号の特徴点の発出時刻を記録し、テスト信号検出部１２がＭＭＴ化された映像からテスト信号の特徴点を検出し、特徴点を検出したフレームのタイムスタンプを検出時刻として記録し、遅延量算出部１３が撮像系機器５Ａ〜５Ｃのそれぞれについて、検出時刻と発出時刻との差分を取って遅延量を算出し、同期制御部１４が全ての撮像系機器５Ａ〜５Ｃの遅延量に基づき、ＭＭＴ送信器６Ａ〜６Ｃのタイムスタンプのオフセット値を最も大きい遅延量に合わせて補正する。
【選択図】図１

Description

本発明は、映像を処理する技術に関し、特に映像間のズレを抑止する技術に関する。

新しいメディア伝送技術であるＭＭＴ（ＭＰＥＧＭｅｄｉａＴｒａｎｓｐｏｒｔ）が国際標準化されている（非特許文献１）。

ＭＭＴでは、メディアの提示時刻をＵＴＣ（ＣｏｏｒｄｉｎａｔｅｄＵｎｉｖｅｒｓａｌＴｉｍｅ）で指定できる。そのため、映像と音声などのコンテンツが、放送と通信のように別々の伝送経路で配信された場合でも、端末側でコンテンツを同期して再生することが可能である。また、複数の端末間でコンテンツを同期して再生することが可能である。

ＡＲＩＢＳＴＡＮＤＡＲＤ、「デジタル放送におけるＭＭＴによるメディアトランスポート方式」、ＡＲＩＢＳＴＤ−Ｂ６０１．４版、一般社団法人電波産業会、平成２７年９月３０日

上記のように、ＭＭＴを用いることで、伝送区間におけるコンテンツの同期は担保される。しかしながら、同一の被写体を複数の撮像系機器で撮影した場合に、撮像系機器における撮影処理の遅延や撮影後の映像処理などにより、ＭＭＴ化した映像に付与されるタイムスタンプにズレが発生するという問題があった。撮影段階で映像間のタイムスタンプにズレが発生する環境においては、伝送区間や提示系デバイス間の同期を担保したとしても、映像の再生されるタイミングがずれることにより、同期した再生が行えないことにつながる。

本発明は、上記に鑑みてなされたものであり、複数の撮像系機器で撮影され、ＭＭＴ化される映像間で同期を取ることを目的とする。

第１の本発明に係る同期制御装置は、被写体を撮影してタイムスタンプの付与された映像を出力する複数の撮像系機器がそれぞれ出力する前記映像間の同期を取る同期制御装置であって、視覚的に変化するテスト信号の特徴点の発出時刻を記録するテスト信号再生手段と、前記複数の撮像系機器の出力する前記テスト信号を撮影した映像のそれぞれから前記テスト信号の特徴点を検出し、前記テスト信号の特徴点を検出したフレームのタイムスタンプを前記複数の撮像系機器それぞれの検出時刻として記録するテスト信号検出手段と、前記複数の撮像系機器のそれぞれについて、前記検出時刻と前記発出時刻との差分を取って遅延量を算出する遅延量算出手段と、前記複数の撮像系機器の出力する映像が同期するように、最も大きい前記遅延量に合わせて前記複数の撮像系機器に前記タイムスタンプを補正させる同期制御手段と、を有することを特徴とする。

第２の本発明に係る同期制御方法は、被写体を撮影してタイムスタンプの付与された映像を出力する複数の撮像系機器がそれぞれ出力する前記映像間の同期を取る同期制御方法であって、視覚的に変化するテスト信号の特徴点の発出時刻を記録するステップと、前記複数の撮像系機器の出力する前記テスト信号を撮影した映像のそれぞれから前記テスト信号の特徴点を検出するステップと、前記テスト信号の特徴点を検出したフレームのタイムスタンプを前記複数の撮像系機器それぞれの検出時刻として記録するステップと、前記複数の撮像系機器のそれぞれについて、前記検出時刻と前記発出時刻との差分を取って遅延量を算出するステップと、前記複数の撮像系機器の出力する映像が同期するように、最も大きい前記遅延量に合わせて前記複数の撮像系機器に前記タイムスタンプを補正させるステップと、を有することを特徴とする。

本発明によれば、複数の撮像系機器で撮影され、ＭＭＴ化される映像間で同期を取ることができる。

本実施形態の撮像系同期制御装置の構成を示す機能ブロック図である。撮像系機器の遅延量に基づいてＭＭＴ送信器のオフセット値を補正する様子を示す図である。撮像系同期制御装置の処理の流れを示すフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施形態の撮像系同期制御装置の構成を示す機能ブロック図である。図１には、テスト信号を表示する提示装置２、被写体を撮像する撮像系機器５Ａ〜５Ｃ、及び映像をエンコードし、ＭＭＴＰ（ＭＰＥＧＭｅｄｉａＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットに変換して送出するＭＭＴ送信器６Ａ〜６Ｃも図示している。

図１に示す撮像系同期制御装置１は、テスト信号再生部１１、テスト信号検出部１２、遅延量算出部１３、及び同期制御部１４を備える。撮像系同期制御装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは撮像系同期制御装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

テスト信号再生部１１は、テスト信号を提示装置２に表示させて、テスト信号の特徴点の発出時刻を記録する。テスト信号は、視覚的に変化する特徴点が明確であればよい。例えば、白画像から黒画像に一瞬で表示を反転する映像、時刻情報を表示した映像などが考えられる。提示装置２は、撮像系同期制御装置１に接続可能なディスプレイ等の表示機器であってもよいし、撮像系同期制御装置１の備える表示装置であってもよい。

撮像系同期制御装置１が撮像系機器５Ａ〜５ＣとＭＭＴ送信器６Ａ〜６Ｃの各系統間の同期を取る際、複数の撮像系機器５Ａ〜５Ｃは、提示装置２に表示されるテスト信号を撮影し、複数の撮像系機器５Ａ〜５Ｃのそれぞれに接続されたＭＭＴ送信器６Ａ〜６Ｃは、テスト信号を撮影した映像をＭＭＴ化する。ＭＭＴ送信器６Ａ〜６Ｃのそれぞれは、ＭＭＴ化した映像にＵＴＣで指定したタイムスタンプを付与する。

テスト信号検出部１２は、ＭＭＴ化された映像からテスト信号の特徴点を検出し、特徴点を検出したフレームのタイムスタンプを検出時刻として記録する。

遅延量算出部１３は、撮像系機器５Ａ〜５Ｃのそれぞれについて、検出時刻と発出時刻との差分を取って遅延量を算出する。

同期制御部１４は、全ての撮像系機器５Ａ〜５Ｃの遅延量に基づき、ＭＭＴ送信器６Ａ〜６Ｃのタイムスタンプのオフセット値を最も大きい遅延量に合わせて補正する。

図２は、撮像系機器５Ａ〜５Ｃの遅延量に基づいてＭＭＴ送信器６Ａ〜６Ｃのオフセット値を補正する様子を示す図である。図２では、撮像系機器５Ａ〜５ＣとＭＭＴ送信器６Ａ〜６Ｃの左側に提示装置２の表示するテスト信号を示し、右側に各系統でＭＭＴ化された補正前の映像と補正後の映像を示す。

提示装置２は、時刻Ｔに白画像から黒画像に表示を変更する。各撮像系機器５Ａ〜５Ｃは、時刻Ｔよりも前から提示装置２の表示する映像を撮影し、ＭＭＴ送信器６Ａ〜６Ｃは、撮影された映像にタイムスタンプを付与し、ＭＭＴ化して送出する。

各撮像系機器５Ａ〜５Ｃが撮影した映像を出力するタイミングがずれると、同じ瞬間を撮影した映像であっても、ＭＭＴ送信器６Ａ〜６Ｃのそれぞれが付与するタイムスタンプが異なってしまう。図２の例では、撮像系機器５ＡとＭＭＴ送信器６Ａの系統でＭＭＴ化された映像では、特徴点のフレームにはテスト信号の特徴点が変化した時刻Ｔとほぼ同じ時刻のタイムスタンプが付与されている。撮像系機器５ＣとＭＭＴ送信器６Ｃの系統でＭＭＴ化された映像は遅延量が最も大きく、特徴点のフレームには時刻Ｔｃのタイムスタンプが付与されている。

本実施形態では、撮像系機器５Ａ〜５Ｃで撮影された映像の同期をとるために、各系統において特徴点のフレームのタイムスタンプが時刻Ｔｃとなるように、ＭＭＴ送信器６Ａ，６Ｂのタイムスタンプのオフセット値を補正する。遅延量が最も大きかったＭＭＴ送信器６Ｃのオフセット値は補正しない。例えば、ＭＭＴ送信器６Ａの出力する映像の特徴点のフレームのタイムスタンプが時刻Ｔａであった場合、特徴点のフレームのタイムスタンプが時刻Ｔｃとなるように、ＭＭＴ送信器６Ａのタイムスタンプのオフセット値にＴｃ−Ｔａを加算する。同様に、ＭＭＴ送信器６Ｂの出力する映像の特徴点のフレームのタイムスタンプが時刻Ｔｂであった場合、ＭＭＴ送信器６Ｂのタイムスタンプのオフセット値にＴｃ−Ｔｂを加算する。

次に、本実施形態の撮像系同期制御装置１の処理の流れについて説明する。

図３は、本実施形態の撮像系同期制御装置１の処理の流れを示すフローチャートである。

提示装置２がテスト信号を再生し、テスト信号再生部１１は、特徴点の発出時刻を記録する（ステップＳ１１）。

ＭＭＴ送信器６Ａは、撮像系機器５Ａの撮影したテスト信号の映像をＭＭＴ化して出力する。

テスト信号検出部１２は、ＭＭＴ送信器６Ａの出力したＭＭＴ化された映像をデコードし、デコードした映像から特徴点を検出して検出時刻を記録する（ステップＳ１２）。

遅延量算出部１３は、検出時刻と発出時刻の差分から撮像系機器５Ａの系統の遅延量を算出する（ステップＳ１３）。

全ての系統について遅延量を算出していない場合は（ステップＳ１４のＮＯ）、ステップＳ１１に戻り、次の撮像系機器５Ｂの系統について処理する。なお、ステップＳ１１〜Ｓ１３までの処理を全ての系統について同時に行い、各系統の遅延量を算出してもよい。

全ての系統について遅延量を算出した場合は（ステップＳ１４のＹＥＳ）、最も遅延量の大きい系統に合わせて、各ＭＭＴ送信器６Ａ〜６Ｃのオフセット値を補正する（ステップＳ１５）。

以上説明したように、本実施の形態によれば、テスト信号再生部１１がテスト信号の特徴点の発出時刻を記録し、テスト信号検出部１２がＭＭＴ化された映像からテスト信号の特徴点を検出し、特徴点を検出したフレームのタイムスタンプを検出時刻として記録し、遅延量算出部１３が撮像系機器５Ａ〜５Ｃのそれぞれについて、検出時刻と発出時刻との差分を取って遅延量を算出し、同期制御部１４が全ての撮像系機器５Ａ〜５Ｃの遅延量に基づき、ＭＭＴ送信器６Ａ〜６Ｃのタイムスタンプのオフセット値を最も大きい遅延量に合わせて補正することにより、同一の被写体を撮影する撮像系機器５Ａ〜５Ｃの撮影した映像間でのズレを抑制できる。

１…撮像系同期制御装置
１１…テスト信号再生部
１２…テスト信号検出部
１３…遅延量算出部
１４…同期制御部
２…提示装置
５Ａ〜５Ｃ…撮像系機器
６Ａ〜６Ｃ…ＭＭＴ送信器

Claims

被写体を撮影してタイムスタンプの付与された映像を出力する複数の撮像系機器がそれぞれ出力する前記映像間の同期を取る同期制御装置であって、
視覚的に変化するテスト信号の特徴点の発出時刻を記録するテスト信号再生手段と、
前記複数の撮像系機器の出力する前記テスト信号を撮影した映像のそれぞれから前記テスト信号の特徴点を検出し、前記テスト信号の特徴点を検出したフレームのタイムスタンプを前記複数の撮像系機器それぞれの検出時刻として記録するテスト信号検出手段と、
前記複数の撮像系機器のそれぞれについて、前記検出時刻と前記発出時刻との差分を取って遅延量を算出する遅延量算出手段と、
前記複数の撮像系機器の出力する映像が同期するように、最も大きい前記遅延量に合わせて前記複数の撮像系機器に前記タイムスタンプを補正させる同期制御手段と、
を有することを特徴とする同期制御装置。
前記テスト信号再生手段が前記テスト信号を出力することを特徴とする請求項１に記載の同期制御装置。
被写体を撮影してタイムスタンプの付与された映像を出力する複数の撮像系機器がそれぞれ出力する前記映像間の同期を取る同期制御方法であって、
視覚的に変化するテスト信号の特徴点の発出時刻を記録するステップと、
前記複数の撮像系機器の出力する前記テスト信号を撮影した映像のそれぞれから前記テスト信号の特徴点を検出するステップと、
前記テスト信号の特徴点を検出したフレームのタイムスタンプを前記複数の撮像系機器それぞれの検出時刻として記録するステップと、
前記複数の撮像系機器のそれぞれについて、前記検出時刻と前記発出時刻との差分を取って遅延量を算出するステップと、
前記複数の撮像系機器の出力する映像が同期するように、最も大きい前記遅延量に合わせて前記複数の撮像系機器に前記タイムスタンプを補正させるステップと、
を有することを特徴とする同期制御方法。