JP2019050441A - Image display system, control method of the same, and program - Google Patents
Image display system, control method of the same, and program Download PDFInfo
- Publication number
- JP2019050441A JP2019050441A JP2017172288A JP2017172288A JP2019050441A JP 2019050441 A JP2019050441 A JP 2019050441A JP 2017172288 A JP2017172288 A JP 2017172288A JP 2017172288 A JP2017172288 A JP 2017172288A JP 2019050441 A JP2019050441 A JP 2019050441A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- video
- display device
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、映像表示システム及びその制御方法とプログラムに関する。 The present invention relates to a video display system, a control method thereof, and a program.
近年、4K解像度の映像コンテンツの制作需要が増大しており、これに伴って大容量の映像データを遅滞なく伝送するための技術が求められている。ここで、放送機器の映像伝送には、シリアル・デジタル・インタフェース(SDI)が用いられており、1本の同軸ケーブルで約3Gbpsまで伝送可能な3G−SDIが実用化されて広く普及している。しかし、4K/60Pで撮影された大容量の映像データを1本の同軸ケーブルで伝送しようとすると、3G−SDIの伝送レートでは不十分となってしまう。そこで、複数の同軸ケーブルを用いて伝送する方法が提案されている。例えば、4本の同軸ケーブルを用いることにより、4K/60Pで撮影された映像を伝送することが可能になる。しかし、この手法では、機材間の接続に従来の4倍の数のケーブルを使用するため、ケーブル等の重量が増加してしまうという問題や、より広い敷設スペースが必要になる等の問題が生じる。 In recent years, the production demand for 4K resolution video content has been increasing, and along with this, there has been a demand for a technology for transmitting a large volume of video data without delay. Here, serial digital interface (SDI) is used for video transmission of broadcasting equipment, and 3G-SDI which can transmit up to about 3 Gbps with one coaxial cable is put to practical use and widely used. . However, if it is attempted to transmit large-capacity video data captured at 4K / 60P using a single coaxial cable, the 3G-SDI transmission rate will be insufficient. Therefore, a method of transmitting using a plurality of coaxial cables has been proposed. For example, by using four coaxial cables, it is possible to transmit an image captured at 4K / 60P. However, in this method, since the cable between the conventional equipment is used four times as many cables as in the past, there arises a problem that the weight of the cable and the like increases and a problem that a larger installation space is required etc. .
そこで、映像信号をインターネットプロトコル(IP;Internet Protocol)に変換し、LAN等のネットワークを使ってリアルタイムに伝送する映像伝送システムが開発されている。映像信号をIP化する技術として、非特許文献1には、映像信号からIPパケットのペイロードデータを作成する方法が記載されている。具体的には、非特許文献1では、映像信号をライン単位で分割してIPパケットのペイロードデータとしている。
Therefore, a video transmission system has been developed which converts a video signal into an internet protocol (IP) and transmits it in real time using a network such as a LAN. As a technique for converting a video signal into an IP, Non-Patent
このようにIP化された映像伝送システムでは、SDIを用いた伝送システムよりも高速な伝送が可能であり、また、映像を分配する機器に汎用設備を利用することができるため、安価にシステムを構築することができる等のメリットがある。よって、映像伝送システムのIP化は、今後、急速に進行すると考えられる。そして、IP化させた映像伝送システムが普及した環境では、例えば、撮影中の映像信号にリアルタイムで切り出し等を施して表示装置へ送信する編集装置も、IP化された映像信号を送受信することが想定される。例えば、特許文献1には、ディスプレイサーバと複数のディスプレイユニットからなる表示システムで、ディスプレイサーバが画像を矩形タイル状に分割し、各ディスプレイユニットに送信する技術が記載されている。
In this way, in the video transmission system that has been IP-ized, transmission can be performed at a higher speed than the transmission system using SDI, and a general-purpose facility can be used for video distribution equipment, so the system can be inexpensively implemented. There are merits such as being able to construct. Therefore, IP conversion of video transmission systems is considered to progress rapidly in the future. Then, in an environment where a video transmission system in which IP is made widespread, for example, an editing apparatus that cuts out a video signal being captured in real time and transmits it to a display device may also transmit and receive an IP video signal. is assumed. For example,
上記従来技術では、IPパケットをデコードし、画像分割し、再びIPパケット化して各ディスプレイに出力することが可能である。しかし、デコード処理や画像分割等の編集を行った映像信号を編集装置に接続された各表示装置に送信する際に、映像信号のパケット化によって映像の表示に遅延が発生してしまうという問題がある。 In the above-mentioned prior art, it is possible to decode an IP packet, divide it into an image, convert it into IP packet again and output it to each display. However, when transmitting a video signal subjected to editing such as decoding processing or image division to each display device connected to the editing device, there is a problem that a delay occurs in the display of the video due to the packetization of the video signal. is there.
本発明は、映像の表示に遅延が生じるのを抑制することが可能な映像表示システムを提供することを目的とする。 An object of the present invention is to provide a video display system capable of suppressing a delay in video display.
本発明に係る映像表示システムは、元映像から複数の映像を切り出し、切り出された映像ごとに映像信号をIPパケット化してIPパケットを生成する生成手段と、前記生成手段で生成されたIPパケットを出力する出力手段と、前記出力手段から出力されたIPパケットを受信し、受信したIPパケットを再構成する編集手段と、前記編集手段から出力されるIPパケットに基づいて映像を表示する表示装置と、前記編集手段においてIPパケットを再構成する方法を前記生成手段に通知する通知手段と、を備え、前記生成手段は、生成するIPパケットに、前記編集手段におけるIPパケットの再構成に必要な情報を付与することを特徴とする。 A video display system according to the present invention cuts out a plurality of videos from an original video, and generates a IP packet by converting a video signal into an IP packet for each cut-out video, and an IP packet generated by the generation means. An output unit for outputting; an editing unit for receiving the IP packet output from the output unit; and reconstructing the received IP packet; and a display device for displaying an image based on the IP packet output from the editing unit The notification means for notifying the generation means of the method of reconfiguring the IP packet in the editing means, wherein the generation means includes information necessary for reconfiguring the IP packet in the editing means in the IP packet to be generated It is characterized by giving.
本発明によれば、映像の表示に遅延が生じるのを抑制することができる。 According to the present invention, it is possible to suppress the occurrence of a delay in the display of an image.
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
<第1実施形態>
図1は、本発明の第1実施形態に係る映像表示システム100のシステム構成図である。映像表示システム100は、撮像装置101、編集装置102、表示装置103,104,105,106,107を有する。撮像装置101と編集装置102とはLANケーブル108により通信可能に接続されている。編集装置102と表示装置103〜107とは、LANケーブル110、IPネットワーク109及びLANケーブル111,112,113,114,115を介して通信可能に接続されている。
First Embodiment
FIG. 1 is a system configuration diagram of a
撮像装置101は、所定の被写体を撮影して生成した映像信号をIP化し、LANケーブル108を経由して、IP化した映像信号を編集装置102へ送信する。なお、撮像装置101のより詳細な構成については、図2を参照して後述する。編集装置102は、LANケーブル108を介して撮像装置101から受信した映像信号を、編集装置102の操作者により指定された条件等の所定の条件に従って分割する。編集装置102は、分割した映像信号をLANケーブル110、IPネットワーク109及びLANケーブル111〜115を介して、表示装置103〜107へ送信する。なお、編集装置102のより詳細な構成については、図4を参照して後述する。
The
図2は、撮像装置101の構成を示すブロック図である。撮像装置101は、撮像部201、映像信号IPパケット化部202、通信制御部203、分割情報取得部204、ペイロードデータ分割方法決定部205、パケット接続情報生成部206及びパケットヘッダ生成部207を有する。撮像装置101において、各種のデータを処理する処理部は、専用プロセッサであってもよいし、共通のCPUがROM等に記憶されている所定のプログラムを実行することにより所定の機能が実現されるものであってもよい。なお、以下の説明では、映像信号IPパケット化部202を「IPパケット化部202」と記し、ペイロードデータ分割方法決定部205を「分割方法決定部205」と記し、パケット接続情報生成部206を「接続情報生成部206」と記すこととする。
FIG. 2 is a block diagram showing the configuration of the
撮像部201は、撮影レンズを通過した被写体の光学像を撮像素子によって映像信号に変換した後、A/D変換や画像調整処理等を行って映像信号を生成し、生成した映像信号をIPパケット化部202へ出力する。IPパケット化部202は、撮像部201から取得した映像信号をIPパケット化する。具体的には、IPパケット化部202は、映像信号をReal-time Transport Protocol(以下「RTP」という)で伝送するために、映像信号をデータパケットに変換する。
The
図3は、IPパケット化部202でIPパケット化された映像信号のデータパケットの構成を説明する図である。データパケットは、IPヘッダ301、UDP(User Datagram Protocol)ヘッダ302、RTPヘッダ303、RTPペイロード304で構成される。IPパケット化部202は、分割方法決定部205で決定された分割方法に従って映像信号をIPパケット化し、RTPペイロード304に格納する。
FIG. 3 is a view for explaining the configuration of data packets of a video signal that has been IP-packetized by the
通信制御部203は、IPパケット化部202でIPパケット化された映像信号を取得し、編集装置102へ伝送する。その際、映像信号はRTPで伝送され、伝送制御はRTP Control Protocolで行われる。また、通信制御部203は、分割情報取得部204の要求に応じて、表示装置103〜107で映像を表示する際の分割情報(詳細は後述する)を取得するための通信を行う。分割情報取得部204は、通信制御部203を介して取得した分割情報を分割方法決定部205へ出力する。分割方法決定部205は、分割情報取得部204から取得した分割情報に基づいて、撮像部201で生成された画像データの分割方法を決定する。接続情報生成部206は、分割方法決定部205で決定された分割方法に従ってパケット接続情報(詳細は後述する)を生成し、生成したパケット接続情報をパケットヘッダ生成部207へ出力する。
The
パケットヘッダ生成部207は、分割方法決定部205で決定された分割方法に従ってIPヘッダ301、UDPヘッダ302及びRTPヘッダ303を生成する。また、パケットヘッダ生成部207は、接続情報生成部206で生成されたパケット接続情報をRTPヘッダ303の拡張ヘッダに組み込む。IPパケット化部202は、パケットヘッダ生成部207で生成されたヘッダと撮像部201が出力する映像信号を合わせてIPパケット化する。
The packet
図4は、編集装置102の構成を示すブロック図である。編集装置102は、第1通信制御部401、分割情報送信部402、映像分割情報生成部403、IPヘッダ解析部404、IPヘッダ生成部405及び映像信号IPパケット再構成部406を備える。また、編集装置102は、第2通信制御部407、表示装置情報取得部408、表示部409及び入力部410を備える。編集装置102において、映像データ等の各種データを処理する各部は、専用プロセッサであってもよいし、共通のCPUがROM等に記憶されている所定のプログラムを実行することにより所定の機能が実現されるものであってもよい。なお、以下では、映像分割情報生成部403を「分割情報生成部403」と記し、映像信号IPパケット再構成部406を「IPパケット再構成部406」と記すこととする。
FIG. 4 is a block diagram showing the configuration of the
第1通信制御部401は、撮像装置101から出力されたIPパケットを受信する。また、第1通信制御部401は、分割情報送信部402の要求に応じて、表示装置103〜107のそれぞれで映像を表示する際の分割情報を撮像装置101へ出力するための通信を行う。分割情報送信部402は、分割情報生成部403から取得した映像分割情報を、第1通信制御部401を介して撮像装置101へ出力する。IPヘッダ解析部404は、第1通信制御部401が受信したIPパケットのヘッダを解析して、IPヘッダ生成部405へ出力する。IPヘッダ生成部405は、IPヘッダ解析部404から取得したヘッダ情報、表示装置情報取得部408から取得したIPアドレス等の情報及び分割情報生成部403から得た分割情報に基づいてIPヘッダを生成し、IPパケット再構成部406へ出力する。なお、IPヘッダ生成部405でのIPヘッダの生成方法については後述する。
The first
IPパケット再構成部406は、第1通信制御部401を介して、撮像装置101から出力された映像信号のIPパケットを取得する。そして、IPパケット再構成部406は、IPヘッダ生成部405で生成されたIPヘッダを用いて、撮像装置101から取得した映像信号のIPパケットを再構成し、第2通信制御部407へ出力する。なお、IPパケット再構成部406でのIPパケットの再構成については後述する。
The IP
第2通信制御部407は、IPパケット再構成部406で再構成されたIPパケットを表示装置103〜107へ出力する。また、第2通信制御部407は、表示装置情報取得部408の要求に応じて、表示装置103〜107の情報を取得するための通信を行う。表示装置情報取得部408は、第2通信制御部407を介して、編集装置102に接続されている表示装置の数や解像度等の情報等(表示装置情報)を受け取り、表示部409と分割情報生成部403へ出力する。表示部409は、表示装置情報取得部408から取得した表示装置情報を表示して、編集装置102の操作者に提示する。
The second
編集装置102の操作者は、表示部409に表示された表示装置情報に基づき、どの表示装置にどの分割映像を出力するか、どの表示装置に元映像(未分割映像)を出力するか等を決定することができる。編集装置102の操作者は、入力部410を操作して決定内容を入力することができる。入力部410は、例えば、マウスやキーボード、タッチパネル等であるが、これらに限定されるものではない。分割情報生成部403は、入力部410からの入力情報と表示装置情報取得部408から取得した表示装置情報に基づいて映像分割情報を生成し、生成した映像分割情報を分割情報送信部402とIPヘッダ生成部405へ出力する。なお、映像分割の詳細については後述する。
Based on the display device information displayed on the
図5は、表示装置103の構成を説明するブロック図である。なお、表示装置104〜107の構成は、表示装置103の構成に準ずる。表示装置103〜107は、通信制御部501、表示装置情報送信部502、映像信号IPパケット解除部503及び表示部504を有する。以下の説明では、映像信号IPパケット解除部503を「IPパケット解除部503」と記すこととする。
FIG. 5 is a block diagram for explaining the configuration of the
通信制御部501は、編集装置102から出力されたIPパケットを受信する。また、通信制御部501は、表示装置情報送信部502の要求に応じて表示装置103〜107の解像度やIPアドレス等の情報(表示装置情報)を編集装置102へ出力する。IPパケット解除部503は、通信制御部501を介して編集装置102から取得したIPパケットから映像信号データを取り出し、表示部504へ出力して表示させる。表示部504は、例えば、液晶パネル等であるが、その面積や解像度は表示装置103〜107のそれぞれで異なっていてもよい。
The
次に、撮像装置101で4K映像を撮影し、撮影した4K映像(元映像)と、4K映像を複数の2K映像に分割した映像とを表示装置103〜107に表示する処理について説明する。まず、映像表示システム100でのIPパケットの生成と再構成、パケット接続情報の第1の例について説明する。図6(a)は、撮像装置101によって撮影された4K映像601の模式図である。図6(b)は、4K映像601を4つの2K映像611,612,613,614に分割した状態を示す模式図である。換言すれば、4K映像601は元映像であり、4つの2K映像611〜614は元映像から重複しないように複数の映像を切り出した例である。
Next, processing for shooting a 4K video with the
表示装置103〜107のそれぞれの表示装置情報送信部502は、表示装置103〜106が2K映像を、表示装置107が4K映像を、それぞれ受信可能且つ表示可能であることを表示装置情報として通信制御部501を介して編集装置102へ送信する。編集装置102の表示装置情報取得部408は、第2通信制御部407を介して、表示装置103〜107の表示装置情報を受け取り、表示部409に表示する。一方、第1通信制御部401は、撮像装置101で撮影された映像の解像度等の情報を撮像装置101から受信して表示部409に表示する。これにより編集装置102の操作者は、表示部409に表示された表示装置情報と撮影映像の解像度情報に基づいて表示装置103〜107のそれぞれへの撮影映像への分割映像又は未分割映像の出力方法を決めて、入力部410から入力することが可能になる。
The display device
本実施形態では、編集装置102の操作者は、表示装置103,104,105,106のそれぞれに2K映像611,612,613,614を出力して表示し、表示装置107に未分割の4K映像601を出力して表示することを決定したものとする。この場合、編集装置102の操作者は、図6(b)に示した映像分割方法が入力部410を介して分割情報生成部403に入力する。
In the present embodiment, the operator of the
分割情報生成部403で生成された分割情報は、分割情報送信部402と第1通信制御部401を介して撮像装置101へ送信され、撮像装置101の通信制御部203と分割情報取得部204を介して分割方法決定部205に入力される。分割方法決定部205は、入力された分割情報に基づき、4K映像601を2K映像611〜614に分割してIPパケット化することを決定し、接続情報生成部206、パケットヘッダ生成部207及びIPパケット化部202へ通知する。IPパケット化部202は、2K映像611〜614のそれぞれの領域の映像信号データごとにNラインずつ、RTPペイロード304(図3参照)に格納し、パケット化する。すなわち、RTPペイロード304は、1つのデータパケットごとに2048ピクセル×Nライン分の映像信号データを格納する。なお、Nは1以上の整数である。ここで、映像信号データについて、N=2の場合を取り上げて、具体的に説明する。
The division information generated by the division
図7(a)は、図6(b)の2K映像611の映像信号データに対して1ピクセルごとに番号を振った例を示す図である。同様に、図7(b)は、図6(b)の2K映像612における映像信号データに対して1ピクセルごとに番号を振った例を示す図である。映像信号データ群701,711はそれぞれ、1つのデータパケットに格納する映像信号データのまとまりを示す。
FIG. 7A is a diagram showing an example in which the video signal data of the
図8(a)は、映像信号データ群701をIPパケット化する際に、そのIPパケットのRTPヘッダ303の拡張ヘッダに組み込むパケット接続情報801の例を示す図である。同様に、図8(b)は、映像信号データ群711をIPパケット化する際に、そのIPパケットのRTPヘッダ303の拡張ヘッダに組み込むパケット接続情報811の例である。パケット接続情報にある「シーケンス番号」は、RTPヘッダ303に含まれ、IPパケットを送信する度にインクリメントされる番号である。「領域情報」は、そのパケット接続情報が2K映像611〜614のどの領域の映像信号に関連する情報であるかを示す。「接続情報」の「接続データ番号」は、そのパケットのペイロードデータ内の何ピクセル目のデータであるかを明らかにする情報である。「接続前データ」は、分割前の4K映像601において「接続データ番号」の直前に配置されているデータを明らかにする情報である。「接続前データ」は、そのデータをパケット化した後の「シーケンス番号」と、「シーケンス番号」が付けられたパケットにおける接続データ番号を含む。「接続後データ」は、分割前の4K映像601において「接続データ番号」に続けて配置されているデータを明らかにする情報である。「接続後データ」は、そのデータをパケット化した後の「シーケンス番号」と、「シーケンス番号」が付けられたパケットにおける接続データ番号を含む。
FIG. 8A is a diagram showing an example of
なお、「接続前データ:なし」は、分割前の4K映像601において「接続データ番号」の直前に配置されるデータが、同じペイロードデータ内の「接続データ番号」の直前のデータであることを示す。また、「接続後データ:なし」は、分割前の4K映像601において「接続データ番号」に続けて配置するデータが、同じペイロードデータ内の「接続データ番号」の直後のデータであることを示す。
Note that “data before connection: none” means that the data arranged immediately before “connection data number” in
IPパケット化部202は、先ず、通信制御部203を介して映像信号データ群701とパケット接続情報801を含むIPパケットを編集装置102へ送信する。続いて、IPパケット化部202は、通信制御部203を介して映像信号データ群711とパケット接続情報811を含むIPパケットを編集装置102へ送信する。撮像装置101は、2K映像611,612の映像信号データを2ラインずつ交互に送信した後、同様にして、2K映像613,614の映像信号データを編集装置102に送信する。
First, the
編集装置102の第1通信制御部401は、撮像装置101から出力されたIPパケットを受信する。IPヘッダ解析部404は、第1通信制御部401が受信したIPパケットのヘッダに含まれるパケット接続情報を解析する。IPヘッダ生成部405は、IPヘッダ解析部404により解析された情報と表示装置情報取得部408から取得した表示装置情報に基づいてIPヘッダを生成する。IPパケット再構成部406は、第1通信制御部401から取得したIPパケットのヘッダを、IPヘッダ生成部405により生成されたIPヘッダに差し替えて、第2通信制御部407を介して表示装置103〜107へ送信する。
The first
具体的には、パケット接続情報801の領域情報を解析すると、2K映像611の映像信号データを含むIPパケットであることが分かる。2K映像611の映像信号データは表示装置103に表示される映像のデータである。そのため、編集装置102は、表示装置情報取得部408から得た情報に基づき、映像信号データ群701を含むIPパケットのヘッダ情報を表示装置103に送信するための情報に差し替えて、表示装置103へ送信する。つまり、編集装置102は、映像振動データを分割、再構成することなく、IPパケットのヘッダ情報を表示装置103に送信するための情報に差し替えるだけで、表示装置103に必要なIPパケットを送信することができる。
Specifically, when the area information of the
また、パケット接続情報811の領域情報を解析すると、2K映像612の映像信号データを含むIPパケットであることが分かる。表示装置情報取得部408から得た表示装置情報により、表示装置104には2K映像612を表示することが分かっている。よって、映像信号データ群711を含むIPパケットのヘッダ情報を表示装置104へ送信するための情報に差し替えるだけで、表示装置104に必要なIPパケットを表示装置104へ送信することができる。同様にして、編集装置102は、RTPペイロード304を変更することなくヘッダ情報を変更するだけで、2K映像611〜614のそれぞれの映像信号データをそれぞれ表示装置103〜106へ送信することができる。
Further, when the area information of the
一方、表示装置107へは4K映像601の映像信号データの送信が要求されている。したがって、編集装置102は、パケット接続情報に基づき、IPヘッダの再生成と映像信号データの組み換えを行う。具体的には、編集装置102は、先ず、パケット接続情報801の接続情報1を解析する。これにより、分割前の4K映像601では、シーケンス番号1のIPパケットの2048番目のデータ702の後に続く映像信号データが、シーケンス番号2のIPパケットの1番目のデータ712であることが分かる。また、パケット接続情報811の接続情報1を解析すると、分割前の4K映像601では、シーケンス番号2のIPパケットの1番目のデータ712の前にある映像信号データが、シーケンス番号1のIPパケットの2048番目のデータ702であることが分かる。
On the other hand, transmission of video signal data of
このようにしてパケット接続情報に含まれる各接続情報を解析することにより、2K映像に分割されて撮像装置101から編集装置102へ送信されてきた映像信号データが、分割前の4K映像においてどのように並んでいたかを知ることができる。そこで、IPパケット再構成部406は、接続情報に基づいて映像信号データを並び替え、新たなIPヘッダを付加し、第2通信制御部407を介して表示装置107に送信する。
In this way, by analyzing each connection information included in the packet connection information, the video signal data divided into 2K video and transmitted from the
例えば、シーケンス番号1の1番目のデータ703から2048番目のデータ702までのデータ群の次に、シーケンス番号2の1番目のデータ712から2048番目のデータ713までのデータ群が接続される。続いて、シーケンス番号1の2049番目のデータ704から4096番目のデータ705までのデータ群が接続される。次いで、シーケンス番号2の2049番目のデータ714から4096番目のデータ715までのデータ群が接続される。このようにして、水平方向に4096ピクセル、垂直方向に2ライン分のデータが1つのRTPペイロード304に格納され、IPヘッダが付加されて表示装置107へ送信される。
For example, the data group from the
表示装置103〜107は、それぞれの通信制御部501を介して、編集装置102から送信されてきたIPパケットを受信する。そして、表示装置103〜107のそれぞれのIPパケット解除部503は、それぞれの通信制御部501を介して編集装置102から取得したIPパケットから映像信号データを取り出して表示部504へ出力することで、映像を表示部504に表示させる。
The
以上の説明の通りに、本実施形態では、接続情報を付与して映像信号データを送信する。これにより、編集した異なる映像を複数の表示装置に別々に表示する場合に、映像編集時のデコード処理と再エンコード処理を行う必要がなく、よって、映像の表示に遅延が生じるのを抑制することができる。 As described above, in the present embodiment, connection information is added to transmit video signal data. As a result, when displaying different edited videos separately on a plurality of display devices, it is not necessary to perform decoding processing and re-encoding processing at the time of video editing, thereby suppressing delay in video display. Can.
<第2実施形態>
第2実施形態では、第1実施形態で説明した映像表示システム100での、IPパケットの生成と再構成、パケット接続情報の第2の例について説明する。なお、映像表示システム100の構成については、図1乃至図5を参照した説明に準ずるため、ここでの説明を省略する。
Second Embodiment
In the second embodiment, a second example of generation and reconfiguration of IP packets and packet connection information in the
図9は、撮像装置101で撮影した4K映像(図6の4K映像601と同じ4096ピクセル×2160ライン)を4つの2K映像901,902,903,904に分割した様子を示す図である。2K映像901,902には重複領域905が設けられており、2K映像901の領域から重複領域905を除いた領域を領域906としている。また、4K映像には、表示装置103〜107のどれにも表示しない領域907が設定されているものとする。
FIG. 9 is a diagram showing a 4K video (the same 4096 pixels × 2160 lines as the
先ず、表示装置103〜106のそれぞれの表示装置情報送信部502がそれぞれの通信制御部501を介して、表示装置103〜106のそれぞれが2K映像を受信し表示することが可能なことを表示装置情報として編集装置102に送信する。編集装置102の表示装置情報取得部408は、編集装置102に接続されている表示装置103〜106のそれぞれの表示装置情報を第2通信制御部407を介して受け取り、表示部409に表示する。また、編集装置102の第1通信制御部401は、撮像装置101からの撮影映像の解像度情報を表示部409に表示する。これにより、編集装置102の操作者は、表示部409に表示された表示装置情報と撮影映像の解像度情報に基づき、表示装置103〜106のそれぞれへの撮影映像への分割映像の出力方法を決定することができる。
ここでは、編集装置102の操作者は、表示装置103〜106のそれぞれに2K映像901〜904を出力することを決定し、入力部410を介して、図9に示した4K映像の分割方法を分割情報生成部403に入力したものとする。
First, a display device that the display device
Here, the operator of the
分割情報生成部403で生成された分割情報は、分割情報送信部402と第1通信制御部401を介して撮像装置101に送信され、撮像装置101の通信制御部203と分割情報取得部204を介して分割方法決定部205に入力される。分割方法決定部205は、入力された分割情報に基づいて4K映像を2K映像901〜904の各領域の通りに分割してIPパケット化することを決定し、接続情報生成部206、パケットヘッダ生成部207及びIPパケット化部202に通知する。IPパケット化部202は、2K映像901〜904のそれぞれの映像信号データごとにNラインずつ、図3を参照して説明したRTPペイロード304に格納し、パケット化する。つまり、1つのデータパケットごとに、RTPペイロード304はNライン分の映像信号データを格納する。
The division information generated by the division
Nは1以上の整数であり、ここで、N=2の場合について図10及び図11を参照して説明する。図10(a)は、2K映像901において2K映像902と重複していない領域906の映像信号データに対して1ピクセルごとに番号を振った例を示す図である。図10(b)は、2K映像902における映像信号データに対して1ピクセルごとに番号を振った例を示す図である。映像信号データ群1001,1011はそれぞれ、1つのデータパケットに格納される映像信号データのまとまりを示している。重複映像信号データ群1002は、2K映像901と2K映像902の重複領域905での映像信号データのまとまりを示している。
N is an integer greater than or equal to 1, and here, the case of N = 2 is demonstrated with reference to FIG.10 and FIG.11. FIG. 10A shows an example in which the video signal data of the
図11(a)は、映像信号データ群1001をIPパケット化する際に、そのIPパケットのRTPヘッダ303の拡張ヘッダに組み込むパケット接続情報1101の例を示す図である。同様に、図11(b)は、映像信号データ群1011をIPパケット化する際に、そのIPパケットのRTPヘッダ303の拡張ヘッダに組み込むパケット接続情報1111の例である。「シーケンス番号」は、RTPヘッダ303に含まれ、IPパケットを送信する度にインクリメントされる番号である。「領域情報」は、そのパケット接続情報が2K映像901〜904のどれに関連する情報であるかを表している。
FIG. 11A is a view showing an example of
パケット接続情報1101の「2K映像901の接続情報」は、その接続情報が、2K映像901を表示するための接続情報であることを示している。「2K映像901の接続情報」の「接続データ番号」は、その接続情報が、そのパケットのペイロードデータ内で何番目のデータであるかを明らかにする情報である。「接続前データ」は、分割前の4K映像において「接続データ番号」の前に配置されているデータを明らかにする情報であり、そのデータをパケット化した後の「シーケンス番号」と、その「シーケンス番号」が付されたパケット内での「接続データ番号」からなる。「接続後データ」は、分割前の4K映像において「接続データ番号」の次に配置されるデータを明らかにする情報であり、そのデータをパケット化した後の「シーケンス番号」と、その「シーケンス番号」が付されたパケット内での「接続データ番号」からなる。
“Connection information of
IPパケット化部202は、先ず、映像信号データ群1001とパケット接続情報1101を含むIPパケットを、通信制御部203を介して編集装置102に送信する。続いてIPパケット化部202は、映像信号データ群1011を含むIPパケットを、編集装置102に送信する。こうして、編集装置102へは、2K映像901内の領域906と2K映像902のそれぞれの映像信号データが2ラインずつ交互に送信された後、2K映像903,904の映像信号データが送信される。
First, the
編集装置102の第1通信制御部401は、撮像装置101から出力されたIPパケットを受信する。IPヘッダ解析部404は、第1通信制御部401が受信したIPパケットのヘッダに含まれるパケット接続情報を解析する。そして、IPヘッダ生成部405は、IPヘッダ解析部404により解析された情報と表示装置情報取得部408から取得した表示装置情報に基づいてIPヘッダを生成する。IPパケット再構成部406は、第1通信制御部401から取得したIPパケットのヘッダを、IPヘッダ生成部405により生成されたIPヘッダに付け替え、第2通信制御部407を介して表示装置103〜106へ送信する。
The first
具体的には、パケット接続情報1111の領域情報を解析すると、2K映像902の映像信号データを含むIPパケットであることが分かる。2K映像902の映像信号データは、表示装置104で表示する映像のデータである。そのため、編集装置102は、表示装置情報取得部408から取得した情報に基づき、映像信号データ群1011を含むIPパケットのヘッダ情報を表示装置104に送信するための情報に差し替えて、表示装置104に送信する。つまり、編集装置102は、映像信号データを分割して再構成することなく、IPパケットのヘッダ情報を表示装置104に送信するための情報に差し替えるだけで、表示装置104に必要なIPパケットを送信することができる。同様にして、編集装置102は、RTPペイロードを変更せずにヘッダ情報を変更するだけで、2K映像902,903,904の映像信号データをそれぞれ表示装置104,105,106へ送信することができる。
Specifically, when the area information of the
一方、表示装置103へは、2K映像901の映像信号データの送信が求められている。この場合、編集装置102は、パケット接続情報1101に基づいて、IPヘッダの再生成を行うと共に映像信号データの組み換えを行う。具体的には、編集装置102は、先ず、パケット接続情報1101における2K映像901の接続情報1を解析する。これにより、分割前の4K映像では、シーケンス番号1のIPパケットの2044番目のデータ1003(図10(a))の後に続く映像信号データが、シーケンス番号2のIPパケットの1番目のデータ1012(図10(b))であることが分かる。また、編集装置102は、パケット接続情報1101の2K映像901の接続情報2を解析する。これにより、分割前の4K映像では、シーケンス番号1のIPパケットの2045番目のデータ1004の前にある映像信号データが、シーケンス番号2のIPパケットの4番目のデータ1013であることが分かる。
On the other hand, transmission of video signal data of the
同様に、編集装置102は、パケット接続情報1101の2K映像901の接続情報3を解析する。これにより、分割前の4K映像では、シーケンス番号1のIPパケットの4088番目のデータ1005の後に続く映像信号データが、シーケンス番号2のIPパケットの2049番目のデータ1014であることが分かる。最後に、編集装置102は、パケット接続情報1101の2K映像901の接続情報4を解析する。その結果、2K映像901を構成するために必要なシーケンス番号1に接続する最後の映像信号データが、シーケンス番号2のIPパケットの2052番目のデータ1015であることが分かる。
Similarly, the
このようにしてパケット接続情報を解析することにより、複数の領域に分割されて送信されてきた映像信号データが分割前の映像においてどのように並んでいたかがわかる。そこで、IPパケット再構成部406は、パケット接続情報に基づいて映像信号データを並び替え、新たなIPヘッダを付加して、第2通信制御部407を介して表示装置107へ送信する。
By analyzing the packet connection information in this manner, it can be understood how the video signal data divided into a plurality of areas and transmitted are arranged in the video before division. Therefore, the IP
具体的には、シーケンス番号1の1番目のデータ1006から2044番目のデータ1003までのデータ群の後に、シーケンス番号2の1番目のデータ1012から4番目のデータ1013までのデータ群が接続される。続いて、シーケンス番号1の2045番目のデータ1004から4088番目のデータ1005までのデータ群が接続される。次いで、シーケンス番号2の2049番目のデータ1014から2052番目のデータ1015までのデータ群が接続される。そのようにして、水平2048ピクセル、垂直2ライン分の映像信号データが1つのRTPペイロードに格納され、IPヘッダが付加されて表示装置103へ送信される。
Specifically, after the data group of
表示装置103〜106は、それぞれの通信制御部501を介して、編集装置102から送信されてきたIPパケットを受信する。そして、表示装置103〜106のそれぞれのIPパケット解除部503は、それぞれの通信制御部501を介して編集装置102から取得したIPパケットから映像信号データを取り出して表示部504へ出力することで、映像が表示部504に表示される。
The
以上の説明の通り、本実施形態でも、接続情報を付与して映像信号データを送信する。これにより、複数の表示装置に分割した映像を表示する際に分割領域が重複している場合であっても、LANケーブル108の通信データ量を増やすことなく、映像の表示に遅延が生じるのを抑制することができる。
As described above, in the present embodiment as well, connection information is added to transmit video signal data. As a result, even when the divided areas overlap when displaying the divided video on a plurality of display devices, a delay occurs in the display of the video without increasing the communication data amount of the
<第3実施形態>
図12は、本発明の第3実施形態に係る映像表示システム1200のシステム構成図である。映像表示システム1200の構成要素のうち、第1実施形態で説明した映像表示システム100の構成要素と同じ構成要素については、同じ符号を付して、重複する説明を省略する。映像表示システム1200は、映像表示システム100の構成要素に、表示装置1201、ハブ1202(分配器)及びLANケーブル1203,1204を追加した構成となっている。撮像装置101は、LANケーブル1203を介してハブ1202と接続され、ハブ1202と表示装置1201とはLANケーブル1204で接続され、編集装置102はLANケーブル108を介してハブ1202と接続されている。なお、撮像装置101は、編集装置102と表示装置1201との接続情報を取得する不図示の取得手段を備える。また、撮像装置101は、取得手段が取得した接続情報を編集装置102が利用可能か否か、また、表示装置1201が接続情報を利用可能か否か、を判断する不図示の判断手段を備える。
Third Embodiment
FIG. 12 is a system configuration diagram of a
図13は、4K映像から2K映像1301,1302を切り出した例を示す模式図である。2K映像1301,1302は、4K映像から切り出す一部の映像の例である。2K映像1301,1302には重複領域1303が設けられており、2K映像1302の領域のうち重複領域1303を除いた領域が領域1304となっている。ここでは、表示装置1201に2K映像1301を表示すると共に、表示装置103に2K映像1302を表示する処理について説明する。
FIG. 13 is a schematic view showing an example in which
撮像装置101は、先ず、編集装置102と表示装置1201とが接続されている状態にあることを示す接続情報を取得する。そして、撮像装置101は、取得した接続情報を、編集装置102は利用可能であるが表示装置1201は利用不可能であると判断する。続いて、撮像装置101は、ハブ1202にIPパケットを送信する。ハブ1202は、表示装置1201と編集装置102に同じRTPペイロードのIPパケットを送信する。このとき、撮像装置101は、2K映像1301の映像信号データをRTPペイロードデータに格納し、表示装置1201と編集装置102のIPアドレスをIPヘッダ301に付加して、ハブ1202を介して表示装置1201と編集装置102へ送信する。そして撮像装置101は、領域1304の映像データをRTPペイロードデータに格納し、編集装置102のIPアドレスをIPヘッダ301に付加して、パケット接続情報と共にハブ1202を介して表示装置1201と編集装置102へ送信する。
First, the
表示装置1201は、ハブ1202を介して受信したIPパケットのIPヘッダ情報を解析し、2K映像1301を表示する。一方、編集装置102は、受信した2K映像1301の映像信号データ、領域1304の映像信号データ及びパケット接続情報に基づき、表示装置103で表示する2K映像1302の映像信号データのIPパケットを再構成する。そして、編集装置102は、再構成したIPパケットを表示装置103へ送信し、これにより表示装置103に2K映像1302が表示される。
The
以上の説明の通り、映像表示システム1200では、編集装置102を通じて映像を表示するようには接続されていない表示装置1201がある場合に、表示装置1201に表示する映像に応じた接続情報を付与して編集装置102へ映像信号データを送信する。これにより、映像編集時のデコード処理を行う必要がないため、映像の表示に遅延が生じるのを抑制することができる。
As described above, in the
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。例えば、第1実施形態及び第2実施形態では、編集装置102に1台の撮像装置101が接続され、5台の表示装置103〜107が接続された構成について説明したが、編集装置102に接続可能な撮像装置及び表示装置の台数はこれに限られるものではない。そして、編集装置102に接続可能な撮像装置及び表示装置の台数に応じて、各表示装置での表示に遅延が生じないように、編集装置102においてIPパケットを再構成するシステム構成を変更することができる。また、第1実施形態及び第2実施形態では、撮像装置101及び編集装置102を、撮像装置101と編集装置102の両方の機能を有する1台の装置に置換した構成としてもよい。
Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various embodiments within the scope of the present invention are also included in the present invention. included. For example, in the first embodiment and the second embodiment, a configuration in which one
本発明は、上述した実施形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
100 映像表示システム
101 撮像装置
102 編集装置
103〜107,1201 表示装置
202 IPパケット化部
203 通信制御部
206 接続情報生成部
406 IPパケット再構成部
DESCRIPTION OF
Claims (8)
前記生成手段で生成されたIPパケットを出力する出力手段と、
前記出力手段から出力されたIPパケットを受信し、受信したIPパケットを再構成する編集手段と、
前記編集手段から出力されるIPパケットに基づいて映像を表示する表示装置と、
前記編集手段においてIPパケットを再構成する方法を前記生成手段に通知する通知手段と、を備え、
前記生成手段は、生成するIPパケットに、前記編集手段におけるIPパケットの再構成に必要な情報を付与することを特徴とする映像表示システム。 Generation means for extracting a plurality of images from the original image and converting the image signal into an IP packet for each extracted image to generate an IP packet;
An output unit that outputs the IP packet generated by the generation unit;
Editing means for receiving the IP packet output from the output means and reconstructing the received IP packet;
A display device for displaying an image based on the IP packet output from the editing means;
And notification means for notifying the generation means of a method of reconstructing an IP packet in the editing means.
The video display system, wherein the generation means adds information necessary for reconfiguring the IP packet in the editing means to the IP packet to be generated.
前記生成手段は、前記複数の表示装置のそれぞれに表示される映像ごとに前記元映像から複数の映像を切り出すことを特徴とする請求項2に記載の映像表示システム。 Comprising a plurality of said display devices;
3. The video display system according to claim 2, wherein the generation unit cuts out a plurality of videos from the original video for each video displayed on each of the plurality of display devices.
前記編集手段は、受信したIPパケットに基づき、前記第2の表示装置に表示する映像信号のIPパケットを再構成することを特徴とする請求項4に記載の映像表示システム。 The generation means is different from the image displayed on each of the first display device and the second display device among the plurality of display devices, and the image displayed on the first display device and the second display The video signal of the video to be displayed on the first display device is IP packetized when the video is cut out from the original video so that the video to be displayed on the device overlaps in a part of the area At the same time, the video signal of the area obtained by removing the video signal of the overlapping area from the video displayed on the second display device is converted into an IP packet, and the editing means converts the generated IP packet to the second display device. Add information to reconstruct the IP packet of the video to be displayed,
5. The video display system according to claim 4, wherein the editing means reconstructs an IP packet of the video signal to be displayed on the second display device based on the received IP packet.
前記分配器に接続された別の表示装置と、を備え、
前記生成手段は、前記別の表示装置に表示する映像と前記表示装置に表示する映像とに重複領域がある場合に、前記別の表示装置に表示する映像の映像信号をIPパケット化すると共に、前記表示装置に表示する映像から前記重複領域の映像信号を除いた領域の映像信号をIPパケット化し、生成したIPパケットに前記編集手段が前記表示装置に表示する映像のIPパケットを再構成するための情報を付与し、
前記出力手段は、前記別の表示装置へは前記別の表示装置に表示する映像のIPパケットのみを出力し、前記編集手段へは前記別の表示装置に表示する映像のIPパケットと前記表示装置に表示する映像から前記重複領域の映像信号を除いた領域の映像信号および前記情報を含むIPパケットを出力し、
前記編集手段は、受信したIPパケットから前記別の表示装置に表示する映像信号のIPパケットを再構成することを特徴とする請求項1に記載の映像表示システム。 A distributor disposed between the output means and the editing means;
And another display device connected to the distributor.
The generation means IP packetizes the video signal of the video to be displayed on the other display device, when there is an overlap area between the video displayed on the different display device and the video displayed on the display device. A video signal of an area obtained by removing the video signal of the overlapping area from the video displayed on the display device is converted into an IP packet, and the editing unit reconstructs an IP packet of the video displayed on the display device into the generated IP packet. Give the information of
The output means outputs only the IP packet of the video to be displayed on the other display device to the other display device, and the IP packet of the video to be displayed on the other display device to the editing means and the display device Outputting an image signal of an area obtained by removing the image signal of the overlapping area from the image to be displayed on the image and an IP packet including the information,
The video display system according to claim 1, wherein the editing means reconstructs an IP packet of a video signal to be displayed on the other display device from the received IP packet.
元映像から複数の映像を切り出し、切り出された映像ごとに映像信号をIPパケット化すると共に所定の情報を付与したIPパケットを生成する生成ステップと、
前記生成ステップで生成されたIPパケットを編集手段へ出力する出力ステップと、
前記編集手段から出力されるIPパケットに基づいて表示手段に映像を表示する表示ステップと、を有し、
前記所定の情報は、前記出力ステップで前記編集手段へ出力されたIPパケットを前記編集手段で再構成することができるようするための情報であることを特徴とする映像表示システムの制御方法。 It is a control method of a video display system, and
Generating a plurality of videos from the original video, converting the video signal into an IP packet for each clip and generating an IP packet to which predetermined information is added;
Outputting an IP packet generated in the generating step to an editing unit;
Displaying an image on a display unit based on the IP packet output from the editing unit;
The control method of the image display system, wherein the predetermined information is information for enabling the editing unit to reconstruct the IP packet output to the editing unit in the output step.
A program causing a computer to execute each step of the control method of the image display system according to claim 7.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017172288A JP2019050441A (en) | 2017-09-07 | 2017-09-07 | Image display system, control method of the same, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017172288A JP2019050441A (en) | 2017-09-07 | 2017-09-07 | Image display system, control method of the same, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019050441A true JP2019050441A (en) | 2019-03-28 |
Family
ID=65905879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017172288A Pending JP2019050441A (en) | 2017-09-07 | 2017-09-07 | Image display system, control method of the same, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019050441A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019189515A1 (en) | 2018-03-28 | 2019-10-03 | Ricoh Company, Ltd. | Control apparatus, display apparatus, movable body, and image display method |
-
2017
- 2017-09-07 JP JP2017172288A patent/JP2019050441A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019189515A1 (en) | 2018-03-28 | 2019-10-03 | Ricoh Company, Ltd. | Control apparatus, display apparatus, movable body, and image display method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11546397B2 (en) | VR 360 video for remote end users | |
CN101212654B (en) | Network video monitoring system and data acquisition method | |
KR101821145B1 (en) | Video live streaming system | |
WO2018015806A1 (en) | System and method providing object-oriented zoom in multimedia messaging | |
US11895352B2 (en) | System and method for operating a transmission network | |
CN111869222B (en) | HTTP-based DASH client network element, method and medium | |
WO2011145539A1 (en) | Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium | |
US20170353753A1 (en) | Communication apparatus, communication control method, and communication system | |
Gül et al. | Cloud rendering-based volumetric video streaming system for mixed reality services | |
KR20180086112A (en) | Apparatus and method for playing back and seeking media in web browser | |
US8456532B1 (en) | Internet protocol camera transcode avoidance | |
JP2019050441A (en) | Image display system, control method of the same, and program | |
US20130085750A1 (en) | Communication system, method, and apparatus | |
US11375171B2 (en) | System and method for preloading multi-view video | |
Gül et al. | Low latency volumetric video edge cloud streaming | |
US20230328308A1 (en) | Synchronization of multiple content streams | |
KR101426579B1 (en) | Apparatus and method for providing images in wireless communication system and portable display apparatus and method for displaying images | |
US11265357B2 (en) | AV1 codec for real-time video communication | |
KR101979432B1 (en) | Apparatus and method for predicting user viewpoint using lication information of sound source in 360 vr contents | |
US11457279B1 (en) | Live previewing of streaming video in the cloud | |
KR20130109904A (en) | Method and apparatus for servicing multi-dimension game based on multi-screen service | |
Gao et al. | Omniviewer: Multi-modal monoscopic 3D DASH | |
Yun et al. | Edge Media Server for Real-Time 4K Video Streaming with Multiple 5G-Enabled Drones | |
He | MiBao: A Video Processing Middlebox | |
Palash et al. | CoRE: Non-Linear 3D Sampling for Robust 360◦ Video Streaming |