JP2019022172A - 映像/パケット変換装置、パケット/映像変換装置及びプログラム - Google Patents

映像/パケット変換装置、パケット/映像変換装置及びプログラム Download PDF

Info

Publication number
JP2019022172A
JP2019022172A JP2017141512A JP2017141512A JP2019022172A JP 2019022172 A JP2019022172 A JP 2019022172A JP 2017141512 A JP2017141512 A JP 2017141512A JP 2017141512 A JP2017141512 A JP 2017141512A JP 2019022172 A JP2019022172 A JP 2019022172A
Authority
JP
Japan
Prior art keywords
packet
video
video signal
signal
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017141512A
Other languages
English (en)
Other versions
JP6840049B2 (ja
Inventor
潤一郎 川本
Junichiro Kawamoto
潤一郎 川本
智史 小山
Satoshi Koyama
智史 小山
周平 小田
Shuhei Oda
周平 小田
倉掛 卓也
Takuya Kurakake
卓也 倉掛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2017141512A priority Critical patent/JP6840049B2/ja
Publication of JP2019022172A publication Critical patent/JP2019022172A/ja
Application granted granted Critical
Publication of JP6840049B2 publication Critical patent/JP6840049B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】高解像度の映像信号を伝送するシステムにおいて、低解像度用のメモリ及び表示部等を用いて低解像度の映像信号を観測する。【解決手段】映像/パケット変換装置1のパケットマッピング部11は、映像信号のライン毎に、Pグループの映像信号を単位として、ライン方向に所定間隔で配置された映像信号を、RTPペイロードサイズを超えるまで、同一のRTPペイロードにマッピングし、RTPパケットを生成する。UDP/IP/MAC処理部13は、RTPパケットに対し、UDP/IP/MAC処理を行い、映像信号が格納されたRTPパケットを含むパケット信号を生成し送信する。これにより、受信側は、映像信号のライン毎に、ラインに対応する全てのRTPペイロードのうち一部のRTPペイロードから映像信号を抽出することで、元の映像信号よりも低解像度の映像信号を観測することができる。【選択図】図3

Description

本発明は、映像信号をパケット信号に変換する装置、パケット信号を映像信号に変換する装置、及びこれらのプログラムに関する。
従来、映像信号をパケット化してネットワーク上で共有する番組制作システムの標準化の規格が、SMPTE(米国映画テレビ技術者協会)にて議論されている。この標準規格では、2Kから8Kまでの解像度の映像信号をパケット化する処理に、非特許文献1に記載された映像パケットマッピング処理が適用されている。
非特許文献1の映像パケットマッピング処理では、映像信号のフレームをライン単位で、Pグループ(pgroup)と呼ばれるバイト単位のグループ毎に、RTPペイロードのフォーマットに順次収容することで、映像信号をパケット信号に変換する。
図9は、従来の番組制作システムの全体構成例を示す概略図である。この番組制作システムは、8Kカメラ100、映像/パケット変換装置101、ネットワークスイッチ102、8K映像確認用測定器103、パケット/映像変換装置104及び8Kモニター105を備えて構成される。
映像/パケット変換装置101は、8Kカメラ100により撮影された被写体の映像信号(8K映像信号)を受信し、非特許文献1の映像パケットマッピング処理に従って、8K映像信号をIPパケット等のパケット信号に変換する。
映像信号の具体的な例としては、伝送速度が約1.5GbpsのHD−SDI信号または約3Gbpsの3G−SDI信号等のシリアルデジタルインタフェース信号が挙げられる。多くの放送局では、このSDI信号を用いて映像信号を放送局内または局外で共有する番組制作システムが構築され、このような番組制作システムにて、これまでの長い間運用されている。
他方、通信分野では、10Gb/s、40Gb/s、100Gb/s等のイーサネット(登録商標)デバイスの高速化の進展及びその普及に伴って、伝送路で用いられるネットワークスイッチ102またはトランシーバに代表されるデバイスの低価格化が進んでいる。SDI信号を用いた番組制作ネットワークにおいても、通信分野の技術を取り入れることで低コスト化を図る試みが行われており、SMPTE等の標準化団体では、その標準技術化に関する議論が進んでいる。
映像/パケット変換装置101は、パケット信号を、ネットワークに設けられたネットワークスイッチ102を介してパケット/映像変換装置104へ送信する。
パケット/映像変換装置104は、映像/パケット変換装置101から送信されたパケット信号を、ネットワークスイッチ102を介して受信し、パケット信号を8K映像信号に再変換し、8K映像信号を8Kモニター105へ送信する。
8Kモニター105は、パケット/映像変換装置104から送信された8K映像信号を受信し、8K映像信号に基づいて8K映像を画面表示する。
このような番組制作システムを用いた放送局等の番組制作ワークフローにおいては、伝送されている信号がどのような映像を含んでいるのかを、伝送路中の信号測定箇所にて観測できることが要求される。
例えば、ネットワークに設けられたネットワークスイッチ102を信号測定箇所とした場合、当該ネットワークスイッチ102に8K映像確認用測定器103が接続される。そして、8K映像確認用測定器103は、ネットワークスイッチ102を介してパケット信号を受信し、パケット信号を8K映像信号に変換し、8K映像信号を測定する。これにより、ユーザは、伝送信号に8K映像が含まれていること等を確認することができる。
図10は、8K映像の構成の概要を説明する図であり、各画素がRGBの3原色でサンプリングされる4:4:4フォーマットの例を示している。8K映像の1フレームは、水平方向の7680画素及び垂直方向の4320画素により構成される。水平方向の横一列の並びの単位を、ラインという。
前述の非特許文献1では、Pグループという概念が規定されている。映像のサンプリングビット数(ビット深度)としては、8ビット、10ビット、12ビット、16ビット等がある。Pグループは、映像信号をパケットに収容する際に、統一して扱い易くするための画素の集合である。具体的には、映像信号は、8ビットのバイト単位でサンプリングされ、これがPグループとして扱われる。
例えば、映像フォーマットが4:4:4フォーマットのサンプリングでは、各画素が12ビット深度の場合、図10に示すように、2画素分の72ビット(12×3×2ビット=9バイト)の画素の集合をPグループとする。映像信号は、Pグループ単位である2画素分の9バイト毎に、RTPペイロードにマッピングされる。この場合、Pグループサイズ(pgroup size)が9バイトとなり、Pグループ範囲(pgroup coverage)が2画素(pixels)となる。
図11は、従来の映像パケットマッピング処理を説明する図であり、前述の非特許文献1に記載された処理を示す。従来の映像パケットマッピング処理は、図9に示した映像/パケット変換装置101により、8K映像信号がパケット信号に変換される処理の一部として行われる。
従来の映像パケットマッピング処理では、ライン毎に、Pグループの映像信号(複数の画素信号)が異なるRTPパケットに分割して格納されないように、ラインの先頭から順にRTPペイロードに映像信号をマッピングする。この場合、RTPペイロードにマッピングされる映像信号が、予め設定されたRTPペイロードサイズを超える場合、映像信号は、次のRTPペイロードにマッピングされる。
図11の例では、映像/パケット変換装置101は、第1番目のラインにおいて、第1番目のPグループの映像信号及び第2番目のPグループの映像信号を、第1番目のRTPペイロードa1にマッピングして格納する。そして、映像/パケット変換装置101は、第1番目のラインにおいて、第3番目のPグループの映像信号及び第4番目のPグループの映像信号を、第2番目のRTPペイロードa2にマッピングして格納する。
同様に、映像/パケット変換装置101は、第5番目のPグループの映像信号及び第6番目のPグループの映像信号を、第3番目のRTPペイロードa3にマッピングして格納する。映像/パケット変換装置101は、第7番目のPグループの映像信号及び第8番目のPグループの映像信号を、第4番目のRTPペイロードa4にマッピングして格納する。この場合のRTPペイロードサイズは、2つのPグループの映像信号が格納されるサイズ、すなわち18バイトである。
このように、映像/パケット変換装置101は、第1番目のラインにおいて、Pグループの映像信号を単位として、2つのPグループの映像信号を1つのRTPペイロードに順番にマッピングして格納する。第2番目以降のラインにおいても同様である。
前述の非特許文献1には特に明示されていないが、全てのRTPパケットについて同一のRTPペイロードのサイズが適用されるのが一般的である。
図9に示した従来の番組制作システムは、8K映像信号を伝送するシステムであるから、8K映像信号を測定するために、8K映像信号を処理する8K映像確認用測定器103を用いる必要がある。同様に、8K映像を表示するために、8K映像信号を処理する8Kモニター105を用いる必要がある。また、2K映像信号を伝送する番組制作システムにおいては、2K映像信号を測定するための2K映像確認用測定器を用い、2K映像を表示するための2Kモニターを用いる必要がある。
従来の番組制作システムは、2K映像信号を伝送するシステムが主流であり、将来は、4K映像信号を伝送するシステム、または図9に示した8K映像信号を伝送するシステムが主流となることが想定される。このため、2K映像信号を伝送するシステムから4K映像を伝送するシステムへ移行する際に、2K映像確認用測定器及び2Kモニターに代えて、新たな4K映像確認用測定器及び4Kモニターが必要となる。また、8K映像を伝送するシステムへ移行する際に、新たな8K映像確認用測定器103及び8Kモニター105が必要となる。
しかしながら、新たな映像確認用測定器及び表示モニターを用意することは、コスト増加となり、放送局における番組制作システムの安定運用に影響を与える可能性がある。
ここで、4K映像信号または8K映像信号を伝送するシステムであっても、2K映像を伝送していたときの2K映像確認用測定器及び2Kモニターを利用することができれば、コスト増加の問題を解決することができ、安定運用に影響を与えることもない。
このように、低解像度の映像信号を伝送するシステムから高解像度の映像信号を伝送するシステムへ移行する際に、低解像度の映像信号を伝送するシステムにて使用していた低解像度用のメモリ及び表示部等を利用できることが所望されていた。これは、高解像度の映像信号を伝送するシステムにおいて、低解像度用のメモリ及び表示部等を用いて低解像度の映像信号を観測することで、ユーザは高解像度の映像を疑似的に観察することができるからである。これを実現するためには、従来の映像パケットマッピング処理に代わる新たな処理が必要となる。
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、高解像度の映像信号を伝送するシステムにおいて、低解像度用のメモリ及び表示部等を用いて低解像度の映像信号を観測可能な映像/パケット変換装置、パケット/映像変換装置及びプログラムを提供することにある。
前記課題を解決するために、請求項1の映像/パケット変換装置は、映像信号をパケット信号に変換する映像/パケット変換装置において、映像フォーマットに応じてバイトサイズ及び画素数にて規定されるPグループを単位として、前記映像信号のライン毎に、ライン方向に所定間隔で配置された前記映像信号を、同一のパケット信号にマッピングする、ことを特徴とする。
また、請求項2の映像/パケット変換装置は、請求項1に記載の映像/パケット変換装置において、前記映像信号を受信し、当該映像信号を識別するための識別情報を生成する映像信号受信部と、前記Pグループを単位として、前記映像信号のライン毎に、ライン方向に前記所定間隔で配置された前記映像信号を、所定のサイズを超えるまで、同一のパケットペイロードにマッピングして格納し、パケットを生成するパケットマッピング部と、前記映像信号受信部により生成された前記識別情報を含む第1のパケット信号を生成し、前記パケットマッピング部により生成された前記パケットを含む第2のパケット信号を生成し、前記第1のパケット信号及び前記第2のパケット信号を送信する処理部と、を備えたことを特徴とする。
さらに、請求項3のパケット/映像変換装置は、パケット信号を映像信号に変換するパケット/映像変換装置において、前記パケット信号には、所定の高解像度の映像信号が格納されており、同一の前記パケット信号には、映像フォーマットに応じてバイトサイズ及び画素数にて規定されるPグループを単位として、前記映像信号のライン方向に所定間隔で配置された前記映像信号がマッピングされている場合に、前記映像信号のラインに対応する全ての前記パケット信号から、所定の低解像度の映像信号を観測するための所定数の前記パケット信号を抽出し、当該パケット信号をパケットバッファに格納し、前記パケットバッファから前記パケット信号を読み出し、前記パケット信号から前記映像信号を読み出し、前記所定の低解像度の映像信号を生成する、ことを特徴とする。
また、請求項4のパケット/映像変換装置は、請求項3に記載のパケット/映像変換装置において、前記パケット信号に含まれるパケットには、前記所定の高解像度の映像信号が格納されており、同一の前記パケットには、前記Pグループを単位として、前記映像信号のライン方向に所定間隔に配置された前記映像信号がマッピングされている場合に、前記パケット信号のヘッダを解析し、前記パケット信号に前記映像信号が格納されていると判定した場合、前記パケット信号から前記パケットを抽出し、前記映像信号のライン毎に、当該ラインに対応する全ての前記パケットから、前記所定の低解像度の映像信号を観測するための所定数の前記パケットを抽出し、当該パケットを前記パケットバッファに格納するパケットヘッダ解析部と、前記パケットバッファから前記パケットを読み出し、前記所定の低解像度の映像信号のライン毎に、前記Pグループを単位として、同一のパケットペイロードから前記映像信号を抽出し、前記パケットを前記所定の低解像度の映像信号に変換する映像信号変換部と、を備えたことを特徴とする。
さらに、請求項5のプログラムは、コンピュータを、請求項1または2に記載の映像/パケット変換装置として機能させることを特徴とする。
また、請求項6のプログラムは、コンピュータを、請求項3または4に記載のパケット/映像変換装置として機能させることを特徴とする。
以上のように、本発明によれば、高解像度の映像信号を伝送するシステムにおいて、低解像度用のメモリ及び表示部等を用いて低解像度の映像信号を観測することができる。したがって、ユーザは、低解像度の映像信号を高解像度の映像信号とみなして、高解像度の映像を疑似的に観察することが可能となる。
本発明の実施形態による映像/パケット変換装置及びパケット/映像変換装置を含む番組制作システムの全体構成例を示す概略図である。 図1の番組制作システムのうち2K映像確認用測定器を除く全体構成例を示すブロック図である。 映像/パケット変換装置の構成例を示すブロック図である。 パケットマッピング部による映像パケットマッピング処理の例を説明する図である。 8K映像信号、4K映像信号及び2K映像信号を観測するためのパケット数を説明する図である。 2K映像信号を観測する場合、8K映像信号の1/4の数である6個のパケット信号を処理すればよいことを説明する図である。 パケット/映像変換装置の構成例を示すブロック図である。 映像再生装置の構成例を示すブロック図である。 従来の番組制作システムの全体構成例を示す概略図である。 8K映像の構成の概要を説明する図である。 従来の映像パケットマッピング処理を説明する図である。
以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、高解像度の映像信号を伝送するシステムにおいて、映像信号をパケット信号に変換する際に、ライン方向に所定間隔で配置された複数のPグループの映像信号をパケットに順次マッピングすることを特徴とする。
これにより、受信側は、低解像度用のメモリ及び表示部等を用いて、1ラインに対応する複数のパケットのうち所定数のパケットを処理することで、低解像度の映像信号を観測することができる。したがって、ユーザは、低解像度の映像信号を高解像度の映像信号とみなして、高解像度の映像を疑似的に観察することが可能となる。つまり、低解像度の映像信号を用いて、高解像度の映像を観察することが可能となる。
例えば、4K映像信号または8K映像信号を伝送するシステムにおいて、受信側は、2K用のメモリ及び表示部等を用いて、2K映像分の映像信号を処理することで、2K映像信号を観測することができ、ユーザは、8K映像を疑似的に観察することができる。
〔全体構成〕
まず、本発明の実施形態による映像/パケット変換装置及びパケット/映像変換装置を含む全体構成について説明する。図1は、本発明の実施形態による映像/パケット変換装置及びパケット/映像変換装置を含む番組制作システムの全体構成例を示す概略図である。
この番組制作システムは、8Kカメラ100、映像/パケット変換装置1、ネットワークスイッチ102、パケット/映像変換装置2、2Kモニター106及び2K映像確認用測定器3を備えて構成される。
図9に示した従来の番組制作システムと図1に示す番組制作システムとを比較すると、両番組制作システムは、8Kカメラ100及びネットワークスイッチ102を備え、8K映像信号を伝送するシステムである点で共通する。一方、図1に示す番組制作システムは、図9に示した従来の番組制作システムの映像/パケット変換装置101、8K映像確認用測定器103、パケット/映像変換装置104及び8Kモニター105に代えて、映像/パケット変換装置1、2K映像確認用測定器3、パケット/映像変換装置2及び2Kモニター106を備えている点で相違する。
図9に示した従来の番組制作システムは、8K映像信号を直接観測する。これに対し、図1に示す番組制作システムは、2K映像用の2K映像確認用測定器3及び2Kモニター106を用いて、8K映像信号を間接的に観測する。
尚、2K映像確認用測定器3は、8K映像信号を受信して2K映像信号を測定する2K映像用の測定器であり、2K映像信号を受信して2K映像信号を測定する従来の2K映像測定器とは異なる。
映像/パケット変換装置1は、8Kカメラ100により例えばスタジオで撮影された被写体の映像信号(8K映像信号)を受信する。映像信号として、例えばHD−SDI信号、3G−SDI信号が用いられる。
映像/パケット変換装置1は、8K映像信号をRTPパケットにマッピングする新たな映像パケットマッピング処理を行い、8K映像信号をパケット信号に変換する。そして、映像/パケット変換装置1は、パケット信号を、ネットワークに設けられたネットワークスイッチ102を介してパケット/映像変換装置2へ送信する。
パケット/映像変換装置2は、映像/パケット変換装置1から送信されたパケット信号を、ネットワークスイッチ102を介して受信する。そして、パケット/映像変換装置2は、1ラインに対応する複数のパケット信号のうち所定数のパケット信号を抽出し、これを2K映像用のパケットバッファに格納し、2K映像信号を2Kモニター106へ送信する。
2Kモニター106は、パケット/映像変換装置2から送信された2K映像信号を受信し、2K映像信号を2K映像用のメモリに格納し、2K映像を画面表示する。これにより、8K映像を疑似的に2K映像として再生することができる。
2K映像確認用測定器3は、映像/パケット変換装置1から送信された、8K映像信号が格納されたパケット信号を、ネットワークスイッチ102を介して受信する。そして、2K映像確認用測定器3は、1ラインに対応する複数のパケット信号のうち所定数のパケット信号を抽出し、これを2K映像用のパケットバッファに格納し、2K映像信号を測定する。
図2は、図1に示した番組制作システムのうち2K映像確認用測定器3を除く全体構成例を示すブロック図である。映像発生装置107は図1の8Kカメラ100に相当し、映像再生装置108は図1の2Kモニター106に相当する。
図9に示した従来の番組映像制作システムにおいて、8K映像確認用測定器103及びパケット/映像変換装置104は、1ラインの全てのパケット信号を処理することで、8K映像信号を観測することができる。この場合、ユーザは、伝送信号に8K映像が含まれていること等を確認することができる。
つまり、従来の映像パケットマッピング処理では、1ラインの全てのパケット信号を処理する必要がある。
これに対し、図1に示した本発明の実施形態では、パケット/映像変換装置2及び2K映像確認用測定器3は、1ラインの全てのパケット信号のうち一部のパケット信号を処理することで、2K映像信号を観測することができる。つまり、図1に示した本発明の実施形態では、1ラインの全てのパケット信号のうち一部のパケット信号を処理すればよい。
〔映像/パケット変換装置1〕
次に、図1及び図2に示した映像/パケット変換装置1について詳細に説明する。図3は、映像/パケット変換装置1の構成例を示すブロック図である。この映像/パケット変換装置1は、映像信号受信部10、パケットマッピング部11、SDPファイル(Session Description Protocol:セッション記述プロトコル)生成部12及びUDP/IP/MAC処理部13を備えている。
映像信号受信部10は、映像信号を受信し、映像信号に基づいて、当該映像信号がどのような信号であるかを識別し、識別情報を生成する。具体的には、映像信号受信部10は、映像信号から、映像のビット深度、サンプリング構造、フォーマット(2K,4K,8K等)及びフレーム周波数等を抽出し、これらを識別情報として生成する。映像信号受信部10は、映像信号及び識別情報をパケットマッピング部11に出力し、識別情報をSDPファイル生成部12に出力する。
パケットマッピング部11は、映像信号受信部10から映像信号及び識別情報を入力する。そして、パケットマッピング部11は、識別情報を用いて、映像信号をRTPパケットのペイロード部分(RTPペイロード)にマッピングする新たな映像パケットマッピング処理を行い、映像信号をRTPペイロードに格納する。
新たな映像パケットマッピング処理は、映像信号のライン毎に、Pグループの映像信号を単位として、ライン方向に所定間隔で配置された映像信号を、RTPペイロードサイズを超えるまで、同一のRTPペイロードにマッピングする処理である。映像パケットマッピング処理の詳細については後述する。
パケットマッピング部11は、映像信号を格納したRTPパケットをUDP/IP/MAC処理部13に出力する。
SDPファイル生成部12は、映像信号受信部10から識別情報を入力し、識別情報に基づいて、当該識別情報をパケット化して伝送するためのSDPファイルを生成し、SDPファイルをUDP/IP/MAC処理部13に出力する。
UDP/IP/MAC処理部13は、パケットマッピング部11からRTPパケットを入力すると共に、SDPファイル生成部12からSDPファイルを入力する。そして、UDP/IP/MAC処理部13は、RTPパケットに対し、ヘッダを付加する等のUDP/IP/MAC処理を行い、映像信号が格納されたRTPパケットを含むパケット信号を生成する。また、UDP/IP/MAC処理部13は、SDPファイルに対し、ヘッダを付加する等のUDP/IP/MAC処理を行い、SDPファイルを含むパケット信号を生成する。この場合、映像信号が格納されたRTPパケットを含むパケット信号と、SDPファイルを含むパケット信号とを識別するための情報が、RTPヘッダ、UDPヘッダ、IPヘッダ及びMACヘッダのいずれかに付加される。
UDP/IP/MAC処理部13は、映像信号が格納されたRTPパケットを含むパケット信号、及びSDPファイルを含むパケット信号を送信する。
(映像パケットマッピング処理)
次に、パケットマッピング部11による映像パケットマッピング処理について詳細に説明する。図4は、パケットマッピング部11による映像パケットマッピング処理の例を説明する図である。
図4に示すように、パケットマッピング部11は、4つ離れたPグループの映像信号を、同一のRTPペイロードにマッピングする。
具体的には、パケットマッピング部11は、映像信号のライン毎に、次の<a>及び<b>の条件を満たすように、Pグループの映像信号を単位として、ライン方向に所定間隔で配置されたPグループの映像信号を、RTPペイロードサイズを超えるまで、同一のRTPペイロードにマッピングする。
<a>1つのPグループを構成する全ての映像信号(全ての画素)は、同一のRTPペイロードにマッピングし、異なるRTPペイロードに跨ってマッピングしない。
<b>所定ラインにおける最後のPグループの映像信号と、その次のラインにおける最初のPグループの映像信号とを、同一のRTPペイロードにマッピングしない。つまり、所定ラインにおける最後のPグループの映像信号を、所定のRTPペイロードにマッピングした場合、次のラインにおける最初のPグループの映像信号を、同じRTPペイロードにマッピングしないで、次のRTPペイロードにマッピングする。
図4を参照して、パケットマッピング部11は、第1番目のラインにおいて、第1番目のPグループの映像信号及び第5番目のPグループの映像信号を、第1番目のRTPペイロードa1にマッピングする。そして、パケットマッピング部11は、第1番目のラインにおいて、第9番目のPグループの映像信号及び第13番目のPグループの映像信号を、第2番目のRTPペイロードa2にマッピングする。
同様に、パケットマッピング部11は、第1番目のラインにおいて、第2番目のPグループの映像信号及び第6番目のPグループの映像信号を、第3番目のRTPペイロードa3にマッピングする。そして、パケットマッピング部11は、第1番目のラインにおいて、第10番目のPグループの映像信号及び第14番目のPグループの映像信号を、第4番目のRTPペイロードa4にマッピングする。
このように、パケットマッピング部11は、第1番目のラインにおいて、Pグループの映像信号を単位として、4つ離れた2つのPグループの映像信号を、同一のRTPペイロードにマッピングする。第2番目以降のラインにおいても同様である。
図4の例は、8K映像信号を伝送するシステムにおいて、2K用のメモリ及び表示部等を用いて、2K映像信号を観測する場合を示しており、4つ離れた2つのPグループの映像信号が、同じRTPペイロードにマッピングされる。尚、4K映像信号を伝送するシステムにおいて、2K用のメモリ及び表示部等を用いて、2K映像信号を観測する場合には、2つ離れた2つのPグループの映像信号が、同じRTPペイロードにマッピングされる。
つまり、8K映像信号を伝送するシステムでは、4つのPグループ毎の映像信号が順次マッピングされ、4K映像信号を伝送するシステムでは、2つのPグループ毎の映像信号が順次マッピングされる。
ここで、パケットマッピング部11は、映像信号をRTPペイロードにマッピングして格納する際に、マッピングした映像信号のサイズが所定のRTPペイロードサイズを超える場合、次のRTPペイロードにマッピングする。図4の例では、RTPペイロードサイズとして、2つのPグループのサイズが予め設定される。パケットマッピング部11は、マッピングした映像信号のサイズが2つのPグループのサイズを超える場合、次のRTPペイロードにマッピングする。
図5は、8K映像信号、4K映像信号及び2K映像信号を観測するために必要なパケット数を説明する図である。(1)は、映像フォーマットが4:4:4フォーマットである8K映像信号を伝送するシステムにおいて、ビット深度が8,10,12,16、Pグループサイズが3,15,9,6、Pグループ範囲が1,4,2,1の場合をそれぞれ示す。(2)は、映像フォーマットが4:2:2フォーマットである8K映像信号を伝送するシステムにおいて、ビット深度が8,10,12,16、Pグループサイズが4,5,6,8、Pグループ範囲が2の場合をそれぞれ示す。(1)の場合、1パケットあたりのRTPペイロードサイズは1440バイトである。(2)の場合、1パケットあたりのRTPペイロードサイズは960バイトである。
図5のαを参照して、例えば4:4:4フォーマットの8K映像信号を伝送するシステムにおいて、ビット深度が12ビットの8K映像信号をマッピングする場合、RTPペイロードサイズを1440バイトとする。この場合、8K映像信号は、1ラインあたり24個のRTPパケットに格納されることとなる。
従来の映像パケットマッピング処理では、8K映像信号を観測するために、1ラインあたり24個のパケット信号を処理するための8K映像用のメモリ及び表示部等が必要であった。図5のαに示すように、8Kモニタリングに必要なパケット数は24個である。
これに対し、本発明の実施形態の映像パケットマッピング処理では、4K映像信号を観測する場合、1ラインあたり12個のパケット信号(8K映像信号の場合の1/2)を処理するための4K映像用のメモリ及び表示部等を用いればよい。これにより、4K映像信号を観測することができるから、ユーザは、8K映像よりも解像度の低い大まかな4K映像を確認することができる。つまり、4K映像信号を直接観測することで、間接的に8K映像信号を観測することができる。
また、2K映像信号を観測する場合、1ラインあたり6個のパケット信号(8K映像信号の場合の1/4)を処理するための2K映像用のメモリ及び表示部等を用いればよい。これにより、2K映像信号を観測することができるから、ユーザは、8K映像よりも解像度の低い大まかな2K映像を確認することができる。つまり、2K映像信号を直接観測することで、間接的に8K映像信号を観測することができる。尚、1ラインあたり24個のパケット信号を受信することにより、8K映像信号を観測することができる。
図6は、図5のαを補充する図であり、2K映像信号を観測する場合、8K映像信号の1/4の数である6個のパケット信号を処理することを説明する図である。
図5のαに示すように、8K映像信号を観測するためには、1ラインあたり24個のパケット信号を処理する必要がある。図6の例では、RTPペイロードa1〜a24のそれぞれには、映像信号の1ラインにつき、ライン方向に4つ間隔の映像信号が格納されており、8K映像信号を観測するために、全てのRTPペイロードa1〜a24に格納された映像信号が用いられる。
これに対し、2K映像信号を観測する場合、24個のパケット信号のうち6個のパケット信号を処理すればよい。図6の例では、RTPペイロードa1〜a24のうち、1番目から6番目までのRTPペイロードa1〜a6に格納された映像信号が用いられる。
図5に戻って、βを参照して、例えば4:2:2フォーマットの8K映像信号を伝送するシステムにおいて、ビット深度が10ビットの8K映像信号をマッピングする場合、RTPペイロードサイズを960バイトとする。この場合、8K映像信号は、1ラインあたり20個のRTPパケットに格納されることとなる。
従来の映像パケットマッピング処理では、8K映像信号を観測するために、1ラインあたり20個のパケット信号を処理するための8K映像用のメモリ及び表示部等が必要であった。図5のβに示すように、8Kモニタリングに必要なパケット数は20個である。
これに対し、本発明の実施形態の映像パケットマッピング処理では、4K映像信号を観測する場合、1ラインあたり10個のパケット信号(8K映像信号の場合の1/2)を処理するための4K映像用のメモリ及び表示部等を用いればよい。これにより、ユーザは、大まかな4K映像を確認することができる。
また、2K映像信号を観測する場合、1ラインあたり5個のパケット信号(8K映像信号の場合の1/4)を処理するための2K映像用のメモリ及び表示部等を用いればよい。これにより、ユーザは、大まかな2K映像を確認することができる。
以上のように、本発明の実施形態の映像/パケット変換装置1によれば、パケットマッピング部11は、映像信号のライン毎に、Pグループの映像信号を単位として、ライン方向に所定間隔で配置された映像信号を、RTPペイロードサイズを超えるまで、同一のRTPペイロードにマッピングする。
これにより、受信側は、映像信号のライン毎に、ラインに対応する全てのRTPペイロードのうち一部のRTPペイロードから映像信号を抽出することで、元の映像信号よりも低解像度の映像信号を観測することができる。
例えば、8K映像信号を伝送するシステムにおいて、8K映像のパケット信号に対して1/4の数のパケット信号を用いることで、2K映像信号を観測することができる。また、1/2の数のパケット信号を用いることで、4K映像信号を観測することができる。
つまり、高解像度の映像信号を伝送するシステムにおいて、コストの高い高解像度用のメモリ及び表示部等を用いることなく、コストの安い低解像度用のメモリ及び表示部等を用いて低解像度の映像信号を観測することができる。したがって、ユーザは、低解像度の映像信号を高解像度の映像信号とみなして、高解像度の映像を疑似的に観察することが可能となる。
〔パケット/映像変換装置2〕
次に、図1及び図2に示したパケット/映像変換装置2について詳細に説明する。図7は、パケット/映像変換装置2の構成例を示すブロック図である。このパケット/映像変換装置2は、パケットヘッダ解析部20、パケットバッファ21、SDPファイル解析部22及び映像信号変換部23を備えている。
パケットヘッダ解析部20は、映像/パケット変換装置1から送信されたパケット信号を、ネットワークスイッチ102を介して受信し、パケット信号に含まれるMACヘッダ、IPヘッダ、UDPヘッダ及びRTPヘッダに基づいて、パケット構成を解析する。
RTPヘッダ、UDPヘッダ、IPヘッダ及びMACヘッダのいずれかには、映像信号が格納されたRTPパケットを含むパケット信号と、SDPファイルを含むパケット信号とを識別するための情報が格納されている。このため、パケットヘッダ解析部20は、パケット信号に映像信号が含まれるか、またはSDPファイルが含まれるかを判定することができる。
パケットヘッダ解析部20は、パケット構成の解析により、パケット信号が当該パケット/映像変換装置2宛の信号であり、かつパケット信号に映像信号が含まれると判定した場合、パケット信号から映像信号が格納されたRTPパケットを抽出する。そして、パケットヘッダ解析部20は、映像信号のライン毎に、全てのRTPパケットから一部のRTPパケット、すなわち2K映像信号を観測するための所定数のRTPパケットを抽出する。パケットヘッダ解析部20は、抽出した一定量のRTPパケットをパケットバッファ21に格納する。これにより、パケットバッファ21には、2K映像信号のライン毎に、2K映像信号を観測するためのRTPパケットが格納される。尚、2K映像信号を観測する場合の所定数は、全てのRTPパケットに対し1/4の数である。4K映像信号を観測する場合の所定数は、全てのRTPパケットに対し1/2の数である。
同一のRTPペイロードには、Pグループの映像信号を単位として、8K映像信号におけるライン方向の所定間隔に配置された映像信号がマッピングされ、格納されている。8K映像信号のライン毎に、全てのRTPパケットから一部のRTPパケットを抽出することにより、2K映像信号または4K映像信号を生成することができる。
尚、パケットヘッダ解析部20は、映像信号のライン毎に、全てのRTPパケットのうち、第1番目から順番に所定数のRTPパケットを抽出するようにしてもよい。また、パケットヘッダ解析部20は、映像信号のライン毎に、全てのRTPパケットのうち、ランダムに所定数のRTPパケットを抽出するようにしてもよい。
また、パケットヘッダ解析部20は、映像信号のライン毎に、所定の位置情報に従い、全てのRTPパケットから所定数のRTPパケットを抽出するようにしてもよい。所定の位置情報は、映像信号のラインに対応する全てのRTPパケットから2K映像信号を観測するためのRTPパケットが抽出される位置(RTPパケットの番号)が定義された情報である。所定の位置情報は、図3のパケットマッピング部11による映像パケットマッピング処理に応じて、予め設定される。
一方、パケットヘッダ解析部20は、パケット構成の解析により、パケット信号が当該パケット/映像変換装置2宛の信号であり、かつパケット信号にSDPファイルが含まれると判定する。この場合、パケットヘッダ解析部20は、SDPファイルが格納されたパケット信号をSDPファイル解析部22に出力する。
SDPファイル解析部22は、パケットヘッダ解析部20からSDPファイルが格納されたパケット信号を入力し、パケット信号からSDPファイルを抽出し、SDPファイルを解析することで、SDPファイルに基づいて識別信号を生成する。そして、SDPファイル解析部22は、識別信号を映像信号変換部23に出力する。
映像信号変換部23は、パケットバッファ21からRTPパケットを読み出すと共に、SDPファイル解析部22から識別情報を入力する。そして、映像信号変換部23は、識別情報に基づいて、2K映像信号のライン毎に、当該ラインに対応するRTPパケットのRTPペイロードから映像信号を抽出し、2K映像信号を生成する。映像信号変換部23は、2K映像信号を映像再生装置108へ送信する。
RTPペイロードには、8K映像信号のライン方向の所定間隔(連続した4つのPグループ毎)に配置された映像信号がマッピングされている。このため、映像信号のライン毎に、全てのRTPパケットのうち1/4の数のRTPパケットを対象として、これらのRTPペイロードから映像信号を抽出し、結合することにより、2K映像が生成される。
以上のように、本発明の実施形態のパケット/映像変換装置2によれば、パケットヘッダ解析部20は、受信したパケット信号のパケット構成を解析し、パケット信号から映像信号が格納されたRTPパケットを抽出する。そして、パケットヘッダ解析部20は、映像信号のライン毎に、全てのRTPパケットから一部のRTPパケット、すなわち2K映像信号を観測するための所定数のRTPパケットを抽出し、パケットバッファ21に格納する。そして、映像信号変換部23は、パケットバッファ21からRTPパケットを読み出して映像信号に変換する。
これにより、2K映像信号を得ることができ、元の映像信号よりも低解像度の映像信号を観測することができる。この場合のパケットバッファ21には、2K映像信号を得るための一定量のRTPパケットが格納されるから、パケットバッファ21は、2K映像用のバッファであればよい。また、映像信号変換部23は、パケットバッファ21から2K映像分のRTPパケットを読み出して映像信号に変換すればよいから、2K映像用の処理で済む。
例えば、8K映像信号を伝送するシステムにおいて、8K映像のパケット信号に対して1/4の数のパケット信号を用いることで、2K映像信号を観測することができ、ユーザは大まかな2K映像を確認することができる。また、1/2の数のパケット信号を用いることで、4K映像信号を観測することができ、ユーザは大まかな4K映像を確認することができる。
つまり、高解像度の映像信号を伝送するシステムにおいて、コストの高い高解像度用のメモリ及び表示部等を用いることなく、コストの安い低解像度用のメモリ及び表示部等を用いて低解像度の映像信号を観測することができる。したがって、ユーザは、低解像度の映像信号を高解像度の映像信号とみなして、高解像度の映像を疑似的に観察することが可能となる。
〔映像再生装置108〕
次に、図2に示した映像再生装置108について詳細に説明する。図8は、映像再生装置108の構成例を示すブロック図である。この映像再生装置108は、映像抽出部110、メモリ111及び表示部112を備えている。
映像抽出部110は、パケット/映像変換装置2から2K映像信号を受信し、受信した2K映像信号から2K映像を再生するために必要な映像信号を抽出し、抽出した一定量の映像信号をメモリ111に格納する。表示部112は、メモリ111から信号を読み出し、モニター等に画面表示する。
これにより、2K映像を再生することができるから、元の映像信号よりも低解像度の映像信号を観測することができる。この場合のメモリ111には、2K映像を再生するための一定量の映像信号が格納されるから、メモリ111は、2K映像用のメモリであればよい。つまり、映像再生装置108は、2K映像を再生するための2K映像用のモニターであればよい。
〔2K映像確認用測定器3〕
次に、図1に示した2K映像確認用測定器3について詳細に説明する。2K映像確認用測定器3は、例えば、図7に示したパケット/映像変換装置2と同じ構成部に加え、さらに図8に示した映像再生装置108と同じ構成部を備える。
これにより、パケット/映像変換装置2と同様に、2K映像信号を得ることができ、元の映像信号よりも低解像度の映像信号を観測することができる。この場合のパケットバッファ21には、2K映像信号を得るための一定量のRTPパケットが格納されるから、パケットバッファ21は、2K映像用のバッファであればよい。メモリ111についても同様に、2K映像用のメモリであればよく、映像再生装置108は、2K映像用のモニターであればよい。また、映像信号変換部23は、2K映像用の処理で済む。
つまり、高解像度の映像信号を伝送するシステムにおいて、コストの高い高解像度用のメモリ及び表示部等を用いることなく、コストの安い低解像度用のメモリ及び表示部等を用いて低解像度の映像信号を観測することができる。したがって、ユーザは、低解像度の映像信号を高解像度の映像信号とみなして、高解像度の映像を疑似的に観察することが可能となる。
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、図1に示した番組制作システムは、パケット/映像変換装置2と2Kモニター106とが独立した装置として構成される。これに対し、パケット/映像変換装置2と2Kモニター106とが一体化した装置として構成されるようにしてもよい。図2に示したパケット/映像変換装置2及び映像再生装置108についても同様である。
1,101 映像/パケット変換装置
2,104 パケット/映像変換装置
3 2K映像確認用測定器
10 映像信号受信部
11 パケットマッピング部
12 SDPファイル生成部
13 UDP/IP/MAC処理部
20 パケットヘッダ解析部
21 パケットバッファ
22 SDPファイル解析部
23 映像信号変換部
100 8Kカメラ
102 ネットワークスイッチ
103 8K映像確認用測定器
105 8Kモニター
106 2Kモニター
107 映像発生装置
108 映像再生装置
110 映像抽出部
111 メモリ
112 表示部

Claims (6)

  1. 映像信号をパケット信号に変換する映像/パケット変換装置において、
    映像フォーマットに応じてバイトサイズ及び画素数にて規定されるPグループを単位として、前記映像信号のライン毎に、ライン方向に所定間隔で配置された前記映像信号を、同一のパケット信号にマッピングする、ことを特徴とする映像/パケット変換装置。
  2. 請求項1に記載の映像/パケット変換装置において、
    前記映像信号を受信し、当該映像信号を識別するための識別情報を生成する映像信号受信部と、
    前記Pグループを単位として、前記映像信号のライン毎に、ライン方向に前記所定間隔で配置された前記映像信号を、所定のサイズを超えるまで、同一のパケットペイロードにマッピングして格納し、パケットを生成するパケットマッピング部と、
    前記映像信号受信部により生成された前記識別情報を含む第1のパケット信号を生成し、前記パケットマッピング部により生成された前記パケットを含む第2のパケット信号を生成し、前記第1のパケット信号及び前記第2のパケット信号を送信する処理部と、
    を備えたことを特徴とする映像/パケット変換装置。
  3. パケット信号を映像信号に変換するパケット/映像変換装置において、
    前記パケット信号には、所定の高解像度の映像信号が格納されており、同一の前記パケット信号には、映像フォーマットに応じてバイトサイズ及び画素数にて規定されるPグループを単位として、前記映像信号のライン方向に所定間隔で配置された前記映像信号がマッピングされている場合に、
    前記映像信号のラインに対応する全ての前記パケット信号から、所定の低解像度の映像信号を観測するための所定数の前記パケット信号を抽出し、当該パケット信号をパケットバッファに格納し、
    前記パケットバッファから前記パケット信号を読み出し、前記パケット信号から前記映像信号を読み出し、前記所定の低解像度の映像信号を生成する、ことを特徴とするパケット/映像変換装置。
  4. 請求項3に記載のパケット/映像変換装置において、
    前記パケット信号に含まれるパケットには、前記所定の高解像度の映像信号が格納されており、同一の前記パケットには、前記Pグループを単位として、前記映像信号のライン方向に所定間隔に配置された前記映像信号がマッピングされている場合に、
    前記パケット信号のヘッダを解析し、前記パケット信号に前記映像信号が格納されていると判定した場合、前記パケット信号から前記パケットを抽出し、前記映像信号のライン毎に、当該ラインに対応する全ての前記パケットから、前記所定の低解像度の映像信号を観測するための所定数の前記パケットを抽出し、当該パケットを前記パケットバッファに格納するパケットヘッダ解析部と、
    前記パケットバッファから前記パケットを読み出し、前記所定の低解像度の映像信号のライン毎に、前記Pグループを単位として、同一のパケットペイロードから前記映像信号を抽出し、前記パケットを前記所定の低解像度の映像信号に変換する映像信号変換部と、
    を備えたことを特徴とするパケット/映像変換装置。
  5. コンピュータを、請求項1または2に記載の映像/パケット変換装置として機能させるためのプログラム。
  6. コンピュータを、請求項3または4に記載のパケット/映像変換装置として機能させるためのプログラム。
JP2017141512A 2017-07-21 2017-07-21 映像/パケット変換装置、パケット/映像変換装置及びプログラム Active JP6840049B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017141512A JP6840049B2 (ja) 2017-07-21 2017-07-21 映像/パケット変換装置、パケット/映像変換装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017141512A JP6840049B2 (ja) 2017-07-21 2017-07-21 映像/パケット変換装置、パケット/映像変換装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2019022172A true JP2019022172A (ja) 2019-02-07
JP6840049B2 JP6840049B2 (ja) 2021-03-10

Family

ID=65355974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017141512A Active JP6840049B2 (ja) 2017-07-21 2017-07-21 映像/パケット変換装置、パケット/映像変換装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6840049B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542849A (zh) * 2021-07-06 2021-10-22 腾讯科技(深圳)有限公司 视频数据处理方法及装置、电子设备、存储介质
WO2022259419A1 (ja) * 2021-06-09 2022-12-15 日本電信電話株式会社 伝送システム、伝送方法、および、伝送プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170070772A1 (en) * 2015-09-09 2017-03-09 Media Global Links Co., Ltd. Video transmission system and video receiver
JP2017079367A (ja) * 2015-10-19 2017-04-27 日本放送協会 イーサネットフレーム変換装置及びイーサネットフレーム再変換装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170070772A1 (en) * 2015-09-09 2017-03-09 Media Global Links Co., Ltd. Video transmission system and video receiver
JP2017055273A (ja) * 2015-09-09 2017-03-16 株式会社メディアグローバルリンクス 映像伝送システム及び映像受信装置
JP2017079367A (ja) * 2015-10-19 2017-04-27 日本放送協会 イーサネットフレーム変換装置及びイーサネットフレーム再変換装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"RTP Payload Format for Uncompressed Video", RFC 4175, JPN7021000174, September 2005 (2005-09-01), pages 1 - 18, ISSN: 0004428759 *
"解像度階層化とIPルーティングによる映像信号分配", 電子情報通信学会2016年総合大会, JPN6021001575, 1 March 2016 (2016-03-01), pages 3, ISSN: 0004428760 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259419A1 (ja) * 2021-06-09 2022-12-15 日本電信電話株式会社 伝送システム、伝送方法、および、伝送プログラム
CN113542849A (zh) * 2021-07-06 2021-10-22 腾讯科技(深圳)有限公司 视频数据处理方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
JP6840049B2 (ja) 2021-03-10

Similar Documents

Publication Publication Date Title
JP5167714B2 (ja) データ送受信システム、データ中継装置、データ受信装置、データ中継方法、データ受信方法
JP2009296383A (ja) 信号送信装置、信号送信方法、信号受信装置及び信号受信方法
WO2021142998A1 (zh) 一种数据发送、接收方法、装置、系统、设备及计算机存储介质
CN109561395A (zh) 一种蓝牙传输方法及装置
JP6840049B2 (ja) 映像/パケット変換装置、パケット/映像変換装置及びプログラム
US20120170590A1 (en) Bandwidth Arrangement Method and Transmitter Thereof
CN211580072U (zh) 一种高清模拟摄像机及其级联系统
CN115460422B (zh) 一种超高清网络视音频专业解码器和视频帧同步方法
JP2013055395A (ja) 信号送信装置、信号送信方法、信号受信装置、信号受信方法及び信号伝送システム
US8427577B2 (en) Method for converting between interlaced video and progressive video during transmission via a network
CN115225542A (zh) 视频信息处理方法、装置、电子设备和存储介质
JP2005318490A (ja) 伝送システム
US20100188568A1 (en) Digital video transport system
TWI713364B (zh) 藉由現有hd視訊架構編碼原始高幀率視訊的方法
EP3744105B1 (en) Multimedia communication bridge
CN101394429A (zh) Tcp数据包通信装置、视频接收机和数据存储设备
KR101805850B1 (ko) 10GbE 네트워크에서 다종 영상 비압축 패킷화 장치 및 이를 이용한 영상 송수신 방법
JP2018029236A (ja) 映像パケット切替装置及び方法
JP2011517194A (ja) マッピング変換を用いるビデオシリアライザおよびビデオデシリアライザ
JP2017069702A (ja) 映像信号検査システムおよび映像信号検査方法
WO2015107372A1 (en) Method and apparatus for determining synchronisation of audio signals
JP6599847B2 (ja) 表示データ転送システム、表示データ転送方法、表示データ転送プログラム
JP2012235423A (ja) 放送用信号入力装置、出力装置及び処理方法
CN211047098U (zh) 一种无线信号传输系统
JP2017028440A (ja) 情報送信装置、情報受信装置及び情報伝送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210216

R150 Certificate of patent or registration of utility model

Ref document number: 6840049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250