JP2018201159A - Video processing method, video processing system, and video transmitting apparatus - Google Patents
Video processing method, video processing system, and video transmitting apparatus Download PDFInfo
- Publication number
- JP2018201159A JP2018201159A JP2017105699A JP2017105699A JP2018201159A JP 2018201159 A JP2018201159 A JP 2018201159A JP 2017105699 A JP2017105699 A JP 2017105699A JP 2017105699 A JP2017105699 A JP 2017105699A JP 2018201159 A JP2018201159 A JP 2018201159A
- Authority
- JP
- Japan
- Prior art keywords
- video
- frames
- time stamp
- encoding
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、映像を処理する技術に関し、特に超高解像度の映像を処理して伝送する技術に関する。 The present invention relates to a technique for processing video, and more particularly, to a technique for processing and transmitting ultra-high resolution video.
新しいメディア伝送技術であるMMT(MPEG Media Transport)が国際標準化されている(非特許文献1)。 MMT (MPEG Media Transport), a new media transmission technology, has been internationally standardized (Non-patent Document 1).
MMTでは、メディアの提示時刻をUTC(Coordinated Universal Time)で指定できる。そのため、映像と音声などのコンテンツが、放送と通信のように別々の伝送経路で配信された場合でも、端末側でコンテンツを同期して再生することが可能である。また、複数の端末間でコンテンツを同期して再生することが可能である。 In MMT, media presentation time can be specified by UTC (Coordinated Universal Time). Therefore, even when contents such as video and audio are distributed through different transmission paths such as broadcasting and communication, it is possible to reproduce the contents synchronously on the terminal side. Further, it is possible to play back content in synchronization between a plurality of terminals.
近年、超高解像度の4K映像が広まりつつある。さらに、4K映像よりも高解像度な8K映像の登場が見込まれている。 In recent years, ultra-high resolution 4K video has been spreading. Furthermore, the appearance of 8K video with higher resolution than 4K video is expected.
映像処理においては、GPU(Graphics Processing Unit)などのハードウェア支援を受けることにより、処理時間を低減することが可能である。しかしながら、超高解像度の映像処理は、より多くの処理時間や計算リソースが必要である。テレビ電話などのように双方向でインタラクティブに超高解像度の映像を送受信する場合は、映像処理による遅延をできるだけ無くすことが望まれる。また、4K,8K用のハードウェアは、2K用のハードウェアよりもコストが高い。 In video processing, the processing time can be reduced by receiving hardware support such as GPU (Graphics Processing Unit). However, ultra-high resolution video processing requires more processing time and computational resources. When interactively transmitting and receiving ultra-high resolution video interactively, such as in videophones, it is desirable to eliminate delays due to video processing as much as possible. Also, 4K and 8K hardware is more expensive than 2K hardware.
動画を構成するフレームにはIフレーム,Pフレーム,Bフレームがある。超高解像度の動画の送信においては、データ量が多いIフレームを送信する際にバーストトラフィックが発生する可能性がある。バーストトラフィックが発生した場合、ネットワーク上の機器で制御が行われ、想定しない遅延やパケットロスが発生し、配信する映像の品質に影響を及ぼす可能性がある。 There are an I frame, a P frame, and a B frame as a frame constituting the moving image. In transmission of an ultra-high resolution moving image, burst traffic may occur when an I frame with a large amount of data is transmitted. When burst traffic occurs, control is performed by devices on the network, and unexpected delay and packet loss may occur, which may affect the quality of video to be distributed.
本発明は、上記に鑑みてなされたものであり、超高解像度映像の処理時間の低減及び伝送時のバーストトラフィックの発生の抑止を図ることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to reduce the processing time of ultra-high resolution video and to suppress the generation of burst traffic during transmission.
第1の本発明に係る映像処理方法は、映像を符号化して送信する映像送信装置と符号化された映像を復号する映像受信装置による映像処理方法であって、前記映像送信装置による、映像を入力して1つのフレームを複数のフレームに分割するステップと、前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出するステップと、を有し、前記映像受信装置による、前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得するステップと、前記タイムスタンプが同じフレームを結合して前記1つのフレームを生成するステップと、を有することを特徴とする。 A video processing method according to a first aspect of the present invention is a video processing method by a video transmission device that encodes and transmits a video and a video reception device that decodes the encoded video, wherein the video by the video transmission device And inputting and dividing one frame into a plurality of frames, and encoding each of the plurality of frames to give the same time stamp and transmitting a plurality of divided video packets. A step of decoding the plurality of video packets by the video reception device to obtain the plurality of frames and the time stamp; and a step of combining the frames having the same time stamp to generate the one frame. It is characterized by having.
上記映像処理方法において、前記複数の映像のパケットを送出するステップは、符号化後のデータ量が大きいパケットを前記複数の映像間でずらして送出することを特徴とする。 In the video processing method, the step of transmitting the plurality of video packets includes transmitting a packet having a large amount of encoded data while shifting between the plurality of videos.
第2の本発明に係る映像処理システムは、映像を符号化して伝送する送信装置と符号化された映像を復号する受信装置を備えた映像処理システムであって、前記送信装置は、映像を入力して1つのフレームを複数のフレームに分割する分割手段と、前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、を有し、前記受信装置による、前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得する複数のデコード手段と、前記タイムスタンプが同じフレームを結合して前記1つのフレームを生成する結合手段と、を有することを特徴とする。 A video processing system according to a second aspect of the present invention is a video processing system including a transmission device that encodes and transmits a video and a reception device that decodes the encoded video. The transmission device inputs video. Dividing means for dividing one frame into a plurality of frames, a plurality of encoding means for encoding each of the plurality of frames, giving the same time stamp, and transmitting a plurality of divided video packets; A plurality of decoding means for decoding each of the plurality of video packets by the receiving device to obtain the plurality of frames and the time stamp, and combining the frames having the same time stamp Coupling means for generating a frame.
第3の本発明に係る映像送信装置は、映像を符号化して送信する映像送信装置であって、映像を入力して1つのフレームを複数のフレームに分割する分割手段と、前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、を有することを特徴とする。 A video transmission device according to a third aspect of the present invention is a video transmission device that encodes and transmits a video, a dividing unit that inputs video and divides one frame into a plurality of frames, And a plurality of encoding means for encoding each of them, giving the same time stamp, and transmitting a plurality of divided video packets.
本発明によれば、超高解像度映像の処理時間の低減及び伝送時のバーストトラフィック発生の抑止を図ることができる。 According to the present invention, it is possible to reduce the processing time of ultra-high resolution video and suppress the occurrence of burst traffic during transmission.
以下、本発明実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本実施形態のメディア同期伝送システムの構成を示す全体構成図である。 FIG. 1 is an overall configuration diagram showing the configuration of the media synchronous transmission system of the present embodiment.
本メディア同期伝送システムは、MMT送信器1とクライアント端末3を備える。MMT送信器1とクライアント端末3は、ネットワーク100を介して接続されている。
The media synchronous transmission system includes an
MMT送信器1は、カメラやマイク等の集信系機器から入力した映像・音声信号をエンコードし、MMTP(MPEG Media Transport Protocol)パケットに変換して送出する。MMT送信器1は、4K映像のフレームを2K映像の4つのフレームに分割したうえで、各2K映像のエンコード処理及びMMTPストリーム変換処理を並列に行う。
The
クライアント端末3は、MMTPパケットを受信し、映像・音声信号をデコードし、映像・音声を出力する。クライアント端末3は、各2K映像のMMTPパケットを個別にデコードし、デコードした各2K映像を結合して4K映像を表示する。各2K映像はMMTPパケット化して送出されるので、MMTにより同期が担保される。そのため、結合後の4K映像内のある領域だけ他の領域と時間が前後するようなズレや映像の乱れが発生することはない。
The
次に、MMT送信器1について説明する。
Next, the
図2は、本実施形態のMMT送信器1の構成を示す機能ブロック図である。同図に示すMMT送信器1は、分割部11と複数のエンコード部12A〜12Dを備える。
FIG. 2 is a functional block diagram showing the configuration of the
分割部11は、超高解像度の映像非圧縮データを入力し、複数の映像非圧縮データに分割する。例えば、外部の集信系機器からシリアルデジタルインタフェース(SDI)を介して4K(3840×2160)の映像非圧縮データを入力し、4つの2K(1920×1080)の映像非圧縮データに分割する。なお、超高解像度の映像を任意の大きさに分割してもよい。 The dividing unit 11 inputs video uncompressed data with ultra-high resolution and divides it into a plurality of video uncompressed data. For example, 4K (3840 × 2160) video uncompressed data is input from an external concentrator device via a serial digital interface (SDI) and divided into four 2K (1920 × 1080) video uncompressed data. Note that an ultra-high resolution video may be divided into arbitrary sizes.
エンコード部12A〜12Dは、分割部11によって分割された映像非圧縮データを入力して符号化し、分割後のフレームのそれぞれに同じタイムスタンプを付与したMMTPパケットを送出する。エンコード部12A〜12Dは、分割後の映像を結合する際に必要な表示位置の情報を含む制御情報も送出する。
The
エンコード部12A〜12Dのそれぞれを個別のハードウェアで構成し、並列処理することにより処理時間の短縮を図ることができる。また、エンコード部12A〜12Dを構成するハードウェアとして、より安価な2K映像用のハードウェアを用いることで、コストの低減を図ることができる。
Each of the
次に、クライアント端末3について説明する。
Next, the
図3は、本実施形態のクライアント端末3の構成を示す機能ブロック図である。同図に示すクライアント端末3は、複数のデコード部31A〜31Dと結合部32を備える。
FIG. 3 is a functional block diagram showing the configuration of the
デコード部31A〜31Dは、分割後の映像のMMTPパケットを受信して復号し、分割後の映像のフレーム及びタイムスタンプを取得する。
The
結合部32は、同じタイムスタンプの分割後の映像のフレームを結合し、超高解像度の映像を出力する。
The combining
デコード部31A〜31Dのそれぞれを個別のハードウェアで構成し、並列処理することにより処理時間の短縮を図ることができる。また、デコード部31A〜31Dを構成するハードウェアとして、より安価な2K映像用のハードウェアを用いることで、コストの低減を図ることができる。
Each of the
MMT送信器1及びクライアント端末3が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはMMT送信器1及びクライアント端末3が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
Each unit included in the
次に、分割後の映像のIフレームの送出タイミングについて説明する。 Next, the transmission timing of the I frame of the divided video will be described.
図4は、分割後の映像を伝送するのに必要な帯域の変化を示す図である。図中の実線は、Iフレームの送出タイミングをずらした場合に映像の伝送に必要な帯域の変化を示し、破線は、Iフレームの送出タイミングをずらさない場合に映像の伝送に必要な帯域の変化を示す。 FIG. 4 is a diagram illustrating a change in a band necessary for transmitting the divided video. The solid line in the figure indicates a change in the band necessary for video transmission when the I frame transmission timing is shifted, and the broken line indicates a change in the band necessary for video transmission when the I frame transmission timing is not shifted. Indicates.
Iフレームは、フレーム内だけで独立して符号化することによって得られるので、フレーム間予測を用いて符号化されたPフレームやBフレームよりも符号化後のデータのサイズが大きくなる。図4の実線で示すように、分割後の2K映像のIフレームの送出タイミングをずらすことにより、バーストトラフィックの発生を抑止し、ネットワーク100における遅延を軽減できる。例えば、エンコード部12A〜12Dがエンコードを開始するタイミングをずらすことで、各エンコード部12A〜12DがIフレームを送出するタイミングをずらすことができる。
Since the I frame is obtained by encoding independently only within the frame, the size of the encoded data is larger than that of the P frame or B frame encoded using inter-frame prediction. As shown by the solid line in FIG. 4, by shifting the transmission timing of the I frame of the 2K video after the division, the occurrence of burst traffic can be suppressed and the delay in the
以上説明したように、本実施の形態によれば、分割部11が超高解像度の映像非圧縮データを入力して複数の映像非圧縮データに分割し、エンコード部12A〜12Dのそれぞれが分割された映像非圧縮データを入力して符号化し、分割後の映像のそれぞれに同じタイムスタンプを付与したMMTPパケットを送出し、デコード部31A〜31Dのそれぞれが分割後の映像のMMTPパケットを受信して復号し、結合部32が同じタイムスタンプの分割後の映像のフレームを結合して超高解像度の映像を出力することにより、超高解像度映像の処理時間の低減を図ることができる。
As described above, according to the present embodiment, the dividing unit 11 inputs ultra-high resolution video uncompressed data and divides it into a plurality of video uncompressed data, and each of the
本実施の形態によれば、エンコード部12A〜12DのそれぞれがIフレームの送出タイミングをずらすことにより、バーストトラフィック発生の抑止を図ることができる。
According to the present embodiment, each of the
1…MMT送信器
11…分割部
12A〜12D…エンコード部
3…クライアント端末
31A〜31D…デコード部
32…結合部
DESCRIPTION OF
Claims (6)
前記映像送信装置による、
映像を入力して1つのフレームを複数のフレームに分割するステップと、
前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出するステップと、を有し、
前記映像受信装置による、
前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得するステップと、
前記タイムスタンプが同じフレームを結合して前記1つのフレームを生成するステップと、を有すること
を特徴とする映像処理方法。 A video processing method by a video transmission device that encodes and transmits a video and a video reception device that decodes the encoded video,
According to the video transmission device,
Inputting a video and dividing one frame into a plurality of frames;
Encoding each of the plurality of frames to give the same time stamp, and sending a plurality of divided video packets,
According to the video receiving device,
Respectively decoding the plurality of video packets to obtain the plurality of frames and the time stamp;
And combining the frames having the same time stamp to generate the one frame.
前記映像送信装置は、
映像を入力して1つのフレームを複数のフレームに分割する分割手段と、
前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、を有し、
前記映像受信装置による、
前記複数の映像のパケットをそれぞれ復号して前記複数のフレームと前記タイムスタンプを取得する複数のデコード手段と、
前記タイムスタンプが同じフレームを結合して前記1つのフレームを生成する結合手段と、を有すること
を特徴とする映像処理システム。 A video processing system comprising a video transmission device that encodes and transmits a video and a video reception device that decodes the encoded video,
The video transmission device includes:
Dividing means for inputting video and dividing one frame into a plurality of frames;
A plurality of encoding means for encoding each of the plurality of frames to give the same time stamp and transmitting a plurality of divided video packets;
According to the video receiving device,
A plurality of decoding means for respectively decoding the plurality of video packets to obtain the plurality of frames and the time stamp;
A video processing system comprising: a combining unit configured to combine the frames having the same time stamp to generate the one frame.
映像を入力して1つのフレームを複数のフレームに分割する分割手段と、
前記複数のフレームのそれぞれを符号化して同じタイムスタンプを付与し、分割された複数の映像のパケットを送出する複数のエンコード手段と、
を有することを特徴とする映像送信装置。 A video transmission device that encodes and transmits video,
Dividing means for inputting video and dividing one frame into a plurality of frames;
A plurality of encoding means for encoding each of the plurality of frames to give the same time stamp and sending a plurality of divided video packets;
A video transmission apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105699A JP6823540B2 (en) | 2017-05-29 | 2017-05-29 | Video processing method, video processing system and video transmission device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105699A JP6823540B2 (en) | 2017-05-29 | 2017-05-29 | Video processing method, video processing system and video transmission device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018201159A true JP2018201159A (en) | 2018-12-20 |
JP6823540B2 JP6823540B2 (en) | 2021-02-03 |
Family
ID=64667369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017105699A Active JP6823540B2 (en) | 2017-05-29 | 2017-05-29 | Video processing method, video processing system and video transmission device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6823540B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020145584A (en) * | 2019-03-06 | 2020-09-10 | 日本放送協会 | Transmitting apparatus, receiving apparatus and program |
CN112911346A (en) * | 2021-01-27 | 2021-06-04 | 北京淳中科技股份有限公司 | Video source synchronization method and device |
WO2022254798A1 (en) * | 2021-06-03 | 2022-12-08 | ソニーグループ株式会社 | Signal processing system and signal processing method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002353922A (en) * | 2001-05-29 | 2002-12-06 | Toshiba Corp | Digital broadcast program repeating and transmitting system |
JP2004015318A (en) * | 2002-06-05 | 2004-01-15 | Fujitsu Ltd | Information transmission system having system clock synchronizing means, and information transmission apparatus thereof |
JP2010148091A (en) * | 2008-12-19 | 2010-07-01 | Korea Electronics Telecommun | Ultrahigh clear disk recording apparatus, reproduction apparatus, and its control method |
JP2013141074A (en) * | 2011-12-28 | 2013-07-18 | Jvc Kenwood Corp | Image pickup device |
WO2013140485A1 (en) * | 2012-03-17 | 2013-09-26 | 富士通株式会社 | Encoding device, decoding device, encoding method, and decoding method |
WO2015001947A1 (en) * | 2013-07-05 | 2015-01-08 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
JP2015061316A (en) * | 2013-09-20 | 2015-03-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Transmission method, reception method, transmission device, and reception device |
WO2015107409A1 (en) * | 2014-01-14 | 2015-07-23 | Thomson Licensing | Method and apparatus for multiplexing layered coded contents |
-
2017
- 2017-05-29 JP JP2017105699A patent/JP6823540B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002353922A (en) * | 2001-05-29 | 2002-12-06 | Toshiba Corp | Digital broadcast program repeating and transmitting system |
JP2004015318A (en) * | 2002-06-05 | 2004-01-15 | Fujitsu Ltd | Information transmission system having system clock synchronizing means, and information transmission apparatus thereof |
JP2010148091A (en) * | 2008-12-19 | 2010-07-01 | Korea Electronics Telecommun | Ultrahigh clear disk recording apparatus, reproduction apparatus, and its control method |
JP2013141074A (en) * | 2011-12-28 | 2013-07-18 | Jvc Kenwood Corp | Image pickup device |
WO2013140485A1 (en) * | 2012-03-17 | 2013-09-26 | 富士通株式会社 | Encoding device, decoding device, encoding method, and decoding method |
WO2015001947A1 (en) * | 2013-07-05 | 2015-01-08 | ソニー株式会社 | Transmission device, transmission method, reception device, and reception method |
JP2015061316A (en) * | 2013-09-20 | 2015-03-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | Transmission method, reception method, transmission device, and reception device |
WO2015107409A1 (en) * | 2014-01-14 | 2015-07-23 | Thomson Licensing | Method and apparatus for multiplexing layered coded contents |
Non-Patent Citations (1)
Title |
---|
"映像同期化装置を用いたマルチチャネル映像符号化伝送システムの開発", 電子情報通信学会技術研究報告, vol. 102, no. 468, JPN6019012834, 14 November 2002 (2002-11-14), pages 7 - 12, ISSN: 0004278751 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020145584A (en) * | 2019-03-06 | 2020-09-10 | 日本放送協会 | Transmitting apparatus, receiving apparatus and program |
JP7338992B2 (en) | 2019-03-06 | 2023-09-05 | 日本放送協会 | Transmitting device, receiving device, and program |
CN112911346A (en) * | 2021-01-27 | 2021-06-04 | 北京淳中科技股份有限公司 | Video source synchronization method and device |
WO2022254798A1 (en) * | 2021-06-03 | 2022-12-08 | ソニーグループ株式会社 | Signal processing system and signal processing method |
Also Published As
Publication number | Publication date |
---|---|
JP6823540B2 (en) | 2021-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101967818B1 (en) | Receiver and the receiving method thereof | |
JP2014523207A (en) | Wireless 3D streaming server | |
KR102464061B1 (en) | Method and device for sending and receiving media data | |
US11558654B2 (en) | System and method for operating a transmission network | |
CN103686203A (en) | Video transcoding method and device | |
JP2019024222A (en) | Decoding device, reception device, transmission device, transmission/reception system, decoding method, and storage medium storing decoding program | |
JP6823540B2 (en) | Video processing method, video processing system and video transmission device | |
US20230096562A1 (en) | Method and system for transmitting and reproducing video of dynamic bitrate with a plurality of channels | |
CN113938470A (en) | Method and device for playing RTSP data source by browser and streaming media server | |
JP5881219B2 (en) | Receiver capable of channel change with a single decoder and method at the receiver | |
US20110085023A1 (en) | Method And System For Communicating 3D Video Via A Wireless Communication Link | |
JP5854208B2 (en) | Video content generation method for multistage high-speed playback | |
CN113645485A (en) | Method and device for realizing conversion from any streaming media protocol to NDI (network data interface) | |
JP6251834B2 (en) | Broadcast signal receiving apparatus, broadcast signal receiving method, television receiver, control program, and recording medium | |
JP2011004015A (en) | Playback device and content playback method | |
US20170230672A1 (en) | Method for buffering media transport stream in heterogeneous network environment and image receiving apparatus using the same | |
CN114189727B (en) | Synchronous playing method, device, system, electronic equipment and readable storage medium | |
JP2015177440A (en) | Moving image transmission system, moving image encoder, moving image decoder, computer program for coding moving image, and computer program for decoding moving image | |
KR100952309B1 (en) | High definition image broadcasting method and system of the same | |
JP2013247582A (en) | Video composition method, video recording method, video composition device, video recording device, and video display system | |
JP6251835B2 (en) | Broadcast signal transmission / reception system and broadcast signal transmission / reception method | |
JP6374054B2 (en) | Broadcast signal receiving apparatus, television receiver, control program, recording medium, and broadcast signal receiving method | |
JP6341810B2 (en) | Broadcast signal transmission / reception system and broadcast signal transmission / reception method | |
JP2016012831A (en) | Video voice signal transmission device, reception device, and method | |
JP2014060625A (en) | Video signal transmission method, video signal receiver, and video signal reception method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190701 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200323 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200323 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200331 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200402 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200605 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200609 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200729 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200826 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201007 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20201126 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201225 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6823540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |