JP2021061619A - 映像受信方法、映像送信方法、映像受信装置及び映像送信装置 - Google Patents

映像受信方法、映像送信方法、映像受信装置及び映像送信装置 Download PDF

Info

Publication number
JP2021061619A
JP2021061619A JP2020209106A JP2020209106A JP2021061619A JP 2021061619 A JP2021061619 A JP 2021061619A JP 2020209106 A JP2020209106 A JP 2020209106A JP 2020209106 A JP2020209106 A JP 2020209106A JP 2021061619 A JP2021061619 A JP 2021061619A
Authority
JP
Japan
Prior art keywords
video
dynamic range
signal
information
characteristic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020209106A
Other languages
English (en)
Other versions
JP6982814B2 (ja
Inventor
遠間　正真
Tadamasa Toma
正真 遠間
西　孝啓
Takahiro Nishi
孝啓 西
賀敬 井口
Yoshitaka Iguchi
賀敬 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016101979A external-priority patent/JP6820507B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2021061619A publication Critical patent/JP2021061619A/ja
Priority to JP2021180463A priority Critical patent/JP7233029B2/ja
Application granted granted Critical
Publication of JP6982814B2 publication Critical patent/JP6982814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】適切な映像を表示する。【解決手段】表示部１０５を備える映像受信装置１００における映像受信方法であって、映像信号と音声信号とが多重化された受信信号１１１を受信する受信ステップ（Ｓ１１１）と、受信信号１１１を逆多重化することで、映像信号１１２と、映像信号１１２の輝度ダイナミックレンジに対応する伝達関数を特定するための第１伝達特性情報１１３を取得する逆多重化ステップ（Ｓ１１２Ａ）と、取得された映像信号１１２を復号することで映像データ１１４を取得する復号ステップ（Ｓ１１３）とを含み、伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数を特定するための情報である。【選択図】図１５

Description

本発明は、映像受信方法、映像送信方法、映像受信装置及び映像送信装置に関する。
従来の映像における暗部階調を維持しつつ、現行のＴＶ信号では表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するために最大輝度値を拡大した輝度範囲に対応させた方式として、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）が注目されている。具体的には、これまでのＴＶ信号が対応している輝度範囲の方式は、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）と呼ばれ、最大輝度値が１００ｎｉｔであったのに対して、ＨＤＲでは１０００ｎｉｔ以上まで最大輝度値を拡大することが想定されている。
ＡＲＩＢ ＳＴＡＮＤＡＲＤ ＡＲＩＢ ＳＴＤ−Ｂ６７ Ｖｅｒｓｉｏｎ １．０ Ｊｕｌｙ ３， ２０１５
このような、複数の輝度ダイナミックレンジに対応した映像信号の送信又は受信においては、受信装置において、より適切な映像を表示できることが望まれている。
そこで、本発明は、適切な映像を表示できる映像受信方法、映像送信方法、映像受信装置又は映像送信装置を提供することを目的とする。
本発明の一態様に係る映像受信方法は、映像受信装置における映像受信方法であって、映像信号と音声信号とが多重化された受信信号を受信する受信ステップと、前記受信信号を逆多重化することで、前記映像信号と、前記映像信号の輝度ダイナミックレンジに対応する伝達関数を特定するための伝達特性情報と、伝達関数が切り替わるランダムアクセス単位を示す情報とを取得する逆多重化ステップと、取得された前記映像信号を復号することで映像データを取得する復号ステップとを含み、前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、前記第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数を特定するための情報である。
本発明の一態様に係る映像送信方法は、映像データを符号化することで映像信号を生成する符号化ステップと、生成された前記映像信号と音声信号とを多重化することで、前記映像信号の輝度ダイナミックレンジに対応する伝達関数を特定するための伝達特性情報と、伝達関数が切り替わるランダムアクセス単位を示す情報とを含む送信信号を生成する多重化ステップと、前記送信信号を送信する送信ステップとを含み、前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、前記第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数を特定するための情報である。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明は、適切な映像を表示できる映像受信方法、映像送信方法、映像受信装置又は映像送信装置を提供できる。
図１は、実施の形態１に係る映像受信装置のブロック図である。 図２は、実施の形態１に係る表示制御部による処理のフローチャートである。 図３は、実施の形態１に係る映像受信処理のフローチャートである。 図４は、実施の形態１に係る伝達特性変化時の動作を示す図である。 図５は、実施の形態１に係る伝達特性変化時の動作を示す図である。 図６は、実施の形態１に係る映像送信装置のブロック図である。 図７は、実施の形態１に係る映像送信処理のフローチャートである。 図８は、実施の形態２に係る伝達特性変化時の異常動作を示す図である。 図９は、実施の形態２に係る映像受信装置のブロック図である。 図１０は、実施の形態１に係る表示制御部による処理のフローチャートである。 図１１は、実施の形態３に係るタイムスタンプ記述子の一例を示す図である。 図１２は、実施の形態３に係る拡張タイムスタンプ記述子の一例を示す図である。 図１３は、実施の形態３に係る映像コンポーネント記述子の一例を示す図である。 図１４は、実施の形態３に係る表示制御部による処理のフローチャートである。 図１５は、実施の形態３に係る映像受信処理のフローチャートである。
（本発明の基礎となった知見）
映像信号のＯＥＴＦ（Ｏｐｔｉｃａｌ−Ｅｌｅｃｔｒｏ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：光電伝達関数）又はＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：電光伝達関数）は、例えば、映像符号化標準のＩＴＵ−Ｔ Ｈ．２６５｜ＩＳＯ／ＩＥＣ ２３００８−２ ＨＥＶＣでは、Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ（ＳＰＳ）中のＶｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ＶＵＩ）において、ｔｒａｎｓｆｅｒ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ（伝達特性）というシンタクスにより通知される。このＳＰＳの伝達特性を用いると、フレーム精度で伝達特性（伝達関数）の切り替わりを通知することができる。映像受信装置は伝達特性に基づいて、映像表示部の制御方法を決定する。
テレビ放送など映像信号と音響信号とを多重化して伝送する際に用いられるＭＰＥＧ−２ ＴＳ（トランスポートストリーム）標準では、上記ＳＰＳに含まれるパラメータ及びパラメータに関連する情報を、Ｐｒｏｇｒａｍ−ｓｐｅｃｉｆｉｃ ｉｎｆｏｒｍａｔｉｏｎ（ＰＳＩ）のＤｅｓｃｒｉｐｔｏｒ（記述子）に記載し、より上位の層で映像受信装置の動作に関係する情報を通知する方法が知られている。伝達特性についても、ＰＳＩの記述子を利用することで、映像受信装置はより簡単に映像表示部の制御方法を決定できる。一般的に、ＰＳＩは一定周期で多重化ストリームに挿入されるため、映像信号のフレームとは同期していない。なお、ＭＰＥＧ−Ｈ ＭＭＴ標準では、ＰＳＩと同様の仕組みがＭＭＴ−ＳＩとして規定されている。
伝達特性は、ＩＴＵ−Ｒ ＢＴ．２０２０（以下、ＢＴ．２０２０）、ＡＲＩＢ ＳＴＤ−Ｂ６７（以下、ＳＴＤ−Ｂ６７）、及びＳＭＰＴＥ ＳＴ２０８４（以下、ＳＴ２０８４）などで規定されている。ＳＴＤ−Ｂ６７及びＳＴ２０８４は、高ダイナミックレンジ（ＨＤＲ）と呼ばれる、従来のＢＴ．２０２０より１０倍から１００倍の高輝度を含む映像信号を扱うことができる。ＨＤＲに対し、従来のＢＴ．２０２０などは標準ダイナミックレンジ（ＳＤＲ）と呼ばれる。
ＨＤＲに対応したテレビ放送では、番組毎又はコマーシャル毎にＨＤＲとＳＤＲとが混在する可能性がある。このため映像受信装置は、ＨＤＲかＳＤＲかに応じて表示部の制御を切り替えて動作する必要がある。
本発明の一態様に係る映像受信方法は、表示部を備える映像受信装置における映像受信方法であって、映像信号と音声信号とが多重化された受信信号を受信する受信ステップと、前記受信信号を逆多重化することで、前記映像信号と、前記映像信号の輝度ダイナミックレンジに対応する伝達関数をランダムアクセス単位毎に特定するための伝達特性情報とを取得する逆多重化ステップと、取得された前記映像信号を復号することで映像データを取得する復号ステップと、前記伝達特性情報に応じてランダムアクセス単位毎に前記表示部の輝度ダイナミックレンジを制御しながら前記映像データを表示する表示ステップとを含む。
これにより、ランダムアクセス単位毎に表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。また、映像受信装置は、多重化レイヤに含まれる伝達特性情報を用いることで、映像信号の復号に先立って伝達特性を取得できるので、伝達特性の切り替え処理を容易に行うことができる。
例えば、前記伝達特性情報は、前記受信信号に含まれるランダムアクセス単位毎の制御情報に含まれてもよい。
例えば、前記伝達特性情報は、前記受信信号に含まれる、複数のランダムアクセス単位を含むプログラムの制御情報に含まれてもよい。
例えば、前記伝達特性情報は、現在の伝達関数を特定するための第１情報と、前記プログラム内において伝達関数が切り替わるか否かを示す第２情報と、切り替わり後の伝達関数を特定するための第３情報と、伝達関数の切り替えを行うランダムアクセス単位を特定するための第４情報とを含んでもよい。
例えば、前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数をフレーム精度で特定するための情報であり、前記表示ステップでは、前記表示部の輝度ダイナミックレンジを前記第１輝度ダイナミックレンジと前記第２輝度ダイナミックレンジとで切り替えてもよい。
例えば、前記映像受信方法は、さらに、前記受信ステップにおいて、映像データを正しく取得できたかを判定する判定ステップを含み、前記表示ステップでは、前記判定ステップにおいて映像データを正しく取得できなかったと判定された場合、前記表示部の輝度ダイナミックレンジを前記第１輝度ダイナミックレンジに設定してもよい。
これにより、エラー発生時に過度に明るい映像が表示されることを抑制できる。
例えば、前記判定ステップでは、前記判定として、イントラ符号化フレームを正しく復号できたかを判定してもよい。
例えば、前記映像信号は、第１解像度又は前記第１解像度より高い第２解像度の映像信号であり、前記映像受信方法は、さらに、前記映像信号の解像度が第１解像度と第２解像度との間で切り替わる場合には、前記第１解像度の映像信号を前記第２解像度の映像信号に変換する変換ステップを含んでもよい。
これにより、解像度の切り替わりの発生を抑制できる。
例えば、前記映像受信方法は、さらに、前記映像信号の解像度が前記受信信号の放送サービスで規定されている最大解像度より低い場合、当該映像信号の解像度を前記最大解像度に変換する変換ステップを含んでもよい。
これにより、解像度の切り替わりの発生を抑制できる。
また、本発明の一態様に係る映像送信方法は、映像データを符号化することで映像信号を生成する符号化ステップと、生成された前記映像信号と音声信号とを多重化することで、前記映像信号の輝度ダイナミックレンジに対応する伝達関数をランダムアクセス単位毎に特定するための伝達特性情報前を含む送信信号を生成する多重化ステップと、前記送信信号を送信する送信ステップとを含む。
これにより、当該映像送信方法により生成された信号を受信する映像受信装置は、ランダムアクセス単位毎に表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。また、映像受信装置は、多重化レイヤに含まれる伝達特性情報を用いることで、映像信号の復号に先立って伝達特性を取得できるので、伝達特性の切り替え処理を容易に行うことができる。
例えば、前記伝達特性情報は、前記送信信号に含まれるランダムアクセス単位毎の制御情報に含まれてもよい。
例えば、前記伝達特性情報は、前記送信信号に含まれる複数ランダムアクセス単位毎の制御情報に含まれてもよい。
例えば、前記伝達特性情報は、現在の伝達関数を特定するための第１情報と、当該複数ランダムアクセス単位において伝達関数が切り替わるか否かを示す第２情報と、切り替わり後の伝達関数を特定するための第３情報と、伝達関数の切り替えを行うランダムアクセス単位を特定するための第４情報とを含んでもよい。
例えば、前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数をフレーム精度で特定するための情報であり、前記表示ステップでは、前記表示部の輝度ダイナミックレンジを前記第１輝度ダイナミックレンジと前記第２輝度ダイナミックレンジとで切り替えてもよい。
また、本発明の一態様に係る映像受信装置は、映像信号と音声信号とが多重化された受信信号を受信する受信部と、前記受信信号を逆多重化することで、前記映像信号と、前記映像信号の輝度ダイナミックレンジに対応する伝達関数をランダムアクセス単位毎に特定するための伝達特性情報とを取得する逆多重化部と、取得された前記映像信号を復号することで映像データを取得する復号部と、前記伝達特性情報に応じてランダムアクセス単位毎に輝度ダイナミックレンジを制御しながら前記映像データを表示する表示部とを備える。
これにより、映像受信装置は、ランダムアクセス単位毎に表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。また、映像受信装置は、多重化レイヤに含まれる伝達特性情報を用いることで、映像信号の復号に先立って伝達特性を取得できるので、伝達特性の切り替え処理を容易に行うことができる。
また、本発明の一態様に係る映像送信装置は、映像データを符号化することで映像信号を生成する符号化部と、生成された前記映像信号と音声信号とを多重化することで、前記映像信号の輝度ダイナミックレンジに対応する伝達関数をランダムアクセス単位毎に特定するための伝達特性情報前を含む送信信号を生成する多重化部と、前記送信信号を送信する送信部とを備える。
これにより、当該映像送信装置により生成された信号を受信する映像受信装置は、ランダムアクセス単位毎に表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。また、映像受信装置は、多重化レイヤに含まれる伝達特性情報を用いることで、映像信号の復号に先立って伝達特性を取得できるので、伝達特性の切り替え処理を容易に行うことができる。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
本実施の形態に係る映像受信装置は、フレーム精度で伝達特性を示す伝達特性情報を用いて、フレーム精度で表示部の輝度ダイナミックレンジの制御を行う。これにより、当該映像受信装置は、より適切な映像を表示できる。
まず、本実施の形態に係る映像受信装置の構成を説明する。図１は、本実施の形態に係る映像受信装置１００のブロック図である。映像受信装置１００は、例えば、テレビ等であり、放送波により送信された受信信号１１１を受信し、受信した受信信号１１１に基づく映像を表示する。映像受信装置１００は、受信部１０１と、逆多重化部１０２と、映像復号部１０３と、表示制御部１０４と、表示部１０５とを備える。
受信部１０１は、受信信号１１１を受信する。受信信号１１１は、映像信号と音声信号とが多重化されたシステムストリームである。
逆多重化部１０２は、受信信号１１１を逆多重化（システム復号）することで、映像ストリームである映像信号１１２を生成する。また、逆多重化部１０２は、受信信号１１１に含まれるデスクリプタ等から取得した伝達特性を、第１伝達特性情報１１３として出力する。つまり、第１伝達特性情報１１３は、多重化レイヤ（Ｍｕｌｔｉｐｌｅｘｉｎｇ Ｌａｙｅｒ）に含まれる。
映像復号部１０３は、映像信号１１２を復号することで映像データ１１４を生成する。また、映像復号部１０３は、ＳＰＳから取得した伝達特性を、第２伝達特性情報１１５として出力する。つまり、第２伝達特性情報１１５は、映像符号化レイヤ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）に含まれる。
この第２伝達特性情報１１５は、映像データ１１４の輝度ダイナミックレンジに対応するフレーム精度での伝達関数（ＯＥＴＦ又はＥＯＴＦ）を特定するための情報である。例えば、この第２伝達特性情報１１５は、第１輝度ダイナミックレンジ（ＳＤＲ）に対応した第１伝達関数、又は、第１輝度ダイナミックレンジより広い第２ダイナミックレンジ（ＨＤＲ）に対応した第２伝達関数をフレーム精度で特定するための情報である。つまり、第２伝達特性情報１１５は、映像データ１１４がＳＤＲであるかＨＤＲであるかを示す。また、ＨＤＲに複数の形式が存在する場合には、第２伝達特性情報１１５は、どの形式のＨＤＲであるかを示してもよい。つまり、第２伝達特性情報１１５は、映像データ１１４の輝度ダイナミックレンジを示し、例えば、予め定められた複数の輝度ダイナミックレンジのうちのいずれかを示す。
また、ＳＰＳとは、映像信号１１２に含まれる、シーケンス単位（複数フレーム単位）の制御情報である。
表示制御部１０４は、第１伝達特性情報１１３及び第２伝達特性情報１１５に応じて、表示部１０５を制御する制御情報１１６を生成する。
表示部１０５は、制御情報１１６（つまり第１伝達特性情報１１３及び第２伝達特性情報１１５）に応じてフレーム精度で輝度ダイナミックレンジを制御しながら映像データ１１４を表示する。この表示部１０５は、映像特性変換部１０６と、表示デバイス１０７とを備える。
映像特性変換部１０６は、制御情報１１６に応じて、映像データ１１４を変換することで入力信号１１７を生成する。具体的には、映像特性変換部１０６は、第１伝達特性情報１１３又は第２伝達特性情報１１５で示される伝達関数を用いて、映像データ１１４を入力信号１１７に変換する。
表示デバイス１０７は、例えば、液晶パネルであり、制御情報１１６に応じて、表示する映像の輝度ダイナミックレンジを変更する。例えば、表示デバイス１０７が液晶パネルの場合には、表示デバイス１０７は、バックライトの最高輝度を変更する。
次に、映像受信装置１００の動作を説明する。なお、図１では、第１伝達特性情報１１３及び第２伝達特性情報１１５の両方を用いる構成を記載しているが、少なくとも第２伝達特性情報１１５が用いられればよい。以下、第２伝達特性情報１１５を用いた制御について詳細に説明する。
図２は、表示制御部１０４による表示制御処理のフローチャートである。なお、図２に示す処理は、フレーム単位、又は第２伝達特性情報１１５が変更される毎に行われる。
まず、表示制御部１０４は、第２伝達特性情報１１５によりＳＤＲ及びＨＤＲのいずれか示されるかを判定する（Ｓ１０１）。
第２伝達特性情報１１５によりＨＤＲが示される場合（Ｓ１０１でＹｅｓ）、表示制御部１０４は、ＨＤＲ表示用の制御情報１１６を出力する（Ｓ１０２）。これにより、表示部１０５は、ＨＤＲに対応する輝度ダイナミックレンジで映像を表示する。
一方、第２伝達特性情報１１５によりＳＤＲが示される場合（Ｓ１０１でＮｏ）、表示制御部１０４は、ＳＤＲ表示用の制御情報１１６を出力する（Ｓ１０３）。これにより、表示部１０５は、ＳＤＲに対応する輝度ダイナミックレンジで映像を表示する。
このように、フレーム精度で通知される第２伝達特性情報１１５に応じて制御情報１１６を切り替えることで、伝達特性の切り替わりと表示部１０５の制御とをフレーム精度で同期できる。
なお、複数のＨＤＲ方式（例えば、ＳＴＤ−Ｂ６７及びＳＴ２０８４）が存在する場合には、ＨＤＲ表示用の制御情報１１６に、ＨＤＲ方式の識別情報が含まれてもよい。これにより、表示部１０５は、対応する方式の輝度ダイナミックレンジで映像を表示できる。
図３は、映像受信装置１００による映像受信処理のフローチャートである。まず、受信部１０１は、受信信号１１１を受信する（Ｓ１１１）。次に、逆多重化部１０２は、受信信号１１１を逆多重化することで、映像信号１１２を生成する（Ｓ１１２）。次に、映像復号部１０３は、映像信号１１２を復号することで映像データ１１４を生成するとともに、第２伝達特性情報１１５を取得する（Ｓ１１３）。
次に、表示制御部１０４は、第２伝達特性情報１１５に応じて表示部１０５の輝度ダイナミックレンジを制御する。具体的には、表示制御部１０４は、第２伝達特性情報１１５に基づき、各フレームがＨＤＲであるかＳＤＲであるかをフレーム精度で判定する（Ｓ１１４）。ＨＤＲである場合には（Ｓ１１４でＹｅｓ）、表示部１０５はＨＤＲの輝度ダイナミックレンジで映像を表示する（Ｓ１１５）。ＳＤＲである場合には（Ｓ１１４でＮｏ）、表示部１０５はＳＤＲの輝度ダイナミックレンジで映像を表示する（Ｓ１１６）。
図４は、ＳＤＲ番組からＨＤＲ番組への切り替え時の様子を示す図である。図５は、ＨＤＲ番組からＳＤＲ番組への切り替え時の様子を示す図である。図４及び図５に示すように、上記処理により、フレーム精度でＳＤＲとＨＤＲとの切り替えを適切に行うことができる。
以下、上述した受信信号１１１に対応する送信信号２１２を生成する映像送信装置２００について説明する。図６は、本実施の形態に係る映像送信装置２００のブロック図である。図６に示す映像送信装置２００は、生成部２０１と、送信部２０２とを備える。
生成部２０１は、映像データと、当該映像データの輝度ダイナミックレンジに対応する伝達関数をフレーム精度で特定するための第２伝達特性情報とを含む送信信号２１２を生成する。生成部２０１は、映像符号化部２０３と、多重化部２０４とを含む。
図７は、映像送信装置２００による映像送信処理のフローチャートである。まず、映像符号化部２０３は、映像データと第２伝達特性情報とを符号化することで映像信号２１１を生成する（Ｓ２０１）。この第２伝達特性情報は、上述した第２伝達特性情報１１５に対応し、第１輝度ダイナミックレンジ（例えばＳＤＲ）に対応した第１伝達関数、又は、第１輝度ダイナミックレンジより広い第２ダイナミックレンジ（例えばＨＤＲ）に対応した第２伝達関数をフレーム精度で特定するための情報である。また、第２伝達特性情報は、映像信号２１１に含まれるＳＰＳ内に格納される。
次に、多重化部２０４は、符号化された映像信号２１１と音声信号とを多重化することで送信信号２１２を生成する（Ｓ２０２）。次に、送信部２０２は、生成された送信信号２１２を送信する（Ｓ２０３）。
以上により、映像送信装置２００は、フレーム精度で伝達関数を特定するための第２伝達特性情報を含む送信信号２１２を生成する。これにより、送信信号２１２を受信する映像受信装置は、フレーム精度で表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。
（実施の形態２）
ＴＶ放送では、地上波又は衛星などの電波状況によってエラーが発生する場合がある。図８は、電波障害等のより受信エラーが発生した場合の様子を示す図である。図８に示すように、ＳＤＲからＨＤＲへの切り替わり時において、映像受信装置がＳＰＳ内の第２伝達特性情報１１５を取得後に、電波障害等により、映像ストリームが欠落し、ＨＤＲの最初のフレームが取得できない場合を想定する。この場合、映像復号部１０３は、エラー隠蔽のために直前のフレームを引き続き表示する。つまり、ＳＤＲ番組のフレームが繰り返し表示される。
この場合、このフレームが後続のフレームから参照されることで、後続の映像として、過去の番組の映像が混じった異常な映像が表示されてしまう。
また、切り替え直後においては、表示部の輝度ダイナミックレンジがＨＤＲに設定されるため、ＳＤＲ番組のフレームがＨＤＲの輝度ダイナミックレンジで表示されてしまう。これにより、本来の意図よりも高輝度の映像が表示されるという問題がある。
本実施の形態ではこの問題に対応した映像受信装置について説明する。図９は、本実施の形態に係る映像受信装置１００Ａのブロック図である。図９に示す映像受信装置１００Ａは、図１に示す映像受信装置１００に対して、さらに、異常検知部１０８と、表示部１０５Ａ内のメッセージ重畳部１０９とを備える。また、表示制御部１０４Ａに機能が追加されている。
異常検知部１０８は、映像データ１１４（映像信号１１２）を正しく取得できたかを判定する。具体的には、異常検知部１０８は、パケットのシーケンス番号に基づいてパケットロスを検出するとともに、パケットのペイロードを解析してフレームデータの開始位置を取得することで、フレームデータを全て取得したか（正常）、フレームデータの一部のみを取得したか（異常）を判定する。また、異常検知部１０８は、判定結果を示す異常通知情報１１８を表示制御部１０４Ａに出力する。つまり、異常が発生したこと、又は、異常が発生したフレームを特定するための情報が表示制御部１０４Ａに通知される。
表示制御部１０４Ａは、第１伝達特性情報１１３及び第２伝達特性情報１１５に加え、異常通知情報１１８に応じて、制御情報１１６及びメッセージ１１９を生成する。具体的には、表示制御部１０４Ａは、異常がある場合に、異常があることを示すメッセージ１１９を生成するとともに、ＳＤＲ表示用の制御情報１１６を生成する。
メッセージ重畳部１０９は、制御情報１１６及びメッセージ１１９に応じて、映像データ（入力信号１１７）にメッセージ１１９を重畳することで入力信号１２０を生成し、生成した入力信号１２０を表示デバイス１０７に出力する。これにより、例えば、「エラーが発生しました」などのメッセージが表示デバイス１０７に表示されることで、機器の故障でないことを視聴者に伝えることができる。
図１０は、表示制御部１０４Ａのよる表示制御処理のフローチャートである。まず、表示制御部１０４Ａは、第２伝達特性情報１１５が更新されたかを判定する（Ｓ１２１）。第２伝達特性情報１１５が更新された場合（Ｓ１２１でＹｅｓ）、表示制御部１０４Ａは、表示制御の切り替えの判断を開始する。
まず、表示制御部１０４Ａは、映像データを正しく取得できたかを判定する。具体的には、表示制御部１０４Ａは、異常通知情報１１８に基づきイントラ符号化フレームが正常に復号されたかを判定する（Ｓ１２２）。イントラ符号化フレームが正常に復号されていない場合（Ｓ１２２でＮｏ）、表示制御部１０４Ａは、表示制御部１０４は、ＳＤＲ表示用の制御情報１１６を出力する（Ｓ１２３）。これにより、表示部１０５は、ＳＤＲに対応する輝度ダイナミックレンジで映像を表示する。つまり、表示制御部１０４Ａは、映像データを正しく取得できなかったと判定された場合、表示部１０５の輝度ダイナミックレンジをＳＤＲ（第１輝度ダイナミックレンジ）に設定する。
切り替え時においてエラーが発生した場合には、表示されるフレームに切替え前のフレームの画素が含まれる可能性がある。これに対して、本実施の形態では、このような場合に、表示制御をＳＤＲ表示用に設定することで、ＳＤＲ番組のフレームがＨＤＲの高輝度設定で表示されることを抑制できる。
また、ＨＥＶＣのＩＤＲ又はＣＲＡなど、飛び込み再生を保証しているイントラ符号化フレームが正常に復号された場合（Ｓ１２２でＹｅｓ）、実施の形態１と同様に表示制御を切り替える。つまり、表示制御部１０４Ａは、更新後の第２伝達特性情報１１５によりＳＤＲ及びＨＤＲのいずれか示されるかを判定する（Ｓ１２４）。第２伝達特性情報１１５によりＨＤＲが示される場合（Ｓ１２４でＹｅｓ）、表示制御部１０４Ａは、ＨＤＲ表示用の制御情報１１６を出力する（Ｓ１２５）。一方、第２伝達特性情報１１５によりＳＤＲが示される場合（Ｓ１２４でＮｏ）、表示制御部１０４Ａは、ＳＤＲ表示用の制御情報１１６を出力する（Ｓ１２６）。
このように、本実施の形態に係る映像受信装置１００Ａは、エラー発生時にＳＤＲの輝度ダイナミックレンジで映像を表示することで、エラー発生時に過度に明るい映像が表示されることを抑制できる。
（実施の形態３）
本実施の形態では、第１伝達特性情報１１３の詳細及び第１伝達特性情報１１３を用いた処理について説明する。まず、逆多重化部１０２において取得する伝達特性の例を説明する。
多重化方式としてＭＭＴを用いる場合、ＭＰＵ（Ｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と呼ばれるランダムアクセス単位において復号順で先頭となるアクセスユニット（ピクチャに相当）のＰＴＳ及びＤＴＳは、記述子（デスクリプタ）により伝送できる。例えば、ＡＲＩＢ（Ａｓｓｏｃｉａｔｉｏｎ ｏｆ Ｒａｄｉｏ Ｉｎｄｕｓｔｒｉｅｓ ａｎｄ Ｂｕｓｉｎｅｓｓ）のＳＴＤ−Ｂ６０においては、ＭＰＵタイムスタンプ記述子又はＭＰＵ拡張タイムスタンプ記述子を用いて、ＭＰＵの先頭アクセスユニットのＰＴＳ、又は、ＭＰＵの先頭アクセスユニットのＤＴＳ及び後続アクセスユニットのＤＴＳとＰＴＳとが、それぞれプログラムの制御情報として伝送される。
図１１は、ＨＤＲ識別情報３０１を含むＭＰＵタイムスタンプ記述子（ＭＰＵ＿Ｔｉｍｅｓｔａｍｐ＿Ｄｉｓｃｒｉｐｔｏｒ）のシンタックス例を示す図である。図１２は、ＨＤＲ識別情報３０１を含むＭＰＵ拡張タイムスタンプ記述子（ＭＰＵ＿Ｅｘｔｅｎｄｅｄ＿Ｔｉｍｅｓｔａｍｐ＿Ｄｉｓｃｒｉｐｔｏｒ）のシンタックス例を示す図である。
図１１又は図１２に示すように、ＭＰＵタイムスタンプ記述子、又はＭＰＵ拡張タイムスタンプ記述子を拡張することで、送信信号２１２（受信信号１１１）に、ＭＰＵを構成するアクセスユニットのＥＯＴＦがＨＤＲ又はＳＤＲのどちらであるかを示すＨＤＲ識別情報３０１（ｍｐｕ＿ｈｄｒ＿ｉｎｄｉｃａｔｏｒ）を付加することができる。なお、ＳＴＤ−Ｂ６７とＳＭＰＴＥ ＳＴ２０８４とが共に使用可能である場合など、ＨＤＲのＥＯＴＦが複数存在する際には、ＨＤＲ識別情報３０１は、ＨＤＲのＥＯＴＦの種類を識別するための情報を含んでもよい。また、ＭＰＵ単位のＥＯＴＦ識別情報が伝送できれば、他の記述子を用いてもよい。
多重化方式としてＭＰＥＧ−２ ＴＳを用いる場合は、１３８１８−１ ＡＭＤ６（ Ｄｅｌｉｖｅｒｙ ｏｆ Ｔｉｍｅｌｉｎｅ ｆｏｒ Ｅｘｔｅｒｎａｌ Ｄａｔａ ）を拡張して、アクセスユニットのＰＴＳ又はＤＴＳと、ＥＯＴＦの識別情報とを関連付けてもよい。あるいは、ＭＭＴと同様に記述子を用いてランダムアクセス単位のＥＯＴＦ識別情報を格納してもよいし、ＰＥＳ又はＴＳのヘッダ情報を用いてランダムアクセス単位のＥＯＴＦ識別情報をシグナリングしてもよい。
このように、第１伝達特性情報１１３は、送信信号２１２（受信信号１１１）に含まれるランダムアクセス単位毎の制御情報に含まれる。ここでランダムアクセス単位とは任意のアクセスが保証されている複数のアクセスユニット（フレーム）で構成される単位である。
第１伝達特性情報１１３は、ＭＰＵタイムスタンプ記述子などＭＰＵ単位の情報としてではなく、複数のＭＰＵを含むプログラム単位の情報に格納されてもよい。ＡＲＩＢでは、プログラム単位の情報である映像コンポーネント記述子に、ビデオストリームの解像度、アスペクト比、及びフレームレートなどが格納される。よって、第１伝達特性情報１１３もこの映像コンポーネント記述子に格納できる。しかしながら、プログラム単位の情報は０．５秒又は０．１秒ごとなど周期的に伝送されることから、フレーム単位又はランダムアクセス単位では情報を更新できない場合がある。従って、この場合には、現在有効な伝達特性情報と共に、将来有効になる伝達特性情報が格納される。
図１３は、映像コンポーネント記述子のシンタックス例を示す図である。Ｃｕｒｒｅｎｔ＿ＥＯＴＦ（第１情報）は現在有効なＥＯＴＦ（伝達関数）を示し、ＥＯＴＦ＿ｕｐｄａｔｅ＿ｆｌａｇ（第２情報）は将来ＥＯＴＦが切り替わるかどうかを示す。つまり、ＥＯＴＦ＿ｕｐｄａｔｅ＿ｆｌａｇ（第２情報）は、当該プログラム内において伝達関数が切り替わるか否かを示す。
ＥＯＴＦ＿ｕｐｄａｔｅ＿ｆｌａｇ（第２情報）により、ＥＯＴＦが切り替わることが示される場合には、映像コンポーネント記述子は、切り替わり後のＥＯＴＦを示すｎｅｗ＿ＥＯＴＦ（第３情報）と、切り替わり後のＥＯＴＦが有効になるＭＰＵのシーケンス番号を示すｎｅｗ＿ＥＯＴＦ＿ｓｔａｒｔ＿ｍｐｕ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒ（第４情報）とを含む。つまり、ｎｅｗ＿ＥＯＴＦ＿ｓｔａｒｔ＿ｍｐｕ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒ（第４情報）は、ＥＯＴＦの切り替えを行うランダムアクセス単位を特定するための情報である。
なお、ＨＤＲが１種類である場合には、ＨＤＲかＳＤＲであるかのみが分かればよい。つまり、ＥＯＴＦ＿ｕｐｄａｔｅ＿ｆｌａｇのみにより切り替わり後のＥＯＴＦが決定できるため、ｎｅｗ＿ＥＯＴＦのフィールドは省略してもよい。
以上のように伝達特性を伝送することで、映像受信装置は、多重化レイヤ（多重化されるＡＶデータの属性情報、及びＡＶデータを格納するパケットのヘッダ情報）の情報のみに基づいて、ＭＰＵを構成するアクセスユニットの伝達特性を取得することができる。さらに、従来のＡＲＩＢにおけるシームレス接続では、解像度などの切り替わり前後でビデオストリームを格納するＴＳパケットのＰＩＤ又はＭＭＴパケットのアッセットＩＤ（あるいはパケットＩＤ）が切り替えられるため、同一ＩＤのパケットにおけるＳＴＤ（Ｓｙｓｔｅｍ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ）バッファの管理が困難である、又は、切り替え点において送出側のデータ供給が一時的に途絶えるなどのデメリットがあった。これに対して、本手法を用いることで、この課題を解決できる。
なお、本手法は、複数のオーディオコーデックをシームレスに切り替える場合にも適用できる。
また、本実施の形態に係る映像受信装置１００Ａの構成は、図９に示す構成において、表示制御部１０４Ａに機能が追加されている点が実施の形態２と異なる。
まず、逆多重化部１０２は、映像信号１１２の復号に先立って、多重化レイヤの情報から上述した伝達特性（ＨＤＲ識別情報３０１等）を取得し、取得した伝達特性を特定するための第１伝達特性情報１１３を表示制御部１０４Ａに出力する。
このように、映像受信装置１００Ａは、第１伝達特性情報１１３を映像信号１１２の復号に先立って取得できるため、第２伝達特性情報１１５よりも時間的に先に第１伝達特性情報１１３を取得できる。よって、表示制御部１０４Ａが伝達特性情報を取得してから実際に映像特性変換部１０６、及び表示デバイス１０７を制御するまでの期間を長くすることができる。特に、アクセスユニット単位での伝達特性の切り替えを想定すると、復号結果に基づいて伝達特性を取得する場合には、フレームレートが増加するほど時間的な余裕が少なくなるため、多重化レイヤから前もって伝達特性を取得することの効果が高い。
図１４は、表示制御部１０４Ａのよる表示制御処理のフローチャートである。図１４に示す処理は、図１０に示す処理に対して、ステップＳ１２１Ａ及びＳ１２４Ａが異なる。
ステップＳ１２１Ａでは、表示制御部１０４Ａは、第２伝達特性情報１１５に加えて、第１伝達特性情報１１３が更新されたかどうかを判定する。また、ＭＰＵの先頭アクセスユニットはイントラ符号化フレームであるため、ステップＳ１２２では、表示制御部１０４Ａは、第１伝達特性情報１１３に基づいて動作する際には、同一ＭＰＵのシーケンス番号（ｍｐｕ＿ｓｅｑｕｅｎｃｅ＿ｎｕｍｂｅｒ）に対応する第１伝達特性情報１１３と、イントラ符号化フレームの復号結果とに基づいて動作する。また、ステップＳ１２４Ａにおいて、表示制御部１０４Ａは、第１伝達特性情報１１３又は第２伝達特性情報１１５に基づいて動作する。
なお、図１４では、第１伝達特性情報１１３と第２伝達特性情報１１５との両方が用いられる例を示すが第１伝達特性情報１１３のみが用いられてもよい。
図１５は、本実施の形態に係る映像受信装置１００Ａによる映像受信処理のフローチャートである。まず、受信部１０１は、受信信号１１１を受信する（Ｓ１１１）。次に、逆多重化部１０２は、受信信号１１１を逆多重化することで、映像信号１１２を生成するとともに、第１伝達特性情報１１３を取得する（Ｓ１１２Ａ）。
ここで、第１伝達特性情報１１３は、映像データ１１４（映像信号１１２）の輝度ダイナミックレンジに対応する伝達関数（ＯＥＴＦ又はＥＯＴＦ）をランダムアクセス単位（ＭＰＵ単位）毎に特定するための情報である。例えば、この第１伝達特性情報１１３は、第１輝度ダイナミックレンジ（ＳＤＲ）に対応した第１伝達関数、又は、第１輝度ダイナミックレンジより広い第２ダイナミックレンジ（ＨＤＲ）に対応した第１伝達関数をランダムアクセス単位毎に特定するための情報である。つまり、第１伝達特性情報１１３は、映像データ１１４がＳＤＲであるかＨＤＲであるかを示す。また、ＨＤＲに複数の形式が存在する場合には、第１伝達特性情報１１３は、どの形式のＨＤＲであるかを示してもよい。つまり、第１伝達特性情報１１３は、映像データ１１４の輝度ダイナミックレンジを示し、例えば、予め定められた複数の輝度ダイナミックレンジのうちのいずれかを示す。
次に、映像復号部１０３は、映像信号１１２を復号することで映像データ１１４を生成する（Ｓ１１３）。
次に、表示制御部１０４Ａは、第１伝達特性情報１１３に応じて表示部１０５の輝度ダイナミックレンジを制御する。具体的には、表示制御部１０４Ａは、第１伝達特性情報１１３に基づき、各ＭＰＵがＨＤＲであるかＳＤＲであるかをＭＰＵ単位で判定する（Ｓ１１４Ａ）。ＨＤＲである場合には（Ｓ１１４でＹｅｓ）、表示部１０５はＨＤＲの輝度ダイナミックレンジで映像を表示する（Ｓ１１５）。ＳＤＲである場合には（Ｓ１１４でＮｏ）、表示部１０５はＳＤＲの輝度ダイナミックレンジで映像を表示する（Ｓ１１６）。
以上により、映像受信装置１００Ａは、ランダムアクセス単位毎に表示部１０５の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。また、映像受信装置１００Ａは、多重化レイヤに含まれる第１伝達特性情報１１３を用いることで、映像信号１１２の復号に先立って伝達特性を取得できるので、伝達特性の切り替え処理を容易に行うことができる。
また、上述した受信信号１１１に対応する送信信号２１２を生成する映像送信装置２００の構成及び動作は、上述した実施の形態１と概ね同様である。
具体的には、図７に示すステップＳ２０２において、多重化部２０４は、第１伝達特性情報１１３を含む送信信号２１２を生成する。
このように、映像送信装置２００は、ランダムアクセス単位毎に伝達関数を特定するための第１伝達特性情報を含む送信信号２１２を生成する。これにより、送信信号２１２を受信する映像受信装置は、ランダムアクセス単位毎に表示部の輝度ダイナミックレンジを制御できるので、より適切な映像を表示できる。また、また、多重化レイヤに第１伝達特性情報１１３が含まれることで、映像受信装置は、伝達特性の切り替え処理を容易に行うことができる。
以下、本実施の形態の変形例について説明する。
システムストリームをＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）、ＤＶＤ機器又はＢｌｕ−ｒａｙ（登録商標）機器である映像受信装置が受信して、テレビなどの表示デバイスに出力するケースでは、ＨＤＭＩ（登録商標）などの通信プロトコルを介して映像受信装置と表示デバイスとが接続される。ここで、ＨＤＭＩ（登録商標）などにおいては、ストリームの解像度などが切り替わるとプロトコルの再認証手続きが発生する。
従って、２Ｋ（１９２０×１０８０画素など）と４Ｋ（３８４０×２１６０画素など）となどの解像度の切り替わりが発生し得る場合には、映像受信装置は再生開始時に最大の解像度に合わせて映像信号を出力することが望ましい。つまり、２Ｋと４Ｋとが混在する場合には、受信装置は、２Ｋのストリームから再生開始する際にも、当該２Ｋのストリームを４Ｋにアップコンバートして出力する。こうすることで、途中で信号が４Ｋに切り替わった場合にも解像度は４Ｋのままとなり、解像度の切り替わりは発生しない。例えば、２ＫのＳＤＲと４ＫのＨＤＲとの間の切り替わりが発生する場合には、映像受信装置は、２ＫのＳＤＲを４ＫのＳＤＲに変換して出力する。
つまり、映像信号（映像データ１１４）は、第１解像度又は第１解像度より高い第２解像度の映像信号である。映像受信装置１００Ａは、映像信号の解像度が第１解像度と第２解像度との間で切り替わる場合には、第１解像度の映像信号を第２解像度の映像信号に変換する。
また、放送においては、放送サービスにおいて許容される最大解像度の識別情報がデスクリプタなどにより示されるため、映像受信装置は、ＨＤＭＩ（登録商標）への出力信号を、常に最大解像度に合わせるように動作してもよい。例えば、ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）サービスであれば最大解像度が４Ｋ又は８Ｋのいずれかであると規定される。また、多重化方式がＴＳである場合には最大解像度が２Ｋに規定され、ＭＭＴである場合には最大解像度が４Ｋに規定される。このように、映像受信装置は、多重化方式に応じた最大解像度に映像信号を常に変換し、出力してもよい。
つまり、映像受信装置１００Ａは、映像信号（映像データ１１４）の解像度が受信信号１１１の放送サービスで規定されている最大解像度より低い場合、当該映像信号の解像度を上記最大解像度に変換する。
以上、本発明の実施の形態に係る映像受信装置及び映像送信装置について説明したが、本発明は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る映像受信装置及び映像送信装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本発明は、映像受信装置又は映像送信装置により実行される映像受信方法又は映像送信方法として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る映像受信装置及び映像送信装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本発明は、ＴＶ等の映像受信装置及び映像送信装置に適用できる。
１００、１００Ａ 映像受信装置
１０１ 受信部
１０２ 逆多重化部
１０３ 映像復号部
１０４、１０４Ａ 表示制御部
１０５、１０５Ａ 表示部
１０６ 映像特性変換部
１０７ 表示デバイス
１０８ 異常検知部
１０９ メッセージ重畳部
１１１ 受信信号
１１２、２１１ 映像信号
１１３ 第１伝達特性情報
１１４ 映像データ
１１５ 第２伝達特性情報
１１６ 制御情報
１１７、１２０ 入力信号
１１８ 異常通知情報
１１９ メッセージ
２００ 映像送信装置
２０１ 生成部
２０２ 送信部
２０３ 映像符号化部
２０４ 多重化部
２１２ 送信信号
３０１ ＨＤＲ識別情報

Claims (4)

  1. 映像受信装置における映像受信方法であって、
    映像信号と音声信号とが多重化された受信信号を受信する受信ステップと、
    前記受信信号を逆多重化することで、前記映像信号と、前記映像信号の輝度ダイナミックレンジに対応する伝達関数を特定するための伝達特性情報と、伝達関数が切り替わるランダムアクセス単位を示す情報とを取得する逆多重化ステップと、
    取得された前記映像信号を復号することで映像データを取得する復号ステップとを含み、
    前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、前記第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数を特定するための情報である
    映像受信方法。
  2. 映像データを符号化することで映像信号を生成する符号化ステップと、
    生成された前記映像信号と音声信号とを多重化することで、前記映像信号の輝度ダイナミックレンジに対応する伝達関数を特定するための伝達特性情報と、伝達関数が切り替わるランダムアクセス単位を示す情報とを含む送信信号を生成する多重化ステップと、
    前記送信信号を送信する送信ステップとを含み、
    前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、前記第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数を特定するための情報である
    映像送信方法。
  3. 映像信号と音声信号とが多重化された受信信号を受信する受信部と、
    前記受信信号を逆多重化することで、前記映像信号と、前記映像信号の輝度ダイナミックレンジに対応する伝達関数を特定するための伝達特性情報と、伝達関数が切り替わるランダムアクセス単位を示す情報とを取得する逆多重化部と、
    取得された前記映像信号を復号することで映像データを取得する復号部とを備え、
    前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、前記第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数を特定するための情報である
    映像受信装置。
  4. 映像データを符号化することで映像信号を生成する符号化部と、
    生成された前記映像信号と音声信号とを多重化することで、前記映像信号の輝度ダイナミックレンジに対応する伝達関数を特定するための伝達特性情報と、伝達関数が切り替わるランダムアクセス単位を示す情報とを含む送信信号を生成する多重化部と、
    前記送信信号を送信する送信部とを備え、
    前記伝達特性情報は、第１輝度ダイナミックレンジに対応した第１伝達関数、又は、前記第１輝度ダイナミックレンジより広い第２ダイナミックレンジに対応した第２伝達関数を特定するための情報である
    映像送信装置。
JP2020209106A 2015-09-14 2020-12-17 映像受信方法、映像送信方法、映像受信装置及び映像送信装置 Active JP6982814B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021180463A JP7233029B2 (ja) 2015-09-14 2021-11-04 映像受信方法、映像送信方法、映像受信装置及び映像送信装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562218023P 2015-09-14 2015-09-14
US62/218,023 2015-09-14
JP2016101979A JP6820507B2 (ja) 2015-09-14 2016-05-20 映像受信方法、映像送信方法、映像受信装置及び映像送信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016101979A Division JP6820507B2 (ja) 2015-09-14 2016-05-20 映像受信方法、映像送信方法、映像受信装置及び映像送信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021180463A Division JP7233029B2 (ja) 2015-09-14 2021-11-04 映像受信方法、映像送信方法、映像受信装置及び映像送信装置

Publications (2)

Publication Number Publication Date
JP2021061619A true JP2021061619A (ja) 2021-04-15
JP6982814B2 JP6982814B2 (ja) 2021-12-17

Family

ID=58288449

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020209106A Active JP6982814B2 (ja) 2015-09-14 2020-12-17 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP2021180463A Active JP7233029B2 (ja) 2015-09-14 2021-11-04 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP2023018130A Active JP7496536B2 (ja) 2015-09-14 2023-02-09 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP2024080140A Pending JP2024098029A (ja) 2015-09-14 2024-05-16 映像受信方法、映像送信方法、映像受信装置及び映像送信装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2021180463A Active JP7233029B2 (ja) 2015-09-14 2021-11-04 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP2023018130A Active JP7496536B2 (ja) 2015-09-14 2023-02-09 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
JP2024080140A Pending JP2024098029A (ja) 2015-09-14 2024-05-16 映像受信方法、映像送信方法、映像受信装置及び映像送信装置

Country Status (4)

Country Link
US (1) US20240233682A1 (ja)
JP (4) JP6982814B2 (ja)
CN (1) CN112954353B (ja)
WO (1) WO2017047014A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005977A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP2015019287A (ja) * 2013-07-11 2015-01-29 キヤノン株式会社 画像復号装置及びその制御方法
WO2015111467A1 (ja) * 2014-01-24 2015-07-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279388A (ja) * 2005-03-29 2006-10-12 Matsushita Electric Ind Co Ltd 動画像復号化装置および動画像復号化方法
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
CN102972024A (zh) * 2011-05-11 2013-03-13 松下电器产业株式会社 动态图像发送装置以及动态图像发送方法
US11640656B2 (en) * 2011-09-27 2023-05-02 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
EP2632162A1 (en) * 2012-02-27 2013-08-28 Thomson Licensing Method and device for encoding an HDR video image, method and device for decoding an HDR video image
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015005977A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP2015019287A (ja) * 2013-07-11 2015-01-29 キヤノン株式会社 画像復号装置及びその制御方法
WO2015111467A1 (ja) * 2014-01-24 2015-07-30 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
CN112954353B (zh) 2024-09-13
JP2023053091A (ja) 2023-04-12
WO2017047014A1 (ja) 2017-03-23
JP7496536B2 (ja) 2024-06-07
CN112954353A (zh) 2021-06-11
JP7233029B2 (ja) 2023-03-06
JP6982814B2 (ja) 2021-12-17
JP2022023986A (ja) 2022-02-08
US20240233682A1 (en) 2024-07-11
JP2024098029A (ja) 2024-07-19

Similar Documents

Publication Publication Date Title
JP7108864B2 (ja) 映像送信方法、映像受信方法、映像送信装置及び映像受信装置
JP7281759B2 (ja) 映像送信方法、映像受信方法、映像送信装置及び映像受信装置
US11972741B2 (en) Decoding device for decoding a coded video in a system stream with a transfer characteristic if the transfer characteristic is provided in the system stream
JP2022031704A (ja) 映像受信方法及び映像受信装置
JP6982814B2 (ja) 映像受信方法、映像送信方法、映像受信装置及び映像送信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211104

R151 Written notification of patent or utility model registration

Ref document number: 6982814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151