JP2018117276A - 映像信号処理装置、映像信号処理方法およびプログラム - Google Patents

映像信号処理装置、映像信号処理方法およびプログラム Download PDF

Info

Publication number
JP2018117276A
JP2018117276A JP2017007470A JP2017007470A JP2018117276A JP 2018117276 A JP2018117276 A JP 2018117276A JP 2017007470 A JP2017007470 A JP 2017007470A JP 2017007470 A JP2017007470 A JP 2017007470A JP 2018117276 A JP2018117276 A JP 2018117276A
Authority
JP
Japan
Prior art keywords
video signal
dynamic range
processing apparatus
signal processing
representative value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017007470A
Other languages
English (en)
Other versions
JP2018117276A5 (ja
JP6852411B2 (ja
Inventor
菊地　弘晃
Hiroaki Kikuchi
弘晃 菊地
淳 大貫
Atsushi Onuki
淳 大貫
広瀬　正樹
Masaki Hirose
正樹 広瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017007470A priority Critical patent/JP6852411B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2017/047179 priority patent/WO2018135291A1/en
Priority to CN201780083242.3A priority patent/CN110168605B/zh
Priority to US16/477,647 priority patent/US11403741B2/en
Priority to KR1020197020501A priority patent/KR20190109406A/ko
Priority to EP17832827.4A priority patent/EP3571662B1/en
Publication of JP2018117276A publication Critical patent/JP2018117276A/ja
Publication of JP2018117276A5 publication Critical patent/JP2018117276A5/ja
Application granted granted Critical
Publication of JP6852411B2 publication Critical patent/JP6852411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高品質の映像信号を得ることのできる映像信号処理装置を提供する。【解決手段】情報処理装置のＣＰＵが、ターゲットエリア内のＨＤＲ映像信号の明るさの代表値をもとに、ＨＤＲ映像信号に乗じる負のゲイン値を可変し、この負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらにＳＤＲのダイナミックレンジに制限してＳＤＲ映像信号を生成する。これにより、ＨＤＲ映像信号から生成されるＳＤＲ映像信号をＨＭＤに表示させた場合にコントラストの低下や白とびの発生を極力抑えることができる。【選択図】図１

Description

本技術は、第１のダイナミックレンジで撮像された映像信号から、第１のダイナミックレンジよりも狭い第２のダイナミックレンジの映像信号を生成する映像信号処理装置、映像信号処理方法およびプログラムに関する。
ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）イメージングでは、ダイナミックレンジの広い映像の表現が可能であり、通常のモニターで表示可能な標準的なダイナミックレンジを持つＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ)の映像信号で表現しきれなかった、暗部の表現や、輝度の高い色の表現などが可能である。
ＨＤＲおよびＬＤＲの映像信号処理に関する公知技術には、ＨＤＲビデオとＬＤＲビデオとを同時生成する技術（特許文献１参照）、ＬＤＲビデオをＨＤＲビデオに変換する技術（特許文献２参照）などがある。なお、ＬＤＲはＳＤＲと同義である。
特開２０１６-１９５３７９号公報 国際公開第２０１１／０４２２２
しかしながら、例えばＨＤＲなどの広い第１のダイナミックレンジを有するカメラで撮像された映像信号から、第１のダイナミックレンジよりも狭い例えばＳＤＲなどの第２のダイナミックレンジの映像信号を生成する場合には、高輝度部分の白とびや低輝度部分の黒潰れが生じるなど、様々な問題があり、その十分な解決方法は未だ確立されていない。
本技術の目的は、高品質の映像信号を得ることのできる映像信号処理装置、映像信号処理方法およびプログラムを提供することにある。
このような課題を解決するために、本技術の第１の形態の映像信号処理装置は、
第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備するものである。
前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように構成されたものであってよい。
前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように構成されたものであってもよい。
前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように構成されたものであってもよい。
前記演算処理回路は、前記第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように構成されたものであってもよい。
さらに、本形態の映像信号処理装置は、前記演算処理回路により生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する第３のインタフェースをさらに具備するものであってよい。
本技術の第２の形態の映像信号処理方法は、
演算処理回路が、
第１のインタフェースを使って第１のダイナミックレンジで撮影された第１の映像信号を取得し、
第２のインタフェースを使って、前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得し、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する、ことにある。
さらに、本技術の第３の形態のプログラムは、
第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置として、
コンピュータを動作させるプログラムである。
本技術に係る映像信号処理装置は、情報処理装置、サーバなどとして構成することも可能である。演算処理回路は、ＣＰＵなどによって構成することが可能である。
以上のように、本技術によれば、高品質の映像信号を得ることができる。
本技術に係る第１の実施形態の映像信号処理システム１の構成を示すブロック図である。 ＶＲパノラマ映像１０１におけるターゲットエリア１０３を説明するための図である。 第１のダイナミックレンジ（ＨＤＲ）と第２のダイナミックレンジ（ＳＤＲ）を比較して示す図である。 ＶＲパノラマ映像１０１においてターゲットエリア１０３が日向部分にある場合を示す図である。 ＨＤＲからＳＤＲへのダイナミックレンジの変換例を示す図である。 ＶＲパノラマ映像１０１においてターゲットエリア１０３が日向部分と日陰部分の両方を含む場合を示す図である。 明るさの代表値の他の計算方法を説明するための図である。 ＨＤＲ映像信号から生成されたＳＤＲ映像信号に対するガンマ処理のガンマ特性の例を示す図である。 本技術に係る変形例２の映像信号処理システム１Ａの構成を示すブロック図である。 本技術に係る変形例３の映像信号処理システム１Ｂの構成を示すブロック図である。 図１２の映像信号処理システム１Ｂにおける配信サーバ３０Ｂの構成を示すブロック図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
［映像信号処理システム］
図１は、本技術に係る第１の実施形態の映像信号処理システム１の構成を示すブロック図である。
本実施形態の映像信号処理システム１は、撮像ユニット１０と、ＶＲ信号処理ユニット２０と、エンコード・配信ユニット３０と、情報処理装置４０と、ヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ。）５０と、ＨＭＤ用コントローラ６０を有する。ＶＲはＶｉｒｔｕａｌ Ｒｅａｌｉｔｙ（仮想現実）の略である。
（撮像ユニット１０）
撮像ユニット１０は、比較的広い、例えばＨＤＲなどの第１のダイナミックレンジで撮像をすることが可能な１台以上のカメラ１１で構成される。本実施形態では、例えば、ＨＭＤ５０に３６０度パノラマ映像をＶＲ映像として表示させるために、複数のカメラ１１による撮像ユニット１０が用いられる。撮像ユニット１０の複数のカメラ１１によりそれぞれ撮像された複数のＨＤＲ映像信号は、図示しない伝送インタフェースによってＶＲ信号処理ユニット２０に伝送される。
（ＶＲ信号処理ユニット２０）
ＶＲ信号処理ユニット２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリー、伝送インタフェースなどによって構成される。ＶＲ信号処理ユニット２０のＣＰＵは、撮像ユニット１０より伝送された複数のＨＤＲ映像信号を受信し、メモリーを用いてこれら複数のＨＤＲ映像信号を空間的に結合するスティッチングや、レンズ歪み補正などを行って、例えば３６０度パノラマ映像などのＶＲ映像を生成し、伝送インタフェースを使ってエンコード・配信ユニット３０に供給する。
（エンコード・配信ユニット３０）
エンコード・配信ユニット３０は、例えば、ＣＰＵ、メモリー、伝送インタフェース、通信インタフェースなどで構成される。エンコード・配信ユニット３０は、情報処理装置４０からのＶＲ映像の配信要求に対して、伝送インタフェースを使ってＶＲ信号処理ユニット２０から取得したＶＲ映像のＨＤＲ映像信号をネットワーク伝送に適した形式のデータに符号化し、通信インタフェースを使って、配信要求元の情報処理装置４０にインターネットなどのネットワーク７０を通じて配信する。
（情報処理装置４０）
情報処理装置４０は、エンコード・配信ユニット３０にＶＲ映像の配信要求を送信し、この要求に応じてエンコード・配信ユニット３０より配信されたＶＲ映像のＨＤＲ映像信号を受信し、受信したＨＤＲ映像信号からＨＭＤ５０に供給して表示させるためのＳＤＲ映像信号を生成する。
情報処理装置４０は、ＣＰＵ４１と、メモリー４２と、ネットワーク７０との通信インタフェース４３と、ＨＭＤ５０との通信インタフェース４４と、ＨＭＤ用コントローラ６０との通信インタフェース４５を有する。
メモリー４２は、ＣＰＵ４１に実行させるオペレーティングシステムおよびアプリケーションプログラムを保持する。また、メモリー４２は、ＣＰＵ４１の演算処理のための作業領域、エンコード・配信ユニット３０より配信されたＨＤＲ映像信号の一時保存領域などを提供する。
ネットワーク７０との通信インタフェース４３は、ネットワーク７０を通じてエンコード・配信ユニット３０にＶＲ映像の配信要求を送信したり、この配信要求に対してエンコード・配信ユニット３０から配信されたＶＲ映像のＨＤＲ映像信号を受信するために用いられる。ネットワーク７０との通信インタフェース４３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応の装置であっても、有線による通信を行うワイヤー通信装置であってもよい。また、ネットワーク７０を通じてエンコード・配信ユニット３０からＶＲ映像の配信を受ける方法以外に、光ディスクのような物理メディアを介して、情報処理装置４０がＶＲ映像を取得してもよい。この場合には、情報処理装置４０は物理メディアを着脱自在なドライブ装置のようなメディアインタフェースを使って物理メディアからＶＲ映像を読み込むように構成すればよい。
ＨＭＤ５０との通信インタフェース４４は、情報処理装置４０からＨＭＤ５０へのＳＤＲ映像信号の伝送や、ＨＭＤ５０内のジャイロセンサー、加速度センサーおよびカメラなどのセンサーの検出信号の取得などに用いられる。ＨＭＤ５０との通信インタフェース４４には、例えば、ＨＤＭＩ（Ｈｉｇｈ-Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、これらの組み合わせなどが用いられる。あるいは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信や、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮなどを用いてもよい。
ＨＭＤ用コントローラ６０との通信インタフェース４５は、ＨＭＤ用コントローラ６０からのズームイン／ズームアウトの操作信号や選択／決定ボタンの操作に対応する操作信号の取得などに用いられるインタフェースである。ＨＭＤ用コントローラ６０との通信インタフェース４５は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信や、Ｗｉ−Ｆｉ（登録商標）などの無線ＬＡＮ、ワイヤレスＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などであってもよい。
情報処理装置４０のＣＰＵ４１は、ネットワーク７０との通信インタフェース４３を用いて、エンコード・配信ユニット３０より配信されたＶＲ映像のＨＤＲ映像信号を受信し、デコードする。また、ＣＰＵ４１は、ＨＭＤ５０との通信インタフェース４４を用いて、ＨＭＤ５０内のジャイロセンサーおよび加速度センサーなどのセンサーの検出信号を取得し、取得した検出信号からＨＭＤ５０を装着するユーザＵのＶＲ空間内の視線方向（方位角、姿勢角）を検出し、この視線方向にある、ＨＭＤ５０のディスプレイ解像度分の領域（表示エリア）における中央部分の任意サイズの領域をターゲットエリアとして算出する。
情報処理装置４０のＣＰＵ４１は、ターゲットエリアを算出すると、メモリー４２に保存されたＨＤＲ映像信号をもとにターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出する。情報処理装置４０のＣＰＵ４１は、この明るさの代表値にもとに負のゲイン値を決定し、この負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号に、ＳＤＲなどの第２のダイナミックレンジに制限してＳＤＲ映像信号を生成する。情報処理装置４０のＣＰＵ４１は、生成したＳＤＲ映像信号をＨＭＤ５０との通信インタフェース４４を用いてＨＭＤ５０に供給するように制御を行う。
（ＨＭＤ５０）
ＨＭＤ５０は、ディスプレイと、ジャイロセンサーと、加速度センサーと、情報処理装置４０との通信インタフェースと、ＨＭＤ用コントローラ６０との通信インタフェースとを備える。
ディスプレイは、ＶＲ信号処理ユニット２０により生成されるＶＲパノラマ映像を表示可能なディスプレイである。
ＨＭＤ５０に配置されたジャイロセンサーおよび加速度センサーのそれぞれの検出信号は、情報処理装置４０との通信インタフェースを用いて情報処理装置４０に送信される。
ＨＭＤ用コントローラ６０は、例えば、ＣＰＵと、メモリーと、ジャイロセンサーと、加速度センサーと、情報処理装置４０との通信インタフェースと、選択／決定ボタンなどを備える。
ＨＭＤ用コントローラ６０のＣＰＵは、ユーザＵがＨＭＤ用コントローラ６０を空間的に動かしたときにジャイロセンサーや加速度センサーなどが発生する検出信号や選択／決定ボタンの操作信号を、通信インタフェースを用いて情報処理装置４０に送信する。
情報処理装置４０のＣＰＵ４１は、ＨＭＤ５０に表示させるＶＲ映像にユーザＵの操作対象である複数のボタンなどの複数のオブジェクトや、ＨＭＤ用コントローラ６０の操作に連動するカーソルポインタなどをＶＲ映像に合成して表示する。複数のオブジェクトにそれぞれ割り当てられた機能には、例えば、ＨＭＤ５０に表示させるＶＲ映像のズームイン、ズームアウトなどがある。ユーザＵはＨＭＤ用コントローラ６０の操作によってカーソルポインタを、目的の機能が割り当てられたオブジェクトの位置に移動させ、ＨＭＤ用コントローラ６０に設けられた選択／決定ボタンを押すことによって、情報処理装置４０のＣＰＵによってその機能を実行するための処理が実行される。
なお、情報処理装置４０のＣＰＵ４１によるターゲットエリアの算出においては、例えば、ＨＭＤ５０から供給されるジャイロセンサーおよび加速度センサーのそれぞれの検出信号などに加えて、ＨＭＤ用コントローラ６０から供給されるズームイン、ズームアウトの操作信号も用いられる。すなわち、情報処理装置４０のＣＰＵ４１は、ＨＭＤ用コントローラ６０から供給されるズームイン、ズームアウトの操作信号をもとにターゲットエリアを再計算する。
なお、ターゲットエリアの別の算出方法としては、外部のレーザエミッタから照射された赤外線をＨＭＤ５０に付けられた複数の赤外線センサーで受光しその出力信号を分析してＨＭＤ５０の位置や向きを算出し、この算出結果からターゲットエリアを算出する方法などがある。あるいは、外部の赤外線カメラなどによりＨＭＤ５０に付けられたＬＥＤなどの光源の光を撮影し、撮影像を分析してＨＭＤ５０の位置や向きを算出し、この算出結果からターゲットエリアを算出するようにしてもよい。
（ターゲットエリアの映像の明るさについて）
図２は、ＶＲパノラマ映像１０１におけるターゲットエリア１０３を説明するための図である。
同図において、ＶＲパノラマ映像１０１の中の斜線によって塗り潰された部分は日陰部分の映像１０５、その他の部分は日向の部分の映像１０７である。日向部分の映像１０７は日陰部分の映像１０５に比べて全体的に明るい。ここで、四角により囲われた領域はターゲットエリア１０３である。図２の例では、ターゲットエリア１０３の映像の殆どは日陰部分の映像１０５である。
図３は、第１のダイナミックレンジ（ＨＤＲ）と第２のダイナミックレンジ（ＳＤＲ）を比較して示す図である。
第２のダイナミックレンジ（ＳＤＲ）を１００％とすると、第１のダイナミックレンジ（ＨＤＲ）は例えば１３００％など、第２のダイナミックレンジ（ＳＤＲ）よりも広い。ここで、第２のダイナミックレンジ（ＳＤＲ）が第１のダイナミックレンジ（ＨＤＲ）の０〜１００％のレンジ部分に対応する場合、図２に示した日陰部分の映像１０５のように全体的に暗い部分の映像を第２のダイナミックレンジ（ＳＤＲ）で表示させても、ＨＤＲ映像信号のコントラストとＳＤＲ映像信号のコントラストとの間に大きな変化は現れない。しかし、例えば、図４に示すように、ターゲットエリア１０３の映像の殆どが日向部分の映像１０７であるなど明るい映像である場合、第２のダイナミックレンジ（ＳＤＲ）で表示させた映像にコントラストの著しい低下や白とびが生じるおそれがある。
本実施形態では、このような課題を解決するために、情報処理装置４０のＣＰＵ４１が、ターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値をもとに決定した負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成するように構成されている。
（映像信号処理システム１の動作）
次に、本実施形態の映像信号処理システム１の動作を説明する。
情報処理装置４０のＣＰＵ４１は、ネットワーク７０との通信インタフェース４３を用いて、エンコード・配信ユニット３０にＶＲ映像の配信要求を送信する。
エンコード・配信ユニット３０のＣＰＵは、情報処理装置４０からのＶＲ映像の配信要求を受信すると、ＶＲ信号処理ユニット２０より伝送されたＶＲ映像のＨＤＲ映像信号をネットワーク伝送に適した形式のデータに符号化し、パケット化して、ネットワーク７０を通じて情報処理装置４０に配信する。
情報処理装置４０のＣＰＵ４１は、ネットワーク７０を通じてエンコード・配信ユニット３０より配信されたＶＲ映像のＨＤＲ映像信号を通信インタフェース４３を使って受信し、受信したＨＤＲ映像信号をデコードして、メモリー４２に保存する。
情報処理装置４０のＣＰＵ４１は、ＨＭＤ５０よりジャイロセンサーおよび加速度センサーのそれぞれの検出信号を取得し、それぞれの検出信号を用いて、ＨＭＤ５０を装着するユーザＵのＶＲ空間内の視線方向（方位角、姿勢角）を検出し、この視線方向にある、ＨＭＤ５０のディスプレイ解像度分の領域における中央部分の任意サイズの領域を上記のターゲットエリアとして算出する。
次に、情報処理装置４０のＣＰＵ４１は、算出されたターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値をもとにＨＤＲ映像信号に乗じる負のゲイン値を算出する。続いて、情報処理装置４０のＣＰＵ４１は、算出された負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成する。このＳＤＲ映像信号の生成については後で詳細に説明する。
次に、情報処理装置４０のＣＰＵ４１は、生成されたＳＤＲ映像信号から上記ターゲットエリアを含む領域のＳＤＲ映像信号を切り出し、ＨＭＤ５０との通信インタフェース４４を使ってそのターゲットエリアを含む領域のＳＤＲ映像信号をＨＭＤ５０に供給する。
ＨＭＤ５０は、情報処理装置４０より供給されたＳＤＲ映像信号を受信し、ディスプレイに表示させる。
（ＨＤＲからＳＤＲへのダイナミックレンジの変換）
ここで、ＨＤＲからＳＤＲへのダイナミックレンジの変換について詳細に説明する。
情報処理装置４０のＣＰＵ４１は、ターゲットエリアのＨＤＲ映像信号の明るさの代表値として、例えば輝度平均値などを算出する。なお、ターゲットエリアのＨＤＲ映像信号の明るさの代表値は輝度平均値に限らない。その他の明るさの代表値については後で説明する。
図５はＨＤＲからＳＤＲへのダイナミックレンジの変換例を示す図である。
なお、同図において、縦軸はレンズの絞りの段数に相当するStopの値で表されるダイナミックレンジを示す。1Stop増える毎にダイナミックレンジは２倍となる。
例として、第１のダイナミックレンジ（ＨＤＲ）のレンジ長は、第２のダイナミックレンジ（ＳＤＲ）のレンジ長の約１３倍とする。
まず、図４に示したように、ターゲットエリア１０３内の映像の大部分が日向部分の映像１０７であるため、明るさの代表値が比較的高い場合について説明する。
情報処理装置４０のＣＰＵ４１は、ターゲットエリア内のＨＤＲ映像信号の明るさの代表値が高い（明るい）ほど、絶対値の大きい負のゲイン値をＨＤＲ映像信号に乗じることによってＨＤＲ映像信号のダイナミックレンジを高い圧縮率で圧縮する。例えば、ＨＤＲ映像信号に負のゲイン値として−１２ｄＢが乗じられた場合、ダイナミックレンジが圧縮された映像信号の高輝度部分（約４００％まで）がダイナミックレンジ（ＳＤＲ１）にほぼ収まる。これにより、ＨＭＤ５０のディスプレイにＶＲ映像中の明るい部分の映像が表示される場合に、コントラストの著しい低下や白とびの発生を極力抑えることができる。
次に、図６に示すように、ターゲットエリア１０３内の映像に日向部分の映像１０７と日陰部分の映像１０５とが混在する場合のダイナミックレンジの変換例を説明する。この場合には、負のゲイン値の絶対値を、例えば"１２"より低くする。例えば、ＨＤＲ映像信号に負のゲイン値として−６ｄＢが乗じられた場合を示している。この場合、ダイナミックレンジが圧縮された映像信号の中輝度部分（約２００％）以下がダイナミックレンジ（ＳＤＲ２）に収まる。
図７は、ターゲットエリア内で日陰部分の映像が占める割合がさらに大きくなった場合のダイナミックレンジの変換例である。この場合には、負のゲイン値の絶対値をさらに落とすことによって、ダイナミックレンジが圧縮された映像信号の低輝度部分（約０％から１００％）がダイナミックレンジ（ＳＤＲ３）に収まる。
以上のように、本実施形態では、情報処理装置４０のＣＰＵ４１が、ターゲットエリア内のＨＤＲ映像信号の明るさの代表値をもとに、ＨＤＲ映像信号に乗じる負のゲイン値を可変し、この負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成する。これにより、ＨＤＲ映像信号から生成されるＳＤＲ映像信号をＨＭＤ５０に表示させた場合にコントラストの低下や白とびの発生を極力抑えることができる。
なお、ＨＤＲ映像信号に対して負のゲイン値が乗じられる前にＨＤＲ映像信号に対して色域変換が行われてもよい。例えば、ＨＤＲ映像信号がＩＴＵ−Ｒ ＢＴ．２０２０に規定された色域を有する映像である場合、ＩＴＵ−Ｒ ＢＴ．７０９に規定された色域に変換することなどが挙げられる。
＜変形例１＞
（ターゲットエリアの明るさ代表値の算出方法の変形例）
上記の実施形態では、ターゲットエリアのＨＤＲ映像信号の平均輝度の値を明るさの代表値として算出したが、例えば、図７に示すように、日陰部分と日向部分が混在する場合にターゲットエリア１０３の中心部分１２３とその他の周縁部分１２５とで重みを変えて輝度平均を求めてもよい。例えば、ターゲットエリア１０３の中心部分１２３の各画素の輝度に対して係数Ｐを乗じ、ターゲットエリア１０３の周縁部分１２５の各画素の輝度に対して係数Ｐよりも値の小さい係数Ｑを乗じ、輝度平均を求めるなどの方法がある。ユーザの視線はターゲットエリア１０３の中心にあるので、この方法により、より適切な明るさの代表値、負のゲイン値を得ることができる。
＜変形例２＞
（ＳＤＲ映像信号に対するガンマ処理）
ターゲットエリアに平均輝度が大きく異なる複数の領域が存在する場合、例えば、図６に示したように、ＨＤＲ映像信号に負のゲイン値が乗じられることによってダイナミックレンジが圧縮された映像信号の低輝度部と中輝度部の一部が第２のダイナミックレンジ（ＳＤＲ）に収まる。しかし、高輝度部が第２のダイナミックレンジ（ＳＤＲ）から逸脱するため、高輝度部の白とびが発生する。
そこで、ターゲットエリアに平均輝度が大きく異なる複数の領域が存在する場合には、ＳＤＲ映像信号の生成に際して、例えば、図８に示すように、高輝度部を格納するレンジを増大させるようにガンマ処理を行ってもよい。
また、ターゲットエリアに平均輝度が大きく異なる複数の領域が存在することを判定するために、情報処理装置４０のＣＰＵ４１はターゲットエリアのＨＤＲ映像信号について輝度ヒストグラムを算出し、閾値を使って、平均輝度が大きく異なる複数の領域の存在の有無を判定する。
＜変形例３＞
（テレビジョンへの応用）
上記の実施形態では、ＨＭＤ５０に表示させるＳＤＲ映像信号を生成する場合について説明したが、本技術は、例えばテレビジョンの画面にＶＲパノラマ映像の任意部分を表示させる場合にも適用できる。
図９は、ＳＤＲ映像信号を表示するテレビジョンを用いた映像信号処理システム１Ａの構成を示すブロック図である。
情報処理装置４０Ａは、テレビジョン８０との通信インタフェース４６およびテレビ用コントローラ９０との通信インタフェース４７を有する。情報処理装置４０ＡのＣＰＵ４１Ａは、テレビ用コントローラ９０からターゲットエリアを移動させるための操作信号やズームイン／ズームアウトの操作信号を受信し、ターゲットエリアの算出を行う。続けて情報処理装置４０ＡのＣＰＵ４１Ａは、算出したターゲットエリアのＨＤＲ映像信号の明るさの代表値の算出、負のゲイン値の算出、ＨＤＲ映像信号への負のゲイン値の乗算を行う。さらに続けて情報処理装置４０ＡのＣＰＵ４１Ａは、負のゲイン値が乗算されることによってダイナミックレンジが圧縮された映像信号からのＳＤＲ映像信号の生成、生成されたＳＤＲ映像信号からターゲットエリアを含む任意の表示エリアのＳＤＲ映像信号を切り出してテレビジョン８０に供給するように制御を行う。
本技術は、ディスプレイを有するその他の機器に応用され得る。
例えば、スマートホン、タブレット端末などの機器のディスプレイにＶＲパノラマ映像の任意部分を表示させる場合にも適用可能である。
＜変形例４＞
（サーバによるＨＤＲ映像信号からＳＤＲ映像信号の生成）
本技術は、ネットワーク７０に接続されたサーバにも適用できる。
図１０は、ＨＤＲ映像信号から、ＨＭＤ５０に表示させるＳＤＲ映像信号を配信サーバ３０Ｂにおいて生成する映像信号処理システム１Ｂの構成を示すブロック図である。図１１は配信サーバ３０Ｂの構成を示すブロック図である。
同図に示すように、配信サーバ３０Ｂは、典型的なコンピュータのハードウェア構成を有する。配信サーバ３０Ｂは、ＣＰＵ３１Ｂ、メモリー３２Ｂ、ＶＲ信号処理ユニット２０との通信インタフェース３３Ｂ、ネットワーク７０との通信インタフェース３４Ｂを有する。
メモリー３２Ｂは、ＣＰＵ３１Ｂに実行させるオペレーティングシステムおよびアプリケーションプログラムを保持する。また、メモリー３２Ｂは、ＣＰＵ３１Ｂの演算処理のための作業領域、ＶＲ信号処理ユニット２０より取得したＶＲ映像のＨＤＲ映像信号の一時保存領域などを提供する。
ＶＲ信号処理ユニット２０との通信インタフェース３３Ｂは、ＶＲ信号処理ユニット２０よりＶＲ映像のＨＤＲ映像信号を受信するために用いられる。
ネットワーク７０との通信インタフェース３４Ｂは、ネットワーク７０を通じて情報処理装置４０Ｂからの配信要求やターゲットエリア算出用情報の受信、情報処理装置４０Ｂへの上記の表示エリアのＳＤＲ映像信号の送信などに用いられる。
ＣＰＵ３１Ｂは、ネットワーク７０との通信インタフェース３４Ｂを用いて、情報処理装置４０Ｂより送信されたＶＲ映像の配信要求を受信し、そのＶＲ映像のＨＤＲ映像信号から表示エリアのＳＤＲ映像信号を生成して情報処理装置４０Ｂに送信する。
ＣＰＵ３１Ｂは、ターゲットエリアを算出するために、情報処理装置４０Ｂからネットワーク７０を通じて周期的に送信されてくるターゲットエリア算出用情報を取得し、取得したターゲットエリア算出用情報をもとにターゲットエリアを算出するように制御を行う。
さらに、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出されたターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値にもとにＨＤＲ映像信号に乗じる負のゲイン値を算出する。続いて、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出された負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限してＳＤＲ映像信号を生成するように制御を行う。
さらに、配信サーバ３０ＢのＣＰＵ３１Ｂは、生成されたＳＤＲ映像信号から上記ターゲットエリアを含む表示サイズ分のＳＤＲ映像信号（表示エリアのＳＤＲ映像信号）を、ネットワーク７０との通信インタフェース３４Ｂを用いて、その表示エリアのＳＤＲ映像信号を情報処理装置４０Ｂに送信するように制御を行う。
一方、情報処理装置４０Ｂは、ＣＰＵ４１Ｂと、ネットワーク７０との通信インタフェース４３Ｂと、ＨＭＤ５０との通信インタフェース４４Ｂと、ＨＭＤ用コントローラ６０との通信インタフェース４５Ｂ、さらには図示しないメモリーを有する。
メモリーは、ＣＰＵ４１Ｂに実行させるオペレーティングシステムおよびアプリケーションプログラムを保持する。また、メモリーは、ＣＰＵ４１Ｂの演算処理のための作業領域、配信サーバ３０Ｂより配信されたＳＤＲ映像信号の一時保存領域などを提供する。
ネットワーク７０との通信インタフェース４３Ｂは、ネットワーク７０を通じて配信サーバ３０ＢへのＶＲ映像の配信要求やターゲットエリア算出用情報の送信、配信要求に対して配信サーバ３０Ｂから応答された表示エリアのＳＤＲ映像信号の受信に用いられる。
ＨＭＤ５０との通信インタフェース４４Ｂは、情報処理装置４０ＢからＨＭＤ５０へのＳＤＲ映像信号の伝送や、ＨＭＤ５０内のジャイロセンサーおよび加速度センサーの検出信号の取得などに用いられる。
ＨＭＤ用コントローラ６０との通信インタフェース４５Ｂは、ＨＭＤ用コントローラ６０からのズームイン／ズームアウトの操作信号や選択／決定ボタンの操作に対応する操作信号の取得などに用いられるインタフェースである。
情報処理装置４０ＢのＣＰＵ４１Ｂは、配信サーバ３０ＢにＶＲ映像の配信要求を送信する処理、配信サーバ３０Ｂよりネットワーク７０を通じて配信されたＳＤＲ映像信号を受信し、デコードする処理、デコードしたＳＤＲ映像信号をＨＭＤ５０に供給する処理、ＨＭＤ５０より取得したジャイロセンサーおよび加速度センサーのそれぞれの検出信号ならびにＨＭＤ用コントローラ６０より取得したズームイン／ズームアウトの操作信号などをターゲットエリア算出用情報として配信サーバ３０Ｂに送信する処理などを行う。
ＨＭＤ５０およびＨＭＤ用コントローラ６０の構成は、第１の実施形態と同じであるため説明を省略する。
（映像信号処理システム１Ｂの動作）
次に、本変形例の映像信号処理システム１Ｂの動作を説明する。
情報処理装置４０ＢのＣＰＵ４１Ｂは、通信インタフェース４３Ｂを用いて、配信ユニット３０ＢにＶＲ映像の配信要求をネットワーク７０を通じて送信する。
配信ユニット３０ＢのＣＰＵ３１Ｂは、情報処理装置４０ＢからのＶＲ映像の配信要求を受信すると、ＶＲ信号処理ユニット２０より伝送されたＶＲ映像のＨＤＲ映像信号をメモリー３２Ｂに保持する。
一方、情報処理装置４０ＢのＣＰＵ４１Ｂは、ＨＭＤ５０よりジャイロセンサーおよび加速度センサーのそれぞれの検出信号を取得し、これらの検出信号をターゲットエリア算出用情報として配信サーバ３０Ｂに通信インタフェース４３Ｂを使って送信する。また、この際、ＨＭＤ用コントローラ６０よりズームイン／ズームアウトの操作信号を取得した場合には、この操作信号もターゲットエリア算出用情報として配信サーバ３０Ｂに通信インタフェース４３Ｂを使って送信する。
配信ユニット３０ＢのＣＰＵ３１Ｂは、情報処理装置４０Ｂからのターゲットエリア算出用情報を受信すると、このターゲットエリア算出用情報をもとにターゲットエリアを算出する。さらに、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出されたターゲットエリアのＨＤＲ映像信号の明るさの代表値を算出し、この明るさの代表値にもとにＨＤＲ映像信号に乗じる負のゲイン値を算出する。続いて、配信サーバ３０ＢのＣＰＵ３１Ｂは、算出された負のゲイン値をＨＤＲ映像信号に乗じることによってダイナミックレンジを圧縮した映像信号を、さらに第２のダイナミックレンジ（ＳＤＲ）に制限した映像信号をＳＤＲ映像信号として生成する。そして配信サーバ３０ＢのＣＰＵ３１Ｂは、生成されたＳＤＲ映像信号から上記ターゲットエリアを含む表示サイズ分のＳＤＲ映像信号（表示エリアのＳＤＲ映像信号）を、ネットワーク伝送に適した形式のデータに符号化し、パケット化して、ネットワーク７０を通じて情報処理装置４０に配信する。
情報処理装置４０ＢのＣＰＵ４１Ｂは、配信ユニット３０ＢよりＳＤＲ映像信号を受信し、デコードし、ＨＭＤ５０との通信インタフェース４４Ｂを使って、ＳＤＲ映像信号をＨＭＤ５０に送信する。
ＨＭＤ５０のＣＰＵは、情報処理装置４０より供給されたＳＤＲ映像信号を受信し、ディスプレイに表示させる。
＜その他の変形例＞
以上、ターゲットエリアの算出のため、ＨＭＤ５０のジャイロセンサーおよび加速度センサーの検出信号を用いたが、ＶＲ映像に対するユーザの視線方向を捕捉することができれば、検出手段は何であってもかまわない。例えば、ユーザの眼球をカメラで撮影して視線方向を検出したり、ＨＭＤ用コントローラ６０の操作によって、ＶＲ映像において見たい方向の情報を指定してもよい。
なお、本技術は以下のような構成も採ることができる。
（１）第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置。
（２）前記（１）に記載の映像信号処理装置であって、
前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように構成された
映像信号処理装置。
（３）前記（２）に記載の映像信号処理装置であって、
前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように構成された
映像信号処理装置。
（４）前記（１）から（３）のうちいずれか１つに記載の映像信号処理装置であって、
前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように構成された
映像信号処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の映像信号処理装置であって、
前記演算処理回路は、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように構成された
映像信号処理装置。
（６）前記（１）から（５）のうちいずれか１つに記載の映像信号処理装置であって、
前記演算処理回路により生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する第３のインタフェースをさらに具備する
映像信号処理装置。
（７）演算処理回路が、
第１のインタフェースを使って第１のダイナミックレンジで撮影された第１の映像信号を取得し、
第２のインタフェースを使って、前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得し、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する
映像信号処理方法。
（８）前記（７）に記載の映像信号処理方法であって、
前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮する
映像信号処理方法。
（９）前記（８）に記載の映像信号処理方法であって、
前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じる
映像信号処理方法。
（１０）前記（７）から（９）のいずれかに記載の映像信号処理方法であって、
前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出する
映像信号処理方法。
（１１）前記（７）から（１０）のいずれかに記載の映像信号処理方法であって、
前記演算処理回路は、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行う
映像信号処理方法。
（１２）前記（７）から（１１）のいずれかに記載の映像信号処理方法であって、
前記演算処理回路が、第３のインタフェースを使って、前記生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する
映像信号処理方法。
（１３）第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
を具備する映像信号処理装置として、
コンピュータを動作させるプログラム。
（１４）前記（１３）に記載のプログラムであって、
前記演算処理回路が、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように
コンピュータを動作させるプログラム。
（１５）前記（１４）に記載のプログラムであって、
前記演算処理回路が、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように
コンピュータを動作させるプログラム。
（１６）前記（１３）から（１５）のうちいずれか１つに記載のプログラムであって、
前記演算処理回路が、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように
コンピュータを動作させるプログラム。
（１７）前記（１３）から（１６）のうちいずれか１つに記載のプログラムであって、
前記演算処理回路が、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように
コンピュータを動作させるプログラム。
（１８）前記（１３）から（１７）のうちいずれか１つに記載のプログラムであって、
前記演算処理回路が、第３のインタフェースを使って、前記生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力するように
コンピュータを動作させるプログラム。
１…映像信号処理システム
１０…撮像ユニット
１１…カメラ
２０…ＶＲ信号処理ユニット
３０…エンコード・配信ユニット
４０…情報処理装置
４１…ＣＰＵ
４２…メモリー
４２…通信インタフェース
４３…通信インタフェース
４４…通信インタフェース
４５…通信インタフェース
５０…ヘッドマウントディスプレイ（ＨＭＤ）
６０…ＨＭＤ用コントローラ
７０…ネットワーク

Claims (8)

  1. 第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
    前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
    前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
    を具備する映像信号処理装置。
  2. 請求項１に記載の映像信号処理装置であって、
    前記演算処理回路は、前記算出された代表値に応じたゲイン値を前記第１の映像信号に乗じることによって前記第１の映像信号のダイナミックレンジを圧縮するように構成された
    映像信号処理装置。
  3. 請求項２に記載の映像信号処理装置であって、
    前記演算処理回路は、前記算出された代表値が大きいほど、絶対値の大きい負のゲイン値を前記第１の映像信号に乗じるように構成された
    映像信号処理装置。
  4. 請求項３に記載の映像信号処理装置であって、
    前記演算処理回路は、前記第１の映像信号の中の前記一部の領域の中央部分とその他の部分とで明るさの値の重みを異ならせて前記明るさの代表値を算出するように構成された
    映像信号処理装置。
  5. 請求項４に記載の映像信号処理装置であって、
    前記演算処理回路は、前記第２の映像信号に、当該第２の映像信号の高輝度部の表示レンジを増大させるように高輝度部を圧縮する形のガンマ処理を行うように構成された
    映像信号処理装置。
  6. 請求項５に記載の映像信号処理装置であって、
    前記演算処理回路により生成された第２の映像信号を、前記第２のダイナミックレンジで映像を表示可能なディスプレイを有する機器に出力する第３のインタフェースをさらに具備する
    映像信号処理装置。
  7. 演算処理回路が、
    第１のインタフェースを使って第１のダイナミックレンジで撮影された第１の映像信号を取得し、
    第２のインタフェースを使って、前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得し、
    前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する
    映像信号処理方法。
  8. 第１のダイナミックレンジで撮影された第１の映像信号を取得する第１のインタフェースと、
    前記取得された第１の映像信号の中の一部の領域を特定するための情報を取得する第２のインタフェースと、
    前記一部の領域の前記第１の映像信号の明るさの代表値を算出し、前記算出された代表値に応じて前記第１の映像信号のダイナミックレンジを圧縮し、前記第１のダイナミックレンジよりも狭い第２のダイナミックレンジに制限した第２の映像信号を生成する演算処理回路と
    を具備する映像信号処理装置として、
    コンピュータを動作させるプログラム。
JP2017007470A 2017-01-19 2017-01-19 映像信号処理装置、映像信号処理方法およびプログラム Active JP6852411B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017007470A JP6852411B2 (ja) 2017-01-19 2017-01-19 映像信号処理装置、映像信号処理方法およびプログラム
CN201780083242.3A CN110168605B (zh) 2017-01-19 2017-12-28 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质
US16/477,647 US11403741B2 (en) 2017-01-19 2017-12-28 Video signal processing apparatus, video signal processing method, and program
KR1020197020501A KR20190109406A (ko) 2017-01-19 2017-12-28 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램
PCT/JP2017/047179 WO2018135291A1 (en) 2017-01-19 2017-12-28 Video signal processing apparatus, video signal processing method, and program for dynamic range compression
EP17832827.4A EP3571662B1 (en) 2017-01-19 2017-12-28 Video signal processing apparatus, video signal processing method, and program for dynamic range compression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017007470A JP6852411B2 (ja) 2017-01-19 2017-01-19 映像信号処理装置、映像信号処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2018117276A true JP2018117276A (ja) 2018-07-26
JP2018117276A5 JP2018117276A5 (ja) 2020-02-06
JP6852411B2 JP6852411B2 (ja) 2021-03-31

Family

ID=61017980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017007470A Active JP6852411B2 (ja) 2017-01-19 2017-01-19 映像信号処理装置、映像信号処理方法およびプログラム

Country Status (6)

Country Link
US (1) US11403741B2 (ja)
EP (1) EP3571662B1 (ja)
JP (1) JP6852411B2 (ja)
KR (1) KR20190109406A (ja)
CN (1) CN110168605B (ja)
WO (1) WO2018135291A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193807A1 (ja) * 2018-04-06 2019-10-10 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107800979B (zh) * 2017-10-23 2019-06-28 深圳看到科技有限公司 高动态范围视频拍摄方法及拍摄装置
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
CN113392675B (zh) * 2020-03-12 2023-04-07 平湖莱顿光学仪器制造有限公司 一种呈现显微视频信息的方法与设备
EP4341929A1 (en) * 2021-05-19 2024-03-27 Dolby Laboratories Licensing Corporation Display management with position-varying adaptivity to ambient light and/or non-display-originating surface light
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN115547230B (zh) * 2022-11-23 2023-03-10 南京芯视元电子有限公司 视频数据显示处理方法、装置、微显示屏及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211650A (ja) * 2004-12-27 2006-08-10 Konica Minolta Holdings Inc 撮像装置及びそれに用いる画像処理方法
WO2007043460A1 (ja) * 2005-10-12 2007-04-19 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP2008305122A (ja) * 2007-06-07 2008-12-18 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP2014016670A (ja) * 2012-07-05 2014-01-30 Nikon Corp 画像処理装置及び画像処理プログラム
JP2015103214A (ja) * 2013-11-28 2015-06-04 株式会社Ｊｖｃケンウッド デプス推定装置、デプス推定方法、デプス推定プログラム、及び画像処理装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3751412T2 (de) * 1986-09-02 1995-12-14 Fuji Photo Film Co Ltd Verfahren und Vorrichtung zur Bildverarbeitung mit Gradationskorrektur des Bildsignals.
JP2003319933A (ja) * 2002-05-01 2003-11-11 Fuji Photo Film Co Ltd 画像表示システム
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
WO2005027043A1 (ja) * 2003-09-11 2005-03-24 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、視覚処理方法、視覚処理プログラム、集積回路、表示装置、撮影装置および携帯情報端末
US8537893B2 (en) * 2006-01-23 2013-09-17 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. High dynamic range codecs
US8687087B2 (en) * 2006-08-29 2014-04-01 Csr Technology Inc. Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US8487950B2 (en) * 2007-10-26 2013-07-16 Taiyo Yuden Co. Ltd. Video display apparatus and method, and signal processing circuit and liquid crystal backlight driver to be built therein
US8270759B2 (en) * 2008-06-16 2012-09-18 International Business Machines Corporation Transformation of a video image from a high dynamic range image to a low dynamic range image
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
WO2011004222A1 (en) 2009-07-10 2011-01-13 Kamil Bal Pedicular screw system
WO2012012446A2 (en) * 2010-07-22 2012-01-26 Dolby Laboratories Licensing Corporation System, apparatus and methods for mapping between video ranges of image data and display
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
GB2500835B (en) * 2010-12-10 2014-02-12 Ibm High-dynamic range video tone mapping
US8391598B2 (en) * 2011-01-05 2013-03-05 Aptina Imaging Corporation Methods for performing local tone mapping
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
WO2013067113A1 (en) * 2011-11-01 2013-05-10 Dolby Laboratories Licensing Corporation Adaptive false contouring prevention in layered coding of images with extended dynamic range
US9583133B2 (en) * 2012-06-11 2017-02-28 Sony Corporation Image generation device and image generation method for multiplexing captured images to generate an image stream
EP2674805B1 (en) * 2012-06-13 2020-03-11 ESight Corp. An apparatus and method for enhancing human visual performance in a head worn video system
FR3003378A1 (fr) * 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
JP2014216975A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 露光制御装置、撮像装置および露光制御方法
US9594488B2 (en) * 2013-12-12 2017-03-14 Google Inc. Interactive display of high dynamic range images
JP6094688B2 (ja) * 2013-12-27 2017-03-15 ソニー株式会社 画像処理装置及び画像処理方法
US9445111B2 (en) * 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
EP2922288A1 (en) * 2014-03-18 2015-09-23 Thomson Licensing Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium
CN106464892B (zh) * 2014-05-28 2019-07-02 皇家飞利浦有限公司 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
WO2016020189A1 (en) * 2014-08-08 2016-02-11 Koninklijke Philips N.V. Methods and apparatuses for encoding hdr images
US10313687B2 (en) * 2014-10-10 2019-06-04 Koninklijke Philips N.V. Saturation processing specification for dynamic range mappings
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
US9741305B2 (en) * 2015-08-04 2017-08-22 Apple Inc. Devices and methods of adaptive dimming using local tone mapping
US10043251B2 (en) * 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video
US10200701B2 (en) * 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
US9621767B1 (en) * 2015-11-24 2017-04-11 Intel Corporation Spatially adaptive tone mapping for display of high dynamic range (HDR) images
US10593028B2 (en) * 2015-12-03 2020-03-17 Samsung Electronics Co., Ltd. Method and apparatus for view-dependent tone mapping of virtual reality images
JP6237797B2 (ja) 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
CN108605125B (zh) * 2016-01-28 2021-05-25 皇家飞利浦有限公司 对hdr视频进行编码和解码的方法及设备
EP3430795A1 (en) * 2016-03-14 2019-01-23 Koninklijke Philips N.V. Saturation processing specification for dynamic range mappings
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
JP6822122B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US10965879B2 (en) * 2017-03-15 2021-03-30 Sony Corporation Imaging device, video signal processing device, and video signal processing method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006211650A (ja) * 2004-12-27 2006-08-10 Konica Minolta Holdings Inc 撮像装置及びそれに用いる画像処理方法
WO2007043460A1 (ja) * 2005-10-12 2007-04-19 Matsushita Electric Industrial Co., Ltd. 視覚処理装置、表示装置、視覚処理方法、プログラムおよび集積回路
JP2008305122A (ja) * 2007-06-07 2008-12-18 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2013118468A (ja) * 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
JP2014016670A (ja) * 2012-07-05 2014-01-30 Nikon Corp 画像処理装置及び画像処理プログラム
JP2015103214A (ja) * 2013-11-28 2015-06-04 株式会社Ｊｖｃケンウッド デプス推定装置、デプス推定方法、デプス推定プログラム、及び画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019193807A1 (ja) * 2018-04-06 2019-10-10 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
JPWO2019193807A1 (ja) * 2018-04-06 2021-04-30 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
US11354790B2 (en) 2018-04-06 2022-06-07 Sony Corporation Image processing apparatus, image processing method, and recording medium
JP7188440B2 (ja) 2018-04-06 2022-12-13 ソニーグループ株式会社 画像処理装置、画像処理方法及び記録媒体

Also Published As

Publication number Publication date
JP6852411B2 (ja) 2021-03-31
CN110168605B (zh) 2023-05-30
CN110168605A (zh) 2019-08-23
EP3571662A1 (en) 2019-11-27
US20200126197A1 (en) 2020-04-23
WO2018135291A1 (en) 2018-07-26
KR20190109406A (ko) 2019-09-25
EP3571662B1 (en) 2024-03-06
US11403741B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
JP6852411B2 (ja) 映像信号処理装置、映像信号処理方法およびプログラム
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
JP5769751B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7135299B2 (ja) 画像処理装置、表示装置、画像処理方法、プログラム
US10194074B2 (en) Imaging system, warning generation device and method, imaging device and method, and program
JP6700880B2 (ja) 情報処理装置および情報処理方法
EP3412031B1 (en) Method and apparatus for creating and rendering hdr images
US11006042B2 (en) Imaging device and image processing method
JP2016208306A (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
JP2004272578A (ja) 撮像装置及び歪み補正方法
JP2018186514A (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP5127638B2 (ja) 画像処理装置およびその方法
US20180270424A1 (en) Repositioning camera lenses during capturing of media
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
US20100053360A1 (en) Image processing method and image processing apparatus
US20170310921A1 (en) Image capturing apparatus connectable to display apparatus, display apparatus connectable to external apparatus, and image processing apparatus performing image processing
KR20180045553A (ko) 광역 역광 보정 장치
US10616504B2 (en) Information processing device, image display device, image display system, and information processing method
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP2019075621A (ja) 撮像装置、撮像装置の制御方法
EP4250722A1 (en) Image processing method and related device
JP2019033470A (ja) 画像処理システム、撮像装置、画像処理装置、制御方法およびプログラム
KR20120110440A (ko) 외부의 영상 처리 장치에 의해 비실시간으로 영상을 처리하는 영상 처리 방법 및 이를 적용한 영상 촬영 장치, 그리고 영상 처리 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210222

R151 Written notification of patent or utility model registration

Ref document number: 6852411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151