JP2021036690A - ビデオ処理システムと処理チップ - Google Patents

ビデオ処理システムと処理チップ Download PDF

Info

Publication number
JP2021036690A
JP2021036690A JP2020180537A JP2020180537A JP2021036690A JP 2021036690 A JP2021036690 A JP 2021036690A JP 2020180537 A JP2020180537 A JP 2020180537A JP 2020180537 A JP2020180537 A JP 2020180537A JP 2021036690 A JP2021036690 A JP 2021036690A
Authority
JP
Japan
Prior art keywords
video
data
processing
chip
main chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020180537A
Other languages
English (en)
Other versions
JP7104760B2 (ja
Inventor
義樹 張
yi shu Zhang
義樹 張
政信 張
Seishin Cho
政信 張
旭榮 童
Xu Rong Tong
旭榮 童
俊興 謝
Chun-Hsing Hsieh
俊興 謝
森煌 湯
Sen Huang Tang
森煌 湯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realtek Semiconductor Corp
Original Assignee
Realtek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realtek Semiconductor Corp filed Critical Realtek Semiconductor Corp
Publication of JP2021036690A publication Critical patent/JP2021036690A/ja
Application granted granted Critical
Publication of JP7104760B2 publication Critical patent/JP7104760B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096Details of the interface to the display terminal specific for a flat panel
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】本発明は、ビデオ処理システムを提供する。
【解決手段】第1のデータを受信するメインチップと、メインチップに結合され、第2のデータを受信し、メインチップからの第1のデータと第2のデータの少なくとも1つに対してビデオ処理を行って、ディスプレイパネルを駆動する処理チップと、を含み、第1のデータに含まれている第1のビデオ又は第2のデータに含まれている第2のビデオは、少なくとも8Kスーパーハイクオリティである第1の解像度を有するビデオ処理システム。
【選択図】図1A

Description

本発明は、ビデオ処理システムに関し、特に少なくとも8Kスーパーハイクオリティの最大解像度を有するビデオを処理可能なビデオ処理システムに関する。
より高いビデオ品質を追求するために、ビデオデータの解像度は急速に増加した。しかしながら、より高い解像度のビデオデータは、例えば、高いデータ転送速度、より高いデータスループットなどを必要とするなど、ビデオデータを処理することに対するより高い要求を表す。このようにして、従来のチップの中には、標準で最大の解像度を有するビデオデータを処理できない。
なお、本発明に関して記載すべき先行技術文献はない。出願人が知っている先行技術が文献公知発明に係るものではないからである。
上記の問題を解決するために、本発明のいくつかの態様は、第1のデータを受信するためのメインチップと、メインチップに結合され(coupled)、第2のデータを受信し、メインチップからの第1のデータと第2のデータの少なくとも1つに対してビデオ処理を行って、ディスプレイパネルを駆動することに用いられる処理チップと、を含み、第1のデータに含まれている第1のビデオ又は第2のデータに含まれている第2のビデオは、少なくとも8Kスーパーハイクオリティである第1の解像度を有するビデオ処理システムを提供する。
本発明のいくつかの態様は、メインチップに結合されて、メインチップからの第1のデータを受信するための第1の伝送インターフェースと、第1の伝送インターフェースに結合され、第1のデータにおける第1のビデオ又は第2のデータの第2のビデオの少なくとも1つによりビデオ処理を行って、ディスプレイパネルを駆動することに用いられるビデオ処理回路システムと、を含み、第2のビデオの解像度範囲が第1のビデオの解像度範囲のスーパーセット(superset)であり、且つ第2のビデオの解像度範囲の最大値が少なくとも8Kスーパーハイクオリティである処理チップを提供する。
要するに、上記の少なくとも1つの実施例における処理チップにより、ビデオ処理システムは、8Kスーパーハイクオリティ解像度又はその後継標準におけるより高い解像度を有するビデオデータを処理することができる。
本発明に添付される図面に関する説明は以下の通りである。
本発明のいくつかの実施例によるビデオ処理システムを示す模式図である。 本発明のいくつかの実施例による図1Aの処理チップの回路を示す模式図である。 本発明のいくつかの実施例による図1Aのメインチップからのビデオデータと処理チップからのビデオデータをブレンディングする過程を示す模式図である。 本発明のいくつかの実施例による図1Aのメインチップからのビデオデータと処理チップからのビデオデータをブレンディングする過程を示す模式図である。 本発明のいくつかの実施例による図1Aのメインチップが画像データと少なくとも1つのブレンディング係数を処理チップに伝送する過程を示す模式図である。 本発明のいくつかの実施例によるより多くの処理チップを有する図1Aのビデオ処理システムを示す模式図である。 本発明のいくつかの実施例によるビデオウォールアプリケーションを示す模式図である。
図1Aは、本発明のいくつかの実施例によるビデオ処理システム100を示す模式図である。ある実施例において、ビデオ処理システム100は解像度範囲を有するビデオの処理に用いられてよく、この解像度範囲の最大値が少なくとも8Kスーパーハイクオリティ(ultra high definition;UHD)である。
図1Aに示すように、ディスプレイパネル100Aはビデオ処理システム100に結合されて、ビデオ処理システム100によって処理されるデータに基づいてビデオを表示する。ある実施例において、ビデオ処理システム100は処理後のビデオデータと1つ又は複数の制御信号SC1をディスプレイパネル100Aにおける少なくとも1つのコントローラーに伝送して、ディスプレイパネル100Aを駆動する。ある実施例において、ディスプレイパネル100Aにおける少なくとも1つのコントローラーは、タイミングコントローラー、ソースドライバ、ゲートドライバ等を含んでよい。ある実施例において、ディスプレイパネル100Aは、8K UHD又はより高い解像度を有する。
ある実施例において、ビデオ処理システム100はメインチップ110と処理チップ120を含む。ある実施例において、メインチップ110は伝送インターフェース111を含み、且つ処理チップ120は伝送インターフェース122を含む。ある実施例において、メインチップ110と処理チップ120は伝送インターフェース111と122を介して各種類の情報(例えばビデオデータ、制御信号、オンスクリーンディスプレイ(on−screen display;OSD)情報、オーディオデータ等)を互いに伝送するように構成される。
ある実施例において、メインチップ110はデータD1に基づいてビデオ処理及び/又はオーディオ処理を行って、データD1内に含まれている画像及び/又はビデオを表示するようにディスプレイパネル100Aを駆動する。ある実施例において、データD1に含まれているビデオSV1は第1の所定の解像度を有する。ある実施例において、この第1の所定の解像度は8K UHDよりも低い。
ある実施例において、符号化ビデオストリームEVはデータD1内に含まれてもよい。ある実施例において、符号化ビデオストリームEVは4Kよりも高い解像度(例えば8Kであってよい)を有してよい。ある実施例において、メインチップ110はこの符号化ビデオストリームEVを処理できない可能性がある。この場合、メインチップ110は伝送インターフェース111と122を介して符号化ビデオストリームEVを処理チップ120に伝送することができる。このように、符号化ビデオストリームEVは処理チップ120によって処理されることができる。ある実施例において、符号化ビデオストリームEVは無線伝送を介してネットワーク又はラジオから受信することができる。
ある実施例において、伝送インターフェース111と122は少なくとも1つのプロトコルによって実施されてよく、前記少なくとも1つのプロトコルがユニバーサルシリアルバス(USB)、集積回路バス(IC)等を含んでよい。ある実施例において、伝送インターフェース111と122は非圧縮ビデオデータを伝送する又は受信することに用いられてよい。例えば、データD1に関連する非圧縮ビデオデータは伝送インターフェース111を介して処理チップ120に伝送されてよい。いくつかの非圧縮ビデオデータを伝送した実施例において、伝送インターフェース111と122はV−by−One、高解像度マルチメディアインターフェース(HDMI(登録商標))等によって実施されてよい。上記の伝送インターフェース111と122を実施するための少なくとも1つのプロトコルのタイプは例示に用いられ、且つ本発明はこれに限定されない。
ある実施例において、メインチップ110は、1つ又は複数の入力インターフェース(未図示)を提供して、データD1を受信するように1つ又は複数の外部オーディオ/ビデオ(audio/video;A/V)ソースに接続されることに用いられる。ある実施例において、前記1つ又は複数の入力インターフェースは、デジタルビデオインターフェース(DVI)、HDMI、ディスプレイポート、USB、ラジオ、ネットワーク等を含んでよい。ある実施例において、メインチップ110は無線伝送インターフェース(未図示)、例えばWi−Fi、モバイルネットワークインターフェース等を提供することができる。上記メインチップ110に提供される各種類のインターフェースのタイプは例示に用いられ、且つ本発明はこれに限定されない。
ある実施例において、処理チップ120はデータD2に基づいてビデオ処理及び/又はオーディオ処理を行う。ある実施例において、データD2に含まれているビデオSV2は第2の所定の解像度を有する。ある実施例において、第2の所定の解像度の最大値は第1の所定の解像度よりも高い。ある実施例において、第2の所定の解像度の最大値は4Kよりも高い。ある実施例において、第2の所定の解像度の最大値は8K UHD又は業界標準のにおける8K解像度の後継者であってよい。ある実施例において、メインチップ110は既存のテレビチップによって実施されてよい。これにより、処理チップ120との協力オペレーションにより、より高い解像度を有するビデオの処理能力を実現する。
ある実施例において、処理チップ120はビデオデータに基づいてビデオ処理を行ってよく、ビデオデータがメインチップ110からのデータD1に関連する。言い換えれば、処理チップ120は第1の所定の解像度及び/又は第2の所定の解像度を有するビデオデータの処理と互換性がある。別の言い方をすると、処理チップ120によって処理され得るビデオデータの解像度範囲はメインチップ110によって処理され得るビデオデータの解像度範囲のスーパーセットである。例えば、処理チップ120によって処理されるビデオ(例えばビデオSV2)の解像度は第2の所定の解像度の最大値(例えば8K UHD)よりも低く又はこれに等しい任意の解像度、例えば480P、720P、1080P、2K、4K及び/又は8K UHDであってよい。メインチップ110によって処理されるビデオ(例えばビデオSV1)の解像度は第1の所定の解像度の最大値(例えば4K)よりも低く又はこれに等しい任意の解像度、例えば480P、720P、1080P、2K及び/又は4Kであってよい。
ある実施例において、処理チップ120は初期解像度を有するビデオデータ(例えばビデオSV1又はSV2)を新解像度を有するビデオデータに変換することができ、初期解像度が第2の所定の解像度の最大値よりも低く、且つ新解像度が初期解像度よりも高く第2の所定の解像度の最大値よりも低く又はこれに等しい。ある実施例において、ディスプレイパネル100Aの要求を満たすように、処理チップ120はビデオデータのフレームレート(frame rate)を高めてよい。ある実施例において、メインチップ110又は処理チップ120によって実行されるビデオ処理は、ビデオコーデック操作、デインターリーブ操作、スケーリング操作、アナログデジタル変換、デジタルアナログ変換及び/又はOSD画像レンダリング/ミキシング(mixing)/ブレンディング(blending)等の操作を含んでよい。
ある実施例において、処理チップ120は、データD2を受信するように外部ビデオソースに接続されることに用いられる入力インターフェース121を含む。ある実施例において、入力インターフェース121は第2の所定の解像度を有する画像フォーマットを十分にサポートする能力が付与される。例えば、入力インターフェース121はネイティブ8Kビデオソースの入力をサポートすることができる。
ある実施例において、入力インターフェース121のタイプは、ディスプレイポート、ビデオストリーム、HDMI及び/又は後続きの第2の所定の解像度よりも高く又はこれに等しいビデオデータを伝送することを十分にサポートするインターフェースを含んでよい。上記入力インターフェース121に関するタイプは例示に用いられ、且つ本発明はこれに限定されない。
ある実施例において、メインチップ110は伝送インターフェース111を介して圧縮ビデオデータCVD(例えばデータD1に含まれているビデオ、データD1の圧縮結果、又はビデオストリーム)及び圧縮ビデオデータCVDに関するフレームフラグ(frame flag)のナンバリング情報(複数の制御信号CNに含まれてよい)を処理チップ120に伝送することができる。これにより、処理チップ120は圧縮ビデオデータCVDとフレームフラグのナンバリングによりビデオ処理を行って、ディスプレイパネル100Aを駆動するようにA/V同期ビデオデータを生成する。ある実施例において、処理チップ120に伝送される前に、圧縮ビデオデータCVDに含まれている画像/ビデオはOSD画像と重なる。ある実施例において、圧縮ビデオデータCVDは第2の所定の解像度よりも低く又はこれに等しい解像度を有する。
ある実施例において、メインチップ110はデータD1に基づいて圧縮ビデオデータCVDを生成する。ある実施例において、データD1に含まれているビデオSV1は第2の所定の解像度の最大値に等しい解像度を有してよい。この条件で、ビデオSV1を処理するために、メインチップ110は圧縮ビデオデータCVDを生成するようにデータD1に関するビデオデータを圧縮させてよく、データD1に関するビデオデータがビデオSV1に対応する。このようにして、処理チップ120は圧縮ビデオデータCVDに対してビデオ処理を行って、ディスプレイパネル100Aを駆動する。各実施例において、メインチップ110と処理チップ120のそれぞれはオーディオデータを処理することができる。ある実施例において、スピーカー(未図示)が用いられてメインチップ110を介して駆動され、且つ処理チップ120が伝送インターフェース122を介してデータD2に含まれているオーディオデータAD2をメインチップ110に伝送する。これにより、メインチップ110はオーディオデータAD2に基づいてオーディオ処理を行って、スピーカーを介して音声を出力する。ある実施例において、スピーカー(未図示)が用いられて処理チップ120を介して駆動され、且つメインチップ110が伝送インターフェース111を介してデータD1に含まれているオーディオデータAD1を処理チップ120伝送して、スピーカーを介して音声を出力する。
ある実施例において、オーディオデータAD1又はAD2はオーディオパルス符号化変調データである。ある実施例において、オーディオデータAD1又はAD2はオーディオ圧縮データである。上記オーディオデータAD1又はAD2に関するデータフォーマットは例示に用いられ、且つ本発明はこれに限定されない。
各実施例において、メインチップ110と処理チップ120はビデオ/オーディオ処理を行うように伝送インターフェース111と122を介して各制御信号CNを交換することに用いられる。ある実施例において、制御信号CNはビデオストリーム(例えば圧縮ビデオデータCVD)のタイミング情報、フレームフラグのナンバリング情報、ビデオサイズ、位置及び各種類のビデオ伝送及び/又はビデオ処理に用いられるパラメータ情報を含む。ある実施例において、制御信号CNを伝送するために、伝送インターフェース111と122はIC又は他の適切なプロトコルによって実施されてよい。
また、ある実施例において、処理チップ120は複数のレジスター(未図示)を含む。複数のレジスターは処理チップ120の構成及び/又は処理チップ120によって実行されるビデオ/画像処理の関連パラメータの設定に用いられる。ある実施例において、複数の制御信号CNは複数のレジスターのデータ値、アドレス値とインデックス値を示すことができる。上記制御信号CNに関するタイプは例示に用いられ、且つ本発明はこれに限定されない。
ある実施例において、OSD画像をまもなく処理する場合、OSD情報はメインチップ110と処理チップ120の間に交換されることができ、少なくとも1つのブレンディング係数を含む。ある実施例において、少なくとも1つのブレンディング係数はαパラメータを含むが、本発明はこれに限定されない。
図1Aに示されるメインチップ110と処理チップ120及び伝送インターフェース111と122の数は例示に用いられ、且つ本発明はこれに限定されない。ある実施例において、2つ又はより多くの伝送インターフェース111はメインチップ110に用いられ、メインチップ110がそれぞれ異なる伝送インターフェース111を介して各種類の情報を処理チップ120に送受信する。同様に、ある実施例において、2つ又はより多くの伝送インターフェース122は処理チップ120内に用いられ、処理チップ120がそれぞれ異なる伝送インターフェース122を介して各種類の情報をメインチップ110に送受信する。ある実施例において、2つ又はより多くの処理チップ120は画像処理を強化するために使用されてもよい。
図1Aと図1Bを参照されたい。図1Bは、本発明のいくつかの実施例による図1Aの処理チップ120の回路を示す模式図である。ある実施例において、メインチップ110と処理チップ120のそれぞれは特定用途向けIC(ASIC、application specific integrated circuit)によって実現できる。図1Bの例に示すように、処理チップ120の主要部分は、ビデオ処理回路システム123及びOSD画像エンジン回路システム124を含んでよく、上記両方が各実施例に検討される各種類の操作に用いられてよい。ビデオ処理回路システム123はビデオデータを受信するように複数の伝送インターフェース121と122に結合されて、更に前記の各実施例に検討されるビデオ/オーディオ処理を行う。ある実施例において、ビデオ処理回路システム123は、ビデオ(とオーディオ)コーデック回路(即ちエンコーダとデコーダ)、画像エンジン回路、デインターリーブ処理回路、アナログデジタル変換器、デジタルアナログ変換器等を含んでよい。OSD画像エンジン回路システム124はOSD情報に基づいてOSD画像レンダリング/ミキシング(mixing)/ブレンディング(blending)操作を行って、OSD情報に含まれているOSD画像データとビデオ(例えばビデオSV1又はSV2)をブレンディングしてよい。ある実施例において、処理チップ120はビデオ処理回路システム123から独立しているオーディオ処理回路(未図示)を含み、オーディオ処理回路が、オーディオデータAD2を処理するように、オーディオコーデック回路(及びエンコーダとデコーダ)を含んでよい。
上記処理チップ120に関する実施形態、操作及び/又は機能は例示に用いられ、且つ本発明はこれに限定されない。
図1Aと図2を合わせて参照すると、図2は、本発明のいくつかの実施例による図1Aのメインチップ110からのビデオデータと処理チップ120からのビデオデータをブレンディングする過程を示す模式図である。
操作S2−1において、データD1に関連するビデオデータはメインチップ110を介して処理チップ120に伝送される。図2に示される例において、全画面ビデオデータ201とキーデータ202はビデオデータに含まれ、ビデオデータが図1AにおけるデータD1に関連する。ある実施例において、全画面ビデオデータ201はビデオSV1及び/又はOSD/ユーザインターフェース画像を含み、上記両方が図1Aにおけるディスプレイパネル100Aの全画面(スクリーン)領域によって表示される。ある実施例において、キーデータ202は図1Aのディスプレイパネル100Aの領域A−1を定義することに用いられる。ある実施例において、キーデータ202は特定のコードによって実施されることができる。ある実施例において、キーデータ202は特定集合のデータ値(例えばピクセル値、RGB値、ピクセルインデックス又はその上記の組み合わせ)であってよい。上記キーデータ202に関する実施形態は例示に用いられ、且つ本発明はこれに限定されない。
操作S2−2において、処理チップ120は全画面ビデオデータ201、キーデータ202及び処理チップ120によって処理されるビデオデータに基づいてビデオ処理を行って、ブレンディングビデオデータ203を表示するようにディスプレイパネル100Aを駆動する。ある実施例において、領域A−1はディスプレイパネル100Aにおける領域A−1が処理チップ120によって処理された後のビデオデータを表示することに用いられる。処理チップ120はキーデータ202における特定のコードを識別することにより領域A−1が得られ、ビデオ処理を行ってディスプレイパネル100Aにおける領域A−1と処理チップ120によって処理されたビデオデータをブレンディングする。ある実施例において、処理チップ120によって処理されたビデオデータはデータD2に含まれているビデオSV2(又は画像)或いはメインチップ110からの圧縮ビデオデータCVDを含む。ある実施例において、領域A−1はディスプレイパネル100Aの総領域よりも小さい面積を有する。この条件で、領域A−1のサイズと一致するように、処理チップ120はデータD2に含まれている画像又はビデオのサイズを縮小することができる。
操作S2−1とS2−2により、処理チップ120によって処理されるビデオデータはメインチップ110によって処理されるビデオデータと重なってよい。非限定的な例において、処理チップ120は領域A−1でビデオを表示することができ、ディスプレイパネル100Aの残りの領域にユーザーインターフェース(例えば、制御列、音量調整列、情報列等)を表示することができる。
各実施例において、前記挙げられたビデオデータは画像データであってよい。
図3は、本発明のいくつかの実施例による図1Aのメインチップ110からのビデオデータと処理チップ120からのビデオデータをブレンディングする過程を示す模式図である。
ある実施例において、「スペースシェアリング」の技術により、メインチップ110からビデオデータ(例えばビデオ/OSD/ユーザインターフェース)及び少なくとも1つのブレンディング係数を処理チップ120に伝送することができる。S3−1操作において、メインチップ110は全画面ビデオデータ301(ビデオデータ301A及び少なくとも1つのブレンディング係数301Bを含む)を処理チップ120に伝送する。図3のいくつかの例において、少なくとも1つのブレンディング係数301Bは全画面ビデオデータ301内にカプセル化される。同様に、少なくとも1つのブレンディング係数301Bは全画面ビデオデータ301の空間を共有することにより伝送される。
ある実施例において、少なくとも1つのブレンディング係数301Bは全画面ビデオデータ301に含まれているピクセルデータ(例えばビデオデータ301Aの複数のピクセルデータ値)に伴って伝送される。ある実施例において、図1Aにおける伝送インターフェース111は、ピクセルデータと少なくとも1つのブレンディング係数301Bを共に伝送するように、V−by−oneインターフェースの4バイトモード又は5バイトモードによって実施される。図3に示される少なくとも1つのブレンディング係数301Bは例示に用いられ、且つ本発明はこれに限定されない。
S3−2操作において、処理チップ120は全画面ビデオデータ301とデータD2に基づいてビデオ処理を行って、メインチップ110からのビデオデータと処理チップ120からのビデオデータ(例えば図1AにおけるビデオSV2)をブレンディングして、ブレンディングビデオデータ302を生成する。ある実施例において、図3に示すように、ブレンディングビデオデータ302は複数の領域302Aと302Bを含み、領域302Aが全画面ビデオデータ301に含まれている画像又はビデオを表示することに用いられ、且つ領域302Bにおいて、全画面ビデオデータ301に含まれている画像又はビデオ(例えばビデオデータ301A)は少なくとも1つのブレンディング係数301BとビデオSV2に基づいてαブレンディングを行うことができる。
他の実施例において、領域302Aは一部のビデオデータ301A(例えばビデオ/OSD/ユーザインターフェース)を表示することに用いられ、且つ少なくとも1つのブレンディング係数301Bに基づいてビデオSV2とαブレンディングを行う他の部分のビデオデータ301Aが領域302Bに表示される。
図4は、本発明のいくつかの実施例による図1Aのメインチップ110が画像データと少なくとも1つのブレンディング係数を処理チップ120に伝送する過程を示す模式図である。
ある実施例において、「タイムシェアリング」(又は「タイムスタンプ」と言われる)の技術により、メインチップ110からビデオデータ及び少なくとも1つのブレンディング係数を処理チップ120に伝送することができる。図4の例に示すように、メインチップ110は全画面ビデオデータ401及び少なくとも1つのブレンディング係数402を交互に処理チップ120に伝送し、全画面ビデオデータ401が画像データ(例えば図4におけるユーザインターフェースデータ)を含む。詳しく言えば、2つのブレンディング係数402は時間区間T1とT5で伝送され、且つ3つの全画面ビデオデータ401(例えばユーザインターフェースデータ)は時間区間T2〜T4で伝送される。図3に示される複数の実施例と比べると、図4の複数の実施例において、少なくとも1つのブレンディング係数及び全画面ビデオデータは異なる時間区間で伝送される。
いくつかの代替実施例において、上記「スペースシェアリング」と「タイムシェアリング」の2つの技術は同時に採用されてよい。例えば、ビデオデータは時間区間Tmで伝送され、且つ少なくとも1つのブレンディング係数及びOSD/ユーザインターフェースが含まれているパッケージデータは時間Tnで伝送され、TmがTnと異なる。
図5Aは、本発明のいくつかの実施例によるより多くの処理チップ120を有する図1Aのビデオ処理システム100を示す模式図である。図5Bは、本発明のいくつかの実施例によるビデオウォールアプリケーションを示す模式図である。
ある実施例において、図1Aのビデオ処理システム100が少なくとも2つの処理チップ120を有すると、ビデオ処理システム100はビデオウォールの形態で形成された複数のパネル(デイジーチェーン(daisy chain)と呼ばれてよい)に適用されることができる。例えば、図5Aに示すように、4つの処理チップ120A〜120Dはそれぞれ4つのディスプレイパネル100A〜100Dに結合される。ある実施例において、図5Bに示すように、4つのディスプレイパネル100A〜100Dはビデオウォールの構築に用いられる。
図5Aにおけるいくつかの実施例において、処理チップ120Aは、一部のビデオを表示させ処理後のデータPD1を処理チップ120Bに伝送するようにディスプレイパネル100Aを駆動する。処理チップ120Bは、処理後のデータPD1に基づいてビデオ/オーディオ処理を行って、一部のビデオを表示させ処理後のデータPD2を処理チップ120Cに伝送するようにディスプレイパネル100Bを駆動する。同様にして、複数の処理チップ120C〜120Dはそれぞれ複数のディスプレイパネル100Cと100Dを駆動することができる。このようにして、図5Bに示すように、ビデオは複数のディスプレイパネル100A〜100Dからなるビデオウォールによって表示されることができる。
ある実施例において、ビデオ処理システム100はテレビ、セットトップボックス(set−top box)及び/又は複数のスクリーンに適用されることができる。ある実施例において、ビデオ処理システム100がセットトップボックスに適用される場合、処理チップ120は、処理後のデータを前記別の入力インターフェースに出力するように、別の入力インターフェース(例えば4組のHDMIの受信機)に結合されてよい。
要するに、上記少なくとも1つの実施例における処理チップにより、ビデオ処理システムは、8K UHD解像度又はその後継標準におけるより高い解像度を有するビデオデータを処理することができる。
上記内容でビデオ処理システム100における各種類の機能性素子又はブロックは既に説明される。当業者であれば、ある実施例において、上記複数の機能性ブロックは、回路によって実施(1つ又は複数のプロセッサと符号化指令の制御で操作される専用の回路又は汎用回路であってよい)されることができ、一般的に複数のトランジスタ又は他の回路素子を含んでよく、上記トランジスタ又は回路素子が本文に説明される機能と操作により回路の動作を制御することに用いられることが理解できる。当業者であれば、回路素子の具体構造又は内部接続方式は、一般的にコンパイラ(例えばレジスター転送言語(register transfer language;RTL)コンパイラ)によって決定されてよいことが更に理解できる。RTLコンパイラは、前記スクリプトが最終的な回路を製造するためのレイアウト形式であると解釈するように複数のスクリプトで動作して、これらのスクリプトがアセンブリ言語コードと非常によく似ている。RTLは、電子又はデジタルシステムにおける製造設計中の用途と使用方式が当技術分野において周知である。
本発明の実施形態を前記の通りに開示したが、これは、本発明を限定するものではなく、業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えてもよく、したがって、本発明の保護範囲は、後の特許請求の範囲で指定した内容を基準とするものである。
100 ビデオ処理システム
SC1、CN 制御信号
120 処理チップ
D1、D2 データ
EV 符号化ビデオストリーム
CVD 圧縮ビデオデータ
123 ビデオ処理回路システム
S2−1、S2−2 操作
202 キーデータ
203、302 ブレンディングビデオデータ
301A ビデオデータ
302A、302B 領域
401 全画面ビデオデータ
120A〜120D 処理チップ
110 メインチップ
111、122 伝送インターフェース
SV1、SV2 ビデオ
121 入力インターフェース
AD1、AD2 オーディオデータ
124 OSD画像エンジン回路システム
201、301 全画面ビデオデータ
A−1 領域
S3−1、S3−2 操作
301B、402 少なくとも1つのブレンディング係数
T1〜T5 時間区間
PD1〜PD3 処理後のデータ
100A〜100D ディスプレイパネル

Claims (10)

  1. 第1のデータを受信するためのメインチップと、
    前記メインチップに結合され、第2のデータを受信し、前記メインチップからの前記第1のデータと前記第2のデータの少なくとも1つに対してビデオ処理を行って、ディスプレイパネルを駆動することに用いられる処理チップと、
    を含み、
    前記第1のデータに含まれている第1のビデオ又は前記第2のデータに含まれている第2のビデオは、少なくとも8Kスーパーハイクオリティである第1の解像度を有するビデオ処理システム。
  2. 前記第1のビデオが前記第1の解像度よりも低い第2の解像度を有すると、前記メインチップは前記第1のビデオを処理することに用いられる請求項1に記載のビデオ処理システム。
  3. 前記第1のビデオが前記第1の解像度に等しい第2の解像度を有すると、前記メインチップは前記第1のデータに含まれている前記第1のビデオを圧縮ビデオデータ又はビデオストリームとして前記処理チップに送信し、且つ前記処理チップは前記圧縮ビデオデータ又は前記ビデオストリームに対して前記ビデオ処理を行うことに用いられる請求項1に記載のビデオ処理システム。
  4. 前記第1のデータはビデオデータとキーデータを含み、前記ビデオデータが、前記第1のビデオ又は第1の画像がまもなく前記ディスプレイパネルの全画面領域に表示されるように指示し、前記キーデータが、前記全画面領域内の特定の領域を定義することに用いられ、前記特定の領域が、前記第2のビデオを表示することに用いられ、且つ前記処理チップが、更に前記ビデオデータと前記キーデータにより前記ビデオ処理を行って、ブレンディングビデオデータを表示するように前記ディスプレイパネルを駆動することに用いられる請求項1に記載のビデオ処理システム。
  5. 前記メインチップは第1の伝送インターフェースを含み、前記処理チップは第2の伝送インターフェースを含み、前記メインチップと前記処理チップが前記第1の伝送インターフェースと前記第2の伝送インターフェースを介して前記第1のデータと前記第1のビデオに関連する少なくとも1つの制御信号を互いに伝送することに用いられ、且つ前記処理チップが前記少なくとも1つの制御信号に基づいて前記ビデオ処理を行う請求項1〜4の何れか1項に記載のビデオ処理システム。
  6. 前記メインチップと前記処理チップは更に前記第1の伝送インターフェースと前記第2の伝送インターフェースを介してオンスクリーンディスプレイ情報を伝送することに用いられる請求項5に記載のビデオ処理システム。
  7. 前記メインチップは第1の伝送インターフェースを含み、前記処理チップは第2の伝送インターフェースを含み、前記メインチップと前記処理チップが前記第1の伝送インターフェースと前記第2の伝送インターフェースを介して前記第1のデータと少なくとも1つのブレンディング係数を伝送することに用いられ、ただし、前記第1のデータが第1のビデオデータを含み、且つ前記処理チップが前記第1のビデオデータ、少なくとも1つのブレンディング係数及び前記第2のデータに基づいて前記ビデオ処理を行って、ディスプレイパネルを駆動するようにブレンディングビデオデータを生成する請求項1〜4の何れか1項に記載のビデオ処理システム。
  8. 前記少なくとも1つのブレンディング係数が前記第1のデータ内にカプセル化されて前記第1のデータと共に前記処理チップに伝送され、又は前記少なくとも1つのブレンディング係数と前記第1のデータが異なる時間区間で前記メインチップから前記処理チップに伝送される請求項7に記載のビデオ処理システム。
  9. 前記ブレンディングビデオデータに応じて、前記ディスプレイパネルは、
    前記第1のビデオデータの第1の部分を表示することに用いられる第1の領域と、
    前記第1のビデオデータの第2の部分を表示することに用いられる第2の領域と、
    を含み、
    前記第2の部分と前記第2のビデオとブレンディングされる請求項7に記載のビデオ処理システム。
  10. メインチップに結合されて、前記メインチップからの第1のデータを受信するための第1の伝送インターフェースと、
    前記第1の伝送インターフェースに結合され、前記第1のデータにおける第1のビデオ又は第2のデータの第2のビデオの少なくとも1つによりビデオ処理を行って、ディスプレイパネルを駆動することに用いられるビデオ処理回路システムと、
    を含み、
    前記第2のビデオの解像度範囲は前記第1のビデオの解像度範囲のスーパーセットであり、且つ前記第2のビデオの前記解像度範囲の最大値は少なくとも8Kスーパーハイクオリティである処理チップ。
JP2020180537A 2018-02-14 2020-10-28 ビデオ処理システムと処理チップ Active JP7104760B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862630258P 2018-02-14 2018-02-14
US62/630,258 2018-02-14
US16/140,636 US10643298B2 (en) 2018-02-14 2018-09-25 Video processing system and processing chip
US16/140,636 2018-09-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019021384A Division JP6818063B2 (ja) 2018-02-14 2019-02-08 ビデオ処理システムと処理チップ

Publications (2)

Publication Number Publication Date
JP2021036690A true JP2021036690A (ja) 2021-03-04
JP7104760B2 JP7104760B2 (ja) 2022-07-21

Family

ID=67540215

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019021384A Active JP6818063B2 (ja) 2018-02-14 2019-02-08 ビデオ処理システムと処理チップ
JP2020180537A Active JP7104760B2 (ja) 2018-02-14 2020-10-28 ビデオ処理システムと処理チップ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019021384A Active JP6818063B2 (ja) 2018-02-14 2019-02-08 ビデオ処理システムと処理チップ

Country Status (4)

Country Link
US (2) US10643298B2 (ja)
JP (2) JP6818063B2 (ja)
CN (2) CN114363544A (ja)
TW (2) TWI756502B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020072331A (ja) * 2018-10-30 2020-05-07 キヤノン株式会社 表示制御装置、表示装置、表示システム、表示装置の制御方法、プログラム、および記憶媒体
CN113597640A (zh) * 2019-03-25 2021-11-02 索尼集团公司 图像处理设备、图像处理方法和显示设备
KR20200121097A (ko) 2019-04-15 2020-10-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11250763B2 (en) * 2019-06-21 2022-02-15 Boe Technology Group Co., Ltd. Picture frame display apparatus and a display method
CN112449229B (zh) * 2019-09-04 2022-01-28 海信视像科技股份有限公司 一种音画同步处理方法及显示设备
CN110708513B (zh) * 2019-10-18 2021-06-01 中国科学院长春光学精密机械与物理研究所 一种8k视频多核异构处理装置
TWI768302B (zh) * 2020-03-10 2022-06-21 瑞昱半導體股份有限公司 非對稱性影像傳輸方法及其電子裝置
TWI774100B (zh) * 2020-10-26 2022-08-11 瑞昱半導體股份有限公司 影像處理晶片與影像處理方法
TWI806345B (zh) * 2021-09-06 2023-06-21 緯創資通股份有限公司 用於顯示牆系統之影像處理裝置及播放控制方法
CN114285956A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 视频分享电路、方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191379A (ja) * 1996-12-25 1998-07-21 Sony Corp 副画面制御回路
US20120274808A1 (en) * 2011-04-26 2012-11-01 Sheaufoong Chong Image overlay in a mobile device
US20150326923A1 (en) * 2014-05-07 2015-11-12 Lg Electronics Inc. Digital device and method of processing service thereof
JP2016184775A (ja) * 2015-03-25 2016-10-20 セイコーエプソン株式会社 映像処理装置、表示装置、及び、映像処理方法
JP2017003756A (ja) * 2015-06-10 2017-01-05 シャープ株式会社 液晶表示装置およびテレビジョン装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61193580A (ja) * 1985-02-21 1986-08-28 Hitachi Ltd 2画面テレビジヨン受像機
KR100699265B1 (ko) * 2005-07-25 2007-03-27 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP4775210B2 (ja) * 2006-09-26 2011-09-21 株式会社日立製作所 画像信号処理装置、画像高解像度化方法、画像表示装置、記録再生装置
TW200936412A (en) 2008-02-29 2009-09-01 Univ Nat Formosa Drive recorder having text and image superimposed function
US8437602B2 (en) * 2008-09-01 2013-05-07 Sony Corporation Information processing apparatus and program
JP5262546B2 (ja) * 2008-10-08 2013-08-14 ソニー株式会社 映像信号処理システム、再生装置および表示装置、ならびに映像信号処理方法
IT1403450B1 (it) 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
CN102695023A (zh) * 2011-03-23 2012-09-26 宏碁股份有限公司 视频信号处理系统与方法
KR102028696B1 (ko) * 2012-10-04 2019-10-07 삼성전자주식회사 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법
CN203313319U (zh) * 2013-06-09 2013-11-27 深圳创维-Rgb电子有限公司 一种显示系统
JP6221606B2 (ja) * 2013-10-08 2017-11-01 ソニー株式会社 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
CN203912066U (zh) * 2014-06-26 2014-10-29 浙江大华技术股份有限公司 一种多屏控制器
CN105828183B (zh) * 2015-01-04 2017-12-05 华为技术有限公司 视频帧处理方法及视频帧处理芯片
US9729938B2 (en) * 2015-01-24 2017-08-08 Valens Semiconductor Ltd. Low latency visually lossless switching between different compression ratios
JPWO2017006948A1 (ja) * 2015-07-09 2018-04-26 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
KR20170086977A (ko) * 2016-01-19 2017-07-27 삼성전자주식회사 영상 데이터 처리 방법 및 장치
CN106385553A (zh) * 2016-08-14 2017-02-08 深圳市芯智科技有限公司 一种高分辨率极清显示系统及方法
CA3032198A1 (en) * 2016-10-25 2018-05-03 Owl Cameras, Inc. Video-based data collection, image capture and analysis configuration
CN106993150B (zh) * 2017-04-14 2024-02-06 深圳市唯奥视讯技术有限公司 一种兼容超高清视频输入的视频图像处理系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191379A (ja) * 1996-12-25 1998-07-21 Sony Corp 副画面制御回路
US20120274808A1 (en) * 2011-04-26 2012-11-01 Sheaufoong Chong Image overlay in a mobile device
US20150326923A1 (en) * 2014-05-07 2015-11-12 Lg Electronics Inc. Digital device and method of processing service thereof
JP2016184775A (ja) * 2015-03-25 2016-10-20 セイコーエプソン株式会社 映像処理装置、表示装置、及び、映像処理方法
JP2017003756A (ja) * 2015-06-10 2017-01-05 シャープ株式会社 液晶表示装置およびテレビジョン装置

Also Published As

Publication number Publication date
US20200202483A1 (en) 2020-06-25
US10643298B2 (en) 2020-05-05
JP6818063B2 (ja) 2021-01-20
US10937120B2 (en) 2021-03-02
JP7104760B2 (ja) 2022-07-21
CN114363544A (zh) 2022-04-15
CN110166720A (zh) 2019-08-23
TWI788624B (zh) 2023-01-01
CN110166720B (zh) 2022-02-22
US20190251651A1 (en) 2019-08-15
TW201941157A (zh) 2019-10-16
JP2019140679A (ja) 2019-08-22
TW202022794A (zh) 2020-06-16
TWI756502B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
JP7104760B2 (ja) ビデオ処理システムと処理チップ
TWI529656B (zh) Image display system and image processing method
CN101742167B (zh) 视频处理电路以及将视频输出流与图形流合并传输的方法
US10097803B2 (en) Display processing apparatus, device and method
CN103024313B (zh) 一种超高清显示设备
KR100809571B1 (ko) 인터레이싱된 비디오 신호를 프로그레시브 비디오 신호로변환하는 방법, mpeg 디코더, 인터레이싱된 mpeg비디오 신호를 프로그레시브 비디오 신호로 변환하기 위한시스템
CN101102487A (zh) 基于vga和hdmi两种显示模式的视频传输系统及方法
CN101778199B (zh) 一种合成多路高清视频图像画面的实现方法
US20190158778A1 (en) Apparatus and method for switching video signal
US9516372B2 (en) Multimedia I/O system architecture for advanced digital television
US20090135916A1 (en) Image processing apparatus and method
US6469743B1 (en) Programmable external graphics/video port for digital video decode system chip
US8269897B2 (en) Method and apparatus for video format conversion
CN103024516A (zh) 视频同步输出的方法及装置
CN107846588B (zh) 电视中串口记录信息的获取方法和装置
US7675576B2 (en) Video processing apparatus and method thereof
CN100464567C (zh) 一体式视频信号交换装置及方法
CN202373277U (zh) 一种利用单处理器实现双路视频输出的设备
CN105578093A (zh) 一种兼容多种接口的投影机
CN204334854U (zh) 卫星机顶盒
Mizosoe et al. An advanced multimedia processing LSI suitable for HDTV applications
CN217496042U (zh) 用于汽车中控导航头枕的多功能显示转接板
JP2001282213A (ja) 表示制御装置及びこの表示制御装置を有する情報処理装置
CN110379395A (zh) 车机显示演示装置及方法
CN1567979A (zh) 电视接收器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220708

R150 Certificate of patent or registration of utility model

Ref document number: 7104760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150