JP2021158508A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2021158508A JP2021158508A JP2020056530A JP2020056530A JP2021158508A JP 2021158508 A JP2021158508 A JP 2021158508A JP 2020056530 A JP2020056530 A JP 2020056530A JP 2020056530 A JP2020056530 A JP 2020056530A JP 2021158508 A JP2021158508 A JP 2021158508A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- data
- image processing
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 334
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 238000004904 shortening Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 17
- 238000004891 communication Methods 0.000 abstract description 13
- 230000006837 decompression Effects 0.000 description 38
- 230000006835 compression Effects 0.000 description 31
- 238000007906 compression Methods 0.000 description 31
- 238000003860 storage Methods 0.000 description 25
- 210000003128 head Anatomy 0.000 description 16
- 238000012937 correction Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000003111 delayed effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000036632 reaction speed Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
Claims (17)
- 一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得する画像データ取得部と、
前記フレームのデータに所定の処理を施し表示可能な状態とする画像処理部と、
前記動画像のフレームレートを参照し、表示可能な状態の前記フレームのデータを表示パネルに出力する機会を前記動画像のフレームレートより多く提供する表示制御部と、
を備えたことを特徴とする画像処理装置。 - 前記表示制御部は、前記動画像のフレームレートより高いレートで前記表示パネルを駆動することを特徴とする請求項1に記載の画像処理装置。
- 前記画像処理部によって前記フレームのデータが表示可能な状態となるタイミングが前記表示パネルへの出力タイミングと非同期であるとき、前記表示制御部は、表示可能な状態となった前記フレームのデータを、直後に到来した出力タイミングで出力することを特徴とする請求項1または2に記載の画像処理装置。
- 前記画像処理部が前記フレームのデータを表示可能な状態とするのに要する時間が可変のとき、前記表示制御部は、表示可能な状態となった前記フレームのデータを、前記表示パネルの出力タイミングのうち直後に到来した出力タイミングで出力することを特徴とする請求項1から3のいずれかに記載の画像処理装置。
- 前記表示制御部は、前記表示パネルの出力タイミングにおいて、表示可能な状態の新たなフレームのデータが未取得のとき、出力済みのフレームのデータを再度出力することを特徴とする請求項1から4のいずれかに記載の画像処理装置。
- 前記表示制御部は、表示可能な状態の新たなフレームのデータを取得するまで、過去のフレームのデータを内部のメモリに保持することを特徴とする請求項5に記載の画像処理装置。
- 前記画像処理部は、前記動画像のフレームレートを参照し、それに基づき決定した、前記フレームレートより高いレートで、各フレームの処理サイクルを繰り返すことにより、前記フレームのデータを表示可能な状態とすることを特徴とする請求項1から6のいずれかに記載の画像処理装置。
- 前記画像処理部は、処理対象のフレームのデータが未取得の処理サイクルにおいて前記所定の処理を一時休止することを特徴とする請求項2に記載の画像処理装置。
- 前記画像処理部は、単位時間あたりに取得する処理対象のフレームのデータ量に基づき、当該フレームのデータを滞りなく処理するために必要、かつ、処理時間の短縮により処理の一時休止を可能にする演算能力を求め、当該演算能力のモードで前記所定の処理を実施することを特徴とする請求項8に記載の画像処理装置。
- 前記画像処理部は、プロセッサ、動きベクトルエントロピー計算器、およびピクセルデノイズフィルタを備え、それらの動作クロック周波数の変更、または並列稼働するハードワイヤードブロック数の変更により、前記演算能力のモードを切り替えることを特徴とする請求項9に記載の画像処理装置。
- 前記画像データ取得部は、前記動画像のデータを1フレームより小さい部分画像単位で取得し、
前記画像処理部は、前記部分画像のデータに所定の処理を施し表示用の部分画像のデータを生成し、
前記表示制御部は、前記表示用の部分画像のデータを順次表示パネルに出力することを特徴とする請求項1から10のいずれかに記載の画像処理装置。 - 前記表示制御部は、前記動画像のフレームレートのN倍(Nは2以上の整数)の周波数で垂直同期信号を発生させることにより、当該周波数で各フレームのデータを表示パネルに出力することを特徴とする請求項1から11のいずれかに記載の画像処理装置。
- 画像データ取得部は、前記外部装置から各フレームのデータとともにその生成時刻を取得し、
前記表示制御部は、各フレームの生成時刻の間隔と前記垂直同期信号の周期を前記N倍した時間が一致するように、前記垂直同期信号の発生タイミングを調整することを特徴とする請求項12に記載の画像処理装置。 - 前記表示制御部は、前記画像処理部によりフレームのデータが表示可能な状態となった時刻から、直後に到来する前記垂直同期信号の発生時刻までの時間を計測し、当該時間が目標値となるように、前記垂直同期信号の発生タイミングを調整することを特徴とする請求項12または13に記載の画像処理装置。
- 前記画像処理部は、前記動画像のフレームレートのN’倍(N’は2以上の倍数)のレートで前記処理サイクルを繰り返すことを特徴とする請求項7から9のいずれかに記載の画像処理装置。
- 一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得するステップと、
前記フレームのデータに所定の処理を施し表示可能な状態とするステップと、
前記動画像のフレームレートを参照し、表示可能な状態の前記フレームのデータを表示パネルに出力する機会を前記動画像のフレームレートより多く提供するステップと、
を含むことを特徴とする画像処理装置による画像処理方法。 - 一体的に設けられていない外部装置から動画像を構成するフレームのデータを取得する機能と、
前記フレームのデータに所定の処理を施し表示可能な状態とする機能と、
前記動画像のフレームレートを参照し、表示可能な状態の前記フレームのデータを表示パネルに出力する機会を前記動画像のフレームレートより多く提供する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056530A JP7321961B2 (ja) | 2020-03-26 | 2020-03-26 | 画像処理装置および画像処理方法 |
US17/908,077 US20230086916A1 (en) | 2020-03-26 | 2021-03-18 | Image processing apparatus and image processing method |
PCT/JP2021/011135 WO2021193362A1 (ja) | 2020-03-26 | 2021-03-18 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056530A JP7321961B2 (ja) | 2020-03-26 | 2020-03-26 | 画像処理装置および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021158508A true JP2021158508A (ja) | 2021-10-07 |
JP2021158508A5 JP2021158508A5 (ja) | 2022-05-12 |
JP7321961B2 JP7321961B2 (ja) | 2023-08-07 |
Family
ID=77891729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020056530A Active JP7321961B2 (ja) | 2020-03-26 | 2020-03-26 | 画像処理装置および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230086916A1 (ja) |
JP (1) | JP7321961B2 (ja) |
WO (1) | WO2021193362A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285877A (ja) * | 2000-03-31 | 2001-10-12 | Matsushita Electric Ind Co Ltd | 圧縮符号化データ復号装置および復号方法 |
JP2005124167A (ja) * | 2003-09-25 | 2005-05-12 | Canon Inc | フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置 |
JP2005338498A (ja) * | 2004-05-27 | 2005-12-08 | Mitsubishi Electric Corp | 表示メモリ装置 |
JP2007300568A (ja) * | 2006-05-08 | 2007-11-15 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
JP2010206486A (ja) * | 2009-03-03 | 2010-09-16 | Sharp Corp | 動画像ストリーム復号装置及びその制御方法並びにプログラム、記録媒体 |
JP2011107246A (ja) * | 2009-11-13 | 2011-06-02 | Nec Corp | 動画像再生装置及び動画像再生方法並びにプログラム |
JP2012182673A (ja) * | 2011-03-01 | 2012-09-20 | Toshiba Corp | 映像表示装置及び映像処理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2658832B2 (ja) * | 1993-11-12 | 1997-09-30 | 日本電気株式会社 | 動画像復号制御装置 |
US6469744B1 (en) * | 1999-07-06 | 2002-10-22 | Hitachi America, Ltd. | Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion |
TWI355199B (en) * | 2007-03-26 | 2011-12-21 | Realtek Semiconductor Corp | Display control device and method |
JP6248671B2 (ja) * | 2014-02-10 | 2017-12-20 | 富士通株式会社 | 情報処理装置、方法、プログラム、および情報処理システム |
CN105409229B (zh) * | 2014-05-28 | 2019-12-06 | 索尼公司 | 信息处理装置及信息处理方法 |
KR102398027B1 (ko) * | 2015-07-03 | 2022-05-17 | 삼성전자주식회사 | 전자 장치의 동적 프리뷰 디스플레이 방법 및 그 전자 장치 |
JP6868802B2 (ja) * | 2015-08-03 | 2021-05-12 | パナソニックIpマネジメント株式会社 | 送信方法、受信方法、送信装置及び受信装置 |
US9728166B2 (en) * | 2015-08-20 | 2017-08-08 | Qualcomm Incorporated | Refresh rate matching with predictive time-shift compensation |
US20170078609A1 (en) * | 2015-09-16 | 2017-03-16 | Quopin Co., Ltd. | Image processing method and apparatus based on screen spliting |
EP3503569A1 (en) * | 2017-12-19 | 2019-06-26 | Thomson Licensing | Method of transmitting video frames from a video stream to a display and corresponding apparatus |
-
2020
- 2020-03-26 JP JP2020056530A patent/JP7321961B2/ja active Active
-
2021
- 2021-03-18 WO PCT/JP2021/011135 patent/WO2021193362A1/ja active Application Filing
- 2021-03-18 US US17/908,077 patent/US20230086916A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285877A (ja) * | 2000-03-31 | 2001-10-12 | Matsushita Electric Ind Co Ltd | 圧縮符号化データ復号装置および復号方法 |
JP2005124167A (ja) * | 2003-09-25 | 2005-05-12 | Canon Inc | フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置 |
JP2005338498A (ja) * | 2004-05-27 | 2005-12-08 | Mitsubishi Electric Corp | 表示メモリ装置 |
JP2007300568A (ja) * | 2006-05-08 | 2007-11-15 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
JP2010206486A (ja) * | 2009-03-03 | 2010-09-16 | Sharp Corp | 動画像ストリーム復号装置及びその制御方法並びにプログラム、記録媒体 |
JP2011107246A (ja) * | 2009-11-13 | 2011-06-02 | Nec Corp | 動画像再生装置及び動画像再生方法並びにプログラム |
JP2012182673A (ja) * | 2011-03-01 | 2012-09-20 | Toshiba Corp | 映像表示装置及び映像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021193362A1 (ja) | 2021-09-30 |
JP7321961B2 (ja) | 2023-08-07 |
US20230086916A1 (en) | 2023-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470301B2 (en) | Systems and method for virtual reality video conversion and streaming | |
KR102493754B1 (ko) | 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치 | |
JP2019028368A (ja) | レンダリング装置、ヘッドマウントディスプレイ、画像伝送方法、および画像補正方法 | |
JP2023513304A (ja) | 分散システムにおける動き平滑化 | |
US20220353555A1 (en) | Image display system, moving image distribution server, image processing apparatus, and moving image distribution method | |
WO2020108091A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
TW201904294A (zh) | 數位內容串流壓縮 | |
JP2006246153A (ja) | 画面転送装置、画面転送システム、画面転送方法、およびプログラム | |
CN111026343A (zh) | 一种多个拼接屏实时同步显示方法 | |
US20220368945A1 (en) | Image data transfer apparatus and image data transfer method | |
US11582384B2 (en) | Methods and apparatus for encoding, communicating and/or using images | |
US20180102082A1 (en) | Apparatus, system, and method for video creation, transmission and display to reduce latency and enhance video quality | |
JP7307794B2 (ja) | 画像処理システム、画像処理用集積回路、および画像処理方法 | |
WO2021199205A1 (ja) | 画像データ転送装置、画像表示システム、および画像データ転送方法 | |
JP2014176017A (ja) | 映像再生装置、映像配信装置、映像再生方法及び映像配信方法 | |
WO2021193362A1 (ja) | 画像処理装置および画像処理方法 | |
CN114828972A (zh) | 用于云游戏应用的服务器显示缓冲区的高速扫描输出 | |
WO2021193361A1 (ja) | 画像データ転送装置、画像表示システム、および画像転送方法 | |
WO2021199184A1 (ja) | 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム | |
US20220329772A1 (en) | Image processing apparatus, image display system, image data transfer apparatus, and image processing method | |
US20220337851A1 (en) | Image data transfer apparatus and image compression method | |
WO2021199128A1 (ja) | 画像データ転送装置、画像生成方法およびコンピュータプログラム | |
JP7491676B2 (ja) | 画像データ転送装置および画像圧縮方法 | |
TW202218421A (zh) | 內容顯示處理 | |
JP2016174273A (ja) | 画像処理装置、画像処理システム、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230726 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7321961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |