JP2022111459A - 映像処理装置、映像処理装置の作動方法および映像処理プログラム - Google Patents
映像処理装置、映像処理装置の作動方法および映像処理プログラム Download PDFInfo
- Publication number
- JP2022111459A JP2022111459A JP2021006896A JP2021006896A JP2022111459A JP 2022111459 A JP2022111459 A JP 2022111459A JP 2021006896 A JP2021006896 A JP 2021006896A JP 2021006896 A JP2021006896 A JP 2021006896A JP 2022111459 A JP2022111459 A JP 2022111459A
- Authority
- JP
- Japan
- Prior art keywords
- video
- calculation
- unit
- estimating
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 94
- 238000011017 operating method Methods 0.000 title description 3
- 238000004364 calculation method Methods 0.000 claims abstract description 81
- 230000008859 change Effects 0.000 claims abstract description 45
- 238000013473 artificial intelligence Methods 0.000 description 79
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000003623 enhancer Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Television Receiver Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
Abstract
Description
図1に示すように本実施形態の映像処理装置1は、チューナ31およびメモリ32と、受信装置30を構成している、受信装置30は、モニタ42およびスピーカ43と、受信システム9を構成している。受信装置30は、モニタ42およびスピーカ43と一体のテレビジョン受信装置でもよい。
図2のフローチャートにそって、映像処理装置1の作動方法を説明する。
図3の上段に示すように、テレビジョン放送の映像は、例えば、1秒間に30枚のフレーム画像(静止画)を有している。第1推定部21に、フレーム画像(第1画像)と、その次のフレーム画像(第2画像)とが入力される。
第1推定部21は、第1画像と第2画像との変化レベルDをAI演算部20において推定する第1のAI演算を行う。例えば、第1のAI演算においては、2次元の特徴マップの抽出、または1次元の特徴ベクトルの抽出を行う。
比較部11が、第1推定部21が推定した変化レベルDと、所定値Kとを比較する。変化レベルDが所定値Kより大きい場合(YES)には、ステップS40の処理が行われる。変化レベルDが所定値K以下の場合(NO)には、ステップS10の処理が行われる。
第2推定部22は、第2画像が複数のシーンのいずれであるかを、第1推定部21と共有のAI演算部20において推定する第2のAI演算を行う。
図3に示すように、映像処理装置1では、繰り返して行われる第1推定部21の処理間隔(時間)TA、すなわち、第1のAI演算の間隔TAは、第1のAI演算の第1の処理時間T1よりも長い。しかし、間隔TAは、第1のAI演算の第1の処理時間T1と第2のAI演算の第2の処理時間T2(T2A+T2B)との合計時間よりも短い。このため、間隔TAの間に、第2のAI演算は完了しない。
ステップS10と同じように、第1推定部21に、新しい2枚のフレーム画像が入力される。
ステップS20と同じように、第1推定部21は変化レベルDを推定する第1のAI演算を行う。
ステップS30と同じように、比較部11が、第1推定部21が推定した変化レベルDと、所定値Kとを比較する。ステップS80では、変化レベルDが所定値Kより大きい場合(YES)には、ステップS40において新たな第2のAI演算が行われる。途中まで処理されていた第2の演算は強制終了される。なお、すでに処理済みの途中結果を第2のAI演算結果として代替利用してもかまわない。これに対して、変化レベルDが所定値K以下の場合(NO)には、途中まで行われていた第2のAI演算Aが、再開する。
第2のAI演算が完了する(YES)と、ステップS10からの一連の処理が再び行われると同時に、ステップS100の処理が行われる。第2のAI演算は完了するまで(NO)、続けられる。
第2推定部22が推定したシーンに基づいて、設定部12が画質パラメータを設定する。調整部13が画質パラメータを用いて映像、すなわち、変化があったフレーム画像以降のフレーム画像を調整する。
本変形例の映像処理装置1Aは、映像処理装置1と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
本変形例の映像処理装置1Bは、映像処理装置1と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
本実施形態の映像処理装置1Cは、映像処理装置1等と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
図2において説明した映像処理装置1と同じである。
第2のAI演算が開始し、完了するまで処理が行われる。第2のAI演算が完了後に、ステップS10からの一連の処理が再び行われると同時に、ステップS100の処理が行われる。
図2において説明した映像処理装置1と同じである。
9…受信システム
11…比較部
12…設定部
13…調整部
20…ニューラルネットワーク
21…第1推定部
22…第2推定部
30…受信装置
31…チューナ
32…メモリ
41…受信アンテナ
42…モニタ
43…スピーカ
44…リモコン
45…レコーダ
46…ネット回線
47…サーバー
Claims (8)
- 第1のAI演算によって、映像の変化レベルを推定する第1推定部と、
前記変化レベルを所定値と比較する比較部と、
前記変化レベルが前記所定値超の場合にだけ、第2のAI演算によって、映像が複数のシーンのいずれに分類されるかを推定する第2推定部と、
推定されたシーンに基づいて、画質パラメータを設定する設定部と、
前記画質パラメータを用いて、映像を調整する調整部と、を具備することを特徴とする映像処理装置。 - 前記第1推定部の処理間隔は、前記第1推定部の第1の処理時間よりも長く、前記第1の処理時間と前記第2推定部の第2の処理時間との合計時間よりも短く、
前記第1推定部とリソースを共有する前記第2推定部は、前記第1推定部の処理が行われていない間に分割して処理を行うことを特徴とする請求項1に記載の映像処理装置。 - 前記第1推定部の第1の処理間隔は、前記第1推定部の第1の処理時間よりも長く、前記第1の処理時間と前記第2推定部の第2の処理時間との合計時間よりも短く、
前記第1推定部は、リソースを共有する前記第2推定部の処理が完了するまで処理を再開しないことを特徴とする請求項1に記載の映像処理装置。 - チューナ、モニタおよびスピーカとともに、テレビジョン受信装置を構成していることを特徴とする請求項1から請求項3のいずれか1項に記載に映像処理装置。
- 前記映像が、ジャンルが判明している放送番組の映像であり、
前記設定部は、前記ジャンルおよび前記第2推定部が推定した前記シーンに基づいて前記画質パラメータを、設定することを特徴とする請求項1から請求項4のいずれか1項に記載の映像処理装置。 - 前記設定部は、前記シーンに基づいて、音質パラメータを設定し、
前記調整部は、前記音質パラメータを用いて前記映像の音を調整することを特徴とする請求項1から請求項5のいずれか1項に記載の映像処理装置。 - 第1のAI演算によって、映像の変化レベルを推定するステップと、
前記変化レベルを所定値と比較するステップと、
前記変化レベルが前記所定値超の場合にだけ、第2のAI演算によって、映像が複数のシーンのいずれに分類されるかを推定するステップと、
推定されたシーンに基づいて、画質パラメータを設定するステップと、
前記画質パラメータを用いて、映像を調整するステップと、を具備することを特徴とする映像処理装置の作動方法。 - 第1のAI演算によって、映像の変化レベルを推定するステップと、
前記変化レベルを所定値と比較するステップと、
前記変化レベルが前記所定値超の場合にだけ、第2のAI演算によって、映像が複数のシーンのいずれに分類されるかを推定するステップと、
推定されたシーンに基づいて、画質パラメータを設定するステップと、
前記画質パラメータを用いて、映像を調整するステップと、をコンピュータに実行させることを特徴とする映像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006896A JP7488002B2 (ja) | 2021-01-20 | 2021-01-20 | 映像処理装置、映像処理装置の作動方法および映像処理プログラム |
PCT/CN2021/118764 WO2022156248A1 (zh) | 2021-01-20 | 2021-09-16 | 影像处理设备、影像处理设备的工作方法以及非易失性存储介质 |
CN202180027166.0A CN115398880A (zh) | 2021-01-20 | 2021-09-16 | 影像处理设备、影像处理设备的工作方法以及非易失性存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006896A JP7488002B2 (ja) | 2021-01-20 | 2021-01-20 | 映像処理装置、映像処理装置の作動方法および映像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022111459A true JP2022111459A (ja) | 2022-08-01 |
JP7488002B2 JP7488002B2 (ja) | 2024-05-21 |
Family
ID=82548480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021006896A Active JP7488002B2 (ja) | 2021-01-20 | 2021-01-20 | 映像処理装置、映像処理装置の作動方法および映像処理プログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7488002B2 (ja) |
CN (1) | CN115398880A (ja) |
WO (1) | WO2022156248A1 (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007121953A (ja) * | 2005-10-31 | 2007-05-17 | Nanao Corp | 表示方法及び表示装置 |
JP4279318B2 (ja) | 2007-02-02 | 2009-06-17 | 三菱電機株式会社 | 映像表示装置 |
JP2009194550A (ja) | 2008-02-13 | 2009-08-27 | Sony Corp | 画質調整装置、画質調整方法及びプログラム |
JP2011166315A (ja) | 2010-02-05 | 2011-08-25 | Sharp Corp | 表示装置、表示装置の制御方法、プログラム及び記録媒体 |
JP2014241457A (ja) | 2011-10-04 | 2014-12-25 | シャープ株式会社 | シーンチェンジ検出装置、表示装置、シーンチェンジ検出方法およびシーンチェンジ検出プログラム |
CN105898364A (zh) * | 2016-05-26 | 2016-08-24 | 北京小米移动软件有限公司 | 一种视频播放处理方法、装置、终端及系统 |
CN108810649B (zh) * | 2018-07-12 | 2021-12-21 | 深圳创维-Rgb电子有限公司 | 画质调节方法、智能电视机及存储介质 |
JP7113474B2 (ja) | 2018-08-07 | 2022-08-05 | 国立研究開発法人情報通信研究機構 | データ・セグメンテーション装置 |
KR102644126B1 (ko) * | 2018-11-16 | 2024-03-07 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작 방법 |
US11115217B2 (en) | 2018-11-21 | 2021-09-07 | Avaya Inc. | Systems and methods for detecting device location and usage |
KR102662951B1 (ko) | 2018-12-27 | 2024-05-02 | 엘지전자 주식회사 | 신호 처리 장치 및 이를 구비하는 영상표시장치 |
CN110933490B (zh) * | 2019-11-20 | 2021-07-27 | 深圳创维-Rgb电子有限公司 | 一种画质和音质的自动调整方法、智能电视机及存储介质 |
CN110996153B (zh) * | 2019-12-06 | 2021-09-24 | 深圳创维-Rgb电子有限公司 | 基于场景识别的音画品质增强方法、系统和显示器 |
-
2021
- 2021-01-20 JP JP2021006896A patent/JP7488002B2/ja active Active
- 2021-09-16 WO PCT/CN2021/118764 patent/WO2022156248A1/zh active Application Filing
- 2021-09-16 CN CN202180027166.0A patent/CN115398880A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7488002B2 (ja) | 2024-05-21 |
WO2022156248A1 (zh) | 2022-07-28 |
CN115398880A (zh) | 2022-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108810649B (zh) | 画质调节方法、智能电视机及存储介质 | |
US11601699B2 (en) | Predictive content delivery for video streaming services | |
JP5305557B2 (ja) | 受信器で視聴覚的記録を見る方法及びそのような記録を見るための受信器 | |
US20180359410A1 (en) | Method and system of camera control and image processing with a multi-frame-based window for image data statistics | |
US11601715B2 (en) | System and method for dynamically adjusting content playback based on viewer emotions | |
CN105872843B (zh) | 一种播放视频的方法及装置 | |
US20130235223A1 (en) | Composite video sequence with inserted facial region | |
JP2015115947A (ja) | 埋め込みデータを用いたロバスト自動露出制御 | |
EP3306940A1 (en) | Device and method for processing video content for display control | |
CN111405339B (zh) | 一种分屏显示方法、电子设备及存储介质 | |
JP2015149691A (ja) | 画像補正装置、画像補正方法、及び、撮像装置 | |
US20200107084A1 (en) | Method and device for playback optimization | |
US8718376B2 (en) | Apparatus and method for enhancing image in portable terminal | |
WO2022151852A1 (zh) | 图像处理方法、装置、系统、电子设备以及存储介质 | |
CN113099132B (zh) | 视频处理方法、装置、电子设备、存储介质及程序产品 | |
JP2017175219A (ja) | 表示制御装置、表示装置、テレビジョン受像機、表示制御装置の制御方法、制御プログラム、及び記録媒体 | |
JP7488002B2 (ja) | 映像処理装置、映像処理装置の作動方法および映像処理プログラム | |
JP2011166315A (ja) | 表示装置、表示装置の制御方法、プログラム及び記録媒体 | |
JP2010183460A (ja) | 撮像装置およびその制御方法 | |
WO2019145835A1 (en) | Enhancing image data with appearance controls | |
US10121265B2 (en) | Image processing device and method to calculate luminosity of an environmental light of an image | |
CN114567813A (zh) | 画质提升方法、装置、播放设备及计算机可读存储介质 | |
US11930207B2 (en) | Display device, signal processing device, and signal processing method | |
US20230088882A1 (en) | Judder detection for dynamic frame rate conversion | |
US20110280438A1 (en) | Image processing method, integrated circuit for image processing and image processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7488002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |