JP2020005202A - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP2020005202A JP2020005202A JP2018125276A JP2018125276A JP2020005202A JP 2020005202 A JP2020005202 A JP 2020005202A JP 2018125276 A JP2018125276 A JP 2018125276A JP 2018125276 A JP2018125276 A JP 2018125276A JP 2020005202 A JP2020005202 A JP 2020005202A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- viewpoint
- unit
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 60
- 238000010801 machine learning Methods 0.000 claims abstract description 52
- 238000012937 correction Methods 0.000 claims abstract description 35
- 230000002093 peripheral effect Effects 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 18
- 239000013589 supplement Substances 0.000 claims description 4
- 238000009499 grossing Methods 0.000 description 10
- 230000010354 integration Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 239000003973 paint Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Abstract
Description
図1は、本発明の映像処理装置の一例のブロック図である。本発明の映像処理装置は、映像の編集装置であってもよいし、また、映像の受信装置(復号装置)であってもよい。本発明の映像処理装置は、入力された映像から、新たな映像を生成するとともに、機械学習を用いて映像の補正を行う。映像処理装置10は、入力部11、映像生成部12、及び表示部13を備える。
図4に、入力画像の別の例を示す。入力画像生成部106は、まず、アップサンプリングされてブロック分割された各映像から、対象視点の映像に関連する複数のブロック映像(ブロック画像)をタイル状に並べて、図4の左側の画像を構成する。この左側の画像は、図3(A)と同様であり、ここでは16×16ピクセル(pixel)のブロック画像が9個(3×3)配列され、48×48ピクセルの画像が構成される。まず、視点補間画像(視点内挿部103で作成された対象視点の映像をアップサンプリングしてブロック化したもの)を中央部に配置し、その周囲には、隣接画像1〜4及び対象視点の映像フレームの前後フレームのブロック画像を配置する。例えば、隣接画像1〜4は、視点補間画像の上下左右に隣接する視点のブロック画像であり、前後フレームの映像としては、例えば、1フレーム前の画像、1フレーム後の画像、3フレーム前の画像、3フレーム後の画像等である。これらは、周辺視点映像入力部101及び前後フレーム映像入力部102の出力をアップサンプリングしてブロック化したものから適宜選択して配置する。なお、隣接画像や前後フレーム画像をそれぞれ幾つ選び、どのように配置するか等は、適宜設定することができる。隣接画像としてデプス画像を利用してもよい。
図5に、第2の実施形態としての映像生成部12のブロック図を示す。ここでは、映像生成部12が、視点内挿映像を生成すると共に、インペイント処理で割り当てる画素値を機械学習結果によって得る映像生成部12の例を説明する。第2の実施形態では、学習方法は第1の実施形態と同じだが、インペイント部において、視点内挿時のオクリュージョン領域のみを、機械学習で得られた視点内挿補正結果の画素値で置き換えられることが異なる。
11 入力部
12 映像生成部
13 表示部
101 周辺視点映像入力部
102 前後フレーム映像入力部
103 視点内挿部
104 アップサンプル部
105 ブロック分割部
106 入力画像生成部
107 対象視点フレーム入力部
108 ブロック分割部
110 機械学習部
111 視点内挿補正部
112 ブロック統合部
113 インペイント部
114 平滑フィルタ
Claims (7)
- 機械学習機能を持ち、学習モデル及び/又は学習済みパラメータをもとに、作成された映像の不足映像情報を補完する補正処理を行う映像処理装置。
- 請求項1に記載の映像処理装置において、
学習モデル及び/又は学習済みパラメータを持つ補正部を備え、
前記補正部は、作成された映像とその関連映像を含む入力画像に基づいて、機械学習により補正処理を行うことを特徴とする、映像処理装置。 - 請求項1又は2に記載の映像処理装置において、
作成された映像は、多視点映像から作成された視点内挿映像であることを特徴とする、映像処理装置。 - 請求項1乃至3のいずれか一項に記載の映像処理装置において、
補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像、及び前後フレーム映像をアップサンプリングし、ブロック化したm×mピクセルのブロック画像を複数配置した構成であることを特徴とする、映像処理装置。 - 請求項1乃至3のいずれか一項に記載の映像処理装置において、
補正処理のための入力画像は、視点内挿映像と、前記視点内挿映像の周辺視点映像、及び前後フレーム映像をアップサンプリングし、ブロック化したm×mピクセルのブロック画像をn×n個配置した画像を、画素の並び替えにより、各ブロック画像の対応する位置のピクセルを集めたn×nピクセルの要素画像をm×m個配置した構成であることを特徴とする、映像処理装置。 - 請求項1乃至5のいずれか一項に記載の映像処理装置において、
作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合し、出力映像を生成することを特徴とする、映像処理装置。 - 請求項1乃至5のいずれか一項に記載の映像処理装置において、
作成された映像をブロックごとに機械学習により補正処理を行い、補正されたブロック画像をブロック統合した映像を、視点内挿処理で作成された映像のインペイント処理に利用することを特徴とする、映像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018125276A JP7202087B2 (ja) | 2018-06-29 | 2018-06-29 | 映像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018125276A JP7202087B2 (ja) | 2018-06-29 | 2018-06-29 | 映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020005202A true JP2020005202A (ja) | 2020-01-09 |
JP7202087B2 JP7202087B2 (ja) | 2023-01-11 |
Family
ID=69100731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018125276A Active JP7202087B2 (ja) | 2018-06-29 | 2018-06-29 | 映像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7202087B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021140799A1 (ja) * | 2020-01-10 | 2021-07-15 | 住友電気工業株式会社 | コミュニケーション支援システムおよびコミュニケーション支援プログラム |
WO2021161878A1 (ja) * | 2020-02-14 | 2021-08-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
JP6955734B1 (ja) * | 2021-03-08 | 2021-10-27 | 株式会社データグリッド | 画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム |
JP7049499B1 (ja) | 2021-03-04 | 2022-04-06 | 株式会社Cygames | コンテンツ動画再生プログラム、コンテンツ動画再生装置、コンテンツ動画再生方法、コンテンツ動画データ生成プログラム、及びコンテンツ動画データ生成装置 |
WO2023095642A1 (ja) * | 2021-11-26 | 2023-06-01 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014515197A (ja) * | 2011-01-13 | 2014-06-26 | サムスン エレクトロニクス カンパニー リミテッド | 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 |
JP2017050866A (ja) * | 2015-09-01 | 2017-03-09 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 映像処理方法及び装置 |
JP2017059193A (ja) * | 2015-09-18 | 2017-03-23 | 貴博 安野 | 時系列画像補完装置、時系列画像生成方法、時系列画像補完装置用プログラム |
JP2018500708A (ja) * | 2014-11-26 | 2018-01-11 | キュリアス アーイー オサケユイチア | ニューラルネットワーク構造とその方法 |
US20180165798A1 (en) * | 2016-12-14 | 2018-06-14 | Adobe Systems Incorporated | Image hole filling that accounts for global structure and local texture |
CN108171663A (zh) * | 2017-12-22 | 2018-06-15 | 哈尔滨工业大学 | 基于特征图最近邻替换的卷积神经网络的图像填充系统 |
-
2018
- 2018-06-29 JP JP2018125276A patent/JP7202087B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014515197A (ja) * | 2011-01-13 | 2014-06-26 | サムスン エレクトロニクス カンパニー リミテッド | 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 |
JP2018500708A (ja) * | 2014-11-26 | 2018-01-11 | キュリアス アーイー オサケユイチア | ニューラルネットワーク構造とその方法 |
JP2017050866A (ja) * | 2015-09-01 | 2017-03-09 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 映像処理方法及び装置 |
JP2017059193A (ja) * | 2015-09-18 | 2017-03-23 | 貴博 安野 | 時系列画像補完装置、時系列画像生成方法、時系列画像補完装置用プログラム |
US20180165798A1 (en) * | 2016-12-14 | 2018-06-14 | Adobe Systems Incorporated | Image hole filling that accounts for global structure and local texture |
CN108171663A (zh) * | 2017-12-22 | 2018-06-15 | 哈尔滨工业大学 | 基于特征图最近邻替换的卷积神经网络的图像填充系统 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021140799A1 (ja) * | 2020-01-10 | 2021-07-15 | 住友電気工業株式会社 | コミュニケーション支援システムおよびコミュニケーション支援プログラム |
WO2021161878A1 (ja) * | 2020-02-14 | 2021-08-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
JP7427467B2 (ja) | 2020-02-14 | 2024-02-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム |
EP4089631A4 (en) * | 2020-02-14 | 2024-02-28 | Canon Kk | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, LEARNED MODEL GENERATION METHOD, AND PROGRAM |
JP7049499B1 (ja) | 2021-03-04 | 2022-04-06 | 株式会社Cygames | コンテンツ動画再生プログラム、コンテンツ動画再生装置、コンテンツ動画再生方法、コンテンツ動画データ生成プログラム、及びコンテンツ動画データ生成装置 |
WO2022186235A1 (ja) * | 2021-03-04 | 2022-09-09 | 株式会社Cygames | コンテンツ動画再生プログラム、コンテンツ動画再生装置、コンテンツ動画再生方法、コンテンツ動画データ生成プログラム、及びコンテンツ動画データ生成装置 |
JP2022134845A (ja) * | 2021-03-04 | 2022-09-15 | 株式会社Cygames | コンテンツ動画再生プログラム、コンテンツ動画再生装置、コンテンツ動画再生方法、コンテンツ動画データ生成プログラム、及びコンテンツ動画データ生成装置 |
JP6955734B1 (ja) * | 2021-03-08 | 2021-10-27 | 株式会社データグリッド | 画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム |
JP2022136957A (ja) * | 2021-03-08 | 2022-09-21 | 株式会社データグリッド | 画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム |
JP2022136583A (ja) * | 2021-03-08 | 2022-09-21 | 株式会社データグリッド | 画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム |
JP7398127B2 (ja) | 2021-03-08 | 2023-12-14 | 株式会社データグリッド | 画像データ生成方法、学習方法、画像データ生成システム、学習システムおよびプログラム |
WO2023095642A1 (ja) * | 2021-11-26 | 2023-06-01 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7202087B2 (ja) | 2023-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3751857A1 (en) | A method, an apparatus and a computer program product for volumetric video encoding and decoding | |
JP7202087B2 (ja) | 映像処理装置 | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
US11202086B2 (en) | Apparatus, a method and a computer program for volumetric video | |
EP2201784B1 (en) | Method and device for processing a depth-map | |
US7321374B2 (en) | Method and device for the generation of 3-D images | |
KR101538947B1 (ko) | 실감형 자유시점 영상 제공 장치 및 방법 | |
JP2012504805A (ja) | 中間画像合成およびマルチビューデータ信号抽出 | |
JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
Lee et al. | Real-time stereo view generation using kinect depth camera | |
JP2015534745A (ja) | 立体画像の生成、送信、及び受信方法、及び関連する装置 | |
JP2012114910A (ja) | 遮蔽レイヤの拡張 | |
US20220084282A1 (en) | Image processing device, image generation method, and image processing method | |
JP2020005201A (ja) | 送信装置及び受信装置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
EP2822279B1 (en) | Autostereo tapestry representation | |
JP2005229560A (ja) | 立体画像表示方法 | |
JP4815004B2 (ja) | 多視点画像符号化装置 | |
JP7389565B2 (ja) | 符号化装置、復号装置、及びプログラム | |
US10257488B2 (en) | View synthesis using low resolution depth maps | |
JP4419139B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
JP6322740B1 (ja) | 画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法 | |
JP5431393B2 (ja) | 立体画像生成装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7202087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |