JP2015007883A - 映像生成装置、映像生成方法、プログラム - Google Patents
映像生成装置、映像生成方法、プログラム Download PDFInfo
- Publication number
- JP2015007883A JP2015007883A JP2013132609A JP2013132609A JP2015007883A JP 2015007883 A JP2015007883 A JP 2015007883A JP 2013132609 A JP2013132609 A JP 2013132609A JP 2013132609 A JP2013132609 A JP 2013132609A JP 2015007883 A JP2015007883 A JP 2015007883A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- modulated
- video generation
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000009826 distribution Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 description 18
- 239000007788 liquid Substances 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000012530 fluid Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000251730 Chondrichthyes Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
【解決手段】低空間周波数成分を有する複数の異なる歪み分布をそれぞれ用いて原画像が変調された変調画像を複数生成する変調画像生成部と、複数の変調画像を時間的に並べることで構成される映像を生成する映像生成部とを含み、変調画像生成部が、原画像の各画素と対応する各要素を持ち、各要素が対応する各画素の移動方向及び移動量を示し、低空間周波数成分を有する歪み地図を複数生成する歪み地図生成部と、複数の歪み地図ごとに、原画像の各画素を当該画素に対応する各要素により特定される移動方向および移動量だけ移動させて、複数の変調画像を生成する歪み変調部とを含む。
【選択図】図3
Description
本発明は、低空間周波数成分を有する複数の異なる歪み分布によりそれぞれ原画像が変調された変調画像群を時間的に切替えて呈示することにより、原画像の手前に透明な非剛体物体が流動しているように知覚されるという視覚特性の発見に基づく。この視覚特性に基づいて、原画像の手前に水やかげろうのような透明な非剛体物体が流動しているように知覚される映像を、流体の動きや屈折率などのシミュレーション結果を用いることなく生成することができる。
変調画像生成部111は、歪み分布に基づいて原画像を変調した変調画像を複数生成し、出力する(S111)。ここで、原画像の画像データは外部から入力されても良いし、例えば、図1に破線で示すように画像記憶部113に記憶された画像データを読みだすことにより与えられても良い。原画像の画像データを外部から入力する場合には、画像記憶部113は省略可能である。原画像は静止画である必要はあるが、必ずしも1種類のみとする必要はない。例えば、原画像が細部が異なる複数の画像データで構成されていたとしても、これらが十分に類似する画像であれば、これらの原画像それぞれを変調して生成した変調画像を所定のフレームレートで切替えて呈示してもよい。例えば、動画像中の時間的に連続する各フレームの画像を、それぞれ歪み分布を用いて変調することにより変調画像を得ても良い。
映像生成部112は、変調画像生成部111で生成した、原画像から生成された複数の変調画像に基づいて映像を生成する(S112)。例えば映像生成部112は、呈示装置12に原画像から生成された複数の変調画像が時間的に切替呈示されるように、順序付けしてなる変調画像列を映像として生成してもよい。変調画像列は、変調画像列が視聴者に静止画の系列ではなく動画像として視聴可能な範囲で各画像の呈示時間(フレームレート)を設定されたもの、すなわち、「変調画像を時間的に並べることで構成される映像」である。また、例えば映像生成部112は、原画像から生成された複数の変調画像の各々を呈示装置12に切り替えて呈示させる制御を行ってもよい。各画像の呈示間隔は、視聴者に静止画の系列ではなく動画像(映像)として視聴可能な範囲で制御すればよい。例えば、各画像の呈示時間が0.05(sec)を超えない範囲としたり、20Hz以上のフレームレートとしたりすればよい。
呈示装置12は、ディスプレイ、プロジェクタ等で実現可能である。呈示装置12は、映像生成部112が生成した映像を呈示する(S12)。あるいは、呈示装置12は、映像生成部112の制御に従って、原画像から生成された複数の変調画像を切り替えて映像として呈示する(S12)。
以下、図5、図6を参照して変調画像生成部111の構成例を説明する。図5は本実施例の変調画像生成部111の構成例を示すブロック図である。図6は本実施例の変調画像生成部111の動作例を示すフローチャートである。図5に示すように、変調画像生成部111は、例えばガウシアンノイズ画像生成部1111、歪み地図生成部1112、歪み変調部1113、輝度値−歪み量テーブル記憶部1114を含む構成とすることができる。まず、ガウシアンノイズ画像生成部1111は、複数のガウシアンノイズ画像を生成する(S1111)。ガウシアンノイズ画像は、平均値と標準偏差が同じ画像とする。ガウシアンノイズ画像生成部1111を省略して、外部から複数のガウシアンノイズ画像を取得してもよい。次に、歪み地図生成部1112は、複数のガウシアンノイズ画像を、低い空間周波数のみを通すバンドパスフィルタ(ローパスフィルタ)処理を施して得られた画像(歪み地図)を方向別に割り当てた方向別の歪み地図を生成する(S1112)。例えば、ガウシアンノイズ画像生成部1111が2枚のガウシアンノイズ画像を生成した場合、歪み地図生成部1112は、これら2枚のガウシアンノイズ画像にローパスフィルタ処理を施して得られた2枚の画像(歪み地図)を、一方を左右方向の歪み地図、他方を上下方向の歪み地図として生成する(S1112)。
一般に原画像をぼかす手法として、モザイク処理や平滑化フィルタ等の手法が知られている。これらの手法は、原画像の輝度を直接変化させるものであるのに対し、本発明の変調画像は、原画像の歪み量を変化させるものであって、原画像の輝度を直接変化させるものではない点が異なる。
本発明の映像生成装置11によれば、流体の動きや屈折率などをシミュレーションせずとも、低演算量で透明な物体が流動しているように知覚される映像を生成することができる。本発明は例えば、乱雑な液体流動やかげろうの視覚表現に用いることができる。運動ベクトルの空間周波数を操作する作業は計算的にコストが低いため、迅速に透明な非剛体物体動画を生成することができる。512×512画素で90フレーム(3秒)の動画を生成するのにかかる時間を測定した所、100回の計算において平均10.8804秒(標準偏差:0.3913)であった。用いた計算機はMacbook Pro(登録商標)であり、コンピュータの性能は以下の通りであった。
CPU: 2.7 GHz Intel Core i7, メモリ: 16GB 1600 MHz DDR3, Mac OS X ver.10.7.5
Claims (9)
- 低空間周波数成分を有する複数の異なる歪み分布をそれぞれ用いて原画像が変調された複数の変調画像を生成する変調画像生成部と、
前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成部とを含む
映像生成装置。 - 請求項1記載の映像生成装置であって、
前記変調画像生成部が、
前記原画像の各画素と対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向及び移動量を示し、低空間周波数成分を有する歪み地図を複数生成する歪み地図生成部と、
前記複数の歪み地図ごとに、前記原画像の各画素を当該画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、前記複数の変調画像を生成する歪み変調部とを含む
映像生成装置。 - 請求項2に記載の映像生成装置であって、
前記歪み地図生成部は、
ガウシアンノイズ画像にローパスフィルタ処理を施した画像を前記歪み地図として生成する
映像生成装置。 - 低空間周波数成分を有する複数の異なる歪み分布をそれぞれ用いて同一の原画像を変調して複数の変調画像を生成する変調画像生成部と、
前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成部とを含む
映像生成装置。 - 同一の低空間周波数成分を有する複数の異なる歪み分布をそれぞれ用いて同一の原画像を変調して複数の変調画像を生成する変調画像生成部と、
前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成部とを含む
映像生成装置。 - 低空間周波数成分を有する複数の異なる歪み分布をそれぞれ用いて原画像が変調された変調画像を複数生成する変調画像生成ステップと、
前記複数の変調画像を時間的に並べることで構成される映像を生成する映像生成ステップとを含む
映像生成方法。 - 請求項6に記載の映像生成方法であって、
前記変調画像生成ステップが、
前記原画像の各画素と対応する各要素を持ち、前記各要素が対応する前記各画素の移動方向及び移動量を示し、低空間周波数成分を有する歪み地図を複数生成する歪み地図生成ステップと、
前記複数の歪み地図ごとに、前記原画像の各画素を当該画素に対応する前記各要素により特定される移動方向および移動量だけ移動させて、前記複数の変調画像を生成する歪み変調ステップとを含む
映像生成方法。 - 請求項7に記載の映像生成方法であって、
前記歪み地図生成ステップは、
ガウシアンノイズ画像にローパスフィルタ処理を施した画像を前記歪み地図として生成する
映像生成方法。 - 請求項6から8のいずれかに記載の映像生成方法を実行すべき指令をコンピュータに対してするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013132609A JP6069115B2 (ja) | 2013-06-25 | 2013-06-25 | 映像生成装置、映像生成方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013132609A JP6069115B2 (ja) | 2013-06-25 | 2013-06-25 | 映像生成装置、映像生成方法、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016250549A Division JP6273342B2 (ja) | 2016-12-26 | 2016-12-26 | 映像生成装置、映像生成方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015007883A true JP2015007883A (ja) | 2015-01-15 |
JP6069115B2 JP6069115B2 (ja) | 2017-02-01 |
Family
ID=52338123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013132609A Active JP6069115B2 (ja) | 2013-06-25 | 2013-06-25 | 映像生成装置、映像生成方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6069115B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017142407A (ja) * | 2016-02-12 | 2017-08-17 | 日本電信電話株式会社 | 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、プログラム、およびデータ構造 |
JP2018028710A (ja) * | 2016-08-15 | 2018-02-22 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
JP2018078660A (ja) * | 2014-04-22 | 2018-05-17 | 日本電信電話株式会社 | 映像呈示装置、その方法、データ構造、プログラム |
JP2018182353A (ja) * | 2017-04-03 | 2018-11-15 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
WO2019208143A1 (ja) * | 2018-04-24 | 2019-10-31 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6950641B2 (ja) | 2018-07-30 | 2021-10-13 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001186409A (ja) * | 1999-12-24 | 2001-07-06 | Toyota Autom Loom Works Ltd | 画像歪補正装置 |
JP2002171500A (ja) * | 2000-11-30 | 2002-06-14 | Sharp Corp | ケーブルモデム用チューナ |
JP2010506317A (ja) * | 2006-10-10 | 2010-02-25 | ソニー エリクソン モバイル コミュニケーションズ, エービー | アラート信号の出力する方法 |
-
2013
- 2013-06-25 JP JP2013132609A patent/JP6069115B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001186409A (ja) * | 1999-12-24 | 2001-07-06 | Toyota Autom Loom Works Ltd | 画像歪補正装置 |
JP2002171500A (ja) * | 2000-11-30 | 2002-06-14 | Sharp Corp | ケーブルモデム用チューナ |
JP2010506317A (ja) * | 2006-10-10 | 2010-02-25 | ソニー エリクソン モバイル コミュニケーションズ, エービー | アラート信号の出力する方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018078660A (ja) * | 2014-04-22 | 2018-05-17 | 日本電信電話株式会社 | 映像呈示装置、その方法、データ構造、プログラム |
JP2017142407A (ja) * | 2016-02-12 | 2017-08-17 | 日本電信電話株式会社 | 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、プログラム、およびデータ構造 |
JP2018028710A (ja) * | 2016-08-15 | 2018-02-22 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
JP2018182353A (ja) * | 2017-04-03 | 2018-11-15 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
WO2019208143A1 (ja) * | 2018-04-24 | 2019-10-31 | 日本電信電話株式会社 | 映像生成装置、映像生成方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6069115B2 (ja) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6069115B2 (ja) | 映像生成装置、映像生成方法、プログラム | |
Masia et al. | Display adaptive 3D content remapping | |
JP5645842B2 (ja) | スケールスペースを使用した画像処理装置及び方法 | |
Wang et al. | Quaternion representation based visual saliency for stereoscopic image quality assessment | |
CN108122206A (zh) | 一种低照度图像降噪方法及装置 | |
Zhang et al. | Video salient region detection model based on wavelet transform and feature comparison | |
CN108134937B (zh) | 一种基于hevc的压缩域显著性检测方法 | |
Kooij et al. | Depth-aware motion magnification | |
Liu et al. | A motion deblur method based on multi-scale high frequency residual image learning | |
JP2015162718A (ja) | 画像処理方法、画像処理装置及び電子機器 | |
Liu et al. | Blind omnidirectional image quality assessment based on structure and natural features | |
Gao et al. | Quality assessment for omnidirectional video: A spatio-temporal distortion modeling approach | |
Sandić-Stanković et al. | Quality assessment of DIBR-synthesized views based on sparsity of difference of closings and difference of Gaussians | |
Lee et al. | A new framework for measuring 2D and 3D visual information in terms of entropy | |
Zhou et al. | Hierarchical visual comfort assessment for stereoscopic image retargeting | |
Raveendran et al. | Image fusion using LEP filtering and bilinear interpolation | |
Khanna et al. | Perceptual depth preserving saliency based image compression | |
Verma et al. | Edge-aware spatial filtering-based motion magnification | |
JP6273342B2 (ja) | 映像生成装置、映像生成方法、プログラム | |
Don et al. | Quaternionic views of rs-fMRI hierarchical brain activation regions. Discovery of multilevel brain activation region intensities in rs-fMRI video frames | |
Fang et al. | Light field reconstruction with a hybrid sparse regularization-pseudo 4DCNN framework | |
Tsai et al. | A novel method for 2D-to-3D video conversion based on boundary information | |
Zhou et al. | Contrast enhancement based on viewing distance | |
JP6666296B2 (ja) | 映像生成装置、その方法、およびプログラム | |
JP5254297B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6069115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |