JP2012160922A - 映像信号処理装置及び映像信号処理方法 - Google Patents
映像信号処理装置及び映像信号処理方法 Download PDFInfo
- Publication number
- JP2012160922A JP2012160922A JP2011019242A JP2011019242A JP2012160922A JP 2012160922 A JP2012160922 A JP 2012160922A JP 2011019242 A JP2011019242 A JP 2011019242A JP 2011019242 A JP2011019242 A JP 2011019242A JP 2012160922 A JP2012160922 A JP 2012160922A
- Authority
- JP
- Japan
- Prior art keywords
- signal processing
- information
- video
- subject
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
Abstract
理装置及び映像信号処理方法を提供する。
【解決手段】被写体の質感情報を分類する分類手段と、分類された前記質感情報に基づい
て、入力された映像入力信号中の被写体の素材情報を解析する解析手段と、前記素材情報
に基づいて視差映像信号を生成する生成手段とを備えた映像信号処理装置。また、被写体
の質感情報を分類し、分類された前記質感情報に基づいて、入力された映像入力信号中の
被写体の素材情報を解析し、前記素材情報に基づいて視差映像信号を生成する映像信号処
理方法。
【選択図】 図4
Description
する。
、この2次元映像を3次元映像に変換するための視差映像を生成する手段に関するものであ
る。
現することができるようになることへの要望がある。
できる映像信号処理装置及び映像信号処理方法を提供することを目的とする。
を分類する分類手段と、分類された前記質感情報に基づいて、入力された映像入力信号中
の被写体の素材情報を解析する解析手段と、前記素材情報に基づいて視差映像信号を生成
する生成手段とを備えた。
(第1の実施形態)
本発明による第1の実施形態を図1乃至図6を参照して説明する。
図1は、本発明に関する通信装置であるネットワーク機能を備えたデジタルテレビジョ
ン放送受信装置111の外観と、このデジタルテレビジョン放送受信装置111を中心と
して構成されるネットワークシステムの一例を概略的に示している。
ト112と、このキャビネット112を起立させて支持する支持台113とから構成され
ている。そして、キャビネット112には、例えばSED(Surface-conduction Electro
n-emitter Display)表示パネル,液晶表示パネル等でなる平面パネル型の映像表示器1
14、スピーカ115、操作部116、リモートコントローラ117から送信される操作
情報を受ける受光部118等が設置されている。
al)メモリカード、MMC(Multimedia Card)及びメモリスティック等の第1のメモリ
カード119が着脱可能となっており、この第1のメモリカード119に対して番組や写
真等の情報の記録再生が行なわれるようになっている。
された第2のメモリカード(ICカード)120が着脱可能となっており、この第2のメ
モリカード120に対して情報の記録再生が行なわれるようになっている。
etwork)端子121、第2のLAN端子122、USB(Universal Serial Bus)端子1
23及びi.LINK端子124を備えている。
もので、接続されたNAS(Network Attached Storage)であるLAN対応のHDD12
5に対して、イーサネット(登録商標)により情報の記録再生を行なうために使用される
。
とにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、LA
N対応のHDD125に対してハイビジョン画質による番組の情報記録を安定して行なう
ことができる。
対応ポートとして使用されるもので、例えばハブ126を介して、LAN対応のHDD1
27、コンテンツサーバー128、HDD内蔵のDVD(Digital Versatile Disk)レコ
ーダ129等の機器を接続し、これらの機器と情報伝送を行なうために使用される。
のサーバー機器として動作するための機能を持ち、さらにコンテンツのアクセスに必要な
URI(Uniform Resource Identifier)情報を提供するサービスを備えたUPnP(ユ
ニバーサルプラグアンドプレイ)対応機器として構成される。
デジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置111
との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路130を
設ける必要がある。
タ131を介して、例えばインターネット等のネットワーク132に接続し、このネット
ワーク132を介してコンテンツサーバー133や携帯電話134等と情報伝送を行なう
ために使用される。
ための機能を持ち、さらにコンテンツのアクセスに必要なURI情報を提供するサービス
を備えたUPnP対応機器として構成される。
例えばハブ135を介して、携帯電話136、デジタルカメラ137、メモリカードに対
するカードリーダ/ライタ138、HDD139、キーボード140等のUSB機器を接
続し、これらのUSB機器と情報伝送を行なうために使用される。
−VHS(Video Home System)142等をシリアル接続し、これらの機器と情報伝送を
行なうために使用される。
図2は、上記したデジタルテレビジョン放送受信装置111の主要な信号処理系を示す
機能ブロック構成図である。デジタルテレビジョン放送受信装置111は、アンテナ30
1、チューナ部302、デコーダ部303、左右映像分離部304、外部入力端子305
(121〜124および130に相当)、視差映像生成部306および表示パネル307
等から図2のように構成される。
ることで映像データとなり、左右映像分離部304へ入力される(左右映像分離部304
へ入力される映像データは外部入力端子305から入力されたものでもよい。)。そして
左右映像分離部304にて左目で見る映像データと右目で見る映像データに分離され、視
差映像生成部306(後述の映像信号処理装置200)にて映像を解析しこの解析結果か
ら映像を生成し、表示パネル307から生成した映像を表示する。
存在する空間を真上から表した図であり、この空間には、球体の被写体(101)と星型
板の被写体(102)と光源(105)が存在する。ここで、これらの被写体を103の
視点からみた映像(150)が存在するときに104の視点からの映像を生成することを
後述のように実施する。このとき、奥行き情報によって被写体を左右にずらす従来手法に
基づいて生成した映像は160のようになる。球体の被写体(101)と星型板の被写体
(102)との距離はS1からS2へと狭くなっている。
イライト(161)の位置となって変化しない。以下では物体表面の反射特性を考慮し、
より正確な視差映像(170)を生成する装置について説明する。なお、光源(105)
は説明のために被写体(101)などに近接して描いているが、外光や天井燈など遠点か
ら平行光線をもたらすものを想定してもよい。
に対応している。この例では、1視差の映像から他の視差映像を生成しているが、2視差
以上の映像を入力しても良く、また2視差以上の視差を生成することも可能である。
ータベース203で構成される。
まず入力映像は映像解析部201によって被写体の形状・被写体の素材・光源入射方向
を解析するが、これらは公知の手法で行うことができる。例えば光源入射方向は、映像1
50を入力して得ることができる。また形状や素材は、151の部分の広がりやコントラ
ストで推定できる。次に映像160を入力したときにこの光源入射方向の情報に視点の位
置の差を加味すればよい。
号、特開2000−261828号)で奥行きがわかるので、この奥行きの変化で形状が
特定できる。
維などの素材を対象として実施すれば特定可能である。
また光源入射方向については、上記の手法で物体の形状(表面の向き)がわかれば、ハイ
ライトの位置から計算で求めることができる。具体的には、視点とハイライト位置を結ぶ
直線がハイライト位置の表面によって反射する方向が光源の方向になる。例えば、図7は
光沢のある球に正面からペンライトで光を当てたときの反射(最も光っている部分)を示
し、図8は左55度からペンライトで光を当てたときの反射を示す。
視点での視差映像を生成する。この映像生成部202にて処理を行う際、反射率分布デー
タベース203(被写体の質感情報を分類する分類手段)を利用する。
0)、物体面の法線に線対称となる方向に光が反射する(331)。この反射の際、物体
表面の性質(質感)により光が散乱することになる。この例では、散乱する光は反射方向
との成す角(θ)の関数で表現できるとし、素材毎にその分布データ(310〜321:
金属A、金属B、繊維A、繊維B)を保存している。なお繊維B321は、θ=0で反射
率が最大とならない、特異な分布データを示している。
存の形態は、例えば簡単にはθの値とこの値に対する反射率を組にしたテーブルなどでよ
い。複雑な情報としては、滑らかな関数ではなく、素材の粗さなどにより周期性を持った
細かな変動を加味したようなものでもよい。
00に示した形状(明度が高いほど手前)から視差映像を生成する例について示す。まず
、ある画素を生成する際、その画素に対応する被写体部分を入力映像から探す。そして、
光源の入射方向(401)と被写体部分表面の傾斜から反射方向(402)を算出する。
次に、素材情報を基に反射率分布データベース203でその素材の反射率分布を参照し、
402と入力映像から生成する映像の画素値を計算する。そして曲面と推定されるすべて
の画素について同様に画素値の計算を行い、視差映像を生成する。
次元映像から多眼の3次元映像を作成したりするときに使用する。ここでこの装置を使用
することにより、より正確な視差映像を生成することができ、図5で示したように質感を
リアルに表現することができるようになる。
体の形状と光源の位置によっては、右目と左目に入る輝度値が異なる。しかし、従来の視
差映像生成手法では、片方の映像の輝度を基にもう片方の映像の輝度を生成するため、こ
のような場合でも右目側と左目側が同じ輝度となってしまう。するとこの部分は「金属体
に現れたハイライト」ではなく「明度の高い色が付いた部分」とし知覚してしまうことに
なる。この提案装置を使用して視差映像を生成することによりこれを防ぐことが可能であ
る。
い範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
ガネシャッタ制御部、5…バッファメモリB、6…補正画像生成ブロック、111…デジ
タルテレビジョン放送受信装置、112…キャビネット、113…支持台、114…映像
表示器、115…スピーカ、116…操作部、117…リモートコントローラ、118…
受光部、119…第1のメモリカード、120…第2のメモリカード、121…第1のL
AN端子、122…第2のLAN端子、123…USB端子、124…i.LINK端子
、125,127,139…HDD、126,135…ハブ、128,133…コンテン
ツサーバー、129…DVDレコーダ、130…アナログ伝送路、131…ブロードバン
ドルータ、132…ネットワーク、134,136…携帯電話、137…デジタルカメラ
、138…カードリーダ/ライタ、140…キーボード、141…AV−HDD、142
…D−VHS、306…視差映像生成部。
Claims (5)
- 被写体の質感情報を分類する分類手段と、
分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を
解析する解析手段と、
前記素材情報に基づいて前記映像入力信号から視差映像信号を生成する生成手段とを
備えた映像信号処理装置。 - 前記生成手段は、更に被写体の形状情報または奥行き情報に基づいて視差映像信号を生
成する請求項1に記載の映像信号処理装置。 - 前記生成手段は、更に被写体への光の入射方向に基づいて視差映像信号を生成する請求
項1に記載の映像信号処理装置。 - 更に前記視差映像信号を表示する表示パネルを備えた請求項1に記載の映像信号処理装
置。 - 被写体の質感情報を分類し、
分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を
解析し、
前記素材情報に基づいて視差映像信号を生成する映像信号処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011019242A JP2012160922A (ja) | 2011-01-31 | 2011-01-31 | 映像信号処理装置及び映像信号処理方法 |
US13/243,760 US20120195509A1 (en) | 2011-01-31 | 2011-09-23 | Image signal processing apparatus and image signal processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011019242A JP2012160922A (ja) | 2011-01-31 | 2011-01-31 | 映像信号処理装置及び映像信号処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012160922A true JP2012160922A (ja) | 2012-08-23 |
Family
ID=46577411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011019242A Pending JP2012160922A (ja) | 2011-01-31 | 2011-01-31 | 映像信号処理装置及び映像信号処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120195509A1 (ja) |
JP (1) | JP2012160922A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021210399A1 (ja) * | 2020-04-13 | 2021-10-21 | ソニーグループ株式会社 | 画像処理装置および方法、並びにプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224822A (ja) * | 1997-01-31 | 1998-08-21 | Sony Corp | 映像表示方法および表示装置 |
JPH11127456A (ja) * | 1997-10-23 | 1999-05-11 | Sony Corp | 映像表示装置および方法 |
WO2009123066A1 (ja) * | 2008-04-03 | 2009-10-08 | 日本電気株式会社 | 画像処理方法、画像処理装置及び記録媒体 |
JP2010213054A (ja) * | 2009-03-11 | 2010-09-24 | Toppan Printing Co Ltd | 画像生成方法 |
JP2010239177A (ja) * | 2009-03-30 | 2010-10-21 | Toppan Printing Co Ltd | 画像生成方法 |
JP2011182366A (ja) * | 2010-03-04 | 2011-09-15 | Toppan Printing Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
JP2012004862A (ja) * | 2010-06-17 | 2012-01-05 | Toppan Printing Co Ltd | 動画像処理方法、動画像処理装置および動画像処理プログラム |
-
2011
- 2011-01-31 JP JP2011019242A patent/JP2012160922A/ja active Pending
- 2011-09-23 US US13/243,760 patent/US20120195509A1/en not_active Abandoned
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224822A (ja) * | 1997-01-31 | 1998-08-21 | Sony Corp | 映像表示方法および表示装置 |
JPH11127456A (ja) * | 1997-10-23 | 1999-05-11 | Sony Corp | 映像表示装置および方法 |
WO2009123066A1 (ja) * | 2008-04-03 | 2009-10-08 | 日本電気株式会社 | 画像処理方法、画像処理装置及び記録媒体 |
JP2010213054A (ja) * | 2009-03-11 | 2010-09-24 | Toppan Printing Co Ltd | 画像生成方法 |
JP2010239177A (ja) * | 2009-03-30 | 2010-10-21 | Toppan Printing Co Ltd | 画像生成方法 |
JP2011182366A (ja) * | 2010-03-04 | 2011-09-15 | Toppan Printing Co Ltd | 画像処理方法、画像処理装置および画像処理プログラム |
JP2012004862A (ja) * | 2010-06-17 | 2012-01-05 | Toppan Printing Co Ltd | 動画像処理方法、動画像処理装置および動画像処理プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021210399A1 (ja) * | 2020-04-13 | 2021-10-21 | ソニーグループ株式会社 | 画像処理装置および方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20120195509A1 (en) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190387348A1 (en) | Mixed-order ambisonics (moa) audio data for computer-mediated reality systems | |
KR102052567B1 (ko) | 가상의 3차원 비디오 생성 및 관리 시스템 및 방법 | |
US20130093844A1 (en) | Electronic apparatus and display control method | |
JP2011525746A (ja) | 三次元ビデオ映像処理方法及びその装置 | |
JP2016537903A (ja) | バーチャルリアリティコンテンツのつなぎ合わせおよび認識 | |
JP2010093816A (ja) | 視覚的関心に基づいた2次元映像の3次元映像変換器および変換方法 | |
US20220256231A1 (en) | Systems and methods for synchronizing data streams | |
JP4693918B2 (ja) | 画質調整装置および画質調整方法 | |
WO2014005558A1 (zh) | 一种供用户上传3d视频到视频网站的系统和方法 | |
TW201714163A (zh) | 資訊處理裝置、及資訊處理方法、及程式 | |
US8625970B2 (en) | Image conversion apparatus and image conversion method | |
US20190373244A1 (en) | Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method | |
US20120224035A1 (en) | Electronic apparatus and image processing method | |
JP5066244B2 (ja) | 映像再生装置及び映像再生方法 | |
JP2012160922A (ja) | 映像信号処理装置及び映像信号処理方法 | |
US10429727B2 (en) | Microfaceted projection screen | |
US20140139650A1 (en) | Image processing apparatus and image processing method | |
US20120281066A1 (en) | Information processing device and information processing method | |
US20120281073A1 (en) | Customization of 3DTV User Interface Position | |
US20120154538A1 (en) | Image processing apparatus and image processing method | |
Donelan | The state of 8K | |
Mills et al. | Surround video | |
JP2021033354A (ja) | 通信装置およびその制御方法 | |
US20120294593A1 (en) | Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium | |
US20120154383A1 (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120620 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20120620 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130312 |