JP2012160922A - 映像信号処理装置及び映像信号処理方法 - Google Patents

映像信号処理装置及び映像信号処理方法 Download PDF

Info

Publication number
JP2012160922A
JP2012160922A JP2011019242A JP2011019242A JP2012160922A JP 2012160922 A JP2012160922 A JP 2012160922A JP 2011019242 A JP2011019242 A JP 2011019242A JP 2011019242 A JP2011019242 A JP 2011019242A JP 2012160922 A JP2012160922 A JP 2012160922A
Authority
JP
Japan
Prior art keywords
signal processing
information
video
subject
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011019242A
Other languages
English (en)
Inventor
Shugo Konishi
秀吾 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011019242A priority Critical patent/JP2012160922A/ja
Priority to US13/243,760 priority patent/US20120195509A1/en
Publication of JP2012160922A publication Critical patent/JP2012160922A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Abstract

【課題】視差映像の生成において質感等をより現実的に表現することができる映像信号処
理装置及び映像信号処理方法を提供する。
【解決手段】被写体の質感情報を分類する分類手段と、分類された前記質感情報に基づい
て、入力された映像入力信号中の被写体の素材情報を解析する解析手段と、前記素材情報
に基づいて視差映像信号を生成する生成手段とを備えた映像信号処理装置。また、被写体
の質感情報を分類し、分類された前記質感情報に基づいて、入力された映像入力信号中の
被写体の素材情報を解析し、前記素材情報に基づいて視差映像信号を生成する映像信号処
理方法。
【選択図】 図4

Description

本発明の実施形態は、視差映像を生成する映像信号処理装置及び映像信号処理方法に関
する。
2次元映像を3次元映像に変換するための装置が用いられている。例えば、特許文献1は
、この2次元映像を3次元映像に変換するための視差映像を生成する手段に関するものであ
る。
しかしながら更に、より正確な視差映像を生成すること、例えば質感をより現実的に表
現することができるようになることへの要望がある。
特開平11−56891号公報
本発明の実施の形態は、視差映像の生成において質感等をより現実的に表現することが
できる映像信号処理装置及び映像信号処理方法を提供することを目的とする。
上記課題を解決するために、実施形態によれば映像信号処理装置は、被写体の質感情報
を分類する分類手段と、分類された前記質感情報に基づいて、入力された映像入力信号中
の被写体の素材情報を解析する解析手段と、前記素材情報に基づいて視差映像信号を生成
する生成手段とを備えた。
この発明の一実施形態を示すブロック構成図。 同実施形態の映像信号処理装置を備えたTVの構成例を示す機能ブロック構成図。 同実施形態の効果を説明するために示す概要図。 同実施形態の映像信号処理装置の例を示すブロック構成図。 同実施形態に用いられる反射率分布データベースの構成例を示す図。 同実施形態の映像生成部における映像の生成方法を示す図。 光沢のある球に正面からペンライトで光を当てたときの反射を示す図。 光沢のある球に左55度からペンライトで光を当てたときの反射を示す図。
以下、本発明の一実施形態を説明する。
(第1の実施形態)
本発明による第1の実施形態を図1乃至図6を参照して説明する。
図1は、本発明に関する通信装置であるネットワーク機能を備えたデジタルテレビジョ
ン放送受信装置111の外観と、このデジタルテレビジョン放送受信装置111を中心と
して構成されるネットワークシステムの一例を概略的に示している。
すなわち、デジタルテレビジョン放送受信装置111は、主として、薄型のキャビネッ
ト112と、このキャビネット112を起立させて支持する支持台113とから構成され
ている。そして、キャビネット112には、例えばSED(Surface-conduction Electro
n-emitter Display)表示パネル,液晶表示パネル等でなる平面パネル型の映像表示器1
14、スピーカ115、操作部116、リモートコントローラ117から送信される操作
情報を受ける受光部118等が設置されている。
また、このデジタルテレビジョン放送受信装置111には、例えばSD(Secure Digit
al)メモリカード、MMC(Multimedia Card)及びメモリスティック等の第1のメモリ
カード119が着脱可能となっており、この第1のメモリカード119に対して番組や写
真等の情報の記録再生が行なわれるようになっている。
さらに、このデジタルテレビジョン放送受信装置111には、例えば契約情報等の記録
された第2のメモリカード(ICカード)120が着脱可能となっており、この第2のメ
モリカード120に対して情報の記録再生が行なわれるようになっている。
また、このデジタルテレビジョン放送受信装置111は、第1のLAN(Local Area N
etwork)端子121、第2のLAN端子122、USB(Universal Serial Bus)端子1
23及びi.LINK端子124を備えている。
このうち、第1のLAN端子121は、LAN対応HDD専用ポートとして使用される
もので、接続されたNAS(Network Attached Storage)であるLAN対応のHDD12
5に対して、イーサネット(登録商標)により情報の記録再生を行なうために使用される
このように、LAN対応HDD専用ポートとしての第1のLAN端子121を設けるこ
とにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、LA
N対応のHDD125に対してハイビジョン画質による番組の情報記録を安定して行なう
ことができる。
また、第2のLAN端子122は、イーサネット(登録商標)を用いた一般的なLAN
対応ポートとして使用されるもので、例えばハブ126を介して、LAN対応のHDD1
27、コンテンツサーバー128、HDD内蔵のDVD(Digital Versatile Disk)レコ
ーダ129等の機器を接続し、これらの機器と情報伝送を行なうために使用される。
なお、コンテンツサーバー128については、家庭内ネットワークにおいてコンテンツ
のサーバー機器として動作するための機能を持ち、さらにコンテンツのアクセスに必要な
URI(Uniform Resource Identifier)情報を提供するサービスを備えたUPnP(ユ
ニバーサルプラグアンドプレイ)対応機器として構成される。
なお、DVDレコーダ129については、第2のLAN端子122を介して通信される
デジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置111
との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路130を
設ける必要がある。
さらに、この第2のLAN端子122は、ハブ126に接続されたブロードバンドルー
タ131を介して、例えばインターネット等のネットワーク132に接続し、このネット
ワーク132を介してコンテンツサーバー133や携帯電話134等と情報伝送を行なう
ために使用される。
なお、コンテンツサーバー133についてはコンテンツのサーバー機器として動作する
ための機能を持ち、さらにコンテンツのアクセスに必要なURI情報を提供するサービス
を備えたUPnP対応機器として構成される。
また、上記USB端子123は、一般的なUSB対応ポートとして使用されるもので、
例えばハブ135を介して、携帯電話136、デジタルカメラ137、メモリカードに対
するカードリーダ/ライタ138、HDD139、キーボード140等のUSB機器を接
続し、これらのUSB機器と情報伝送を行なうために使用される。
さらに、上記i.LINK端子124は、例えばAV−HDD141、D(Digital)
−VHS(Video Home System)142等をシリアル接続し、これらの機器と情報伝送を
行なうために使用される。
図2は、上記したデジタルテレビジョン放送受信装置111の主要な信号処理系を示す
機能ブロック構成図である。デジタルテレビジョン放送受信装置111は、アンテナ30
1、チューナ部302、デコーダ部303、左右映像分離部304、外部入力端子305
(121〜124および130に相当)、視差映像生成部306および表示パネル307
等から図2のように構成される。
まずアンテナ301から入力された放送波はチューナ部302、デコーダ部303を通
ることで映像データとなり、左右映像分離部304へ入力される(左右映像分離部304
へ入力される映像データは外部入力端子305から入力されたものでもよい。)。そして
左右映像分離部304にて左目で見る映像データと右目で見る映像データに分離され、視
差映像生成部306(後述の映像信号処理装置200)にて映像を解析しこの解析結果か
ら映像を生成し、表示パネル307から生成した映像を表示する。
図3は、実施形態の効果を説明するために示す概要図である。100は、ある被写体が
存在する空間を真上から表した図であり、この空間には、球体の被写体(101)と星型
板の被写体(102)と光源(105)が存在する。ここで、これらの被写体を103の
視点からみた映像(150)が存在するときに104の視点からの映像を生成することを
後述のように実施する。このとき、奥行き情報によって被写体を左右にずらす従来手法に
基づいて生成した映像は160のようになる。球体の被写体(101)と星型板の被写体
(102)との距離はS1からS2へと狭くなっている。
しかしここまでの手法では、150中のハイライト(151)の位置は、160中のハ
イライト(161)の位置となって変化しない。以下では物体表面の反射特性を考慮し、
より正確な視差映像(170)を生成する装置について説明する。なお、光源(105)
は説明のために被写体(101)などに近接して描いているが、外光や天井燈など遠点か
ら平行光線をもたらすものを想定してもよい。
図4は、映像信号処理装置の構成例について示したものであり、視差映像生成部306
に対応している。この例では、1視差の映像から他の視差映像を生成しているが、2視差
以上の映像を入力しても良く、また2視差以上の視差を生成することも可能である。
この映像信号処理装置200は、映像解析部201と映像生成部202と反射率分布デ
ータベース203で構成される。
まず入力映像は映像解析部201によって被写体の形状・被写体の素材・光源入射方向
を解析するが、これらは公知の手法で行うことができる。例えば光源入射方向は、映像1
50を入力して得ることができる。また形状や素材は、151の部分の広がりやコントラ
ストで推定できる。次に映像160を入力したときにこの光源入射方向の情報に視点の位
置の差を加味すればよい。
形状については、例えば既にある2D3D変換の技術(例えば特開2000−253422
号、特開2000−261828号)で奥行きがわかるので、この奥行きの変化で形状が
特定できる。
また素材については、一般的なパターン認識技術(例えば顔認識や人物検索)を金属や繊
維などの素材を対象として実施すれば特定可能である。
また光源入射方向については、上記の手法で物体の形状(表面の向き)がわかれば、ハイ
ライトの位置から計算で求めることができる。具体的には、視点とハイライト位置を結ぶ
直線がハイライト位置の表面によって反射する方向が光源の方向になる。例えば、図7は
光沢のある球に正面からペンライトで光を当てたときの反射(最も光っている部分)を示
し、図8は左55度からペンライトで光を当てたときの反射を示す。
次に入力映像と映像解析部201で解析した情報によって映像生成部202にて任意の
視点での視差映像を生成する。この映像生成部202にて処理を行う際、反射率分布デー
タベース203(被写体の質感情報を分類する分類手段)を利用する。
図5は反射率分布データベースの構成例である。一般的に物体に光が入射すると(33
0)、物体面の法線に線対称となる方向に光が反射する(331)。この反射の際、物体
表面の性質(質感)により光が散乱することになる。この例では、散乱する光は反射方向
との成す角(θ)の関数で表現できるとし、素材毎にその分布データ(310〜321:
金属A、金属B、繊維A、繊維B)を保存している。なお繊維B321は、θ=0で反射
率が最大とならない、特異な分布データを示している。
実際には、これら分布データよりさらに複雑な情報でも簡易的な情報でもよい。また保
存の形態は、例えば簡単にはθの値とこの値に対する反射率を組にしたテーブルなどでよ
い。複雑な情報としては、滑らかな関数ではなく、素材の粗さなどにより周期性を持った
細かな変動を加味したようなものでもよい。
図6は、映像生成部202における映像の生成方法の例を示した図である。ここでは4
00に示した形状(明度が高いほど手前)から視差映像を生成する例について示す。まず
、ある画素を生成する際、その画素に対応する被写体部分を入力映像から探す。そして、
光源の入射方向(401)と被写体部分表面の傾斜から反射方向(402)を算出する。
次に、素材情報を基に反射率分布データベース203でその素材の反射率分布を参照し、
402と入力映像から生成する映像の画素値を計算する。そして曲面と推定されるすべて
の画素について同様に画素値の計算を行い、視差映像を生成する。
視差映像の生成は、2次元映像から擬似的に2眼の3次元映像を作成したり、2眼の3
次元映像から多眼の3次元映像を作成したりするときに使用する。ここでこの装置を使用
することにより、より正確な視差映像を生成することができ、図5で示したように質感を
リアルに表現することができるようになる。
例えば、金属部分等には光源がハイライトとして映りこむ場合が多いが、このとき被写
体の形状と光源の位置によっては、右目と左目に入る輝度値が異なる。しかし、従来の視
差映像生成手法では、片方の映像の輝度を基にもう片方の映像の輝度を生成するため、こ
のような場合でも右目側と左目側が同じ輝度となってしまう。するとこの部分は「金属体
に現れたハイライト」ではなく「明度の高い色が付いた部分」とし知覚してしまうことに
なる。この提案装置を使用して視差映像を生成することによりこれを防ぐことが可能であ
る。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しな
い範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせること
により、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素
から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる
構成要素を適宜組み合わせても良いものである。
1…入力画像データ並び替え部、2…バッファメモリA、3…バッファ制御部、4…メ
ガネシャッタ制御部、5…バッファメモリB、6…補正画像生成ブロック、111…デジ
タルテレビジョン放送受信装置、112…キャビネット、113…支持台、114…映像
表示器、115…スピーカ、116…操作部、117…リモートコントローラ、118…
受光部、119…第1のメモリカード、120…第2のメモリカード、121…第1のL
AN端子、122…第2のLAN端子、123…USB端子、124…i.LINK端子
、125,127,139…HDD、126,135…ハブ、128,133…コンテン
ツサーバー、129…DVDレコーダ、130…アナログ伝送路、131…ブロードバン
ドルータ、132…ネットワーク、134,136…携帯電話、137…デジタルカメラ
、138…カードリーダ/ライタ、140…キーボード、141…AV−HDD、142
…D−VHS、306…視差映像生成部。
特開2000−261828号公報(特願平11−56891号)

Claims (5)

  1. 被写体の質感情報を分類する分類手段と、
    分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を
    解析する解析手段と、
    前記素材情報に基づいて前記映像入力信号から視差映像信号を生成する生成手段とを
    備えた映像信号処理装置。
  2. 前記生成手段は、更に被写体の形状情報または奥行き情報に基づいて視差映像信号を生
    成する請求項1に記載の映像信号処理装置。
  3. 前記生成手段は、更に被写体への光の入射方向に基づいて視差映像信号を生成する請求
    項1に記載の映像信号処理装置。
  4. 更に前記視差映像信号を表示する表示パネルを備えた請求項1に記載の映像信号処理装
    置。
  5. 被写体の質感情報を分類し、
    分類された前記質感情報に基づいて、入力された映像入力信号中の被写体の素材情報を
    解析し、
    前記素材情報に基づいて視差映像信号を生成する映像信号処理方法。
JP2011019242A 2011-01-31 2011-01-31 映像信号処理装置及び映像信号処理方法 Pending JP2012160922A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011019242A JP2012160922A (ja) 2011-01-31 2011-01-31 映像信号処理装置及び映像信号処理方法
US13/243,760 US20120195509A1 (en) 2011-01-31 2011-09-23 Image signal processing apparatus and image signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011019242A JP2012160922A (ja) 2011-01-31 2011-01-31 映像信号処理装置及び映像信号処理方法

Publications (1)

Publication Number Publication Date
JP2012160922A true JP2012160922A (ja) 2012-08-23

Family

ID=46577411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011019242A Pending JP2012160922A (ja) 2011-01-31 2011-01-31 映像信号処理装置及び映像信号処理方法

Country Status (2)

Country Link
US (1) US20120195509A1 (ja)
JP (1) JP2012160922A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210399A1 (ja) * 2020-04-13 2021-10-21 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224822A (ja) * 1997-01-31 1998-08-21 Sony Corp 映像表示方法および表示装置
JPH11127456A (ja) * 1997-10-23 1999-05-11 Sony Corp 映像表示装置および方法
WO2009123066A1 (ja) * 2008-04-03 2009-10-08 日本電気株式会社 画像処理方法、画像処理装置及び記録媒体
JP2010213054A (ja) * 2009-03-11 2010-09-24 Toppan Printing Co Ltd 画像生成方法
JP2010239177A (ja) * 2009-03-30 2010-10-21 Toppan Printing Co Ltd 画像生成方法
JP2011182366A (ja) * 2010-03-04 2011-09-15 Toppan Printing Co Ltd 画像処理方法、画像処理装置および画像処理プログラム
JP2012004862A (ja) * 2010-06-17 2012-01-05 Toppan Printing Co Ltd 動画像処理方法、動画像処理装置および動画像処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224822A (ja) * 1997-01-31 1998-08-21 Sony Corp 映像表示方法および表示装置
JPH11127456A (ja) * 1997-10-23 1999-05-11 Sony Corp 映像表示装置および方法
WO2009123066A1 (ja) * 2008-04-03 2009-10-08 日本電気株式会社 画像処理方法、画像処理装置及び記録媒体
JP2010213054A (ja) * 2009-03-11 2010-09-24 Toppan Printing Co Ltd 画像生成方法
JP2010239177A (ja) * 2009-03-30 2010-10-21 Toppan Printing Co Ltd 画像生成方法
JP2011182366A (ja) * 2010-03-04 2011-09-15 Toppan Printing Co Ltd 画像処理方法、画像処理装置および画像処理プログラム
JP2012004862A (ja) * 2010-06-17 2012-01-05 Toppan Printing Co Ltd 動画像処理方法、動画像処理装置および動画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210399A1 (ja) * 2020-04-13 2021-10-21 ソニーグループ株式会社 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20120195509A1 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
US20190387348A1 (en) Mixed-order ambisonics (moa) audio data for computer-mediated reality systems
KR102052567B1 (ko) 가상의 3차원 비디오 생성 및 관리 시스템 및 방법
US20130093844A1 (en) Electronic apparatus and display control method
JP2011525746A (ja) 三次元ビデオ映像処理方法及びその装置
JP2016537903A (ja) バーチャルリアリティコンテンツのつなぎ合わせおよび認識
JP2010093816A (ja) 視覚的関心に基づいた2次元映像の3次元映像変換器および変換方法
US20220256231A1 (en) Systems and methods for synchronizing data streams
JP4693918B2 (ja) 画質調整装置および画質調整方法
WO2014005558A1 (zh) 一种供用户上传3d视频到视频网站的系统和方法
TW201714163A (zh) 資訊處理裝置、及資訊處理方法、及程式
US8625970B2 (en) Image conversion apparatus and image conversion method
US20190373244A1 (en) Method of transmitting 3-dimensional 360 degree video data, display apparatus using the method, and video storage apparatus using the method
US20120224035A1 (en) Electronic apparatus and image processing method
JP5066244B2 (ja) 映像再生装置及び映像再生方法
JP2012160922A (ja) 映像信号処理装置及び映像信号処理方法
US10429727B2 (en) Microfaceted projection screen
US20140139650A1 (en) Image processing apparatus and image processing method
US20120281066A1 (en) Information processing device and information processing method
US20120281073A1 (en) Customization of 3DTV User Interface Position
US20120154538A1 (en) Image processing apparatus and image processing method
Donelan The state of 8K
Mills et al. Surround video
JP2021033354A (ja) 通信装置およびその制御方法
US20120294593A1 (en) Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium
US20120154383A1 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120620

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20120620

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130312