JP2011166761A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2011166761A JP2011166761A JP2011019723A JP2011019723A JP2011166761A JP 2011166761 A JP2011166761 A JP 2011166761A JP 2011019723 A JP2011019723 A JP 2011019723A JP 2011019723 A JP2011019723 A JP 2011019723A JP 2011166761 A JP2011166761 A JP 2011166761A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sub
- parallax
- image data
- main
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】画像処理装置は、主画像データから3D主画像の各所定単位の視差を検出し、視差統計情報を生成する主画像統計情報生成部と、副画像データから3D副画像の各所定単位の視差を検出し、視差統計情報を生成する副画像統計情報生成部と、その統計情報を用いて、主画像および副画像の奥行き方向の位置間隔が所定範囲内になるように、主画像および副画像視差の少なくとも一方を補正するために使用される補正量を計算する視差制御部と、画像の視差の少なくとも一方を補正量だけ補正するように、主画像データおよび副画像データの少なくとも一方を変換する変換部と、主画像データに副画像データを重畳する重畳部とを含む。
【選択図】図1
Description
この出願は、2010年2月5日に出願された米国仮特許出願第61/301,682号の利益を主張する非仮出願であり、その内容の全体が参照により本明細書に組み込まれる。
[画像処理装置の構成例]
図1は、本発明による画像処理装置の一構成例のブロック図である。
図2A乃至図2Cは、入力された主画像データに対応する主画像の視差マップと視差ヒストグラムの例を示す。
図3A乃至図3Cは、入力された副画像データに対応する副画像の視差マップと視差のヒストグラムの例を示す。
図4Aおよび図4Bならびに図5Aおよび図5Bは、副画像の視差のヒストグラムの変換について説明する。
図6乃至図8は、補正量を説明する図である。
図9は、図1に示す画像処理装置10により行われる代表的な重畳処理のフローチャートである。この重畳処理は、例えば、主画像データおよび副画像データが画像処理装置10に入力されたとき、開始される。
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。上述の一連の処理をソフトウェアによって行う場合には、そのソフトウェアのプログラムが、汎用のコンピュータ等にインストールされる。
14 視差検出部、 15 視差解析部、 16 画像変換部、 17 視差制御部、 18 画像重畳部
Claims (10)
- 3Dの主画像の所定の単位ごとの視差を前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成する主画像統計情報生成手段と、
3Dの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成する副画像統計情報生成手段と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力する画像変換手段と、
前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段と
を含む画像処理装置。 - 前記視差制御手段は、前記主画像の視差の平均値と前記副画像の視差の平均値の差が所定の範囲内になるように、前記補正量を計算する
請求項1に記載の画像処理装置。 - 前記統計情報はヒストグラムの形をとっており、
前記視差制御手段は、前記主統計情報のヒストグラムの全体の面積に対する、前記主統計情報のヒストグラムの前記副画像統計情報と重なる領域の面積の割合が所定の範囲内になるように、前記補正量を計算する
請求項1に記載の画像処理装置。 - 前記視差制御手段は、前記主画像の位置と前記副画像の位置の奥行き方向の間隔が所定の範囲内になり、かつ、前記副画像の奥行き方向の位置が前記主画像の奥行き方向の位置よりユーザに近くなるように、前記補正量を計算する
請求項1に記載の画像処理装置。 - 前記主画像データの画像サイズと前記主画像データの表示サイズが異なる場合、前記視差制御手段はまた、前記主画像データの画像サイズと前記主画像データの表示サイズとに基づいて、前記主画像統計情報を前記主画像データの表示サイズのための主画像統計情報に変換し、
前記副画像データの画像サイズと前記副画像データの表示サイズが異なる場合、前記視差制御手段はまた、前記副画像データの画像サイズと前記副画像データの表示サイズとに基づいて、前記副画像統計情報を前記副画像データの表示サイズのための副画像統計情報に変換し、
前記視差制御手段は、変換後の前記主画像統計情報と前記副画像統計情報に基づいて、前記補正量を計算する
請求項1に記載の画像処理装置。 - 3Dの主画像の所定の単位ごとの視差を、前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成するステップと、
3Dの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成するステップと、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するステップと、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するステップと、
前記の出力される主画像データに前記の出力される副画像データを重畳するステップと、
を含む、画像処理装置に用いられる画像処理方法。 - コンピュータに、
3Dの主画像の所定の単位ごとの視差を、前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成するステップと、
3Dの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成するステップと、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するステップと、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するステップと、
前記の出力される主画像データに前記の出力される副画像データを重畳するステップと、
を含む処理を実行させるためのプログラムコードを含むプログラム。 - 3Dの主画像の画像データである主画像データと、3Dの副画像の画像データである副画像データとを読み出す読出手段と、
前記主画像データに基づいて前記主画像の所定の単位ごとの視差を検出し、その視差の統計情報である主画像統計情報を生成する主画像統計情報生成手段と、
前記副画像データに基づいて前記副画像の所定の単位ごとの視差を検出し、その視差の統計情報である副画像統計情報を生成する副画像統計情報生成手段と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算する視差制御手段と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力する画像変換手段と、
前記画像変換手段から出力される前記主画像データに、前記画像変換手段から出力される前記副画像データを重畳する重畳手段と
を含む再生装置。 - 3Dの主画像の所定の単位ごとの視差を、前記主画像の画像データである主画像データに基づいて検出し、その視差の統計情報である主画像統計情報を生成するように構成された主画像統計情報生成部と、
3Dの副画像の所定の単位ごとの視差を、前記副画像の画像データである副画像データに基づいて検出し、その視差の統計情報である副画像統計情報を生成するように構成された副画像統計情報生成部と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するように構成された視差制御部と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するように構成された主画像変換部と、
前記画像変換部から出力される前記主画像データに前記画像変換部から出力される前記副画像データを重畳するように構成された重畳部と
を含む画像処理装置。 - 3Dの主画像の画像データである主画像データと、3Dの副画像の画像データである副画像データとを読み出すように構成された読出部と、
前記主画像データに基づいて前記主画像の所定の単位ごとの視差を検出し、その視差の統計情報である主画像統計情報を生成するように構成された主画像統計情報生成部と、
前記副画像データに基づいて前記副画像の所定の単位ごとの視差を検出し、その視差の統計情報である副画像統計情報を生成するように構成された副画像統計情報生成部と、
前記主画像統計情報と前記副画像統計情報に基づいて、前記主画像と前記副画像の画面に対して垂直な方向である奥行き方向における前記主画像の位置と前記副画像の位置との間隔が所定の範囲内になるように、前記主画像の視差および前記副画像の視差の少なくとも一方を補正するために使用される補正量を計算するように構成された視差制御部と、
前記主画像の視差および前記副画像の視差の少なくとも一方を前記補正量だけ補正するように、前記主画像データおよび前記副画像データの少なくとも一方を変換して前記画像データを出力するように構成された画像変換部と、
前記画像変換部から出力される前記主画像データに、前記画像変換部から出力される前記副画像データを重畳するように構成された重畳手段と
を含む再生装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US30168210P | 2010-02-05 | 2010-02-05 | |
US61/301,682 | 2010-02-05 | ||
US12/871,525 | 2010-08-30 | ||
US12/871,525 US8565516B2 (en) | 2010-02-05 | 2010-08-30 | Image processing apparatus, image processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011166761A true JP2011166761A (ja) | 2011-08-25 |
JP5638974B2 JP5638974B2 (ja) | 2014-12-10 |
Family
ID=44353767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011019723A Expired - Fee Related JP5638974B2 (ja) | 2010-02-05 | 2011-02-01 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8565516B2 (ja) |
JP (1) | JP5638974B2 (ja) |
CN (1) | CN102164299B (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013128765A1 (ja) | 2012-02-27 | 2013-09-06 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
JP2015503258A (ja) * | 2011-11-01 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 突出ベース視差マッピング |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8446461B2 (en) * | 2010-07-23 | 2013-05-21 | Superd Co. Ltd. | Three-dimensional (3D) display method and system |
JP5302285B2 (ja) * | 2010-10-28 | 2013-10-02 | シャープ株式会社 | 立体映像出力装置、立体映像出力方法、立体映像出力プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、立体映像表示装置 |
KR101737840B1 (ko) * | 2010-11-05 | 2017-05-19 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
CN103202027B (zh) * | 2010-11-05 | 2016-01-20 | 富士胶片株式会社 | 图像处理装置、图像处理程序、图像处理方法及存储介质 |
JP2012103980A (ja) * | 2010-11-11 | 2012-05-31 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US9049423B2 (en) * | 2010-12-01 | 2015-06-02 | Qualcomm Incorporated | Zero disparity plane for feedback-based three-dimensional video |
US9485494B1 (en) | 2011-04-10 | 2016-11-01 | Nextvr Inc. | 3D video encoding and decoding methods and apparatus |
JP2013058956A (ja) * | 2011-09-09 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
JP2013089981A (ja) * | 2011-10-13 | 2013-05-13 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US20130300823A1 (en) * | 2012-05-10 | 2013-11-14 | Jiun-Sian Chu | Stereo effect enhancement systems and methods |
US9830722B2 (en) | 2012-08-10 | 2017-11-28 | Mitsubishi Electric Corporation | Image processing device, display device, image processing method, display method, and image processing program |
JP2015154091A (ja) * | 2014-02-10 | 2015-08-24 | ソニー株式会社 | 画像処理方法、画像処理装置、及び電子機器 |
CN105892968A (zh) * | 2016-03-30 | 2016-08-24 | 天脉聚源(北京)科技有限公司 | 显示数据的方法和装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121370A (ja) * | 1995-08-24 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 立体tv装置 |
JPH09322199A (ja) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | 3次元映像表示装置 |
WO2008038205A2 (en) * | 2006-09-28 | 2008-04-03 | Koninklijke Philips Electronics N.V. | 3 menu display |
JP2008518317A (ja) * | 2004-10-26 | 2008-05-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 視差マップ |
WO2008115222A1 (en) * | 2007-03-16 | 2008-09-25 | Thomson Licensing | System and method for combining text with three-dimensional content |
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3423189B2 (ja) | 1997-05-27 | 2003-07-07 | 三洋電機株式会社 | ディジタル立体放送によるテロップ表示装置 |
US7330584B2 (en) * | 2004-10-14 | 2008-02-12 | Sony Corporation | Image processing apparatus and method |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
JP5792064B2 (ja) * | 2008-07-25 | 2015-10-07 | コーニンクレッカ フィリップス エヌ ヴェ | 字幕の三次元表示処理 |
US8947503B2 (en) * | 2009-12-08 | 2015-02-03 | Broadcom Corporation | Method and system for processing 3-D video |
JPWO2011070774A1 (ja) * | 2009-12-09 | 2013-04-22 | パナソニック株式会社 | 3d映像処理装置および3d映像処理方法 |
-
2010
- 2010-08-30 US US12/871,525 patent/US8565516B2/en not_active Expired - Fee Related
-
2011
- 2011-01-28 CN CN201110034847.8A patent/CN102164299B/zh not_active Expired - Fee Related
- 2011-02-01 JP JP2011019723A patent/JP5638974B2/ja not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09121370A (ja) * | 1995-08-24 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 立体tv装置 |
JPH09322199A (ja) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | 3次元映像表示装置 |
JP2008518317A (ja) * | 2004-10-26 | 2008-05-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 視差マップ |
JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する3次元のシーンに関する3次元表現を生成するための方法およびシステム |
WO2008038205A2 (en) * | 2006-09-28 | 2008-04-03 | Koninklijke Philips Electronics N.V. | 3 menu display |
JP2010505174A (ja) * | 2006-09-28 | 2010-02-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | メニューディスプレイ |
WO2008115222A1 (en) * | 2007-03-16 | 2008-09-25 | Thomson Licensing | System and method for combining text with three-dimensional content |
JP2010521738A (ja) * | 2007-03-16 | 2010-06-24 | トムソン ライセンシング | テキストを3次元コンテンツと合成するシステム及び方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015503258A (ja) * | 2011-11-01 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 突出ベース視差マッピング |
WO2013128765A1 (ja) | 2012-02-27 | 2013-09-06 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
JPWO2013128765A1 (ja) * | 2012-02-27 | 2015-07-30 | ソニー株式会社 | 画像処理装置、画像処理方法およびコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102164299B (zh) | 2015-04-22 |
US20110194756A1 (en) | 2011-08-11 |
US8565516B2 (en) | 2013-10-22 |
CN102164299A (zh) | 2011-08-24 |
JP5638974B2 (ja) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5638974B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US9219911B2 (en) | Image processing apparatus, image processing method, and program | |
JP5337218B2 (ja) | 立体画像変換装置、立体画像出力装置および立体画像変換方法 | |
JP2011199389A (ja) | 画像処理装置、画像変換方法、およびプログラム | |
JP5446949B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2011139261A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2011176541A (ja) | 立体映像処理装置および方法、並びにプログラム | |
WO2012014489A1 (ja) | 映像信号処理装置及び映像信号処理方法 | |
US8675050B2 (en) | Data structure, recording apparatus and method, playback apparatus and method, and program | |
US9247230B2 (en) | Image processing apparatus, image processing method, and program | |
JP2012099956A (ja) | 映像再生装置及び映像再生方法 | |
US20140232835A1 (en) | Stereoscopic image processing device and stereoscopic image processing method | |
JP2012065160A (ja) | 動画像処理装置および動画像処理方法 | |
US20120013718A1 (en) | Electronic apparatus and image processing method | |
JP5647741B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
JP5644862B2 (ja) | 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム | |
JP2011139262A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2011223126A (ja) | 立体映像表示装置および立体映像表示方法 | |
WO2011083538A1 (ja) | 画像処理装置 | |
US9641821B2 (en) | Image signal processing device and image signal processing method | |
WO2013128847A1 (ja) | 視差量調整装置、3次元画像生成装置、および視差量調整方法 | |
JP5759728B2 (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
JP2013090170A (ja) | 立体視映像再生装置 | |
JP2013005376A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP2012114505A (ja) | 画像処理装置及び画像処理方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110513 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141023 |
|
LAPS | Cancellation because of no payment of annual fees |