JP2011135459A - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011135459A JP2011135459A JP2009294548A JP2009294548A JP2011135459A JP 2011135459 A JP2011135459 A JP 2011135459A JP 2009294548 A JP2009294548 A JP 2009294548A JP 2009294548 A JP2009294548 A JP 2009294548A JP 2011135459 A JP2011135459 A JP 2011135459A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- composite image
- images
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】パノラマ画像生成部25−1は、撮像装置11が移動している状態で連続して撮像された複数の撮像画像の短冊領域TRRを切り出して合成し、右眼用のパノラマ画像PRを生成する。パノラマ画像生成部25−2は、複数の撮像画像の短冊領域TRLを切り出して合成し、左眼用のパノラマ画像PLを生成する。視差制御部26は、パノラマ画像PRとパノラマ画像PLから、これらのパノラマ画像の支配的な視差を検出し、その検出結果に応じてパノラマ画像全体をシフトさせることで、視差調整を行なう。表示部27は、視差調整されたパノラマ画像の対を同時に表示することで、より自然な奥行き感の立体パノラマ画像を表示する。本発明は、カメラに適用することができる。
【選択図】図2
Description
[立体パノラマ画像の説明]
本発明を適用した撮像装置は、例えばカメラなどからなり、撮像装置が移動している状態で、撮像装置が連続的に撮像した複数の撮像画像から、立体パノラマ画像を生成する。立体パノラマ画像は、視差を有する2つのパノラマ画像から構成される。
図2は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。
ところで、ユーザが撮像装置11を操作して、立体パノラマ画像の生成を指示すると、撮像装置11は、立体パノラマ画像を生成して表示する処理である立体パノラマ画像表示処理を開始する。以下、図3のフローチャートを参照して、撮像装置11による立体パノラマ画像表示処理について説明する。
[支配的な視差についての説明]
ところで、以上においては、パノラマ画像から支配的な視差を求め、その視差に応じてパノラマ画像の視差調整を行なうと説明したが、本出願人により、パノラマ画像の支配的な視差の絶対値は、短冊領域のオフセット量とほぼ等しいことが確認されている。
撮像装置11が、オフセット量に基づいてパノラマ画像の視差調整を行なう場合、短冊領域決定部23だけでなく、視差制御部26にもオフセット量が供給される。
Claims (6)
- 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第1の合成画像および第2の合成画像を生成する画像処理装置であって、
複数の前記撮像画像の第1の短冊領域の画像のそれぞれを合成して、前記第1の合成画像を生成する第1の合成画像生成手段と、
複数の前記撮像画像の前記第1の短冊領域とは異なる第2の短冊領域の画像のそれぞれを合成して、前記第2の合成画像を生成する第2の合成画像生成手段と、
所定のシフト量に基づいて、前記第1の合成画像または前記第2の合成画像のうちの少なくとも一方をシフトさせることで、前記第1の合成画像と前記第2の合成画像の視差を調整する視差制御手段と
を備える画像処理装置。 - 前記視差制御手段は、前記第1の合成画像の領域と前記第2の合成画像の領域との相関の度合いを示す相関値を算出し、前記相関値を用いて前記第1の合成画像と前記第2の合成画像の支配的な視差を検出して、前記支配的な視差が打ち消される前記シフト量を算出する
請求項1に記載の画像処理装置。 - 前記視差制御手段は、前記第1の合成画像に対する前記第2の合成画像の位置をずらしながら、前記第1の合成画像と前記第2の合成画像との差分を前記相関値として算出する
請求項2に記載の画像処理装置。 - 前記視差制御手段は、前記撮像画像上における前記第1の短冊領域と前記第2の短冊領域との距離に基づいて、前記シフト量を算出する
請求項1に記載の画像処理装置。 - 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第1の合成画像および第2の合成画像を生成する画像処理装置であり、
複数の前記撮像画像の第1の短冊領域の画像のそれぞれを合成して、前記第1の合成画像を生成する第1の合成画像生成手段と、
複数の前記撮像画像の前記第1の短冊領域とは異なる第2の短冊領域の画像のそれぞれを合成して、前記第2の合成画像を生成する第2の合成画像生成手段と、
所定のシフト量に基づいて、前記第1の合成画像または前記第2の合成画像のうちの少なくとも一方をシフトさせることで、前記第1の合成画像と前記第2の合成画像の視差を調整する視差制御手段と
を備える画像処理装置の画像処理方法であって、
前記第1の合成画像生成手段が、前記撮像画像の前記第1の短冊領域の画像を合成して、前記第1の合成画像を生成し、
前記第2の合成画像生成手段が、前記撮像画像の前記第2の短冊領域の画像を合成して、前記第2の合成画像を生成し、
前記視差制御手段が、前記シフト量に基づいて、前記第1の合成画像と前記第2の合成画像の視差を調整する
ステップを含む画像処理方法。 - 撮像手段を移動させながら前記撮像手段により撮像して得られた複数の撮像画像に基づいて、立体合成画像表示用の互いに視差を有する第1の合成画像および第2の合成画像を生成する画像処理装置を制御するコンピュータに、
複数の前記撮像画像の第1の短冊領域の画像のそれぞれを合成して、前記第1の合成画像を生成し、
複数の前記撮像画像の前記第1の短冊領域とは異なる第2の短冊領域の画像のそれぞれを合成して、前記第2の合成画像を生成し、
所定のシフト量に基づいて、前記第1の合成画像または前記第2の合成画像のうちの少なくとも一方をシフトさせることで、前記第1の合成画像と前記第2の合成画像の視差を調整する
ステップを含む処理を実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009294548A JP5287702B2 (ja) | 2009-12-25 | 2009-12-25 | 画像処理装置および方法、並びにプログラム |
US13/201,364 US8687048B2 (en) | 2009-12-25 | 2010-12-17 | Image processing apparatus and method, and program |
EP10839296.0A EP2519009A4 (en) | 2009-12-25 | 2010-12-17 | DEVICE, METHOD AND PROGRAM FOR IMAGE PROCESSING |
CN201080008404.5A CN102326396B (zh) | 2009-12-25 | 2010-12-17 | 图像处理装置和方法 |
RU2011134677/08A RU2517685C2 (ru) | 2009-12-25 | 2010-12-17 | Устройство и способ обработки изображений и программа |
PCT/JP2010/072734 WO2011078066A1 (ja) | 2009-12-25 | 2010-12-17 | 画像処理装置および方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009294548A JP5287702B2 (ja) | 2009-12-25 | 2009-12-25 | 画像処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011135459A true JP2011135459A (ja) | 2011-07-07 |
JP5287702B2 JP5287702B2 (ja) | 2013-09-11 |
Family
ID=44195592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009294548A Expired - Fee Related JP5287702B2 (ja) | 2009-12-25 | 2009-12-25 | 画像処理装置および方法、並びにプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US8687048B2 (ja) |
EP (1) | EP2519009A4 (ja) |
JP (1) | JP5287702B2 (ja) |
CN (1) | CN102326396B (ja) |
RU (1) | RU2517685C2 (ja) |
WO (1) | WO2011078066A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2595393A1 (en) * | 2011-11-15 | 2013-05-22 | ST-Ericsson SA | Rectified stereoscopic 3d panoramic picture |
JP2013131416A (ja) * | 2011-12-22 | 2013-07-04 | Sekisui Chem Co Ltd | 蓄電池の設置構造 |
JP2014127839A (ja) * | 2012-12-26 | 2014-07-07 | Mitsubishi Electric Corp | 画像合成装置、および画像合成方法 |
WO2016048020A1 (ko) * | 2014-09-26 | 2016-03-31 | 삼성전자 주식회사 | 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 |
WO2017111257A1 (ko) * | 2015-12-23 | 2017-06-29 | 한화테크윈 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
WO2021045500A1 (ko) * | 2019-09-03 | 2021-03-11 | 주식회사 코믹스브이 | 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
US9769488B2 (en) * | 2012-02-02 | 2017-09-19 | Sun Patent Trust | Methods and apparatuses for 3D media data generation, encoding, decoding and display using disparity information |
KR101804205B1 (ko) * | 2012-03-15 | 2017-12-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US20130250040A1 (en) * | 2012-03-23 | 2013-09-26 | Broadcom Corporation | Capturing and Displaying Stereoscopic Panoramic Images |
JP6144878B2 (ja) * | 2012-04-27 | 2017-06-07 | キヤノン株式会社 | 画像処理装置およびそれを備える撮像装置、ならびに画像処理方法およびそのプログラム |
US10075728B2 (en) * | 2012-10-01 | 2018-09-11 | Inria Institut National De Recherche En Informatique Et En Automatique | Method and device for motion information prediction refinement |
US9332242B2 (en) * | 2012-11-26 | 2016-05-03 | Gyrus Acmi, Inc. | Dual sensor imaging system |
US10027947B2 (en) * | 2013-06-05 | 2018-07-17 | Sony Corporation | Image processing apparatus and image processing method |
CN105044211A (zh) * | 2015-06-28 | 2015-11-11 | 大连理工大学 | 基于trl相控阵探头的缺陷3d可视化超声检测流程 |
RU2632272C1 (ru) * | 2016-04-04 | 2017-10-03 | Общество С Ограниченной Ответственностью "Яндекс" | Способ создания синтетического изображения |
KR20180070932A (ko) * | 2016-12-19 | 2018-06-27 | 삼성전자주식회사 | 이동체 및 이동체의 제어 방법 |
JP7051570B2 (ja) * | 2018-05-09 | 2022-04-11 | キヤノン株式会社 | 撮像制御装置、撮像制御装置の制御方法およびプログラム |
CN109697957B (zh) * | 2019-01-07 | 2020-11-03 | 京东方科技集团股份有限公司 | 图像像素校正方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06225202A (ja) * | 1993-01-27 | 1994-08-12 | Kyocera Corp | パノラマ電子スチルカメラ |
JPH08322004A (ja) * | 1995-05-24 | 1996-12-03 | Olympus Optical Co Ltd | 立体視ディスプレイ装置 |
JP2003524927A (ja) * | 1998-09-17 | 2003-08-19 | イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム | パノラマ画像および動画を生成し表示するためのシステムおよび方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2097940C1 (ru) * | 1995-04-18 | 1997-11-27 | Акционерное общество закрытого типа "Ракурс-ЗД" | Способ получения и воспроизведения объемного изображения и устройство для его реализации |
US6831677B2 (en) * | 2000-02-24 | 2004-12-14 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair |
RU2202860C2 (ru) * | 2001-06-08 | 2003-04-20 | ЕЖОВ Василий Александрович | Способ и устройство (его варианты) для получения объемного изображения |
EP1489857B1 (en) * | 2002-03-27 | 2011-12-14 | Sanyo Electric Co., Ltd. | 3-dimensional image processing method and device |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
KR100715026B1 (ko) * | 2005-05-26 | 2007-05-09 | 한국과학기술원 | 단일카메라 전방향 양안시 영상 획득 장치 |
-
2009
- 2009-12-25 JP JP2009294548A patent/JP5287702B2/ja not_active Expired - Fee Related
-
2010
- 2010-12-17 US US13/201,364 patent/US8687048B2/en not_active Expired - Fee Related
- 2010-12-17 WO PCT/JP2010/072734 patent/WO2011078066A1/ja active Application Filing
- 2010-12-17 EP EP10839296.0A patent/EP2519009A4/en not_active Withdrawn
- 2010-12-17 RU RU2011134677/08A patent/RU2517685C2/ru not_active IP Right Cessation
- 2010-12-17 CN CN201080008404.5A patent/CN102326396B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06225202A (ja) * | 1993-01-27 | 1994-08-12 | Kyocera Corp | パノラマ電子スチルカメラ |
JPH08322004A (ja) * | 1995-05-24 | 1996-12-03 | Olympus Optical Co Ltd | 立体視ディスプレイ装置 |
JP2003524927A (ja) * | 1998-09-17 | 2003-08-19 | イッサム リサーチ ディベロップメント カンパニー オブ ザ ヘブリュー ユニバーシティ オブ エルサレム | パノラマ画像および動画を生成し表示するためのシステムおよび方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2595393A1 (en) * | 2011-11-15 | 2013-05-22 | ST-Ericsson SA | Rectified stereoscopic 3d panoramic picture |
WO2013072166A1 (en) * | 2011-11-15 | 2013-05-23 | St-Ericsson Sa | Rectified stereoscopic 3d panoramic picture |
US9602708B2 (en) | 2011-11-15 | 2017-03-21 | Optis Circuit Technology, Llc | Rectified stereoscopic 3D panoramic picture |
JP2013131416A (ja) * | 2011-12-22 | 2013-07-04 | Sekisui Chem Co Ltd | 蓄電池の設置構造 |
JP2014127839A (ja) * | 2012-12-26 | 2014-07-07 | Mitsubishi Electric Corp | 画像合成装置、および画像合成方法 |
WO2016048020A1 (ko) * | 2014-09-26 | 2016-03-31 | 삼성전자 주식회사 | 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 |
US10559063B2 (en) | 2014-09-26 | 2020-02-11 | Samsung Electronics Co., Ltd. | Image generating apparatus and method for generation of 3D panorama image |
WO2017111257A1 (ko) * | 2015-12-23 | 2017-06-29 | 한화테크윈 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
WO2021045500A1 (ko) * | 2019-09-03 | 2021-03-11 | 주식회사 코믹스브이 | 2차원 이미지로부터 hmd를 위한 3차원 이미지를 생성하는 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN102326396A (zh) | 2012-01-18 |
RU2517685C2 (ru) | 2014-05-27 |
WO2011078066A1 (ja) | 2011-06-30 |
US8687048B2 (en) | 2014-04-01 |
EP2519009A1 (en) | 2012-10-31 |
EP2519009A4 (en) | 2013-11-13 |
RU2011134677A (ru) | 2013-02-27 |
CN102326396B (zh) | 2014-07-23 |
JP5287702B2 (ja) | 2013-09-11 |
US20120057001A1 (en) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5287702B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP5917017B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP5679978B2 (ja) | 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム | |
US20120154551A1 (en) | Stereo image display system, stereo imaging apparatus and stereo display apparatus | |
US8803947B2 (en) | Apparatus and method for generating extrapolated view | |
US20120242780A1 (en) | Image processing apparatus and method, and program | |
WO2011043248A1 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2010171503A (ja) | 障害物検出表示装置 | |
JP2011082920A (ja) | 画像処理装置および方法、並びにプログラム | |
JPWO2011070774A1 (ja) | 3d映像処理装置および3d映像処理方法 | |
JP5464129B2 (ja) | 画像処理装置および視差情報生成装置 | |
JP5871113B2 (ja) | 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム | |
JP2017525197A (ja) | 立体視ビデオ生成 | |
KR101939243B1 (ko) | 입체 깊이 조정 및 초점 조정 | |
KR101907127B1 (ko) | 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출 | |
JP2007194694A (ja) | 立体映像撮影装置並びにそのプログラム | |
KR20120084638A (ko) | 중간 영상 합성 장치 및 방법 | |
WO2013073369A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法 | |
JP2012060512A (ja) | 多眼撮像装置およびプログラム | |
JP2014022866A (ja) | 画像処理装置および方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130520 |
|
LAPS | Cancellation because of no payment of annual fees |