JP2013093836A - 撮像装置、画像処理装置およびその方法 - Google Patents
撮像装置、画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP2013093836A JP2013093836A JP2012160689A JP2012160689A JP2013093836A JP 2013093836 A JP2013093836 A JP 2013093836A JP 2012160689 A JP2012160689 A JP 2012160689A JP 2012160689 A JP2012160689 A JP 2012160689A JP 2013093836 A JP2013093836 A JP 2013093836A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- parallax
- vertical direction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【解決手段】ステップS801では、表示する視差の関連情報を取得する。ステップS802では、視差関連情報に基づき視差の方向が「横方向のみ」であるか否かを判定する。「横方向のみ」の場合はステップS803へ、そうでない場合はステップS807に進む。ステップS803では、撮像部の配置情報を取得する。次に、ステップS804では、垂直方向の撮像部を選択する。次に、ステップS805では、選択画像を用いてハイダイナミックレンジ(HDR)合成する。
【選択図】図8
Description
図1は、複数の撮像部を備えた多眼方式による多視点撮像装置の一例を示す図である。撮像装置の筐体100は、カラー画像を取得する9個の撮像部101〜109及び撮影ボタン110を備えている。図1に示すように9個の撮像部は、二次元に均等に配置されている。ユーザが撮影ボタン110を押下すると、撮像部101〜109が被写体の光情報をセンサ(撮像素子)で受光し、受光した信号がA/D変換され、複数のカラー画像データ(デジタルデータ)が同時に取得される。
次に、撮像制御部208の詳細について説明する。図4は、撮像制御部208の動作を示すフローチャートである。本実施例では、画像の横方向の視差すなわち水平視差のみの表示方式の場合、各撮像部から取得した画像データのうち、視差にかかわる処理を実行するのは水平方向のみとなる。すなわち、この場合、立体表示するためには垂直視差の計算は不要なので、すべての撮像部から取得した画像データではなく、例えば図1に示す撮像部104、105および106から取得した画像データのみを立体視表示画像を算出する処理に使用すればよい。したがって、通常各撮像部はそれぞれ個別に基準値を設定し制御されるが、本実施例では水平視差のみの表示方式の場合、垂直方向に並んだ撮像部は、視差に関する処理は行わない。
次に、画像処理部212の詳細について説明する。通常、多眼方式の撮像装置で得られた複数の画像データを使用して立体表示の画像処理を行う場合は、垂直、水平を問わず画像間の視差と、それぞれの撮像部の配置情報とを用いて立体表示を行う。本実施例では、特に水平視差のみの表示方式の場合、垂直に並んだ撮像部からの画像データは立体表示処理に使用しないため、別の画像処理に使用して有効活用する。ここで、本実施例では、ハイダイナミックレンジ(HDR)合成処理を実行するが、これに限られず種々の処理を採用することができる。なお、本実施例では、立体表示処理は、垂直方向に並んだ撮像部からの画像の処理、すなわち本実施例ではHDR合成処理の後得られた水平方向の画像データを用いて実行するが、これに限られず任意のタイミングおよび任意の画像データで実行可能である。また、立体表示処理はここでは詳述しないが、本技術分野で知られたいずれの方法も使用することができ、例えば水平方向のいずれか2つの画像の視差から各画素で被写体までの距離を算出することによって立体表示を実行することができる。
実施例1では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。本実施例においては、垂直方向に並んだ撮像部により取得される画像データに立体表示以外の処理を施して、撮影装置のISO感度の数値を高く変更しても、ノイズ量を低減した多視点画像を取得する方法について説明する。
ここでは、撮像制御部208の詳細について説明する。図10は、撮像制御部208の動作を示すフローチャートである。まず、ステップS1001では、撮影条件の基準値を取得する。撮影条件の基準値は、実施例1のステップS401と同一であるため説明を省略する。
図11を参照して、画像処理部212の詳細について説明する。図11は、画像処理部212の動作を示すフローチャートである。まず、ステップS1101では、表示する視差関連情報を取得する。表示する視差関連情報は、実施例1のステップS801と同一であるため説明を省略する。次に、ステップS1102では、視差の方向が「水平方向のみ」であるか否かを判定する。「水平方向のみ」の場合はステップS1103へ、そうでない場合はステップS1109に進む。
実施例1では、垂直方向の撮像装置の露出を変更することにより、ダイナミックレンジの広い多視点画像を取得する方法について説明した。また、立体表示画像を生成する処理については、取得した多視点画像の中から表示装置の表示形式に合わせて適切な画像を選択する方法について説明した。本実施例においては、表示装置の特性、視聴者との位置関係や観察者の視差の大きさに合わせて、多視点画像から補間した仮想的な視点からの画像を生成する方法について説明する。また、水平方向の撮像装置から被写体までの距離マップを算出し、距離マップを用いてHDR合成処理と立体表示処理とを行う方法について説明する。これにより、本技術分野で知られたHDR合成処理や立体表示処理と比較して、処理時間を短縮することができる。
ここでは、画像処理部212の詳細について説明する。図14は、画像処理部212の動作を示すフローチャートである。なお、図8に示した実施例1における画像処理部のフローチャートと処理内容が同じステップに関しては、同じ符号を付与して説明を省略する。
ここでは、図14に示すフローチャートのステップS1401で行う距離マップ算出処理の詳細について説明する。距離マップ算出処理では、位置の異なる複数の撮影画像を基に、撮像したシーンの距離を推定することにより距離マップを算出する。この距離マップ算出処理には公知の方法を用いればよい。例えば、ステレオ法やマルチベースラインステレオ法などが適用可能である。本実施例では、ステレオ法によって距離マップを算出する。以下、図15に示すフローチャートを用いて、距離マップ算出処理の詳細を説明する。
ここでは、図14に示すフローチャートのステップS1402で行うHDR合成処理の詳細について説明する。HDR合成処理では、距離マップを用いて画像位置合わせを行い、トーンマッピングによるHDR合成を行う。以下、図17に示すフローチャートを用いて、HDR合成処理の詳細を説明する。
ここでは、図14に示すフローチャートのステップS1403で行う視点位置の変更処理の詳細について説明する。視点変更処理では、距離マップを用いて視点位置への画像シフト量を算出し、視点位置を変更した画像を合成する。以下、図19に示すフローチャートを用いて、視点変更処理の詳細を説明する。なお、図17に示したHDR合成処理のフローチャートと処理内容が同じステップに関しては、同じ記号を付与して説明を省略する。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
Claims (13)
- 二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段と
を備えたことを特徴とする撮像装置。 - 前記縦方向に構成された撮像手段は、重力センサにより垂直方向に構成されていることが検出された撮像手段であることを特徴とする請求項1に記載の撮像装置。
- 立体視する表示装置の視差関連情報を取得する視差関連情報手段を更に備え、前記撮影条件手段は、視差関連情報により撮影条件を変更するか否かを判定することを特徴とする請求項1又は2に記載の撮像装置。
- 前記視差関連情報は、立体視する表示装置の視差の方向であることを特徴とする請求項3に記載の撮像装置。
- 前記撮影条件手段は、前記撮像手段の露出時間を変更することを特徴とする請求項1ないし4のいずれかに記載の撮像装置。
- 前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを選択画像としてハイダイナミックレンジ(HDR)合成処理することを特徴とする請求項1ないし5のいずれかに記載の撮像装置。
- 前記撮影条件手段は、前記撮像手段のISO感度を変更することを特徴とする請求項1ないし6のいずれかに記載の撮像装置。
- 前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを用いてノイズを低減することを特徴とする請求項1ないし7のいずれかに記載の撮像装置。
- 二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像方法であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報ステップと、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件ステップと、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成ステップと
を備えたことを特徴とする撮像装置。 - 二次元に配置された複数の撮像手段を備えた撮像装置の前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する画像処理装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記画像の横方向の視差による立体表示の場合、前記配置情報に基づいて縦方向に構成された撮像手段のそれぞれの撮影条件を変更する撮影条件手段と、
前記縦方向に構成された撮像装置の各々について、前記変更された撮影条件で撮像された画像に画像処理を施して合成する画像合成手段と
を備えたことを特徴とする画像処理装置。 - 二次元に配置された複数の撮像手段を備え、前記複数の撮像手段で撮像した画像の視差により立体表示画像を生成する撮像装置であって、
前記撮像手段の各々の位置を示す配置情報を取得する配置情報手段と、
前記複数の撮像手段のうち横方向に配置された2つ以上の撮像手段により撮像された画像に基づいて、被写体までの距離を示す距離マップを算出する距離マップ算出手段と、
縦方向に配置された撮像手段の各々について撮影条件を変更し、前記距離マップを用いて画像処理を施して合成する画像合成手段と、
前記距離マップを用いて、予め設定された視差となる前記撮像手段の仮想的な位置を視点として撮像した立体表示の合成画像を生成する視点変更手段と
を備えたことを特徴とする撮像装置。 - 前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを選択画像としてハイダイナミックレンジ(HDR)合成処理することを特徴とする請求項11に記載の撮像装置。
- 前記画像合成手段は、前記縦方向に構成された撮像手段で取得した画像データを用いてノイズを低減することを特徴とする請求項11又は12に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012160689A JP6021489B2 (ja) | 2011-10-03 | 2012-07-19 | 撮像装置、画像処理装置およびその方法 |
US13/613,776 US20130083169A1 (en) | 2011-10-03 | 2012-09-13 | Image capturing apparatus, image processing apparatus, image processing method and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011219388 | 2011-10-03 | ||
JP2011219388 | 2011-10-03 | ||
JP2012160689A JP6021489B2 (ja) | 2011-10-03 | 2012-07-19 | 撮像装置、画像処理装置およびその方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013093836A true JP2013093836A (ja) | 2013-05-16 |
JP2013093836A5 JP2013093836A5 (ja) | 2015-09-03 |
JP6021489B2 JP6021489B2 (ja) | 2016-11-09 |
Family
ID=47992213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012160689A Active JP6021489B2 (ja) | 2011-10-03 | 2012-07-19 | 撮像装置、画像処理装置およびその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130083169A1 (ja) |
JP (1) | JP6021489B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015035799A (ja) * | 2013-07-09 | 2015-02-19 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
WO2018088016A1 (ja) * | 2016-11-08 | 2018-05-17 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム |
JP2022180351A (ja) * | 2013-06-21 | 2022-12-06 | サターン ライセンシング エルエルシー | 受信装置、受信方法、記録媒体および表示装置 |
WO2023062911A1 (ja) * | 2021-10-12 | 2023-04-20 | キヤノン株式会社 | 電子機器、制御方法、プログラム、記憶媒体 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015145977A1 (ja) * | 2014-03-27 | 2017-04-13 | 日本電気株式会社 | 情報処理装置、画像処理方法とプログラム、ならびに、pos端末装置 |
JP7149615B2 (ja) * | 2017-12-05 | 2022-10-07 | 国立大学法人 筑波大学 | 画像表示装置、画像表示方法、及び画像表示システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341518A (ja) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 多視点同時観察型水平配置立体画像表示システム |
JP2002171430A (ja) * | 2000-11-30 | 2002-06-14 | Canon Inc | 複眼撮像系、撮像装置および電子機器 |
JP2002281361A (ja) * | 2001-03-21 | 2002-09-27 | Ricoh Co Ltd | 多眼式カメラ |
JP2008129439A (ja) * | 2006-11-22 | 2008-06-05 | Fujifilm Corp | 複眼撮像装置 |
JP2011151798A (ja) * | 2009-12-24 | 2011-08-04 | Sharp Corp | 多眼撮像装置および多眼撮像方法 |
JP2011182003A (ja) * | 2010-02-26 | 2011-09-15 | Let's Corporation | パノラマカメラ及び360度パノラマ立体映像システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004114224A1 (ja) * | 2003-06-20 | 2004-12-29 | Nippon Telegraph And Telephone Corporation | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP4775052B2 (ja) * | 2006-03-17 | 2011-09-21 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US8724007B2 (en) * | 2008-08-29 | 2014-05-13 | Adobe Systems Incorporated | Metadata-driven method and apparatus for multi-image processing |
US9363428B2 (en) * | 2009-02-17 | 2016-06-07 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP5456020B2 (ja) * | 2009-10-30 | 2014-03-26 | キヤノン株式会社 | 情報処理装置および方法 |
US20110242342A1 (en) * | 2010-04-05 | 2011-10-06 | Qualcomm Incorporated | Combining data from multiple image sensors |
-
2012
- 2012-07-19 JP JP2012160689A patent/JP6021489B2/ja active Active
- 2012-09-13 US US13/613,776 patent/US20130083169A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11341518A (ja) * | 1998-05-26 | 1999-12-10 | Nippon Telegr & Teleph Corp <Ntt> | 多視点同時観察型水平配置立体画像表示システム |
JP2002171430A (ja) * | 2000-11-30 | 2002-06-14 | Canon Inc | 複眼撮像系、撮像装置および電子機器 |
JP2002281361A (ja) * | 2001-03-21 | 2002-09-27 | Ricoh Co Ltd | 多眼式カメラ |
JP2008129439A (ja) * | 2006-11-22 | 2008-06-05 | Fujifilm Corp | 複眼撮像装置 |
JP2011151798A (ja) * | 2009-12-24 | 2011-08-04 | Sharp Corp | 多眼撮像装置および多眼撮像方法 |
JP2011182003A (ja) * | 2010-02-26 | 2011-09-15 | Let's Corporation | パノラマカメラ及び360度パノラマ立体映像システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022180351A (ja) * | 2013-06-21 | 2022-12-06 | サターン ライセンシング エルエルシー | 受信装置、受信方法、記録媒体および表示装置 |
JP2015035799A (ja) * | 2013-07-09 | 2015-02-19 | キヤノン株式会社 | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム |
WO2018088016A1 (ja) * | 2016-11-08 | 2018-05-17 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、撮像システム、及び、画像処理プログラム |
WO2023062911A1 (ja) * | 2021-10-12 | 2023-04-20 | キヤノン株式会社 | 電子機器、制御方法、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20130083169A1 (en) | 2013-04-04 |
JP6021489B2 (ja) | 2016-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102351542B1 (ko) | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JP6100089B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5456020B2 (ja) | 情報処理装置および方法 | |
JP5224124B2 (ja) | 撮像装置 | |
WO2015081870A1 (zh) | 一种图像处理方法、装置及终端 | |
JP6021489B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP5387905B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP4939639B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
EP3664433A1 (en) | Information processing device, information processing method, and program, and interchangeable lens | |
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
JP2015073185A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN103959770A (zh) | 图像处理设备、图像处理方法和程序 | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
JP2010181826A (ja) | 立体画像形成装置 | |
JP5840022B2 (ja) | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 | |
JP2017060010A (ja) | 撮像装置、撮像装置の制御方法、およびプログラム | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
JP2013247543A (ja) | 撮像装置、表示装置、および画像処理方法、並びにプログラム | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161004 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6021489 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |