JP2014090318A

JP2014090318A - 撮像装置およびその制御方法

Info

Publication number: JP2014090318A
Application number: JP2012239217A
Authority: JP
Inventors: Hiroyasu Morita; 浩康森田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2014-05-15

Abstract

【課題】立体視表示が可能な表示部の姿勢を変更できる撮像装置において、表示部の状態や動きに応じて表示方法を変更することにより、視認性を向上させること。
【解決手段】撮像素子２０５は、各マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換する複数の光電変換部を有する。表示制御部２１４は立体視表示用データとして右目用画像データおよび左目用画像データ、または２次元表示用の画像データを表示部２１５に出力する制御を行う。バリアングル検出部２３５は、撮像装置本体に対する表示部２１５の開閉状態、および開閉軸に直交する軸回りの回転状態を検出して検出信号を表示制御部２１４に出力する。表示制御部２１４は表示部２１５の開閉状態および回転状態に応じて、表示部２１５で立体視表示を行うか、または２次元表示を行うかを決定する。
【選択図】図３

Description

本発明は、撮像装置における画像表示制御に関するものである。

近年、３Ｄ（３次元）シネマや、３Ｄディスプレイ等、立体映像関連機器の普及が急速に進んでいる。立体映像を鑑賞する仕組みとしては、対象物を左目で見た像に対応する「左目用画像」と、右目で見た像に対応する「右目用画像」を表示するのが一般的である。視差バリア方式、レンチキュラ方式等では鑑賞対象の映像を視差分割する方法や、左右で特性の異なるフィルタを介して、左目と右目に異なる映像を入射させる方法等が知られている。

一方、立体映像を鑑賞できる画像の撮影方法として、異なる視点での画像を同時に撮影する方法がある。特許文献１では、固体撮像素子において１つの画素部を構成する、マイクロレンズおよび分割された複数のフォトダイオードを有する構成が開示されている。各フォトダイオードが異なる瞳面の光を受光することを利用して、ステレオ画像データを取得できる。つまり、フォトダイオード対の一方の出力から第１の画像信号を得て、他方の出力から第２の画像信号を得た上で、左目用画像と右目用画像の各データが生成される。

また、ユーザが表示部の姿勢変更を行える、いわゆるバリアングルＴＦＴ（薄膜トランジスタ）ディスプレイを備えたカメラが知られている。ユーザは簡単な操作で自分自身を撮影する自分撮りや、ハイアングルまたはローアングルでの撮影が可能である。

特開昭５８−２４１０５号公報

ところで、立体映像の生成時には、左右方向に視差を持たせた画像を、それぞれ対応する目で見せる必要がある。つまり、前記のいずれの方式でも、左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像を画面上に表示させる必要がある。ユーザは立体映像をライブビュー表示で見ながらの撮影することができる。
しかしながら、バリアングルＴＦＴディスプレイの画面上で立体視表示を行う場合、撮影する被写体を確認しにくい状況も起こり得る。例えば、ユーザが自分撮りを行う際、カメラからある程度離れた場合、立体視表示した画像の被写体がぼやけてしまい、構図確認等に支障を来たす可能性がある。

本発明の目的は、立体視表示が可能な表示部の姿勢を変更できる撮像装置において、表示部の状態や動きに応じて表示方法を変更することにより、視認性を向上させることである。

上記課題を解決するために、本発明に係る装置は、撮像素子から取得した画像データを処理して立体視表示用および２次元表示用の画像データを生成する撮像装置であって、姿勢を変更し得る状態で撮像装置に付設された表示手段と、前記表示手段の姿勢を検出する検出手段と、前記検出手段の検出信号を取得して前記表示手段の姿勢を判別して、前記立体視表示用の画像データを前記表示手段に出力し、または前記２次元表示用の画像データを前記表示手段に出力する表示制御手段を備える。

本発明によれば、表示部の状態や動きに応じて表示方法を変更することにより、視認性を向上させることができる。

本発明の第１実施形態における処理例を示すフローチャート図である。本発明の第１実施形態における処理の別例を示すフローチャート図である。本発明の実施形態に係る撮像装置の構成例を示す図である。撮像素子の構成例を概略的に示す図である。撮像素子の画素アレイを概略的に示す図である。撮影レンズの射出瞳からの光束が撮像素子に入射する様子を示す概念図である。表示部の姿勢を（Ａ）ないし（Ｄ）に例示した図である。本発明の第２実施形態における処理例を示すフローチャート図である。本発明の第２実施形態における処理の別例を示すフローチャート図である。

以下に、本発明の各実施形態を添付図面に基づいて詳細に説明する。実施形態に係る撮像装置は、撮像データを処理して立体視表示用および２次元表示用の画像データをそれぞれ生成して表示部の画面に表示することができる。以下、立体視表示を３Ｄ表示と略記し、２次元表示を２Ｄ表示と略記する。
図１および図２のフローチャートを説明する前に、本発明の実施形態に共通する構成について説明する。
図３は、本発明の実施形態に係る撮像装置の概略構成図である。本実施形態の撮像装置は、例えば、デジタルカメラである。装置本体２００はレンズ部を備えるか、または着脱可能なレンズ装置が取り付けられる。

ＣＰＵ（Central Processing Unit）２０９は撮像装置全体を制御する。電源２１０は、装置本体２００内の各回路に電源を供給する。カードスロット２２０には、着脱可能な記録媒体であるメモリカード２２１を差し込むことができる。メモリカード２２１をカードスロット２２０に差し込んだ状態で、メモリカード２２１はカード入出力部２１９と電気的に接続される。なお、本実施形態では記録媒体としてメモリカード２２１を採用しているが、その他の記録媒体、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気ディスク、その他の固体メモリを採用してもよい。

レンズ部を構成するレンズ群のうち、図３にはレンズ２０１，２０２だけを示す。レンズ２０２はフォーカスレンズであり、光軸に沿う方向に進退して焦点調節を行う。レンズ群を介して入射する光に対して、絞り２０３は撮像素子２０５への光量を調節する。レンズ２０１、フォーカスレンズ２０２および絞り２０３は、撮像光学系を構成する。撮像素子２０５、映像信号処理部２０７、フレームメモリ２０８は光電変換系を構成する。この光電変換系は、撮像光学系が形成した被写体像をデジタル画像信号や画像データに変換する。

撮像素子２０５は、撮像光学系が形成した被写体像を光電変換し、画像信号を出力する光電変換手段として機能する。撮像素子２０５は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いた撮像素子である。撮像素子２０５は電子シャッタ機能を有し、露光時間を調整することができる。または、電子シャッタ機能に代えて、機械式シャッタで露光時間を調整する構成でも構わない。撮像素子２０５は各マイクロレンズに対して複数のフォトダイオード（以下、ＰＤと略記する）を配置した構成を有する。第１ＰＤ選択合成部２０６は、複数のＰＤの出力から必要な画像信号を選択する機能と、選択したＰＤによる画像信号を合成して出力する機能を有する。なお、第１ＰＤ選択合成部２０６は撮像素子２０５の外部に設けてもよい。

図４は、本実施形態の撮像装置に適用した撮像素子の構成例を概略的に示す図である。図４（Ａ）は、撮像素子３００の全体構成を示す。撮像素子３００は、画素アレイ３０１と、画素アレイ３０１における行を選択する垂直選択回路３０２と、画素アレイ３０１における列を選択する水平選択回路３０４を含む。読み出し回路３０３は、画素アレイ３０１中の画素部のうち垂直選択回路３０２によって選択される画素部の信号を読み出す。読み出し回路３０３は、信号を蓄積するメモリ、ゲインアンプ、Ａ（Analog）／Ｄ（Digital）変換器等を列毎に有する。

シリアルインタフェース（ＳＩ）部３０５は、各回路の動作モード等を、ＣＰＵ２０９からの指示に従って決定する。垂直選択回路３０２は、画素アレイ３０１の複数の行を順次選択し、読み出し回路３０３に画素信号を取り出す。また水平選択回路３０４は、読み出し回路３０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子２０５には、図４（Ａ）に示す構成要素以外に、例えば、垂直選択回路３０２、水平選択回路３０４、読み出し回路３０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図４（Ｂ）は、撮像素子の画素部の構成例を示す。画素部４００は、光学素子としてのマイクロレンズ４０１と、受光素子としての複数のＰＤ４０２ａ乃至４０２ｉを有する。これらのＰＤは受光した光束を光電変換して画像信号を生成する光電変換部として機能する。なお、図４（Ｂ）に示す例では、１つの画素部が備えるＰＤの数を９個とするが、ＰＤの数は２個以上の任意の数でよい。また、画素部４００は図示の構成要素以外にも、例えば、ＰＤの信号を読み出し回路３０３に読み出すための画素増幅アンプ、行を選択する選択スイッチ、ＰＤの信号をリセットするリセットスイッチ等を備える。

図５は画素アレイを例示する図である。画素アレイ３０１は、２次元画像を提供するため、水平方向にＮ個、垂直方向にＭ個の画素部５００を２次元アレイ状に配列して構成される。各画素部５００はカラーフィルタを有する。例えば、奇数行が、赤（Ｒ）と緑（Ｇ）のカラーフィルタの繰り返しであり、偶数行が、緑（Ｇ）と青（Ｂ）のカラーフィルタの繰り返しである。すなわち、画素アレイ３０１が備える複数の画素部は、予め決められた画素配列（この例ではベイヤー配列）に従って配置されている。

次に、図５に示す画素構成を有する撮像素子の受光について説明する。図６は撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。画素アレイの断面６０１にて各画素部は、マイクロレンズ６０２、カラーフィルタ６０３、ＰＤ６０４および６０５を有する。ＰＤ６０４は図４（Ｂ）中のＰＤ４０２ａに相当する。また、ＰＤ６０５は図４（Ｂ）中のＰＤ４０２ｃに相当する。

図６には撮影レンズの射出瞳６０６と、マイクロレンズ６０２を有する画素部に対して、射出瞳６０６から出た光束の中心を光軸６０９で示す。射出瞳６０６から出た光は、光軸６０９を中心として撮像素子に入射する。射出瞳６０６における一部領域６０７、６０８は、分割された異なる領域である。光線６１０、６１１は、一部領域６０７を通過する光のうちで最外周の光線である。光線６１２、６１３は、一部領域６０８を通過する光のうちで最外周の光線である。射出瞳６０６からの光束のうち、光軸６０９を境にして、図６の上側に示す光束はＰＤ６０５に入射し、下側の光束はＰＤ６０４に入射する。つまり、ＰＤ６０４とＰＤ６０５は、撮影レンズの射出瞳６０６に対する別の領域の光をそれぞれ受光するという特性を有する。この特性を生かして、撮像装置は、視差のある少なくとも２つの画像を取得することができる。例えば、撮像装置は、画素部内の領域において、複数の左側のＰＤから得られるデータを第１ラインとし、複数の右側のＰＤから得られるデータを第２ラインとして、２つの画像を取得することができる。そして、撮像装置は、この２つの画像を利用して位相差の検知を行って位相差ＡＦ（オートフォーカス）を実現することができる。さらに、撮像装置は、上記視差のある２つの画像を左目用画像および右目用画像としてステレオ画像のデータ生成処理を実行し、ステレオ表示装置上に立体感のある画像を表示することができる。

図１に戻って説明を続けると、第１ＰＤ選択合成部２０６は、図４（Ａ）を参照して説明した垂直選択回路３０２、読み出し回路３０３、水平選択回路３０４、ＳＩ部３０５を備える。第１ＰＤ選択合成部２０６は、ＣＰＵ２０９が設定する動作モードに従って動作する。この動作モードは、撮像装置において開始が検知された撮影の種別に応じて設定され、静止画モードと、通常ライブビューモードと、ステレオライブビューモードを含む。静止画モードで第１ＰＤ選択合成部２０６は、全てのＰＤの出力を画像データとして映像信号処理部２０７に出力する。また通常ライブビューモードで第１ＰＤ選択合成部２０６は、画素内の全てのＰＤ（図４（Ｂ）参照）の出力に対して加算平均演算を行って、演算結果をその画素の出力値とする。ステレオライブビューモードの場合、第１ＰＤ選択合成部２０６は、図４（Ｂ）に示すＰＤ４０２ａ、４０２ｄ、４０２ｇの各出力に対応した加算平均値と、ＰＤ４０２ｃ、４０２ｆ、４０２ｉの出力に対応した加算平均値を算出する。これらの加算平均値は当該画素部の出力値となる。このように複数のＰＤの出力を加算合成し、これらの演算結果を１つの画素の出力とすることで、データ量を低減できる。

第１ＰＤ選択合成部２０６は後述の第２ＰＤ選択合成部２５１とともに主要なデータ処理を行う構成要素であり、右目用画像データおよび左目用画像データをそれぞれ生成する処理と、２Ｄ表示用の画像データを生成する処理を行う。以下では、各選択合成部において、右目用画像データの生成に関連する第１モードを「右目選択合成モード」とし、左目用画像データの生成に関連する第２モードを「左目選択合成モード」とする。また、右目用画像または左目用画像に係るデータの選択合成処理に直接関与しない第３モードを「非選択合成モード」とする。第１ＰＤ選択合成部２０６は、右目選択合成モードにて各画素における複数の光電変換部の出力から右目用画像データに係る信号を選択して合成する。また第１ＰＤ選択合成部２０６は、左目選択合成モードにて各画素部における複数の光電変換部の出力から左目用画像データに係る信号を選択して合成する。非選択合成モードでは、第１ＰＤ選択合成部２０６は各画素部の複数の光電変換部の出力を全て取得して映像信号処理部２０７に送る。

ライブビューモードの場合、フレームレートを高くするために、撮像素子２０５から出力するデータ量の低減が更に要求される。そのため、第１ＰＤ選択合成部２０６は、最近接位置での同じカラーフィルタの画素について加算平均演算を行って出力値とする。本実施形態では、ライブビュー時に、水平方向にて３画素の出力について平均し、垂直方向にて３画素毎に１画素を読み出す処理が実行される。これにより、データ量を９分の１に減らすことができる。その場合、使用する画素について図５を参照して具体的に説明する。ここで、図５にて第ｍ行第ｎ列目の画素部を「ｍ−ｎ画素部」と表記する。自然数変数ｍおよびｎの範囲はそれぞれ、Ｍ≧ｍ≧１，Ｎ≧ｎ≧１とする。

水平方向での３画素の出力に係る加算平均演算のために使用するのは、１行目の最初の赤色画素部、つまり１−１画素部、１−３画素部、１−５画素部の各出力である。前述のモードに応じて選択される各画素部の出力に対して、加算平均演算が行われて該当画素に対する値が算出される。次の赤色画素部である、１−７画素部，１−９画素部，１−１１画素部に対して同様に演算処理が実行される。１行目の最初の緑色画素部である、１−２画素部、１−４画素部、１−６画素部に対して同様に演算処理が実行される。垂直方向にて２画素分を間引く処理を行う場合、次の行は４行目となり、最初の緑色画素部である、４−１画素部、４−３画素部、４−５画素部に対して同様に演算処理が実行される。４行目の最初の青色画素部は４−２画素部、４−４画素部、４−６画素部であり、これらの画素に対して同様に演算処理が実行される。

図１の映像信号処理部２０７は、デジタル画像信号にシェーディング補正等のカメラで周知の画像信号処理を施す。映像信号処理部２０７は、撮像素子２０５の特性に起因する画像濃度の非線形性や光源に起因する画像色の偏りを補正する。フレームメモリ２０８は、撮像素子２０５と映像信号処理部２０７によって生成される画像データを一時記憶するバッファメモリとして機能する。フレームメモリ２０８に格納される画像データは補正処理等が施されているが、撮像素子２０５の各画素部に蓄積された電荷のエネルギーをそのままデジタルデータ化にしたものに相当する。以下では、フレームメモリ２０８に格納された画像データをＲＡＷデータと呼ぶ。特に、静止画モードの場合に第１ＰＤ選択合成部２０６で取得したＲＡＷデータを、全ＰＤ−ＲＡＷデータと呼ぶ。また、ステレオライブビューモードの場合に第１ＰＤ選択合成部２０６で取得したＲＡＷデータを、両目用ＲＡＷデータと呼ぶ。両目用ＲＡＷデータについては、フレームレートを高くするために、各画素部内でＰＤの出力に加算平均演算が施されている。一方、全ＰＤ−ＲＡＷデータについては、後工程で各種画像処理にて該データを扱うために、画像データとして極力詳細な情報を得ることを目的としている。そのため、全ＰＤ−ＲＡＷデータは選択処理や合成処理が行われずに、各画素部内の各ＰＤの出力情報に基づくデータが個別にフレームメモリ２０８に格納される。ＲＡＷデータの画像の画質に関するパラメータを撮像パラメータと呼び、絞り２０３の設定値であるＡｖ、シャッタ速度Ｔｖ、ＩＳＯ感度等を含む。

バス２５０には、ＣＰＵ２０９、電源２１０、不揮発性メモリ２１１、現像処理部２１２、ＲＡＭ（Random Access Memory）２１３、表示制御部２１４、メインスイッチ２１６が接続される。ＣＰＵ２０９は撮像素子２０５の画像信号読み出しを制御し、撮像素子２０５からフレームメモリ２０８までの各部の動作タイミングを制御する。また、バス２５０には、ユーザがレリーズボタンにより操作するレリーズスイッチ２１７，２１８が接続されている。以下、第１レリーズスイッチ２１７を第１スイッチ、また第２レリーズスイッチ２１８を第２スイッチと略称する。第１スイッチ２１７の操作によって撮影準備動作が開始し、第２スイッチ２１８の操作により撮影動作が行われる。バス２５０に接続される操作部を構成する操作部材として、左選択ボタン２４０、右選択ボタン２４１、設定ボタン２４２、現像パラメータ変更ボタン２４３、ライブビュー開始／終了ボタン２４４を例示する。バス２５０にはさらに、カード入出力部２１９、第２ＰＤ選択合成部２５１が接続されている。なお、撮像光学系のフォーカスレンズ２０２や絞り２０３等の駆動手段については図示および説明を省略する。

不揮発性メモリ２１１は、メインスイッチ２１６の操作により電源２１０が投入された時にカメラに設定する初期カメラ設定値を記憶している。不揮発性メモリ２１１は、電源２１０が遮断された場合でも記録データが失われないように、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等で構成される。

第２ＰＤ選択合成部２５１は、画素選択合成パラメータの設定に基づいてフレームメモリ２０８上またはＲＡＭ２１３上にあるＲＡＷデータの選択合成に係るデータ処理を行い、処理結果の画像データをＲＡＭ２１３に格納する。画素選択合成パラメータとは、ＲＡＷデータに対してどのＰＤの出力を合成して１つの画素データとするかを決定するためのパラメータであり、第２ＰＤ選択合成部２５１の選択合成処理の内容を規定する情報である。第２ＰＤ選択合成部２５１は、右目選択合成モードと左目選択合成モードを有する。ＣＰＵ２０９が右目選択合成モードを設定した場合、第２ＰＤ選択合成部２５１は、全ＰＤ−ＲＡＷデータまたは両目用ＲＡＷデータから右目用ＲＡＷデータの取得に必要なＰＤの出力を選択して合成処理を行う。またＣＰＵ２０９が左目選択合成モードを設定した場合、第２ＰＤ選択合成部２５１は、全ＰＤ−ＲＡＷデータまたは両目用ＲＡＷデータから左目用ＲＡＷデータの取得に必要なＰＤの出力を選択して合成処理を行う。本実施形態では、ＲＡＷデータについて、フレームメモリ２０８またはＲＡＭ２１３を経由して第２ＰＤ選択合成部２５１や現像処理部２１２へ入力しているが、映像信号処理部２０７からＲＡＷデータを直接入力しても構わない。

現像処理部２１２は、ＣＰＵ２０９が読み出した、フレームメモリ２０８上またはＲＡＭ２１３上にある画素毎に合成されたＲＡＷデータに対して、現像パラメータ設定に基づいて画像処理を施す。現像パラメータとは、デジタル画像データの画質に関するパラメータであり、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度、画像圧縮等に関するパラメータを含む。以下では、１つ以上の現像パラメータを用いてデジタル画像データの画質を調整または変更する処理を現像処理と呼ぶ。現像処理を施された各画像データは、例えば、ＹＵＶ４２２形式やＹＵＶ４１１形式の画像データとして、ＲＡＭ２１３に格納される。また、圧縮処理を含む現像処理が施された画像データは、例えば、ＪＰＥＧ形式の画像データとしてＲＡＭ２１３に格納される。ＪＰＥＧは“Joint Photographic Experts Group”の略号である。ＲＡＭ２１３は、現像処理結果である画像データの他、ＣＰＵ２０９が各種処理を行う際に使用するデータを一時的に記憶する。

表示制御部２１４は、立体視表示が可能な表示部２１５の駆動制御を行う。表示部２１５は、例えば液晶表示素子を有するバリアングルＴＦＴディスプレイであり、ユーザが表示部２１５の姿勢を変更できるようにカメラ本体に取り付けられている。表示制御部２１４は、バリアングル検出部２３５と連携して、表示部２１５の開閉方向やあおり方向の変化を検出して表示制御を行う。開閉方向とは表示部２１５を第１の回転軸を中心として回転させることでカメラ本体から離したり近づけたりする方向である。また、あおり方向とは表示部２１５を第２の回転軸を中心として回転させることで仰角を変更する方向である。バリアングル検出部２３５の検出情報は、表示制御部２１４に出力され、表示部２１５の姿勢に応じて表示制御が行われる。表示制御の詳細については後述するが、検出情報に従って画像データを生成する処理に係る制御は、ＣＰＵ２０９および表示制御部２１４等が行う。

表示制御部２１４は、表示用の画像フォーマットに従って配置されたＲＡＭ２１３上の画像データを表示部２１５へ出力する。以下では表示用の画像フォーマットを配置するＲＡＭ２１３をＶＲＡＭと呼ぶ。３Ｄ表示を行うために、ＶＲＡＭには右目用ＶＲＡＭと左目用ＶＲＡＭがあり、それぞれ右目用画像データと左目用画像データを記憶する。これらの画像データを読み出すことで表示部２１５の画面上にステレオ画像を表示できる。

次に、図７を参照して、表示部２１５のとる姿勢について説明する。図７（Ａ）は表示部２１５を閉じた収容状態を示し、図７（Ｂ）は表示部２１５を開いた状態を示す。図７（Ｃ）は表示部２１５の画面がカメラ本体の正面方向を向いた状態を示し、図７（Ｄ）は表示部２１５の画面がカメラ本体の背面方向を向いた状態を示す。
図７（Ａ）に示す収容状態のカメラ７００は、表示部２１５の画面がカメラ本体の背面を向いて閉じられた状態である。表示部２１５は、ヒンジ部の回転軸Ａを中心として回転可能である。つまり、ユーザは第１の回転軸Ａを中心とする回転操作を行って、表示部２１５の姿勢を変更することができる。表示部２１５の開閉状態は、バリアングル検出部２３５の検出スイッチ７０１が検出する。検出方法としては、磁石を用いた磁気的な検出方法や光学的な検出方法があるが、その如何は問わない。

カメラ７００の状態から表示部２１５をカメラ本体に対して１８０度開くと、図７（Ｂ）に示すカメラ７０２の状態となる。表示部２１５の開き角度の検出情報を所定の閾値と比較することにより、表示部２１５の開閉状態が判別される。なお、節電のために、画像表示状態の表示部２１５が閉じられた際には、自動で画像を消去して表示部２１５への電源供給を停止する処理が実行される。ユーザはカメラ７０２の状態からさらに、第２の回転軸Ｂを中心にして表示部２１５を回転させることで、あおり方向に動かすことができる。回転軸Ｂは図７（Ａ）の回転軸Ａに対して直交する軸である。あおり方向の角度検出は、バリアングル検出部２３５の検出スイッチ７０３が行う。図７では、２種類のスイッチを用いて開閉方向およびあおり方向の姿勢をそれぞれ検出する例を示すが、検出手段の数や検出方法は問わない。カメラ７０２の状態から、ユーザが表示部２１５をあおり方向に回転させると、ハイアングルやローアングルでの撮影が容易になる。

カメラ７０２の状態から表示部２１５をあおり方向に１８０度回転させると、図７（Ｃ）に示すカメラ７０４の状態となり、これは自分撮り等に利用される。ユーザが表示部２１５を、あおり方向に動かした際、表示画像をそのままにしたのでは、画像の向きが上下反転した状態になってしまう。このため、あおり方向の角度が所定の閾値を超えた場合、表示画像の方向を表示部２１５の向きに合わせて変更する処理が行われる。カメラ７０４の状態から表示部２１５をカメラ本体の背面側へ閉じる方向への操作をユーザが行い、該方向へ表示部２１５が１８０度回転した状態を、図７（Ｄ）のカメラ７０５の状態に示す。ユーザは、表示部２１５をカメラ本体の背面に付設した状態で表示画面を視認できる。

ユーザがメインスイッチ２１６をオン状態にすると、ＣＰＵ２０９はメモリから所定のプログラムを読み出して実行する。メインスイッチ２１６がオフ状態になると、所定のプログラムにしたがって撮像装置がスタンバイモードになる。第１スイッチ２１７は、レリーズボタンの第１ストローク（半押し）の操作でオン状態になり、第２スイッチ２１８は、レリーズボタンの第２ストローク（全押し）の操作でオン状態となる。ＣＰＵ２０９は、図３に例示した左選択ボタン２４０、右選択ボタン２４１、設定ボタン２４２の各操作による指示信号と、撮像装置の動作状態に応じて各部を制御する。例えば、撮像装置の動作状態が再生状態であれば、左選択ボタン２４０で以前の画像データを表示し、右選択ボタン２４１で次の画像データを表示する制御が行われる。現像パラメータについては、現像パラメータ変更ボタン２４３でのメニュー操作によりグラフィカルユーザインタフェースで確認および設定を行える。また、ユーザがライブビュー開始／終了ボタン２４４を操作した場合、定期的（例えば１秒に３０回）に撮像素子２０５からＲＡＷデータを取り込み、現像処理してＶＲＡＭへ配置する処理が実行される。これにより、リアルタイムに撮像素子２０５から画像データ取り込んで画像表示を行うことができる。ライブビューの動作中に、ユーザがライブビュー開始／終了ボタン２４４を操作するとライブビューが終了する。

［第１実施形態］
以下、図１、図２を参照して、本発明の第１実施形態における制御について説明する。第１実施形態では、カメラ本体に対する表示部の姿勢（開閉方向やあおり方向の角度変化）に応じた立体画像表示処理について説明する。図１は表示画像データを第１ＰＤ選択合成部２０６で生成する場合を説明するフローチャートである。また図２は表示画像データを第２ＰＤ選択合成部２５１で生成する場合を説明するフローチャートである。

図１のＳ１００でＣＰＵ２０９はライブビューを開始するか否かを判定する。ライブビューの開始および終了はＣＰＵ２０９がライブビュー開始／終了ボタン２４４の操作指示に従って判断する。ライブビューが開始されるまでは待機状態となり、またライブビューが開始すると、Ｓ１０１にて表示部２１５の状態検出が行われる。表示制御部２１４は、バリアングル検出部２３５の検出信号を取得し、Ｓ１０２へ処理を進める。

Ｓ１０２で表示制御部２１４は、現在の表示部２１５の状態を示す検出信号をＣＰＵ２０９に出力し、ＣＰＵ２０９は立体画像データの生成を行うか否かを判定する。表示制御部２１４は検出信号に基づいて表示部２１５が第１の開閉状態であるか、または第２の開閉状態であるかを判別する。第１の開閉状態では３Ｄ表示用の画像データの生成および表示が決定され、第２の開閉状態では２Ｄ表示用の画像データの生成および表示が決定されるものとする。例えば、ユーザが自分撮りを行う場合、表示部２１５の画面が撮影方向を向いた状態であり、これは第２の開閉状態に含まれる。この状態で表示部２１５の画面に立体画像を表示すると、被写体像が見え難くなって視認性が低下してしまう。よって、表示部２１５の画面の向きがカメラの正面方向とほぼ同じ向きであると判断される角度まで開いた場合（図７（Ｃ）のカメラ７０４参照）に、ＣＰＵ２０９はユーザが自分撮りを行っていると判断し、立体画像データの生成処理を行わないように制御する。この場合、Ｓ１０７へ進む。なお、表示部２１５の開閉角度に関しては、検出スイッチ７０１による角度検出値が、予め設定された閾値により定められた範囲内であるか否かについて判定されるものとする。

また、表示制御部２１４は検出信号に基づいて表示部２１５があおり方向にて第１の回転状態であるか、または第２の回転状態であるかを判別する。第１の回転状態では３Ｄ表示用の画像データの生成および表示が決定され、第２の回転状態では２Ｄ表示用の画像データの生成および表示が決定されるものとする。例えば、ユーザがハイアングルまたはローアングルでの撮影を行う場合、表示部２１５の画面に立体画像を表示すると、被写体像が見え難くなって視認性が低下してしまう。よって、ＣＰＵ２０９は、図７の検出スイッチ７０３による角度検出値に基づいて、ユーザがハイアングルまたはローアングルでの撮影を行っているか否かについて判断する。つまり、角度検出値が予め設定された閾値により定められた範囲内であるか否かについて判定され、ハイアングルまたはローアングルでの撮影と判断された場合、立体画像データは生成しないため、Ｓ１０７へ処理を進める。
Ｓ１０７でＣＰＵ２０９は、第１ＰＤ選択合成部２０６を非選択合成モードに設定する。これにより、表示部２１５は通常のライブビュー状態、すなわち３Ｄ表示を行わない状態となる。Ｓ１０８にてライブビュー表示（２Ｄ表示）を行うためにＶＲＡＭデータの生成処理が実行される。ＶＲＡＭの使い方については、右目用ＶＲＡＭと左目用ＶＲＡＭのいずれか一方を利用する方法と、別のＶＲＡＭを利用する方法がある。表示制御部２１４は、生成された画像データを表示部２１５に出力して画像を表示させる。そして、処理を続行するために、処理をＳ１００に戻す。

一方、Ｓ１０２にて、ユーザが、自分撮りまたはハイアングル若しくはローアングルでの撮影を行っていないと判定された場合、立体画像データを生成するために、Ｓ１０３へ進む。Ｓ１０３でＣＰＵ２０９は、第１ＰＤ選択合成部２０６を右目選択合成モードに設定する。次のＳ１０４で右目用ＶＲＡＭデータの生成処理が実行される。Ｓ１０５でＣＰＵ２０９は第１ＰＤ選択合成部２０６を左目選択合成モードに設定し、Ｓ１０６で左目用ＶＲＡＭデータの生成処理が実行される。右目用および左目用の各画像データは表示制御部２１４から表示部２１５に出力され、ライブビュー３Ｄ表示が行われる。その後、Ｓ１００に処理を戻す。

次に、図２のフローチャートに例示する処理を説明する。
Ｓ１０９でＣＰＵ２０９は、ライブビューの開始について判定する。ライブビューを開始させる場合、画像データ生成処理を行うため、Ｓ１１０に進む。またライブビューを開始させない場合、待機状態となる。
Ｓ１１０でＣＰＵ２０９は第１ＰＤ選択合成部２０６を非選択合成モードに設定する。次のＳ１１１では、後工程での画像処理や、ライブビュー画像生成処理のために全ＰＤ―ＲＡＷデータが取得され、該データがＲＡＭ２１３に記憶される。Ｓ１１２でバリアングル検出部２３５の検出信号が表示制御部２１４に出力された後、Ｓ１１３へ進む。
Ｓ１１３ないしＳ１１９の処理は、図１のＳ１０２ないしＳ１０８の処理と同様である。但し、第２ＰＤ選択合成部２５１により表示画像データを生成する点が異なる。

自分撮りまたはハイアングル若しくはローアングルでの撮影と判定され、立体画像データを生成しない場合（Ｓ１１３でＹＥＳ）、Ｓ１１８で第２ＰＤ選択合成部２５１が非選択合成モードに設定される。Ｓ１１９ではＲＡＭ２１３に保持している全ＰＤ−ＲＡＷデータから、ライブビュー２Ｄ表示のためのＶＲＡＭデータが生成される。そして、Ｓ１０９に処理を戻す。
一方、立体画像データを生成する場合（Ｓ１１３でＮＯ）には、Ｓ１１４へ進み、第２ＰＤ選択合成部２５１が右目選択合成モードに設定される。次のＳ１１５で右目用ＶＲＡＭデータの生成処理が実行される。Ｓ１１６で第２ＰＤ選択合成部２５１が左目選択合成モードに設定され、次のＳ１１７で左目用ＶＲＡＭデータの生成処理が実行される。そしてＳ１０９に処理を戻す。

第１実施形態では、カメラ本体に対する表示部の姿勢を検出し、検出結果に応じて立体視表示を行うか否かが判定され、表示方法が変更される。よって、ユーザの撮影操作に適した表示方法を用いることができるため、視認性が向上し、ユーザに快適な操作性を提供できる。

［第２実施形態］
次に本発明の第２実施形態を説明する。なお、第２実施形態にて第１実施形態の場合と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略する。
第１実施形態では、表示部の姿勢を検出し、検出結果に応じて立体視表示を行うかどうかを判断したが、第２実施形態ではさらに、ユーザが表示部の姿勢を変更している状態を検出して表示方法を変更する処理を説明する。これは、表示部の開閉方向またはあおり方向への角度の変更中に表示方法が切り替わると、ユーザの構図確認に支障を与え、また目の疲れを引き起こす可能性があることによる。第２実施形態では、ユーザの操作感を低下させないための表示処理方法について、図８、図９を参照して説明する。

図８は表示画像データを第１ＰＤ選択合成部２０６で生成する場合を説明するフローチャートである。また図９は表示画像データを第２ＰＤ選択合成部２５１で生成する場合を説明するフローチャートである。
図８のＳ８００でＣＰＵ２０９は、ライブビューを開始するか否かを判定する。ライブビューを開始しない場合、待機状態となる。またライブビューを開始する場合、Ｓ８０１に進み、ＣＰＵ２０９はバリアングル検出部２３５の検出情報に基づいて表示部２１５の動き検出を行う。動き検出とは、ユーザが被写体の確認等のために、表示部２１５の角度を開閉方向またはあおり方向へ変更している状態を検出することである。次にＳ８０２へ処理を進め、動き検出の結果、ユーザが表示部２１５を動かして、その角度を変更しているか否かが判定される。表示部２１５の動きが検出された場合、立体画像データの生成は行わないので、Ｓ８０９へ進む。ＣＰＵ２０９は第１ＰＤ選択合成部２０６を非選択合成モードに設定し、次にＳ８１０でライブビュー２Ｄ表示のためにＶＲＡＭデータの生成処理が行われる。そして、Ｓ８００へ処理を戻す。一方、Ｓ８０２で表示部２１５の動きが検出されないと判定された場合には、立体画像データを生成するためにＳ８０３へ進む。Ｓ８０３からＳ８０８の処理は、第１実施形態にて図１のＳ１０１からＳ１０６で説明した処理と同様であるため、説明を省略する。

次に、図９を参照して表示処理について説明する。Ｓ８１１からＳ８１３の処理は、図２のＳ１０９からＳ１１１の処理と同様であり、Ｓ８１６からＳ８２３の処理は、図２のＳ１１２からＳ１１９の処理と同様である。よって、図２と相違するＳ８１４およびＳ８１５の処理を説明する。
Ｓ８１５でＣＰＵ２０９は、表示部２１５の動き検出を行い、次のＳ８１６で表示部２１５の動きがあるか否かを判定する。ユーザが表示部２１５を開閉し、またはあおり方向に動かしていると判定された場合、Ｓ８２２へ処理を進め、この場合、立体画像データの生成は行われない。また、Ｓ８１５で表示部２１５の動きが検出されない場合には、Ｓ８１６に処理を進める。

第２実施形態では、ユーザによって表示部が動かされている間、立体視表示を行わない。つまり、表示部の姿勢変更中に画像表示方法が切り替わらないように防止できるので、ユーザの操作感を低下させずに快適な操作性を提供できる。
なお、前記した各実施形態では、表示部２１５の状態検出や動き検出を行い、立体画像データを表示するか否かの切り換え処理を自動的に行う。この切り換え処理については、ユーザ操作による選択で行ってもよい。例えば、表示部２１５の画面にメニュー等を表示し、ユーザが操作部材（図２：２４０〜２４２参照）で設定してもよいし、あるいはライブビュー表示中に操作部材が操作されたことを示す信号をトリガにして、切り換え処理が行われるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０５撮像素子
２０６第１ＰＤ選択合成部
２１４表示制御部
２１５表示部
２３５バリアングル検出部
２５１第２ＰＤ選択合成部
４００撮像部

Claims

撮像素子から取得した画像データを処理して立体視表示用および２次元表示用の画像データを生成する撮像装置であって、
姿勢を変更し得る状態で撮像装置に付設された表示手段と、
前記表示手段の姿勢を検出する検出手段と、
前記検出手段の検出信号を取得して前記表示手段の姿勢を判別して、前記立体視表示用の画像データを前記表示手段に出力し、または前記２次元表示用の画像データを前記表示手段に出力する表示制御手段を備えることを特徴とする撮像装置。
前記撮像素子は、各マイクロレンズに対して撮像光学系の射出瞳の異なる領域を通過した光束を受光して光電変換する複数の光電変換部を有しており、
前記複数の光電変換部から選択した得た信号により前記立体視表示用の画像データとして右目用画像データおよび左目用画像データをそれぞれ生成して前記表示制御手段に出力する処理と、前記複数の光電変換部の出力する信号から前記２次元表示用の画像データを生成して前記表示制御手段に出力する処理を行うデータ処理手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
前記データ処理手段は、前記複数の光電変換部から選択した複数の信号をそれぞれ加算平均して前記右目用画像データおよび左目用画像データを生成する処理と、前記複数の光電変換部の出力する画素内の信号を全て加算平均して前記２次元表示用の画像データを生成する処理を行うことを特徴とする請求項２に記載の撮像装置。
前記検出手段は前記撮像装置に対して第１の回転軸を中心とする回転操作により変更される前記表示手段の開閉状態を検出し、
前記表示制御手段は、前記検出手段の検出信号を取得して前記表示手段の開閉状態を判別し、前記表示手段が第１の開閉状態である場合、前記立体視表示用の画像データを前記表示手段に出力する制御を行い、前記表示手段が第２の開閉状態である場合、前記２次元表示用の画像データを前記表示手段に出力する制御を行うことを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
前記検出手段は前記撮像装置に対して前記第１の回転軸と直交する第２の回転軸を中心とする回転操作により変更される前記表示手段の回転状態を検出し、
前記表示制御手段は、前記検出手段から検出信号を取得して前記表示手段の回転状態を判別し、前記表示手段が第１の回転状態である場合、前記立体視表示用の画像データを前記表示手段に出力する制御を行い、前記表示手段が第２の回転状態である場合、前記２次元表示用の画像データを前記表示手段に出力する制御を行うことを特徴とする請求項４に記載の撮像装置。
前記表示制御手段は、前記表示手段の画面が撮影方向を向いた状態を含む前記第２の開閉状態である場合、前記２次元表示用の画像データを前記表示手段に出力する制御を行うことを特徴とする請求項４または５に記載の撮像装置。
前記表示制御手段は、前記第２の回転状態として、前記第２の回転軸を中心とする前記表示手段の角度が予め定められた範囲を超える場合、前記２次元表示用の画像データを前記表示手段に出力する制御を行うことを特徴とする請求項５または６に記載の撮像装置。
前記表示制御手段は、前記検出手段の検出信号を取得して前記表示手段の動きを判別し、前記表示手段が動いている状態である場合、前記２次元表示用の画像データを前記表示手段に出力する制御を行うことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
姿勢を変更し得る状態で撮像装置に付設された表示手段を備え、撮像素子から取得した画像データを処理して立体視表示用および２次元表示用の画像データを生成する撮像装置にて実行される制御方法であって、
前記表示手段の姿勢を検出する検出ステップと、
前記検出ステップでの検出結果を取得して前記表示手段の姿勢を判別して、前記立体視表示用の画像データを前記表示手段に出力し、または前記２次元表示用の画像データを前記表示手段に出力する表示制御ステップを有することを特徴とする撮像装置の制御方法。