JP2011091482A - 撮像装置、および画像処理方法、並びにプログラム - Google Patents

撮像装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2011091482A
JP2011091482A JP2009241238A JP2009241238A JP2011091482A JP 2011091482 A JP2011091482 A JP 2011091482A JP 2009241238 A JP2009241238 A JP 2009241238A JP 2009241238 A JP2009241238 A JP 2009241238A JP 2011091482 A JP2011091482 A JP 2011091482A
Authority
JP
Japan
Prior art keywords
display
image
eye
setting information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009241238A
Other languages
English (en)
Other versions
JP2011091482A5 (ja
JP5267421B2 (ja
Inventor
Mitsuru Shibata
満 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009241238A priority Critical patent/JP5267421B2/ja
Priority to EP10178221A priority patent/EP2315453A2/en
Priority to US12/924,576 priority patent/US8890935B2/en
Priority to CN201010510270.9A priority patent/CN102045581B/zh
Publication of JP2011091482A publication Critical patent/JP2011091482A/ja
Publication of JP2011091482A5 publication Critical patent/JP2011091482A5/ja
Application granted granted Critical
Publication of JP5267421B2 publication Critical patent/JP5267421B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】撮像装置に備えられた三次元画像と二次元画像の切り替え表示が可能な表示部の表示制御を自動的に行う装置および方法を提供する。
【解決手段】三次元画像と二次元画像の切り替え表示が可能な表示部を有する撮像装置において、フォーカス制御処理に際して合焦したか否か、またはマニュアルフォーカス制御が開始されたか否かを判定し、合焦した場合、あるいは、マニュアルフォーカス制御が開始された場合に、表示部の表示画像の表示態様を予め設定した設定情報に従って変更する。具体的には、例えば三次元画像表示から二次元画像表示に変更する処理を行う。この処理により、合焦確認を確実に行うことができる。
【選択図】図16

Description

本発明は、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、撮像装置の表示部(モニタ)などに表示する画像を装置状態に応じて立体画像(3D画像)と平面画像(2D画像)を切り替えて表示する撮像装置、および画像処理方法、並びにプログラムに関する。
近年、三次元画像である立体画像(3D画像)を表示可能とする複数視点の画像を撮影する撮像装置(カメラ)が開発されている。このような撮像装置は、例えば左目用画像と右目用画像の異なる視点からの画像を撮影する。さらに、撮像装置に備えられた表示部であるモニタ部に三次元画像を表示可能とした装置についても提案されている。
例えば、特許文献1(特許第3935812号公報)や、特許文献2(特開2001−251403号公報)には、裸眼で立体画像(3D画像)を表示可能とした表示部構成の記載がある。これら特許文献にも記載されているように、偏光板やレンチキュラーレンズを備えた表示構成や、イメージスプリッタ方式を用いた表示構成を用いることで、裸眼で立体画像が観察可能となることが知られている。
さらに、特許文献1は、ユーザの操作可能なキーをユーザが操作することで、表示部の表示画像を、立体画像(3D画像)の表示と、平面画像(2D画像)の表示とを自在に切り替える構成について開示している。
また、特許文献2は、ユーザの操作可能なスライドスイッチをユーザが操作することで、表示部の表示画像の位置を変更して三次元画像表示(立体表示)の立体感を変更する構成を開示している。
このように、1つの表示部を利用して二次元画像と三次元画像を切り替え表示可能とした構成については様々な提案がなされている。
しかし、上述の特許文献1、特許文献2に記載の構成では、ユーザの操作がなければ、表示部の表示画像の態様を変更することができないという問題がある。すなわち、表示部の表示画像が三次元画像である場合、これを、二次元画像とするためには、ユーザが装置に備えられたスイッチなどの入力部を操作することが必要となる。二次元画像を三次元画像に変更する場合も同様にユーザ操作が必要となる。
しかし、例えばフォーカス調整を行う場合、モニタに表示される画像を観察しながら、フォーカスがあっているか否かを確認する場合があるが、この場合、モニタ表示画像が立体画像(3D画像)である場合、フォーカスがあっていることを確認することが困難となることがある。
特許第3935812号公報 特開2001−251403号公報
本発明は、例えば、上述の問題点に鑑みてなされたものであり、表示部を備えた装置の状態に応じて、立体画像(3D画像)と平面画像(2D画像)を自動的に切り替え表示することを可能とした撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本発明の一実施例では、例えば合焦時や、マニュアルフォーカス調整時にはモニタ表示画像を自動的に平面画像(2D)に切り替えることにより、フォーカス調整を行いやすくする撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本発明の第1の側面は、
三次元画像と二次元画像を切り替え表示可能な表示部と、
前記表示部に対する画像表示制御を実行する制御部を有し、
前記制御部は、
フォーカス制御処理の実行時に、前記表示部の表示画像の表示態様を予め設定した設定情報に従って、三次元画像表示から二次元画像表示に変更する処理を行う撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、フォーカス制御処理の実行時において、合焦したとの判定に従って、前記表示部の表示画像の表示態様を前記設定情報に従って変更する処理を行う。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、フォーカス制御処理の実行時において、マニュアルフォーカス制御が開始されたとの判定に従って、前記表示部の表示画像の表示態様を前記設定情報に従って変更する処理を行う。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、前記設定情報として、三次元画像表示の設定と、二次元画像表示の設定が可能な構成であり、前記制御部は、前記設定情報として二次元画像表示の設定がなされている場合、フォーカス制御処理の実行時に、前記表示部の表示画像の表示を三次元画像表示から二次元画像表示に切り替える処理を行う。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記表示部に二次元画像を表示する場合、予め設定した設定情報に含まれる利き目情報に従って、左目用画像または右目用画像から利き目に対応する画像を選択して表示する。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、前記設定情報として、三次元画像表示の設定と、二次元画像表示の設定と、左目用画像と右目用画像の交互表示の設定が可能であり、前記制御部は、前記設定情報として交互表示の設定がなされている場合、フォーカス制御処理の実行時に、前記表示部の表示画像の表示を三次元画像表示から交互表示に切り替える処理を行う。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、二次元画像の表示が可能なビューファインダを有し、前記制御部は、前記ビューファインダに対する画像表示を実行する場合に、前記設定情報に従って、利き目対応画像の二次元画像表示、または左目用画像と右目用画像の交互表示を実行する。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記ビューファインダを覗き込むユーザの顔の位置を検出するセンサを有し、前記制御部は、前記センサの検出情報に基づいて、ユーザの利き目が左目であるか右目であるかを判定し、判定した利き目情報を前記設定情報として登録する。
さらに、本発明の第2の側面は、
撮像装置において表示部に対する表示制御を実行する画像処理方法であり、
前記撮像装置は、三次元画像と二次元画像を切り替え表示可能な表示部を有し、
制御部が、フォーカス制御処理に際して合焦したか否か、またはマニュアルフォーカス制御が開始されたか否かを判定するステップと、
前記制御部が、合焦またはマニュアルフォーカス制御の開始を確認した場合、前記表示部の表示画像の表示態様を予め設定した設定情報に従って、三次元画像表示から二次元画像表示に変更する処理を行う表示変更ステップと、
を実行する画像処理方法にある。
さらに、本発明の第3の側面は、
撮像装置において表示部に対する表示制御を実行させるプログラムであり、
前記撮像装置は、三次元画像と二次元画像を切り替え表示可能な表示部を有し、
制御部に、フォーカス制御処理に際して合焦したか否か、またはマニュアルフォーカス制御が開始されたか否かを判定させるステップと、
前記制御部に、合焦またはマニュアルフォーカス制御の開始の確認に応じて、前記表示部の表示画像の表示態様を予め設定した設定情報に従って、三次元画像表示から二次元画像表示に変更する処理を行わせる表示変更ステップと、
を実行させるプログラムにある。
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、三次元画像と二次元画像の切り替え表示が可能な表示部を有する撮像装置において、フォーカス制御処理に際して合焦したか否か、またはマニュアルフォーカス制御が開始されたか否かを判定し、合焦した場合、あるいは、マニュアルフォーカス制御が開始された場合に、表示部の表示画像の表示態様を予め設定した設定情報に従って変更する。具体的には、例えば三次元画像表示から二次元画像表示に変更する処理を行う。この処理により、合焦の確認をより確実に行うことができる。
本発明の一実施例に係る撮像装置の外観構成例について説明する図である。 本発明の一実施例に係る撮像装置の複数の異なる視点からの画像撮影処理構成について説明する図である。 本発明の一実施例に係る撮像装置の表示部(モニタ)とEVFに対する表示処理例について説明する図である。 本発明の一実施例に係る撮像装置のハードウェア構成例について説明する図である。 本発明の一実施例に係る撮像装置の利き目検出用センサの構成および処理例について説明する図である。 本発明の一実施例に係る撮像装置のRAMに対する画像データの格納例について説明する図である。 本発明の一実施例に係る撮像装置の表示部(モニタ)とEVFに対する表示処理例について説明する図である。 本発明の一実施例に係る撮像装置の表示部(モニタ)に対するメニューおよびOSD情報の表示処理例について説明する図である。 本発明の一実施例に係る撮像装置において実行する表示設定処理の全体シーケンスを示すフローチャートを示す図である。 本発明の一実施例に係る撮像装置において実行する表示設定処理に際して表示部に表示するメニューについて説明する図である。 本発明の一実施例に係る撮像装置において実行する表示設定処理のシーケンスを示すフローチャートを示す図である。 本発明の一実施例に係る撮像装置において実行する表示設定処理においてRAMに記録される設定情報の例について説明する図である。 本発明の一実施例に係る撮像装置において実行する処理の全体シーケンスを示すフローチャートを示す図である。 本発明の一実施例に係る撮像装置において実行する再生モード処理のシーケンスを示すフローチャートを示す図である。 本発明の一実施例に係る撮像装置において実行する撮影モード処理のシーケンスを示すフローチャートを示す図である。 本発明の一実施例に係る撮像装置において実行する合焦時の表示処理シーケンスを示すフローチャートを示す図である。 本発明の一実施例に係る撮像装置において実行するマニュアルフォーカス調整処理時の表示処理シーケンスを示すフローチャートを示す図である。 本発明の一実施例に係る撮像装置において実行するEVF表示処理のシーケンスを示すフローチャートを示す図である。
以下、図面を参照しながら、本発明の撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
1.撮像装置の構成例について
2.撮像装置の表示態様設定処理について
3.撮像装置の実行する撮影および再生処理の具体例について
[1.撮像装置の構成例について]
まず、本発明の撮像装置の構成例について図1以下を参照して説明する。
図1は、本発明の撮像装置10の外観を示す図である。図1(a)は、撮像装置10の正面図、(b)は背面図である。本発明の撮像装置10は、三次元画像である立体画像(3D画像)の表示を行うための画像を撮影可能な構成を持つ。すなわち、異なる視点からの複数画像を撮影する。図1(a)に示すように、2つのレンズ12,13がそれぞれ左右視点の画像を撮り込む。
三次元画像撮影モードにおいて、ユーザがシャッター11を押下することで、2つのレンズ12,13を介して、2つの異なる視点からの画像が撮影される。撮影画像は、撮像装置内部のメモリに記録され、これらの2つの異なる視点からの画像を利用した三次元画像、すなわち立体画像(3D画像)の表示が行われる。
図1(b)の背面図に示すように、撮像装置10の背面には撮像装置のレンズ12,13を介して取得される画像の表示を行う表示部(モニタ)21が設けられている。表示部21には、ユーザ操作によって、レンズ12,13を介した画像であるプレビュー画の表示のみならず、メモリに記録された撮影済み画像の表示や、操作用のメニューやマニュアルの表示などにも利用される。
撮像装置10の背面には、さらに、撮影時に覗き込むビューファインダであるEVF(Electronic view finder)22が設けられている。ユーザは、撮影アングルなどを決定する際、表示部(モニタ)21、あるいはEVF22のいずれかを選択的に利用して、被写体像を確認してシャッター11を操作して撮影を行う。
なお、図1に示す例では、離間した位置の2つのレンズ12,13を有する構成例を示したが、1つのレンズのみでも、2つの異なる視点からの画像を撮影することは可能である。図2を参照してこのような装置例について説明する。
図2(1)は、図1を参照して説明した2つのレンズを有する構成例である。矢印31,32で示す2つの異なる視点からの入力被写体像を撮影する。結果として、2つの異なる視点からの画像を含む撮影画像35を得ることができる。
一方、図2(2)は、1つのレンズの前方にステレオアダプタ40を装着した構成を示している。ステレオアダプタ40の内部には複数の反射板(鏡)が設けられている。矢印41,42で示す2つの異なる視点からの入力被写体像をステレオアダプタ40内部の反射板(鏡)によって反射して1つのレンズを介して撮り込む。この結果、2つの異なる視点からの画像を含む撮影画像45を得ることができる。このように、立体画像を撮影可能な撮像装置は様々な構成が可能であり、本発明の撮像装置としてはこのような様々なタイプの装置が適用可能である。
図1(b)を参照して説明したように、撮像装置10の背面には表示部(モニタ)21が設けられている。表示部21には、プレビュー画像、メモリに記録された撮影済み画像、さらにユーザ操作用のメニューなどが表示される。
また、撮像装置10の背面には撮影時に覗き込むビューファインダであるEVF(Electronic view finder)22が設けられている。
図3に示すように、表示部(モニタ)21は、三次元画像である立体画像(3D画像)と、二次元画像である平面画像(2D画像)のいずれの表示も可能な構成を持つ。3D/2D切り替え表示処理については後段で詳細に説明する。EVF22は二次元画像である平面画像(2D画像)の表示が可能な構成を持つ。表示部(モニタ)21は、例えば偏光板やレンチキュラー(プリズムシート)を備えた表示構成や、イメージスプリッタなどの視差バリアを用いた表示構成を有し、立体画像(3D画像)の表示の際には、裸眼で立体画像を観察可能となる。
次に、図4を参照して本発明の撮像装置10の内部構成例について説明する。本発明の撮像装置は、被写体像を入力するレンズ部111、レンズ部介して入力する光信号を電気信号に変換する撮像素子を有する光電変換部112、光電変換部112の生成する電気信号を入力して信号処理を実行する信号処理部113を有する。なお、レンズ部111は、図1、図2を参照して説明したように、複数のレンズによる構成、あるいは1つのレンズによる構成のいずれでもよいが、複数の視点からの画像を撮り込むことが可能な構成を持つ。
信号処理部113では、例えばホワイトバランス調整処理、γ補正処理、補間処理等の様々な信号処理が実行される。信号処理部113の処理結果に基づいて制御部117は、例えばMp(multi picture)フォーマットに従って左目用画像、右目用画像の順で記録したMpファイルを生成し、DCF(design rule for camera file system)に従った立体画像表示用データを生成する。
信号処理部113の処理結果としての画像が表示部(モニタ)121、EVF(Electronic view finder)122に表示される。また、撮影時には、その画像が記憶部115や外部メモリ116に格納される。なお、画像データの保存方法はmpフォーマットをサポートしていない機器のために、exif(exchangeable image file format)のmaker noteを使用した立体画像の独自形式でも良く、様々な方式が適用可能である。
操作部114は、シャッター131、EVF切り替え部132、フォーカス調整部133、モード/表示設定部134を有する。なお、この他にも様々な操作部が存在する。シャッター131の操作により画像の撮影が行われる。EVF切り替え部132は、ビューファインダであるEVF122に対する画像表示のON/OFFスイッチである。なお、EVF122に対する画像表示を行う場合は、表示部(モニタ)121の表示を消す処理を併せて実行してもよい。フォーカス調整部133はユーザ操作によるフォーカス調整部である。マニュアルフォーカス調整を行う場合に利用される。なお、撮像装置10は、AE(自動露出調整)、AF(自動フォーカス調整)機能を有しており、これらのオート調整機能を利用した画像撮影も可能であり、またマニュアル調整による撮影も可能である。
モード/表示設定部134は、例えば、三次元画像の撮影モードと二次元画像の撮影モードの切り替え、さらに屋外、室内、夜景など様々な撮影モードの切り替え、さらに、表示部(モニタ)121やEVF122に対する画像表示の態様を設定するための操作部である。上述したAE,AF機能を利用したオート撮影モードやマニュアルモードの切り替えなどの設定にも利用される。
制御部(CPU)117は、撮像装置による撮影処理、表示部(モニタ)121やEVF122に対する画像表示処理など、撮像装置において実行する処理の制御を実行する。なお、制御に必要なプログラムは、例えばROM118に格納されており、制御部(CPU)117はプログラムに従って各種の処理を実行する。
RAM119は、制御部(CPU)117における処理のワークエリアとして利用され、さらに、様々な設定情報の記憶領域としても利用される。また、画像や各種データの一時的な記憶領域として利用される。制御部(CPU)117がROM118に格納されたプログラムを実行する場合、そのプログラムをRAM119上に展開してプログラムに従った処理を行う。
表示部(モニタ)121は、図1に示す表示部(モニタ)21に対応する。例えば液晶表示装置によって構成される。表示部(モニタ)121には、レンズ部111を介して取得される画像(プレビュー画像)が表示される。さらに、記憶部115や外部メモリ116から読み出された撮影済みの画像の表示にも利用される。さらに、メニュー画面、操作画面などの表示もなされる。表示部(モニタ)121は、例えばタッチパネル機能を有した構成としてユーザ入力部として機能する構成としてもよい。
表示部(モニタ)121は、立体画像(3D画像)と平面画像(2D画像)の切り替え表示が可能な構成を持つ表示部である。前述したように例えば偏光板やレンチキュラー(プリズムシート)を備えた表示構成や、イメージスプリッタなどの視差バリアを用いた表示構成を有し、裸眼で立体画像を観察可能な表示部として構成される。
表示部(モニタ)121の立体画像(3D画像)と平面画像(2D画像)の表示の切り替えは、制御部117の制御により、撮像装置の状態に応じて自動的に行われる。この処理の詳細については後段で説明する。
EVF122は、図1に示すEVF22に対応する。例えば液晶表示装置によって構成される。EVF切り替え部132を操作することで、EVF122に、レンズ部111を介して取得される画像(プレビュー画像)が表示される。
前述したようにユーザは、撮影アングルなどを決定する際、表示部(モニタ)121、あるいはビューファインダであるEVF122のいずれかを選択的に利用して、被写体像を確認して撮影を行うことができる。
電源123は、撮像装置に対する電力供給部であり、例えばバッテリーが装着される。
センサ124はEVF122を覗き込むユーザの目あるいは顔の位置を判別してユーザの利き目が左目であるか右目であるかを判別する処理を行うセンサである。制御部117は、センサ122からの検出情報を入力してEVF22を覗き込む目を判定し、その目を利き目であると判定する。
センサ124の一構成例について図5を参照して説明する。センサ124は、図5に示すように例えば撮像装置の左右の両端部に設けた光センサによって構成される。図5に示すセンサL151、センサR152である。
図5(A)に示すように、ユーザが右目でEVF122を覗き込む場合、センサL151、センサR152は顔領域201によって覆い隠される。一方、図5(B)に示すように、ユーザが左目でEVF122を覗き込む場合、センサR152のみが顔領域201によって覆い隠される。顔領域201はユーザの後頭部を示している。
センサL151、センサR152により、この2つの状態を判別することで、ユーザがどちらの目でEVF122を覗き込んでいるかを判別する。センサ検出情報は、制御部117に入力され、予め設定されたプログラムに従ってセンサ検出情報に従って、EVF122を覗き込んでいる目が左目であるか右目であるかを判定し、その目を利き目であると判定する。なお、図5に示す例は、センサの一構成例であり、その他の構成を利用してもよい。
前述したように、表示部(モニタ)121は、立体画像(3D画像)と平面画像(2D画像)の切り替え表示が可能な構成を持つ表示部である。表示部121は、偏光板やレンチキュラー(プリズムシート)を備えた表示構成や、イメージスプリッタなどの視差バリアを用いた表示構成を有する。表示部(モニタ)121に対する立体画像(3D画像)の表示が行われる場合、表示部(モニタ)121には左目用画像(L画像)と、右目用画像(R画像)の2つの画像を利用した表示処理を実行する。ユーザは両眼で表示部(モニタ)121を観察するが、ユーザの左目には左目用画像(L画像)のみが観察され、ユーザの右目には右目用画像(R画像)のみが観察されるような表示処理が行われる。この処理により、ユーザは画像を立体画像(3D画像)として観察することになる。
表示部(モニタ)121に対する平面画像(2D画像)の表示が行われる場合、表示部(モニタ)121には、R画像またはL画像いずれか一方の画像が供給される。この場合、ユーザは平面的な平面画像(2D画像)を観察する。
なお、ビューファインダであるEVF122は片目のみで覗き込む構成であり、立体画像の表示は行われない。EVF122にはR画像またはL画像いずれか一方の画像が供給される。この場合、ユーザは平面的な平面画像(2D画像)を観察する。
このような画像の選択的供給構成について、図6、図7を参照して説明する。表示部(モニタ)121、およびEVF122に表示されるデータは、例えば、レンズ部111を介して取得される画像データ(プレビュー画像)、あるいは、記憶部115、外部メモリ116に格納された撮影済み画像データや、メニューデータ等である。なおメニューデータ等はROM118から読み出される場合もある。
これらの表示制御は、制御部111によって実行される。表示部(モニタ)121またはEVF122に対して画像を表示する場合、図6に示すように表示予定の画像データは、RAM119に一時的に保持(バッファ)される。その後、RAM119から、表示部(モニタ)121またはEVF122に画像データが供給される。
表示部(モニタ)121に立体画像(3D画像)表示を行う場合、図6のRAM119(a)に示すように、RAM119はL画像バッファ、R画像バッファの2つの領域に分割され、それぞれに左目用画像(L画像)と、右目用画像(R画像)を納する。これらの2つの画像が表示部(モニタ)121に供給されて立体画像(3D画像)表示が行われる。
一方、表示部(モニタ)121に平面画像(2D画像)表示を行う場合、図6のRAM119(b)に示すように、RAM119はL画像またはR画像のいずれか一方の画像を格納する単一画像バッファとして設定される。この1つの画像が表示部(モニタ)121に供給されて平面画像(2D画像)表示が実行される。
ビューファインダであるEVF122は片目のみで覗き込む構成であり、立体画像の表示は行われない。従って、EVF122に対する画像表示を行う場合は、図6のRAM119(b)に示すように、RAM119はL画像またはR画像のいずれか一方の画像を格納する単一画像バッファとして設定される。この1つの画像がEVF122に供給されて平面画像(2D画像)表示が実行される。
図7を参照して、表示部(モニタ)121とEVF122に対する表示処理を行う場合のRAMの利用例について説明する。
図7には、
(a)表示部(モニタ)に対する表示処理
(b)EVFに対する表示処理
これらの表示処理を行う場合のデータの流れを示している。
まず、図7(a)表示部(モニタ)に対する表示処理について説明する。
図7(a)に示すシーケンスは、表示部(モニタ)に対する立体画像(3D画像)の表示処理シーケンスを示している。
表示部(モニタ)に表示するデータ中、立体画像(3D画像)の表示対象となるデータは、レンズ部を介して取得する画像(プレビュー画像)、または撮影済みの記憶部に格納された画像、またはROMを含む記憶部に格納されたメニュー画像である。
図7(a)に示す最上段のデータは、立体画像(3D画像)の表示対象となるデータを示している。これらには、図に示すように、左目視点撮影画像、右目視点撮影画像、さらにメニュー用画像データが含まれる。本発明の撮像装置は、メニュー表示も立体画像(3D画像)として表示可能な設定である。
メニューの立体表示処理例について図8を参照して説明する。具体的には、図8に示すように、表示部(モニタ)に表示するメニューやOSD(On Screen Display)情報について立体表示を行う。図8(a)に示すように例えばユーザの選択したメニューデータや、図8(b)に示すように特定のOSD情報を他のデータより前方に見えるような表示を行う。この表示は、通常の立体画像表示と同様、左目用データと、右目用データ、例えば左目用メニュー画像データと右目用メニュー画像データを利用して行う。
撮像装置のROMまたは記憶部には、左目用メニュー画像データと右目用メニュー画像データ、さらに左目用OSD情報画像データと右目用OSD情報画像データなど立体表示用の画像データが予め記録されている。例えば図8(a)に示すような立体表示を行う場合には、左目用メニュー画像データと右目用メニュー画像データを利用した表示処理を行う。
図7に戻り、図7(a)表示部(モニタ)に対する表示処理についての説明を続ける。図7(a)の最上段に示す表示用データは、RAM119に供給される。立体画像表示を行う場合、RAM119は、図6を参照して説明したように、L画像バッファ、R画像バッファに区分される。
立体画像表示を行う場合、RAM119のL画像バッファには、左目視点撮影画像に基づいて生成される3D表示対応左目用画像が格納され、RAM119のR画像バッファには、右目視点撮影画像に基づいて生成される3D表示対応右目用画像が格納される。これらのRAM119に格納された3D表示対応左目用画像と、3D表示対応右目用画像が表示部(モニタ)に表示され、立体画像(3D画像)の表示処理が行われる。
また、図8に示すような立体画像としたメニュー表示を行う場合は、RAM119のL画像バッファには、3D表示対応左目用メニュー画像を格納し、RAM119のR画像バッファには、3D表示対応右目用メニュー画像を格納する。これらの画像は、予め撮像装置のROMまたは記憶部に格納されたデータである。
これらのRAM119に格納された3D表示対応左目用メニュー画像と、3D表示対応右目用メニュー画像が表示部(モニタ)に表示され、立体画像(3D画像)としてのメニュー表示処理が行われる。
一方、図7(b)は、EVFに対する表示処理について説明する図である。EVFは片目でのみ観察する構造であるので立体画像表示は行われない。この場合、RAM119は、先に図6を参照して説明したようにL画像またはR画像のいずれか一方の画像を格納する単一画像バッファとして設定される。この1つの画像がEVFに供給され平面画像(2D画像)表示が実行される。
図7(b)の最上段に示すデータは、図7(a)に示すと同様のデータである。図7(b)に示す例は、画像表示を行う場合右目視点撮影画像のみを利用した例である。RAM119の単一画像バッファには、右目視点撮影画像に基づいて生成される右目用画像を格納する。このRAM119に格納された右目用画像がEVFに提供され、平面画像(2D画像)の表示処理が行われる。
また、メニュー表示を行う場合は、RAM119の単一画像バッファには、右目用メニュー画像を格納する。この画像がEVFに提供され、平面画像(2D画像)としてのメニュー表示処理が行われる。
なお、図7(b)に示す例は、画像、メニューとも右目用データを用いた処理例であるが、左目用データを用いた処理としてもよい。また、ユーザの利き目情報に基づいて利き目に対応するデータを用いた処理を実行してもよい。
また、図7(b)に示す例は、EVFに対する平面画像の表示処理例であるが、表示部(モニタ)に対する平面画像の表示を行う場合は、図7(b)に最下段に示すEVFを表示部(モニタ)として、図7(b)に示す処理が行われる。
[2.撮像装置の表示態様設定処理について]
上述したように、本発明の撮像装置は、
表示部(モニタ)に対しては、立体画像(3D画像)と平面画像(2D画像)の切り替え表示を行い、EVFには平面画像(2D画像)表示を行う。
なお、平面表示(2D表示)には、図7(b)を参照して説明したように、L画像、またはR画像のみを継続的に表示する手法の他、L画像とR画像を例えば数秒間隔で交互に表示する態様がある。交互表示はフリップ(flip)表示とも呼ばれる。交互表示は、例えば左視点画像と右視点画像を個別に確認したい場合などに利用される。
表示部(モニタ)およびEVFに対する画像表示をどのような表示態様で実行するかについては、予めユーザが設定することができる。以下では、この表示態様設定処理について説明する。
図9は、表示設定処理の全体シーケンスを示すフローチャートである。なお、以下において説明するフローチャートに従った処理は、予めROM等に記録されたプログラムに従って制御部117の制御の下に実行される処理である。
図9に示すフローの各ステップの処理について説明する。
まず、ステップS101において、表示設定キー操作の有無を判定する。これは、例えば図4に示すモード/表示設定部134のキー操作が行われたか否かの検出処理である。表示設定キーの操作が行われると、ステップS102に進み、表示設定処理を実行する。この表示設定処理の詳細については、後段で図11を参照して説明する。なお、ステップS102の表示設定処理に際しては、表示部に様々な設定メニュー(図10参照)が表示され、メニューを利用した処理が実行される。
ステップS101において、表示設定キーの操作が無いと判定した場合、および、ステップS102の表示設定処理が完了した場合は、ステップS103に進む。ステップS103では、EVF表示要求の有無を判定する。これは、例えば図4に示すEVF切り替え部132に対するユーザ操作情報の検出処理として行われる。あるいは図4に示すセンサ124の検出情報に基づいてユーザがEVFを覗き込んでいるか否かの判定処理に基づいて実行してもよい。例えば図5を参照して説明したセンサの検出情報に基づいてユーザがEVFを覗き込んでいることが確認された場合は、EVF表示要求有りと判定する。ユーザがEVFを覗き込んでいることが確認されない場合は、EVF表示要求無しと判定する。
ステップS103の判定がYes、すなわち、EVF表示要求が有ると判定した場合は、ステップS104に進み、EVF表示処理を実行する。この場合、表示部(モニタ)の表示は停止してもよい。ステップS103の判定がNo、すなわち、EVF表示要求がない場合は処理を終了する。なお、EVF表示処理が実行されていない期間は、表示部(モニタ)に対する表示処理が実行される。表示されるデータは、例えばレンズを介して取得される画像(プレビュー画像)や、ユーザ操作に応じて表示されるメニュー画面等である。
次に、ステップS102の表示設定処理の詳細について図10、図11を参照して説明する。
図10は、表示設定処理に際して利用されるメニュー画面を示している。これらのメニュー画面が表示部(モニタ)に表示され、モード/表示設定部134のユーザ操作により、設定が決定される。
図10(a)設定メニュー1は、[利き目設定メニュー]である。
これは、ユーザが利き目情報を入力するためのメニューである。ユーザは「右」、あるいは「左」の利き目情報を入力する。なお、先に図5を参照して説明したように、EVFの覗き込み時のセンサ検出により、ユーザの利き目を判定することも可能であり、ユーザによる入力設定の代わりにセンサ検出情報を用いて利き目を判定して、その判定情報に基づいて設定を行ってもよい。
図10(b)設定メニュー2は、[合焦時表示設定メニュー]である。
これは、表示部(モニタ)に対する画像(プレビュー画像)の合焦時の表示態様を決定するためのメニューである。通常のプレビュー画像は立体画像(3D)表示としている場合でも、合焦時の画像だけは、撮影画像を精度良く確認するために平面画像(2D)で確認したいユーザがいる。あるいは左視点画像と右視点画像を個別に確認したいといったユーザもいる。こりような様々な要求に応えるため、本発明の撮像装置は、合焦時の表示部(モニタ)の表示画像を、
立体画像(3D画像)、
平面画像(2D画像)、
交互表示画像(フリップ(flip))
これらの3種類の表示態様から選択することを可能な設定としている。
図10(c)設定メニュー3は、[EVF表示設定メニュー]である。
EVFに対しては、立体画像の表示は行わないが、EVF表示画像について、
平面画像(2D画像)、
交互表示画像(フリップ(flip))
これらの2種類の表示態様からの選択を可能な設定としている。
図11に示すフローチャートを参照して、図10に示すメニューを利用した表示設定処理の詳細シーケンスについて説明する。なお、図11に示すフローチャートは、図9に示すフローのステップS102の処理の詳細に対応する。
図11に示すフローチャートの各ステップの処理について説明する。
まず、ステップS201において、ユーザの利き目が左目であるか右目であるかを判定する。この判定処理は、図10に示す(a)設定メニュー1[利き目設定メニュー]に対するユーザ入力情報、あるいは先に図5を参照して説明したセンサの検出情報に基づいて判定する。
ユーザの利き目が左目であると判定した場合は、ステップS202に進み、
RAMの記録情報として設定された利き目設定情報(f_eye)に左(left)を示すフラグを設定する。
図12に示すように、RAM119には表示態様設定情報の記録領域を有する。具体的には、
利き目設定情報(f_eye)
合焦時表示設定情報(f_focus)
EVF表示設定情報(f_evf)
これらの設定情報がRAM119に記録される。制御部117は、これらの設定情報に従って表示部(モニタ)とEVFの表示態様を決定して表示処理を行う。
図12に示すように、
利き目設定情報(f_eye)は左目(left)と右目(right)の設定が可能な構成を持つ。例えばフラグの値として左目(left)=0、右目(right)=1の対応付けがなされており、いずれかのフラグ設定が行なわれる。
合焦時表示設定情報(f_focus)は、立体表示(3D)と、平面表示(2D(flat))と、交互表示(フリップ(flip))の設定が可能な構成を持つ。例えばフラグの値として立体表示(3D)=2、平面表示(2D(flat))=0、交互表示(フリップ(flip))=1の対応付けがなされており、いずれかのフラグ設定が行なわれる。なお、平面表示(2D(flat))は利き目側の画像を用いた平面表示として実行される。
EVF表示設定情報(f_evf)は、利き目平面表示(2D(flat))と、交互表示(フリップ(flip))の設定が可能な構成を持つ。例えばフラグの値として利き目平面表示(2D(flat))=0、交互表示(フリップ(flip))=1の対応付けがなされており、いずれかのフラグ設定が行なわれる。
図11に示すフローチャートに戻り、各ステップの処理について説明する。ステップS201において、ユーザの利き目が左目であると判定した場合は、ステップS202に進み、RAMの記録情報として設定された利き目設定情報(f_eye)に左(left)を示すフラグを設定する。一方、ステップS201において、ユーザの利き目が右目であると判定した場合は、ステップS203に進み、RAMの記録情報として設定された利き目設定情報(f_eye)に右(right)を示すフラグを設定する。
次に、ステップS204において、合焦時の立体画像表示の要求の有無を判定する。この判定処理は、図10に示す(b)設定メニュー2[合焦時表示設定メニュー]に対するユーザ入力情報に基づいて判定する。ユーザ要求が「立体(3D)」である場合、ステップS204の判定はYesとなる。それ以外は、Noとなる。
ユーザ要求が「立体(3D)」であり、ステップS204の判定がYesの場合は、ステップS205に進む。
ステップS205では、RAMの記録情報として設定された合焦時表示設定情報(f_focus)に立体(3D)を示すフラグを設定する。
一方、ユーザ要求が「立体(3D)」以外であり、ステップS204の判定がNoの場合は、ステップS206に進む。
ステップS206では、さらに、合焦時の画像交互表示の要求の有無を判定する。この判定処理も、図10に示す(b)設定メニュー2[合焦時表示設定メニュー]に対するユーザ入力情報に基づいて判定する。ユーザ要求が「交互表示」である場合、ステップS206の判定はYesとなる。「平面(2D)」の場合は、Noとなる。
ユーザ要求が「交互表示」であり、ステップS206の判定がYesの場合は、ステップS207に進む。
ステップS207では、RAMの記録情報として設定された合焦時表示設定情報(f_focus)に交互表示(flip)を示すフラグを設定する。
一方。ユーザ要求が「平面(2D(flat))」であり、ステップS206の判定がNoの場合は、ステップS208に進む。
ステップS208では、RAMの記録情報として設定された合焦時表示設定情報(f_focus)に利き目平面表示(2D(flat))を示すフラグを設定する。
次に、ステップS209において、EVFの表示態様要求が「交互表示(flip)」であるか「利き目表示」であるかを判定する。この判定処理は、図10に示す(c)設定メニュー3[EVF表示設定メニュー]に対するユーザ入力情報に基づいて判定する。ユーザ要求が「交互表示(flip)」である場合、ステップS210に進み、「利き目表示」である場合は、ステップS211に進む。
ユーザ要求が「交互表示」であり、ステップS210に進んた場合、RAMの記録情報として設定されたEVF表示設定情報(f_evf)に交互表示(flip)を示すフラグを設定する。
一方、ユーザ要求が「利き目表示」であり、ステップS211に進んだ場合、RAMの記録情報として設定されたEVF表示設定情報(f_evf)に利き目平面表示(2D(flat))を示すフラグを設定する。
以上の処理によって表示設定処理が終了する。
これらの処理により、図12に示すRAM119の設定情報として以下の情報が記録される。
利き目設定情報(f_eye)=左目(left)、または右目(right)、
合焦時表示設定情報(f_focus)=立体表示(3D)、または利き目平面表示(2D(flat))、または交互表示(フリップ(flip))、
EVF表示設定情報(f_evf)=利き目平面表示(2D(flat))、または交互表示(フリップ(flip))
これらの各設定登録情報がRAM119に記録されることになる。制御部117は、この設定時用法を利用した表示制御を実行する。
[3.撮像装置の実行する撮影および再生処理の具体例について]
次に、本発明の撮像装置において実行する撮影および再生処理の具体例について説明する。特に、表示部(モニタ)とEVFに対する表示制御処理を中心として説明する。
図13は、撮像装置の実行する動作の全体シーケンスを説明するフローチャートである。
まず、ステップS301においてスイッチオンされ、電源123(図4参照)からの電力供給が開始される。
ステップS302において、制御部117は、ROM118に格納されたプログラムをRAM119に展開してプログラムに従った処理を開始する。
ステップS303において、起動モードを確認する。なお、起動モードには撮影処理を実行する撮影モード処理と、再生処理を実行する再生モード処理がある。いずれのモードにも設定されない場合は、電力供給を低下させるパワーセーブモードに移行することになる。
ステップS304において、起動モードが再生モードであると判定した場合は、ステップS350に進み、再生モード処理を実行する。
ステップS304において、起動モードが再生モードでないと判定した場合は、ステップS305に進み、ステップS305において、起動モードが撮影モードであるかを判定する。撮影モードであると判定すると、ステップS380に進み、撮影モード処理を実行する。
ステップS305において、起動モードが撮影モードでないと判定すると、ステップS306に進み、パワーセーブモードに移行する。その後、逐次、モード変更に応じた処理が行われる。
次に、ステップS350の再生モード処理の詳細シーケンスについて図14に示すフローチャートを参照して説明する。
ステップS351において、ユーザの入力を検出する。ユーザ入力には例えば再生画像の指定情報、あるいは再生モード終了要求などがある。
例えば再生画像の指定情報を入力すると、ステップS352において、再生指定のあった画像データを記憶部115、あるいは外部メモリ116から読み出す。
次に、ステップS353において、読み出し画像データをRAM119上に展開する。
さらに、ステップS354において、読み出し画像のリサイズ処理を実行する。これは、例えば表示部(モニタ)121に表示する画像数に応じた表示画像のサイズ調整処理である。
その後、ステップS355においてリサイズ処理のなされた画像を表示部(モニタ)121に表示する。
その後、ステップS351に戻り、再生モード終了要求の無い限り、ステップS352以下を繰り返す。
ステップS351において、再生モード終了要求が検出されると再生モードを終了する。
次に、図13に示す全体シーケンス中のステップS380の撮影モード処理の詳細シーケンスについて図15に示すフローチャートを参照して説明する。
ステップS381において、ユーザの入力を検出する。ユーザ入力には例えばシャッターの半押し情報、あるいは撮影モード終了要求などがある。
例えばシャッターの半押し情報を入力すると、ステップS382において、レンズ部111を介して入力する画像データに対する信号処理を行う。これは、信号処理部113において実行される。
次に、ステップS383において、信号処理済み画像を出して画像バッファであるRAM119に展開する。
さらに、ステップS384において、読み出し画像のリサイズ処理を実行する。撮影画像サイズや、表示部(モニタ)121に表示する画像数に応じた表示画像のサイズ調整処理である。
その後、ステップS385において、シャッターの深押しが検出されたか否かを判定する。
シャッターの深押しが検出された場合は、ステップS391に進む。
ステップS391では、撮影処理が実行され、撮影画像の圧縮処理が行われる。
その後、ステップS392において、撮影画像を記憶部115、あるいは外部メモリ116に記録する処理が行われる。
ステップS385において、シャッターの深押しが検出されない場合、および、ステップS392における撮影画像の記録処理の完了後は、ステップS386において表示部(モニタ)に対する画像(プレビュー画像)を表示する処理が継続して実行される。
なお、ステップS385においてシャッターの深押しが検出され、ステップS391、S392において撮影画像の記録処理が行われると、表示部(モニタ)121の表示は立体表示に自動的に戻り、記録された画像を一定時間表示(オートレビュー)するオートレビュー処理が行われる。一定時間のオートレビュー処理が行われた後は、レンズ部111より順次読み出された映像信号を順次更新しながら立体表示を行うプレビュー表示の定常状態に戻ることになる。
次に、撮影処理に際して実行される表示部(モニタ)122に対する画像表示制御処理のシーケンスについて、図16に示すフローチャートを参照して説明する。ユーザがシャッターの半押しを行うと、自動焦点合わせ(AF)機能が動作して合焦処理を開始する。図16に示すフローチャートは、この合焦処理開始後に行われる表示制御処理シーケンスを説明するフローチャートである。
ステップS501において、合焦、すなわち被写体に対するフォーカスが合ったか否かが判定される。例えば一般的な合焦処理として行われるコントラスト検出法により合焦の有無が判定される。
合焦がなされていない場合は、ステップS501の判定はNoとなり、ステップS502に進む。ステップS502ではレンズを介して入力する画像(プレビュー画像)が表示部(モニタ)に立体画像(3D画像)として表示される。
図16のステップS502の下部には、ステップS502において表示部(モニタ)に表示する(a)立体表示画像の例を示している。
合焦がされた場合は、ステップS501の判定はYesとなり、ステップS503に進む。ステップS503では、先に図10〜図12を参照して説明した設定情報をRAM119から取得する。ここでは、合焦時表示設定情報(f_focus)を取得する。
先に説明したように、合焦時表示設定情報(f_focus)には、
立体表示(3D)、
利き目平面表示(2D(flat))、
交互表示(フリップ(flip))、
これらの3種類の設定がある。
合焦時表示設定情報(f_focus)=立体表示(3D)である場合は、ステップS504に進む。
合焦時表示設定情報(f_focus)=利き目平面表示(2D(flat))である場合は、ステップS505に進む。
合焦時表示設定情報(f_focus)=交互表示(フリップ(flip))である場合は、ステップS506に進む。
ステップS503の設定情報判定処理において、
合焦時表示設定情報(f_focus)=立体表示(3D)
であると判定した場合は、ステップS504に進み、表示部(モニタ)121に対して、左右画像を利用した立体画像表示処理を実行する。なお、この場合、先に図6、図7を参照して説明したように、RAM119には立体画像表示に適用するためのL画像、R画像が展開され、これらの2つの異なる視点画像を用いて立体画像表示処理が行われる。なお、この表示に際して、合焦されたことを示す合焦枠(フォーカス枠)が併せて表示される。
図16のステップS504の下部には、ステップS504において表示部(モニタ)に表示する(b)立体表示(合焦枠表示)画像の例を示している。
ステップS503の設定情報判定処理において、
合焦時表示設定情報(f_focus)=利き目平面表示(2D(flat))
であると判定した場合は、ステップS505に進み、表示部(モニタ)121に対して、利き目側の画像を利用した利き目平面表示(2D(flat))処理を実行する。なお、この場合、先に図6、図7を参照して説明したように、RAM119には平面画像表示に適用するためのL画像またはR画像の一方の画像(利き目側の画像)が展開され、この利き目側の画像を用いて平面表示処理が行われる。なお、この表示に際して、合焦されたことを示す合焦枠(フォーカス枠)が併せて表示される。
図16のステップS505の下部には、ステップS505において表示部(モニタ)に表示する(c)平面表示(合焦枠表示)画像の例を示している。
ステップS503の設定情報判定処理において、
合焦時表示設定情報(f_focus)=交互表示(フリップ(flip))
であると判定した場合は、ステップS506に進み、表示部(モニタ)121に対して、左右画像を利用した交互表示(フリップ(flip))を実行する。なお、この場合、RAM119には交互表示に適用するためのL画像またはR画像の一方の画像(利き目側の画像)がシーケンシャルに順次展開される。これらの画像を順次適用して、平面表示処理が行われる。なお、この表示に際して、合焦されたことを示す合焦枠(フォーカス枠)が併せて表示される。
図16のステップS506の下部には、ステップS506において表示部(モニタ)に表示する(d)交互表示(合焦枠表示)画像の例を示している。
図16を参照して説明した処理は、オートフォーカス制御の場合であるが、前述したように撮像装置は、マニュアル(手動)でフォーカス制御を行うことが可能である。ユーザは、フォーカス調整部133(図4参照)を操作することでフォーカス調整をマニュアルに切り替えて調整することができる。
このマニュアルフォーカス調整を行う場合の表示部(モニタ)に対する画像表示制御処理のシーケンスについて、図17に示すフローチャートを参照して説明する。
ステップS511において、マニュアルフォーカス調整が開始されたか否かを判定する。この判定処理は、フォーカス調整部133(図4参照)の操作の有無によって判定する。
マニュアルフォーカス調整が開始されていない場合は、ステップS511の判定はNoとなり、ステップS512に進む。ステップS512ではレンズを介して入力する画像(プレビュー画像)が表示部(モニタ)に立体画像(3D画像)として表示される。
図17のステップS512の下部には、ステップS512において表示部(モニタ)に表示する(a)立体表示画像の例を示している。
マニュアルフォーカス調整が開始された場合は、ステップS511の判定はYesとなり、ステップS513に進む。ステップS513では、先に図10〜図12を参照して説明した設定情報をRAM119から取得する。ここでは、合焦時表示設定情報(f_focus)を取得する。
先に説明したように、合焦時表示設定情報(f_focus)には、
立体表示(3D)、
利き目平面表示(2D(flat))、
交互表示(フリップ(flip))、
これらの3種類の設定がある。
合焦時表示設定情報(f_focus)=立体表示(3D)である場合は、ステップS514に進む。
合焦時表示設定情報(f_focus)=利き目平面表示(2D(flat))である場合は、ステップS515に進む。
合焦時表示設定情報(f_focus)=交互表示(フリップ(flip))である場合は、ステップS516に進む。
ステップS513の設定情報判定処理において、合焦時表示設定情報(f_focus)=立体表示(3D)であると判定した場合は、ステップS514に進み、表示部(モニタ)121に対して、左右画像を利用した立体画像表示処理を実行する。
ステップS513の設定情報判定処理において、合焦時表示設定情報(f_focus)=利き目平面表示(2D(flat))であると判定した場合は、ステップS515に進み、表示部(モニタ)121に対して、利き目側の画像を利用した利き目平面表示(2D(flat))処理を実行する。
ステップS513の設定情報判定処理において、合焦時表示設定情報(f_focus)=交互表示(フリップ(flip))であると判定した場合は、ステップS516に進み、表示部(モニタ)121に対して、左右画像を利用した交互表示(フリップ(flip))を実行する。
このように、マニュアルフォーカス調整が行われる場合も、オートフォーカス実行時の合焦時の表示制御と同様、予め設定した合焦時表示設定情報(f_focus)に応じて表示制御が行われる。
なお、先に図8を参照して説明したメニューやOSD情報についても、オートフォーカス実行時の合焦時、あるいはマニュアルフォーカス調整時には、合焦時表示設定情報(f_focus)に応じて表示制御が行われる。
次に、図18に示すフローチャートを参照してEVFに対する表示制御シーケンスについて説明する。
ステップS521において、EVF122(図4参照)に対する表示要求の有無を判定する。なお、この判定処理は、ユーザによるEVF切替部132(図4参照)に対する入力情報に基づいて実行される。あるいは先に図5を参照して説明したセンサの検出情報に基づいて行ってもよい。
すなわち、センサ検出情報に基づいてユーザがEVFを覗き込んでいることが確認された場合は、EVF表示要求有りと判定する。ユーザがEVFを覗き込んでいることが確認されない場合は、EVF表示要求無しと判定する。
ステップS521の判定がNo、すなわち、EVF表示要求がない場合はステップS522に進み、EVF122に対する表示処理は実行することなく表示部(モニタ)121に対する表示処理を継続する。
図18のステップS522の下部には、ステップS533において表示部(モニタ)に表示する(a)立体表示画像の例を示している。
一方、ステップS521の判定がYes、すなわち、EVF表示要求が有ると判定した場合は、ステップS523に進み、EVF表示設定情報を取得する。先に図10〜図12を参照して説明した設定情報をRAM119から取得する。ここでは、EVF表示設定情報(f_evf)を取得する。
先に説明したように、EVF表示設定情報(f_evf)には、
利き目平面表示(2D(flat))、
交互表示(フリップ(flip))、
これらの2種類の設定がある。
EVF表示設定情報(f_evf)=利き目平面表示(2D(flat))である場合は、ステップS524に進む。
EVF表示設定情報(f_evf)=交互表示(フリップ(flip))である場合は、ステップS525に進む。
ステップS523の設定情報判定処理において、EVF表示設定情報(f_evf)=利き目平面表示(2D(flat))であると判定した場合は、ステップS524に進み、EVF122に対して、利き目側の画像を利用した利き目平面表示(2D(flat))処理を実行する。なお、この場合、先に図6、図7を参照して説明したように、RAM119には平面画像表示に適用するためのL画像またはR画像の一方の画像(利き目側の画像)が展開され、この利き目側の画像を用いて平面表示処理が行われる。なお、この表示に際して、合焦されたことを示す合焦枠(フォーカス枠)が併せて表示される。
図18のステップS524の下部には、ステップS524においてEVFに表示する(b)平面表示(合焦枠表示)画像の例を示している。
ステップS523の設定情報判定処理において、EVF表示設定情報(f_evf)=交互表示(フリップ(flip))であると判定した場合は、ステップS525に進み、EVF122に対して、左右画像を利用した交互表示(フリップ(flip))を実行する。なお、この場合、RAM119には交互表示に適用するためのL画像またはR画像の一方の画像(利き目側の画像)がシーケンシャルに順次展開される。これらの画像を順次適用して、平面表示処理が行われる。なお、この表示に際して、合焦されたことを示す合焦枠(フォーカス枠)が併せて表示される。
図18のステップS525の下部には、ステップS525においてEVFに表示する(c)交互表示(合焦枠表示)画像の例を示している。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成によれば、三次元画像と二次元画像の切り替え表示が可能な表示部を有する撮像装置において、フォーカス制御処理に際して合焦したか否か、またはマニュアルフォーカス制御が開始されたか否かを判定し、合焦した場合、あるいは、マニュアルフォーカス制御が開始された場合に、表示部の表示画像の表示態様を予め設定した設定情報に従って変更する。具体的には、例えば三次元画像表示から二次元画像表示に変更する処理を行う。この処理により、合焦の確認をより確実に行うことができる。
10 撮像装置
11 シャッター
12,13 レンズ
21 表示部(モニタ)
22 EVF(Electronic view finder)
111 レンズ部
112 光電変換部
113 信号処理部
114 操作部
115 記憶部
116 外部メモリ
117 制御部
118 ROM
119 RAM
121 表示部(モニタ)
122 EVF
123 電源
124 センサ
131 シャッター
132 EVF切替部
133 フォーカス調整部
134 モード/表示設定部
151,152 センサ
201 顔領域

Claims (10)

  1. 三次元画像と二次元画像を切り替え表示可能な表示部と、
    前記表示部に対する画像表示制御を実行する制御部を有し、
    前記制御部は、
    フォーカス制御処理の実行時に、前記表示部の表示画像の表示態様を予め設定した設定情報に従って、三次元画像表示から二次元画像表示に変更する処理を行う撮像装置。
  2. 前記制御部は、
    フォーカス制御処理の実行時において、合焦したとの判定に従って、前記表示部の表示画像の表示態様を前記設定情報に従って変更する処理を行う請求項1に記載の撮像装置。
  3. 前記制御部は、
    フォーカス制御処理の実行時において、マニュアルフォーカス制御が開始されたとの判定に従って、前記表示部の表示画像の表示態様を前記設定情報に従って変更する処理を行う請求項1に記載の撮像装置。
  4. 前記撮像装置は、前記設定情報として、三次元画像表示の設定と、二次元画像表示の設定が可能な構成であり、
    前記制御部は、
    前記設定情報として二次元画像表示の設定がなされている場合、
    フォーカス制御処理の実行時に、前記表示部の表示画像の表示を三次元画像表示から二次元画像表示に切り替える処理を行う請求項1〜3いずれかに記載の撮像装置。
  5. 前記制御部は、
    前記表示部に二次元画像を表示する場合、予め設定した設定情報に含まれる利き目情報に従って、左目用画像または右目用画像から利き目に対応する画像を選択して表示する請求項4に記載の撮像装置。
  6. 前記撮像装置は、前記設定情報として、三次元画像表示の設定と、二次元画像表示の設定と、左目用画像と右目用画像の交互表示の設定が可能であり、
    前記制御部は、
    前記設定情報として交互表示の設定がなされている場合、
    フォーカス制御処理の実行時に、前記表示部の表示画像の表示を三次元画像表示から交互表示に切り替える処理を行う請求項1〜3いずれかに記載の撮像装置。
  7. 前記撮像装置は、さらに、
    二次元画像の表示が可能なビューファインダを有し、
    前記制御部は、
    前記ビューファインダに対する画像表示を実行する場合に、
    前記設定情報に従って、利き目対応画像の二次元画像表示、または左目用画像と右目用画像の交互表示を実行する請求項1〜6いずれかに記載の撮像装置。
  8. 前記撮像装置は、さらに、
    前記ビューファインダを覗き込むユーザの顔の位置を検出するセンサを有し、
    前記制御部は、
    前記センサの検出情報に基づいて、ユーザの利き目が左目であるか右目であるかを判定し、判定した利き目情報を前記設定情報として登録する請求項1〜7いずれかに記載の撮像装置。
  9. 撮像装置において表示部に対する表示制御を実行する画像処理方法であり、
    前記撮像装置は、三次元画像と二次元画像を切り替え表示可能な表示部を有し、
    制御部が、フォーカス制御処理に際して合焦したか否か、またはマニュアルフォーカス制御が開始されたか否かを判定するステップと、
    前記制御部が、合焦またはマニュアルフォーカス制御の開始を確認した場合、前記表示部の表示画像の表示態様を予め設定した設定情報に従って、三次元画像表示から二次元画像表示に変更する処理を行う表示変更ステップと、
    を実行する画像処理方法。
  10. 撮像装置において表示部に対する表示制御を実行させるプログラムであり、
    前記撮像装置は、三次元画像と二次元画像を切り替え表示可能な表示部を有し、
    制御部に、フォーカス制御処理に際して合焦したか否か、またはマニュアルフォーカス制御が開始されたか否かを判定させるステップと、
    前記制御部に、合焦またはマニュアルフォーカス制御の開始の確認に応じて、前記表示部の表示画像の表示態様を予め設定した設定情報に従って、三次元画像表示から二次元画像表示に変更する処理を行わせる表示変更ステップと、
    を実行させるプログラム。
JP2009241238A 2009-10-20 2009-10-20 撮像装置、および画像処理方法、並びにプログラム Expired - Fee Related JP5267421B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009241238A JP5267421B2 (ja) 2009-10-20 2009-10-20 撮像装置、および画像処理方法、並びにプログラム
EP10178221A EP2315453A2 (en) 2009-10-20 2010-09-22 Stereoscopic image capturing device, image processing method, and program.
US12/924,576 US8890935B2 (en) 2009-10-20 2010-09-30 Capturing device, image processing method, and program
CN201010510270.9A CN102045581B (zh) 2009-10-20 2010-10-13 拍摄设备、图像处理方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009241238A JP5267421B2 (ja) 2009-10-20 2009-10-20 撮像装置、および画像処理方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2011091482A true JP2011091482A (ja) 2011-05-06
JP2011091482A5 JP2011091482A5 (ja) 2012-10-25
JP5267421B2 JP5267421B2 (ja) 2013-08-21

Family

ID=43414284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009241238A Expired - Fee Related JP5267421B2 (ja) 2009-10-20 2009-10-20 撮像装置、および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8890935B2 (ja)
EP (1) EP2315453A2 (ja)
JP (1) JP5267421B2 (ja)
CN (1) CN102045581B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150506A (ja) * 2013-02-04 2014-08-21 Canon Inc 撮像装置およびその制御方法
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5366996B2 (ja) * 2011-03-09 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
JP5306422B2 (ja) * 2011-07-19 2013-10-02 株式会社東芝 画像表示システム、装置、方法及び医用画像診断装置
CN103842907A (zh) * 2011-09-30 2014-06-04 富士胶片株式会社 立体图像摄像装置及其对焦状态确认用图像显示方法
EP2802958B1 (en) 2012-01-11 2019-11-13 Ultra-D Coöperatief U.A. Mobile display device
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
CN105959545A (zh) * 2016-05-24 2016-09-21 北京小米移动软件有限公司 摄像机及控制摄像机的方法和装置
JP7139735B2 (ja) * 2018-07-09 2022-09-21 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN116939186B (zh) * 2023-09-18 2023-12-05 北京天图万境科技有限公司 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1090814A (ja) * 1996-09-11 1998-04-10 Canon Inc 複眼カメラ及び画像処理方法
JP2004153489A (ja) * 2002-10-30 2004-05-27 Sharp Corp 2d(2次元)及び3d(3次元)表示機能を備える電子機器
JP2010068182A (ja) * 2008-09-10 2010-03-25 Fujifilm Corp 3次元撮影装置および方法並びにプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960702716A (ko) * 1994-03-28 1996-04-27 제임스 앨린 이반스 2차원 및 3차원 이미징장치(two-dimensional and three-dimensional imaging device)
US6549650B1 (en) * 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera
US6278480B1 (en) * 1997-02-07 2001-08-21 Canon Kabushiki Kaisha Compound eye camera system
CN1115546C (zh) * 1999-12-29 2003-07-23 宝山钢铁股份有限公司 表面三维形貌检测方法和装置
JP2001251403A (ja) 2000-03-07 2001-09-14 Sony Corp 電話装置
US20040201774A1 (en) * 2001-05-15 2004-10-14 Gennetten K. Douglas Docked camera becomes electronic picture frame
JP3935812B2 (ja) 2002-10-11 2007-06-27 シャープ株式会社 2d(2次元)及び3d(3次元)表示機能を備える電子機器
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
CN100437351C (zh) * 2003-08-19 2008-11-26 鸿富锦精密工业(深圳)有限公司 立体取像数码相机模块
US20050207486A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP4297111B2 (ja) * 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
US20070201859A1 (en) * 2006-02-24 2007-08-30 Logitech Europe S.A. Method and system for use of 3D sensors in an image capture device
JP4720785B2 (ja) * 2007-05-21 2011-07-13 富士フイルム株式会社 撮像装置、画像再生装置、撮像方法及びプログラム
JP5231771B2 (ja) * 2007-08-20 2013-07-10 富士フイルム株式会社 立体画像撮影装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1090814A (ja) * 1996-09-11 1998-04-10 Canon Inc 複眼カメラ及び画像処理方法
JP2004153489A (ja) * 2002-10-30 2004-05-27 Sharp Corp 2d(2次元)及び3d(3次元)表示機能を備える電子機器
JP2010068182A (ja) * 2008-09-10 2010-03-25 Fujifilm Corp 3次元撮影装置および方法並びにプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150506A (ja) * 2013-02-04 2014-08-21 Canon Inc 撮像装置およびその制御方法
WO2020004275A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
JPWO2020004275A1 (ja) * 2018-06-26 2021-07-08 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
JP7145214B2 (ja) 2018-06-26 2022-09-30 京セラ株式会社 3次元表示装置、制御コントローラ、3次元表示方法、3次元表示システム、および移動体
US11924400B2 (en) 2018-06-26 2024-03-05 Kyocera Corporation Three-dimensional display device, control controller, three-dimensional display method, three-dimensional display system, and moving body

Also Published As

Publication number Publication date
CN102045581A (zh) 2011-05-04
CN102045581B (zh) 2016-01-20
EP2315453A2 (en) 2011-04-27
US8890935B2 (en) 2014-11-18
JP5267421B2 (ja) 2013-08-21
US20110090315A1 (en) 2011-04-21

Similar Documents

Publication Publication Date Title
JP5267421B2 (ja) 撮像装置、および画像処理方法、並びにプログラム
US8937644B2 (en) Stereoscopic image capture
WO2012011341A1 (ja) 撮像装置、その制御方法およびプログラム
EP2285126B1 (en) 3D image display apparatus and 3D image display method
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに3次元情報取得装置
JP5725979B2 (ja) 撮影装置およびその制御方法
JP2010081010A (ja) 3次元撮影装置および方法並びにプログラム
JP2010252046A (ja) 撮像装置
JPWO2013038863A1 (ja) 単眼立体撮影装置、撮影方法及びプログラム
JP5955417B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2010056737A (ja) 3次元表示装置および方法並びにプログラム
JP5322817B2 (ja) 3次元画像撮像装置及び3次元画像表示方法
JP2013123215A (ja) 撮像装置、コントローラおよびコンピュータプログラム
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
JP5049231B2 (ja) 3次元表示装置および方法並びにプログラム
JP2005078009A (ja) カメラ
JP4887461B2 (ja) 3次元画像撮像装置及び3次元画像表示方法
JP2011091750A (ja) 立体画像撮像装置及びその制御方法
JP4747568B2 (ja) カメラ装置及び撮影制御プログラム
JP2010183267A (ja) 3次元画像表示装置及び方法
JP2012134873A (ja) 撮像装置および撮像プログラム
JP5638941B2 (ja) 撮像装置および撮像プログラム
JP5222718B2 (ja) 立体画像再生装置、立体画像再生プログラム、撮像装置
JP2011109268A (ja) 3次元画像表示装置及び方法
JP2005037517A (ja) 立体カメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130422

R151 Written notification of patent or utility model registration

Ref document number: 5267421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees