JP2012178730A - 撮像装置、撮像方法、及びプログラム - Google Patents

撮像装置、撮像方法、及びプログラム Download PDF

Info

Publication number
JP2012178730A
JP2012178730A JP2011040736A JP2011040736A JP2012178730A JP 2012178730 A JP2012178730 A JP 2012178730A JP 2011040736 A JP2011040736 A JP 2011040736A JP 2011040736 A JP2011040736 A JP 2011040736A JP 2012178730 A JP2012178730 A JP 2012178730A
Authority
JP
Japan
Prior art keywords
image
imaging
focal length
unit
feature region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011040736A
Other languages
English (en)
Other versions
JP5659856B2 (ja
Inventor
Takeshi Iwamoto
健士 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011040736A priority Critical patent/JP5659856B2/ja
Publication of JP2012178730A publication Critical patent/JP2012178730A/ja
Application granted granted Critical
Publication of JP5659856B2 publication Critical patent/JP5659856B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影記録操作前の段階で、撮影記録操作後に得られるであろう3D画像の立体感の程度を予測して、ユーザに提示することを容易に実現可能にすること。
【解決手段】特徴領域抽出部42は、撮像部16により撮像される画像に含まれる複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する。焦点距離検出部43は、特徴領域抽出部42により抽出された複数の特徴領域についての焦点距離を検出する。焦点距離比較部44は、焦点距離検出部43により検出された焦点距離のうち、主となる特徴領域(重点特徴領域)についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する。立体感算出部45は、焦点距離比較部44の比較結果に基づいて、撮像部16により撮像された画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する。
【選択図】図2

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。
昨今、立体画像(3−Dimensional Picture、以下、「3D画像」とも呼ぶ)を撮影可能なデジタルカメラの需要が高まりつつある。 3D画像の撮影を行うことができる一般的な3Dデジタルカメラとして、イメージセンサと撮影レンズを含む撮像部を二つ備えた3Dデジタルカメラが知られている(例えば、特許文献1参照)。
また、所定地点を中心にパノラマ様に撮影された複数の画像のデータを、左右の目の視差を計算してつなぎ合わせることにより、3D画像のデータを生成する3Dデジタルカメラが知られている(例えば、非特許文献1参照)。
特開2001−66547号公報
ソニーマーケティング株式会社、「Q&A サポート・お問い合わせ」「3Dスイングパノラマ機能とは何ですか?」<online>、[平成23年2月9日検索]、インターネット<URL:http://www.faq.sonydrive.jp/faq/1040/app/servlet/qadoc?035265>
しかしながら、特許文献1や非特許文献1に記載の技術では、ユーザにとっては、実際に、シャッタボタンを全押操作する等の撮影記録操作後に実際に得られた3D画像を視認しなければ、当該3D画像の立体感を把握することはできないという問題が生じていた。
即ち、ユーザは撮影記録操作前の段階で3D画像の立体感を即座に確認したいにも関わらず、撮影記録操作前には立体感を確認することはできない。このため、ユーザは、立体感のある3D画像(ユーザが所望する3D画像)を取得するためには、立体感のある構図を想定して、撮影記録操作を行う必要がある。
しかしながら、3D画像の立体感は、その時の構図(画角に含まれる被写体等の状況)に応じて変化するものであり、撮影記録操作後に得られるであろう3D画像がどの程度の立体感を持っているのかについて、ユーザが適切に想定することは非常に困難であった。このため、1回の撮影記録操作で得られる3D画像の多くは、ユーザが所望する程度の立体感を有していないことが多くなっていた。したがって、ユーザは、所望する程度の立体感の3D画像を最終的に得るためには、構図を変えて何回も撮影記録操作を繰り返すといった、無駄で煩雑な操作をする必要であった。
本発明は、このような状況に鑑みてなされたものであり、撮影記録操作前の段階で、撮影記録操作後に得られるであろう3D画像の立体感の程度を予測して、ユーザに提示することを容易に実現可能にすることを目的とする。
上記目的を達成するため、本発明の一態様の撮像装置は、
複数の被写体を撮像して画像を得る撮像手段と、
前記撮像手段により撮像される画像に含まれる前記複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された前記複数の特徴領域についての焦点距離を検出する焦点距離検出手段と、
前記焦点距離検出手段により検出された前記焦点距離のうち、主となる特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する焦点距離比較手段と、
前記焦点距離比較手段の比較結果に基づいて、前記撮像手段により撮像された前記画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する立体感算出手段と、を備えることを特徴とする。
本発明によれば、撮影記録操作前の段階で、撮影記録操作後に得られるであろう3D画像の立体感の程度を予測して、ユーザに提示することができる。
本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 図1の撮像装置の機能的構成のうち、3D効果判定処理を実行するための機能的構成を示す機能ブロック図である。 図2の機能的構成を有する図1の撮像装置が実行するモード設定処理の流れを説明するフローチャートである。 図2の機能的構成を有する図1の撮像装置が実行する撮影処理の流れを説明するフローチャートである。 図2の機能的構成を有する図1の撮像装置が実行する図4の撮影処理のうち、3D効果判定処理の流れを説明するフローチャートである。 図5の3D効果判定処理中における出力部のディスプレイの表示例を示している。 図6の表示例に示す各特徴領域についての各焦点距離を示す図である。 図5の3D効果判定処理の処理結果、即ち、立体感を示すシンボル画像がスルー画像に重畳された画面の一例を示す図である。 スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離の全てが近い場合における、図5の3D効果判定処理の結果の一例を示している。 スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離が離れている(ばらけている)場合における、図5の3D効果判定処理の結果の一例を示している。 スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離の全てが遠い場合における、図5の3D効果判定処理の結果の一例を示している。
以下、本発明の実施形態について、図面を用いて説明する。
図1は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成される。
撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムにしたがって各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
撮像部16は、後述の図7や図9乃至図11を参照して説明するように、フォーカスレンズ31Fやズームレンズ31Zを含む光学レンズ部31と、イメージセンサ32と、を備えている。
光学レンズ部31は、被写体を撮影するために、フォーカスレンズ31Fやズームレンズ31Z等の各種レンズで構成される。
フォーカスレンズ31Fは、イメージセンサ32の受光面に被写体の像を結像させるレンズである。ズームレンズ31Zは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部31にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサ32は、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11に適宜供給される。
このような撮像部16の動作は、CPU11によって制御される。例えば、CPU11は、撮像部16の各種撮像条件を設定する。例えばCPU11は、撮像条件の1つとしてズーム倍率を設定し、設定したズーム倍率になるように、図示せぬレンズ駆動部を制御してズームレンズ31Zを駆動する。また例えばCPU11は、撮像条件の別の1つとして、撮像部16へ入射する光の量を調整するための絞りを設定する。
入力部17は、電源ボタン、撮影モード設定ボタン、立体感設定ボタン、シャッタボタン等、各種ボタンで構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア22が適宜装着される。ドライブ21によってリムーバブルメディア22から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア22は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
図2は、このような撮像装置1の機能的構成のうち、3D効果判定処理を実行するための機能的構成を示す機能ブロック図である。
3D効果判定処理とは、スルー画像の中からの各特徴領域を抽出し、主となる特徴領域(以下、「重点特徴領域」と呼ぶ)とそれ以外の特徴領域の各々に対する焦点距離の差異に基づいて、スルー画像に基づいて3D画像が生成された場合における立体感を予測算出し、その予測算出結果をスルー画像に対して重畳表示するまでの一連の処理をいう。なお、スルー画像及び特徴領域については後述する。
CPU11においては、3D効果判定処理の実行が制御される場合、画像取得部41と、特徴領域抽出部42と、焦点距離検出部43と、焦点距離比較部44と、立体感算出部45と、表示制御部46と、が機能する。
また、CPU11においては、撮像部16を制御するために、モード設定部51と、撮像条件設定部52と、が機能する。
このような機能的構成を有する撮像装置1における、撮像部16の撮像時の設定条件を自動的に設定するモードとして、主要被写体毎にユーザが選択可能な複数のモード、具体的には本実施形態では、「人物モード」、「近接モード」、「風景モード」、「夜景モード」、「スポーツモード」及び「子供/ペットモード」等が存在する。
モード設定部51は、入力部17の撮影モード設定ボタンのユーザ操作による選択に基づき、これら複数のモードの中から選択されたモードに対応する設定条件を自動的に設定する。
また、3D効果判定処理を実行して、立体感の予測算出結果を表示するモード「立体感表示モード」も、撮像装置1の動作モードとして設けられている。ユーザは、入力部17の図示せぬ立体感設定ボタンを押下操作することによって、立体感表示モードの設定又は解除を指示することができる。
即ち、モード設定部51は、ユーザによる入力部17の立体感設定ボタンの押下操作に基づき、立体感表示モードを設定したり、その解除を行う。立体感表示モードが設定されれば、後述の図5の3D効果判定処理が実行されて、立体感の予測算出結果が表示され、立体感表示モードの設定が解除されれば、当該3D効果判定処理の実行が禁止されて、立体感の予測算出結果の表示が消去される。モード設定部51は、このようにして設定された撮影モードの情報を撮像部16及び特徴領域抽出部42に提供する。
撮像条件設定部52は、ユーザによる入力部17の各操作に応じて、撮像部16の撮像時の各種設定条件を個別に設定することができる。
即ち、上述の設定条件を自動的に設定するモードでは、選択されたモードに対して予め対応付けられた各種設定条件が、いわば強制的に設定される。このような場合、ユーザは、入力部17に対する所定の操作を行うことで、各種設定条件の中の任意の数の任意の種類の条件の設定や更新の指示をすることができる。
例えば、ユーザにより、入力部17のズームスイッチが押下操作された場合には、撮像条件設定部52は、当該押下操作に応じたズーム倍率(例えば、1〜12倍)を、設定条件の1つとして設定する。
また例えば、ユーザにより、入力部17の絞りスイッチが押下操作された場合には、撮像条件設定部52は、当該押下操作に応じた絞りを、所定条件の1つとして設定する。
画像取得部41は、撮像部16から出力された撮像画像のデータを、スルー画像のデータとして取得する。
即ち、CPU11等は、3D効果判定処理の実行中やその前後に、スルー撮像処理及びスルー表示処理を実行することで、スルー画像を出力部18(撮像装置1のディスプレイ)に表示させる。
ここで、撮影時には、ユーザは、撮像装置1を固定させた状態で、入力部17のシャッタスイッチを下限まで押下する。このように、シャッタスイッチを下限まで押下する操作を、以下、「全押し操作」又は単に「全押し」と呼ぶ。これに対し、ユーザは、全押し操作をする前に、AF(Auto Focus)処理等を撮像装置1に実行させるべく、入力部17のシャッタスイッチを途中(下限に至らない所定の位置)まで押下する操作を行う。なお、このように、シャッタスイッチの途中(下限に至らない所定の位置)まで押下する操作を、以下、「半押し操作」又は単に「半押し」と呼ぶ。
具体的には、CPU11等は、例えば入力部17のシャッタスイッチが半押しされると、撮像部16による撮像動作を継続させる。そして、CPU11等は、撮像部16による撮像動作が継続されている間、当該撮像部16から順次出力される撮像画像のデータを、メモリ(本実施形態では記憶部19)に一時的に記憶させる。このような一連の制御処理が、ここでいう「スルー撮像処理」である。
また、CPU11等は、スルー撮像処理の最中にメモリ(本実施形態では記憶部19)に一時的に記録された各撮像画像のデータを順次読み出して、当該撮像画像を出力部18に順次表示させる。このような一連の制御処理が、ここでいう「スルー表示処理」であり、スルー表示処理により出力部18に表示されている撮像画像が、ここでいう「スルー画像」である。
即ち、画像取得部41は、スルー表示処理のうち、メモリに一時的に記憶されたスルー画像のデータを取得する処理まで実行し、後述の表示制御部46は、当該スルー画像を出力部18に表示させる。
特徴領域抽出部42は、画像取得部41により取得されたスルー画像のデータから、複数の特徴領域を抽出する。
「特徴領域」とは、スルー画像内に含まれるオブジェクト(被写体や背景等)のうち、特徴的なオブジェクトを示す領域をいう。
具体的には、特徴領域抽出部42は、スルー画像のデータのうち色情報等を用いて、コントラスト変化を算出し、その算出結果に基づいて、当該スルー画像に含まれる人や草木等のオブジェクトを示す領域を特徴領域として抽出する。
なお、特徴領域の抽出手法は、特にこれに限定されず、その他、背景画像のエッジの画素値を利用して輪郭線を検出し、輪郭線内の領域を特徴領域として抽出する、といった手法を採用してもよい。
そして、特徴領域抽出部42は、抽出した複数の特徴領域の各々を、重点特徴領域又はそれ以外の特徴領域に分類する。
「重点特徴領域」とは、ユーザが特に立体感を確認したいと推定するオブジェクトを含む領域である。なお、重点特徴領域は、モード設定部51により設定された撮像モードに応じて決定されたり、ユーザが直接に入力部17を操作することにより決定される。
「立体感」とは、スルー画像に基づく3D表示がされたと仮定した場合に、ユーザが重点特徴領域に着目して当該3D表示を見たときに感じ取ることができる立体的な奥行きや厚み等の指標となる度合いをいう。
この立体感は、撮像装置1の画角の範囲内の実世界における、重点特徴領域に対応する被写体(主要被写体)と、それ以外の特徴領域に対応する被写体や背景との間の実際の位置関係(以下、「実世界での被写体間位置関係」と呼ぶ)を考慮して求められる。換言すると。立体感の求め方は、実世界での被写体間位置関係を考慮する求め方であれば足り、特に限定されない。そこで、本実施形態では、スルー画像に含まれる重点特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較することによって、実世界での被写体間の位置関係が擬似的に算出され、その算出結果に基づいて立体感が求められる。
このため、重点特徴領域を含む各特徴領域についての焦点距離が、焦点距離検出部43によって検出される。
また、特徴領域抽出部42は、モード設定部51により設定された撮像モードに基づいて複数の特徴領域を抽出する。即ち、特徴領域抽出部42は、撮影時のモードとして、「人物モード」が設定された場合には、スルー画像内に含まれるオブジェクトのうち、人物を中心に特徴領域及び重点特徴領域を抽出する。同様に、特徴領域抽出部42は、撮影時のモードとして、「近接モード」が設定された場合には、スルー画像内に含まれるオブジェクトのうち、手前側(近接側)にあるオブジェクトを中心に特徴領域及び重点特徴領域を抽出する。同様に、特徴領域抽出部42は、撮影時のモードとして、「風景モード」が設定された場合には、スルー画像内に含まれるオブジェクトのうち、遠景にあるオブジェクトを中心に特徴領域及び重点特徴領域を抽出する。
なお、本実施形態では、重点特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とが離間している程、立体感を示す値が高くなる。
具体的には、立体感を示す値は、「Min」〜「Max」までの範囲内で無段階増加するように規定されており、立体感の値が高い画像程、スルー画像内の重点特徴領域のオブジェクトに対し、ユーザが奥行きや厚みを感じやすくなる。
そこで、特徴領域抽出部42は、スルー画像のデータとともに、当該スルー画像内から抽出した重点特徴領域及びそれ以外の特徴領域の情報を焦点距離検出部43に供給する。
焦点距離検出部43は、特徴領域抽出部42により抽出された各特徴領域(重点特徴領域含む)の各々を処理対象として、処理対象の特徴領域についての焦点距離を検出する。
具体的には、焦点距離検出部43は、処理対象の特徴領域において合焦するように移動されたフォーカスレンズ31Fが移動された場合における、フォーカスレンズ31Fの光軸方向の位置情報を撮像部16から取得して、当該位置情報に基づいて処理対象の特徴領域についての焦点距離を検出する。焦点距離検出部43は、重点特徴領域を含む各特徴領域の各々についての焦点距離の情報、及びスルー画像のデータを焦点距離比較部44に供給する。
焦点距離比較部44は、焦点距離検出部43により検出された重点特徴領域についての焦点距離と、それ以外の各特徴領域についての焦点距離とを比較する。
具体的には、焦点距離比較部44は、重点特徴領域についての焦点距離と、それ以外の各特徴領域についての焦点距離との差分(距離差)に基づき、重点特徴領域とそれ以外の各特徴領域についての各焦点距離の相対関係を求める。
ここで、処理対象の特徴領域の焦点距離と、実世界における、撮像装置1から当該特徴領域に対応する被写体等までの実距離とは一定の対応関係がある。このため、重点特徴領域とそれ以外の特徴領域についての各焦点距離の相対関係(焦点距離の比較結果)は、実世界での被写体間位置関係を疑似的に表わすことになる。即ち、焦点距離比較部44は、実世界での被写体間位置関係を疑似的に求める。焦点距離比較部44は、焦点距離の比較結果(実世界での被写体間位置関係)、及びスルー画像のデータを立体感算出部45に供給する。
立体感算出部45は、焦点距離比較部44の焦点距離の比較結果(実世界での被写体間位置関係)に基づいて、撮像部16により撮像される画像に対する立体感を算出する。
本実施形態では、立体感算出部45は、重点特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離との差分の絶対値を、立体感を示す値として算出する。
なお、重点特徴領域以外の特徴領域が複数存在する場合には、これらの複数の特徴領域のうち、任意の1つが選択されて、選択された特徴領域についての焦点距離が用いられて、立体感が算出される。
具体的には例えば、表示制御部46は、特徴領域抽出部42により抽出された複数の特徴領域(それを示す枠等)をスルー画像に重畳して出力部18のディスプレイに表示させてもよい。この場合、ユーザは、入力部17を操作することにより、ディスプレイに表示された複数の特徴領域の中から任意の1つを選択することができる。立体感算出部45は、このようにしてユーザにより選択された特徴領域についての焦点距離を用いて、立体感を算出してもよい。
また例えば、立体感算出部45は、重点特徴領域との焦点距離の差分の絶対値が一番大きくなる又は小さくなる特徴領域を選択し、当該特徴領域についての焦点距離を用いて立体感を算出してもよい。
さらに、立体感算出部45は、重点特徴領域についての焦点距離と、それ以外の複数の特量領域についての各焦点距離との各差分をそれぞれ求め、これらの複数の差分を総合的に勘案して、立体感を算出してもよい。
さらにまた、立体感を算出するために必要なパラメータは、重点特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離との差分(実世界での被写体間位置関係)に特に限定されず、これとともに又はこれに代えて、任意の数の任意の種類のパラメータを採用することができる。
例えば、立体感算出部45は、モード設定部51により設定された撮像モードや、撮像条件設定部52により設定された撮像条件をパラメータの1つに加えて、立体感を算出してもよい。即ち、立体感算出部45は、実世界での被写体間位置関係のみならず、ズーム倍率や絞りの設定値を総合的にして、立体感を算出してもよい。
表示制御部46は、立体感算出部45により算出された立体感を示すシンボル画像のデータを、撮像部16から供給されたスルー画像のデータに重畳し、その結果得られるデータにより表現される画像(以下、「立体感重畳画像」と呼ぶ)を、出力部18のディスプレイに表示させる制御を実行する。
なお、立体感重畳画像のデータは、通信部20によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタ等でも、立体感重畳画像の表示が可能になる。
画像処理部61は、画像の記録が指示されると、その指示の時点のスルー画像として表示されている撮像画像のデータを立体感算出部45から取得する。そして、画像処理部61は、当該撮像画像(スルー画像)のデータから、3D表示のための、左目用と右目用の各画像のデータを生成して、記憶部19に記憶させる。
ここで、立体感算出部45により算出された立体感の値が所定の閾値以下である場合には、このような左目用と右目用の各画像により3D表示がなされても、十分な立体感は得られないことになる。そこで、立体感算出部45により算出された立体感の値が所定の閾値以下である場合に、画像処理部61は、撮像画像のデータに対して、立体感を強調させる画像処理(以下、「立体感強調画像処理」と呼ぶ)を施した上で、左目用と右目用の各画像のデータを生成する。
具体的には、画像処理部61は、焦点距離比較部44の比較結果に基づき、左目用と右目用の各画像における強調特徴領域の視差を強調せるように、立体感強調画像処理を実行する。
ここで、画像処理部61は、立体感算出部45により算出された立体感に基づいて視差の強調を行うことができる。具体的には、画像処理部61は、上述した重点特徴領域とそれ以外の特徴領域との差分に応じて視差の強調を行うことができる。即ち、差分が小さい場合には、画像処理部61は、右目用画像と左目用画像との視差を、当該差分に応じて大きくすることで、立体感を強調することができる。
そして、画像処理部61は、当該立体感画像処理の実行結果に基づいて、撮像画像のデータから、左目用と右目用の画像のデータを生成して、記憶部19に記録させる。
次に、図3を参照して、このような図2の機能的構成の撮像装置1が実行するモード設定処理について説明する。図3は、図2の機能的構成を有する図1の撮像装置1が実行するモード設定処理の流れを説明するフローチャートである。
モード設定処理は、後述の図4を参照して説明する撮影処理とは独立して実行される処理(並行して実行される場合あり)であり、ユーザにより入力部17の電源ボタンが押下されたことを契機として開始され、その後、所定の単位時間毎に実行される。即ち、所定の単位時間毎に、次のような処理が繰り返し実行される。
ステップS11において、モード設定部51は、撮影モード設定ボタンが押下操作されたか否かを判定する。
撮影モード設定ボタンが押下操作された場合、ステップS11においてYESであると判定されて、処理はステップS12に進む。
ステップS12において、モード設定部51は、撮影モードを設定する。これにより、設定された撮影モードで規定される各種撮影条件で、撮像部16が被写体を撮像することになる。
このように、撮影モード設定ボタンが押下操作された場合、ステップS11においてYESであると判定された後、ステップS12の処理が実行されて、処理はステップS13に進む。これに対して、撮影モード設定ボタンが押下操作されてない場合、ステップS11においてNOであると判定されて、ステップS12の処理が実行されずに、処理はステップS13に進む。
ステップS13において、モード設定部51は、立体感設定ボタンが押下操作されたか否かを判定する。
立体感設定ボタンが押下操作されていない場合、ステップS13においてNOであると判定されて、モード設定処理は終了となる。
これに対して、立体感設定ボタンが押下操作された場合、ステップS13においてYESであると判定されて、処理はステップS14に進む。
ステップS14において、モード設定部51は、立体感表示モードの設定又は解除をする。
具体的には、モード設定部51は、後述の図5の3D効果判定処理を行うか否かを判定するための3D効果判定フラグがオフの状態で立体感設定ボタンが押下操作された場合には、3D効果判定フラグをオンにすることで、立体感表示モードを設定する。このようにして3D効果判定フラグがオンになると、後述の図4のステップS37においてYESであると判定されて、3D効果判定処理が実行される。
これに対して、3D効果判定フラグがオン状態で立体感設定ボタンが押下操作された場合には、モード設定部51は、3D効果判定フラグをオフにすることで、立体感表示モードを解除する。このようにして3D効果判定フラグがオフにされると、後述の図4のステップS37においてNOであると判定されて、3D効果判定処理は実行されない。
このようなステップS14の処理が終了すると、モード設定処理は終了する。
次に、図4を参照して、上述の図2の機能的構成の撮像装置1が実行する、撮影処理について説明する。
図4は、図2の機能的構成を有する図1の撮像装置1が実行する撮影処理の流れを説明するフローチャートである。
撮影処理は、上述の図3を参照して説明したモード設定処理とは独立して実行される処理(並行して実行される場合あり)であり、ユーザにより入力部17に対する所定の操作がなされたことを契機として開始され、その後、所定の単位時間毎に実行される。即ち、所定の単位時間毎に、次のような処理が繰り返し実行される。
ステップS31において、表示制御部48は、スルー画像表示を開始する。これにより、スルー画像が出力部18のディスプレイに表示される。なお、本実施形態では、撮影処理が終了されるまでの間、スルー画像が出力部18のディスプレイに表示され続けるものとする。
ステップS32において、撮像条件設定部52は、シャッタスイッチが半押しされたか否かを判定する。
シャッタスイッチが半押しされていない場合、ステップS32においてNOであると判定されて、処理はステップS32に戻される。即ち、本実施形態ではシャッタスイッチが半押しされるまでの間、ステップS32の判定処理が繰り返し実行されて、撮影処理は待機状態となる。この待機状態中に、シャッタスイッチが半押しされると、ステップS32においてYESであると判定されて、処理はステップS33に進む。
ステップS33において、撮像条件設定部52は、ズーム倍率を設定する。
ステップS34において、撮像条件設定部52は、ステップS33の処理で設定されたズーム倍率に基づいてズームを行う。具体的には、撮像条件設定部52は、設定されたズーム倍率となるように、ズームレンズ31Zを駆動する。
ステップS35において、撮像条件設定部52は、絞りの設定を行う。
ステップS36において、撮像条件設定部52は、ステップS35の処理で設定された絞りに基づいて撮像部16へ入射する光の量を調整する。
ステップS37において、モード設定部51は、立体感表示モードであるか否かを判定する。具体的には、モード設定部51は、図3のステップS14において設定された3D効果判定フラグがオンであるか否かを判定する。
立体感表示モードではない場合、即ち、3D効果判定フラグがオフである場合には、ステップS37においてNOであると判定されて、ステップS37の3D効果判定処理は実行されずに、処理はステップS39に進む。
これに対し、立体感表示モードである場合、即ち、3D効果判定フラグがオンである場合には、ステップS37においてYESであると判定されて、処理はステップS38に進む。ステップS38において、画像取得部41乃至表示制御部46は、後述の図5を参照して説明する3D効果判定処理を実行する。これにより、処理はステップS39に進む。
ステップS39において、撮像条件設定部52は、シャッタスイッチが全押しされたか否かを判定する。シャッタスイッチが全押しされていない場合、ステップS39においてNOであると判定されて、処理はステップS33に戻され、それ以降の処理が繰り返される。即ち、本実施形態ではシャッタスイッチが半押しされている限り、シャッタスイッチが全押しされるまでの間、ステップS32:YES及びステップS39:NOのループ処理が繰り返し実行されて、撮像処理は待機状態となる。
このような待機状態中に、シャッタスイッチが全押しされると、ステップS39においてYESであると判定されて、処理はステップS40に進む。
ステップS40において、撮像部16は撮像処理を行う。具体的には、画像取得部41は、撮像部16を制御して、その時点でスルー画像として表示されている撮像画像のデータを取得する。取得された撮像画像のデータは、RAM13や記憶部19等のメモリに一時的に記憶される。
ステップS41において、画像処理部61は、立体感算出部45により算出された立体感の算出結果が所定の閾値以下であるか否かを判定する。
立体感は、ステップS38の3D効果判定処理(詳細には後述の図5のステップS65の処理)で算出される。
したがって、そもそもステップS38の3D効果判定処理が実行されていない場合、又は、当該3D効果判定処理が実行されたが、その立体感の算出結果が閾値より大きい場合(ステップS41の処理で取得されたオリジナルの撮像画像のままで立体感が充分に得られている場合)には、ステップS42の立体感強調画像処理は実行されずに、処理はステップS43に進む。
ステップS43において、画像処理部61は、ステップS40の撮像処理により得られたオリジナルの撮像画像のデータから、左目用と右目用の各画像(立体感強調画像処理が施されていない画像)のデータを生成して、記憶部19に記憶させる。
この処理が終了すると撮影処理が終了する。
これに対し、ステップS38の3D効果判定処理による立体感の算出結果が閾値以下である場合、即ちステップS41の処理で取得された撮像画像のままで立体感が充分に得られていない場合、処理はステップS42に進む。
ステップS42において、画像処理部61は、ステップS41の処理で取得された撮像画像のデータに対して、立体感強調画像処理を施す。
ステップS43において、画像処理部61は、ステップS42の立体感強調画像処理が施された撮像画像のデータから、左目用と右目用の各画像のデータを生成して、記憶部19に記憶させる。
この処理が終了すると撮影処理が終了する。
次に、図5を参照して、このような撮影処理のうち、ステップS38の3D効果判定処理について説明する。
図5は、図2の機能的構成を有する図1の撮像装置1が実行する図4の撮影処理のうち、ステップS38の3D効果判定処理の流れを説明するフローチャートである。
3D効果判定処理は、本実施形態では、ユーザが入力部10の立体感設定ボタンを押下操作して、3D効果判定フラグをオンにしたことによって、図3のモード設定処理のステップS14の処理で立体感表示モードが設定され、その結果、図4の撮影処理のステップS37の処理で、立体感表示モードであると判定されたことを契機として開始される。即ち、次のような処理が実行される。
ステップS61において、画像取得部41は、スルー画像のデータを撮像部16から取得する。
ステップS62において、特徴領域抽出部42は、ステップS61の処理でデータとして取得されたスルー画像から、複数の特徴領域をそれぞれ抽出する。
ステップS63において、特徴領域抽出部42は、ステップS61の処理で抽出された複数の特徴領域の中から、重点特徴領域を特定する。
なお、ステップS61及び62の処理、即ち、複数の特徴領域の抽出、及びそのうちの重点特徴領域の特定(選択)の処理は、特徴領域抽出部42の自律的判断により実行されてもよいし、ユーザの操作による指示に基づいて実行されてもよい。即ち、ユーザが入力部17を直接に操作することにより、スルー画像の中から任意の1以上の領域を特徴領域として選択することができ、さらに、その中から重点特徴領域を選択することもできる。
ステップS64において、焦点距離検出部43は、ステップS61の処理で抽出された各特徴領域についての焦点距離をそれぞれ検出する。
ステップS65において、焦点距離比較部44は、ステップS63の処理で検出した、重点特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する。
ステップS66において、立体感算出部45は、ステップS65の比較結果に基づいて、立体感を算出する。
この場合、立体感算出部45は、ステップS64の比較結果のみならず、図3のステップS12の処理で設定した撮影モード、図4のステップS33やステップS35の処理で設定した撮像条件等を総合的に勘案して、立体感の算出を行ってもよい。
ステップS67において、表示制御部46は、ステップS65において算出された立体感の算出結果を出力部18に出力する。この処理が終了すると3D効果判定処理を終了する。
さらに、以下、図6乃至図11を参照して、3D効果判定処理について具体的に説明する。
図6は、3D効果判定処理中における出力部18のディスプレイの表示例を示している。
図6(A)は、3D効果判定処理の開始時に出力部18のディスプレイの画面の一例を示している。
ユーザは、入力部17(図1)の立体感設定ボタンを押下操作することで、立体感表示モードの設定を指示することができる。モード設定部51は、このような指示に基づいて、立体感表示モードを設定する。この設定が維持されたまま、ユーザが、入力部17のシャッタボタンを半押しすると、ステップS37(図4)の処理でYESであると判定されて、ステップS38の3D効果判定処理が開始する。
すると、図6(A)に示すような画面が出力部18のディスプレイに表示される。この場合、画面全体にスルー画像が表示され、当該画面の左上には、「3Dレベルを判定します」というメッセージを含むモード開始表示101が表示される。
ユーザは、このモード開始表示101を視認することによって、3D効果判定処理が開始されたこと、即ち、3D表示のための記録用の撮像前に立体感の確認表示がこれから行われることを容易に把握することができる。
なお、モード開始表示101は、3D効果判定処理の開始後に表示されれば足り、消去タイミングは特に限定されず、表示開始後所定時間経過後に消去されてもよいし、後述する立体感の算出結果が表示される際に消去されてもよい。
ただし、特量領域の抽出時及び抽出後には、当該特徴領域をユーザが視認できるように、当該特徴領域と重畳しない位置に、モード開始表示101を表示させると好適である。
図6(B)は、図5の3D効果判定処理のステップS62及びS63の処理後の状態の出力部18のディスプレイの画面の一例を示している。
ステップS62の処理では、スルー画像から複数の特徴領域が抽出される。図6(B)の例では、スルー画像の中から、の特徴領域A1,A2,A3,A4がそれぞれ抽出されて、点線枠で囲まれて強調表示される。特徴領域A1,A2,A3,A4の各々は、スルー画像中に含まれる「山」,「林」,「石」,「人物」の各々のオブジェクトをそれぞれ示している。
ここで、次のステップS63の処理で、「人物」のオブジェクトを示す特徴領域A4が重点特徴領域として特定されたものとする。この場合、図6(B)に示すように、重点特徴領域A4は、それ以外の特徴領域A1,A2,A3とユーザが容易に区別できるように、太枠や異なる色枠で囲まれて強調表示されている。
なお、特徴領域A1,A2,A3,A4の抽出や、その中から特徴領域A4を重点特徴領域として特定される処理は、ユーザが入力部17を操作することにより選択したものに基づいて実行されてもよいし、特徴領域抽出部42による自律的な判断で実行されてもよい。
特徴領域抽出部42が重点特徴領域を自律的な判断で特定する手法は、特に限定されず、例えば、任意の人物又は顔検出手法を用いて人物又は顔の領域を重点特徴領域として特定する手法や、スルー画像中に含まれる特徴領域のうち、一番大きな特徴領域を重点特徴領域として特定する手法を採用することができる。
図7は、図6の各特徴領域A1,A2,A3,A4を処理対象として実行される図5のステップS64の処理結果、即ち、各特徴領域A1,A2,A3,A4についての各焦点距離を示す図である。
図5の3D効果判定処理のステップS64の処理では、ステップS62の処理で抽出された図6の各特徴領域A1,A2,A3,A4の各々について、焦点距離da1,da2,da3,da4の各々が検出される。
ここで、焦点距離da1,da2,da3,da4と、特徴領域A1,A2,A3,A4の各々に対する被写体a1,a2,a3,a4の各々までの距離(以下、「被写体距離」と呼ぶ)との間は、一定の対応関係がある。
即ち、所定の被写体の焦点距離とは、当該所定の被写体に合焦している場合のフォーカスレンズ31Fの位置(レンズアドレス)に対応し、当該レンズアドレスが撮像素子に近づくほど、被写体距離が遠くなっていくという関係が存在する。
図7の例では、焦点距離(レンズアドレス)da1,da2,da3,da4の各々に対して、合焦した被写体a1,a2,a3,a4の各々までの被写体距離、即ち「∞」,「15m」,「5m」,「1m」の各々が対応している。
この場合、重点特徴領域A4の焦点距離da4と、それ以外の特徴領域A1,A2,A3の各焦点距離da1,da2,da3の各々との相対関係は、被写体距離が「1m」に対して、被写体距離が「5m」,「15m」,「∞」の各々になるという相対関係、即ち実世界での被写体間位置関係を疑似的に表わすことになる。
即ち、次のステップS65(図5)の処理では、重点特徴領域A4の焦点距離da4と、それ以外の特徴領域A1,A2,A3の各焦点距離da1,da2,da3の各々とが比較されるが、この比較は、実世界での被写体間位置関係を疑似的に求めていることと等価になる。
そして、ステップS66の処理で、このような比較結果、即ち実世界での被写体間位置関係に基づいて立体感が求められ、ステップS67の処理で、立体感を示すシンボル画像が、スルー画像に重畳されて表示される。
図8は、図5の3D効果判定処理のステップS67の処理後の状態の出力部18のディスプレイの画面、即ち、立体感を示すシンボル画像がスルー画像に重畳された画面の一例を示す図である。
図8に示すように、出力部18のディスプレイの画面全体にはスルー画像が表示され、当該スルー画像の右側において、上下方向に沿って配置された長尺状のゲージ102が重畳して表示されている。
ゲージ102の上端には、立体感が最高値であることを示す「Max」の文字列が表示され、ゲージ102の下端には、立体感が最低値であることを示す「Min」の文字列が表示されている。
そして、ゲージ102の「Max」の文字列と「Min」の文字列との間の長尺状のゲージ102のうちステップS66の処理で求められた立体感を示す位置を矢印表示するための立体感提示部103が、立体感を示すシンボル画像の1つとして表示されている。
これにより、ユーザは、この立体感提示部103により提示される立体感の度合いを視認することで、3D表示のための記録用の撮影前に、スルー画像に含まれる重点特徴領域が示すオブジェクトが奥行きや厚みを感じるような撮影ができるか否かを容易に確認することができる。
次に、図9乃至図11を参照して、実世界での被写体間位置関係の差異による、図5の3D効果判定処理の結果の違い、即ち立体感の求め方の違いについて説明する。
図9は、スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離の全てが近い場合における、図5の3D効果判定処理の結果の一例を示している。
図9(A)は、スルー画像から各特徴領域及び重点特徴領域が特定された状態の出力部18のディスプレイの画面の一例を示している。
図9(A)の例では、スルー画像から、「机」のオブジェクトを示す特徴領域B1、「皿」のオブジェクトを示す特徴領域B2、及び「魚」のオブジェクトを示す特徴領域B3が抽出され、枠で囲まれるようにして強調表示されている。そして、特徴領域B3が重点特徴領域として特定され、それ以外の特徴領域B1,B2と明確に区別がつくように、太枠や異なる色枠によって囲まれるようにして強調表示されている。
図9(B)は、図9(A)の各特徴領域B1,B2,B3を処理対象として実行される図5のステップS64の処理結果、即ち、各特徴領域B1,B2,B3についての各焦点距離を示す図である。
図5の3D効果判定処理のステップS64の処理では、図9(B)の各特徴領域B1,B2,B3の各々について、焦点距離db1,db2,db3の各々が検出される。
図9(B)の例では、焦点距離(レンズアドレス)db1,db2,db3の各々に対して、特徴領域B1,B2,B3の各々に対応する被写体b1,b2,b3の各々までの被写体距離、即ち「0.2m」,「0.15m」,「0.1m」の各々が対応している。
この場合、重点特徴領域B3の焦点距離db3と、それ以外の特徴領域B1,B2の各焦点距離db1,db2の各々との相対関係として、焦点距離の差分を用いることができる。この場合、焦点距離の差分は、実世界での被写体距離の差分を示すのと等価である。即ち、実世界での被写体間位置関係として被写体距離の差分が採用され、具体的な演算は、焦点距離の差分によって近似的に行われる。
本例では、重点特徴領域B3の焦点距離db3と、特徴領域B1の焦点距離db1との差分は、重点特徴領域B3に対応する被写体b3の被写体距離「0.1m」と、特徴領域B1に対応する被写体b1の被写体距離「0.2m」の差分、即ち「0.1m」と対応している。また、重点特徴領域B3の焦点距離db3と、特徴領域B2の焦点距離db2との差分は、重点特徴領域B3に対応する被写体b3の被写体距離「0.1m」と、特徴領域B2に対応する被写体b2の被写体距離「0.15m」の差分、即ち「0.05m」と対応している。
このように、重点特徴領域B3の焦点距離db3と、それ以外の特徴領域B1,B2の各焦点距離db1,db2の各々との差分から、重点特徴領域B3に対応する被写体b3と、特徴領域B1に対応する被写体b1及び特徴領域B2に対応する被写体b2との間の実距離は「0.1m」や「0.05m」といった近距離であることが容易にわかる。
この場合、スルー画像中に含まれる重点特徴領域B3に対応する被写体b3と、それ以外の特徴領域B1,B2に対応する被写体b1,b2との焦点距離の差分、及び各特徴領域B1,B2,B3の焦点距離に対する重み付け等を総合的に勘案して立体感が算出される。
したがって、ステップS66の処理では、スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離の全てが近いと認定されて、立体感として低い値が求められる。
図9(C)は、実世界での被写体間位置関係が図9(B)の関係の場合における、図5の3D効果判定処理のステップS67の処理後の状態の出力部18のディスプレイの画面、即ち、立体感を示すシンボル画像がスルー画像に重畳された画面の一例を示す図である。
ユーザは、図9(C)に示すように、ゲージ102の「Max」の文字列と「Min」の文字列との間の長尺状のゲージ102のうち、立体感提示部103が示す位置を視認することで、立体感は低値であることが容易にわかる。即ち、ユーザは、図9(C)のスルー画像を用いて3D表示を実際にする前に、重点特徴領域B3に対応する「魚」が、それ以外の特徴領域B2,B1の各々に対応する「皿」,「机」に対してさほど飛び出して見えない(奥行きがあまり感じられない)3D表示になると、容易に推定することが可能になる。
より一般的にいえば、ユーザは、図9(C)の立体感提示部103を視認することで、スルー画像に含まれる全てのオブジェクト(特徴領域)が近い場合に得られる3D表示は、立体感が小さいものになることを容易に推定することができる。
図10は、スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離が離れている(ばらけている)場合における、図5の3D効果判定処理の結果の一例を示している。
図10(A)は、スルー画像から各特徴領域及び重点特徴領域が特定された状態の出力部18のディスプレイの画面の一例を示している。
図10(A)の例では、スルー画像から、「山」のオブジェクトを示す特徴領域C1、「人1」のオブジェクトを示す特徴領域C2、及び「人2」のオブジェクトを示す特徴領域C3が抽出され、枠で囲まれるようにして強調表示されている。そして、特徴領域C3が重点特徴領域として特定され、それ以外の特徴領域C1,C2と明確に区別がつくように、太枠や異なる色枠によって囲まれるようにして強調表示されている。
図10(B)は、図10(A)の各特徴領域C1,C2,C3を処理対象として実行される図5のステップS64の処理結果、即ち、各特徴領域C1,C2,C3についての各焦点距離を示す図である。
図5の3D効果判定処理のステップS64の処理では、図10(B)の各特徴領域C1,C2,C3の各々について、焦点距離dc1,dc2,dc3の各々が検出される。
図10(B)の例では、焦点距離(レンズアドレス)dc1,dc2,dc3の各々に対して、特徴領域C1,C2,C3の各々に対応する被写体c1,c2,c3の各々までの被写体距離、即ち「∞(無限大)m」,「5m」,「1m」の各々が対応している。
この場合、重点特徴領域C3の焦点距離dc3と、それ以外の特徴領域C1,C2の各焦点距離dc1,dc2の各々との相対関係として、焦点距離の差分を用いることができる。この場合、焦点距離の差分は、実世界での被写体距離の差分を示すのと等価である。即ち、実世界での被写体間位置関係として被写体距離の差分が採用され、具体的な演算は、焦点距離の差分によって近似的に行われる。
本例では、重点特徴領域C3の焦点距離dc3と、特徴領域C1の焦点距離dc1との差分は、重点特徴領域C3に対応する被写体c3の被写体距離「1m」と、特徴領域C1に対応する被写体c1の被写体距離「∞(無限大)m」の差分、即ち「(∞−1)m」と対応している。また、重点特徴領域C3の焦点距離dc3と、特徴領域C2の焦点距離dc2との差分は、重点特徴領域C3に対応する被写体c3の被写体距離「1m」と、特徴領域C2に対応する被写体c2の被写体距離「5m」の差分、即ち「4m」と対応している。
このように、重点特徴領域C3の焦点距離dc3と、それ以外の特徴領域C1,C2の各焦点距離dc1,dc2の各々との差分から、重点特徴領域C3に対応する被写体c3と、特徴領域C1に対応する被写体c1及び特徴領域C2に対応する被写体c2との間の実距離は「(∞−1)m」や「4m」といった遠距離であることが容易にわかる。
この場合、スルー画像中に含まれる重点特徴領域C3に対応する被写体c3と、それ以外の特徴領域C1,C2に対応する被写体c1,c2との焦点距離の差分、及び各特徴領域C1,C2,C3の焦点距離に対する重み付け等を総合的に勘案して立体感が算出される。
したがって、ステップS66の処理では、スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離がそれぞれ離れている、即ちそれぞれの被写体距離が遠いと認定されて、立体感として高い値が求められる。
図10(C)は、実世界での被写体間位置関係が図10(B)の関係の場合における、図5の3D効果判定処理のステップS67の処理後の状態の出力部18のディスプレイの画面、即ち、立体感を示すシンボル画像がスルー画像に重畳された画面の一例を示す図である。
ユーザは、図10(C)に示すように、ゲージ102の「Max」の文字列と「Min」の文字列との間の長尺状のゲージ102のうち、立体感提示部103が示す位置を視認することで、立体感は高値であることが容易にわかる。即ち、ユーザは、図10(C)のスルー画像を用いて3D表示を実際にする前に、重点特徴領域C3に対応する「人2」が、それ以外の特徴領域C2,C1の各々に対応する「人1」,「山」に対して大きく飛び出して見える(奥行きが感じられる)3D表示になると、容易に推定することが可能になる。
より一般的にいえば、ユーザは、図10(C)の立体感提示部103を視認することで、スルー画像に含まれる全てのオブジェクト(特徴領域)が離れている(ばらけている)場合に得られる3D表示は、立体感が大きいものになることを容易に推定することができる。
図11は、スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離の全てが遠い場合における、図5の3D効果判定処理の結果の一例を示している。
図11(A)は、スルー画像から各特徴領域及び重点特徴領域が特定された状態の出力部18のディスプレイの画面の一例を示している。
図11(A)の例では、スルー画像から、「山1」のオブジェクトを示す特徴領域D1、「山2」のオブジェクトを示す特徴領域D2、及び「人」のオブジェクトを示す特徴領域D3が抽出され、枠で囲まれるようにして強調表示されている。そして、特徴領域D3が重点特徴領域として特定され、それ以外の特徴領域D1,D2と明確に区別がつくように、太枠や異なる色枠によって囲まれるようにして強調表示されている。
図11(B)は、図11(A)の各特徴領域D1,D2,D3を処理対象として実行される図5のステップS64の処理結果、即ち、各特徴領域D1,D2,D3についての各焦点距離を示す図である。
図5の3D効果判定処理のステップS64の処理では、図11(B)の各特徴領域D1,D2,D3の各々について、焦点距離dd1,dd2,dd3の各々が検出される。
図11(B)の例では、焦点距離(レンズアドレス)dd1,dd2,dd3の各々に対して、特徴領域D1,D2,D3の各々に対応する被写体d1,d2,d3の各々までの被写体距離、即ち「50m」,「40m」,「30m」の各々が対応している。
この場合、重点特徴領域D3の焦点距離dd3と、それ以外の特徴領域D1,D2の各焦点距離dd1,dd2の各々との相対関係として、焦点距離の差分を用いることができる。この場合、焦点距離の差分は、実世界での被写体距離の差分を示すのと等価である。即ち、実世界での被写体間位置関係として被写体距離の差分が採用され、具体的な演算は、焦点距離の差分によって近似的に行われる。
本例では、重点特徴領域D3の焦点距離dd3と、特徴領域D1の焦点距離dd1との差分は、重点特徴領域D3に対応する被写体d3の被写体距離「30m」と、特徴領域D1に対応する被写体d1の被写体距離「50m」の差分、即ち「20m」と対応している。また、重点特徴領域D3の焦点距離dd3と、特徴領域D2の焦点距離dd2との差分は、重点特徴領域D3に対応する被写体d3の被写体距離「30m」と、特徴領域D2に対応する被写体d2の被写体距離「40m」の差分、即ち「10m」と対応している。
このように、重点特徴領域D3の焦点距離dd3と、それ以外の特徴領域D1,D2の各焦点距離dd1,dd2の各々との差分から、重点特徴領域D3に対応する被写体d3と、特徴領域D1に対応する被写体d1及び特徴領域D2に対応する被写体d2との間の実距離は「20m」や「10m」といった近距離であることが容易にわかる。
この場合、スルー画像中に含まれる重点特徴領域D3に対応する被写体d3と、それ以外の特徴領域D1,D2に対応する被写体d1,d2との焦点距離の差分、及び各特徴領域D1,D2,D3の焦点距離に対する重み付け等を総合的に勘案して立体感が算出される。
したがって、この場合、ステップS66の処理では、スルー画像中に含まれる各特徴領域に対応する各被写体の被写体距離の全てが近いと認定されて、立体感として低い値が求められる。
図11(C)は、実世界での被写体間位置関係が図11(B)の関係の場合における、図5の3D効果判定処理のステップS67の処理後の状態の出力部18のディスプレイの画面、即ち、立体感を示すシンボル画像がスルー画像に重畳された画面の一例を示す図である。
ユーザは、図11(C)に示すように、ゲージ102の「Max」の文字列と「Min」の文字列との間の長尺状のゲージ102のうち、立体感提示部103が示す位置を視認することで、立体感は低値であることが容易にわかる。即ち、ユーザは、図11(C)のスルー画像を用いて3D表示を実際にする前に、重点特徴領域D3に対応する「人」が、それ以外の特徴領域D2,D1の各々に対応する「山2」,「山1」に対してさほど飛び出して見えない(奥行きがあまり感じられない)3D表示になると、容易に推定することが可能になる。
より一般的にいえば、ユーザは、図11(C)の立体感提示部103を視認することで、スルー画像に含まれる全てのオブジェクト(特徴領域)が遠い場合に得られる3D表示は、立体感が小さいものになることを容易に推定することができる。
以上説明したように、本実施形態の撮像装置1は、撮像部16と、特徴領域抽出部42と、焦点距離検出部43と、焦点距離比較部44と、立体感算出部45と、を備える。
撮像部16は、複数の被写体を撮像して画像を得る。
特徴領域抽出部42は、撮像部16により撮像される画像に含まれる複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する。
焦点距離検出部43は、特徴領域抽出部42により抽出された複数の特徴領域についての焦点距離を検出する。
焦点距離比較部44は、焦点距離検出部43により検出された焦点距離のうち、主となる特徴領域(重点特徴領域)についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する。
立体感算出部45は、焦点距離比較部44の比較結果に基づいて、撮像部16により撮像された画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する。
この場合、特徴領域の焦点距離と、実世界における、撮像装置1から当該特徴領域に対応する被写体等までの実距離とは一定の対応関係がある。このため、重点特徴領域とそれ以外の特徴領域についての各焦点距離の相対関係を比較することにより、実世界での被写体間位置関係を疑似的に推定することができる。
したがって、撮像部16によって撮像された画像に含まれる重点特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較することによって、撮影記録操作前の段階で、撮影記録操作後に得られるであろう3D画像の立体感の程度を予測して、その結果をユーザに提供することができる。
また、焦点距離を比較し、その比較結果に基づいて立体感の情報を算出しているため、撮像装置に元々設けられている機能を利用して立体感を算出することができるため、撮像装置の製造コストの上昇を抑制することができる。
さらに、本実施形態の撮像装置1は、撮像部16により撮像する際のズーム倍率を設定する撮像条件設定部52をさらに備え、立体感算出部45は、焦点距離比較部44の比較結果に加えて、撮像条件設定部52により設定されたズーム倍率に基づいて、立体感の度合いを算出することができる。
この場合、3D画像により得られる立体感は、ズーム倍率に応じて異なる立体感となるため、このズーム倍率に基づいて算出する立体感の度合いを修正することで、算出される立体感の度合いをより現実のものに近づけることができる。したがって、設定されたズーム倍率に基づいて立体感の度合いを算出することにより、撮像部16により撮像される画像の立体感をより具体的に推定し、その結果をユーザに提供することができる。
さらに、本実施形態の撮像装置1は、撮像部16へ入射する光の量を調整する撮像条件設定部52をさらに備え、立体感算出部45は、焦点距離比較部44の比較結果に加えて、撮像条件設定部52により調整される光の量、即ち絞り量に基づいて立体感の度合いを算出することができる。
この場合、3D画像により得られる立体感は、絞りに応じて異なる立体感となるため、この絞りに基づいて算出する立体感の度合いを修正することで、算出される立体感の度合いをより現実のものに近づけることができる。したがって、設定された絞りに基づいて立体感の度合いを算出することにより、撮像部16により撮像される画像の立体感をより具体的に推定し、その結果をユーザに提供することができる。
さらに、本実施形態の撮像装置1は、撮像部16により撮像される撮像モードを設定するモード設定部51をさらに備え、特徴領域抽出部42は、焦点距離比較部44の比較結果に加えて、モード設定部51により設定された撮像モードに基づいて、複数の特徴領域を抽出する。
この場合、撮像モードに応じて特徴領域を抽出することで、各撮像モードに応じて比較するべきオブジェクトを設定することができる。即ち、人物モードなる撮像モードである場合には、人物を重点特徴領域として決定したり、風景モードなる撮像モードである場合には、風景を重点特徴領域として決定することで、ユーザの所望するオブジェクトに対する立体感の度合いを算出することができる。したがって、設定された撮像モードに基づいて立体感の情報を算出することができ、撮像部16により撮像される画像の立体感をより具体的に推定し、その結果をユーザに提供することができる。
さらに、本実施形態の撮像装置1は、撮像部16により撮像された画像から所定の領域を特徴領域として選択する指示操作を受け付ける入力部17を備える。
そして、特徴領域抽出部42は、入力部17により指示操作された特徴領域を、重点特徴領域として特定する。
この場合、ユーザの入力部17への指示操作に基づいて抽出する重点特徴領域を特定することで、ユーザの所望に応じて対比するべきオブジェクトを特定することができる。即ち、ユーザが確認したいオブジェクトを指示操作することで、ユーザの所望するオブジェクトに対する立体感の度合いを確実に算出することができる。したがって、入力部17を介して指示操作されたオブジェクトの重点特徴領域に基づいて立体感の度合いを算出することができ、撮像部16により撮像される画像の立体感をより具体的に推定し、その結果をユーザに提供することができる。
さらに、本実施形態の撮像装置1は、撮像部16により撮像された画像に対して立体感算出部45により算出された立体感を示す立体感提示部103を重畳表示する制御を実行する表示制御部46をさらに備える。
この場合、ユーザは、画像に重畳表示された立体感提示部103により提示される立体感の度合いを視認することで、重点特徴領域が示すオブジェクトが奥行きや厚みを感じるような撮影ができるか否かを容易に確認することができる。
したがって、立体感提示部103を重畳表示させることで、3D画像の撮影記録操作前の段階で、撮影記録操作後に得られるであろう3D画像の立体感の程度をユーザに提示することができる。
さらに、本実施形態の撮像装置1は、立体感算出部45により算出された立体感の値が所定の閾値以下である場合に、撮像部16により撮像された画像の立体感を強調させる画像処理部61をさらに備える。したがって、得られる画像の立体感の度合いが小さいものとなってしまうと推定できる場合には、左目用画像と右目用画像との視差を強調することで、立体感のある画像とすることができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態では、特徴領域を抽出し、主となる特徴領域に対する焦点距離と、主となる特徴領域以外の領域に対する焦点距離とを比較し、その比較結果に基づいて立体感の情報を算出しているがこれに限られない。例えば、各特徴領域に対する距離を赤外線や超音波により各特徴領域に対する実測値を測定し、各特徴領域に対する実測値を比較し、その比較結果に基づいて立体感の情報を算出してもよい。
また、撮像部16により撮像される画像は、静止画に限られるものではなく、動画像中のフレームを逐次取得し、その取得したフレーム中に存在するオブジェクトに対する特徴領域を検出し、検出した各特徴領域に対する焦点距離を比較してもよい。
また、立体感算出部45は、焦点距離比較部4により比較された重点特徴領域についての焦点距離とそれ以外の特徴領域の焦点距離との比較結果に基づいて、立体感の度合いを算出しているがこれに限られるものではない。即ち、超音波や赤外線等を用いて、特徴領域抽出部42により抽出された複数の特徴領域についての推定距離を検出する。そして、推定された各推定距離のうち、主となる特徴領域(重点特徴領域)についての推定距離と、それ以外の特徴領域についての推定距離とを比較する。
そして、推定距離の比較結果に基づいて、撮像部16により撮像された画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出してもよい。
また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア22により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア22は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
複数の被写体を撮像して画像を得る撮像手段と、
前記撮像手段により撮像される画像に含まれる前記複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する特徴領域抽出手段と、
前記特徴領域抽出手段により抽出された前記複数の特徴領域についての焦点距離を検出する焦点距離検出手段と、
前記焦点距離検出手段により検出された前記焦点距離のうち、主となる特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する焦点距離比較手段と、
前記焦点距離比較手段の比較結果に基づいて、前記撮像手段により撮像された前記画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する立体感算出手段と、
を備えることを特徴とする撮像装置。
[付記2]
前記撮像手段により撮像する際のズーム倍率を設定するズーム倍率設定手段をさらに備え、
前記立体感算出手段は、前記焦点距離比較手段の比較結果に加えて、前記ズーム倍率設定手段により設定されたズーム倍率に基づいて、前記立体感の度合いを算出する、
ことを特徴とする付記1に記載の撮像装置。
[付記3]
前記撮像手段へ入射する光の量を調整する絞り設定手段をさらに備え、
前記立体感算出手段は、前記焦点距離比較手段の比較結果に加えて、前記絞り設定手段により調整される光の量に基づいて、前記立体感の度合いを算出する、
ことを特徴とする付記1又は2に記載の撮像装置。
[付記4]
前記撮像手段により撮像される撮像モードを設定するモード設定手段をさらに備え、
前記特徴領域抽出手段は、前記焦点距離比較手段の比較結果に加えて、前記モード設定手段により設定された撮像モードに基づいて、前記複数の特徴領域を抽出する、
ことを特徴とする付記1乃至3の何れか1項に記載の撮像装置。
[付記5]
前記撮像手段により撮像された前記画像から、所定の領域を特徴領域として選択する指示操作を受け付ける入力手段をさらに備え、
前記特徴領域抽出手段は、前記入力手段により指示操作された特徴領域を、前記主となる特徴領域として特定する、
ことを特徴とする付記1乃至4の何れか1項に記載の撮像装置。
[付記6]
前記撮像手段により撮像された前記画像に対して、前記立体感算出手段により算出された立体感を示すシンボル画像を重畳表示する制御を実行する表示制御手段を、
さらに備えることを特徴とする付記1乃至5の何れか1項に記載の撮像装置。
[付記7]
前記立体感算出手段により算出された立体感の値が所定の閾値以下である場合に、前記撮像手段により撮像された前記画像の立体感を強調させる画像処理を実行する画像処理手段を、
さらに備えることを特徴とする付記1乃至6の何れか1項に記載の撮像装置。
[付記8]
被写体を撮像して画像を得る撮像装置が実行する撮像方法において、
複数の被写体を撮像して画像を得る撮像ステップと、
前記撮像ステップにより撮像される画像に含まれる前記複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにより抽出された前記複数の特徴領域についての焦点距離を検出する焦点距離検出ステップと、
前記焦点距離検出ステップにより検出された前記焦点距離のうち、主となる特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する焦点距離比較ステップと、
前記焦点距離比較ステップの比較結果に基づいて、前記撮像ステップにより撮像された前記画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する立体感算出ステップと、
を含むことを特徴とする撮像方法。
[付記9]
被写体を撮像して画像を得る撮像装置を制御するコンピュータを、
複数の被写体を撮像して画像を得る撮像手段、
前記撮像手段により撮像される画像に含まれる前記複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する特徴領域抽出手段、
前記特徴領域抽出手段により抽出された前記複数の特徴領域についての焦点距離を検出する焦点距離検出手段、
前記焦点距離検出手段により検出された前記焦点距離のうち、主となる特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する焦点距離比較手段、
前記焦点距離比較手段の比較結果に基づいて、前記撮像手段により撮像された前記画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する立体感算出手段、
として機能させることを特徴とするプログラム。
1・・・撮像装置、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・撮像部、17・・・入力部、18・・・出力部、19・・・記憶部、20・・・通信部、21・・・ドライブ、22・・・リムーバブルメディア、41・・・画像取得部、42・・・特徴領域抽出部、43・・・焦点距離検出部、44・・・焦点距離比較部、45・・・立体感算出部、46・・・表示制御部、51・・・モード設定部、52・・・撮像条件設定部、61・・・画像処理部

Claims (9)

  1. 複数の被写体を撮像して画像を得る撮像手段と、
    前記撮像手段により撮像される画像に含まれる前記複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する特徴領域抽出手段と、
    前記特徴領域抽出手段により抽出された前記複数の特徴領域についての焦点距離を検出する焦点距離検出手段と、
    前記焦点距離検出手段により検出された前記焦点距離のうち、主となる特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する焦点距離比較手段と、
    前記焦点距離比較手段の比較結果に基づいて、前記撮像手段により撮像された前記画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する立体感算出手段と、
    を備えることを特徴とする撮像装置。
  2. 前記撮像手段により撮像する際のズーム倍率を設定するズーム倍率設定手段をさらに備え、
    前記立体感算出手段は、前記焦点距離比較手段の比較結果に加えて、前記ズーム倍率設定手段により設定されたズーム倍率に基づいて、前記立体感の度合いを算出する、
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像手段へ入射する光の量を調整する絞り設定手段をさらに備え、
    前記立体感算出手段は、前記焦点距離比較手段の比較結果に加えて、前記絞り設定手段により調整される光の量に基づいて、前記立体感の度合いを算出する、
    ことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記撮像手段により撮像される撮像モードを設定するモード設定手段をさらに備え、
    前記特徴領域抽出手段は、前記焦点距離比較手段の比較結果に加えて、前記モード設定手段により設定された撮像モードに基づいて、前記複数の特徴領域を抽出する、
    ことを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
  5. 前記撮像手段により撮像された前記画像から、所定の領域を特徴領域として選択する指示操作を受け付ける入力手段をさらに備え、
    前記特徴領域抽出手段は、前記入力手段により指示操作された特徴領域を、前記主となる特徴領域として特定する、
    ことを特徴とする請求項1乃至4の何れか1項に記載の撮像装置。
  6. 前記撮像手段により撮像された前記画像に対して、前記立体感算出手段により算出された立体感を示すシンボル画像を重畳表示する制御を実行する表示制御手段を、
    さらに備えることを特徴とする請求項1乃至5の何れか1項に記載の撮像装置。
  7. 前記立体感算出手段により算出された立体感の値が所定の閾値以下である場合に、前記撮像手段により撮像された前記画像の立体感を強調させる画像処理を実行する画像処理手段を、
    さらに備えることを特徴とする請求項1乃至6の何れか1項に記載の撮像装置。
  8. 被写体を撮像して画像を得る撮像装置が実行する撮像方法において、
    複数の被写体を撮像して画像を得る撮像ステップと、
    前記撮像ステップにより撮像される画像に含まれる前記複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する特徴領域抽出ステップと、
    前記特徴領域抽出ステップにより抽出された前記複数の特徴領域についての焦点距離を検出する焦点距離検出ステップと、
    前記焦点距離検出ステップにより検出された前記焦点距離のうち、主となる特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する焦点距離比較ステップと、
    前記焦点距離比較ステップの比較結果に基づいて、前記撮像ステップにより撮像された前記画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する立体感算出ステップと、
    を含むことを特徴とする撮像方法。
  9. 被写体を撮像して画像を得る撮像装置を制御するコンピュータを、
    複数の被写体を撮像して画像を得る撮像手段、
    前記撮像手段により撮像される画像に含まれる前記複数の被写体の像のそれぞれを示す、複数の特徴領域を抽出する特徴領域抽出手段、
    前記特徴領域抽出手段により抽出された前記複数の特徴領域についての焦点距離を検出する焦点距離検出手段、
    前記焦点距離検出手段により検出された前記焦点距離のうち、主となる特徴領域についての焦点距離と、それ以外の特徴領域についての焦点距離とを比較する焦点距離比較手段、
    前記焦点距離比較手段の比較結果に基づいて、前記撮像手段により撮像された前記画像を用いて立体表示をしたと仮定した場合における、当該立体表示の立体感の度合いを算出する立体感算出手段、
    として機能させることを特徴とするプログラム。
JP2011040736A 2011-02-25 2011-02-25 撮像装置、撮像方法、及びプログラム Active JP5659856B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011040736A JP5659856B2 (ja) 2011-02-25 2011-02-25 撮像装置、撮像方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011040736A JP5659856B2 (ja) 2011-02-25 2011-02-25 撮像装置、撮像方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2012178730A true JP2012178730A (ja) 2012-09-13
JP5659856B2 JP5659856B2 (ja) 2015-01-28

Family

ID=46980287

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011040736A Active JP5659856B2 (ja) 2011-02-25 2011-02-25 撮像装置、撮像方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5659856B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
JP2008205758A (ja) * 2007-02-20 2008-09-04 Fujifilm Corp 立体撮影装置および方法並びにプログラム
JP2009055125A (ja) * 2007-08-23 2009-03-12 Ricoh Co Ltd 撮像装置及び撮像装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
JP2008205758A (ja) * 2007-02-20 2008-09-04 Fujifilm Corp 立体撮影装置および方法並びにプログラム
JP2009055125A (ja) * 2007-08-23 2009-03-12 Ricoh Co Ltd 撮像装置及び撮像装置の制御方法

Also Published As

Publication number Publication date
JP5659856B2 (ja) 2015-01-28

Similar Documents

Publication Publication Date Title
US9927948B2 (en) Image display apparatus and image display method
JP5655667B2 (ja) 撮像装置及び撮像制御方法、画像処理装置及び画像処理方法、並びにプログラム
JP7276393B2 (ja) 撮影装置および撮影方法
JP4916355B2 (ja) 絞り制御装置及び画像処理装置
JP2012002951A (ja) 撮像装置、合焦位置検出方法および合焦位置検出プログラム
JP2010252046A (ja) 撮像装置
JP2019176249A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP6261205B2 (ja) 画像処理装置
JP2014050022A (ja) 画像処理装置、撮像装置、およびプログラム
KR20150032165A (ko) 결합하는 동영상의 동영상 선별 장치, 동영상 선별 방법 및 기억 매체
KR20140116014A (ko) 화상 취득 장치, 화상 취득 방법 및 기록매체
KR102146856B1 (ko) 렌즈 특성 기반의 촬영 모드 제시 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 촬영 장치.
WO2020195073A1 (ja) 画像処理装置、画像処理方法、プログラム、撮像装置
JP5604916B2 (ja) 画像処理装置及びプログラム
JP4849330B2 (ja) 表示制御装置および方法、撮像装置、情報処理装置および方法、並びにプログラム
JP5659856B2 (ja) 撮像装置、撮像方法、及びプログラム
JP7353821B2 (ja) 画像処理装置、その制御方法、プログラム
JP5242756B2 (ja) 画像処理装置、画像処理方法、およびカメラ
JP4922066B2 (ja) カメラ
JP2010130403A (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
JP2016036081A (ja) 画像処理装置、方法及びプログラム並びに記録媒体
JP6564295B2 (ja) 合成画像作成装置
JP6372176B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5928024B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012029119A (ja) 表示制御装置、カメラ、および、表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141117

R150 Certificate of patent or registration of utility model

Ref document number: 5659856

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150