JP2012186538A - 電子カメラ、画像表示装置、プログラム及び記録媒体 - Google Patents
電子カメラ、画像表示装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2012186538A JP2012186538A JP2011046446A JP2011046446A JP2012186538A JP 2012186538 A JP2012186538 A JP 2012186538A JP 2011046446 A JP2011046446 A JP 2011046446A JP 2011046446 A JP2011046446 A JP 2011046446A JP 2012186538 A JP2012186538 A JP 2012186538A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- main subject
- size information
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】 本発明は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供する。
【解決手段】 電子カメラは、撮像部と、認識部と、選択部と、第1算出部と、第2算出部と、記録処理部とを備える。撮像部は、撮影光学系を介して被写体の像を撮像する。認識部は、撮像部が生成する第1画像から主要被写体を認識する。選択部は、主要被写体に応じた複数の測定点を選択する。第1算出部は、選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する。第2算出部は、第1算出部が算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理部は、撮像部が生成する記録用の第2画像とサイズ情報とを関連付けてメモリに記録する。
【選択図】 図1
【解決手段】 電子カメラは、撮像部と、認識部と、選択部と、第1算出部と、第2算出部と、記録処理部とを備える。撮像部は、撮影光学系を介して被写体の像を撮像する。認識部は、撮像部が生成する第1画像から主要被写体を認識する。選択部は、主要被写体に応じた複数の測定点を選択する。第1算出部は、選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する。第2算出部は、第1算出部が算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理部は、撮像部が生成する記録用の第2画像とサイズ情報とを関連付けてメモリに記録する。
【選択図】 図1
Description
本発明は、電子カメラ、画像表示装置、プログラム及びそのプログラムが記録された記録媒体に関する。
従来、主要被写体の複数の部位における3次元位置を測定する3次元入力装置が提案されている(例えば、特許文献1参照)。
上記の3次元入力装置は、主要被写体に向かって参照光を投射する投光系と、互いに離れた第1及び第2の位置で同時に物体からの反射光を取り込む複数の撮影光学系とを備える。そして、上記の3次元入力装置は、複数の撮影光学系からの反射光を撮像し、得られた画像信号に基づいて3角測量の原理で複数の部位の3次元位置を測定する。これにより、上記の3次元入力装置は、例えば、主要被写体の大きさを示すサイズ情報を得ることができる。
ところで、電子カメラを用いてサイズ情報を取得しようとした場合、上記の3次元入力装置の測定手段を用いるのでは、電子カメラの装置が大型化すると共に装置の構成が複雑化してしまうという問題が生じる。
そこで、本発明は、上記事情に鑑み、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供することを目的とする。
本発明の一態様の電子カメラは、撮像部と、認識部と、選択部と、第1算出部と、第2算出部と、記録処理部とを備える。撮像部は、撮影光学系を介して被写体の像を撮像する。認識部は、撮像部が生成する第1画像から主要被写体を認識する。選択部は、主要被写体に応じた複数の測定点を選択する。第1算出部は、選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する。第2算出部は、第1算出部が算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理部は、撮像部が生成する記録用の第2画像とサイズ情報とを関連付けてメモリに記録する。
本発明の一態様の画像表示装置は、画像受付部と、画像選択部と、画像合成部と、画像表示制御部とを備える。画像受付部は、請求項1から請求項4の何れか1項に記載の電子カメラで撮影された異なる複数の第2画像の入力を受け付ける。画像選択部は、主要被写体を含む第2画像と、主要被写体を重ねて表示する合成用の第2画像とを選択する。画像合成部は、サイズ情報に基づいて、主要被写体の領域を合成用の第2画像に合成する。画像表示制御部は、画像合成部が合成した後の第3画像を表示装置に表示させる。
本発明の一態様のプログラムは、撮像処理と、認識処理と、選択処理と、第1算出処理と、第2算出処理と、記録処理とをコンピュータに実行させることを特徴とする。撮像処理は、撮影光学系を介して被写体の像を撮像させる。認識処理は、撮像処理により生成する第1画像から主要被写体を認識する。選択処理は、主要被写体に応じた複数の測定点を選択する。第1算出処理は、選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する。第2算出処理は、第1算出処理により算出された各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理は、撮像処理により生成する記録用の第2画像とサイズ情報とを関連付けてメモリに記録する。
本発明の一態様の記録媒体は、撮像処理と、認識処理と、選択処理と、第1算出処理と、第2算出処理と、記録処理とをコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体であることを特徴とする。撮像処理は、撮影光学系を介して被写体の像を撮像させる。認識処理は、撮像処理により生成する第1画像から主要被写体を認識する。選択処理は、主要被写体に応じた複数の測定点を選択する。第1算出処理は、選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する。第2算出処理は、第1算出処理により算出された各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。記録処理は、撮像処理により生成する記録用の第2画像とサイズ情報とを関連付けてメモリに記録する。
本発明は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を記録用画像に関連付ける手段を提供できる。
(第1実施形態)
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図1は、電子カメラ1の構成例を示すブロック図である。ここで、本発明の電子カメラ1は、主要被写体の大きさを示すサイズ情報を取得する「サイズ情報の取得モード」を有している。サイズ情報の取得モードでは、電子カメラ1の絶対位置座標として例えば撮影光学系における合焦位置を原点とした場合、主要被写体の各測定点から得られる絶対位置座標に基づいて、サイズ情報を取得するモードである(詳細は後述する)。
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図1は、電子カメラ1の構成例を示すブロック図である。ここで、本発明の電子カメラ1は、主要被写体の大きさを示すサイズ情報を取得する「サイズ情報の取得モード」を有している。サイズ情報の取得モードでは、電子カメラ1の絶対位置座標として例えば撮影光学系における合焦位置を原点とした場合、主要被写体の各測定点から得られる絶対位置座標に基づいて、サイズ情報を取得するモードである(詳細は後述する)。
電子カメラ1は、撮影光学系10と、レンズ駆動部11と、撮像素子12と、信号処理部13と、RAM(Random Access Memory)14と、画像処理部15と、フラッシュメモリ16と、記録インターフェース部(以下「記録I/F部」という)17と、表示インターフェース部(以下「表示I/F部」という)18と、表示モニタ19と、レリーズ釦20と、操作部21と、CPU(Central Processing Unit)22と、データバス23とを備える。
このうち、信号処理部13、RAM14、画像処理部15、フラッシュメモリ16、記録I/F部17、表示I/F部18及びCPU22は、データバス23を介して互いに接続されている。また、レンズ駆動部11、信号処理部13、レリーズ釦20及び操作部21は、CPU22に接続されている。
撮影光学系10は、焦点距離を調整するズームレンズと、撮像素子12の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部11は、撮影光学系10内でズームレンズやフォーカスレンズのレンズ位置をCPU22の指示に応じて光軸(図中L)方向に調整する。なお、簡単のため、図1では、撮影光学系10を1枚のレンズとして図示する。
撮像素子12は、撮影光学系10を通過した被写体の像を撮像し、アナログの画像信号を取得する。そして、撮像素子12が出力するアナログの画像信号は、信号処理部13に入力される。なお、撮像素子12の撮像面には、R(赤)、G(緑)B(青)の3種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子12の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ(不図示)によって制御される。
ここで、撮像素子12は、後述のレリーズ釦20の全押し操作に応答して記録用画像(以下「本画像」という)を撮像する。また、撮像素子12は、撮影待機時において、記録媒体30に記録する本画像に比べて画像の解像度が低いスルー画像を所定間隔ごとに連続的に撮像する。
なお、撮像素子12は、CCD(Charge Coupled Device)型又はCMOS(Complementary Metal−Oxide Semiconductor)型のカラーイメージセンサである。
信号処理部13は、撮像素子12が出力するアナログの画像信号をデジタル信号(画像データ)に変換しデータバス23に出力する。
RAM14は、揮発性のメモリであり、信号処理部13が出力する画像データは、データバス23を介して画像データとしてRAM14に一時記録される。画像処理部15は、RAM14に記録されている画像データを読み出し、各種の画像処理(階調変換処理、輪郭強調処理、ホワイトバランス処理等)を施す。また、画像処理部15は、画像信号を解析して、画素ごとの輝度を検出する。具体的には、画像処理部15は、RGB信号の画像データを輝度信号(Y信号)と、色差信号(Cr、Cb信号)の画像データに変換(YC変換)する。
フラッシュメモリ16は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ16には、電子カメラ1の制御を行なうプログラム等が予め記録されている。CPU22は、このプログラムに従い、一例として後述の図3、4に示すフローの処理を実行する。
記録I/F部17には、着脱自在の記録媒体30を接続するためのコネクタ(不図示)が形成されている。そして、記録I/F部17は、そのコネクタに接続された記録媒体30にアクセスして本画像の記録処理等を行なう。この記録媒体30は、例えば、カード型の不揮発性のメモリカードである。図1では、コネクタに接続された後の記録媒体30を示している。
表示I/F部18は、RAM14に一時記録された再生用の静止画像や電子カメラ1の操作メニューを示す画像等を表示モニタ19に出力する。また、表示I/F部18は、撮影待機時において、スルー画像を表示モニタ19に出力する。例えば、CPU22は、表示I/F部18を介して、30フレーム毎秒(30fps)でスルー画像を表示モニタ19に出力させる。表示モニタ19は、例えば液晶表示媒体により構成される。
レリーズ釦20は、半押し操作(撮影前におけるオートフォーカス(AF)や自動露出(AE)等の動作開始の指示入力)と全押し操作(本画像を取得するための撮像動作開始)との指示入力とを受け付ける。操作部21は、撮影者の操作を受け付ける複数の釦を有しており、電子カメラ1を操作するための指示入力を受け付ける。
図2は、図1に示す電子カメラ1の背面図である。図1に示す操作部21は、図2に示す通り、広角ズーム釦21aと、望遠ズーム釦21bと、モード選択釦21cと、メニュー釦21dと、選択・決定釦21eと、電源釦24とを含む。
広角ズーム釦21aは、焦点距離を広角側に変更し、望遠ズーム釦21bは、焦点距離を望遠側に変更する。モード選択釦21cは、撮影モード若しくは再生モードに切り替える操作をユーザから受け付ける。メニュー釦21dは、メニュー画面を立ち上げるための操作をユーザから受け付ける。選択・決定釦21eは、電子カメラ1の操作メニューにおける設定条件等の項目選択又は項目決定をユーザから受け付ける。ここで、選択・決定釦21eは、決定釦21fとダイヤル21gとを有する。ダイヤル21gの全体形状は、環状であって、ダイヤル21gの内周側には決定釦21fが配置されている。そして、ダイヤル21gは、例えばメニュー画面等での項目選択の入力をユーザから受け付ける。また、決定釦21fは、メニュー画面等での項目決定の入力をユーザから受け付ける。例えば、サイズ情報の取得モードでは、サイズ情報の取得開始の操作が決定釦21fに割り当てられている。また、レリーズ釦20と電源釦24とは、図2に示す通り、電子カメラ1の筐体の上面に備えられている。
なお、表示モニタ19の表示画面上には、透明のタッチパネル(不図示)が配置されているものとする。これにより、タッチパネルは、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネルは、検出した位置情報をCPU22に出力することで撮影者からの操作を受け付ける。
再び、図1の説明に戻り、CPU22は、各種演算及び電子カメラ1の統括的な制御を行なうマイクロプロセッサである。CPU22は、上記のプログラムを実行することにより、電子カメラ1の各部の制御等を行なう。CPU22は、認識部22aと、選択部22bと、第1算出部22cと、第2算出部22dと、記録処理部22eとしても機能する。
認識部22aは、画像から主要被写体を認識する。例えば、認識部22aは、スルー画像を解析して人物の顔を抽出し、その顔の人物を主要被写体として認識する。具体的には、認識部22aは、画像処理部15が検出した画像データの輝度に基づいて、肌色領域を顔の領域として抽出する。また、認識部22aは、顔を検出した場合、さらに顔の特徴部位を検出しても良い。すなわち、認識部22aは、一例として、特開2001−16573号公報に記載された特徴点抽出処理によって、目、鼻、耳、唇等の顔の特徴部位を画像から検出する。これにより、認識部22aは、人物の顔の領域を容易に認識できる。
さらに、認識部22aは、スルー画像を解析して、主要被写体の輪郭を抽出する。具体的には、認識部22aは、一例として、特開2009−009206号公報に記載された輪郭抽出処理によって顔を含む主要被写体の輪郭を抽出する。
また、認識部22aは、表示モニタ19の表示画面上のタッチパネルを介して、撮影者により指定された領域を主要被写体として認識しても良い。これにより、認識部22aは、撮影者が指定した領域を主要被写体とすることができる。
或いは、認識部22aは、画像の画像データを量子化することにより主要被写体と背景とを分離し、その主要被写体を認識しても良い。具体的には、認識部22aは、画像データを2値化するため、画像データの輝度に基づいて2値化の基準となる画素の明るさを選択する。そして、認識部22aは、その画素の明るさを基準にして、基準となる画素値よりも明るい画素値は白、基準以下の暗い画素値は黒とすることで、画像データを2値化する。これにより、認識部22aは、主要被写体を示す領域と背景を示す領域とが分離した画像を得ることができる。
選択部22bは、主要被写体に応じた複数の測定点(以下「測距点」という)を選択する。具体的には、CPU22は、先ず、撮影画面内に複数の測距点を設定する。そして、選択部22bは、主要被写体の輪郭を含む領域のうち測距点と重なる領域に対し、距離を算出する測距点として選択する(詳細は後述する)。
第1算出部22cは、選択部22bが選択した測距点ごとに、各々の測距点に対し距離を算出する。具体的には、先ず、CPU22は、一例として、主要被写体が撮影画面内の中央に存在する場合、その中央の測距点に対して、鮮鋭度(コントラスト状態)を示す評価値が最大値となる合焦位置を探索するコントラストAFの処理を行なう。これにより、CPU22は、合焦位置から撮影画面内の中央の測距点までの被写体距離を算出する。続いて、第1算出部22cは、その被写体距離を利用して、選択部22bが選択した測距点ごとに合焦位置から測距点までの距離を算出する。なお、本実施形態では、コントラストAFの処理によって算出される距離を被写体距離と言い、第1算出部22cにより算出される合焦位置から各測距点までの距離を、単に距離と言う。
第2算出部22dは、第1算出部22cが算出した各々の距離に応じて主要被写体の大きさを示すサイズ情報を算出する。具体的には、第2算出部22dは、各々の距離に基づいて、サイズ情報として実空間における絶対座標(X、Y、Z)を測距点ごとに算出する。また、第2算出部22dは、サイズ情報として、2次元の撮影画面内での各測距点の座標(m、n)を算出する。なお、撮影画面内に設定される測距点が矩形状の場合、第2算出部22dは、測距点の中心点を測距点の座標(m、n)として算出する。
記録処理部22eは、撮像素子12が生成する主要被写体を含む本画像とサイズ情報とを関連付けて記録媒体30又はフラッシュメモリ16に記録する。具体的には、記録処理部22eは、一例として本画像の画像ファイルのヘッダ領域にサイズ情報を記録する。なお、本画像の画像ファイルは、例えば、Exif(Exchangeable Image File Format)形式のファイルフォーマットに準拠している。
また、CPU22は、主要被写体の動き検出処理を行なう。具体的には、CPU22は、現フレームと前フレームとのフレーム間差分により主要被写体の動きを検出し、画像内で主要被写体を追尾する。CPU22は、一例としてスルー画像を16画素×16画素のブロックに分割し、ブロックごとに各画素のフレーム間の差分信号が予め設定した差分信号用の閾値以上になる画素を算出することにより主要被写体の動きを検出する。なお、CPU22は、スルー画像を間引き読み出しすることによりフレーム間差分を行なっても良い。
次に、電子カメラ1の動作の一例を説明する。図3は、電子カメラ1の動作の一例を示すフローチャートである。このフローチャートは、サイズ情報の取得モード時に実行される。図4は、各測距点の測距処理のサブルーチンを示すフローチャートである。このサブルーチンは、図3のステップS103の処理において実行される。
以下の動作例では、電源オンの後、先ず、CPU22は、撮像素子12を駆動させてスルー画像の撮像を開始する。そして、CPU22は、表示I/F部18を介して、スルー画像を表示モニタ19に出力させる。その後、操作部21は、サイズ情報の取得モードの指示入力を受け付けると、CPU22は、図3に示すフローの処理を開始する。なお、以下のフローの処理では、説明をわかりやすくするため、人物の全体像の被写体を含む被写界を撮影することとする。
ステップS101:CPU22の認識部22aは、主要被写体の認識処理を行なう。具体的には、認識部22aは、スルー画像の画像データの輝度に基づいて、肌色領域を顔の領域として抽出する。続いて、認識部22aは、前述した特徴点抽出処理によって、顔の特徴部位を画像から検出する。その結果、認識部22aは、その顔の人物を主要被写体として認識する。そして、CPU22は、ステップS102の処理に移行する。
ステップS102:認識部22aは、主要被写体の輪郭の抽出処理を行なう。具体的には、認識部22aは、前述の輪郭抽出処理によって顔を含む主要被写体の輪郭を抽出する。そして、CPU22は、ステップS103の処理に移行する。
ステップS103:CPU22は、各測距点の測距処理を行なう。そのため、CPU22は、図4に示す各測距点の測距処理を行なうサブルーチンのフローの処理に移行する。
ステップS201:CPU22は、測距点の設定処理を行なう。具体的には、CPU22は、先ず、撮影画面内に複数の測距点を設定する。
図5は、測距点の設定処理及び選択処理を説明する図である。図5において、CPU22は、点線枠Sで示す複数の測距点を撮影画面内に設定する。そして、CPU22は、ステップS202の処理に移行する。なお、図5では、撮影画面をスルー画像に対応づけており、スルー画像の座標を(m、n)で表している。
ステップS202:CPU22の選択部22bは、測距点の選択処理を行なう。具体的には、選択部22bは、図5において、主要被写体(人物P)の輪郭を含む領域のうち測距点Sと重なる領域(図中、斜線で示した測距点)に対し、距離を算出する測距点として選択する。これにより、選択部22bは、主要被写体(人物P)の領域内のうち測距点Sと重なる全ての領域を測距点として選択しなくても良い。そのため、本実施形態では、サイズ情報の算出処理の演算時間を効率化することができる。なお、図5では、説明の便宜上、代表的な5点を測距点としてさらにサンプリングしている。そして、CPU22は、ステップS203の処理に移行する。
ステップS203:CPU22は、オートフォーカス(AF)操作による測距処理を行なう。具体的には、CPU22は、コントラストAFの処理を行なう。
図6は、測距処理を説明する図である。図6(a)は、測距処理の概念図を示す。CPU22は、コントラストAFの処理により、レンズ駆動部11を介して撮影光学系10のフォーカスレンズの位置を制御する。この際、CPU22は、撮像素子12が出力する画像信号から抽出したコントラスト情報と、フォーカスレンズ位置とを蓄積して、鮮鋭度(コントラスト状態)を示す評価値が最大値となる合焦位置を検出する。この測距処理により、CPU22は、レンズ駆動部11が出力するフォーカスレンズの焦点距離、フォーカスレンズの合焦位置、被写体距離等の撮影情報を算出する。例えば、CPU22は、主要被写体が撮影画面内の中央に存在する場合、その撮影画面内の中央の測距点に対して、コントラストAFの処理を行ない、被写体距離を算出する。(図6(a)参照)。そして、CPU22は、ステップS204の処理に移行する。
ステップS204:CPU22の第1算出部22cは、選択部22bが選択した測距点ごとに距離を算出する。すなわち、第1算出部22cは、例えば、図5に示す5つの測距点に対して、ステップS204の処理が繰り返されるごとに合焦位置から測距点までの距離を順次算出する。
ここで、図6(b)では、電子カメラ1の筐体の上面図を表しており、光軸Lに対する方位角を規定している。また、図6(c)では、電子カメラ1の筐体の側面図を表しており、光軸Lに対する仰角を規定している。つまり、第2算出部22dは、被写体距離と、方位角と、仰角とに基づいて、合焦位置から特定の測距点までの距離を算出する。なお、本実施形態では、方位角と仰角とを測距用の画角として、撮影画面内の撮影画角と区別して用いる。そして、CPU22は、ステップS205の処理に移行する。
ステップS205:CPU22の第2算出部22dは、主要被写体の大きさを示すサイズ情報を算出する。具体的には、第2算出部22dは、第1算出部22cが算出した各々の距離に応じてサイズ情報を算出する。そのため、第2算出部22dは、距離と測距用の画角とに基づいて、絶対座標(X、Y、Z)を測距点ごとに算出する。
すなわち、第2算出部22dは、ステップS204にて、既に当該算出対象の測距点の距離を算出している。したがって、第2算出部22dは、その距離と、測距用の画角とに基づいて、合焦位置である原点(0、0、0)を基準として、当該算出対象の測距点の絶対座標(X、Y、Z)を算出する。また、第2算出部22dは、撮影画面上での測距点の中心座標(m、n)を算出する。つまり、第2算出部22dは、単一の撮影光学系10を介して、測距点の距離を算出することで、その測距点のサイズ情報を算出することができる。そして、第2算出部22dは、当該算出対象の測距点について、サイズ情報を算出すると、CPU22は、ステップS206の処理に移行する。
ステップS206:CPU22は、RAM14にサイズ情報を一時記録する。そして、CPU22は、ステップS207の処理に移行する。
ステップS207:CPU22は、選択部22bが選択した全ての測距点について、サイズ情報を取得したか否かを判定する。全ての測距点についてサイズ情報を取得していない場合(ステップS207:No)、CPU22は、ステップS203の処理に戻る。一方、全ての測距点についてサイズ情報を取得した場合(ステップS207:Yes)、CPU22は、図4に示すフローの処理を終了し、図3に示すステップS104の処理に戻る。なお、図4に示すフローの処理において、第1算出部22cは、スルー画像を解析することにより、各測距点までの距離を算出した。したがって、第2算出部22dは、スルー画像を用いてサイズ情報を算出することができる。
ステップS104:CPU22は、全押し操作の指示入力の有無を判定する。全押し操作の指示入力が有った場合(ステップS104:Yes)、CPU22は、ステップS106の処理に移行する。一方、全押し操作の指示入力が無かった場合(ステップS104:No)、CPU22は、ステップS105の処理に移行する。
ステップS105:CPU22は、主要被写体が移動したか否かを判定する。具体的には、CPU22は、サイズ情報の取得モードにおいて、フレーム間差分によりの主要被写体の移動状態を監視している。そして、ステップS103の測距処理が行なわれた後、主要被写体が移動した場合には(ステップS105:Yes)、CPU22は、ステップS103の測距処理を再度行なうため、ステップS103の処理に戻る。一方、主要被写体が移動していない場合には(ステップS105:No)、サイズ情報に変更は生じないため、CPU22は、ステップS104の処理に戻り、全押し操作の指示入力の有無を判定する処理を繰り返す。
ステップS106:CPU22の記録処理部22eは、本画像の記録処理を行なう。具体的には、先ず、CPU22は、撮影処理を行なう。すなわち、CPU22は、撮像素子12を駆動する。信号処理部13は、画像信号のゲイン調整やA/D変換等を行なう。この信号処理部13が出力する画像信号は、RAM14に画像データとして一旦記録される。画像処理部15は、RAM14に記録されている画像データを読み出し、各種の画像処理を施す。そして、記録処理部22eは、各種の画像処理が施された後の本画像の画像データを有する画像ファイルを記録媒体30に記録する。
図7は、本画像の画像ファイルの構成を説明する図である。図7(a)は、Exif形式の画像ファイルの構成を模式的に示した図である。図7(b)は、サイズ情報を示す図であり、測距点ごとに画像上の座標(m、n)、絶対座標(X、Y、Z)の組み合わせからなる。なお、図中の内容の欄は、説明の便宜上記載している。図7(c)は、本画像を示す。
ここで、画像ファイルは、ヘッダ領域と画像データ領域とを有する。カメラ情報(焦点距離等の撮影情報)は、タグデータとしてヘッダ領域に記録される。また、図7(c)に示す本画像の画像データは、図7(a)に示す画像データ領域に記録される。
なお、ヘッダ領域には、メーカ独自のフォーマットでデータを記録できるメーカノートの領域がある。記録処理部22eは、RAM14から一時記録されたサイズ情報を読み出して画像ファイルのメーカノートの領域に書き込む。また、記録処理部22eは、RAM14から一時記録された本画像の画像データを読み出して画像ファイルの画像データ領域に書き込む。記録処理部22eは、その画像ファイルを記録媒体30に記録する。この記録処理により、画像ファイルでは、本画像の画像データとサイズ情報とを分けて管理することができる。そして、CPU22は、図4に示すフローの処理を終了させる。
以上より、第1実施形態の電子カメラ1は、複数の撮影光学系を必要とせず、単一の撮影光学系で容易にサイズ情報を取得できる。したがって、電子カメラ1は、装置が大型化せず、簡単な構成でサイズ情報を容易に取得し、そのサイズ情報を本画像に関連付けることができる。
(第2実施形態)
次に本発明の第2実施形態の電子カメラについて説明する。前述の通り、上記の3次元入力装置は、例えば、主要被写体の大きさを示すサイズ情報を得ることができる。ところで、従来、電子カメラで撮影した画像に対して、サイズ情報を利用してユーザの利便性を高める手段が提供されているとは言い難い。そこで、第2実施形態以降の実施の形態では、サイズ情報を利用してユーザの利便性を高める手段を提供する。
(第2実施形態)
次に本発明の第2実施形態の電子カメラについて説明する。前述の通り、上記の3次元入力装置は、例えば、主要被写体の大きさを示すサイズ情報を得ることができる。ところで、従来、電子カメラで撮影した画像に対して、サイズ情報を利用してユーザの利便性を高める手段が提供されているとは言い難い。そこで、第2実施形態以降の実施の形態では、サイズ情報を利用してユーザの利便性を高める手段を提供する。
なお、本発明の第1実施形態と本発明の第2実施形態とでは、同じ要素については同じ符号を付して説明を省略する。
図8は、第2実施形態の電子カメラ2の構成例を示すブロック図である。ここで、電子カメラ2は、前述した「サイズ情報の取得モード」に加え、サイズ情報に基づいて本画像内の主要被写体を切り出してスルー画像に合成して重畳表示する「第1表示モード」を有する(詳細は後述する)。
図1に示す電子カメラ1と図8に示す電子カメラ2とでは、CPU22の内部構成が異なる。具体的には、電子カメラ2のCPU22は、図8に示す通り、画像切出部22f、画像合成部22g及び画像表示制御部22hの機能をさらに有する。
画像切出部22fは、本画像を解析して主要被写体の領域を切り出す。具体的には、画像切出部22fは、認識部22aが認識した主要被写体について、その主要被写体の輪郭の座標を画像データから読み出して、主要被写体の領域を切り出す。画像合成部22gは、画像切出部22fが切り出した主要被写体の領域を、本画像と異なる構図のスルー画像に合成する。一例として、画像合成部22gは、主要被写体の領域の各画素値をスルー画像に重ねる領域の各画素値と置換することにより合成し、重畳表示用のスルー画像を生成する(詳細は後述する)。画像表示制御部22hは、画像合成部22gによる合成後の重畳表示用のスルー画像を表示モニタ19に表示させる。
次に、第1表示モード時における電子カメラ2の動作の一例を説明する。
図9は、電子カメラ2の動作の一例を示すフローチャートである。以下の動作例において、先ず、操作部21は、第1表示モードの指示入力を受け付けると、CPU22は、図9に示すフローの処理を開始する。なお、第2実施形態では、スルー画像内の主要被写体を注目被写体とすることで、本画像の主要被写体と区別することとする。また、第1実施形態で説明した図7に示す画像ファイルが記録媒体30に記録されていることとする。
ステップS301:CPU22は、スルー画像の表示処理を行なう。具体的には、CPU22は、撮像素子12を駆動させてスルー画像の撮像を開始する。そして、CPU22は、表示I/F部18を介して、スルー画像を表示モニタ19に出力させる。なお、以下のフローの処理では、説明をわかりやすくするため、CPU22は、一例として、樹木の全体像の注目被写体を含む被写界のスルー画像を表示モニタ19に出力させる。
ステップS302:CPU22は、主要被写体の画像ファイルの読み出し処理を行なう。具体的には、CPU22は、記録媒体30から図7に示す画像ファイルを読み出し、RAM14に一時記録する。そして、CPU22は、ステップS303の処理に移行する。
ステップS303:CPU22の認識部22aは、注目被写体の認識処理を行なう。具体的には、認識部22aは、先ず、顔検出処理を行なう。しかし、注目被写体は人物ではないため、認識部22aは、続いて、画像の画像データを量子化することにより注目被写体と背景とを分離し、その注目被写体を認識する。そして、CPU22は、ステップS304の処理に移行する。
図10は、注目被写体の認識処理、測距点の設定処理及び選択処理を説明する図である。認識部22aは、図10に示す樹木T1を注目被写体として認識する。
ステップS304:認識部22aは、注目被写体の輪郭の抽出処理を行なう。具体的には、認識部22aは、前述した輪郭抽出処理によって注目被写体の輪郭を抽出する。そして、CPU22は、ステップS305の処理に移行する。
ステップS305:CPU22は、各測距点の測距処理を行なう。そのため、CPU22は、図4に示す各測距点の測距処理を行なうサブルーチンのフローの処理に移行する。ここで、図10に示す通り、CPU22は、点線枠Sで示す複数の測距点を撮影画面内に設定する(ステップS201)。さらに、CPU22の選択部22bは、測距点の選択処理を行なう。具体的には、選択部22bは、注目被写体(樹木T1)の輪郭を含む領域の座標データに基づいて、測距点Sと重なる領域に対し、距離を算出する測距点として選択する(ステップS202)。その後のサブルーチンのフローの処理(ステップS203〜ステップS207)は同様であるので、説明を省略する。この一連のサブルーチンのフローの処理により、注目被写体(樹木T1)のサイズ情報がRAM14に一時記録される。
図11は、ステップS305からステップS308までの処理の概念図である。測距処理は、図6に示す測距処理と同様であるが、CPU22は、各測距点の測距処理を行なった後、後述する通り、本画像から主要被写体を切り出し、サイズ比が合うようにスルー画像に合成して、表示モニタ19に重畳表示させる。このサイズ比の算出は、ステップS306で行なわれる。
ステップS306:CPU22の画像合成部22gは、画像を合成するために、サイズ比の算出処理を行なう。具体的には、画像合成部22gは、RAM14に一時記録されている主要被写体のサイズ情報と注目被写体のサイズ情報とに基づいてサイズ比を算出する。
図12は、サイズ比の算出処理の一例を説明する図である。図12(a)は、主要被写体(人物P)のサイズ(高さ:L1)の算出例を示す図である。図12(b)は、注目被写体(樹木T1)のサイズ(高さ:L2)の算出例を示す図である。
画像合成部22gは、先ず、主要被写体(人物P)の画像ファイルのヘッダ領域から各測距点(S1からS5の5点)の絶対座標のデータをRAM14から読み出す。
図12(a)では、説明の便宜上、各測距点を主要被写体(人物P)に重畳させて描いている。続いて、画像合成部22gは、主要被写体(人物P)の高さL1を算出するため、計算に用いる測距点を選択する。さらに、画像合成部22gは、測距点S1に対応する絶対座標と、測距点S3に対応する絶対座標とに基づいて、主要被写体(人物P)の高さL1を算出する。
また、画像合成部22gは、ステップS305の各測距点の測距処理で取得された各測距点(S6からS9の4点)の絶対座標のデータ(サイズ情報)をRAM14から読み出す。図12(b)では、説明の便宜上、各測距点を注目被写体(樹木T1)に重畳させて描いている。続いて、画像合成部22gは、注目被写体(樹木T1)の高さL2を算出するため、計算に用いる測距点を選択する。さらに、画像合成部22gは、測距点S6に対応する絶対座標と、測距点S8に対応する絶対座標とに基づいて、注目被写体(樹木T1)の高さL2を算出する。
次に、画像合成部22gは、主要被写体(人物P)の高さL1と注目被写体(樹木T1)の高さL2とに基づいて、サイズ比(例えばL1/L2)を算出する。そして、CPU22は、ステップS307の処理に移行する。
ステップS307:CPU22の画像切出部22fは、主要被写体の領域を切り出す。具体的には、画像切出部22fは、RAM14に一時記録されている本画像から、その主要被写体の輪郭の座標を画像データから読み出して、主要被写体の領域を切り出す。そして、画像切出部22fは、切り出した主要被写体の領域を新たな画像としてRAM14に一時記録する。続いて、画像合成部22gは、画像切出部22fが切り出した主要被写体の領域をスルー画像に合成する。具体的には、画像合成部22gは、主要被写体の領域をサイズ比に合わせて拡大又は縮小して合成前のスルー画像に合成する。ここで、画像合成部22gは、スルー画像上での座標系(m、n)において、前述した算出手段と同様にしてスルー画像上での注目被写体の高さL3を算出する。これにより、画像合成部22gは、サイズ比に基づいて、L3にサイズ比を乗算した高さL4を算出する。この高さL4が、スルー画像上で表示する主要被写体の高さになる。そこで、画像合成部22gは、主要被写体の高さがL4になるように、切り出した主要被写体の画像を縮小して合成前のスルー画像に合成する。これにより、画像合成部22gは、重畳表示用のスルー画像を生成する。
なお、画像合成部22gは、主要被写体の領域を拡大させる場合には、例えばその領域の画素を補間する補間処理を行なう。また、主要被写体の領域を縮小させる場合には、例えばその領域の画素を間引く間引き処理を行なう。
ステップS308:CPU22の画像表示制御部22hは、主要被写体の重畳表示を行なう。具体的には、画像表示制御部22hは、画像合成部22gによる合成後の重畳表示用のスルー画像を表示モニタ19に表示させる。
図13は、主要被写体の重畳表示の一例を説明する図である。図13(a)は、合成前のスルー画像を表している。図13(b)は、合成後のスルー画像であって、主要被写体の重畳表示を表している。なお、図13では、説明の便宜上、高さL3、L4を重畳させて描いているが、実際には表示されないこととする。
ステップS309:CPU22は、全押し操作の指示入力の有無を判定する。全押し操作の指示入力が有った場合(ステップS309:Yes)、CPU22は、ステップS311の処理に移行する。一方、全押し操作の指示入力が無かった場合(ステップS309:No)、CPU22は、ステップS310の処理に移行する。
ステップS310:CPU22は、注目被写体が移動したか否かを判定する。注目被写体が移動した場合には(ステップS310:Yes)、CPU22は、測距処理を再度行なうため、ステップS305の処理に戻る。一方、被写体が移動していない場合には(ステップS310:No)、CPU22は、ステップS309の処理に戻り、全押し操作の指示入力の有無の判定を繰り返す。
ステップS311:CPU22の記録処理部22eは、本画像の記録処理を行なう。具体的には、先ず、CPU22は、図3に示すステップS106で説明した処理と同様に、撮影処理を行なう。なお、この際、画像合成部22gは、RAM14に一時記録されている画像処理後の本画像の画像データを読み出して、本画像の画像データの重畳表示させる領域の画素値とRAM14に一時記録されている主要被写体の領域の画素値とを置換する。これにより、画像合成部22gは、合成した本画像を生成する。そして、記録処理部22eは、画像ファイルの画像データ領域に合成後の本画像の画像データを書き込む。また、記録処理部22eは、画像ファイルのヘッダ領域にサイズ情報を記録する。そして、記録処理部22eは、その画像ファイルを記録媒体30に記録する。そして、CPU22は、図9に示すフローの処理を終了させる。
ここで、実際の実用例について説明する。図14は、実際の実用例を説明する図である。図14(a)は、実空間における部屋の中の一例を表している。ここで、一例として、ユーザが掛け時計を購入して部屋に掛けたい場合、時計店で展示されている実物の掛け時計の撮影をユーザが電子カメラ2で行なったとする。この場合、電子カメラ2は、サイズ情報の取得モードにより、記録画像として掛け時計(主要被写体)の画像とサイズ情報との画像ファイルを記録媒体30に記録する。
ユーザが自宅の部屋に戻った後、電子カメラ2は、第1表示モードの指示入力を受け付けたとする。図14(b)は、第1表示モード下での表示モニタ19に表示されているスルー画像を表している。電子カメラ2は、主要被写体(時計W1)をスルー画像に合成することにより、表示モニタ19に重畳表示させる。なお、注目被写体は例えば、図14(b)のコンピュータ41とする。
ここで、画像表示制御部22hは、タッチパネル上でユーザの指F1の移動軌跡による入力信号を受け付ける。この場合、画像合成部22gは、ユーザの指F1の移動軌跡に応じて、主要被写体(時計W1)をスルー画像に合成させることにより重畳表示させたスルー画像を順次生成する。画像表示制御部22hは、重畳表示させたスルー画像を順次出力する、これにより、主要被写体(時計W1)は、スルー画像内でユーザの指F1の移動軌跡に応じた位置に移動されながら表示される。
図14(c)は、ユーザのタッチパネル操作後のスルー画像を表している。電子カメラ2は、実サイズの主要被写体(時計W1)をスルー画像上で表示することができる。
また、別の実用例としては、電子カメラ2で家具(主要被写体)を撮影して、部屋のスルー画像を表示しながら、家具(主要被写体)を重畳表示させることにより、ユーザは、サイズを含めた検討を行なうことができる。
以上より、第2実施形態の電子カメラ2では、スルー画像表示時に、既に撮影した主要被写体の画像を切り出して重畳表示させることができる。この際、電子カメラ2では、サイズ情報に基づいて、スルー画像上で主要被写体のサイズ比が合うように表示することができる。そのため、撮影者であるユーザにとっては、表示モニタ19上で実サイズの主要被写体が表示されることにより直感的に見やすい画像となる。したがって、電子カメラ2は、サイズ情報を利用してユーザの利便性を高めることができる。なお、第2実施形態の電子カメラ2では、スルー画像に代えて、既に撮影した本画像に主要被写体の画像を切り出して重畳表示させても良い。
(第3実施形態)
次に本発明の第3実施形態の画像表示装置について説明する。第3実施形態の画像表示装置は、「第2表示モード」を有している。第2表示モードは、電子カメラ1において「サイズ情報の取得モード」で撮影された構図の異なる複数(例えば2枚)の本画像の入力を受け付けて、サイズ情報に基づいて画像を合成して重畳表示する(詳細は後述する)。
(第3実施形態)
次に本発明の第3実施形態の画像表示装置について説明する。第3実施形態の画像表示装置は、「第2表示モード」を有している。第2表示モードは、電子カメラ1において「サイズ情報の取得モード」で撮影された構図の異なる複数(例えば2枚)の本画像の入力を受け付けて、サイズ情報に基づいて画像を合成して重畳表示する(詳細は後述する)。
図15は、画像表示装置50の構成例を示すブロック図である。画像表示装置50は、
RAM51と、フラッシュメモリ52と、記録I/F部53と、表示I/F部54と、表示モニタ55と、操作部56と、CPU57と、データバス58とを備える。このうち、RAM51、フラッシュメモリ52、記録I/F部53、表示I/F部54、表示モニタ55及びCPU57は、データバス58を介して互いに接続されている。
RAM51と、フラッシュメモリ52と、記録I/F部53と、表示I/F部54と、表示モニタ55と、操作部56と、CPU57と、データバス58とを備える。このうち、RAM51、フラッシュメモリ52、記録I/F部53、表示I/F部54、表示モニタ55及びCPU57は、データバス58を介して互いに接続されている。
RAM51は、揮発性のメモリである。記録媒体30に記録されている本画像のデータは、データバス58を介してRAM51に一時記録される。
フラッシュメモリ52は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ52には、画像表示装置50の制御を行なうプログラム等が予め記録されている。CPU57は、このプログラムに従い、一例として後述の図16に示すフローの処理を実行する。記録I/F部53は、記録媒体30を接続するためのコネクタ(不図示)が形成されている。表示I/F部54は、RAM51に一時記録された本画像や画像表示装置50の操作メニューを示す画像等を表示モニタ55に出力する。表示モニタ55は、例えば液晶表示媒体により構成される。
CPU57は、画像受付部57aと、画像選択部57bと、サイズ比算出部57cと、画像切出部57dと、画像合成部57eと、画像表示制御部57fとしても機能する。画像受付部57aは、電子カメラ1で撮影された構図の異なる複数の本画像の入力を受け付ける。画像選択部57bは、主要被写体を含む本画像と、主要被写体を重ねて表示する合成用の本画像とを選択する。例えば、本画像がサムネイル形式の画像として、表示モニタ55に出力される。画像選択部57bは、ユーザの選択入力に応じて、主要被写体を含む本画像と合成用の本画像とを選択する。
サイズ比算出部57cは、主要被写体を含む本画像のサイズ情報と合成用の本画像のサイズ情報とに基づいて、サイズ比を算出する。画像切出部57dは、主要被写体を含む本画像を解析してその主要被写体の領域を切り出す。画像合成部57eは、サイズ情報に基づいて、主要被写体の領域を合成用の本画像に合成する。具体的には、画像合成部57eは、画像切出部57dが切り出した主要被写体の領域をサイズ比に合わせて拡大又は縮小して、合成用の本画像に合成する。画像表示制御部57fは、画像合成部57eが合成した後の本画像を表示モニタ55に表示させる。
次に、画像表示装置50の動作の一例を説明する。図16は、画像表示装置50の動作の一例を示すフローチャートである。以下の動作例では、電源オンの後、操作部56が第2表示モードの指示入力を受け付けると、CPU57は、図16に示すフローの処理を開始する。
ステップS401:CPU57の画像受付部57aは、画像の入力の受付処理を行なう。具体的には、画像受付部57aは、記録媒体30から本画像を読み出して、RAM51に一時記録する。そして、CPU57は、ステップS402の処理に移行する。
図17は、本画像と合成後の本画像の一例を示す図である。図17(a)は、人物Pが電子カメラ1で撮影された本画像31である。図17(b)は、樹木T1が電子カメラ1で撮影された本画像32である。これらの本画像のヘッダ領域にはサイズ情報が格納されている。なお、図17(c)については後述する。
ステップS402:CPU57の画像選択部57bは、本画像の選択処理を行なう。具体的には、CPU57は、本画像31及び本画像32をサムネイル表示形式で表示モニタ55に出力する。操作部56は、ユーザの選択入力を受け付ける。この選択入力に応じて、画像選択部57bは、例えば、主要被写体(人物P)を含む本画像31と、主要被写体を重ねて表示する合成用の本画像32とを選択する。そして、CPU57は、ステップS403の処理に移行する。
ステップS403:CPU57のサイズ比算出部57cは、サイズ比の算出処理を行なう。具体的には、サイズ比算出部57cは、主要被写体を含む本画像31のサイズ情報と合成用の本画像32のサイズ情報とに基づいて、サイズ比を算出する。
そして、CPU57は、ステップS404の処理に移行する。
そして、CPU57は、ステップS404の処理に移行する。
ステップS404:CPU57の画像切出部57dは、主要被写体の領域の切出し処理を行なう。具体的には、画像切出部57dは、主要被写体を含む本画像31を解析してその主要被写体の領域を切り出す。そして、CPU57は、ステップS405の処理に移行する。
ステップS405:CPU57の画像合成部57eは、サイズ情報に基づいて、主要被写体の領域を合成用の本画像32に合成する。具体的には、画像合成部57eは、画像切出部57dが切り出した主要被写体の領域をサイズ比に合わせて拡大又は縮小して、合成用の本画像に合成する。これにより、画像合成部57eは、図17(c)に示す合成後の本画像33を生成する。そして、CPU57は、ステップS406の処理に移行する。
ステップS406:CPU57の画像表示制御部57fは、合成後の本画像33を表示モニタ55に表示させる。そして、CPU57は、図16に示すフローの処理を終了する。なお、CPU57は、合成後の本画像33を記録媒体30に記録しても良い。
以上より、第3実施形態の画像表示装置50では、電子カメラ1で撮影された記録用の本画像を用いて、画像再生時に、既に撮影した主要被写体の画像を切り出して別の本画像に重畳表示させることができる。この際、画像表示装置50では、サイズ情報に基づいて、再生画像上で主要被写体のサイズ比が合うように表示することができる。したがって、画像表示装置50は、サイズ情報を利用してユーザの利便性を高めることができる。
(第4実施形態)
次に、本発明の第4実施形態のコンピュータについて説明する。第4実施形態では、記録媒体40に記録されているプログラムをコンピュータにインストールして、上記のサイズ情報の取得モードと第1表示モードと同様の処理を実行する。
(第4実施形態)
次に、本発明の第4実施形態のコンピュータについて説明する。第4実施形態では、記録媒体40に記録されているプログラムをコンピュータにインストールして、上記のサイズ情報の取得モードと第1表示モードと同様の処理を実行する。
図18は、コンピュータ60の構成例を説明するブロック図である。なお、図8に示す電子カメラ2のブロック図と同様の機能のブロックについては、説明を省略又は簡略化する。図18に示す通り、コンピュータ60は、例えば可搬性のコンピュータであって、カメラ部61と、本体部60aとを有する。本体部60aは、通信インターフェース部(以下「通信I/F部」という)62と、RAM63と、画像処理部64と、フラッシュメモリ65と、記録I/F部66と、表示I/F部67と、表示モニタ68と、操作部69と、CPU70と、データバス71とを備える。
カメラ部61は、撮影光学系61aと、撮像部61bと、レンズ駆動部61cとを備える。通信I/F部62は、カメラ部61との通信インターフェースを提供する。これにより、撮像部61bが出力する画像信号は、例えばUSB(Universal Serial Bus)接続により通信I/F部62を介してRAM63に記録される。画像処理部64は、第1実施形態の電子カメラ1の画像処理部15と同様の処理を行なう。フラッシュメモリ65は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ65は、CPU70の制御により記録媒体40に記録されているプログラムを格納する。
記録I/F部66は、コネクタ(不図示)に接続された記録媒体30や記録媒体40にアクセスする。表示I/F部67は、撮像部61bが出力するスルー画像を、例えば、所定のフレームレートで表示モニタ68に出力する。また、表示I/F部67は、再生用の静止画像やコンピュータ60の操作メニュー等を表示モニタ68に出力する。なお、表示モニタ68の表示画面上には、操作部69の透明のタッチパネルが配置されているものとする。
操作部69は、表示モニタ68の表面に配置された透明のタッチパネルである。操作部69は、タッチパネル表面に接触した指先等の位置を検出して撮影者からの操作を受け付ける。また、操作部69は、カメラ部61のレリーズ釦の機能を有する。
CPU70は、コンピュータ60の制御を行なうプロセッサである。CPU70は、フラッシュメモリ65に予め格納されたシーケンスプログラムを実行することにより、コンピュータ60の各部の制御等を行なう。また、CPU70は、記録媒体40からプログラムをフラッシュメモリ65に格納することにより、認識部70aと、選択部70bと、第1算出部70cと、第2算出部70dと、記録処理部70eと、画像切出部70f、画像合成部70g及び画像表示制御部70hの機能ブロックとしても機能する。なお、これらの機能ブロックは、第1実施形態及び第2実施形態で説明した、認識部22aと、選択部22bと、第1算出部22cと、第2算出部22dと、記録処理部22eと、画像切出部22f、画像合成部22gと、画像表示制御部22hと各々機能が同様であるので、ここでは、説明を省略する。
また、上記プログラムを用いたコンピュータ60の動作については、図3、図4及び図9で説明したフローの処理と同様であるので説明を省略する。
以上、本実施形態のプログラムを組み込んだコンピュータ60は、前述した電子カメラ1と同様にして、サイズ情報を容易に取得し、そのサイズ情報を本画像に関連付けることができる。また、コンピュータ60は、前述した電子カメラ2と同様にして、サイズ情報を利用してユーザの利便性を高めることができる。
(上記実施形態の補足事項)
(1)上記実施形態において、測距点の設定は、撮影画面上で特に限定されるのではなく、例えば、図5に示した例よりも細かく設定しても良い。一例として、主要被写体の輪郭線に沿って測距点を設定することにより、第1算出部22cは、いわゆる3D(3次元)の画像を生成するための絶対座標のデータを算出しても良い。
(上記実施形態の補足事項)
(1)上記実施形態において、測距点の設定は、撮影画面上で特に限定されるのではなく、例えば、図5に示した例よりも細かく設定しても良い。一例として、主要被写体の輪郭線に沿って測距点を設定することにより、第1算出部22cは、いわゆる3D(3次元)の画像を生成するための絶対座標のデータを算出しても良い。
(2)上記実施形態において、選択部22cは、輪郭を含む領域と重なる複数の領域の測距点のうちから、距離を算出する測距点を選択したが、例えば輪郭を含む領域と重なる全ての領域の測距点を選択しても良い。これにより、精度の高いサイズ情報が得られる。
(3)上記実施形態において、画像合成部22gは、主要被写体の領域をサイズ比に合わせて拡大又は縮小したが、CPU22は、主要被写体のサイズに合うように注目被写体を含むスルー画像のズーム倍率を変更しても良い。
(4)上記実施形態において、画像合成部22gは、注目被写体を含むスルー画像に主要被写体を合成したが、注目被写体と主要被写体とが重なる場合には、重なりを避けるように合成しても良い。また、画像合成部22gは、注目被写体と主要被写体との絶対座標に応じて、例えば、主要被写体を注目被写体の手前に配置するようにしても良い。
(5)上記実施形態において、CPU22は、コントラスト方式のAFの処理を行なったが、これは一例であって、例えば、位相差検出方式のAFの処理を行なっても良い。
また、上記実施形態において、CPU22は、コントラスト方式のAFの処理により、被写体距離を算出し、その被写体距離を利用して測距点ごとに合焦位置から測距点までの距離を算出した。ここで、CPU22は、測距点ごとにコントラスト方式のAFの処理を行ない、距離を算出しても良い。
(6)上記実施形態では、サイズ情報として、測距点ごとの画像上の座標(m、n)と絶対座標(X、Y、Z)との組み合わせとしたが、絶対座標(X、Y、Z)の代わりに、距離と測距用の画角のデータを採用しても良い。
(7)上記実施形態において、コンピュータ60は、第2実施形態の電子カメラ2の一部、例えば、CPU22、認識部22a、選択部22b、第1算出部22c、第2算出部22d、記録処理部22e、画像切出部22f、画像合成部22g及び画像表示制御部22hの機能をコンピュータで実現するようにしても良い。この場合、各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
(8)なお、(7)でいう「コンピュータシステム」とは、OS(Operating System)や周辺機器のハードウェアを含むものとする。さらに(7)でいう「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体(例えば記録媒体40)、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに前述の「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでも良い。また上記のプログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせにより実現するものであっても良い。
1、2・・・電子カメラ、12・・・撮像素子、22a・・・認識部、22b・・・選択部、22c・・・第1算出部、22d・・・第2算出部、22e・・・記録処理部、50・・・画像表示装置、57a・・・画像受付部、57b・・・画像選択部、57e・・・画像合成部、57f・・・画像表示制御部、60・・・コンピュータ
Claims (10)
- 撮影光学系を介して被写体の像を撮像する撮像部と、
前記撮像部が生成する第1画像から主要被写体を認識する認識部と、
前記主要被写体に応じた複数の測定点を選択する選択部と、
前記選択部が選択した測定点ごとに、各々の測定点に対し距離を算出する第1算出部と、
前記第1算出部が算出した各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第2算出部と、
前記撮像部が生成する記録用の第2画像と前記サイズ情報とを関連付けてメモリに記録する記録処理部と
を備えることを特徴とする電子カメラ。 - 請求項1に記載の電子カメラにおいて、
前記第1画像は、前記第2画像よりも低解像度の画像であって、
前記認識部は、前記第1画像から前記主要被写体を認識し、
前記第1算出部は、前記第1画像に対して、前記距離を前記測定点ごとに算出することを特徴とする電子カメラ。 - 請求項2に記載の電子カメラにおいて、
前記認識部は、前記第1画像を解析して、前記主要被写体の輪郭を抽出し、
前記選択部は、前記輪郭を含む領域のうち前記測定点と重なる領域を、前記距離を算出する測定点として選択することを特徴とする電子カメラ。 - 請求項1から請求項3の何れか1項に記載の電子カメラにおいて、
前記記録処理部は、前記第2画像の画像ファイルのヘッダ領域に前記サイズ情報を記録することを特徴とする電子カメラ。 - 請求項1から請求項4の何れか1項に記載の電子カメラにおいて、
前記第2画像を解析して前記主要被写体の領域を切り出す画像切出部と、
前記画像切出部が切り出した前記主要被写体の領域を、前記第2画像と異なる第1画像に合成する画像合成部と、
前記画像合成部が合成した後の第3画像を表示装置に表示させる画像表示制御部をさらに備えることを特徴とする電子カメラ。 - 請求項5に記載の電子カメラにおいて、
前記認識部は、前記第1画像内から前記主要被写体と異なる主要被写体として注目被写体を認識し、
前記選択部は、前記注目被写体を測距する測定点を撮影画面内で選択し、
前記第1算出部は、前記選択部が選択した測定点ごとに、前記注目被写体への距離を算出し、
前記第2算出部は、前記第1算出部が算出した各々の前記距離に基づいて、前記注目被写体のサイズ情報を算出し、
前記画像合成部は、前記主要被写体のサイズ情報と前記注目被写体のサイズ情報とに基づいてサイズ比を算出すると共に、前記主要被写体の領域を前記サイズ比に合わせて拡大又は縮小して前記第1画像に合成することを特徴とする電子カメラ。 - 請求項1から請求項4の何れか1項に記載の電子カメラで撮影された異なる複数の第2画像の入力を受け付ける画像受付部と、
前記主要被写体を含む第2画像と、前記主要被写体を重ねて表示する合成用の第2画像とを選択する画像選択部と、
前記サイズ情報に基づいて、前記主要被写体の領域を合成用の前記第2画像に合成する画像合成部と、
前記画像合成部が合成した後の第3画像を表示装置に表示させる画像表示制御部と
を備えることを特徴とする画像表示装置。 - 請求項7に記載の画像表示装置において、
前記主要被写体を含む第2画像を解析して該主要被写体の領域を切り出す画像切出部と、
前記主要被写体を含む前記第2画像のサイズ情報と合成用の前記第2画像のサイズ情報とに基づいて、サイズ比を算出するサイズ比算出部とをさらに備え、
前記画像合成部は、前記画像切出部が切り出した前記主要被写体の領域を前記サイズ比に合わせて拡大又は縮小して、合成用の前記第2画像に合成することを特徴とする画像表示装置。 - 撮影光学系を介して被写体の像を撮像させる撮像処理と、
前記撮像処理により生成する第1画像から主要被写体を認識する認識処理と、
前記主要被写体に応じた複数の測定点を選択する選択処理と、
前記選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する第1算出処理と、
前記第1算出処理により算出された各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第2算出処理と、
前記撮像処理により生成する記録用の第2画像と前記サイズ情報とを関連付けてメモリに記録する記録処理と
をコンピュータに実行させることを特徴とするプログラム。 - 撮影光学系を介して被写体の像を撮像させる撮像処理と、
前記撮像処理により生成する第1画像から主要被写体を認識する認識処理と、
前記主要被写体に応じた複数の測定点を選択する選択処理と、
前記選択処理により選択された測定点ごとに、各々の測定点に対し距離を算出する第1算出処理と、
前記第1算出処理により算出された各々の前記距離に応じて前記主要被写体の大きさを示すサイズ情報を算出する第2算出処理と、
前記撮像処理により生成する記録用の第2画像と前記サイズ情報とを関連付けてメモリに記録する記録処理と
をコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046446A JP2012186538A (ja) | 2011-03-03 | 2011-03-03 | 電子カメラ、画像表示装置、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011046446A JP2012186538A (ja) | 2011-03-03 | 2011-03-03 | 電子カメラ、画像表示装置、プログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012186538A true JP2012186538A (ja) | 2012-09-27 |
Family
ID=47016242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011046446A Withdrawn JP2012186538A (ja) | 2011-03-03 | 2011-03-03 | 電子カメラ、画像表示装置、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012186538A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015211395A (ja) * | 2014-04-28 | 2015-11-24 | オリンパス株式会社 | 情報機器、画像処理方法およびプログラム |
WO2022162922A1 (ja) * | 2021-01-29 | 2022-08-04 | 株式会社ニコンビジョン | 距離測定装置及び距離測定方法 |
-
2011
- 2011-03-03 JP JP2011046446A patent/JP2012186538A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015211395A (ja) * | 2014-04-28 | 2015-11-24 | オリンパス株式会社 | 情報機器、画像処理方法およびプログラム |
WO2022162922A1 (ja) * | 2021-01-29 | 2022-08-04 | 株式会社ニコンビジョン | 距離測定装置及び距離測定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2962455B1 (en) | Image processing apparatus, image processing method, and program | |
JP6157242B2 (ja) | 画像処理装置及び画像処理方法 | |
US9538085B2 (en) | Method of providing panoramic image and imaging device thereof | |
US9106837B2 (en) | Image capturing device and image capturing method | |
GB2485036A (en) | Preventing subject occlusion in a dual lens camera PIP display | |
WO2010073619A1 (ja) | 撮像装置 | |
JP2010041586A (ja) | 撮像装置 | |
US20120212640A1 (en) | Electronic device | |
JP6261205B2 (ja) | 画像処理装置 | |
JP2013008004A (ja) | 撮像装置 | |
JP2009128969A (ja) | 撮像装置および方法並びにプログラム | |
JP4894708B2 (ja) | 撮像装置 | |
JP5402242B2 (ja) | 画像再生装置、撮像装置、画像再生方法、画像再生プログラム | |
JP2014017665A (ja) | 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体 | |
JP2011193066A (ja) | 撮像装置 | |
JP2012186538A (ja) | 電子カメラ、画像表示装置、プログラム及び記録媒体 | |
JP6024135B2 (ja) | 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム | |
JP2016122939A (ja) | 撮像装置 | |
JP7001087B2 (ja) | 撮像装置 | |
JP6399120B2 (ja) | 撮像装置 | |
JP2016036081A (ja) | 画像処理装置、方法及びプログラム並びに記録媒体 | |
JP2019186831A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6642661B2 (ja) | 撮像装置 | |
JP6828069B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP6094701B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |