JP2010141722A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2010141722A
JP2010141722A JP2008317335A JP2008317335A JP2010141722A JP 2010141722 A JP2010141722 A JP 2010141722A JP 2008317335 A JP2008317335 A JP 2008317335A JP 2008317335 A JP2008317335 A JP 2008317335A JP 2010141722 A JP2010141722 A JP 2010141722A
Authority
JP
Japan
Prior art keywords
unit
framing
imaging device
display
main subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008317335A
Other languages
English (en)
Other versions
JP5210841B2 (ja
Inventor
Yoichi Sugino
陽一 杉野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008317335A priority Critical patent/JP5210841B2/ja
Priority to US12/633,087 priority patent/US8243180B2/en
Publication of JP2010141722A publication Critical patent/JP2010141722A/ja
Application granted granted Critical
Publication of JP5210841B2 publication Critical patent/JP5210841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザの撮影意図に応じたより自由度の高い撮影を可能とすることができる撮像装置を提供すること。
【解決手段】ビデオカメラ100は、複数のフレーミング補助モードを備えており、操作部180により追尾処理の開始指示がなされた場合、システム制御部160は、あらかじめ選択されたフレーミング補助モードで動作を行う。あるいは、システム制御部160は、記録I/F部145、動き検出部170、および回転検出部175から情報を取得し、適切なフレーミング補助モードを自動的に選択する。
【選択図】図1

Description

本発明は、撮像措置に関し、特に、被写体追尾機能を備えた撮像装置に関する。
撮影者(ユーザ)によって特定された被写体、または、所定の条件に基づいて撮像装置によって特定される被写体(以下「主被写体」という)の特徴量を求め、その特徴量を基
に画像データ中から主被写体が存在する領域を推定する技術が知られている。特に、連続的に入力される画像データである動画データにおいて主被写体が存在する領域を順次求める処理は、移動する主被写体を追いかけるように動作するため、追尾処理または追跡処理と呼ばれることが多い。なお、本願では、動画データにおいて主被写体を追いかけることを「追尾」と呼ぶことにする。
こうした追尾処理によって主被写体の位置を求め、例えば、主被写体に合焦させる焦点制御や、主被写体の明度を適切なレベルに調整する露出制御、撮影範囲を調整するフレーミング制御など、主被写体を適切に撮影できるよう撮影制御を行う撮像装置が種々提案されている(例えば、特許文献1参照)。なお、フレーミング制御では、通常、主被写体が画面中央に来るようパンニングやチルティング、ズームなどが行われる。
図11は、特許文献1に記載されている自動追尾機能付き撮像装置における、2つの被写体検出モードの切り替え処理を示すフローチャートである。
図11において、撮像装置の電源ON後、ステップS1における撮影モード選択にて、ユーザは、撮像装置に備えられた操作手段を用いて、ステップS2における通常モードで撮像装置を動作させるか、ステップS3における追尾モードで撮像装置を動作させるかを選択することができる。この選択は、ステップS4における電源OFFまでの間、適宜実施可能である。
このような動作モードの選択機能を有する特許文献1記載の撮像装置は、被写体検出部と切り替え部とを備えている。被写体検出部は、撮像された画像の中から主被写体を検出することができる。切り替え部は、通常モードと追尾モードとを切り替える。通常モードでは、撮像された画像から主被写体を被写体検出部によって検出させる。追尾モードでは、撮像された画像の一部である認識領域を対象として主被写体を被写体検出部によって検出させる。
通常モードとは、例えば、顔検出処理を行うモードであり、撮像された画像中から顔が1つ以上検出される。追尾モードとは、例えば、初期状態が画像の中央に設定された認識領域内で顔を検出し、以降、認識領域内で検出された顔の位置に追従するよう認識領域の位置を変更するモードである。通常モードでは、撮像装置に特徴を登録済みの顔や、大きさや位置などの情報に従って重み付けされた後の、優先順位の高い顔などが、自動的に検出される。一方、追尾モードでは、撮像装置に未登録の顔や、優先順位は低いもののユーザにとって興味の高い顔などを、検出対象とすることができる。
特許文献1記載の撮像装置は、通常モードおよび追尾モードのいずれのモードにおいても、被写体検出結果を自動合焦制御および自動露出制御に適用するよう構成されている。また、特許文献1記載の撮像装置は、これを支持する雲台を備えており、被写体検出結果は、撮像された画像の中における被写体検出位置に基づいて雲台を制御し、主被写体が画面中央に来るようにするフレーミング制御に使用される。
特開2007−336400号公報
しかしながら、特許文献1記載の撮像装置は、被写体の検出方法に関する切り替えを目的としており、被写体検出結果である被写体の位置情報に基づいて動作する撮影機能は固定的であった。
自動合焦制御や自動露出制御、フレーミング制御など、検出した被写体の位置情報を活用する撮影機能は種々考えられ、それらの撮影機能のいずれが最も効果的であるかは、撮影状況やユーザの意図などによって異なる。例えば、雲台制御によりフレーミング制御を自動化し、撮影時の負担を軽減したいユーザもいれば、撮影操作の自動化は不要であり、自動合焦制御および自動露出制御にのみ、被写体検出結果を適用することを望むユーザもいるであろう。このような被写体検出結果の適用先を選択可能とする手段はこれまで存在しなかった。
本発明は、かかる点に鑑みてなされたものであり、ユーザの撮影意図に応じたより自由度の高い撮影を可能とすることができる撮像装置を提供することを目的とする。
本発明の撮像装置は、被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、前記撮像部によって撮像された画像を表示する表示部と、前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第1のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第2のフレーミング補助モードと、を選択的に実行する制御部と、前記第1のフレーミング補助モードと前記第2のフレーミング補助モードとを切り替える切り替え部と、を有する構成を採る。
本発明によれば、ユーザの撮影意図に応じたより自由度の高い撮影を可能とすることができる
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、各実施の形態では、撮像装置としてビデオカメラを例にとって説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る撮像装置としてのビデオカメラの構成を示すブロック図である。
図1において、ビデオカメラ100は、光学系105、固体撮像素子110、アナログデジタル(A/D)変換部115、映像信号処理部120、Y/C変換部125、システムバス130、バッファメモリ部135、コーデック部140、記録インタフェース(I/F)部145、ソケット150、追尾処理部155、システム制御部160、光学系制御部165、動き検出部170、回転検出部175、操作部180、および表示部190を有する。
光学系105は、図示しないが、複数枚のレンズや、露出制御を行う絞り部、シャッタ装置などを、ピッチング方向およびヨーイング方向に駆動制御可能なレンズ鏡筒の内部に配置して構成されている。光学系105を構成するレンズは、合焦状態調節のために光軸に沿って移動するフォーカスレンズと、被写体を含む被写界の光学的な像(光学像)を変倍するため光軸に沿って移動するズームレンズとを含む。レンズ鏡筒は、後述する鏡筒制御部の駆動制御によって、所定の範囲内での光軸方向調整が可能となっている。被写界の光学像は、光学系105を介して固体撮像素子110上に結像される。
固体撮像素子110は、光学系105により結像された光学像を電気信号(アナログ映像信号)に変換する。固体撮像素子110としては、例えば、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどが用いられる。
A/D変換部115は、固体撮像素子110から出力されたアナログ映像信号をデジタル映像信号に変換する。
映像信号処理部120は、A/D変換部115から出力されたデジタル映像信号に対して、ゲイン調整やノイズ除去、ガンマ補正、アパーチャ処理、ニー処理などの、周知の映像信号処理を施すことにより、RGB形式のデジタル映像信号を映像データとして生成する。生成された映像データは、Y/C変換部125および追尾処理部155にそれぞれ出力される。
すなわち、光学系105、固体撮像素子110、A/D変換部115、および映像信号処理部120は、光学系105を介して固体撮像素子110にて被写界の光学像を受光し、受光された光学像からデジタル映像信号を映像データとして生成する撮像部を構成する。
Y/C変換部125は、映像信号処理部120により生成されたデジタル映像信号の形式をRGB形式からY/C形式に変換する。Y/C変換部125によってY/C形式に変換されたデジタル映像信号は、システムバス130を経由してバッファメモリ部135に出力される。
バッファメモリ部135は、Y/C変換部125またはコーデック部140から出力されたデジタル映像信号をデジタル映像情報として一時的に格納する。
コーデック部140は、バッファメモリ部135に格納されたデジタル映像情報を、システムバス130を経由して取得し、取得したデジタル映像情報に対して不可逆圧縮処理を施すことにより、例えば、MPEG−2(Moving Picture Experts Group phase 2)や、H.264/MPEG−4 AVC(Moving Picture Experts Group phase 4 Part 10 Advanced Video Coding)などの、所定形式の圧縮映像データを生成する。さらに、コーデック部140は、生成した圧縮映像データを、システムバス130および記録I/F部145を経由して、ソケット150に電気的に接続された記録媒体195に記録する。
また、コーデック部140は、ソケット150に電気的に接続された記録媒体195に記録された圧縮映像データを取得し、取得した圧縮映像データに対して伸張処理を施すことにより、デジタル映像信号を生成する。コーデック部140は、生成したデジタル映像信号を、システムバス130を経由してバッファメモリ部135に出力する。
すなわち、コーデック部140および記録I/F部145は、上記撮像部により生成された映像データを記録媒体195に記録する機能と、記録媒体195に記録された映像データをビデオカメラ100に取り込む機能とを兼備する記録部を構成する。
なお、本実施の形態では、記録媒体195は、ソケット150に対して挿抜自在なリムーバブルメディアであるが、ビデオカメラ100に内蔵されたハードディスクなどの記録媒体であってもよい。
追尾部としての追尾処理部155は、映像信号処理部120により映像データとして生成されたRGB形式のデジタル映像信号に対して画像縮小処理を適宜施すことにより、画像データを順次生成し、生成した各画像データを内部のメモリ(図示せず)に格納する。
また、追尾処理部155は、追尾モードが有効化されているときに、内部に格納された各画像データに基づいて、被写界における主被写体を追尾するための所定の処理(追尾処理)を実行する。追尾処理は、例えば、主被写体を撮影領域内に収めるよう撮影領域を変更する処理や、特定の主被写体に合わせて撮影条件を最適化する(後述するAFやAEなど)など、各種の処理を含むことができる。追尾処理部155は、内部に格納された各画像データから様々な特徴量を抽出し、抽出した特徴量に基づいて追尾処理を行う。
ここで、特徴量の抽出について説明する。追尾処理部155は、既知の手法により、画像データから様々な特徴量を抽出することができる。
抽出される特徴量の一例として、システム制御部160から指定された画像データにおける特定領域の輝度レベル値が挙げられる。これは露出制御に用いられる。この輝度レベル値に基づいて、光学系105の絞りとシャッタ速度が調整される。
抽出される特徴量の他の例として、システム制御部160から指定された画像データにおける特定領域の高周波成分情報が挙げられる。これは焦点制御に用いられる。映像信号に含まれる高周波成分は、合焦の度合いに対応しており、合焦点において最大値をとる。そこで、一般に「山登り方式」として知られている合焦検出方式では、光学系105を構成するフォーカスレンズとズームレンズとを移動させ、高周波成分の最大値を求めることによって、合焦検出動作が行われる。
上記の露出制御および焦点制御は、システム制御部160によって処理され、光学系制御部165に制御情報が通知され、光学系制御部165が光学系105の制御を行う。
図2は、光学系制御部165の構成の一例を示すブロック図である。
図2において、光学系制御部165は、絞り制御部166、レンズ制御部167、および鏡筒制御部168を有する。
具体的には、追尾処理部155が特定領域の輝度レベル値を抽出した場合、システム制御部160は、抽出された輝度レベル値に基づいて最適な絞り値を計算し、計算した絞り値に基づいて絞りの制御量を光学系制御部165内の絞り制御部166に通知する。絞り制御部166は、システム制御部160から通知された絞りの制御量に基づいて、光学系105に備えられた絞り調整装置とシャッタ装置とを駆動することにより、光学系105の絞りを調整する。
また、追尾処理部155が特定領域の高周波成分情報を抽出した場合、システム制御部160は、抽出された高周波成分情報に基づいて、光学系105を構成するフォーカスレンズとズームレンズとを制御するためのレンズ制御量を決定し、決定したレンズ制御量を光学系制御部165内のレンズ制御部167に通知する。レンズ制御部167は、システム制御部160から通知されたレンズ制御量に基づいて、光学系105を構成するフォーカスレンズとズームレンズとを駆動する。
また、後述するフレーミング処理により、主被写体の位置に基づいて撮影範囲を変更する場合、システム制御部160は、追尾処理部155から入力画像内における主被写体領域の中心座標が通知され、主被写体領域の中心座標が画面の中央に来るよう、光学系制御部165内の鏡筒制御部168に対して、ヨーイング方向およびピッチング方向における鏡筒制御量を通知する。鏡筒制御部168は、システム制御部160から通知された鏡筒制御量に基づいて、光学系105を構成するレンズ鏡筒を駆動制御する。
次に、主被写体領域の抽出処理について説明する。
追尾処理部155は、あらかじめ設定された主被写体の特徴量に基づいて、画像データにおいて主被写体が存在する可能性の高い領域(以下「被写体領域」という)を抽出することもできる。このような処理は、一般に、被写体検出と呼ばれているが、被写体識別または被写体認識と呼ばれることもある。
主被写体の特徴量は、例えば、顔らしさを表す特徴量のように、追尾処理部155の内部に固定的に保持されている場合と、追尾開始時に追尾初期位置に対応する画像の部分領域から特徴量を演算するといった、動的に生成する場合との双方が考えられる。
被写体領域の抽出方法としては、例えば、追尾処理部155は、画素群の画素値そのものを特徴量として用い、入力画像に対して画素単位での領域比較を行うことにより、画像データ内に設定した複数の被写体領域の候補領域のうち、最も類似度の高い候補領域を被写体領域として決定する。この手法は、一般に、テンプレートマッチングと呼ばれている。
なお、特徴量として、画素値の代わりに、画像領域内の色分布を示す色ヒストグラムを用いてもよい。この場合、追尾処理部155は、入力画像から被写体領域の候補となる領域群を選出し、選出した領域群に対して色ヒストグラムを作成し、作成した色ヒストグラム間の類似度を、ヒストグラムインターセクション法などを用いて計算し、計算の結果、最も高い合致度を呈する画像領域を被写体領域として決定する。
ここで、被写体領域の候補となる領域群は、例えば、前回抽出された被写体領域の位置を中心とする一定範囲の領域内から選出する。これは、主被写体が短時間で大きく移動しないという仮定に基づいており、処理量の削減、および、主被写体から離れた位置に存在する類似被写体を無視することによる検出精度の向上を望むことができる。
また、特徴量として、輪郭を代用してもよいし、フレーム間差分を用いた動き情報などを代用してもよい。
また、特徴量として、GaborまたはHaar−Likeといった既知のウェーブレット特徴量を代用してもよい。あるいは、特徴量として、人間の顔もしくは人体または特定の人物もしくは物体といった検出対象物に応じてサンプル画像を用いて事前学習を行うことによって得られる特徴量を代用してもよい。この場合、追尾処理部155は、得られた特徴量に基づいて、入力画像から検出対象の存在する領域を被写体領域として抽出する。
以上述べたような被写体検出に関する様々な技術は、古くから研究開発されている。本発明は、特定の特徴量にも特定の被写体検出方法にも依存していないため、任意の特徴量および被写体検出方法を用いることができ、また、複数の技術を組み合わせて使用することもできる。
なお、色ヒストグラムや画像テンプレートなどの、サンプル画像を用いた事前学習を必要としない特徴量については、追尾処理部155は、システム制御部160から指示があったときに動的に作成する。特徴量の動的作成については後述する。
動き検出部170は、ビデオカメラ100の動きを検出する。動き検出部170は、図示しないが、例えば、角速度センサおよびA/D変換器から構成されている。システム制御部160は、動き検出部170の角速度センサの出力に基づいて、ビデオカメラ100のヨーイング方向およびピッチング方向の動きを検知することができる。これにより、例えば、ビデオカメラ100が手で保持されているか否か、ビデオカメラ100を持ったユーザが静止しているか否かを判定することができる。
より具体的には、動き検出部170は、例えば、角速度センサおよびA/D変換器が、ヨーイング方向の動き検出用とピッチング方向の動き検出用に2組ずつ設けられている。動き検出部170の角速度センサは、ヨーイング方向とピッチング方向の2つの角速度信号を出力する。角速度センサから出力された2つの角速度信号は、それぞれ、動き検出部170のA/D変換器でA/D変換された後、システム制御部160に通知される。システム制御部160は、2つの角速度信号に対してそれぞれハイパスフィルタを適用し低周波成分を遮断した後、角速度信号の積分を行い、角変位信号を得る。システム制御部160は、ヨーイング方向の角速度または角変位信号、および、ピッチング方向の角速度または角変位信号を、それぞれ閾値と比較することによって、所望の判定を行う。
制御部としてのシステム制御部160は、CPU(Central Processing Unit)、プログラムを記録したROM(Read Only Memory)、およびプログラム実行用のRAM(Random Access Memory)から成り(いずれも図示せず)、システムバス130を介してビデオカメラ100の各部の動作を制御する。
より具体的には、システム制御部160は、ユーザが操作部180を操作したときに、その操作に応じて操作部180から入力される操作情報に従って、ビデオカメラ100の各部、特に、コーデック部140と記録I/F部145とから構成される記録部と、追尾処理部155から構成される追尾部とを制御する。
また、システム制御部160は、バッファメモリ部135に格納されたデジタル映像情報を、システムバス130を経由して取得し、取得したデジタル映像情報に対して画像縮小処理を施すことにより表示データを生成し、生成した表示データを表示部190に出力して、表示部190の表示画面において表示データを映像として表示させる。したがって、撮影モードが選択されているときは、バッファメモリ部135には上記撮像部により生成された映像データが格納されるため、生の映像が表示部190に表示される。また、再生モードが選択されているときは、バッファメモリ部135には上記記録部により生成された映像データが格納されるため、過去の記録映像が表示部190に表示される。
表示データを生成する際、システム制御部160は、記録時間情報、バッテリ残量情報、および動作中の機能を直感的に把握可能な各種アイコンなどが、表示画面に表示される映像に重畳されるよう、生成した表示データに対して画像処理を行う。また、操作部180が操作されることにより各種設定のためのメニューを表示することが要求された場合、システム制御部160は、要求されたメニューが表示画面に表示されるよう表示データに対して画像処理を行う。さらに、メニューの選択、ならびに、設定および設定解除の操作が行われた場合、システム制御部160は、それらの操作に応じた画像処理を表示データに対して行う。
表示部190は、例えば、小型のLCD(Liquid Crystal Display)パネルなどの薄型表示パネルを有するほか、電子ビューファインダ(EVF:Electric View Finder)を有する。
操作部180は、複数の操作部材から構成される。ユーザは、小型の薄型表示パネルまたはEVFに表示された映像を参照しながら、操作部180を操作することができる。操作部180が操作されたとき、操作部180からシステム制御部160にその操作情報が入力される。
操作部材は、典型的にはボタンやレバーなどである。操作部材がボタンである場合、ユーザは、操作部材の押下操作を行うことにより、ボタンを解放状態(OFF状態)から押下状態(ON状態)に変化させたり押下状態(ON状態)から解放状態(OFF状態)に復帰させたりする。
なお、操作部材は、操作部材への人体部位の接触を検知することができる、例えば、静電容量方式のセンサを有するものであってもよい。操作部180がこのようなセンサを有する場合、システム制御部160は、人体部位が操作部材に接触していることが検知されたときには、操作部材が押下状態(ON状態)を呈していると判定し、人体部位が操作部材に接触していないことが検知されたときには、操作部材が解放状態(OFF状態)を呈していると判定する。
要するに、ビデオカメラ100は、種々のボタンやレバーなどで構成される操作部180によって操作される。ユーザは、小型のLCDパネルやEVFに代表される表示部190にて撮影中の映像を参照しながら、操作部180を通じてビデオカメラ100に種々の指示を与える。表示部190に表示される映像データは、システム制御部160によって作成される。システム制御部160は、バッファメモリ部135に格納された画像データを表示部190の解像度に適合するよう縮小し、縮小した映像に対して、ビデオカメラ100の動作状態を直感的に把握できる各種アイコンなどを重畳した上で、表示部190に出力する。
なお、表示部190は、所定の方向に回転可能である。ユーザによって表示部190が所定の方向に回転された場合、回転検出部175からシステム制御部160に通知が行われる。
次に、本実施の形態における主被写体の指定方法について説明する。
図3は、本実施の形態における表示部190の表示内容の一例を示す図である。図3(A)において、指定枠210は、主被写体200を指定するための枠表示であり、追尾モードが有効になっている場合に画面中央に表示される。指定枠210内に主被写体200を捉えた状態で、操作部180を構成する追尾ボタンが押下されると、指定枠210内の領域に対応する画像データに基づいて、追尾処理部155にて、追尾処理に使用される特徴量が生成される。
追尾処理が開始されると、図3(B)に示すように、主被写体200に追尾枠220が重畳して表示される。
本実施の形態では、主被写体の検出結果に基づいて実施される複数の撮影機能の適用先を切り替える切り替え手段を設けて、被写体検出結果が適用される撮影機能の選択を可能としている。これにより、主被写体の検出結果に基づいて実施される複数の撮影機能を個別に有効化または無効化することができるため、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
具体的には、ビデオカメラ100は、複数のフレーミング補助モードを備えており、操作部180により追尾処理の開始指示がなされた場合、システム制御部160は、あらかじめ選択されたフレーミング補助モードで動作を行う。あるいは、他の実施の形態で後述するように、システム制御部160は、記録I/F部145、動き検出部170、および回転検出部175から情報を取得し、適切なフレーミング補助モードを自動的に選択する。
例えば、一例として、本実施の形態では、ビデオカメラ100は、第1のフレーミング補助モードと第2のフレーミング補助モードを備えている。第1のフレーミング補助モードは、追尾処理部155で検出された主被写体の位置情報に基づいてフレーミングを補助する表示を表示部190に表示するフレーミング補助モードである。第2のフレーミング補助モードは、追尾処理部155で検出された主被写体の位置情報に基づいてフレーミング処理を実行させるフレーミング補助モードである。第1のフレーミング補助モードでは、ユーザはある程度自由にフレーミングを設定することができる。一方、第2のフレーミング補助モードは、自動撮影によりユーザの撮影時の負担を軽減することを目的としている。動作の詳細は、後述する。
次いで、上記構成を有するビデオカメラ100における追尾処理の流れについて、図4に示すフローチャートを用いて説明する。
図4のフローチャートは、録画時、または、録画待機時において操作部180を構成する追尾ボタンが押下されたときに行われる処理を示している。
まず、ステップS1000では、システム制御部160は、図3(A)に示す指定枠210の位置(座標)を主被写体位置情報として設定する。
そして、ステップS1100では、システム制御部160は、既述の方法によって、ステップS1000で設定した主被写体位置情報が示す位置の部分画像、つまり、指定枠210内の部分画像の特徴量を取得する。
なお、ステップS1000およびステップS1100では、追尾処理を開始するために必要な情報が設定された。これ以降のステップでは、取得した情報に基づいて追尾処理が実行される。
そして、ステップS1200では、追尾処理部155は、被写体領域の検出を行う。具体的には、追尾処理部155は、既述の方法によって、ステップS1000で設定した主被写体位置情報を基準として、画像データから被写体候補領域を抽出し、ステップS1100で設定した特徴量に最も合致する被写体領域を、被写体候補領域から選択し被写体領域とする。
そして、ステップS1300では、システム制御部160は、ステップS1200での被写体領域検出結果が成功であったか否かを判定する。この判定の結果として、被写体領域検出結果が成功であった場合は(S1300:YES)、ステップS1400に進み、被写体領域検出結果が不成功であった場合は(S1300:NO)、直ちにステップS1700に進む。
ステップS1400では、システム制御部160は、主被写体位置情報を更新する。
そして、ステップS1500では、システム制御部160は、ステップS1400で更新した主被写体位置情報に基づいて、追尾枠220の表示を更新する。
そして、ステップS1600では、システム制御部160は、本実施の形態の特徴である後述する追尾処理を行う。
そして、ステップS1700では、システム制御部160は、操作部180を構成する追尾ボタンが押下されたか否かを判定する。この判定の結果として、追尾ボタンが押下された場合は(S1700:YES)、追尾処理を終了する。これに対し、追尾ボタンが押下されていない場合は(S1700:NO)、ステップS1200に戻り、追尾処理を続行する。
なお、図4に示すフローチャートに基づく追尾処理の実施中、追尾処理部155には、随時、映像信号処理部120からデジタル映像信号が入力されており、入力されたデジタル映像信号に基づいて、追尾処理部155内の図示しないメモリの画像データが随時更新されているものとする。
なお、ステップS1000およびステップS1100では、上記の処理内容に代えて、あらかじめ記憶されている特徴量を読み込み、画面内から当該特徴量を持つ領域を抽出し、抽出した領域の位置を最初の主被写体位置としてもよい。
図5は、図4に示す追尾処理(ステップS1600)の内容の一例を示すフローチャートである。図5に示す追尾処理は、第1のフレーミング補助モードにおける追尾処理の動作内容の一例を示している。
まず、ステップS1610では、システム制御部160は、既述の方法によって、ステップS1400で更新した主被写体位置情報に基づいて、自動合焦(AF)処理および自動露出(AE)処理の制御を行う。
そして、ステップS1612では、システム制御部160は、ステップS1400で更新した主被写体位置情報に基づいて、主被写体が撮影領域の範囲外へフレームアウトしそうか否かを判定する。これは、追尾処理部155内の図示しないメモリに格納されている画像データの外周に一定の範囲の領域を設け、その領域に主被写体が入っているか否かを調べることによって、容易に判定することができる。この判定の結果として、主被写体がフレームアウトしそうである場合は(S1612:YES)、ステップS1614に進み、主被写体がフレームアウトしそうでない場合は(S1612:NO)、直ちに図4のステップS1700にリターンする。
ステップS1614では、システム制御部160は、フレームアウトしそうな方向がユーザにわかるよう、表示部190を通じて警告表示を行う。その後、処理は、図4のステップS1700にリターンする。
図6は、図5のステップS1614で行う警告表示の一例を示す図である。
図6は、主被写体が右方向にフレームアウトしそうであると判定された場合の表示例である。ここでは、図6に示すように、警告表示230が画面右方向に表示されている。その他の方向に主被写体がフレームアウトしそうになった場合は、上方向であれば警告表示230a、左方向であれば警告表示230b、下方向であれば警告表示230c、をそれぞれ表示する。
なお、ユーザの注意を喚起するため、警告表示230の色を変化させたり、点滅させたりしてもよい。また、上下左右の4方向に加えて、斜め方向など、警告表示230のパターンをさらに細かく表示するように構成してもよい。
以上が、第1のフレーミング補助モードにおける追尾処理の動作内容である。主被写体がフレームアウトしそうな方向をユーザに知らせる本処理によって、フレーミングの調整を支援することができるため、ビデオカメラ100の使い勝手が向上する。
図7は、図4に示す追尾処理(ステップS1600)の内容の一例を示すフローチャートである。図7に示す追尾処理は、第2のフレーミング補助モードにおける追尾処理の動作内容の一例を示している。
まず、ステップS1620では、システム制御部160は、既述の方法によって、ステップS1400で更新した主被写体位置情報に基づいて、自動合焦(AF)処理および自動露出(AE)処理の制御を行う。
そして、ステップS1622では、システム制御部160は、フレーミング処理を行う。具体的には、システム制御部160は、ステップS1400で更新した主被写体位置情報に基づいて、主被写体が撮影領域の中央になるべく配置されるようなフレーミング処理を行う。例えば、システム制御部160は、主被写体の位置と撮影領域の中央との位置の差分を計算し、計算した差分量がゼロ(0)になるよう、鏡筒制御部168に鏡筒制御量を通知する。鏡筒制御部168は、システム制御部160から通知された鏡筒制御量に基づいて、光学系105を構成するレンズ鏡筒をヨーイング方向およびピッチング方向に駆動制御する。レンズ鏡筒を駆動することによって、光学系105の光軸が変化し、結果として撮影領域における主被写体の位置が変化する。
ただし、光学系105のレンズ鏡筒の駆動可能量には限界があるため、レンズ鏡筒を駆動制御しても主被写体が撮影領域からフレームアウトする場合がある。したがって、主被写体のフレームアウトを防止するため、ステップS1624で、主被写体がフレームアウトしそうか否かの判定を行う。この判定処理の内容は、図5に示すステップS1612の判定処理の内容と同一である。
すなわち、ステップS1624では、システム制御部160は、ステップS1400で更新した主被写体位置情報に基づいて、主被写体が撮影領域の範囲外へフレームアウトしそうか否かを判定する。これは、上記のように、追尾処理部155内の図示しないメモリに格納されている画像データの外周に一定の範囲の領域を設け、その領域に主被写体が入っているか否かを調べることによって、容易に判定することができる。この判定の結果として、主被写体がフレームアウトしそうである場合は(S1624:YES)、ステップS1626に進み、主被写体がフレームアウトしそうでない場合は(S1624:NO)、直ちに図4のステップS1700にリターンする。
ステップS1626では、システム制御部160は、表示部190を通じて警告表示を行う。その後、処理は、図4のステップS1700にリターンする。
図8は、図7のステップS1626で行う警告表示の一例を示す図である。
図8の例では、第1のフレーミング補助モード時の警告表示230(図6参照)と異なり、警告表示240は、主被写体がフレームアウトしそうな方向は示していない。ただし、第1のフレーミング補助モード時の警告表示230よりも、より一層目立つような表示となっている。
第2のフレーミング補助モードは、自動撮影によりユーザの撮影時の負担を軽減することを目的としている。そのため、ユーザは、第2のフレーミング補助モードで動作中の撮像装置(ビデオカメラ100)に対して、注意を払っていない場合があると考えられる。例えば、ユーザが、表示部190を注視しておらず、撮影中に主被写体を直に見ているといった場合である。このような場合、フレームアウトしそうであるという情報をユーザに迅速に伝えることが、撮影失敗を回避するために重要であり、フレームアウトしそうな方向といった、付加的な情報の提示の優先度は低い。したがって、第2のフレーミング補助モード時の警告表示については、図8に示す警告表示240のように、画面上に大きく警告表示を表示することによって、ユーザがより確実に警告表示に気づくことができるようにしている。
なお、第2のフレーミング補助モードでは、さらに、例えば、図9に示すような警告表示を行うようにしてもよい。具体的には、図9(A)は、主被写体を見失ったと判定された場合の表示部190における警告表示の一例である。被写体を見失ったことを示す警告表示250が画面に表示されている。さらに、主被写体を見失った状態が一定時間継続した場合には、追尾処理を終了するように構成し、この場合、図9(B)に示すような警告表示260を画面に表示するようにしてもよい。これらの警告表示250、260により、ユーザは、表示部190を注視していなくとも、容易にかつ瞬時に追尾処理の実施状況を把握することができる。
以上が、第2のフレーミング補助モードにおける追尾処理の動作内容である。
ここで、本実施の形態では、第1のフレーミング補助モードと、第2のフレーミング補助モードとは、手動で切り替え可能である。ユーザは、操作部180を用いて、ビデオカメラ100に対して、第1のフレーミング補助モードで動作するか、第2のフレーミング補助モードで動作するかを指示することができる。ユーザの操作は、操作部180を通じてシステム制御部160に通知され、以降、システム制御部160は、ユーザが指示したフレーミング補助モードでビデオカメラ100が動作するよう各部を制御する。
このように、本実施の形態によれば、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
(実施の形態2)
実施の形態2は、撮影装置が撮影(録画)中か否かに応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図1に示す実施の形態1に対応するビデオカメラ100と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、ビデオカメラ100が撮影(記録)中か否かを判定し、この判定の結果に応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替えることである。
具体的には、撮影中は、撮影が失敗しないよう、積極的にフレーミング処理を行う第2のフレーミング補助モードで動作する。一方、撮影中でなければ、積極的にフレーミング処理を行う第2のフレーミング補助モードはユーザに煩わしさを与える可能性がある上、この場合は、そもそも撮影の失敗がないため、被写体がフレームアウトしないようフレーミング処理を行う必要性も低い。したがって、撮影中でなければ、ユーザの意図どおりのフレーミングを行うことができるよう、第1のフレーミング補助モードで動作する。
ビデオカメラ100が撮影中か否かは、記録I/F手段145が記録動作中であるか否かを、システム制御部160が確認することによって、判定可能である。
すなわち、切り替え部としてのシステム制御部160は、ビデオカメラ100が撮影(記録)中である場合は、第2のフレーミング補助モードに自動的に切り替え、ビデオカメラ100が撮影(記録)中でない場合は、第1のフレーミング補助モードに自動的に切り替える。
このように、本実施の形態によれば、ユーザの操作の負荷を軽減しつつ、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
(実施の形態3)
実施の形態3は、撮影装置が手で保持されているか否かに応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図1に示す実施の形態1に対応するビデオカメラ100と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、ビデオカメラ100が手で保持されているか否かを判定し、この判定の結果に応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替えることである。
具体的には、ビデオカメラ100が手で保持されていると判定された場合は、ユーザの意図を推察して、第1のフレーミング補助モードで動作する。一方、ビデオカメラ100が三脚に固定されているなど、手で保持されていないと判定された場合は、第2のフレーミング補助モードで動作する。
ビデオカメラ100が手に持たれているか否かを判定する方法は公知である。例えば、動き検出部170から出力されるヨーイング方向およびピッチング方向の角速度信号に対してそれぞれDCフィルタを適用して低域周波数成分を除去し、得られた各信号の振幅が閾値を超えていれば手持ちであると判定し、それが閾値を超えていなければ手持ちでないと判定する。
すなわち、切り替え部としてのシステム制御部160は、ビデオカメラ100が手で保持されている場合は、第1のフレーミング補助モードに自動的に切り替え、ビデオカメラ100が手で保持されていない場合は、第2のフレーミング補助モードに自動的に切り替える。
このように、本実施の形態によれば、ユーザの操作の負荷を軽減しつつ、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
(実施の形態4)
実施の形態4は、撮影装置を持ったユーザが静止しているか否かに応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図1に示す実施の形態1に対応するビデオカメラ100と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、ビデオカメラ100を持ったユーザが静止しているか否かを判定し、この判定の結果に応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替えることである。
具体的には、ユーザが静止していると判定された場合は、ユーザの意図を推察して、第1のフレーミング補助モードで動作する。一方、ユーザが歩行しているなど、ユーザが静止していないと判定された場合は、第2のフレーミング補助モードで動作する。
ユーザが静止しているか否かの判定は、動き検出部170から出力されるヨーイング方向およびピッチング方向の角速度信号を用いて、システム制御部160にて実施することができる。各角速度信号の周波数および振幅が一定の閾値を超えた場合、システム制御部160は、ビデオカメラ100を持ったユーザは静止していないと判定する。
すなわち、切り替え部としてのシステム制御部160は、ビデオカメラ100を持ったユーザが静止している場合は、第1のフレーミング補助モードに自動的に切り替え、ビデオカメラ100を持ったユーザが静止している場合は、第2のフレーミング補助モードに自動的に切り替える。
以上の動作により、ユーザが静止していないため主被写体を撮影領域内に収めにくい状況においても、第2のフレーミング補助モードが有効となるため、撮影失敗の可能性を低減することができる。
(実施の形態5)
実施の形態5は、いわゆる自分撮りか否かに応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替える場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図1に示す実施の形態1に対応するビデオカメラ100と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、手に持った撮像装置(ビデオカメラ100)で自分自身を取る、いわゆる自分撮りの場合とそうでない場合とを判定し、この判定の結果に応じて第1のフレーミング補助モードと第2のフレーミング補助モードとを自動的に切り替えることである。
具体的には、自分撮りでないと判定された場合は、第1のフレーミング補助モードで動作し、自分撮りであると判定された場合は、第2のフレーミング補助モードで動作する。自分撮りの場合は、通常時の撮影と比べてフレーミングを定めることが難しいため、フレーミングの変更制御が行われる第2のフレーミング補助モードで動作するようにしている。
自分撮りを行っているか否かを判定する方法として、例えば、表示部190の回転を検知する方法がある。
図10は、図1に示すビデオカメラ100の外観を示す斜視図である。
図10において、ボタン180aは、録画の開始および停止を指示する録画ボタンである。ボタン180bは、被写体検出処理および追尾処理の開始・停止を指示する追尾ボタンである。ボタン180cは、ズームを行うためのズームレバーである。
開閉パネル300は、記録媒体195を挿入するためのソケット150を防護するための開閉パネルである。ユーザは、開閉パネル300を開けて、記録媒体195を挿入する。バッテリ310は、ビデオカメラ100の駆動に必要な電力を供給する。
LCD190aおよびEVF190bは、いずれも、表示部190を構成している。LCD190aは、LCD回転部320に取り付けられている。LCD回転部320は、矢印330で示す方向に回転可能に構成されている。LCD回転部320が回転した後、LCD190aと光学系105とが略同一方向に向いたとき、回転検出部175からシステム制御部160に通知が行われる。
回転検出部175により、LCD190aの回転が検知された場合、システム制御部160は、自分撮りが設定されたものと判定し、第1のフレーミング補助モードから第2のフレーミング補助モードにモードを自動的に切り替える。
このように、本実施の形態によれば、ユーザの操作の負荷を軽減しつつ、ユーザの撮影意図に応じたより自由度の高い撮影が可能となる。
なお、本実施の形態では、表示部190をユーザが注視していると考えられるため、フレーミング制御のみを行い、図8および図9に示す各種警告表示は表示しないようにしてもよい。
また、本実施の形態の変形例として、表示部190ではなく光学系105が回転するように構成されている撮像装置に対しても、類似の構成で同様のモード切り替えが可能である。この場合、回転検出部175は光学系105の回転を検知する。
(実施の形態6)
実施の形態6は、第1のフレーミング補助モードおよび第2のフレーミング補助モードに加えて、第3のフレーミング補助モードを有する場合である。
本実施の形態に係る撮像装置としてのビデオカメラは、図1に示す実施の形態1に対応するビデオカメラ100と同様の基本的構成を有しており、同一の構成要素は同一の符号を用いて説明する。
本実施の形態の特徴は、第1のフレーミング補助モードおよび第2のフレーミング補助モードに加えて、第3のフレーミング補助モードが選択可能であることである。第3のフレーミング補助モードは、第2のフレーミング補助モードで実施するフレーミング制御に加えて、主被写体が撮影領域に占める割合が一定の大きさになるよう、つまり、主被写体が画面内において一定の大きさになるよう、光学系105に対して自動的にズーム制御を行うモードである。第1から第3のフレーミング補助モードのいずれのモードで動作するかは、操作部180を用いてユーザが指定する。
ビデオカメラ100が第3のフレーミング補助モードで動作する場合、システム制御部160は、追尾処理部155において得られた被写体検出結果に基づいて、主被写体の大きさを一定にするためのズーム方向およびズーム量を算出し、レンズ制御部167にズーム制御情報として通知する。レンズ制御部167は、システム制御部160から通知されたズーム制御情報に基づいて、光学系105のズームレンズおよびフォーカスレンズを駆動する。
このように、本実施の形態によれば、フレーミング補助モードの数が増えるため、ユーザの撮影意図に応じたより一層自由度の高い撮影が可能となる。
以上、本発明の好適な実施の形態について説明した。
なお、本発明は、上記各実施の形態に限定されるわけではなく、本発明の要旨を逸脱しない範囲において種々の変形を実施し得ることは言うまでもない。特に、本実施の形態では、フレーミング補助モードを2つまたは3つとしたが、これに限定されない。フレーミング補助モードの数、および、各フレーミング補助モードで実施する撮影機能群は、種々変更可能である。さらには、より一層ユーザの撮影意図に応じた撮影を可能とするよう、被写体検出結果に基づいて実施する撮影機能を各々有効化または無効化できるように構成してもよい。
本発明に係る撮像装置は、主被写体の検出結果に基づいて実施される撮影機能を切り替えることができるため、ユーザの撮影意図に応じたより自由度の高い撮影を可能とすることができ、デジタルカメラやデジタルビデオカメラなど、様々な撮像装置に対して有用である。
本発明の実施の形態1に係る撮像装置としてのビデオカメラの構成を示すブロック図 図1に示す光学系制御部の構成の一例を示すブロック図 本実施の形態における表示部の表示内容の一例を示す図 本実施の形態におけるビデオカメラの追尾処理の流れを示すフローチャート 本実施の形態における第1のフレーミング補助モードにおける追尾処理の内容の一例を示すフローチャート 本実施の形態における第1のフレーミング補助モードにおけるフレームアウト警告表示の一例を示す図 本実施の形態における第2のフレーミング補助モードにおける追尾処理の内容の一例を示すフローチャート 本実施の形態における第2のフレーミング補助モードにおけるフレームアウト警告表示の一例を示す例 (A)本実施の形態における第2のフレーミング補助モードにおける主被写体検出処理失敗時の警告表示の一例を示す図、(B)本実施の形態における第2のフレーミング補助モードにおける主被写体検出処理失敗による追尾処理停止時の警告表示の一例を示す図 図1に示すビデオカメラの外観を示す斜視図 従来の撮像装置における、2つの被写体検出モードの切り替え処理を示すフローチャート
符号の説明
100 ビデオカメラ
105 光学系
110 固体撮像素子
115 A/D変換部
120 映像信号処理部
125 Y/C変換部
130 システムバス
135 バッファメモリ部
140 コーデック部
145 記録I/F部
150 ソケット
155 追尾処理部
160 システム制御部
165 光学系制御部
166 絞り制御部
167 レンズ制御部
168 鏡筒制御部
170 動き検出部
175 回転検出部
180 操作部
180a 録画ボタン
180b 追尾ボタン
180c ズームレバー
190 表示部
190a LCD
190b EVF
195 記録媒体
200 主被写体
210 指定枠
220 追尾枠
230、240、250、260 警告表示
300 開閉パネル
310 バッテリ
320 LCD回転部

Claims (15)

  1. 被写界の光学像を結像させるとともに、前記光学像を変倍可能な光学系と、
    前記光学系によって結像された光学像を電気的な画像信号に変換する撮像部と、
    前記撮像部によって撮像された画像を表示する表示部と、
    前記撮像部によって撮像された画像の中から主被写体を検出する被写体検出部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを制御するフレーミング制御部と、
    前記被写体検出部によって検出された主被写体の位置情報に基づいてフレーミングを補助する表示を前記表示部に表示する第1のフレーミング補助モードと、前記被写体検出部によって検出された主被写体の位置情報に基づいて前記フレーミング制御部を動作させる第2のフレーミング補助モードと、を選択的に実行する制御部と、
    前記第1のフレーミング補助モードと前記第2のフレーミング補助モードとを切り替える切り替え部と、
    を有する撮像装置。
  2. 自動合焦制御を行う自動合焦制御部と、
    自動露出制御を行う自動露出制御部と、をさらに有し、
    前記被写体検出部によって検出された主被写体の位置情報に基づいて、自動合焦処理および自動露出処理を行う、
    請求項1記載の撮像装置。
  3. 前記制御部は、
    前記第1のフレーミング補助モードを実行する場合、前記主被写体が前記表示部の表示範囲外に出そうになったとき、前記主被写体が前記表示部の表示範囲外に出ると予測される方向を前記表示部に表示させる、
    請求項1記載の撮像装置。
  4. 前記フレーミング制御部は、
    前記主被写体が前記表示部の表示範囲内から消えないようにフレーミングを変更する、
    請求項1記載の撮像装置。
  5. 前記フレーミング制御部は、
    前記主被写体が前記表示部の表示範囲の略中央に位置するように前記主被写体の移動方向に応じてフレーミングを変更する、
    請求項4記載の撮像装置。
  6. 前記制御部は、
    前記第2のフレーミング補助モードを実行する場合、前記主被写体が前記表示部の表示範囲外に出そうになったとき、所定の警告表示を前記表示部に表示させる、
    請求項1記載の撮像装置。
  7. 前記制御部は、
    前記第2のフレーミング補助モードを実行する場合、前記主被写体を見失ったとき、所定の警告表示を前記表示部に表示させる、
    請求項1記載の撮像装置。
  8. 前記制御部は、
    前記第2のフレーミング補助モードを実行する場合、前記主被写体を見失ったために前記被写体検出部の動作が終了したとき、所定の警告表示を前記表示部に表示させる、
    請求項1記載の撮像装置。
  9. 使用者による操作を受け付ける操作部、をさらに有し、
    前記切り替え部は、
    使用者による前記操作部の操作に応じて前記第1フレーミング補助モードと前記第2フレーミング補助モードとを切り替える、
    請求項1記載の撮像装置。
  10. 前記制御部は、
    前記第1のフレーミング補助モードと前記第2のフレーミング補助モードに加えて、前記主被写体が前記表示部の表示範囲内において一定の大きさになるよう、前記光学系に対してズーム制御を行う第3のフレーミング補助モードを選択的に実行可能であり、
    前記切り替え部は、
    使用者による前記操作部の操作に応じて前記第1フレーミング補助モードと前記第2フレーミング補助モードと前記第3のフレーミング補助モードとを切り替える、
    請求項9記載の撮像装置。
  11. 前記撮像部によって撮像された画像を記録する記録部、をさらに有し、
    前記切り替え部は、
    前記記録部が記録動作中でない場合、前記第1フレーミング補助モードに自動的に切り替え、前記記録部が記録動作中の場合、前記第2フレーミング補助モードに自動的に切り替える、
    請求項1記載の撮像装置。
  12. 当該撮像装置の動きを検出する動き検出部、をさらに有し、
    前記切り替え部は、
    前記動き検出部によって検出された当該撮像装置の動きに応じて前記第1フレーミング補助モードと前記第2フレーミング補助モードとを切り替える、
    請求項1記載の撮像装置。
  13. 前記動き検出部の出力に基づいて、当該撮像装置が使用者によって保持されているか否かを判定する手持ち判定部、をさらに有し、
    前記切り替え部は、
    前記手持ち判定部によって当該撮像装置が使用者によって保持されていると判定された場合、前記第1フレーミング補助モードに自動的に切り替える、
    請求項12記載の撮像装置。
  14. 前記動き検出部の出力に基づいて、当該撮像装置を保持した使用者が静止しているか否かを判定する静止判定部、をさらに有し、
    前記切り替え部は、
    前記静止判定部によって当該撮像装置を保持した使用者が静止していると判定された場合、前記第1フレーミング補助モードに自動的に切り替える、
    請求項12記載の撮像装置。
  15. 前記光学系または前記表示部は、回転可能に構成されており、
    前記光学系または前記表示部の回転を検出する回転検出部、をさらに有し、
    前記切り替え部は、
    前記光学系および前記表示部の向きが略同一方向となったことを前記回転検出部が検出した場合、前記第2フレーミング補助モードに自動的に切り替える、
    請求項1記載の撮像装置。
JP2008317335A 2008-12-12 2008-12-12 撮像装置 Expired - Fee Related JP5210841B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008317335A JP5210841B2 (ja) 2008-12-12 2008-12-12 撮像装置
US12/633,087 US8243180B2 (en) 2008-12-12 2009-12-08 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008317335A JP5210841B2 (ja) 2008-12-12 2008-12-12 撮像装置

Publications (2)

Publication Number Publication Date
JP2010141722A true JP2010141722A (ja) 2010-06-24
JP5210841B2 JP5210841B2 (ja) 2013-06-12

Family

ID=42240069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008317335A Expired - Fee Related JP5210841B2 (ja) 2008-12-12 2008-12-12 撮像装置

Country Status (2)

Country Link
US (1) US8243180B2 (ja)
JP (1) JP5210841B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170046A (ja) * 2010-11-02 2012-09-06 Olympus Corp 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
JP2016189544A (ja) * 2015-03-30 2016-11-04 富士フイルム株式会社 画像撮影装置、画像撮影方法、プログラムおよび記録媒体

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605158B2 (en) * 2009-12-28 2013-12-10 Sony Corporation Image pickup control apparatus, image pickup control method and computer readable medium for changing an image pickup mode
KR101794350B1 (ko) * 2011-02-08 2017-12-04 삼성전자주식회사 휴대단말기의 영상 촬영 방법
US20150098000A1 (en) * 2013-10-03 2015-04-09 Futurewei Technologies, Inc. System and Method for Dynamic Image Composition Guidance in Digital Camera
JP6643843B2 (ja) * 2015-09-14 2020-02-12 オリンパス株式会社 撮像操作ガイド装置および撮像装置の操作ガイド方法
CN109922259A (zh) 2016-05-31 2019-06-21 深圳市大疆灵眸科技有限公司 云台控制方法、装置和云台
US20190297265A1 (en) * 2018-03-21 2019-09-26 Sawah Innovations Inc. User-feedback video stabilization device and method
EP3627511A1 (en) 2018-09-21 2020-03-25 Samsung Electronics Co., Ltd. Method and system for automatically adding effect while recording

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314851A (ja) * 2001-04-10 2002-10-25 Nikon Corp 撮影装置
JP2006245793A (ja) * 2005-03-01 2006-09-14 Konica Minolta Holdings Inc 撮像システム
JP2007049362A (ja) * 2005-08-09 2007-02-22 Canon Inc 追尾装置及びその制御方法
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7173650B2 (en) * 2001-03-28 2007-02-06 Koninklijke Philips Electronics N.V. Method for assisting an automated video tracking system in reaquiring a target
US7466356B2 (en) * 2003-07-25 2008-12-16 Hewlett-Packard Development Company, L.P. Method and apparatus for setting a marker on an object and tracking the position of the object
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
JP4572815B2 (ja) * 2005-11-18 2010-11-04 富士フイルム株式会社 撮像装置及び撮像方法
JP2007336400A (ja) 2006-06-16 2007-12-27 Canon Inc 撮像装置、撮像システム、撮像方法及び撮像プログラム
JP4761146B2 (ja) * 2006-06-30 2011-08-31 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4807284B2 (ja) * 2007-03-07 2011-11-02 カシオ計算機株式会社 カメラ装置、カメラ装置制御プログラム及びカメラ装置制御方法
US20080278589A1 (en) * 2007-05-11 2008-11-13 Karl Ola Thorn Methods for identifying a target subject to automatically focus a digital camera and related systems, and computer program products

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314851A (ja) * 2001-04-10 2002-10-25 Nikon Corp 撮影装置
JP2006245793A (ja) * 2005-03-01 2006-09-14 Konica Minolta Holdings Inc 撮像システム
JP2007049362A (ja) * 2005-08-09 2007-02-22 Canon Inc 追尾装置及びその制御方法
JP2007074143A (ja) * 2005-09-05 2007-03-22 Canon Inc 撮像装置及び撮像システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170046A (ja) * 2010-11-02 2012-09-06 Olympus Corp 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
US9787905B2 (en) 2010-11-02 2017-10-10 Olympus Corporation Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area
JP2016189544A (ja) * 2015-03-30 2016-11-04 富士フイルム株式会社 画像撮影装置、画像撮影方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP5210841B2 (ja) 2013-06-12
US8243180B2 (en) 2012-08-14
US20100149400A1 (en) 2010-06-17

Similar Documents

Publication Publication Date Title
JP5210841B2 (ja) 撮像装置
JP5136669B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5210843B2 (ja) 撮像装置
JP5409189B2 (ja) 撮像装置及びその制御方法
JP7346654B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
JP5331128B2 (ja) 撮像装置
US8593545B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium with switched image capturing mode
JP2009171220A (ja) 撮像装置及びその制御方法
JP2009218719A (ja) 撮像装置及び撮像方法
JP2007279601A (ja) カメラ
JP2011027847A (ja) Af枠自動追尾システム
JP2010124120A (ja) オートフォーカスシステム
JP2011039344A (ja) 撮像装置および方法
JP2009147574A (ja) 撮像装置及びそのプログラム
JP2003244520A (ja) 撮影装置
JP5370555B2 (ja) 撮像装置、撮像方法及びプログラム
JP2009118083A (ja) デジタルカメラ
JP2009055160A (ja) 撮像装置、および撮像方法
JP2009020163A (ja) 撮像装置及びそのプログラム
JP2020088810A (ja) 撮像装置及び撮像装置の制御方法
WO2020129620A1 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2011066828A (ja) 撮像装置、撮像方法及びプログラム
JP2011097130A (ja) 撮像装置
JP2006165600A (ja) 撮影装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130225

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5210841

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees