JP2009212713A - 撮像装置、撮像装置本体および通知用端末 - Google Patents

撮像装置、撮像装置本体および通知用端末 Download PDF

Info

Publication number
JP2009212713A
JP2009212713A JP2008052427A JP2008052427A JP2009212713A JP 2009212713 A JP2009212713 A JP 2009212713A JP 2008052427 A JP2008052427 A JP 2008052427A JP 2008052427 A JP2008052427 A JP 2008052427A JP 2009212713 A JP2009212713 A JP 2009212713A
Authority
JP
Japan
Prior art keywords
range
tracking
notification
imaging
main subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008052427A
Other languages
English (en)
Other versions
JP5079549B2 (ja
Inventor
Yoichi Sugino
陽一 杉野
Takuma Masuda
拓眞 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008052427A priority Critical patent/JP5079549B2/ja
Priority to US12/393,394 priority patent/US8164671B2/en
Publication of JP2009212713A publication Critical patent/JP2009212713A/ja
Priority to US13/368,978 priority patent/US8502908B2/en
Application granted granted Critical
Publication of JP5079549B2 publication Critical patent/JP5079549B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Abstract

【課題】表示画面を注視し続けることなく、指定された被写体が所定の基準範囲内に収まるように撮影を行うことができる撮像装置、撮像装置本体および通知用端末を提供すること。
【解決手段】撮像装置100は、被写体の光学像を形成する撮像光学系310と、光学像を電気信号に変換する固体撮像素子330と、電気信号に所定の処理を行って画像データを生成する映像信号処理部350と、映像信号処理部350によって生成された画像データを用いて、指定された被写体が追尾可能範囲内の所定の基準範囲内に存在するか否かを判定する追尾処理部390と、追尾処理部390の判定結果を光で通知する通知部410とを有する。
【選択図】図3

Description

本発明は、被写体の光学像を撮像する撮像装置および撮像装置本体、並びに撮像装置本体を用いた撮影において所定の通知を行う通知用端末に関する。
従来、ビデオカメラで子供などの動く被写体を撮像する場合において、被写体の画像をフレームアウトさせないためには、撮影者は、ビューファインダやモニタで被写体の像を注視し続けなけなければならなかった。ところが、被写体の画像を注視し続けることは、撮影者にとって負担が大きいだけでなく周囲状況の把握を困難にさせる。
そこで、モニタを有する撮像装置において、指定された被写体を追尾し、追尾した被写体がモニタの表示画面(以下単に「表示画面」という)のどの位置にいるかを表示する技術が提案されている(例えば特許文献1参照)。
図14は、特許文献1に記載された撮像装置の表示画面の例である。特許文献1記載の撮像装置は、撮像結果として得られる画像データから、追尾対象として指定された被写体の画像(以下、単に「主被写体」という)10の表示画面20上の位置を特定し、特定した位置を指し示す矢印30または枠を表示画面20に表示する。これにより、撮影者は、表示画面20上の主被写体10の位置を容易に判別でき、主被写体10を注視し続けることなく主被写体10のフレームアウトを防止することができる。
また、フレームアウトした主被写体がどの方向に移動したかを表示する撮像装置が提案されている(例えば特許文献2参照)。特許文献2記載の撮像装置は、主被写体の動きを追尾し、主被写体がフレームアウトしたときに、その移動方向を案内する矢印を表示画面に表示する。これにより、撮影者は、主被写体を注視し続けることなく、主被写体がどの方向にフレームアウトしたかを容易に判断し、主被写体を容易に再フレームインさせることができる。
特開2005−341449号公報 特開2007−129480号公報
ところで、実際の撮影時には、主被写体の人物を直接見ながらその人物に手を振るというように、撮影者が表示画面から目を離して撮影操作を行う場面がしばしば存在する。このため、撮影者が表示画面から目を離している間も、主被写体をできるだけフレームアウトさせずに撮影が継続されることが望ましい。このためには、主被写体がフレームアウトしそうになったとき、または主被写体がフレームアウトしたきに、撮影者がこれにすぐに気付いて表示画面に視線を戻す必要がある。
しかしながら、特許文献1および特許文献2記載の撮像装置を用いた撮影で表示画面から目を離した場合、撮影者は、主被写体がフレームアウトしそうになっても、またはフレームアウトしてしまっても、その事にすぐに気付くことができない。
同様に、主被写体が他の物体に隠れたり、主被写体と外見の似ている物体が撮影範囲内に存在する場合にも、追尾処理が終了または失敗することがあるが、このような場合にも、主被写体のフレームアウトを防ぐために、撮影者がこれにすぐに気付いて表示画面に視線を戻す必要がある。ところが、特許文献1および特許文献2記載の撮像装置を用いた場合、撮影者は追尾処理が終了または失敗したことにすぐに気付くことができない。
本発明は、かかる点に鑑みてなされたものであり、撮影者が表示画面を注視し続けることなく、指定された被写体が所定の基準範囲内に収まるような撮影を支援することができる撮像装置、撮像装置本体および通知用端末を提供することを目的とする。
本発明の撮像装置は、被写体の光学像を形成する撮像光学系と、前記光学像を電気信号に変換する撮像手段と、前記電気信号に所定の処理を行って画像データを生成する信号処理手段と、前記信号処理手段によって生成された画像データを用いて、指定された被写体が追尾可能範囲内の所定の基準範囲内に存在するか否かを判定する判定手段と、前記判定手段の判定結果を光で通知する通知手段とを有する構成を採る。
本発明の撮像装置本体は、被写体の光学像を形成する撮像光学系と、前記光学像を電気信号に変換する撮像手段と、前記電気信号に所定の処理を行って画像データを生成する信号処理手段と、前記信号処理手段によって生成された画像データを用いて、指定された被写体が追尾可能範囲内の所定の基準範囲内に存在するか否かを判定する判定手段と、前記判定手段の判定結果を無線で送信する送信手段とを有する構成を採る。
本発明の通知用端末は、上記撮像装置本体と無線通信可能な通知用端末であって、前記送信手段から送信された判定結果を受信する受信手段と、受信された判定結果を音で通知する通知手段とを有する構成を採る。
本発明の通知用端末は、上記撮像装置本体と無線通信可能な通知用端末であって、前記送信手段から送信された判定結果を受信する受信手段と、受信された判定結果を振動で通知する通知手段とを有する構成を採る。
本発明によれば、撮影者が表示画面を注視し続けることなく、指定された被写体が追尾可能範囲内の所定の基準範囲内に収まるような撮影を支援することができる。すなわち、指定された被写体が所定の基準範囲内に位置するか否かを光、あるいは音や振動により撮影者に通知するため、撮影者は、表示画面を注視し続けることなく、指定された被写体が所定の基準範囲内に収まるように撮影を行うことができる。
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
まず、本発明の実施の形態1に係る撮像装置の概要について説明する。実施の形態1は、本発明を、主被写体を追尾する追尾機能を有する家庭用ビデオカメラに適用した例である。
図1は、本発明の実施の形態1に係る撮像装置が撮影に使用されるときの様子の一例を示す図である。
図1に示すように、撮像装置100は、被写体の光学像を結像させるレンズ部110と、結像した光学像から画像データを生成して記録する装置本体120と、生成された画像データの画像を液晶パネル(図示せず)に表示するモニタ130とを有する。また、撮像装置100は、装置本体120の上面に、LED(light emitting diode)部140を配置している。このLED部140は、モニタ130に表示される画像領域(以下「表示範囲」という)に、主被写体が位置するか否かに応じて、点灯状態を切り替えるものである。
撮影者210は、撮像装置100の装置本体120を手に持ち、モニタ130の表示範囲に主被写体220が位置するように、装置本体120の向きを調整しながら撮影を行う。
このとき、LED部140は、装置本体120の上面に配置されているので、撮影者210の視界に入り易い。このため、撮影者210は、モニタ130の表示画面から目を離して実際の主被写体220に視線211を向けたとしても、LED部140の点灯状態から、モニタ130の表示範囲に主被写体が入っているか否かを容易に認識することができる。そして、撮影者210は、主被写体が表示範囲に位置しなくなったときには、すぐにこれに気付き、モニタ130に視線211を戻すことができる。したがって、撮影者210は、表示画面を注視し続けることなく、主被写体をできるだけフレームアウトさせずに撮影を行うことができる。
ここで、「フレームアウトする」とは、主被写体の位置が表示範囲の外に移動すること、および主被写体の位置が検出されなくなることを含む概念である。そして、「フレームインする」とは、主被写体の位置が表示範囲に移動し、かつ主被写体の位置が検出されることを含む概念である。
また、撮像装置100が、主被写体を表示範囲の内部であって表示範囲よりも一回り小さい所定の範囲(以下「フレームイン領域」という)に位置することを検出している状態を「フレームイン状態」といい、フレームイン状態にない状態を「フレームアウト状態」という。フレームイン状態は、主被写体がフレームアウトする可能性の低い状態であり、フレームアウト状態は、主被写体が表示範囲に位置しない、または表示範囲のうちフレームアウトする可能性の高い領域に位置する状態である。上記説明では、主被写体が表示範囲に入っているか否かを通知するとしたが、より正確には、主被写体がフレームイン領域に入っているか否かを通知する。
実際には、主被写体の追尾が可能な画像領域(追尾可能範囲)と、モニタ130に表示される画像領域と、実際に記録される画像領域とは異なることがあるが、ここでは、これらの領域は一致しているものとする。
図2は、本発明の実施の形態1に係る撮像装置の外観を示す斜視図である。
図2に示すように、モニタ130は、装置本体120に対して開閉可能に、かつ開いた状態で上下方向に回転可能に取り付けられている。したがって、撮影者210は、撮影を行うとき、通常、モニタ130を装置本体120に対して開き、その表示画面をやや上方に回転させることで、腕を無理に上げることなく低い位置で撮像装置100を操作することができる。このとき、図1に示すように、撮影者210は、撮像装置100を上方から見下ろす姿勢となり、装置本体120の上部に配置されたLED部140を容易に視認することができる。
次に、撮像装置100の構成について説明する。
図3は、撮像装置100の構成を示すブロック図である。
図3において、撮像装置100は、撮像光学系310、レンズ鏡筒320、固体撮像素子330、A/D変換部340、映像信号処理部350、バッファメモリ360、表示部370、操作部380、追尾処理部390、レンズ鏡筒制御部400、通知部410、CODEC(coder-decoder)420、記録I/F(interface)部430、ソケット440、およびシステム制御部450を有する。
撮像光学系310およびレンズ鏡筒320は、図2のレンズ部110に配置されている。表示部370は、図2のモニタ130に配置されている。これら以外の各部は、図2の装置本体120に配置されている。また、撮像装置100の主な装置部は、システムバス460に接続されている。
撮像光学系310は、複数のレンズ素子群を有し、被写体の光学像を固体撮像素子330の撮像面上に結像させる。撮像光学系310のレンズ素子群は、光軸に沿って移動することにより合焦状態を調節するフォーカスレンズと、光軸に沿って移動することにより被写体の光学的な像を変倍するズームレンズとを含む。
レンズ鏡筒320は、撮像光学系310を内部で支持している。レンズ鏡筒320自身は、後述するレンズ鏡筒制御部400によって、装置本体120に対してピッチング方向およびヨーイング方向に駆動制御可能に支持されている。すなわち、レンズ鏡筒320は、レンズ鏡筒制御部400の制御により、所定の範囲内での光軸方向調整が可能となっている。
固体撮像素子330は、撮像光学系310により結像された光学像を電気信号(アナログ映像信号)に変換する。固体撮像素子330は、例えば、CCD(charge coupled device)またはCMOS(complementary metal oxide semiconductor)を有する。
A/D変換部340は、固体撮像素子330から出力されるアナログ映像信号を、デジタル映像信号に変換する。
映像信号処理部350は、A/D変換部340から出力されるデジタル映像信号に対し、ゲイン調整、ノイズ除去、ガンマ補正、アパーチャ処理、およびニー処理等を含む所定の映像信号処理を施し、RGB形式の映像信号に変換する。更に、映像信号処理部350は、生成したRGB形式の信号を、Y/C形式の映像信号に変換する。
バッファメモリ360は、映像信号処理部350から出力されるRGB形式の映像信号を蓄積し、デジタル映像情報として一時的に格納する。
表示部370は、モニタであり、D/A変換部(図示せず)および上述した液晶パネルを有する。表示部370は、バッファメモリ360に蓄積されたデジタル映像情報に各種操作アイコンや文字列データといったOSD(on screen display)表示を重畳して出力映像データを生成し、生成した出力映像データを、D/A変換を通して液晶パネルに入力し、可視画像として表示する。
操作部380は、例えば、図示しないが、モード切替ボタンやズームレバー、電源ボタン、撮影ボタン、メニューボタン、方向ボタン、決定ボタンなどの各種ボタンおよびレバー類を有し、撮影者210からの撮像装置100に対する操作を受け付ける。モード切替ボタンは、撮像装置100の複数の動作モードを切り替えるためのものである。この複数の動作モードには、通常の撮影を行う通常撮影モード、主被写体の特徴量を記憶する被写体記憶モード、主被写体を追尾しながらの撮影を行う追尾撮影モード、および撮影した映像データの再生を行う再生モードが含まれる。ズームレバーは、映像のズームを行うためのものである。電源ボタンは、撮像装置100の主電源のON/OFFを行うためのものである。撮影ボタンは、撮影の開始および停止を行うためのものである。メニューボタンは、撮像装置100の設定に関する各種メニューを表示するためのものである。方向ボタンは、上下左右をおよび奥への押下が可能であり、ズーム位置やメニュー項目を切り替えるためのものである。決定ボタンは、各種決定操作を行うためのものである。
追尾処理部390は、追尾撮影モードが選択されているとき、映像信号処理部350で生成されるRGB形式の映像信号に基づいて、表示範囲において主被写体を追尾し、表示範囲における主被写体の現在位置を示す位置情報を生成する追尾処理を行う。また、追尾処理部390は、追尾処理により得られた位置情報に基づいて、表示範囲に主被写体の像が位置するか否かを示す通知情報を生成するフレームイン判定部391を有している。
レンズ鏡筒制御部400は、追尾処理部390から出力された位置情報に基づき、追尾中の主被写体が表示範囲の中央に配置されるように、レンズ鏡筒320をピッチング方向またはヨーイング方向に駆動制御する。
通知部410は、図2のLED部140を有し、システム制御部450から出力されるLED制御情報に従ってLED部140の点灯パターンまたは発光レベルを切り替える。LED制御情報は、点灯パターンまたは発光レベルのいずれの情報を表しているかを識別可能なID値と、点灯パターンを示す点灯パターン番号、または発光レベルを表す数値を含む情報であり、通知情報に基づいて生成されるものである。
CODEC420は、バッファメモリ360に格納されたデジタル映像情報を読み出し、読み出したデジタル映像情報に対して不可逆圧縮処理を施し、例えば、MPEG−2(Moving Picture Experts Group phase 2)、あるいはH.264/MPEG−4 AVC(Moving Picture Experts Group phase 4 Part 10 Advanced Video Coding)などの所定の形式の圧縮映像データに変換する。また、CODEC420は、記録I/F部430を介して、ソケット440に電気的に接続された記録媒体470に、生成した圧縮映像データを記録する。
システム制御部450は、CPU(central processing unit)、プログラムを記録したROM(read only memory)、およびプログラム実行用のRAM(random access memory)から成り(いずれも図示せず)、システムバス460を介して撮像装置100の各部の動作を統合制御する。より具体的には、システム制御部450は、操作部380を通して得られるユーザの操作情報の処理、映像信号処理部350および追尾処理部390への各種指示、通知部410に対するLED制御指示、表示部370で撮像画像やOSD画像を表示するための表示データの生成、CODEC420における映像圧縮処理の実行と停止、およびバッファメモリ360と記録I/F部430との間のデータ転送などを、統合的に制御する。例えば、上記LED制御指示は、システム制御部450が、追尾処理部390のフレームイン判定部391からの通知情報に基づいて上記したLED情報を生成し、生成したLED情報を通知部410に出力することにより行われる。
このような構成の撮像装置100によれば、撮影者210に対し、装置本体120の上面に配置されたLED部140の点灯状態によって、撮像装置100がフレームイン状態にあるか否かを通知することができる。
次に、上記構成を有する撮像装置100の動作について説明する。追尾撮影モードにおける動作以外の動作については、従来と同様であるため、ここでは、追尾撮影モードにあるときの動作についてのみ説明を行う。
映像信号処理部350は、撮像装置100が追尾撮影モードとなっている間、撮影画像からRGB形式の映像信号を生成し、生成したRGB形式の映像信号を、システムバス460を介して、追尾処理部390にフレーム単位で出力する。また、映像信号処理部350は、撮像装置100が追尾撮影モードとなっている間、RGB形式の映像信号からY/C形式の映像信号を更に生成し、生成したY/C形式の映像信号を、システムバス460を介して、バッファメモリ360にフレーム単位で出力する。更に、映像信号処理部350は、Y/C形式の映像信号生成時、フレームごとにY信号の平均レベルを求め、システム制御部450に送信する。
追尾処理部390は、主被写体の特徴量を、例えば、被写体記憶モードにおいて予め取得して保持する。ここで、特徴量とは、例えば色ヒストグラムなど、画像の特徴を数値で表わしたものであって画像データに対して所定の演算処理を施すことにより算出されるものである。追尾処理部390は、被写体記憶モードにおいて、主被写体登録用の枠を表示部370に表示し、撮影された画像のうち枠内の部分について特徴量を抽出し、主被写体の特徴量として登録する。撮影者210は、主被写体を指定しようとするときには、撮像装置100を被写体記憶モードに切り替え、枠に任意の被写体の顔などが収まるように撮像位置やズーム倍率を調整して、静止画像を撮影すれば良い。なお、主被写体の特徴量の取得は、被写体記憶モードにおいてではなく、追尾撮影モードに切り替えられるごとに行うようにしても良い。また、他の装置等で抽出された主被写体の特徴量を、記録媒体470を介して取得しても良い。
図4は、図3の追尾処理部390の動作を示すフローチャートである。
まず、ステップS1100で、追尾処理部390は、映像信号処理部350から出力されるRGB形式の映像信号を1フレーム分入力する。
そして、ステップS1200で、追尾処理部390は、上記した追尾処理を実行する。本実施の形態では、この追尾処理は、追尾開始時に主被写体の特徴量を記憶し、追尾処理中にその記憶した特徴量と相関性の高い領域を入力映像の中から探索することで実現されるものとする。追尾処理部390は、追尾処理の結果、主被写体を検出できない場合には(S1200:NO)、ステップS1300に進む。追尾処理の詳細については後述する。
ステップS1300で、追尾処理部390は、フレームイン判定部391から、通知部410に主被写体を追尾中ではないことを示す通知情報を出力する。この結果、通知部410では、LED部140の点灯状態により、主被写体を追尾中ではないこと、つまりフレームアウト状態を示す通知が行われる。LED部140の点灯状態の切り替えパターンについては後述する。
そして、ステップS1400で、追尾処理部390は、追尾撮影モードによる動作を継続するか否かを判断し、追尾撮影モードによる動作を継続すると判断した場合には(S1400:YES)、ステップS1100に戻る。
一方、ステップS1200で、追尾処理の結果、主被写体を検出できた場合には(S1200:YES)、追尾処理部390は、ステップS1500に進む。
ステップS1500で、追尾処理部390は、検出した主被写体の位置情報をレンズ鏡筒制御部400に出力する。この結果、レンズ鏡筒320は、主被写体が表示範囲の中央に配置されるように駆動制御される。
但し、レンズ鏡筒制御部400の制御によるレンズ鏡筒320の光軸方向の調整のみでは、撮像装置100をフレームイン状態に維持することは難しい。したがって、撮影者210は、主被写体の撮影を継続しようとする場合には、少なくともフレームアウト状態となったときに、表示画面を確認して、撮像装置100がフレームイン状態となるように撮像装置100の位置および向きを調整する必要がある。また、このような撮影者210による調整を行うためには、少なくとも、フレームアウト状態に移行したときに速やかにその旨を撮影者210に通知する必要がある。
したがって、ステップS1600で、追尾処理部390は、検出した主被写体の位置から、フレームアウト状態にあるか否かを判断する。具体的には、追尾処理部390は、フレームイン判定部391で、主被写体の位置が、フレームイン領域よりも外側であるか否かを判断する。これは、主被写体がフレームイン領域外に位置する場合には、直後に完全にフレームアウトになる可能性が高いためである。また、完全にフレームアウトになってからでは、どちらの方向にフレームアウトしているかを表示画面からでは判断し難く、撮像装置100をフレームイン状態に即座に戻すことが困難なためである。
フレームイン領域内に主被写体が位置するか否かは、例えば、表示範囲を基準とする座標系において、主被写体として検出した画像領域の中心の座標が、フレームイン領域に対応する領域に位置するか否かによって判断することができる。
図5は、フレームイン領域を説明するための図である。
図5に示すように、フレームイン判定部391は、撮影画像の表示範囲510に、その表示範囲510よりも一回り小さい領域であるフレームイン領域520を予め設定している。主被写体530の位置(例えば中心位置)が、フレームイン領域520にあるとき、表示範囲510の外縁までの距離は長く、フレームアウトする可能性は低い。したがって、この場合、フレームイン判定部391は、撮像装置100がフレームイン状態であると判断する。一方、主被写体530の位置が、フレームイン領域の外側の領域540にあるとき、表示範囲510の外縁までの距離は短く、フレームアウトする可能性が高い。したがって、この場合、フレームイン判定部391は、フレームアウト状態であると判断する。
なお、フレームイン判定部391は、位置やサイズの異なる複数のフレームイン領域を予め用意しておき、撮影シーンに合わせてフレームイン領域を切り替えて適用するようにしても良い。例えば、主被写体530をできるだけ表示範囲の中央に保持したい場合には、表示範囲の中央に配置された小さいサイズのフレームイン領域を適用する。また、例えば、人の顔部分を追尾対象とする場合には、フレームイン領域を表示範囲の上方寄りに配置したり、フレームイン領域の垂直方向の長さを短くしたりすることで、被写体の全身の画像を表示範囲に保持することが可能となる。フレームイン領域の切り替えは、手動で行うよう構成するほか、主被写体の特徴量を取得する際に、主被写体の領域に対して顔検出を行い、顔が検出された場合には自動的にフレームイン領域を切り替えるように構成してもよい。この場合、フレームイン領域を上方にずらす量、あるいは高さを縮める量は、主被写体の顔領域の大きさに応じて定められるよう構成することが望ましい。具体的には、主被写体の顔領域の大きさが大きいほど、フレームイン領域を上方にずらすとともに、高さを縮めるようにする。
また、後述するように、追尾処理部390における追尾処理によって検出される主被写体の大きさはフレームごとに異なる。したがって、主被写体の特徴量を取得する際に、主被写体に顔領域が含まれていた場合には、追尾処理によって主被写体の大きさが変わるたびに、フレームイン領域の大きさおよび位置を再設定することが望ましい。
追尾処理部390は、フレームアウト状態にある場合には(S1600:YES)、ステップS1300に進み、通知部410に非追尾中であることを示す通知情報を出力する。一方、追尾処理部390は、フレームアウト状態にない場合、つまり主被写体がフレームイン領域に位置する場合には(S1600:NO)、ステップS1700に進む。
ステップS1700で、追尾処理部390は、フレームイン判定部391から、通知部410に主被写体を追尾中であることを示す通知情報を出力し、ステップS1400に進む。この結果、通知部410では、LED部140の点灯状態により、主被写体を追尾中であること、つまり撮像装置100がフレームイン状態にあることを示す通知が行われる。
そして、ステップS1400で、追尾処理部390は、追尾撮影モードから他のモードに切り替えられるなどして追尾撮影モードによる動作を終了すると判断した場合には(S1400:NO)、一連の処理を終了する。
このような処理を追尾処理部390で実行することにより、撮像装置100は、主被写体を追尾し、撮像装置100がフレームイン状態にあるか否かを、LED部140の点灯状態によって撮影者に通知することができる(図1参照)。撮影装置100により、撮影方向に視線を向けている撮影者210の視界で、光の点灯状態の変化でフレームイン状態か否かの通知が行われるので、撮影者210は、表示画面に視線を戻すべきタイミングを容易に認識することができ、表示画面から目を離した状態で安心して撮影を続行することができる。
なお、撮像装置100は、主被写体が完全にフレームアウトしたり物陰に隠れるなどして、主被写体の追尾が不可能となったときや、主被写体が記録の行われる画像領域の外に移動したときには、録画を停止するようにしても良い。これにより、主被写体が写っていない映像に対する圧縮処理や記録処理を行わないようにすることができ、処理負荷の低減や、記録媒体470の容量の温存を図ることができる。または、主被写体の追尾が不可能な状態や、主被写体が記録の行われる画像領域にいない状態が一定時間継続したときに、録画を停止するようにしても良い。これにより、すぐに追尾可能な状態や記録が行われる画像領域に主被写体が位置する状態に復帰する場合には、録画を停止させないようにすることができる。
次に、追尾処理部390が図14のステップ1200で実行する追尾処理の詳細について説明する。
図6は、追尾処理部390による追尾処理を示すフローチャートである。
まず、ステップS1210で、追尾処理部390は、映像信号処理部350から入力されたRGB形式の映像信号を、主被写体の追尾に適した所定の形式の映像信号に変換する。本実施の形態では、追尾処理部390は、領域探索の際の演算処理量を削減のために画像を縮小するとともに、縮小した画像の映像信号を、HSV(hue, saturation, value)形式の映像信号に変換する。これは、HSV形式の映像信号が、画像の色相成分の解析を容易に行うことができ、後述する色ヒストグラムを算出し易いためである。
そして、ステップS1220で、追尾処理部390は、主被写体の特徴量(以下「主被写体特徴量」という)として、主被写体の色ヒストグラムが設定済みか否かを判断する。色ヒストグラムとは、画像における各色相成分の出現頻度分布を示したものであり、被写体の位置や形状の変化に影響を受けにくい特徴量の1つである。追尾処理部390は、主被写体特徴量をまだ設定していない場合には(S1220:NO)、ステップS1230に進む。
ステップS1230で、追尾処理部390は、主被写体を設定し、設定した主被写体の色ヒストグラムを算出する。そして、追尾処理部390は、算出した色ヒストグラムを、例えば追尾処理部390に設けられたメモリに記憶する。記憶された主被写体の色ヒストグラムは、主被写体の位置を探索する際に参照される。
主被写体の設定は、主被写体が人間である場合には、例えば、記録媒体470に記録された主被写体の顔の特徴量を取得し、取得した特徴量に基づいて、入力画像から主被写体の顔を認識することにより行う。また、主被写体の設定は、表示画面に設定用の枠を表示させた状態で、撮影ボタンの押下による決定操作を受け付け、決定操作が行われたときの枠内の画像を取得することにより行うようにしても良い。
そして、ステップS1240で、追尾処理部390は、主被写体を検出していると判断し、図4の処理に戻る。そして、新しいフレームが追尾処理部390に入力されるごとに、処理はステップS1220に進む。
追尾処理部390は、2回目以降の追尾処理の場合、つまり既に主被写体特徴量が設定されている場合には(S1220:YES)、ステップS1250に進む。
ステップS1250で、追尾処理部390は、前フレームでの追尾結果として得られた主被写体の位置を基準として、複数の探索領域を設定する。追尾処理部390は、例えば、主被写体の現在位置の候補点の設定密度を基準位置に近いほど多くなるような候補点分布を予め記憶しておき、その記憶した候補点分布に従ってランダムに設定することにより、複数の探索領域の設定を行う。そして、追尾処理部390は、設定した探索領域のそれぞれについて、色ヒストグラムを算出する。探索領域のサイズも、候補点分布と同様に、前フレームにおける主被写体のサイズを基準とする一定範囲内でランダムに設定される。こうすることで、主被写体の大きさの変化にも追従することが可能となる。
探索領域をランダムに設定する場合、表示範囲に存在するにもかかわらず主被写体が検出されずに、誤った通知が行われる可能性がある。ところが、この通知誤りは安全側に働くため、撮像装置100をフレームイン状態に保持するための機能の妨げとはならない。一方で、検出精度を十分に高く保てるような数で候補点を設定すると、処理負荷が高くなる。したがって、候補点をランダムに設定することにより、処理負荷を軽減した状態で、撮像装置100をフレームイン状態に保持するために有効な通知を行うことができる。
また、フレームイン領域とフレームアウト領域とで、異なる候補点分布を適用するようにしても良い。例えば、撮像装置100のフレームイン状態の保持を最優先とする場合には、フレームアウト領域で探索領域がより多く設定されるような候補点分布を適用すれば良い。この場合には、主被写体がフレームイン領域に位置するにもかかわらず、フレームアウト状態を示す誤った通知が行われる可能性が高くなるが、フレームアウト領域に主被写体が入ったときにその旨をより確実に通知することが可能となる。
そして、ステップS1260で、追尾処理部390は、主被写体と相関性の高い探索領域が存在するか否かを判断する。具体的には、追尾処理部390は、例えば、各探索領域に対して色ヒストグラムを算出し、算出した色ヒストグラムと主被写体の色ヒストグラムとに対してヒストグラムインターセクション法を適用し、探索領域と主被写体との類似度を算出する。そして、追尾処理部390は、算出した類似度が所定値以上となる探索領域を、主被写体との相関性が高いと判断する。追尾処理部390は、主被写体と相関性の高い探索領域が存在する場合には(S1260:YES)、ステップS1270に進む。
ステップS1270で、追尾処理部390は、主被写体と最も相関性の高い探索領域を主被写体の現在の位置に決定して、ステップS1240に進み、主被写体を検出していると判断する。なお、上記した類似度が十分に高い値となる探索領域が発見された時点で、その探索領域を主被写体の現在の位置に決定するようにしても良い。この場合には、より少ない処理負荷でより迅速に主被写体の現在の位置を決定することができる。
一方、追尾処理部390は、主被写体と相関性の高い探索領域が存在しない場合には(S1260:NO)、ステップS1280に進む。
ステップS1280で、追尾処理部390は、主被写体を検出していないと判断して、図4の処理に戻る。主被写体を検出できなくなる状況としては、上記したように、例えば、主被写体が完全にフレームアウトしたり物陰に隠れたりした場合が挙げられる。
このような追尾処理を繰り返すことにより、追尾処理部390は、主被写体を検出しているか否かを、繰り返し判断する。なお、主被写体に該当しない探索領域が、偶然に最も相関性が高い領域となる可能性もある。したがって、追尾処理部390は、誤検出を避けるために、上記した所定値以上の類似度を持つ探索領域が複数個見つかった場合には、ステップS1280に進み、主被写体を検出していないと判断するようにしても良い。また、追尾処理部390は、相関性の判断において、正規化された輝度分布を利用したり、テンプレートマッチング法を適用するなど、他の手法を用いても良い。
次に、LED部140の点灯状態の切り替えパターンについて説明する。
LED部140の点灯状態は、上記したように、主被写体が追尾中か非追尾中かに応じて切り替えられる。これら2つの点灯状態は、撮影者がその違いを容易に認識できる内容であればよく、様々なパターンが考えられる。
例えば、通知部410は、LED部140に発光色の異なる複数のLEDを有し、追尾中は青色LEDを発光させ、追尾終了後は赤色LEDを発光させるというように、多色表示を行う。または、通知部410は、LED部140の点滅を繰り返す間隔を追尾中と追尾終了後とで変化させる。または、通知部410は、追尾中のみLED部140を点灯させ、追尾中以外はLED部140を消灯させる。逆に、通知部410は、追尾中のみLED部140を消灯させ、追尾中以外はLED部140を点灯させるようにしても良い。
なお、LED部140から出力される光が、被写体の色合いに影響を及ぼす可能性がある。例えば、暗所での撮影時では、被写体の色合いに及ぼす影響は大きい。また、LED部140が点滅する場合には、周囲の光量がLED部140の点滅に応じて変化するため、撮影させる映像は明度が一定しないものとなる。また、LED部140が有彩色の発光を行う場合、発光色が周囲の物体に反射し、正しい色で撮影を行うことができなくなる。
一方で、LED部140の発光量が少なすぎると、特に晴れた日の屋外のような明るい場所では、撮影者にとって点灯状態の変化を認識しにくくなる。
そこで、本実施の形態の撮像装置100は、LED部140の発光量の調整が可能となっている。具体的には、システム制御部450は、通知部410に備えられたLED部140の発光レベル設定モードを記憶している。システム制御部450は、発光レベル設定モードが手動設定モードであった場合、システム制御部450は、撮影者による手動での発光レベルの設定を受け付けてその設定内容を記憶する。また、システム制御部450は、発光レベル設定モードが自動調整モードが選択されているとき、周囲の光量に応じて最適な発光レベルを自動的に決定する。手動設定モード時に撮影者により発光レベルの設定が変更された場合、あるいは自動調整モード時に発光レベルが変わった場合、システム制御部450は、新しい発光レベルを発光レベル情報として通知部410に通知する。通知部410は、システム制御部450から受信した発光レベル情報を記憶し、記憶した発光レベル情報に従ってLED部140の発光量を調整する。
図7は、発光レベル設定画面の一例を示す平面図である。
図7に示すように、発光レベル設定画面371は、3段階の発光レベルについての手動設定の項目と、周囲の光量に合わせて自動で発光レベルの調整を行う自動調整の項目との4種の項目372を、光量調整のメニューとして表示する。4種の項目372は、カーソル373の移動と決定操作によって選択可能である。発光レベル設定画面371の表示、カーソル373の移動、および決定操作は、撮影者が図3の操作部380を操作することによって行われる。
システム制御部450は、発光レベル設定画面371で自動設定の項目が選択された場合、映像の輝度量に応じて、LED部140の発光量の調整に使用される発光レベル情報を自動的に決定する。具体的には、システム制御部450は、実験データに基づいて作成された、映像の輝度量とその輝度量におけるLED部140の最適な発光量を示す発光レベル情報とを対応付けて記述したテーブルを予め格納しており、このテーブルを参照して発光レベル情報を決定する。映像の輝度量は、映像信号処理部350から通知されるY信号成分の平均レベルから得ることができる。
一方、システム制御部450は、発光レベル設定画面371でいずれかの発光レベルの手動設定の項目が選択された場合、選択された項目に対応する発光レベル情報を通知部410に通知する。通知部410は受信した発光レベル情報に従いLED部140の発光量を対応する発光量に固定する。
このようなLED部140の発光量の調整により、撮像装置100は、LED部140の点灯による被写体の色合いへの影響を抑えた状態で、より確実に主被写体を追尾中か否かを撮影者に通知することができる。
以上説明したように、本実施の形態によれば、撮像装置100は、自己がフレームイン状態にあるか否かに応じて、装置本体120の上面に設けられたLED部140の点灯状態を切り替える。すなわち、撮像装置100は、撮影者210が表示画面から目を離し撮影方向に視線を向けている場合でも、その撮影者210の視界において光の点灯状態により、自己がフレームイン状態にあるか否かを通知する。これにより、撮像装置100は、撮影者210に、主被写体がフレームアウトしたときまたはしそうなときなど、表示画面を注視すべきタイミングを容易に認識させることができる。したがって、撮影者210は、表示画面を注視し続けなくても、主被写体が表示画面に収まるように撮影を行うことができる。
なお、本実施の形態では、LED部140を装置本体120の上面に配置する場合について説明したが、これに限定されるものではなく、通常の撮影状態で撮影者の視界に入る位置であれば、LED部140は撮像装置100のどこに配置しても良い。例えば、LED部140は、装置本体120の側面や背面、モニタ130の表面に設けても良い。
(実施の形態2)
本発明の実施の形態2は、実施の形態1のLED部140を撮像装置の被写体側に配置した例である。
図8は、本発明の実施の形態2に係る撮像装置が撮影に使用されるときの様子の一例を示す図であり、実施の形態1の図1に対応するものである。図1と同一部分には同一符号を付し、これについての説明を省略する。
図8に示すように、実施の形態2の撮像装置100aは、実施の形態1の撮像装置100と異なり、LED部140を、モニタ130の表示画面とは反対側の外面に配置している。これにより、LED部140は、モニタ130が装置本体120に対して開かれた状態において、撮像装置100の撮影方向側からの視認が可能となっている。また、撮像装置100aは、主被写体220の顔の特徴量を予め取得しており、入力画像から主被写体220の顔を認識する。
主被写体220は、例えば撮影者210自身である。被写体220は、撮像装置100aを三脚250で固定し、追尾撮影モードでの撮影を開始させる。そして、主被写体220は、撮像装置100aの撮影方向側に移動し、LED部140が追尾中を示す点灯状態になるように、LED部140を目で確認しながら、自身の位置を調整する。
このような撮像装置100aによれば、主被写体220は、自身が現在撮像装置100aによって追尾されているかどうかを容易に知ることができる。これにより、主被写体220は、自身の撮影において、他の人の手を煩わせることなく、自身の画像ができるだけフレームアウトしないように、自身の位置を容易に調整することができる。
また、例えば、固定した撮像装置100で子供のみを撮影するときに、撮影者210が自身をできるだけフレームアウトさせたいというような場合もある。このような場合に、本実施の形態の撮像装置100aによれば、主被写体220は、他の人の手を煩わせることなく、自身の画像ができるだけフレームアウトするように、自身の位置を容易に調整することができる。
(実施の形態3)
本発明の実施の形態3は、モニタを用いて追尾中か否かを通知する例である。本実施の形態の撮像装置は、LED部140を有していない点と、表示部370が表示画面の点灯状態を切り替えることにより通知部410を兼ねる点以外は、実施の形態1の撮像装置100と同一の構成を有する。
図9は、本発明の実施の形態3に係る撮像装置の表示画面を示す平面図である。
図9に示すように、表示画面373には、デジタル映像情報374および各種OSD表示375に加えて、通知画像376が表示されている。通知画像376は、追尾処理部390のフレームイン判定部391からの通知情報に応じて、システム制御部450が生成し、表示部370で描画させるものである。通知画像376は、表示画面373において、注視せずとも視界に入っていれば容易に認識できる形態を採っており、例えば、表示画面373の外縁に沿った一定の太さの黄色い枠である。また、通知画像376は、目立つように、点滅表示や、簡易なアニメーション表示の形態を採ることが望ましい。なお、通知画像376の形態は、上記内容に限定されるものではなく、例えば表示画面373全体を点滅させる形態としても良い。
このような撮像装置によれば、追尾中であるという情報または非追尾中であるという情報を伝えることが目的であることから、通知画像376の表示内容を、表示画面における主被写体の位置を表示する場合に比べてより単純化することができる。また、この結果として、通知画像376を、表示画面373を大きく使用した形態とすることができる。これにより、撮影者に対し、撮像装置100がフレームイン状態にあるか否かを、より確実かつ容易に認識させることができる。
また、撮影画像を表示のための装置部を利用して通知を行うので、実施の形態1のLED部140を別途に設ける必要がなくなり、コストアップを抑えた状態で、光による通知を行うことができる。
(実施の形態4)
本発明の実施の形態4は、追尾中か否かの通知に、撮影者が携帯する通知用端末における音声出力を追加した例である。
図10は、本発明の実施の形態4に係る撮像システム600が撮影に使用されるときの様子の一例を示す図であり、実施の形態1の図1に対応するものである。図1と同一部分には同一符号を付し、これについての説明を省略する。
図10に示すように、撮像システム600は、撮像装置100bおよび通知用端末700を有する。
撮像装置100bは、実施の形態1の撮像装置100と同一の機能に加えて、通知用端末700に対して表示範囲に主被写体が位置するか否かを示す通知情報を無線信号により送信する機能を有する。
通知用端末700は、撮像装置100bから通知情報を受信し、受信した通知情報の内容に応じて音声を出力する。通知用端末700は、例えば、携帯電話機やPDA(personal digital assistants)である。
このような撮像システム600によれば、図10に示すように、撮影者210が、撮影方向以外の方向など、LED部140が視界に入らないような方向に視線211を向けていても、通知情報の内容を撮影者210に通知することができる。
図11は、図10に示す撮像装置100bの構成を示すブロック図であり、実施の形態1の図3に対応するものである。図3と同一部分には同一符号を付し、これについての説明を省略する。
図11において、撮像装置100bは、図3の構成に加えて、システムバス460に接続された無線通信部480を有する。また、撮像装置100bは、図3の追尾処理部390に替えて、追尾処理部390bを有する。
追尾処理部390bは、追尾処理の開始時に、開始情報を無線通信部480に出力するとともに、追尾処理の終了時に、終了情報を無線通信部480に出力する。また、追尾処理部390bのフレームイン判定部391で生成される通知情報は、通知部410だけでなく、無線通信部480にも出力される。
無線通信480は、追尾情報を無線周波数に変調して無線信号を得る変調部と、変調部で得られた無線信号を送出するアンテナ部を有する(いずれも図示せず)。無線通信部480は、追尾処理部390bから入力される開始情報および終了情報を、無線通信により通知用端末700に送信する。また、無線通信部480は、追尾処理部390bから入力された通知情報が追尾中であることを示している間、追尾中である旨を示す追尾情報を図10の通知用端末700に送信する。
図12は、図10に示す通知用端末700の構成を示すブロック図である。
図12に示すように、通知用端末700は、無線通信部710、通知部720、およびシステム制御部730を有する。これらの装置部は、システムバス740にそれぞれ接続されている。
無線通信部710は、撮像装置100bから無線信号により送信される追尾情報を受信する。無線通信部710は、撮像装置100bから送出される無線信号を受信するアンテナ部と、アンテナ部で受信された無線信号を復調する復調部とを有する(いずれも図示せず)。無線通信部710は、撮像装置100bから無線信号により送信される追尾情報を受信する。
通知部720は、無線通信部710で追尾情報が受信されている間、音声を出力する。通知部720は、後述する音声情報をD/A変換してアナログ音声信号を得るD/A変換部と、D/A変換部で得られたアナログ音声信号を音声に変換するスピーカとを有する(いずれも図示せず)。
システム制御部730は、CPU、プログラムを記録したROM、およびプログラム実行用のRAMから成り(いずれも図示せず)、システムバス740を介して通知用端末700の各部の動作を統合制御する。
以下、撮像装置100bおよび通知用端末700の動作について説明する。
撮像装置100bは、実施の形態1の図4に示す追尾処理と同様の処理を追尾処理部390bで実行する。但し、追尾処理部390bは、追尾処理を開始するごとに、開始情報を無線通信部480を介して通知用端末700に送信し、追尾処理を終了するごとに、終了情報を無線通信部480を介して通知用端末700に送信する。また、追尾処理部390bは、図4のステップS1300およびステップS1700で、通知情報を、無線通信部480にも出力する。この結果、追尾処理が行われているとき、追尾中か否かに応じた内容の通知情報が、無線通信480で無線信号に変調され、通知用端末700に送信される。
通知用端末700は、撮像装置100bから開始情報を受信したとき、撮像装置100bが主被写体を追尾中か否かを撮影者210に通知する追尾通知処理を実行する。
図13は、通知用端末700が実行する追尾通知処理を示すフローチャートである。
まず、ステップS2100で、無線通信部710は、追尾情報を撮像装置100bから受信したか否かを判断する。無線通信710は、追尾情報を受信していな場合には、ステップS2200に進み、追尾情報を受信した場合には、追尾情報を受信した旨をシステム制御部730に通知し、ステップS2400に進む。
ステップS2200で、システム制御部730は、撮像装置100bが主被写体を追尾中ではないこと、つまりフレームアウト状態にあることを示す動作を行う。ここでは、システム制御部730は、通知部720に対して後述する音声情報を出力しない動作を行う。
そして、ステップS2300で、システム制御部730は、動作を継続するか否かを判断し、動作を継続すると判断した場合には(S2300:YES)、ステップS2100に戻る。
一方、ステップS2400で、システム制御部730は、撮像装置100bが主被写体を追尾中であること、つまり撮像装置100bがフレームイン状態にあることを示す動作を行い、ステップS2300に進む。ここでは、システム制御部730は、所定の音声を出力するための音声情報を、通知部720に出力する。この結果、通知部720では、音声情報に対応する音声が出力される。
そして、システム制御部730は、撮像装置100bから終了情報を受信するなどして動作を継続しないと判断した場合には(S2300:NO)、一連の処理を終了する。
このような追尾通知処理により、通知用端末700は、撮像装置100bがフレームイン状態にあるときのみ、音声を出力する。
このように、本実施の形態の撮像システム600によれば、主被写体を追尾中であることを、通知用端末700から音声を出力することにより通知し、主被写体を追尾中ではないことを、通知用端末700から音声を出力しないことにより通知することができる。これにより、撮影者210は、撮影操作中に、より自由に視線を移動させることができ、よりリラックスした状態で撮影を行うことができる。また、撮像装置100bではなく、通知用端末700で音声出力を行うため、撮像装置100bが音声録音を映像と同時に行う場合に、音声が大きな音量で録音されるのを防ぐことができる。
なお、通知用端末700は、主被写体220が携帯することも可能である。これにより、主被写体220は、実施の形態2と同様に、自身の撮影において、他の人の手を煩わせることなく、撮像装置100bがフレームイン状態となるように、または撮像装置100bがフレームイン状態とならないように、自身の位置を調整することができる。また、本実施の形態によれば、撮像装置100bと主被写体220との距離が遠く、撮像装置100aにおける発光では視認が難しいような場合でも、主被写体220に通知を行うことができる。
また、通知の際の音声が撮像装置100bで録音されないよう、通知用端末700に、音量調整のためのダイアル等を配置し、音声の音量を調整可能な構成としても良い。
また、非追尾中にのみ音声を出力したり、追尾中と非追尾中とで異なる音声を出力するなど、各種の音声出力パターンを適用することが可能である。
(実施の形態5)
本発明の実施の形態5は、実施の形態4の通知用端末における追尾中であることの通知を、振動によって行う例である。
本実施の形態の通知用端末は、実施の形態4の図12に示す通知用端末700と同様の構成を有し、図13に示す追尾通知処理と同様の処理を実行する。但し、システム制御部は、無線通信部から追尾情報を受信した旨を受信したとき、図13のステップS2400で、音声情報ではなく、振動を出力するための振動情報を通知部720に出力する。通知部は、スピーカに替えて、携帯電話機のバイブレーション機能用として一般化している振動モータを有しており、振動情報をD/A変換したアナログ信号に基づいて、振動モータを駆動させる。この振動モータには、例えば、特許第3159212号公報に記載されているブラシレス振動モータを適用することが望ましい。
このような通知用端末によれば、音声を出力することなく、撮影者または主被写体に、撮像装置がフレームイン状態にあるか否かを通知することができるので、録音音声や周囲環境に特に影響を及ぼすことなく、主被写体をフレームインの状態に保持または復帰させることができる。
以上説明した各実施の形態では、撮像装置が家庭用のビデオカメラである場合について説明したが、静止画像を撮像するデジタルカメラなど、被写体の光学像を撮像する各種の撮像装置に適用可能であることは言うまでも無い。
また、追尾処理として、主被写体が画面中央に収まるように配置するための手段として、レンズ鏡筒を駆動制御する場合について説明したが、これに限定されるものではなく、レンズの移動や映像の切り出し処理や固体撮像素子の移動を適用しても良い。
また、主被写体の追尾が可能な画像領域と、モニタ130に表示される画像領域と、実際に記録される画像領域とが一致している場合について説明したが、これに限定されるものではない。例えば、記録される画像領域がモニタ130に表示される画像領域よりも小さい場合には、記録される画像領域にフレームイン領域を設定することが望ましい。
更には、本発明は、追尾処理に関する通知手段に関するものであるため、追尾処理によって実現される撮像装置の機能には依存しない。したがって、本発明は、例えば、追尾処理をAF(auto focus)制御や露出制御に用い、追尾処理によって求められた主被写体の位置に対してAF制御や最適な露出制御を行うような撮像装置にも適用することができる。
本発明に係る撮像装置、撮像装置本体および通知用端末は、撮影者が表示画面を注視し続けることなく、指定された被写体が所定の基準範囲内に収まるような撮影を支援することができる撮像装置、撮像装置本体および通知用端末として有用である。特に、本発明は、追尾処理が行われていることを容易に認識することが可能という効果を奏するため、被写体に対する追尾機能の有効性を高めるものであり、追尾機能を備えたデジタルカメラ、デジタルビデオカメラといった種々の撮像装置に対して有用である。
本発明の実施の形態1に係る撮像装置が撮影に使用されるときの様子の一例を示す図 実施の形態1に係る撮像装置の外観を示す斜視図 実施の形態1に係る撮像装置の構成を示すブロック図 実施の形態1における追尾処理部の動作を示すフローチャート 実施の形態1におけるフレームイン領域を説明するための図 実施の形態1における追尾処理を示すフローチャート 実施の形態1における発光レベル設定画面の一例を示す平面図 本発明の実施の形態2に係る撮像装置が撮影に使用されるときの様子の一例を示す図 本発明の実施の形態3に係る撮像装置の表示画面を示す平面図 本発明の実施の形態4に係る撮像システムが撮影に使用されるときの様子の一例を示す図 実施の形態4に係る撮像装置の構成を示すブロック図 実施の形態4に係る通知用端末の構成を示すブロック図 実施の形態4に係る通知用端末における追尾通知処理を示すフローチャート 従来の撮像装置における表示画面を示す平面図
符号の説明
100、100a、100b 撮像装置
110 レンズ部
120 装置本体
130 モニタ
140 LED部
310 撮像光学系
320 レンズ鏡筒
330 固体撮像素子
340 A/D変換部
350 映像信号処理部
360 バッファメモリ
370 表示部
380 操作部
390、390b 追尾処理部
391 フレームイン判定部
400 レンズ鏡筒制御部
410、720 通知部
420 CODEC
430 記録I/F部
440 ソケット
450、730 システム制御部
460、740 システムバス
470 記録媒体
480、710 無線通信部
600 撮像システム
700 通知用端末

Claims (13)

  1. 被写体の光学像を形成する撮像光学系と、
    前記光学像を電気信号に変換する撮像手段と、
    前記電気信号に所定の処理を行って画像データを生成する信号処理手段と、
    前記信号処理手段によって生成された画像データを用いて、指定された被写体が追尾可能範囲内の所定の基準範囲内に存在するか否かを判定する判定手段と、
    前記判定手段の判定結果を光で通知する通知手段と、
    を有する撮像装置。
  2. 前記通知手段は、
    指定された被写体が前記所定の基準範囲内に存在する間、光による通知を行う、
    請求項1記載の撮像装置。
  3. 前記通知手段は、
    指定された被写体が前記所定の基準範囲内に存在しない場合、前記指定された被写体が前記所定の基準範囲内に存在する場合とは異なる通知を光により行う、
    請求項2記載の撮像装置。
  4. 前記画像データを表示する表示手段、を更に有し、
    前記所定の基準範囲は、前記表示手段の表示範囲であり、
    前記判定手段は、
    指定された被写体が前記表示手段の表示範囲内に存在するか否かを判定する、
    請求項1記載の撮像装置。
  5. 前記画像データを表示する表示手段、を更に有し、
    前記追尾可能範囲内の所定の基準範囲は、前記表示手段の表示範囲よりも小さい所定範囲であり、
    前記判定手段は、
    指定された被写体が前記表示手段の表示範囲よりも小さい所定範囲内に存在するか否かを判定する、
    請求項1記載の撮像装置。
  6. 前記画像データを表示する表示手段、を更に有し、
    前記追尾可能範囲内の所定の基準範囲は、前記撮像手段の撮像範囲よりも小さい所定範囲であり、
    前記判定手段は、
    指定された被写体が含まれる前記表示手段の表示範囲が、前記撮像手段の撮像範囲よりも小さい所定範囲内に存在するか否かを判定する、
    請求項1記載の撮像装置。
  7. 前記画像データを表示する表示手段と、
    前記画像データに基づいて、前記指定された被写体を追尾する追尾手段と、を更に有し、
    前記追尾可能範囲内の所定の基準範囲は、前記追尾手段の追尾範囲よりも小さい所定範囲であり、
    前記判定手段は、
    指定された被写体が含まれる前記表示手段の表示範囲が、前記追尾手段の追尾範囲よりも小さい所定範囲内に存在するか否かを判定する、
    請求項1記載の撮像装置。
  8. 前記所定の基準範囲は、指定された被写体が人物の顔部位を含んでいる場合、指定された被写体が人物の顔部位を含んでいない場合に設定される基準範囲よりも上方に設定される、
    請求項1記載の撮像装置。
  9. 前記所定の基準範囲は、指定された被写体が人物の顔部位を含んでいる場合、指定された被写体が人物の顔部位を含んでいない場合に設定される基準範囲よりも垂直方向の長さが短くなるように設定される、
    請求項1記載の撮像装置。
  10. 前記所定の基準範囲は、指定された被写体が人物の顔部位を含んでいる場合、顔部位の大きさに応じて、指定された被写体が人物の顔部位を含んでいない場合に設定される基準範囲からの上方移動量、または基準範囲の垂直方向の長さを変化させる、
    請求項8または請求項9記載の撮像装置。
  11. 被写体の光学像を形成する撮像光学系と、
    前記光学像を電気信号に変換する撮像手段と、
    前記電気信号に所定の処理を行って画像データを生成する信号処理手段と、
    前記信号処理手段によって生成された画像データを用いて、指定された被写体が追尾可能範囲内の所定の基準範囲内に存在するか否かを判定する判定手段と、
    前記判定手段の判定結果を無線で送信する送信手段と、
    を有する撮像装置本体。
  12. 請求項11記載の撮像装置本体と無線通信可能な通知用端末であって、
    前記送信手段から送信された判定結果を受信する受信手段と、
    受信された判定結果を音で通知する通知手段と、
    を有する通知用端末。
  13. 請求項11記載の撮像装置本体と無線通信可能な通知用端末であって、
    前記送信手段から送信された判定結果を受信する受信手段と、
    受信された判定結果を振動で通知する通知手段と、
    を有する通知用端末。
JP2008052427A 2008-03-03 2008-03-03 撮像装置および撮像装置本体 Expired - Fee Related JP5079549B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008052427A JP5079549B2 (ja) 2008-03-03 2008-03-03 撮像装置および撮像装置本体
US12/393,394 US8164671B2 (en) 2008-03-03 2009-02-26 Imaging apparatus, imaging apparatus body and reporting terminal
US13/368,978 US8502908B2 (en) 2008-03-03 2012-02-08 Imaging apparatus, imaging apparatus body and reporting terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008052427A JP5079549B2 (ja) 2008-03-03 2008-03-03 撮像装置および撮像装置本体

Publications (2)

Publication Number Publication Date
JP2009212713A true JP2009212713A (ja) 2009-09-17
JP5079549B2 JP5079549B2 (ja) 2012-11-21

Family

ID=41053189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008052427A Expired - Fee Related JP5079549B2 (ja) 2008-03-03 2008-03-03 撮像装置および撮像装置本体

Country Status (2)

Country Link
US (2) US8164671B2 (ja)
JP (1) JP5079549B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223265A (ja) * 2010-04-08 2011-11-04 Nikon Corp 画像評価装置
JP2013016924A (ja) * 2011-06-30 2013-01-24 Nikon Corp 画像評価装置
JP2013016923A (ja) * 2011-06-30 2013-01-24 Nikon Corp 画像評価装置
JP2013192184A (ja) * 2012-03-15 2013-09-26 Casio Comput Co Ltd 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
JP2014120948A (ja) * 2012-12-17 2014-06-30 Olympus Imaging Corp 撮像装置、告知方法、告知プログラム、及び記録媒体
JP2016042720A (ja) * 2015-10-30 2016-03-31 株式会社ニコン 電子機器およびプログラム
JP2016042719A (ja) * 2015-10-30 2016-03-31 株式会社ニコン 電子機器およびプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531518B1 (en) * 2012-08-28 2013-09-10 Google Inc. System and method for capturing videos with a mobile device
KR101983288B1 (ko) * 2012-11-22 2019-05-29 삼성전자주식회사 카메라 촬영 제어장치 및 방법
KR102655625B1 (ko) * 2015-11-24 2024-04-09 삼성전자주식회사 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
FR3058607A1 (fr) * 2016-11-04 2018-05-11 Thomson Licensing Dispositif de capture video avec capture du mouvement des yeux de l'utilisateur
JP2019169039A (ja) * 2018-03-26 2019-10-03 セイコーエプソン株式会社 指示体、画像投写システム及び指示体の制御方法
CN111953866B (zh) * 2019-05-15 2021-11-26 华硕电脑股份有限公司 电子装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561092A (ja) * 1990-12-15 1993-03-12 Olympus Optical Co Ltd カメラのぶれ防止装置
JPH0730795A (ja) * 1993-07-13 1995-01-31 Sony Corp ビデオカメラシステム
JP2007049229A (ja) * 2005-08-05 2007-02-22 Canon Inc 撮像装置及び撮像方法
JP2007142866A (ja) * 2005-11-18 2007-06-07 Fujifilm Corp 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6762794B1 (en) * 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
JP2002199383A (ja) 2000-12-27 2002-07-12 Nikon Corp 監視システム
US6968294B2 (en) * 2001-03-15 2005-11-22 Koninklijke Philips Electronics N.V. Automatic system for monitoring person requiring care and his/her caretaker
JP2002328408A (ja) 2001-04-26 2002-11-15 Olympus Optical Co Ltd カメラ
US7301569B2 (en) * 2001-09-28 2007-11-27 Fujifilm Corporation Image identifying apparatus and method, order processing apparatus, and photographing system and method
US6810207B2 (en) * 2002-05-13 2004-10-26 Olympus Corporation Camera
JP2005341449A (ja) 2004-05-31 2005-12-08 Toshiba Corp デジタルスチルカメラ
JP4586709B2 (ja) 2005-11-02 2010-11-24 オムロン株式会社 撮像装置
JP4218720B2 (ja) * 2006-09-22 2009-02-04 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561092A (ja) * 1990-12-15 1993-03-12 Olympus Optical Co Ltd カメラのぶれ防止装置
JPH0730795A (ja) * 1993-07-13 1995-01-31 Sony Corp ビデオカメラシステム
JP2007049229A (ja) * 2005-08-05 2007-02-22 Canon Inc 撮像装置及び撮像方法
JP2007142866A (ja) * 2005-11-18 2007-06-07 Fujifilm Corp 撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011223265A (ja) * 2010-04-08 2011-11-04 Nikon Corp 画像評価装置
JP2013016924A (ja) * 2011-06-30 2013-01-24 Nikon Corp 画像評価装置
JP2013016923A (ja) * 2011-06-30 2013-01-24 Nikon Corp 画像評価装置
JP2013192184A (ja) * 2012-03-15 2013-09-26 Casio Comput Co Ltd 被写体追尾表示制御装置、被写体追尾表示制御方法およびプログラム
JP2014120948A (ja) * 2012-12-17 2014-06-30 Olympus Imaging Corp 撮像装置、告知方法、告知プログラム、及び記録媒体
US9894277B2 (en) 2012-12-17 2018-02-13 Olympus Corporation Imaging device, announcing method, and recording medium for indicating whether or not a main subject is only within a first area of an image
US10250807B2 (en) 2012-12-17 2019-04-02 Olympus Corporation Imaging device, imaging method, and recording medium
JP2016042720A (ja) * 2015-10-30 2016-03-31 株式会社ニコン 電子機器およびプログラム
JP2016042719A (ja) * 2015-10-30 2016-03-31 株式会社ニコン 電子機器およびプログラム

Also Published As

Publication number Publication date
US8502908B2 (en) 2013-08-06
US20120140090A1 (en) 2012-06-07
US20090225184A1 (en) 2009-09-10
US8164671B2 (en) 2012-04-24
JP5079549B2 (ja) 2012-11-21

Similar Documents

Publication Publication Date Title
JP5079549B2 (ja) 撮像装置および撮像装置本体
US10924641B2 (en) Wearable video camera medallion with circular display
JP4761146B2 (ja) 撮像装置及びそのプログラム
KR101783059B1 (ko) 화상 처리 장치 및 그 제어 방법과 컴퓨터 판독가능한 매체
US10250807B2 (en) Imaging device, imaging method, and recording medium
JP4518157B2 (ja) 撮像装置及びそのプログラム
JP5331128B2 (ja) 撮像装置
US20100194931A1 (en) Imaging device
WO2006038577A1 (ja) プロジェクタ装置を有する電子機器
US10455154B2 (en) Image processing device, image processing method, and program including stable image estimation and main subject determination
US20100329552A1 (en) Method and apparatus for guiding user with suitable composition, and digital photographing apparatus
US7885527B2 (en) Focusing apparatus and method
US8792018B2 (en) Image capturing apparatus, image capturing method, and computer-readable recording medium
JP5210841B2 (ja) 撮像装置
JP2008104069A (ja) デジタルカメラ及びデジタルカメラのプログラム
US9412008B2 (en) Tracking apparatus and tracking method
JP6693071B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5448868B2 (ja) 撮像装置および撮像装置の制御方法
US7960676B2 (en) Image capture device to obtain an image with a bright subject, even when the background is dark, and recording medium
WO2020129620A1 (ja) 撮像制御装置、撮像装置、撮像制御方法
JP2012049841A (ja) 撮像装置およびプログラム
JP2020115679A (ja) 物体検出装置、検出制御方法及びプログラム
JP2007078811A (ja) 撮像装置
RU2789447C1 (ru) Способ и устройство многоканальной видеозаписи
JP2010226749A (ja) 撮像装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120821

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120829

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees