JP2010122365A - Af枠自動追尾システム - Google Patents
Af枠自動追尾システム Download PDFInfo
- Publication number
- JP2010122365A JP2010122365A JP2008294515A JP2008294515A JP2010122365A JP 2010122365 A JP2010122365 A JP 2010122365A JP 2008294515 A JP2008294515 A JP 2008294515A JP 2008294515 A JP2008294515 A JP 2008294515A JP 2010122365 A JP2010122365 A JP 2010122365A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- tracking
- image
- face
- automatic tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】AF枠に関する操作をタッチパネル付きの表示手段(ディスプレイ)を使用して行う場合に、その画面のダブルタップ操作によって好適にAF枠自動追尾の開始を指示するための操作を行えるようにしたAF枠自動追尾システムを提供する。
【解決手段】AF枠に関する操作を行うことができるタッチパネル付き液晶ディスプレイの画面40aにおいて、タップ操作を行うと、その位置にAF枠が設定される。ダブルタップ操作を行った場合には、その位置にAF枠が設定されると共に、その位置の被写体を追尾対象としてAF枠の自動追尾が開始される。セットボタン308をタップ操作することによってもAF枠の自動追尾を開始させることもできる。
【選択図】図5
【解決手段】AF枠に関する操作を行うことができるタッチパネル付き液晶ディスプレイの画面40aにおいて、タップ操作を行うと、その位置にAF枠が設定される。ダブルタップ操作を行った場合には、その位置にAF枠が設定されると共に、その位置の被写体を追尾対象としてAF枠の自動追尾が開始される。セットボタン308をタップ操作することによってもAF枠の自動追尾を開始させることもできる。
【選択図】図5
Description
本発明は、AF枠自動追尾システムに係り、特に、オートフォーカス(AF)によりピントを合わせる被写体の範囲を示すAF枠(AFエリア)を所定の被写体に自動追尾させるAF枠自動追尾システムに関する。
従来、カメラのフォーカスを自動的に合わせるオートフォーカス(AF)システムにおいては、どこにフォーカスを合わせるかをカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっている。
しかし、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、被写体にピントを合わせる目的でオートフォーカスエリア(AFエリア)を被写体に自動追尾させるAF枠自動追尾システムが知られている(例えば、特許文献1等参照)。尚、本明細書では、AFエリアの範囲の輪郭を示すAF枠をAFエリアと同様にピントを合わせる被写体の範囲を意味する用語として主に使用するものとする。
また、撮像された画像中から人物の顔を表す画像を検出し、その被写体となった顔に対して自動的にピントを合わせたり、あるいは上記検出された画像中の顔を表す領域が拡大されるように自動的にズーム倍率を変更させるデジタルカメラが知られている(例えば、特許文献2等参照)。
特開2006−267221号公報
特開2004−320286号公報
ところで、AF枠に関する操作は、カメラで撮影されている現在の撮影映像と共に現在設定されているAF枠の範囲を表示するタッチパネル付きディスプレイでのタッチ操作によって行えるようにすると、特に重要なAF枠の位置の指定を、ピントを合わせたい被写体(AF枠自動追尾での追尾対象の被写体)が表示されている画面上の位置をタップ操作(シングルタップ)することによって行うことができるため、直感的な指定が可能であり便利である。
また、このようなタッチパネル付きディスプレイにおいてAF枠自動追尾の開始できるようにする場合には、例えば、自動追尾の開始を指示するためのボタン(セットボタン)を表示し、そのセットボタンをタップ操作することによって行えるようにすることが考えられる。
しかしながら、このような操作では、追尾対象に被写体をタップ操作で指定した後、セットボタンの位置に指先の位置を変えてタップ操作する必要があり操作の効率が悪い。
本発明は、このような事情に鑑みてなされたもので、AF枠に関する操作をタッチパネル付きの表示手段(ディスプレイ)を使用して行えるようにした場合に、好適にAF枠自動追尾の開始を指示することができるAF枠自動追尾システムを提供することを目的とする。
前記目的を達成するために、請求項1に係るAF枠自動追尾システムは、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のAF枠の範囲の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、所定の追尾対象の被写体にピントが合うように前記AF枠を前記追尾対象の被写体に自動追尾させるAF枠自動追尾手段と、を備えたAF枠自動追尾システムにおいて、画像表示画面に前記撮像手段により撮像された撮影画像を表示すると共に、該撮影画像に重畳させて現在設定されているAF枠の範囲を表示する表示手段と、前記表示手段の画像表示画面に対する操作者のタッチ操作を検出するタッチ操作検出手段と、所定の追尾対象の被写体にピントが合うように前記AF枠を前記追尾対象の被写体に自動追尾させるAF枠自動追尾手段と、を備え、前記AF枠自動追尾手段は、前記表示手段の画像表示画面に対するダブルタップ操作が前記タッチ操作検出手段により検出されると、AF枠の自動追尾を開始することを特徴としている。
請求項2に係るAF枠自動追尾システムは、請求項1に係る発明において、前記表示手段の画像表示画面に対するタップ操作が前記タッチ操作検出手段により検出されると、該タップ操作が行われた位置に前記AF枠の位置を変更するAF枠変更手段を備え、前記表示手段の画像表示画面に対するダブルタップ操作が前記タッチ操作検出手段により検出された場合においても、前記AF枠変更手段は、前記ダブルタップ操作が行われた位置に前記AF枠の位置を変更すると共に、該変更した位置の被写体を追尾対象として前記AF枠自動追尾手段が前記AF枠の自動追尾を開始することを特徴としている。
請求項3に係るAF枠自動追尾システムは、請求項1又は2に係る発明において、前記AF枠自動追尾手段は、前記表示手段により前記画像表示画面に前記AF枠の自動追尾を開始するための追尾開始ボタンを表示させ、前記タッチ操作検出手段により前記追尾開始ボタンがタップ操作された場合においても前記AF枠の自動追尾を開始することを特徴としている。
本発明によれば、AF枠に関する操作をタッチパネル付きの表示手段(ディスプレイ)を使用して行う場合に、好適にAF枠自動追尾の開始を指示することができる。また、AF枠自動追尾の開始を指示をダブルタップ操作ではなくタップ操作(シングルタップ)で行えるようにすることも可能であるが、本願発明のようにダブルタップ操作で行えるようにすることで、誤って画面に触れてしまった場合でもAF枠自動追尾が開始されてしまうという不測の事態を防止することができる。
以下、添付図面を参照して、本発明に係るAF枠自動追尾システムについて詳細に説明する。
図1は、本発明が適用されるテレビカメラシステムの一実施の形態を示した外観図である。同図に示すようにテレビカメラ10は、主に放送用又は業務用に使用されるテレビカメラであり、レンズ装置12とカメラ本体14とで構成され、ペデスタルドリー16上に設置された雲台18に支持されている。
雲台18には、左右2本のパン棒22、24が延設されており、右側のパン棒22のグリップ部22Aには、フォーカスデマンド(フォーカスコントローラ)26がマウンティングクランプ38によって設置され、左側のパン棒24のグリップ部にはズームデマンド(ズームコントローラ)28が設置されている。
フォーカスデマンド26には、回動可能なフォーカスノブ30が設けられており、マニュアルフォーカス(MF)によりフォーカス制御を行う際に、このフォーカスノブ30を回動操作すると、その回動位置に応じたフォーカス位置を目標位置としてフォーカス(フォーカスレンズ)の移動を指令するフォーカス制御信号がフォーカスデマンド26からレンズ装置12に与えられる。これにより、レンズ装置12のフォーカスレンズがフォーカス制御信号によって指令された目標位置に移動する。
ズームデマンド28には、回動可能なサムリング34が設けられており、そのサムリング34を左右方向に回動操作すると、回動位置に応じたズーム速度を目標速度としてズーム(ズームレンズ)の移動を指令するズーム制御信号がズームデマンド28からレンズ装置12に与えられる。これにより、レンズ装置12のズームレンズがズーム制御信号によって指令された目標速度で移動する。
また、図では省略するが、フォーカスデマンド26には、オートフォーカス(AF)に関する各種操作部材が設けられると共に、AFによりピントを合わせる対象の被写体範囲(AFの対象範囲)を示すAF枠の制御(位置等の変更)を行うためのAF枠制御装置(AF枠自動追尾装置)が組み込まれ、そのAF枠制御装置の各種操作部材もフォーカスデマンド26に設けられている。
更に、AF枠制御装置の構成要素として同図のようにタッチパネル付き液晶ディスプレイ(LCD)40が設置具によりフォーカスデマンド26の本体上部に設置され、図示しないケーブルでフォーカスデマンド26に接続されている。
尚、以下において、単にLCD40と記した場合にはこのタッチパネル付き液晶ディスプレイ40を示す。また、LCD40は、フォーカスデマンド26の本体上部以外の任意の位置に設置することが可能である。例えば、ビューファインダ36の横に設置してもよい。
カメラ本体14の上には、表示装置であるビューファインダ36が設置されている。このビューファインダ36には、本テレビカメラ10で撮影されている被写体の映像が表示されるため、カメラマンはその映像を見ながらフォーカスデマンド26やズームデマンド28を操作することによって所望の構図で被写体を撮影することができるようになっている。尚、以下において、撮影映像又は撮影画像と称した場合には、テレビカメラ10で現在撮影されている映像又は画像を示すものとする。
また、ビューファインダ36に表示される撮影映像には、現在AF枠が設定されている位置、大きさ、形状(縦横比)を示すAF枠の画像が重畳されて表示されるようになっており、AFによりフォーカス制御を行う場合には撮影映像内のどの範囲の被写体にピントが合わせられるかを知ることができるようになっている。尚、MFとAFのフォーカス制御は、フォーカスデマンド26に設けられたモードスイッチ等で切り替えられるようになっている。
図2は、上記テレビカメラシステムに適用されるAF枠自動追尾システムの全体構成を示したブロック図である。
同図のAF枠自動追尾システム1には、図1に示したテレビカメラ10のレンズ装置12及びカメラ本体14とビューファインダ36が示されている。また、図1のフォーカスデマンド26の構成要素として、フォーカス操作部50と、フォーカスデマンド26に組み込まれたAF枠制御装置(AF枠自動追尾装置)を構成する画像処理ユニット58及びAF枠操作部60が示されている。
テレビカメラ10は、ハイビジョンテレビ[HD(High Definition)TV]方式に対応したHDカメラからなるカメラ本体14と、カメラ本体14のレンズマウントに装着される撮影レンズ(光学系)を備えたレンズ装置12とから構成される。
カメラ本体14には、撮像素子(例えばCCD)や所要の信号処理回路等が搭載されており、レンズ装置12の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてHDTV方式の映像信号(HDTV信号)として、カメラ本体14の映像信号出力端子等から外部に出力される。
また、図1のようにカメラ本体14の上部等に設置されるビューファインダ36には、テレビカメラ10の撮影映像が表示されるようになっている。ビューファインダ36には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているAF枠の範囲(位置、大きさ、形状)を示す画像が撮影映像に重畳されて表示されるようになっている。
レンズ装置12は、カメラ本体14のレンズマウントに装着される撮影レンズ(ズームレンズ)64を備えており、その撮影レンズ64により、被写体56がカメラ本体14の撮像素子の撮像面に結像されるようになっている。撮影レンズ64には、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ(サーボ機構)によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス(被写体距離)調整が行われ、またズームレンズ群が移動することによって焦点距離(ズーム倍率)調整が行われる。
尚、AFに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。
また、レンズ装置12には、AFユニット66及び図示しないレンズCPU等が搭載されている。レンズCPUはレンズ装置12全体を統括制御するものである。また、AFユニット66は、AFによるフォーカス制御(自動ピント調整)を行うために必要な情報を取得するための処理部であり、図示を省略するが、AF処理部、AF用撮像回路等から構成されている。
AF用撮像回路はAF処理用の映像信号を取得するためにレンズ装置12に配置されており、CCD等の撮像素子(AF用撮像素子という)やAF用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、AF用撮像回路から出力される映像信号は輝度信号である。
AF用撮像素子の撮像面には、撮影レンズ64の光路上に配置されたハーフミラー等によってカメラ本体14の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。AF用撮像素子の撮像エリアに対する撮影範囲及び被写体距離(ピントが合う被写体の距離)は、カメラ本体14の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、AF用撮像素子により取り込まれる被写体画像は、カメラ本体14の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、AF用撮像素子の撮影範囲の方がカメラ本体14の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
AF処理部は、AF用撮像回路から映像信号を取得し、その映像信号に基づいてAFの対象範囲とするAFエリア(AF枠)の範囲内における被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、AF用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるAFエリアに対応する範囲の信号を1画面(1フレーム)分ずつ積算する。このようにして1画面分ごとに得られる積算値はAFエリア内の被写体画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズCPUに与えられる。
レンズCPUは、AFエリアの範囲(輪郭)を示すAF枠の情報(AF枠情報)を、後述するように画像処理ユニット58から取得し、そのAF枠情報により指定されたAF枠内の範囲をAFエリアとしてAF処理部に指定する。そして、そのAFエリア内の画像(映像信号)により求められる焦点評価値をAF処理部から取得する。
このようにしてAF用撮像回路から1画面分の映像信号が取得されるごとに(AF処理部で焦点評価値が求められるごとに)AF処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大(極大)、即ち、AF枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、AF枠内の被写体に自動でピントが合わせられる。
尚、上述のAF処理部は、焦点評価値を算出するために、レンズ装置12に搭載されたAF用撮像素子から映像信号を取得しているが、カメラ本体14の撮像素子より撮影された映像の映像信号をカメラ本体14から取得するような構成としてもよい。また、AF枠内の被写体に自動でピントを合わせるためのAF手段はどのようなものであってもよい。
ここで、AFエリア200は、図3に示すようにカメラ本体14における撮像素子の撮像エリア202に対して四角形状の領域として設定され、その輪郭を示す枠204がAF枠を示し、撮像素子のAFエリア200(AF枠204内)の範囲で撮影される被写体がAFによりピントを合わせる対象となる。
尚、本明細書では、撮像エリア202に対するAF枠204(AFエリア200)の範囲は、AF枠204の位置、大きさ、及び、形状(縦横比)の3つの要素によって決まるものとし、“AF枠の範囲を変更する”という趣旨の記載は、AF枠の位置、大きさ、及び、形状の3つの要素のうち、少なくとも1つの要素を変更することを意味するものとする。
また、レンズ装置12は、ケーブルを介して、又は、直接的にカメラ本体14と接続され、レンズ装置12とカメラ本体14の各々に設けられたシリアル通信インターフェース(SCI)12a、14aを通じて各種情報のやり取りが行えるようになっている。これによりAFユニット66において現在設定されているAF枠の情報もカメラ本体14に送信され、カメラ本体14内での処理によってビューファインダ36に表示される撮影映像に現在設定されているAF枠の位置、大きさ、形状に対応したAF枠の画像が重畳表示されるようになっている。
フォーカス操作部50は、フォーカスデマンド26の構成要素であると共に、一般的なフォーカスデマンドが備えている構成要素を示している。フォーカス操作部50の構成要素として、図1に示したフォーカスノブ30、AFモードとMFモードの切替えやAFモードの種類(連続モードやモーメンタリモード)の切替えを行うためのモードスイッチ(図示せず)、AFの開始を指示するAF開始スイッチ(図示せず)等、AFの制御内容やMFの制御に関する操作部材を備えると共に、それらの操作部材の設定状態を検出し、検出した設定状態に基づいて制御信号を送出する処理回路等を備えている。
フォーカスデマンド26にはレンズ装置12とケーブルで接続するためのインターフェース(I/F)52が設けられており、フォーカス操作部50はそのI/F52及びケーブルを介してレンズ装置12に接続され、SCI12aを通じてレンズCPUとの間のシリアル通信により各種信号のやり取りが行えるようになっている。
これにより、フォーカス操作部50から送出された各種制御信号がレンズCPUに与えられ、その制御信号に従った処理がレンズCPUで実行されるようになっている。例えば、AFによるフォーカス制御(AFモード)の指示が与えられた場合には、上記のようにAFユニット66から得られる焦点評価値に基づいてAFによるフォーカス制御が行われ、MFによるフォーカス制御(MFモード)の指示が与えられた場合には、フォーカスノブ30の操作に基づいてフォーカス操作部50から与えられるフォーカス位置指令信号に従ってMFによるフォーカス制御が行われるようになっている。
画像処理ユニット58は、フォーカスデマンド26にAF枠制御装置の構成要素として組み込まれた処理部であり、レンズ装置12のAFユニット66において設定されるAF枠の範囲(位置、大きさ、形状(縦横比))を後述のマニュアル操作又はAF枠自動追尾の処理により指定するための処理部である。
画像処理ユニット58は、SCI70を備えており、そのSCI70は、上記I/F52を介してレンズ装置12に接続され、SCI12aを通じてレンズCPUとの間で各種信号のやり取りが行えるようになっている。これにより、AF枠の範囲を指定するAF枠情報が画像処理ユニット58からレンズ装置12のレンズCPUに与えられ、そのAF枠情報に基づいてAFユニット66におけるAF枠の範囲が設定される。
また、フォーカスデマンド26には画像処理ユニット58に映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体14の映像出力コネクタがダウンコンバータ68を介してケーブルで接続される。これによって、カメラ本体14の映像出力コネクタから出力されたHDTV信号が、ダウンコンバータ68によって、標準テレビ[NTSC(National Television System Committee)]方式の映像信号(SDTV信号)に変換(ダウンコンバート)されて、画像処理ユニット58に入力されるようになっている。
詳細は後述するが画像処理ユニット58は、AF枠自動追尾処理を実行する際に、カメラ本体14から入力された映像信号から1コマ分の撮撮画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、AFによりその被写体にピントが合わせられるようにAF枠の範囲を決定し、決定したAF枠の範囲をレンズ装置12のレンズCPUに送信する。
尚、画像処理ユニット58の構成及び処理内容については後述する。
AF枠操作部60は、AF枠制御装置としてフォーカスデマンド26に画像処理ユニット58と共に一体的に設けられ、又は、その一部又は全てが、フォーカスデマンド26とは別体の装置、即ち、画像処理ユニット58とは別体の装置に設けられてケーブル等で接続されている。本実施の形態では、図1のようにタッチパネル付きLCD40がフォーカスデマンド26(画像処理ユニット58)とは別体で設けられ、他の構成要素はフォーカスデマンド26に画像処理ユニット58と共に設けられている。
AF枠操作部60は、主にAF枠の制御に関する操作を行うための操作部であり、AF枠の範囲を操作者がマニュアル操作で指示入力するための操作部材や、AF枠を所望の被写体に自動で追尾させるAF枠自動追尾に関する操作を行うための操作部材を備えている。
図4のフォーカスデマンド26の外観図にも併せて示すように、AF枠操作部60の操作部材として、AF枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材100(例えば、ジョイスティックやトラックボール)、AF枠の大きさを手動操作により変更するためのサイズ操作部材102(例えば、ツマミ)、AF枠の形状を手動操作により変更するための形状操作部材104(例えば、ツマミ)、AF枠自動追尾の開始を指示する追尾開始スイッチ108、AF枠自動追尾の停止を指示する追尾停止スイッチ110が設けられており、これらの操作部材100、102、104、108、110の設定状態が、画像処理ユニット58(後述のメインボード70のCPU78)により読み取られるようになっている。
また、AF枠操作部60のLCD40は、AF枠自動追尾に関するモード等の設定をタッチ操作(タップ操作)で入力できるようにしたもので、画像処理ユニット58のCPU78によりLCD40に表示される画像が設定内容に応じて適宜切り換えられるようになっている。LCD40の表示及び操作については後述する。
尚、本実施の形態では、画像処理ユニット58やAF枠操作部60を備えたAF枠制御装置がフォーカスデマンド26に組み込まれた態様を示したが、AF枠制御装置はフォーカスデマンド26とは別体の装置として構成してもよい。また、この場合に、AF枠操作部60は、その一部又は全てを画像処理ユニット58と一体の装置に設けられてもよいし、別体の装置に設けてもよい。
次に画像処理ユニット58の構成及び処理内容について説明する。
画像処理ユニット58は、主としてメインボード70、パターンマッチング処理演算ボード72、顔認識処理演算ボード74から構成されている。メインボード70、パターンマッチング処理演算ボード72、顔認識処理演算ボード74の各々にはCPU78、90、92が搭載されており、各ボード毎に個別の演算処理が行われると共に、各CPU78、90、92は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。
画像処理ユニット58における処理は、メインボード70において統括的に行われるようになっている。そのメインボード70には、演算処理を行う上記CPU78の他に、SCI70a、デコーダ(A/D変換器)76、スーパーインポーザ82、RAM80等が搭載されている。
SCI70aは、上述のようにレンズ装置12のSCI12aとの間でシリアル通信を行うためのインターフェース回路であり、上記AF枠情報等をレンズ装置12に送信する。
デコーダ76は、上記ダウンコンバータ68から画像処理ユニット58に入力されるテレビカメラ10の撮影映像の映像信号(SDTV信号)を、画像処理ユニット58においてデジタル処理可能なデータに変換するための回路であり、アナログのSDTV信号をデジタルデータの映像信号に変換するA/D変換処理等を行っている。
スーパーインポーザ82は、上記のデコーダ76により得られた撮影映像の映像信号と、CPU78により生成される画像信号とを合成し、その合成した映像信号をLCD40に出力・表示する回路である。これにより、カメラ本体14に設置されているビューファインダ36と同様にテレビカメラ10の撮影映像がLCD40に表示されると共に、その撮影映像に重ねて、現在設定されているAF枠の範囲を示すAF枠の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面(メニュー画像)等がLCD40に表示される。尚、撮影映像に重畳させることなくCPU78で生成された画像のみを表示させることも当然可能である。
RAM80は、CPU78の演算処理において使用するデータを一時的に格納するメモリである。
一方、パターンマッチング処理演算ボード72や顔認識処理演算ボード74は、パターンマッチングと顔検出・認識処理を個別に行うための演算ボードであり、各々、演算処理を行うCPU90、92の他に画像データを一時的に格納するVRAM94、96等を備えている。
また、画像処理ユニット58には、SD(Secure Digital)カードやUSBメモリなどの外部メモリとしてデータカード114を装填するスロット115が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予めデータカード114に保存しておき、そのデータカード114をスロット75に装填することで、顔認識に必要な認証データをデータカード114からCPU78が読み込めるようになっている。
続いて、上記のごとく構成された画像処理ユニット58によるAF枠の制御についてLCD40の表示及び操作に関する処理と共に説明する。
まず、LCD40の表示及び操作に関して説明すると、図5に示すようにLCD40の画面40aには、テレビカメラ10の撮影映像に重畳して各種ボタン300〜314からなるメニュー画面(メニュー画像)と、現在設定されているAF枠の範囲を示すAF枠の画像204(単にAF枠204という)が表示される。メニュー画面の各種ボタン300〜314やAF枠204のように撮影映像に重畳される画像は、図2に示した画像処理ユニット58におけるメインボード70のCPU78により生成され、それらの画像が、スーパーインポーザ82においてデコーダ76から得られるテレビカメラ10の撮影映像に重畳されてLCD40に表示されるようになっている。尚、LCD40の表示(表示内容)に関する制御はCPU78により行われるものである。
一方、LCD40はタッチパネルを備えており、LCD40の画面40aに対して指先等が触れるタッチ操作が行われると、触れた位置(座標)を示す位置情報がCPU78に与えられるようになっている。これにより、LCD40の画面40aに対して行われたタッチ操作の位置や操作の種類(タップ操作、ダブルタップ操作等)がCPU78により検出されるようになっている。そして、その操作に従った処理がCPU78により実行されるようになっている。
LCD40の画面40aにおける基本的な操作として、各ボタン300〜314に予め割り当てられた指示を入力する操作や、AF枠204の範囲を指定する操作があり、前者の操作は、各ボタン300〜314の位置を指先等でタップ操作するものである。後者のAF枠204の範囲を指定する操作は、例えば、撮影映像が表示されたLCD40の画面40a上において、AF枠204を移動させたい位置をタップ操作すれば、その位置が中心となるようにAF枠204を移動させることができる。また、AF枠204の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてAF枠204の大きさや形状を変更することができる。
LCD40の画面40aに表示されるメニュー画面(メニュー画像)について説明すると、図5において、”固定”と表示された固定モード選択ボタン300、”物体追尾”と表示された物体追尾モード選択ボタン302、”顔検出”と表示された顔検出追尾モード選択ボタン304、”顔認識”と表示された顔認識追尾モード選択ボタン306は、AF枠の制御モードを選択するボタンであり、これらのボタン300〜306のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モードのうちから所望のモードを選択することできるようになっている。尚、各モードの内容については後述する。
”セット”と表示されたセットボタン308と、”リセット”と表示されたリセットボタン310は、AF枠自動追尾の開始と停止を指示するボタンであり、これらのボタン308、310は、AF枠自動追尾の開始又は停止の指示を操作者が行う制御モード(物体追尾モード、顔検出モード)が選択された場合にのみ表示される。尚、これらのセットボタン308とリセットボタン310は、AF枠操作部60の追尾開始スイッチ108と追尾停止スイッチ110(図1及び図4参照)と同様に作用するボタンである。
また、AF枠自動追尾の開始は、画面40aの所望の位置をダブルタップ操作(2回連続して同一位置をタップする操作)すると、その位置を中心とする位置にAF枠が設定されると共に、AF自動追尾が開始されるようになっている。即ち、ダブルタップ操作の1回目のタップ操作がAF枠をタップ操作した位置に移動させる指示操作となり、続く2回目のタップ操作がAF自動追尾の開始を指示する操作となる。これにより、セットボタン308をタップ操作してAF枠自動追尾の開始を指示する操作を省略することができ、迅速にそのAF枠の位置の設定及びAF枠自動追尾の開始を指示することができるようになっている。尚、AF枠自動追尾の開始をダブルタップ操作のみによって行えるようにし、上記セットボタン308の表示を行わないようにしてもよい。
”小”、”中”、”大”と表示されたAF枠サイズ選択ボタン312(小ボタン312a、中ボタン312b、大ボタン312c)は、四角形で形状(縦横比)が一定のAF枠204の大きさを、予め決められた3つの異なる大きさの中から選択するためのボタンであり、小ボタン312a、中ボタン312b、大ボタン312cのいずれかをタップ操作することにより、AF枠204の大きさを瞬時に変更することができるようになっている。小ボタン312aをタップ操作したときが一番小さいサイズのAF枠となり、大ボタン312cをタップ操作したときが一番大きいサイズのAF枠となる。
ここで、本実施の形態ではAF枠204の大きさを3通りの大きさから選択できるようにしたが、2通り又は4通り以上の大きさを予め決めておき、各々の大きさに対応するAF枠サイズ選択ボタンを表示して、各AF枠サイズ選択ボタンのタップ操作で各大きさのAF枠204を選択できるようにしてもよい。また、AF枠の大きさだけでなく形状も異なるAF枠を選択できるようにしてもよい。
また、大きさや形状の異なる複数種のAF枠から所望の種類のAF枠を選択するための選択手段の態様は本実施の形態のように各種類に対応した選択ボタンを設けたものに限らない。例えば、予め決められた複数種のAF枠の各々について順番(1番〜N番)を割り当てておき、その順番に従ってAF枠の種類を順次切り替えるボタンを設けてもよい。即ち、LCD40の画面40aにAF枠の種類を切り替えるための1つの切替ボタンを表示し、その切替ボタンをタップ操作する毎に1ずつ加算した順番(現在設定されているAF枠の順番に対して1加算した順番)のAF枠に変更し、最大の順番(N番)のAF枠となった場合には次に1番のAF枠に変更する(トグル式に変更)ようにしてもよい。また、アップボタンとダウンボタンの2つのボタンを表示し、アップボタンをタップ操作する毎に1ずつ加算した順番のAF枠に変更し、ダウンボタンをタップ操作する毎に1ずつ減算した順番のAF枠に変更するようにしてもよい。
更に、選択可能なAF枠の種類として大きさ(対角距離)が一定量ずつ異なるAF枠、形状(縦横比)が一定量ずつ異なるAF枠というような決め方も可能であり、上記のような切替ボタンや、アップボタンとダウンボタンがタップ操作される毎に、AF枠の大きさ又は形状を一定量ずつ変更することも可能である。このとき、AF枠の大きさを変更するためのボタンと、AF枠の形状を変更するボタンを別々に設けておけば、AF枠の大きさとAF枠の形状の両方を変更することも可能である。
尚、AF枠の種類を選択するための選択手段は、上記のようにAF枠の種類を選択するための上記のようなボタンをLCD40の画面40aに表示する態様に限らず、又は、この態様と併せて、図2のAF枠操作部60の構成要素として、図4で示したフォーカスデマンド26の本体26a等にメカ的なボタン(スイッチ)を設け、そのボタンによってAF枠の種類を変更できるようにしてもよい。
また、上記のようにAF枠204の頂点や辺をドラッグ操作してAF枠204を任意の大きさや形状に変更する操作は、AF枠サイズ選択ボタン312の操作のように予め決められた大きさや形状に変更する操作と共に有効に行えるようにしてもよいし、いずれか一方の操作のみを有効とし、LCD40の画面40aに表示された所定のボタンをタップ操作すること等によっていずれの操作を有効にするかを選択できるようにしてもよい。
図5において ”表示オフ”と表示されたメニュー表示オン/オフボタン314は、このボタン314以外のメニュー画面(メニュー画像)の表示をオフするためのボタンであり、メニュー表示オン/オフボタン314をタップ操作すると、図6のようにメニュー画面のボタン300〜312の表示がオフされる。このとき、メニュー表示オン/オフボタン314には”表示オン”と表示され、再度、メニュー表示オン/オフボタン314をタップ操作すると、図5のようにメニュー画面が撮影映像に重畳されて表示される。これによれば、撮影映像に重畳されたメニュー画面の表示が不必要な状況において操作者がメニュー画面の表示をオフすることができ、メニュー画面が撮影作業を妨げとなることを防止することができる。
また、メニュー画面の表示は上記のように操作者が不要と判断する場合に限らず、自動で不要と判断できる場合がある。例えば、画面40aのタッチ操作(又はメニュー画面のボタン300〜314に対するタッチ操作)が最後に行われた時から一定時間が経過した場合、即ち、画面40aのタッチ操作が一定時間以上行われていない場合には、メニュー画面の表示は不要であると判断することができる。
そこで、メインボード70のCPU78において、画面40aのタッチ操作(又はメニュー画面のボタン300〜314に対するタッチ操作)が最後に行われた時から一定時間が経過したか否か(画面40aのタッチ操作が一定時間行われていないか否か)を判断し、一定時間が経過した場合には自動でメニュー画面の表示をオフするタイマー機能を設けてもよい。このときのメニュー画面の表示をオフする時間はユーザが任意の値に設定できるようにしてもよい。
また、操作者がレンズ装置12のズーミング操作(図1に示したズームデマンド28の操作)を行っている場合や詳細を後述するAF枠自動追尾の動作が開始した後もメニュー画面の表示は不要であると判断することができる。
そこで、メインボード70のCPU78において、レンズ装置12からズーミング操作が行われているか否かの情報を取得し、ズーミングの操作が行われていることが検出された場合、又は、AF枠自動追尾の処理が開始した場合には、メニュー画面の表示をオフする機能を設けてもよい。AF枠自動追尾の処理はCPU78が統括的に行っているため、AF枠自動追尾の処理が開始されたことは自己の処理情報に基づいて判断することができる。
また、これらの自動表示オフ機能によって、メニュー画面の表示がオフされている場合には、例えば、画面40aの任意の位置をタッチ操作するとメニュー画面が表示されるようにすればよい。これらの自動表示オフ機能と同時に上記のようにメニュー表示オン/オフボタン314によるメニュー画面の表示のオン/オフを行えるようにした機能を採用している場合には、そのメニュー表示オン/オフボタン314をタップ操作することによってメニュー画面の表示を行うようにすればよい。
一方、上記のような機能よりメニュー画面の表示がオフされている場合において、メニュー画面の表示が必要であると自動で判断できる場合がある。例えば、AF枠自動追尾を行っている際に、何からの理由でその追尾が不能となる場合がある。その場合には、再度、メニュー画面での操作が必要となるため、メニュー画面を表示させる必要がある。このとき、上記のように操作者がメニュー画面を表示させるための操作を行うのは手間と時間を要する。
そこで、メインボード70のCPU78は、LCD40の画面40aにおいてメニュー画面の表示を消した状態となっている場合に、AF枠自動追尾が不能となったときには、自動的にメニュー画面を表示させる自動表示オン機能を設けてもよい。上記のようにAF枠自動追尾の処理はCPU78が統括的に行っているため、AF枠自動追尾が不能となったことは自己の処理情報に基づき判断することができる。
続いて、図5の画面40aにおいて示した固定モード選択ボタン300、物体追尾モード選択ボタン302、顔検出追尾モード選択ボタン304、顔認識追尾モード選択ボタン306によって選択可能となっているAF枠の各制御モードについて説明する。本実施の形態では、AF枠の制御モードとして固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モードの4つのモードが上記選択ボタン300〜306のいずれかをタップ操作することにより選択できるようになっている。
固定モードは、AF枠の範囲(位置、大きさ、形状)を操作者がマニュアル操作で指定し、その指定した位置にAF枠を固定するモード(マニュアルモード)である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。
図5のLCD40の画面40aにおいて固定モード選択ボタン300をタップ操作すると固定モードが選択され、画像処理ユニット58のメインボード70に搭載されたCPU78は、固定モードの処理を実行する。
即ち、CPU78は、上記のようにLCD40の画面40aに対するAF枠の範囲を変更する操作や、AF枠操作部60に設けられたAF枠204をマニュアル操作で変更するための操作部材(位置操作部材100、サイズ操作部材102、形状操作部材104)の操作に基づいてAF枠の範囲を決定する。CPU78は、AF枠の範囲を決定すると、そのAF枠の範囲を示すAF枠情報をSCI70aを通じてレンズ装置12のレンズCPUに送信する。
物体追尾モードは、AF枠自動追尾の1つのモードであり、任意の種類の物体をAF枠で追尾させるモードである。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ−レース中継などでの撮影に有益なモードである。
図5のLCD40の画面40aにおいて物体追尾モード選択ボタン302をタップ操作すると物体追尾モードが選択され、画像処理ユニット58のメインボード70に搭載されたCPU78は、物体追尾モードの処理を開始する。
図7は、物体追尾モードの処理手順を示したフローチャートであり、以下、物体追尾モードの処理をこのフローチャートに従って説明する。尚、物体追尾モードが選択された場合にLCD40の画面40aには、図5に示したものと同様のメニュー画面が表示される。
メインボード70のCPU78は、AF枠自動追尾の開始を指示する操作がAF枠操作部60から与えられるまで、固定モードと同様にAF枠をマニュアル操作に従って変更し、追尾対象を設定するための処理(AF枠の初期設定処理)を行う。即ち、操作者は、追尾対象(AFの対象)とする被写体画像が含まれるようにAF枠の範囲を指定し、これに従ってCPU78はAF枠の範囲を設定する(ステップS10)。尚、図5では、人物の顔にAF枠204が設定されているが、この物体追尾モードでは人物の顔以外の物体を追尾対象とすることができる。
続いて操作者が、AF枠自動追尾の開始を指示する操作を行うと、CPU78(及びパターンマッチング処理演算ボード72のCPU90)はパターンマッチングによるAF枠自動追尾の処理(ステップS14〜S26)を開始すると共に、AF枠自動追尾の処理で決定されるAF枠の範囲をレンズ装置12のレンズCPUに指定する処理(AF枠情報の送信)を開始する(ステップS12)。
尚、AF枠自動追尾の開始の指示は、図5に示したLCD40の画面40a上において、セットボタン308をタップ操作するか、又は、任意の位置(AF枠を設定する位置)をダブルタップ操作することによって行われる。また、AF枠操作部60おいてメカ的なスイッチとして設けられた追尾開始スイッチ108を押下操作した場合にもAF枠自動追尾の開始の指示が行われる。LCD40の画面40a上において、ダブルタップ操作することによってAF枠自動追尾の開始を指示する場合には、ステップS10におけるAF枠の位置の設定も同時に行うことができる。ただし、任意の位置でのダブルタップ操作を単にAF枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはAF枠の位置の設定とは無関係のものとなる。
また、AF枠自動追尾の開始する際にAFによるフォーカス制御が行われていない場合(AFモードとなっていない場合)には、AF枠自動追尾の開始と連動してAFの開始も指示される。
AF枠自動追尾の処理を開始すると、CPU78からの指示によりパターンマッチング処理演算ボード72のCPU90は、デコーダ76から1コマ分の撮影画像の画像データを取り込む(ステップS14)。続いて、現在設定されているAF枠の範囲をCPU78から取得し、取り込んだ撮影画像のうちAF枠の範囲内の画像を基準パターンの画像として設定(記憶)する(ステップS16)。そして、以下のステップS18〜S26の処理を繰り返し実行する。
まず、CPU90は、デコーダ76から1コマ分の撮影画像の画像データを取り込み(ステップS18)、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する(ステップS20)。そして、その検出した画像範囲をメインボードのCPU78に通知する。
CPU78は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているAF枠の範囲と相違しているか否かを判定する(ステップS22)。尚、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でYESと判定される。
ステップS22においてYESと判定した場合には、ステップS20において検出した画像範囲を新たなAF枠の範囲として設定(更新)し、そのAF枠の範囲を示すAF枠情報をレンズ装置12のレンズCPUに送信する(ステップS24)。
また、パターンマッチング処理演算ボード72のCPU90は、ステップS22において検出した画像範囲の画像を新たな基準パターンの画像として更新する(ステップS26)。
ステップS22においてNOと判定した場合には、ステップS24におけるAF枠の更新は行わず、ステップS26における基準パターンの更新のみが行われる。
ステップS26の処理が終了すると、ステップS18の処理に戻る。
尚、操作者によりAF枠自動追尾の停止を指示する操作、例えば、LDC40の画面40aに表示されたリセットボタン310のタップ操作が行われると、AF枠自動追尾の処理を停止し、ステップS10に戻る。また、このとき、AFによるフォーカス制御も停止させるようにしてもよい。
顔検出追尾モードは、AF枠の自動追尾を行う1つのモードであり、任意の人物の顔をAF枠で追尾させるモードである。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。
図5のLCD40の画面40aにおいて顔検出追尾モード選択ボタン304をタップ操作すると顔検出追尾モードが選択され、画像処理ユニット58のメインボード70に搭載されたCPU78は、顔検出追尾モードの処理を開始する。また、この顔検出追尾モードが選択された場合、AF枠の範囲が人物の顔に合わせて自動的に設定されるため、LCD40の画面40aでは、図8に示すように図5のAF枠サイズ選択ボタン312が非表示となる。
図9は、顔検出追尾モードの処理手順を示したフローチャートであり、以下、顔検出追尾モードの処理をこのフローチャートに従って説明する。
メインボード70のCPU78は、顔検出追尾モードが選択されると、まず、追尾対象の顔を設定するための処理(AF枠の初期設定処理)を行う。即ち、CPU78は、顔認識処理演算ボード74のCPU92に対して顔検出処理の開始を指示する。これにより、まず、顔認識処理演算ボード74のCPU92は、デコーダ76から1コマ分の撮影画像の画像データを取り込む(ステップS30)。続いて、その撮影画像の中に含まれる任意の人物の顔(顔画像)を検出する周知の顔検出処理を行う(ステップS32)。そして、検出した顔画像の範囲をメインボード70のCPU78に通知する。尚、撮影画像内に複数の人物の顔画像が含まれる場合にはそれらの複数の顔画像の範囲を検出し、CPU78に通知する。
CPU78は、図8に示すように、検出された顔画像の範囲を顔枠204a、204b、204cとしてLCD40の画面40aに表示させる。そして、操作者が、それらの顔枠204a、204b、204cにより示された人物の顔のうち、追尾対象(AFの対象)とする顔をタップ操作によって選択(指定)すると、CPU78はその選択された顔を追尾対象とし、その追尾対象とした顔の顔枠をAF枠として設定する(ステップS34)。
尚、AF枠が設定される前の顔枠とAF枠とは異なる色で表示するようにし、例えば、顔枠を緑色、AF枠を赤色で表示するようにしてもよい。また、CPU78は操作者が選択した顔枠をAF枠として設定した場合には、LCD40の画面40aでの顔枠の表示をオフする。更に、顔枠が1つの場合には操作者が追尾対象を選択する操作を行うことなく自動的にその顔枠をAF枠として設定するようにしてもよい。
以上の追尾対象の顔を設定する処理(AF枠の初期設定処理)によりAF枠を設定した後、操作者が、AF枠自動追尾の開始を指示する操作を行うと、CPU78(及び顔認識処理演算ボード74のCPU92)は顔検出処理によるAF枠自動追尾の処理(ステップS38〜S46)を開始すると共に、このAF枠自動追尾の処理で決定されるAF枠の範囲をレンズ装置12のレンズCPUに指定する処理(AF枠情報の送信)を開始する(ステップS36)。
ここで、AF枠自動追尾の開始の指示は、物体追尾モードの場合と同様にセットボタン308のタップ操作や、AF枠の位置のダブルタップ操作等によって行うことができる。また、ステップS34において、追尾対象の顔とする顔枠を選択する際に(AF枠を設定する際に)、選択する顔枠をタップ操作する代わりにダブルタップ操作することによって、その顔枠をAF枠として設定すると同時にAF枠自動追尾の開始を指示することができる。ただし、任意の位置でのダブルタップ操作を単にAF枠自動追尾の開始を指示する操作とする態様も可能であり、その場合にはAF枠の設定とは無関係に任意の位置でダブルタップ操作を行ってAF枠自動追尾の開始を指示するものとなる。また、ステップS34においてAF枠を設定した際に、自動的にAF枠自動追尾の処理を開始するようにしてもよい。尚、物体追尾モードと同様にAF枠自動追尾の開始する際にAFによるフォーカス制御が行われていない場合(AFモードとなっていない場合)には、AF枠自動追尾の開始と連動してAFの開始も指示される。
AF枠自動追尾の処理を開始すると、顔認識処理演算ボード74のCPU92は、ステップS30及びステップS32の処理と同様にCPU78からの顔検出処理の実行の指示によりデコーダ76から1コマ分の撮影画像の画像データを取り込み(ステップS38)、その撮影画像の中に含まれる任意の人物の顔を検出する顔検出処理を行う(ステップS40)。そして、検出した顔画像の範囲をメインボード70のCPU78に通知する。
CPU78は、検出された顔画像の範囲のうち、現在設定されているAF枠の範囲に最も近接したものを追尾対象の顔画像の範囲として検出する(ステップS42)。尚、ステップS40において、顔を検出する範囲を撮影画像全体の範囲ではなく、現在設定されているAF枠の位置の周辺部分に制限してもよい。
続いてCPU78は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているAF枠の範囲と相違しているか否かを判定する(ステップS44)。尚、顔画像の大きさが変化した場合もこの判定処理でYESと判定される。
ステップS44においてYESと判定した場合には、ステップS42において検出した顔画像の範囲を新たなAF枠の範囲として設定(更新)、そのAF枠の範囲を示すAF枠情報をレンズ装置12のレンズCPUに送信する(ステップS46)。そして、ステップS38の処理に戻る。ステップS44においてNOと判定した場合には、ステップS46におけるAF枠の更新は行わず、ステップS38の処理に戻る。
尚、操作者によりAF枠自動追尾の停止を指示する操作、例えば、LDC40の画面40aに表示されたリセットボタン310のタップ操作が行われると、AF枠自動追尾の処理を停止し、ステップS30に戻る。また、このとき、AFによるフォーカス制御も停止させるようにしてもよい。AF枠自動追尾の処理を本フローチャートの処理が終了する。
また、ステップS40の顔検出処理において撮影画像の中に顔画像が全く検出されなかった場合や、ステップS42の追尾対象の顔画像の検出において、現在設定されているAF枠の範囲に対して最も近接した顔画像の範囲が、明らかに現在のAF枠の範囲との連続性がない場合(離れ過ぎる場合等)には追尾不能として上記と同様にAF枠自動追尾の処理を停止してステップS30に戻る。
顔認識追尾モードは、AF枠の自動追尾を行う1つのモードであり、事前に認証データとして登録した人物の顔をAF枠で追尾させるモードである。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。
図5のLCD40の画面40aにおいて顔認識追尾モード選択ボタン306をタップ操作すると顔認識追尾モードが選択され、画像処理ユニット58のメインボード70に搭載されたCPU78は、顔認識追尾モードの処理を開始する。また、顔認識追尾モードが選択された場合、AF枠の範囲が人物の顔に合わせて自動的に設定されるため、LCD40の画面40aでは、図10に示すように図5のAF枠サイズ選択ボタン312が非表示となり、これに代わって、後述のように顔認識に関連する登録顔画像表示部316(316a〜316c)や選択ボタン318a、318b、編集ボタン320が表示される。また、AF枠自動追尾の開始は、後述のように認証データとして登録した顔を検出すると自動的に行われるための図5のセットボタン308も非表示となる。
図11は、顔認識追尾モードの処理手順を示したフローチャートであり、以下、顔認識追尾モードの処理をこのフローチャートに従って説明する。
メインボード70のCPU78は、顔認識追尾モードが選択されると、まず、追尾対象の顔を設定するための処理(AF枠の初期設定処理)を行う。即ち、図2に示したスロット115に装填されたデータカード114には、追尾対象の候補となる1又は複数の人物の顔の認証データが登録されており、CPU78は、その認証データをデータカード114から読み込む。そして、顔認識処理演算ボード74のCPU92に対して顔認識処理の開始を指示する。ここで認証データは、例えば、一人について、日の当たり方の違う顔や正面や左あるいは右向きの顔などの異なる顔画像、両目の距離、目と鼻の距離やこれらの比率などの複数のデータから構成されている。
顔認識処理の開始が指示されると、顔認識処理演算ボード74のCPU92は、デコーダ76から1コマ分の撮影画像の画像データを取り込み(ステップS50)、その撮影画像の中に含まれる任意の顔(顔画像)を顔検出追尾モードと同様の顔検出処理により検出する。続いて、メインボード70のCPU78から認証データを取得し、顔検出処理により検出した顔画像が認証データとして事前に登録されている特定人物の顔画像であるか否かをその認証データを用いて判断する顔認識処理を実行する(ステップS52)。尚、この顔認識追尾モードにおいて行われる顔検出処理は顔認識処理の一部であるものとし、後述のステップS62の顔認識処理においても顔検出処理によって任意の顔画像を検出した後、認証データの顔との照合が行われる。
顔認識処理が終了すると、CPU92はその結果をメインボード70のCPU78に通知する。これにより、CPU78は、認証データとして登録されている特定人物の顔が検出された場合のその顔画像の範囲と、認証データとして登録されていない人物の顔が検出された場合のその顔画像の範囲とを取得する。
次にCPU78は、図10に示すように、LCD40の画面40a上において人物の顔が検出された顔画像の範囲に顔枠204a、204b、204cを表示する。ステップS52の顔認識処理により認証データとして登録されている人物の顔が検出された場合にはその顔枠に人物の名前も表示する。更に、上述のように認証データとして登録されている人物の顔画像を登録顔画像表示部316(316a〜316c)に表示する。
ここで、認証データとして登録されている顔の数に応じて登録顔画像表示部316に表示する顔画像の数も変更される。
操作者は、登録顔画像表示部316に表示されている顔画像の中から、追尾対象とする顔画像を、選択ボタン318a又は318bをタップ操作して選択する。上側の選択ボタン318aをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の1つ上側の顔画像に変更され、下側の選択ボタン318bをタップ操作する毎に、選択される顔画像が、現在選択されている顔画像の1つ下側の顔画像に変更される。尚、登録顔画像表示部316において現在選択されている顔画像は他の顔画像より拡大表示される(316b参照)。
このようにして認証データとして登録されている顔の中から操作者が追尾対象とする顔を選択すると、CPU78はその選択された顔を追尾対象の顔として設定する(ステップS54)。
尚、編集ボタン320をタップ操作すると、登録顔画像表示部316において表示する顔画像の順序を編集することができるようになっている。これによって、例えば、認証データとして登録した複数人物の顔を予め決められた順序で追尾対象として設定する場合に、その順序に従って登録顔画像表示部316において表示する顔画像の順序を設定しておけば、選択ボタン318a又は318bを1回ずつタップ操作することに予め決められた順序で追尾対象の顔を切り替えることができるようになっている。
以上のようにして追尾対象の顔を設定すると、続いて、CPU78は、その追尾対象の顔がステップS52において検出されているか否かを判定する(ステップS56)。NOと判定した場合にはステップS50の処理に戻り、上述の処理を繰り返す。即ち、追尾対処の顔がステップS52の顔認識処理によって撮影画像内で検出されるまで、ステップS50〜ステップS56の処理を繰り返す。
一方、ステップS56においてYESと判定した場合には、即ち、撮影画像内に追尾対象の顔が検出された場合にはその顔画像の範囲をAF枠の範囲として設定する(AF枠の初期設定処理)。そして、CPU78(及び顔認識処理演算ボード74のCPU92)は顔認識処理によるAF枠自動追尾の処理(ステップS60〜S66)を開始すると共に、このAF枠自動追尾の処理で決定されるAF枠の範囲をレンズ装置12のレンズCPUに指定する処理(AF枠情報の送信)を開始する(ステップS58)。
尚、物体追尾モードや顔検出追尾モードと同様にAF枠自動追尾の開始する際にAFによるフォーカス制御が行われていない場合(AFモードとなっていない場合)には、AF枠自動追尾の開始と連動してAFの開始も指示される。
AF枠自動追尾の処理を開始すると、顔認識処理演算ボード74のCPU92は、CPU78からの顔認識処理の実行の指示によりデコーダ76から1コマ分の撮影画像の画像データを取り込む(ステップS60)。また、ステップS54で選択された追尾対象の顔の認証データをCPU78から取得する。そして、ステップS52と同様の顔認識処理によって、追尾対象の顔の認証データを用いて撮影画像の中から追尾対象の顔を検出し、その顔画像の範囲をCPU78に通知する(ステップS62)。
続いてCPU78は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているAF枠の範囲と相違しているか否かを判定する(ステップS64)。尚、顔画像の大きさが変化した場合もこの判定処理でYESと判定される。
ステップS64においてYESと判定した場合には、ステップS62において検出した顔画像の範囲を新たなAF枠の範囲として設定(更新)し、そのAF枠の範囲を示すAF枠情報をレンズ装置12のレンズCPUに送信する(ステップS66)。そして、ステップS60の処理に戻る。ステップS64においてNOと判定した場合には、ステップS66におけるAF枠の更新は行わず、ステップS60の処理に戻る。
尚、操作者によりAF枠自動追尾の停止を指示する操作、例えば、LDC40の画面40aに表示されたリセットボタン310のタップ操作が行われると、AF枠自動追尾の処理を停止し、ステップS50に戻る。このとき、追尾対処の顔はいずれにも設定されていない状態とする。また、AF枠自動追尾の停止と共に、AFによるフォーカス制御も停止させるようにしてもよい。
また、AF枠自動追尾の処理中に、操作者が追尾対象の顔として上記選択ボタン318a、318bによって現在と異なる顔に変更した場合には、変更された新たな顔を追尾対象の顔として設定すると共に、AF枠自動追尾の処理を停止してステップS50に戻る。
更に、追尾対象の顔として設定されている人物が撮影範囲外に移動した場合のように、ステップS62の顔認識処理において撮影画像の中に追尾対象の顔が検出されなくなった場合には、追尾不能と判断してAF枠自動追尾の処理を自動で停止し、ステップS50に戻る。
以上、上記実施の形態では、AF枠自動追尾の制御モードとして物体追尾モード、顔検出追尾モード、顔認識追尾モードの3つのモードの中から所望のモードを選択できるようにしたが、いずれか2つのモードのみを選択できるようにしてもよい。
1…AF枠自動追尾システム、10…テレビカメラ、12…レンズ装置、14…カメラ本体、26…フォーカスデマンド、36…ビューファインダ、40…タッチパネル付き液晶ディスプレイ(LCD)、50…フォーカス操作部、58…画像処理ユニット、60…AF枠操作部、66…AFユニット、68…ダウンコンバータ、70…メインボード、72…パターンマッチング処理演算ボード、74…顔認識処理演算ボード、76…デコーダ、78、90、92…CPU、82…スーパーインポーザ、114…データカード、115…スロット、200…AFエリア、204…AF枠、300…固定モード選択ボタン、302…物体追尾モード選択ボタン、304…顔検出追尾モード選択ボタン、306…顔認識追尾モード選択ボタン、308…セットボタン、310…リセットボタン、312…AF枠サイズ選択ボタン、312a…小ボタン、312b…中ボタン、312c…大ボタン、314…メニュー表示オン/オフボタン、316…登録顔画像表示部、318a、318b…選択ボタン、320…編集ボタン
Claims (3)
- 光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のAF枠の範囲の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、所定の追尾対象の被写体にピントが合うように前記AF枠を前記追尾対象の被写体に自動追尾させるAF枠自動追尾手段と、を備えたAF枠自動追尾システムにおいて、
画像表示画面に前記撮像手段により撮像された撮影画像を表示すると共に、該撮影画像に重畳させて現在設定されているAF枠の範囲を表示する表示手段と、
前記表示手段の画像表示画面に対する操作者のタッチ操作を検出するタッチ操作検出手段と、
所定の追尾対象の被写体にピントが合うように前記AF枠を前記追尾対象の被写体に自動追尾させるAF枠自動追尾手段と、
を備え、
前記AF枠自動追尾手段は、前記表示手段の画像表示画面に対するダブルタップ操作が前記タッチ操作検出手段により検出されると、AF枠の自動追尾を開始することを特徴とするAF枠自動追尾システム。 - 前記表示手段の画像表示画面に対するタップ操作が前記タッチ操作検出手段により検出されると、該タップ操作が行われた位置に前記AF枠の位置を変更するAF枠変更手段を備え、
前記表示手段の画像表示画面に対するダブルタップ操作が前記タッチ操作検出手段により検出された場合においても、前記AF枠変更手段は、前記ダブルタップ操作が行われた位置に前記AF枠の位置を変更すると共に、該変更した位置の被写体を追尾対象として前記AF枠自動追尾手段が前記AF枠の自動追尾を開始することを特徴とする請求項1のAF枠自動追尾システム。 - 前記AF枠自動追尾手段は、前記表示手段により前記画像表示画面に前記AF枠の自動追尾を開始するための追尾開始ボタンを表示させ、前記タッチ操作検出手段により前記追尾開始ボタンがタップ操作された場合においても前記AF枠の自動追尾を開始することを特徴とする請求項1又は2のAF枠自動追尾システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008294515A JP2010122365A (ja) | 2008-11-18 | 2008-11-18 | Af枠自動追尾システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008294515A JP2010122365A (ja) | 2008-11-18 | 2008-11-18 | Af枠自動追尾システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010122365A true JP2010122365A (ja) | 2010-06-03 |
Family
ID=42323777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008294515A Pending JP2010122365A (ja) | 2008-11-18 | 2008-11-18 | Af枠自動追尾システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010122365A (ja) |
-
2008
- 2008-11-18 JP JP2008294515A patent/JP2010122365A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5473551B2 (ja) | オートフォーカスシステム | |
JP2010124120A (ja) | オートフォーカスシステム | |
JP2011027847A (ja) | Af枠自動追尾システム | |
JP2005215040A (ja) | オートフォーカスシステム | |
WO2012099175A1 (ja) | オートフォーカスシステム | |
JP2010141767A (ja) | 撮像装置 | |
JP2010096962A (ja) | Af枠自動追尾機能を備えたオートフォーカスシステム | |
JP5455361B2 (ja) | オートフォーカスシステム | |
EP2187623A1 (en) | Autofocus system | |
JP5384172B2 (ja) | オートフォーカスシステム | |
JP2006058431A (ja) | オートフォーカスシステム | |
JP5081133B2 (ja) | オートフォーカスシステム | |
JP2010085530A (ja) | オートフォーカスシステム | |
JP2011022203A (ja) | Af枠自動追尾システムおよびaf枠自動追尾方法 | |
JP5328616B2 (ja) | Af枠自動追尾システム | |
JP5276538B2 (ja) | Af枠自動追尾システム | |
JP2010230871A (ja) | オートフォーカスシステム | |
JP2010164637A (ja) | Af枠自動追尾システム | |
JP2018037807A (ja) | 撮像装置、制御方法、プログラム、及び記憶媒体 | |
WO2012099174A1 (ja) | オートフォーカスシステム | |
JP2010224499A (ja) | オートフォーカスシステム | |
JP2010122366A (ja) | オートフォーカスシステム | |
JP2011022499A (ja) | オートフォーカスシステム | |
EP2187625B1 (en) | Autofocus system | |
JP2010122365A (ja) | Af枠自動追尾システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100618 |