以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
図1は、本発明に係るオートフォーカスシステムが適用される撮像システムの全体構成を示したブロック図である。同図に示す撮像システムは、例えば放送用テレビカメラでの撮影に用いられる撮像システムであり、同図にはレンズ交換可能なカメラヘッド10、カメラヘッド10のレンズマウントに装着される撮影レンズ(光学系)を備えたレンズ装置12、操作部14を含む追尾装置16等が示されている。
カメラヘッド10には、撮像素子(例えばCCD)や所要の信号処理回路等が搭載されており、レンズ装置12の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施される。信号処理回路によって生成される所定形式の映像信号は、カメラヘッド10の映像信号出力端子等から外部機器に出力される。
また、カメラヘッド10には、ビューファインダ(モニタ)18が設定されており、そのビューファインダ18にカメラヘッド10の撮像素子により現在撮影されているリアルタイムの映像(撮影映像)等が構図の確認等のために表示されるようになっている。即ち、カメラヘッド10からは撮像素子で現在撮影されている撮影映像の映像信号が出力され、その映像信号が、追尾装置16の後述する映像合成部36を介してビューファインダ18に入力され、現在撮影されているリアルタイムの映像としてビューファインダ18の画面に表示されるようになっている。尚、ビューファインダ18は、カメラヘッド10以外の任意の場所に設定、又は、配置されたものであってもよい。
レンズ装置12は、カメラヘッド10のレンズマウントに装着される図示しない撮影レンズ(光学系)を備えており、その撮影レンズにより被写体がカメラヘッド10の撮像素子の撮像面に結像される。撮影レンズには、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、図示しないモータ(サーボ機構)によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス(被写体距離)調整が行われ、ズームレンズ群が移動することによって焦点距離(ズーム倍率)調整が行われる。尚、オートフォーカスのみの制御に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段(レンズ装置12に接続されるコントローラの操作手段等)から操作者の操作に従って出力されるコントロール信号に基づいて可動部の動作が制御されるが詳細は省略する。
また、同図に示すように、レンズ装置12には、レンズ装置12全体を統括制御するレンズCPU20、オートフォーカス(AF)処理を実行するAF処理部22、AF用撮像回路24等が搭載されている。AF用撮像回路24は、AF処理用の映像信号を取得するためにレンズ装置12に配置されており、撮像素子(CCD等)や撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、AF用撮像回路24の撮像素子をAF用撮像素子という。また、AF用撮像回路24から出力される映像信号は輝度信号とする。AF用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラヘッド10の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。AF用撮像素子の撮像エリアに対する撮影範囲及び被写体距離(ピントが合う被写体の距離)は、カメラヘッド10の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、AF用撮像素子により取り込まれる被写体画像は、カメラヘッド10の撮像素子により取り込まれる被写体画像と略一致している。尚、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、AF用撮像素子の撮影範囲の方がカメラヘッド10の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
AF処理部22は、AF用撮像回路24から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、AF用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち、AFの対象範囲であるAFエリア(AFによりピントを合わせる対象とする被写体範囲)に対応する範囲の信号を1画面(1フレーム)分ずつ積算する。このようにして1画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズCPU20に与えられる。尚、AFエリアの範囲は後述のようにレンズCPU20により指定される。
レンズCPU20は、詳細を後述するようにAFエリアの範囲(輪郭)を示すAF枠の情報(AF枠情報)を追尾装置16の操作部14から取得してそのAF枠情報により指定されたAF枠内の範囲をAFエリアとしてAF処理部22に指定する。図2にAFエリア(AF枠)の一例が示されており、撮影範囲内において四角形状のAFエリアが設定され、その輪郭がAF枠に相当する。レンズCPU20は、このようなAFエリアをAF処理部22に指定し、そのAFエリア内の画像(映像信号)により求められる焦点評価値をAF処理部22から取得する。このようにしてAF用撮像回路24から1画面分の映像信号が取得されるごとに(AF処理部22で焦点評価値が求められるごとに)AF処理部22から焦点評価値を取得すると共に、取得した焦点評価値が最大(極大)、即ち、AFエリアの被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、AFエリア内の被写体に自動でピントが合わせられる。
尚、本実施の形態では、上記のようにAF処理部22において、被写体画像のコントラストを検出するための映像信号をレンズ装置12に搭載されたAF用撮像回路24から取得するようにしているが、カメラヘッド10の撮像素子により撮影されて得られた映像信号をカメラヘッド10から取得してもよい。また、AFの方式も、上記のようなコントラスト方式に限らない。
追尾装置16は、所定の被写体(人物の顔等)がAFエリア内となるように、その被写体を画面上で追尾するための装置であり、操作部14、画像処理部26、画像入力部28、追尾処理部30、パターンデータ記憶部32、枠情報生成部34及び映像合成部36などを備えている。
追尾装置16では、基本的な処理として、レンズ装置12のAF処理部22で使用するAFエリア(AF枠)を設定(決定)するAFエリア設定処理と、追尾対象とした物体を自動追尾する自動追尾処理と、撮影映像中の人物の顔画像を認識(検出)すると共に、認識した顔画像の個人を特定する人物特定処理、人物特定処理により特定する人物の顔画像のパターンを登録するパターン登録処理、ビューファインダ18に撮影映像と共にAF枠や追尾枠(顔枠)を表示させる枠表示処理等が行われ、これらの処理は追尾処理部30により統括的に行われるようになっている。
AFエリア設定処理は、AFエリア(AF枠)の範囲(位置、大きさ、形状)を設定し、設定したAFエリアの範囲を示すAF枠情報をレンズ装置12のレンズCPU20に送信する処理であり、これによってレンズCPU20によりAF処理部22において使用するAFエリアがAF枠情報に従って設定される。
後述のように自動追尾の実行時(自動追尾のオン時)には、追尾処理部30により自動追尾処理が実行され、AFの対象とする追尾対象の位置に応じてAFエリアの位置等が変更、設定される。そして、追尾処理部30により設定されたAFエリアの範囲を示すAF枠情報が、操作部14を介してレンズ装置12のレンズCPU20に送信される。
一方、自動追尾の非実行時(自動追尾のオフ時)には、操作者が操作部14によりAFエリアの範囲を変更する操作を行わない限りAFエリアの範囲は固定される。例えば、初期状態では、画面(撮影範囲)の中央に所定の大きさの四角形の領域としてAFエリアが設定される。
操作者が操作部14のAFエリア設定用の操作部材を操作した場合には、そのマニュアル操作に従ってAFエリアの範囲が変更される。但し、本実施の形態では操作者はAFエリアの位置のみを変更できるものとする。操作部14には、トラックボール14aが設けられており、操作者がこのトラックボール14aを操作すると、現在のAFエリアの位置に対してその操作方向及び操作量に応じた移動方向及び移動量だけ移動させた新たなAFエリアの位置が求められる。そして、その位置に変更されたAFエリアの範囲を示すAF枠情報がレンズ装置12のレンズCPU20に送信され、トラックボール14aの操作に従ってAFエリアの位置が設定される。
尚、自動追尾がオンの状態のときであっても操作部14によりAFエリアの範囲を変更するマニュアル操作が行われた場合には、そのマニュアル操作によるAFエリアの変更が、追尾処理部30における自動追尾によるAFエリアの変更よりも優先されるようになっている。
また、操作部14には、図示していないが、各操作部材の操作を検出する検出回路(センサ、スイッチ等)の他にそれらの検出回路の出力信号に基づいてAF枠情報等の必要な情報を生成してレンズ装置12や追尾処理部30に出力する簡易な処理部を備えているが、必ずしもそのような処理部を設ける必要はない。即ち、操作部14の処理部で行われる処理は、操作部14の検出回路の出力を取得した追尾処理部30で全て行い、追尾処理部30からレンズCPU20に必要な情報(AF枠情報等)を直接送信するようにしてもよい。又は、追尾処理部30とレンズCPU20の各々において自己の処理に必要な出力信号を操作部14の検出回路から直接取得するようにしてもよい。
更に、操作部14は、追尾装置16に含まれる構成要素であるが、追尾装置16とは別体の装置とし、ケーブルなどで追尾装置16に接続するようにしてもよい。
自動追尾処理は、自動追尾がオンの状態のときに、追尾対象(後述)として設定された物体を画面上で自動追尾する処理である。追尾処理を開始する前の段階では、追尾対象とする物体の画像領域、又は、追尾対象とする物体の画像含む画像領域が決められており、例えば、後述の人物特定処理において検出された人物の顔の画像領域やAFエリアの画像領域等がこれに相当する。自動追尾の方法は周知であるため詳細な説明は省略するが、追尾処理部30は、自動追尾処理を実行する際に、レンズ装置12のAF用撮像回路24で順次撮影されるフレーム画像(撮影画像)をAF処理部22及び追尾装置16の画像入力部28を介して画像処理部26に順次取り込む。そして、自動追尾を開始した初期のフレーム画像から順次、追尾対象とする物体の画像領域を検出してその画像内での位置を追尾する。画像内に複数の追尾対象が存在している場合であっても各々追尾可能である。
人物特定処理は、撮影画像に含まれる人物の顔(顔画像)を顔認識処理により認識(検出)すると共に、認識した顔の個人を特定する処理である。本実施の形態では、自動追尾の種類(モード)として、エリア自動追尾モードと顔認識自動追尾モードとがあり、エリア自動追尾モードは、現在設定されているAFエリア内の任意の物体をAFの対象として追尾する追尾対象とし、顔認識自動追尾モードは、撮影画像内に含まれる特定の人物の顔をAFの対象として追尾する追尾対象とする。尚、エリア自動追尾モードは、操作部14の図示しないエリア自動追尾スイッチがオンされたときに実行され、顔認識自動追尾モードは、操作部14の顔認識自動追尾スイッチがオンされたときに実行される。
人物特定処理は、顔認識自動追尾モードにおいて行われる処理であり、顔認識自動追尾モードがオンされると、追尾処理部30は、レンズ装置12のAF用撮像回路24で順次撮影されるフレーム画像をAF処理部22及び追尾装置16の画像入力部28を介して画像処理部26に順次取り込む処理を開始する。そして、画像処理部26に取り込んだ初期のフレーム画像に対して、周知の顔認識処理を行いフレーム画像内に含まれる人物の顔(顔画像)を検出する。例えば、人物の顔の一般的な形状、色に基づいて顔画像が検出される。
顔認識処理により顔画像を検出すると、続いて周知の顔認証処理により、検出した顔画像の個人を特定する。例えば、特定する個人の顔のパターンデータが事前にパターンデータ記憶部32に登録されており、顔認識処理により検出された顔画像がパターンデータ記憶部32に登録されているパターンデータに一致すればそのパターンデータの顔の人物として特定される。本実施の形態では、パターンデータ記憶部32には複数の人物の顔のパターンデータを登録させておくことができ、いずれかの人物のパターンデータに一致すれば、その顔画像の人物が特定される。
このように人物特定処理により撮影画像内に特定の人物の顔画像が特定された場合には、その顔画像がAFの対象として自動追尾する追尾対象に設定される。複数の人物の顔画像が特定された場合には、AFの対象として自動追尾する顔画像がいずれか一人の人物のものに選出される。例えば、パターンデータ記憶部32に複数の人物のパターンデータを記憶した場合には、それらの人物の二人以上の顔画像が同時に撮影映像内に存在した場合に、どの人物の顔画像をAFの対象として選出するかの優先順位を予め決めておくようにしてもよいし、操作者が所定の操作により指定するようにしてもよい。
パターン登録処理は、上記のように人物特定処理により特定する個人の顔画像のパターンを事前にパターンデータとして登録する処理であり、操作者が顔認識自動追尾モードを実行する前に少なくとも一人の人物の顔画像のパターンを登録しておくために、操作部14のパターン登録モードスイッチをオンしてパターン登録モードをオンにすると実行される。
パターン登録モードがオンされると、追尾処理部30は、レンズ装置12のAF用撮像回路24で順次撮影されるフレーム画像をAF処理部22及び追尾装置16の画像入力部28を介して画像処理部26に順次取り込む処理を開始する。そして、画像処理部26に取り込んだ初期のフレーム画像に対して、周知の顔認識処理を行いフレーム画像内に含まれる人物の顔画像を検出する。検出された顔画像は、後述の枠表示処理によりビューファインダ18に撮影映像と共に撮影映像に重畳表示される枠(顔枠)表示によって操作者が認識できるようになっている。
操作者は、検出された顔画像が複数存在する場合には、登録したい顔画像を選択する。例えば、初期の段階ではいずれかの顔画像が選択されている状態にある。このとき、ビューファインダ18では顔枠の色の違い等によって選択されている顔画像と選択されていない他の顔画像とが識別可能となっている。操作者は、現在選択されている顔画像に対して、例えば登録したい顔画像の方向に操作部14のトラックボール14aを操作すると、選択される顔画像をその登録したい顔画像に変更することができる。尚、カメラの撮影方向を変更して選択したい顔画像をAFエリアに合わせる(選択したい顔枠をAFエリアに重ねる)ことによって所望の顔画像を選択できるようにしてもよい。また、撮影本番時でなければ、撮影画角を自由に変更することが可能であるため、カメラをパン/チルト操作すると共にズーム操作を行って、所望の顔画像のみが撮影画像内に含まれるようにすることによって所望の顔画像のみを選択できるようにしてもよい。尚、初めから登録したい人物の顔画像のみを撮影した状態でパターン登録モードをオンすれば、上記のような登録する顔画像の選択という作業は不要となる。
このようにして、登録する人物の顔画像が選択されると、追尾処理部30は、その顔画像のパターンデータをサンプリングする。このとき、登録する一人の人物に対して複数のパターンデータを登録しておくことが可能となっており、操作者は、登録する人物の顔画像を撮影しながら、その人物が顔の向きを変えるなどして、必要な方向から顔を撮影したときの顔画像のパターンデータがサンプリングできたと判断した場合に所定の操作によりサンプリングを終了させる。これによって、登録する人物の顔画像を立体的に撮影したときのパターンデータが得られる。このようにしてサンプリングしたパターンデータは、その人物を識別する名称と共にパターンデータ記憶部32に登録される。
操作部14には、図1に示されている複数の押しボタン式のスイッチ14bが設けられており、例えば、パターン登録モードをオンにする際等に、複数のスイッチ14bのいずれかをオンして、パターンデータを登録する人物に対応付けるスイッチを指定しておくことによって、そのオンしたスイッチに一人の人物を対応させてパターンデータを登録することができるようになっている。そして、上記顔認識追尾モードにおいて、パターンデータが登録された人物のうちどの人物の顔をAFの対象として追尾するかを、その人物に対応させたスイッチをオンすることによって選択できるようになっている。尚、パターンデータが登録された順に、登録した人物とスイッチ14bとの対応付けを自動的に行うようにしてもよい。
また、パターンデータを登録する際には、登録した人物の名称などの情報を登録でき、そのデータもパターンデータと共にパターンデータ記憶部32に登録されるようになっている。名称などの入力は、パソコン等の文字入力装置を備えた装置を追尾装置16に接続して、その装置で入力された情報を取り込むようにしてもよいし、操作部14に文字入力装置を設けるか又は接続できるようにし、その文字入力装置から入力できるようにしてもよい。
枠表示処理は、ビューファインダ18に撮影映像に重畳させてAF枠や追尾枠(顔枠)等の枠画像を表示する処理である。追尾処理部30は、撮影映像上でのAF枠や追尾対象を囲む四角形状の枠の位置や大きさを決定すると、その情報を枠情報生成部34に与え、それらの枠の画像を生成させる。尚、単に枠の画像のみでなく、枠の色や、枠に付随する文字情報なども追尾処理部30の指示によって生成される。枠情報生成部34により生成された枠の画像は映像合成部36に与えられる。映像合成部36にはカメラヘッド10の撮像素子により現在撮影されている撮影映像の映像信号が入力されており、映像合成部36は、その撮影映像と枠情報生成部34から与えられた枠の画像を合成した映像信号を生成し、ビューファインダ18に出力する。これにより、ビューファインダ18には撮影映像に重畳してAF枠や追尾枠(顔枠)等の画像が対応する位置に表示される。
また、顔枠に対して例えば「FUJI#1」のような名称の表示、及び画面下の方にAF駆動中である旨を示す表示などが行われる。
次に、図1に示したオートフォーカスシステムの基本的な処理手順(第1の実施の形態)について図3のフローチャートを用いて説明する。
レンズ装置12のレンズCPU20及び追尾装置16の追尾処理部30は、電源が投入されると、まず、初期設定を行う(ステップS100)。続いて、追尾処理部30は、顔認識自動追尾スイッチがオンされたか否か判定する(ステップS102)。顔認識自動追尾スイッチがオンされた場合には顔認識自動追尾モードの処理が実行されるが、このときの処理手順については後述する。
ステップS102において、NOと判定した場合には、続いて、パターン登録モードスイッチがオンされたか否かを判定する(ステップS104)。パターン登録モードスイッチがオンされた場合にはパターンデータの登録処理(パターン登録処理)が行われるが、このときの処理手順については後述する。
ステップS104において、NOと判定した場合には、エリア手動設定の処理を実行する(ステップS106)。即ち、操作者が操作部14のトラックボール14aを操作すると、その操作に従ってAFエリアの範囲が設定される。
次に、エリア自動追尾スイッチがオンされたか否かを判定する(ステップS108)。YESと判定した場合には、追尾処理部30は、上記のようにエリア自動追尾モードにおける自動追尾処理を開始し(ステップS110)、ステップS300に移行する。即ち、追尾処理部30は、エリア自動追尾スイッチがオンされたときのAFエリア内の被写体を追尾対象とし、AFエリアの位置をその追尾対象の位置に合わせて変更する。ステップS108において、NOと判定した場合には、自動追尾処理をオフ(停止)させ(ステップS112)、ステップS300に移行する。
続いて、ステップS300に移行すると、レンズCPU20は、AFのオン/オフを判定する。この判定処理は、図示を省略するAFの開始及び終了を指示するAFスイッチのオン/オフに基づいて判定される。
ステップS300において、YESと判定した場合には、AF処理を行う(ステップS132)。これにより、上で設定されたAFエリア内の被写体に対して焦点が合うようにフォーカスレンズが自動的に制御される。
ステップS300において、NOと判定した場合には、操作者が手動で行うフォーカス操作に従ってフォーカス制御を行う(ステップS134)。以上のステップS132又はステップS134の処理が終了すると、ステップS102に戻る。
一方、上記ステップS104において、YES、即ち、パターン登録モードスイッチがオンされ、パターン登録モードであると判定した場合、追尾処理部39は上記パターン登録処理を、下記の手順で実行する。
まず、追尾装置16の追尾処理部30は、レンズ装置12のAF用撮像回路24で順次撮影されるフレーム画像の画像処理部26への取込みを開始する(ステップS114)。続いて追尾処理部30は、画像処理部26に取り込まれた画像に対して顔認識処理を実行し、画像内に含まれる人物の顔画像を認識(検出)する(ステップS116)。尚、画像内に複数の顔画像が存在する場合でも1つの顔画像を認識した時点で次のステップS118に移行する。また、追尾処理部30は、顔画像を検出すると、上記枠表示処理によりビューファインダ18に表示される撮影映像に、認識した顔画像の顔枠を重畳表示する。
次に、追尾処理部30は、ステップS116において認識した顔画像を追尾対象として、自動追尾処理を開始する(ステップ118)。ビューファインダ18の顔枠も顔画像の移動に合わせて変更する。
次いで、顔認識処理を終了するか否かを判定する(ステップS120)。例えば、ステップS116の顔認識処理において新たに検出される顔画像がない場合には顔認識の処理を終了する。
ステップS120において、NOと判定した場合には、ステップS116に戻り、顔認識処理を繰り返す。
ステップS120において、YESと判定した場合には、ステップS116において認識された顔画像の中から、操作者が登録したい顔画像を選択する(ステップS122)。
次に、追尾処理部30は、登録する顔画像として選択された顔画像のパターンデータのサンプリングを行う(ステップS124)。サンプリングしたパターンデータは、パターンデータ記憶部32のデータベースに登録(記憶)される。
続いて、選択された顔画像を追尾するための自動追尾処理を開始する(ステップS126)。そして、サンプリングを終了するか否かを判定する(ステップS128)。サンブリングを終了するか否かは、例えば操作者が所定のスイッチにより指示できるようになっている。
ここで、NOと判定した場合には、ステップS124の処理に戻り、サンプリングを継続する。即ち、登録する人物の顔を、できるだけ多くの方向(角度)から撮影したときのパターンデータが得られるまでパターンデータのサンプリングを繰り返す。従って、一人の人物に対して複数のパターンデータがパターンデータ記憶部32のデータベースに登録される。
ステップS128において、YESと判定した場合、登録した顔画像の人物を識別するための名称(名前及びNo.など)を登録する(ステップS130)。名称の登録を行っておくと、顔認識追尾モードにおいて、登録した顔画像が検出された場合に、図1に示すようにビューファインダ18の表示画面にその顔画像の顔枠に「FUJI#1」のような名称を表示することができる。
以上のパターン登録処理が終了すると、追尾処理部30は、パターン登録モードをオフに切り替える(ステップS132)。そして、パターンデータを登録した顔画像を含むようにAFエリアを設定し、その顔画像をAFの対象として自動追尾するための自動追尾処理を開始する(ステップS134)。即ち、登録した顔画像を追尾対象として自動追尾すると共にその顔画像の移動に合わせてAFエリアを変更する。尚、顔枠をAFエリアとしてもよい。ステップS134の自動追尾処理の開始後、ステップS300に移行する。
上記ステップS102において、YES、即ち、顔認識自動追尾スイッチがオンされたと判定した場合には、顔認識自動追尾モードの処理を以下のような手順で実行する。
まず、追尾装置16の追尾処理部30は、レンズ装置12のAF用撮像回路24で順次撮影されるフレーム画像の画像処理部26への取込みを開始する(ステップS136)。続いて追尾処理部30は、画像処理部26に取り込まれた画像に対して顔認識処理を実行し、画像内に含まれる人物の顔画像を認識(検出)する(ステップS138)。尚、画像内に複数の顔画像が存在する場合でも1つの顔画像を認識した時点で次のステップS140に移行する。また、追尾処理部30は、顔画像を検出すると、上記枠表示処理によりビューファインダ18に表示される撮影映像に、認識した顔画像の顔枠を重畳表示する。
次に、ステップ138で認識した人物の顔画像のパターンをサンプリングし、パターンデータ記憶部32のデータベースに記憶されたパターンデータの中から同一のパターンを検索する(ステップS140)。
続いて、ビューファインダ18において、検出された顔画像に対して名称を表示するか否かを判定する(ステップS142)。名称を表示するか否かは、例えば、所定のスイッチのオン/オフによって操作者が指定できるようになっている。
ステップS142において、NOと判定した場合には、ステップS150に移行し、YESと判定した場合には、続いて、ステップS140における検索において、データベースに登録されたパターンデータの中に、検出された顔画像と同一のパターンが発見されたか否かを判定する(ステップS144)。
ステップS144において、YESと判定した場合には、そのパターンデータに対応して登録されていた名称を、例えば「FUJI#1」などを、検出された顔画像に対応させてビューファインダ18に表示させる(ステップS146)。ステップS144において、NOと判定した場合には、「??」の文字を検出された顔画像に対応させてビューファインダ18に表示させる(ステップ148)。これにより操作者は、ビューファインダ18に表示されている各顔画像がパターン登録されているか否かを簡単に確認することができる。
ステップS146又はステップS148の処理が終了すると、又は、ステップS142においてNOと判定した場合、ステップS138において検出した顔画像を自動追尾する自動追尾処理を開始する(ステップS150)。このとき、ビューファインダ18において撮影画像に重畳表示する顔枠の位置も自動追尾処理によって検出した顔画像の位置に合わせて移動させる。
ステップS150の処理が終了すると、次に、画像内に含まれる全ての顔画像に対して上記処理が終了したか否かを判定する(ステップS152)。ステップS138の顔認識処理において新たな顔画像が検出されなかった場合には、このステップS152の判定処理において、YESと判定され、そうでなければNOと判定されてステップS138に戻り、顔認識処理から繰り返し実行する。
ステップS152において、YESと判定した場合には、次に、上記ステップS136〜S152の処理において検出された顔画像のうち、パターンデータが登録されている顔画像が1つ以上発見されたか否かを判定する(ステップS154)。
このステップS154において、NOと判定した場合にはレンズ装置12におけるAF処理をオフにして(ステップS156)、ステップS300に移行する。
一方、ステップS154において、YESと判定した場合には、プリセットがオンされているか否かを判定する(ステップS158)。即ち、操作部14のスイッチ14bのうち、パターンデータが登録された人物に対応付けされたいずれかのスイッチがオンされているか否かを判定する。
ステップS158において、NOと判定した場合には、予め決められた所定の規則にしたがって、AFの対象とする顔画像を選択する(ステップS160)。例えば、操作部14のスイッチ14bに番号を付しておき、パターンデータが登録された人物の顔画像が複数検出された場合には、対応付けされたスイッチ14bに番号が最も小さいものをAFの対象とする。パターンデータが登録された人物の顔画像が1つのみ検出された場合には、その顔画像をAFの対象として選択する。
次に、ステップS160において、AFの対象として選択した顔画像が、それまでAFの対象となっていた顔画像の人物と異なるか否かを判定する(ステップS162)。このとき、YESと判定した場合には、AFの対象とする顔画像を選択した顔画像に変更する(ステップS164)。即ち、尚、選択した顔画像の顔枠、又は、その顔画像を含む所定の大きさの枠をAF枠(AFエリア)として設定する。そして、レンズ装置12におけるAF処理をオンにし(ステップS166)、ステップS300に移行する。
ステップS162において、NOと判定した場合には、AFの対象を変更することなく、ステップS166に移行する。
上記ステップS158において、YESと判定した場合、即ち、操作部14のスイッチ14bのいずれかがオンされている場合、そのスイッチに対応する人物の顔画像が存在するか否かを判定する(ステップS168)。YESと判定した場合には、その人物の顔画像をAFの対象として選択し(ステップS170)、ステップS162に移行する。
ステップS168において、NOと判定した場合には、いずれの顔画像もAFの対象としないものとし(ステップS172)、レンズ装置12におけるAF処理をオフにした後(ステップS174)、ステップS300に移行する。
図4は、上記顔認識自動追尾モードを実施した結果、ビューファインダ118の画面に表示される画像の例を示す。図4に示すのは、サッカーの試合の映像を自動追尾している場合の画像であり、画面内の認識された顔画像に対してそれぞれ顔枠が例えば水色で表示されている。
また、パターンデータが登録されている顔画像には、その名称(名前及びNo.など)が顔枠の近くに表示される。図4の場合には、3人の顔画像が認識され、そのうち2人の顔画像はパターンデータが登録された人物の顔画像であることから、それらの人物の名称が顔画像(顔枠)に対してそれぞれ「XXXX#1」及び「YYYY#2」と表示されている。また、画面後方のカメラマンらしき人物の顔画像は、パターンデータが登録されていないため、その顔画像に対してはその名称が「#??」と表示され、これらの人物が登録されていないことが操作者にわかるようになっている。
尚、パターンデータが登録されていない顔画像に対しては未登録であることを示す情報であれば「#??」のような表示以外であってもよい。また、所定のスイッチによって、名称の表示を行うか否かを操作者が選択することができるようになっており、同図のように名称の表示がオンされた場合には、画面が見づらくなるため、名称の表示(未登録であること示す情報の表示も含む)をOFFして被写体を見やすくすることも可能である。
さらに、画面内に複数の人物の顔画像が検出されると、すべての顔画像に対して顔枠が表示されるため、AFの対象として追尾する追尾対象に設定されたのかが解りにくい。そこで、AFの対象として追尾する追尾対象に設定された顔画像の顔枠、即ち、AF枠は、例えば、水色で表示され、それ以外の顔枠は黄色で表示されるようになっている。但し、使用する色に関してはこれに限らない。また、他の方法によってAFの対象として追尾する追尾対象に設定された顔画像と、それ以外の顔画像とを識別可能にしてもよい。
また、AFの対象として追尾する追尾対象に設定された顔画像の顔枠をAF枠とするのではなく、顔枠とは別のAF枠を、AFの対象として追尾する追尾対象に設定された顔画像の顔枠の位置に合わせて設定し、ビューファインダ18に表示させるようにしてもよい。
次に、本発明に係るオートフォーカスシステムが適用される撮像システムの他の実施の形態について説明する。
図5は、本発明に係るオートフォーカスシステムが適用される撮像システムの他の構成例を示すブロック図である。
図5に示す撮像システムも前述した図1に示す撮像システムとその構成は略同様であり、図1に示す撮像システムと同一又は類似の構成要素には図1と同一符号を付しその説明は省略する。同図における追尾装置116は、図3のフローチャートで説明したような自動追尾機能を、ズーム及びフォーカスのプリセット機能と共に備えたもので、例えば、そのプリセット機能を備えたいわゆるショットボックスと呼ばれる装置に自動追尾機能を組み込んだ態様に相当する。
プリセット機能は、レンズ装置12におけるズーム及びフォーカスの位置を事前に登録しておくと、所定のスイッチ操作によって、任意の位置に設定されているズーム及びフォーカスの位置を、事前に登録した位置に再現することができる機能である。同図においては、このプリセット機能を実施するための構成は省略しているが、操作部114には、プリセット機能を実施するための構成が示されている。
同図における操作部114は、手動でAF枠の移動方向及び移動量を指定する操作部材としてトラックボール14aの代わりに十字キー114aを備えるとともに、ズーム(Z)及びフォーカス(F)のプリセット位置を登録及び再生し、又は、追尾対象(人物の顔画像)を登録及び選択をするためのショットスイッチ114bと、追尾対象の名称を登録する場合の確認用表示パネル114c、登録されたズーム(Z)及びフォーカス(F)のプリセット位置を示すインジケータ114dと、追尾装置116の機能(モード)を切り替えるスライドスイッチ114e、プリセット位置の登録や人物の顔のパターンデータの登録を指示するメモスイッチ114F等を有している。
本実施の形態の追尾装置116では、スライドスイッチ114eの設定位置を切り替えることにより、ズーム及びフォーカスのプリセットモード(Z+Fモード)、と、顔認識自動追尾モード(OBJモード)と、複合モード(Z+F+OBJモード)の3種類のモードを選択できるようになっている。
Z+Fモードは、ショットボックスとしての通常の機能であるズームとフォーカスのプリセット位置への再生を行うためのモードであり、OBJモードは、上記第1の実施の形態で説明した顔認識自動追尾モードの処理により特定の人物の顔画像をAFの対象として自動追尾するためのモードであり、複合モードは、Z+FモードとOBJモードを統合したモードであり、ズームとフォーカスのプリセット位置への再生を行うと共に、顔認識自動追尾モードの処理により特定の人物の顔画像をAFの対象として自動追尾するためのモードである。尚、Z+Fモードは、ズームとフォーカスのいずれか一方のみをプリセット位置に再生するモードであってもよい。
図6のフローチャートを用いて、追尾装置116における各モードに関する処理について説明する。尚、本フローチャートは追尾装置116において行われる処理の一部を示すもので、他の処理と共に繰り返し実行される処理である。
まず、メモスイッチ114Fがオンされたか否かが判定される(ステップS500)。YESと判定された場合には、スライドスイッチ114eがZ+Fモードに設定されているか否かが判定される(ステップS502)。ここでYESと判定された場合には、ズームとフォーカスのプリセット位置の登録処理が実行される(ステップS504)。即ち、図5の1〜4番までの4つのショットスイッチ114bのうち、操作者がいずれかのスイッチをオンすると、レンズ装置12における現在のズーム位置とフォーカス位置とが追尾装置116に読み取られ、それらのズーム位置とフォーカス位置とが、オンされたショットスイッチに対応付けされたプリセット位置として登録(記憶)される。登録されたプリセット位置は、そのプリセット位置が登録されたショットスイッチに対応する位置のインジケータ114dに表示されるようになっている。尚、ショットスイッチ114bを操作者がオンすることなく、1番から順に未登録のショットスイッチ114bに対応付けてプリセット位置を登録するようにしてもよい。ステップS504の処理が終了すると、ステップS520に移行する。
ステップS502において、NOと判定された場合、スライドスイッチ114eがOBJモードに設定されているか否かが判定される(ステップS506)。ここでYESと判定された場合には、特定の人物の顔画像のパターンデータを登録するパターン登録処理が実行される(ステップS508)。即ち、第1の実施の形態において図3のフローチャートのステップS114〜S132に示した処理が実行される。このとき1〜4番までのショットスイッチ114eの各々に異なる人物の顔画像のパターンデータを登録することができるが、どの番号のショットスイッチ114eに登録するかは、Z+Fモード時と同様に登録する番号のショットスイッチ114eを操作者がオンするようにしてもよいし、1番から順に未登録のショットスイッチ114eに登録するようにしてもよい。また、パターンデータを登録した人物を識別する名称も図示しない文字入力装置により登録可能であり、その名称が登録されたショットスイッチに対応する確認用表示パネル114cに表示されるようになっている。ステップS508の処理が終了すると、ステップS520に移行する。
ステップS506において、NOと判定された場合には、スライドスイッチ114eがZ+F+OBJモードに設定されている状態であり、まず、ステップS504と同様にズームとフォーカスのプリセット位置の登録処理が実行される(ステップS510)。続いて、ステップS508と同様にパターン登録処理が実行される(ステップS512)。
これによって、ズームとフォーカスのプリセット位置と、顔画像のパターンデータが登録される。これらのデータは、プリセット位置を登録する際に操作者がオンした番号のショットスイッチに対応づけて登録される。但し、ショットスイッチ114bを操作者がオンすることなく、1番から順に未登録のショットスイッチ114eに対応付けてプリセット位置及び顔画像のパターンデータを登録するようにしてもよい。また、登録されたプリセット位置はインジケータ114dに表示され、登録された人物の名称は確認用表示パネル114cに表示されるようになっている。ステップS512の処理が終了すると、ステップS520に移行する。
上記ステップS500において、NOと判定された場合、又は、上記ステップS504、S508、S512のいずれかが終了した場合、次に、ショットスイッチ114eのいずれかがオンされたか否かが判定される(ステップS520)。
この判定処理によりYESと判定された場合には、スライドスイッチ114eがZ+Fモードに設定されているか否かが判定される(ステップS522)。ここでYESと判定された場合には、レンズ装置12のズームとフォーカスを、オンされたショットスイッチに対応付けて登録されたプリセット位置に再生する処理が実行される(ステップS524)。ステップS524の処理が終了すると、本フローチャートの処理を終了し、他の処理に移行する。
ステップS522において、NOと判定された場合、スライドスイッチ114eがOBJモードに設定されているか否かが判定される(ステップS526)。ここでYESと判定された場合には、図3のステップ136〜ステップS174に示したような顔認識自動追尾モードの処理が実行され、オンされたショットスイッチに対応付けて登録されたパターンデータに一致する顔画像がAFの対象として自動追尾する追尾対象に設定される(ステップS528)。そして、レンズ装置12においてAF処理が実行される(ステップS530)。尚、図3のステップ136〜ステップS174では、撮影映像内に含まれる全ての顔画像を検出し、検出された顔画像を、パターンデータが登録された全ての人物の顔画像と照合して顔枠や名称等を表示するようにしているが、本実施の形態では、ショットデータに対応付けて登録された人物の顔画像のみを検出し、その顔画像をAFの対象として追尾する追尾対象に設定すればよい。ステップS530の処理が終了すると、本フローチャートの処理を終了し、他の処理に移行する。
ステップS526において、NOと判定された場合には、スライドスイッチ114eがZ+F+OBJモードに設定されている状態であり、まず、ステップS524と同様にレンズ装置12のズームとフォーカスを、オンされたショットスイッチに対応付けて登録されたプリセット位置に再生する処理が実行される(ステップS532)。続いて、ステップS528と同様に顔認識自動追尾モードの処理が実行され、オンされたショットスイッチに対応付けて登録されたパターンデータに一致する顔画像がAFの対象として自動追尾する追尾対象に設定される(ステップS534)。そして、レンズ装置12においてAF処理が実行される(ステップS536)。ステップS536の処理が終了すると、本フローチャートの処理を終了し、他の処理に移行する。
尚、図5の操作部114は、ショットスイッチ114eが4つ設けられている場合(登録数が4つの場合)を示したが、ショットスイッチ114eは4つに限らない。
また、図5の追尾装置116は、スライドスイッチ114eの設定位置を切り替えることにより、Z+Fモードと、OBJモードと、Z+F+OBJモードの3種類のモードを選択できるようになっているが、これらのモードのうち、いずれか2つのモードのみを選択可能としてもよい。また、Z+F+OBJモードのみでもよい。
以上、上記実施の形態では人物の顔画像のパターンデータを登録し、顔認識自動追尾モードにおいて、登録した顔画像をAFの対象として自動追尾できるようにした場合について説明したが、顔画像以外の物体(被写体)であっても顔画像と同様にパターンデータを登録しておき、その物体を自動追尾することも可能である。例えば登録した物体と同じ種類の物体を、その種類の物体が共通に有する形状パターン、又は、色等に基づいて撮影画像の中から検出する。そして、検出した物体の中から、登録した物体をパターンデータに基づいて検出し、AFの対象として自動追尾することができる。
10…カメラヘッド、12…レンズ装置、14…操作部、14a…トラックボール、14b…スイッチ、16…追尾装置、18…ビューファインダ、20…レンズCPU、22…AF処理部、24…AF用撮像回路、26…画像処理部、28…画像入力部、30…追尾処理部、32…パターンデータ記憶部、34…枠情報生成部、36…映像合成部