JP2014039165A - 追尾機能付き撮影装置 - Google Patents

Abstract

【課題】 画像処理のみに基づいて被写体の位置検出を行うよりもより早く位置検出を行うことができ、また、画像処理による位置検出が困難な場合でも自動追尾することが可能な、追尾機能付き撮影装置を提供する。
【解決手段】 パン・チルト駆動手段を有し撮影映像内の特定の被写体を検出して追尾する機能を備える撮影装置は、撮影映像の画像処理から追尾対象を認識する第１認識手段と、測距センサの測距情報に基づき追尾対象を認識する第２認識手段と、第１認識手段または第２認識手段による被写体認識に基づき、追尾対象を撮影映像内の所定位置に表示して追尾するように、パン・チルト駆動手段を制御する制御手段とを備え、制御手段は、第１認識手段を第２認識手段による認識より優先して自動追尾制御を行い、第１認識手段による認識ができない場合は、第２認識手段による認識に基づいて自動追尾制御を行う。
【選択図】 図１

Description

本発明は、被写体の動きに追従して映像を撮影するための追尾機能付き撮影装置に関するものである。

特定の被写体を追従して撮影する所謂追尾撮影機能は、デジタルカメラにおける人物の撮影パラメータ最適化調整機能や、監視カメラにおける不審人物の自動追尾撮影用途などに使われている。対象被写体の検出には、映像信号を画像処理し被写体の特徴を抽出してテンプレート化し、撮影した画像とテンプレートとを照合することで、特定の被写体の画像内での位置を検出する手法が知られている。しかし、被写体のカメラに対する方向が変化したり、似ている被写体や背景が画面内に存在する場合に誤った位置を検出することがある。また、検出精度を上げるための照合処理に時間がかかってしまい速い被写体の動きに対応できないことがあった。

特許文献１では、予め追尾すべき被写体の色相のヒストグラムを作成しておき、自動追尾を開始した際に、映像信号に基づいて移動している被写体の位置を検出すると共に、追尾すべき被写体の色相と同一の被写体を選出し、カメラの撮影方向をその追尾すべき被写体の方向に移動させる手法が開示されている。

特開２００１−１６９１６９号公報

特許文献１に開示された従来技術は、映像信号を画像処理して所望の被写体に自動追尾するものであり、画像処理にかかる以上の時間で被写体が移動すると検出精度が下がってしまう。また同一画面上に移動する複数の同じ色相の被写体が存在した場合、どの被写体を追尾すべきかが判断できず、所望の被写体を適切に追尾することが出来ない。

本発明の目的は、画像処理のみに基づいて被写体の位置検出を行うよりもより早く被写体の位置検出を行うことができ、また、画像処理による追尾対象である被写体の位置検出が困難な場合でも自動追尾をすることが可能ならしめる、追尾機能付き撮影装置を提供することにある。

上記目的を達成するために、本発明の追尾機能付き撮影装置は、パン・チルト駆動手段を有し、撮影映像内の特定の被写体を検出して追尾する機能を備える撮影装置であって、撮影映像の画像処理によって追尾対象を被写体認識する第１の被写体認識手段と、測距センサによって得られた測距情報に基づき追尾対象を被写体認識する第２の被写体認識手段と、前記第１の被写体認識手段または前記第２の被写体認識手段による被写体認識に基づいて、追尾対象を撮影映像内の所定の位置に表示して追尾するように、前記パン・チルト駆動手段を制御する、制御手段と、を備え、前記制御手段は、前記第１の被写体認識手段による被写体認識を前記第２の被写体認識手段による被写体認識よりも優先して自動追尾制御を行い、前記第１の被写体認識手段による追尾対象の被写体認識ができない場合は、前記第２の被写体認識手段による被写体認識に基づいて自動追尾制御を行う、ことを特徴とする。

本発明によれば、画像処理のみに基づいて位置検出を行うよりもより精度良く且つ早く被写体の位置検出を行うことができ、また、画像処理による位置検出が困難な場合でも自動追尾することが可能な追尾機能付き撮影装置を提供することができる。

実施例１の追尾機能付き撮影装置を示す図である。 実施例１におけるカメラ装置の映像出力のモニター表示例である。 実施例１における多点測距センサで検出する全測距点と撮影画面との座標関係説明図である。 実施例１における顔検出機能を動作させたときのモニター表示例である。 実施例１における顔検出領域を多点測距センサで測距する例である。 枠線内を測距して重心位置を計算する場合の座標説明図である。 実施例１において、追尾対象が移動する場合の追尾動作説明図である。 実施例１においての動作フローチャートである。 実施例２の追尾機能付き撮影装置を示す図である。 実施例２における多点測距センサで検出する全測距点と撮影画面との座標関係説明図である。 実施例２においての動作フローチャートである。 実施例２において、追尾対象が撮影画面外に移動する場合の追尾動作説明図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の追尾機能付き撮影装置の第１の実施例における全体構成図である。

図１に示すように、本発明の追尾機能付き撮影装置は、カメラ装置１、カメラ装置１で撮像された映像を表示する映像モニター１０、カメラ装置１を遠隔操作する遠隔操作器１２、カメラ装置１をパン／チルト駆動するパン／チルト駆動部１３から構成される。

カメラ装置１は、光学系２、光学系２から入射した撮影光束を分岐する分岐光学系３、分岐光学系３で分岐された撮影光束の一方を不図示の瞳分割光学系で２系統の光束を受光する多点測距センサ４を有し、多点測距センサ４で得られた２系統の結像信号から位相差方式などの技術によりパッシブ測距を撮影範囲の複数の位置にて行う。多点測距センサ４で得られた各画面位置における測距結果は演算処理回路（ＣＰＵ）５内の測距点演算部１４に出力される。分岐光学系３で分岐された他方の撮影光束は、ＣＣＤ６で受光されて光電変換され、撮影画像として画像信号処理部７により信号処理される。これらの配置は所謂ＴＴＬ方式であり、このように配置することによって、カメラ装置１をパン／チルト駆動するパン／チルト駆動部１３の駆動等により、光学系２の光軸の方向が変更されて映像の撮影画角が変化した場合でも、撮影画角と測距画角範囲が１対１の関係で保持される。

光学系２を経由した被写体光は撮像素子であるＣＣＤ６上に結像し、撮像素子６によって光電変換された被写体光に基づく画像信号は、画像信号処理部７において画素単位に処理され、画像データとしてメモリ８に一旦書き込まれ、被写体検出や被写体の動き検出のため必要に応じて画像信号処理部７や後述する演算処理回路５によって読み出される。演算処理回路（ＣＰＵ）５はメモリ制御や画像信号処理部の制御を行う。メモリ８から読み出された画像データは、画像信号処理部７において映像モニター１０で表示可能な出力フォーマットに変換され、映像出力端子９から映像モニター１０に出力される。また、ＣＰＵ５は、光学系２の不図示のズーム・フォーカス駆動回路や、カメラ装置１に接続されているパン／チルト駆動部１３のパン・チルト駆動回路の制御も行う。遠隔操作器１２からカメラ装置１に入力されるパン／チルト／ズーム／フォーカス制御データ（以後、Ｐ／Ｔ／Ｚ／Ｆ制御データとも記載する）を通信端子１１経由で受信し、パン・チルトモータを駆動するようパン・チルト駆動部１３に対しＰ／Ｔ制御信号を、光学系２に対しＺ／Ｆ制御信号を出力する。

画像信号処理部７からの出力映像信号は、ＣＰＵ５内部のパターン認識部１５（第１の被写体認識手段）に入力される。パターン認識部１５では顔検出のためのテンプレートを予め備えており、撮影画像の全領域から顔の目、鼻、口といった特徴部位を抽出し、拡大または縮小したテンプレートとの照合を行い、顔と推定された領域の検出を行う。パターン認識部１５における領域の検出に要する時間は、映像画面１フレームあたり約２００ｍｓｅｃ程度である。

なお、本実施例では、画像信号を用いた追尾対象位置認識方法として、顔認識によるパターン認識で人物の位置特定を行う場合を例示するが、色、輪郭、動体認識等の他の認識技術を使用してもよい。

図２は被写体として２人の人物を撮影したカメラの映像出力を映像モニター１０に表示した例である。図２の左側の人物を追尾撮影する場合の動作を説明する。

図３は、多点測距センサ４で検出する全測距点を表す。測距点は撮影画像内のほぼ全域に渡って分散して配置され、ｘ及びｙの座標は、画面中心（ほぼ光軸）をゼロ、画面両端（左右端、上下端）を±１００とした相対値で与えられているものとする。各座標の測距情報Ｄ（ｘ，ｙ）は測距点演算部１４（第２の被写体認識手段）にて処理される。

図４はパターン認識部１５にて検出した顔推定領域を枠線３１、３２で示し、初期値として左の人物を追尾対象と設定し太い枠線３１で表示している。図５は、パターン認識部１５にて検出した顔推定領域である枠線３１、３２内の測距点において多点測距センサ４で測距情報Ｄ（ｘ，ｙ）を検出した例を表示している。測距点演算部１４は枠線３１、３２内の黒点で示す全測距点から枠内の測距重心座標Ｐｄを求める。測距重心座標Ｐｄを求める方法は、式１と図６を参照しながら後述する。顔推定領域の枠線は、撮影画像データの画像処理に基づくパターン認識によって追尾被写体（追尾対象）の特定ができない場合は、測距データに基づく測距重心座標Ｐｄが枠線の中心になるように制御される。

図４における十字線Ｐｎは追尾被写体を画面内で表示させるよう制御するための表示位置目標である。これら表示枠及び十字線は、ＣＰＵ５から画面上の表示座標を指示された画像信号処理部７において、画像データに重畳される。撮影画像への枠の重畳は、画像信号処理部７において、画像データを枠データに入れ替えて行ってもよいし、画像データはそのままにして、補助データとして画像データに付加して送り、表示装置で重畳表示処理を行うようにしてもよい。

ＣＰＵ５は、太い枠線３１の中心座標Ｐｓを追尾被写体のパターン認識から求めた中心位置として保持し、枠線３２の中心座標Ｐｒを非追尾被写体のパターン認識から求めた中心位置として保持し、十字線座標Ｐｎを表示位置目標として保持する。また、ＣＰＵ５の測距点演算部１４は、測距情報Ｄ（ｘ，ｙ）より枠線内の測距重心座標Ｐｄを約１０ｍｓｅｃごとに算出している。

前述のように、パターン認識部１５における被写体の領域の検出にかかる時間、つまりパターン認識から求めた追尾被写体の中心座標Ｐｓを求める時間は約２００ｍｓｅｃ程度であるため、それに比べて測距重心座標Ｐｄの算出は約２０倍の速度で行うことが出来る。

ここで、追尾対象とする被写体である人物が横を向いたりすることにより、撮影画像に基づく画像処理の顔認識では被写体を特定することができない場合に、追尾撮影を継続するために代替的に用いる方法として、測距情報を用いた被写体認識を行う。追尾被写体が写っている画角近傍、少なくとも追尾被写体を囲む枠線内には、追尾被写体より物体距離が短い被写体は存在しないので、たとえ、画像処理で顔認識ができなくなっても、追尾被写体の枠線内の最も物体距離の近い被写体が顔認識で特定されていた追尾被写体であると推定することができる。この前提に基づき、測距情報から測距重心座標Ｐｄを求める。

枠線内の測距重心座標Ｐｄを測距情報Ｄ（ｘ，ｙ）から求める計算方法を説明する。図６に追尾被写体を囲む枠線３１内に位置する測距点を示す。枠内のそれぞれの測距点の座標Ｐを（ｘ１，ｙ１）、（ｘ１，ｙ２）、・・・、（ｘａ，ｙｂ−１）、（ｘａ，ｙｂ）とする。枠内の各測距点におけるそれぞれの測距値Ｄ（ｘ，ｙ）を、Ｄ（ｘ１，ｙ１）、Ｄ（ｘ１，ｙ２）、・・・、Ｄ（ｘａ，ｙｂ−１）、Ｄ（ｘａ，ｙｂ）とする。

測距重心座標Ｐｄは、枠内（所定の範囲内）の各座標Ｐとその座標での測距値Ｄ（ｘ，ｙ）から、短い測距値を示す測距点（座標値）に重みづけして重心座標を取得する方法として、例えば、以下の式により、ｘ座標値、ｙ座標値のそれぞれについて演算することができる。

なお、複数の検出人物から追尾対象を選ぶ指令信号及び表示位置目標を移動させる信号は、遠隔操作器１２からカメラ装置１のＣＰＵ５に入力される。

カメラ装置１のＣＰＵ５は自動追尾の開始命令を受けると、追尾被写体の中心位置の座標Ｐｓが設定されている表示位置目標の十字線座標Ｐｎに一致するように、パン・チルト駆動部１３に対しＰ／Ｔ制御信号を出力する。顔認識等による画像処理によるパターン認識で追尾被写体が認識できない場合は、測距重心座標Ｐｄが表示位置目標の十字線座標Ｐｎに一致するように、パン・チルト駆動部１３に対しＰ／Ｔ制御信号を出力する。このように動作することにより、自動追尾している途中で画像処理による顔認識が困難になった場合でも、自動追尾を継続することができるようになる自動追尾カメラ装置を実現している。追尾撮影を開始してからの本実施例の動作を図８のフローチャートを用いて説明する。

ステップＳ１００において、追尾対象を撮影しパターン認識部１５によって顔の検出を行う。続いてステップＳ１０１では、パターン認識した対象に枠を設定する。続いてステップＳ１０２では、遠隔操作器１２から送られてきた信号に基づき、ＣＰＵ５は表示位置目標位置（座標Ｐｎ）と各枠の中から追尾対象（座標Ｐｓ）を決定し、追尾動作の開始を行う。

続いてステップＳ１０３では、パターン認識部１５による画像１フレーム分のパターン認識動作が完了し追尾対象枠内の追尾対象座標Ｐｓが決定したかどうか判断する。完了していればステップＳ１０６に進み、未完了であればステップＳ１０４に進む。

ステップＳ１０４では、測距点演算部１４によって追尾対象枠内の重心座標Ｐｄを算出し、ステップＳ１０５に進む。

ステップＳ１０５では、重心座標Ｐｄが表示位置目標座標Ｐｎに一致するようにＰ／Ｔ制御を行い、ステップＳ１０３に戻る。

ステップＳ１０６では、追尾対象座標Ｐｓが表示位置目標座標Ｐｎに一致するようにＰ／Ｔ制御を行い、ステップＳ１０３に戻る。

ここで図７を用いて、本発明での利点を説明する。通常の自動追尾処理においては、追尾被写体の特徴部を認識した上で追尾被写体を特定するパターン認識部１５（第１の被写体認識部）による被写体認識を、測距点演算部１４（第２の被写体認識部）の被写体認識に優先させて自動追尾制御を実行する。しかし、追尾対象がカメラに対して横や後ろを向くなどした場合、パターン認識部１５はパターン認識が出来ない。図７では追尾対象枠３３（破線）はパターン認識が出来ていないことを表し、非追尾対象枠３２（実線）はパターン認識が出来ていることを表している。パターン認識対象が複数存在し、その中で目的の追尾対象が認識出来ない場合、パターン認識のみで自動追尾撮影を行うと、正しく目標対象に追尾出来なくなる。そこで、ステップＳ１０４に進み、重心座標Ｐｄが表示位置目標座標Ｐｎに一致するようにＰ／Ｔ制御を行うことで、正しく目標対象を追尾できるようになる。

図８に示した処理の、Ｓ１０５及びＳ１０６において、重心座標Ｐｄ或いは追尾対象座標Ｐｓが目標座標Ｐｎに一致するようにパン・チルト制御するとしたが、必ずしも厳密に一致させるように制御させる必要はなく、滑らかな撮影映像を提供するために、相互間の距離が所定の範囲内にあることを条件として制御することにより、本発明の効果を得ることができる。

以上の構成により、画像処理のみに基づいて位置検出を行って自動追尾撮影を行うよりもより精度良く且つ早く位置検出を行うことが出来、また、画像処理による位置検出が困難な場合でも自動追尾することが出来るという効果が得られる。

図９に本発明の追尾機能付き撮影装置の第２の実施例のシステム図を示す。

実施例１と実施例２の違いは、多点測距センサ４１の配置位置が異なることと、第２の実施例においては光学系２のズーム位置を検出するためのズーム位置検出部４２が追加されている点である。実施例２では、多点測距センサ４１の配置を、撮影光束が経由する光学系２の像側ではなく、撮影光束が経由する光学系２（撮影光学系）とは独立した光学系とともに配置したこと（外測センサ方式）を特徴とする。また、光学系２の光軸と多点測距センサ４１の光軸は平行に設定され、多点測距センサ４１の測距可能な画角は、カメラ装置１において光学系２のズーム位置を広角端にした場合の画角よりも大きい。図１０に実施例２での多点測距センサ４１で検出する全測距点及びその範囲４３とズーム位置を広角端にした場合の画角４４との関係及び座標を表す図を示す。なお、本実施例におけるカメラ装置１はズーム機能を有するが、このズーム機能は、多点測距センサ４１の測距可能な画角が、光学系２のズーム位置を広角端にした場合の画角よりも大きければ、光学部材の移動による光学式ズーム或いは実際に撮影されている画像を拡大又は縮小することによりズーム効果を得る電子式ズームのいずれかまたはその組合せであっても構わない。

ＣＰＵ５はズーム位置検出部４２の出力する値によって撮影している映像の画角を計算し、多点測距センサ４１の測距点の内、どの範囲の測距点が撮影映像に含まれるかを更新する。図１１を参照しながら、本実施例の動作フローチャートを説明する。実施例１の図８と同様である部分の詳細説明は省略する。

ステップＳ１０３では、パターン認識部１５による画像１フレーム分のパターン認識動作が完了し追尾対象枠内の追尾対象座標Ｐｓが決定したかどうか判断する。完了していればステップＳ１０９に進み、未完了であればステップＳ１０４に進む。

ステップＳ１０４では、映像画面内にパターン認識した枠が存在するかどうか判断する。存在していればステップＳ１０５に進み、存在していなければステップＳ１０６に進む。

ステップＳ１０５では、パターン認識した枠の設定情報Ｗ（形状、大きさ）を保存してステップＳ１０７に進む。

ステップＳ１０６では、映像画面内にパターン認識した枠が存在しないため、ステップＳ１０５にて保存した設定情報Ｗに従ってそれと同じ形を追尾対象枠として、画面外の測距専用枠として設定し、ステップＳ１０７に進む。ステップＳ１０７では、測距点演算部１４によって追尾対象枠内の重心座標Ｐｄを算出し、ステップＳ１０８に進む。ここで、ステップＳ１０６に進んでいる状態なので、撮影映像内には、追尾対象の被写体のない状態である。直前の状態としては、画像処理による顔認識或いは測距情報に基づく重心座標認識が行われていた追尾対象枠が撮影画面内に存在していた状態であり、追尾対象枠の撮影映像内（画面内）での移動（挙動）は把握されている。従って、ステップＳ１０６に進んだ時点では、直前までの追尾対象枠の撮影映像内での移動軌跡から、既知の方法により、撮影映像１０外であって多点測距センサ４１の測距範囲４３内で、追尾対象枠が移動している位置は、演算して推定することができる。ステップＳ１０６とＳ１０７ではこれに基づいて、撮影映像１０外であって多点測距センサ４１で検出する測距範囲４３内での、追尾対象枠内の重心座標Ｐｄを演算することができる。

ステップＳ１０８では、重心座標Ｐｄが表示位置目標座標Ｐｎに一致するようにＰ／Ｔ制御を行い、ステップＳ１０３に戻る。

ステップＳ１０９では、追尾対象座標Ｐｓが表示位置目標座標Ｐｎに一致するようにＰ／Ｔ制御を行い、ステップＳ１０３に戻る。

次に、図１２を用いて実施例２の利点の説明を行う。図１２は当初撮影し追尾していた追尾対象が、雲台の追尾動作が追いつかず、撮影画面の外に出てしまった場合を示している。ここで、追尾対象枠４４（破線）は対象目標が撮影されていないためパターン認識が出来ていない。しかし、多点測距センサの測居範囲内であるため、測距重心座標Ｐｄが表示位置目標の十字線座標Ｐｎに一致するように、ＣＰＵ５はパン・チルト駆動部１３に対しＰ／Ｔ制御信号を出力する。それゆえ、追尾目標が撮影画面の外に移動しても自動追尾を続けることが出来る。

以上、本発明の好ましい実施形態について、平易に説明するため具体的に数値を記載したり、追尾対象を人の顔としてテンプレート比較による検出方法を示して説明したが、本発明はこれらの値や実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形及び変更をすることができる。

１…カメラ雲台
４…多点測距センサ
５…演算処理回路（ＣＰＵ）
６…ＣＣＤ
７…画像信号処理部
１３…パン・チルト駆動部
１４…測距点演算部（第２の被写体認識手段）
１５…パターン認識部（第１の被写体認識手段）

Claims (6)

1. パン・チルト駆動手段を有し、撮影映像内の特定の被写体を検出して追尾する機能を備える撮影装置において、
   撮影映像の画像処理によって追尾対象を被写体認識する第１の被写体認識手段と、
   測距センサによって得られた測距情報に基づき追尾対象を被写体認識する第２の被写体認識手段と、
   前記第１の被写体認識手段または前記第２の被写体認識手段による被写体認識に基づいて、追尾対象を撮影映像内の所定の位置に表示して追尾するように、前記パン・チルト駆動手段を制御する、制御手段と、
   を備え、
   前記制御手段は、前記第１の被写体認識手段による被写体認識を前記第２の被写体認識手段による被写体認識よりも優先して自動追尾制御を行い、前記第１の被写体認識手段による追尾対象の被写体認識ができない場合は、前記第２の被写体認識手段による被写体認識に基づいて自動追尾制御を行う、
   ことを特徴とする追尾機能付き撮影装置。
2. 前記第２の被写体認識手段は、所定の範囲内に含まれる測距点における測距値に基づき、該測距値の小さい測距点に重み付けする演算により重心座標を取得し、
   前記制御手段は、前記第１の被写体認識手段による追尾対象の被写体認識ができない場合は、該第２の被写体認識手段による追尾対象の該重心座標を撮影映像内の所定の位置に表示するようにパン・チルト駆動手段を制御して自動追尾制御を行う、
   ことを特徴とする請求項１に記載の追尾機能付き撮影装置。
3. 前記撮影装置は、ズーム機能を有し、
   前記制御手段は、前記第１の被写体認識手段または前記第２の被写体認識手段による被写体認識に基づいて、追尾対象を撮影映像内の所定の位置に所定の大きさで表示して追尾するように、前記パン・チルト駆動手段及び前記ズーム機能を制御する、
   ことを特徴とする請求項１又は２に記載の追尾機能付き撮影装置。
4. 前記測距センサは、撮影光束を撮像素子に導く撮影光学系の像側で分岐された光束を用いて測距する、ことを特徴とする請求項１乃至３のいずれか１項に記載の追尾機能付き撮影装置。
5. 前記測距センサは、撮影光束を撮像素子に導く撮影光学系とは別に備えられた光学系によって測距するセンサであり、該測距センサの測距可能な画角は、前記追尾機能付き撮影装置の広角端の画角より広いことを特徴とする、請求項１乃至３のいずれか１項に記載の追尾機能付き撮影装置。
6. 前記ズーム機能は、光学部材の移動による光学式ズームと撮影画像を拡大又は縮小する電子式ズームの少なくとも一方による、ことを特徴とする請求項３に記載の追尾機能付き撮影装置。

Images