JP2011134019A

JP2011134019A - 画像処理装置及びその制御方法

Info

Publication number: JP2011134019A
Application number: JP2009291409A
Authority: JP
Inventors: Kazunori Ishii; 和憲石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-12-22
Filing date: 2009-12-22
Publication date: 2011-07-07
Anticipated expiration: 2029-12-22
Also published as: JP5441669B2; US20110149069A1

Abstract

【課題】動画において、特定の領域の被写体を安定して追尾できるようにする。
【解決手段】動画を構成する１枚の画像において、特定の領域を基準領域として登録し、基準領域内の画素の彩度及び色相の分布をもとに、基準領域の特徴量を設定する。このとき、基準領域内の彩度の平均値が閾値以下であれば、閾値より大きい場合に比べて、基準領域内の色相の分布の分解能が低くなるように特徴量を設定する。そして、基準領域が含まれる画像のフレーム画像において、基準領域の特徴量に該当する位置をマッチング処理によって決定する事により、基準領域を追尾する。
【選択図】図３

Description

本発明は、動画において、特定の領域の被写体を追尾する技術に関する。

従来、デジタルカメラやデジタルビデオカメラ等の画像処理装置では、撮像された動画内において、画像処理によって撮影者が設定した被写体や、予め登録されている被写体パターンを追尾する技術が知られている。このような画像処理による被写体の追尾技術は、画像内において、被写体のパターンと相関関係の高い位置を、被写体が移動した位置として判断する。このため、撮像範囲内に類似するパターンが存在する場合や、新たに撮像範囲内に類似するパターンが進入した場合等において、被写体を誤認識してしまう可能性があった。
特許文献１には、追尾する被写体の色差ヒストグラムをテンプレートとして、探索領域において相関度を計算することによって被写体の移動位置を検出し、カメラを被写体の方向に向けるように制御することで追尾性能を向上させる技術が開示されている。

特開平１１−１５０６７６号公報

しかしながら、従来技術のように、設定した被写体の色差信号のパターン（特徴量）を用いて相関度の判定を行う場合、撮影条件の変化によって特徴量が変化する場合が存在し、被写体を誤追尾したり、追尾が不可能になる問題があった。例えば、設定した被写体の特徴量が色相であり、この被写体の彩度が低い場合、照明条件等によって被写体の明度が変化すると、特徴量の分布も変化してしまい、相関の高い領域を抽出することが不可能であった。
本発明は、上述の問題点に鑑みてなされたものであり、動画において、特定の領域の被写体を安定して追尾できるようにすることを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
動画を構成する画像の、特定の領域を基準領域として登録する領域登録手段と、基準領域内の画素ごとの彩度、及び色相を検出する検出手段と、彩度、及び色相の分布をもとに、基準領域の特徴量を設定する設定手段であって、基準領域内の彩度の平均値が閾値以下であれば、前記閾値より大きい場合に比べて、基準領域内の色相の分布の分解能を低くして、特徴量を設定する設定手段と、基準領域が含まれる画像より後のフレームの画像において、特徴量を用いたマッチング処理を行うことにより、基準領域を追尾する追尾手段と、を備えることを特徴とする。

このような構成により本発明によれば、動画において、特定の領域の被写体を安定して追尾できるようにすることを可能とする。

実施形態に係るデジタルビデオカメラの機能構成を表すブロック図。実施形態に係る追尾制御処理のフローチャート。実施形態１に係る特徴量抽出処理のフローチャート。実施形態２に係る特徴量抽出処理のフローチャート。色差特徴空間を説明するための図。色相ヒストグラムを説明するための図。

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、被写体像の特定の領域を追跡可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、動画としての被写体像の特定の領域を追跡することが可能な任意の機器に適用可能である。

図１は、本発明の実施形態１に係るデジタルビデオカメラ１００の機能構成を示すブロック図である。
制御部１０１は、例えばＣＰＵであり、ＲＯＭ１０２に記憶されているデジタルビデオカメラ１００の各ブロックの動作プログラムを、不図示のＲＡＭに展開し実行することにより、デジタルビデオカメラ１００の各ブロックの動作を制御する。ＲＯＭ１０２は、不揮発性メモリであり、デジタルビデオカメラ１００の各ブロックの動作プログラムに加え、例えばデジタルビデオカメラ１００の各ブロックの動作に必要なパラメータや、デジタルビデオカメラ１００の各種設定等を記憶する。操作入力部１０３は、例えばメニューボタンや撮影ボタン等の、デジタルビデオカメラ１００が備える、ユーザからの操作を受け付けるユーザインタフェースであり、受け付けた操作に対応した情報を制御部１０１に伝送する。また、本実施形態のデジタルビデオカメラ１００は、後述する画像表示部１０９としてタッチパネル式表示装置を用いた例を説明する。操作入力部１０３は、タッチパネルセンサで検出された、接触入力があった画像表示部１０９の表示領域上の位置情報も取得し、制御部１０１に伝送するものとする。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４によって撮像素子に結像された被写体像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に順次出力する。光学系１０４は、固定レンズや変倍レンズ、焦点レンズ等によって構成されるデジタルビデオカメラ１００が備えるレンズ群であり、撮像部１０５に被写体の反射光を結像する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号に対してＡ／Ｄ変換を適用し、得られたデジタル画像信号（画像データ）を画像処理部１０７に出力する。また、Ａ／Ｄ変換部１０６は、例えばＣＤＳ／ＡＧＣ回路等を備え、デジタル画像信号のゲイン調整を行う。画像処理部１０７は、Ａ／Ｄ変換部１０６より入力されたデジタル画像信号に対して各種画像処理を適用し、映像信号を生成する。画像処理部１０７は、例えばＲＯＭ１０２に記憶されている映像出力形式の情報に従い、設定されている符号化方式やパラメータに従って、映像信号を符号化して記録媒体１０８に出力する。また、画像処理部１０７は、入力されたＲＧＢ色空間の画像データを、ＹＣｂＣｒ色空間の画像データに変換して、後述する特徴量抽出部１１０及びマッチング処理部１１１に出力する。

記録媒体１０８は、例えばデジタルビデオカメラ１００が備える内蔵メモリや、メモリカードやＨＤＤ等のデジタルビデオカメラ１００に着脱可能に装着される記憶装置であり、画像処理部１０７が符号化した映像データを記録する。画像表示部１０９は、デジタルビデオカメラ１００が備える、例えば小型ＬＣＤ等の表示装置であり、記録媒体１０８に記憶されている映像データを表示する。また、画像表示部１０９は、Ａ／Ｄ変換部１０６から出力された画像データを逐次表示（スルー表示）することにより、電子ビューファインダとして機能する。

特徴量抽出部１１０は、Ａ／Ｄ変換部１０６から出力されたＹＣｂＣｒ色空間の画像データの、指定された基準領域内を解析し、基準領域の画像の色情報の分布である特徴量を抽出するブロックである。特徴量は、例えばＲＡＭに記憶され、後述するマッチング処理に用いられる。マッチング処理部１１１は、特徴量を抽出した画像データより後に撮像された画像データから、特徴量と類似する領域を探索するマッチング処理を行う。なお、マッチング処理は図５に示すようなＣｂ、Ｃｒの色差特徴空間から、色相（Ｈ）及び彩度（Ｈ）の情報を用いるため、特徴量も色相及び彩度の情報で構成されるものとする。色相及び彩度の情報を用いることで、例えば照明条件によって変化しやすい輝度の情報を排除してマッチング処理を行うことが可能となる。

このような構成をもつ本実施形態のデジタルビデオカメラ１００の、追尾制御処理について、図２のフローチャートをさらに用いて説明する。なお、本追尾制御処理は、デジタルビデオカメラ１００の電源がＯＮ状態にされ、画像表示部１０９にスルー表示が開始された状態で、毎フレームの撮像において行われるループ処理である。

Ｓ２０１で、制御部１０１は、操作入力部１０３に追尾する被写体の画像内の位置を指定する入力がなされたかを判断する。追尾する被写体の画像内の位置の情報は、例えば画像表示部１０９の表示領域へのユーザからの接触入力を、タッチパネルセンサで検出することにより、操作入力部１０３から制御部１０１に伝えられるものとする。制御部１０１は、入力された追尾する被写体の画像内の位置の情報を、ＲＡＭに追尾位置の情報として記憶する。制御部１０１は、追尾する被写体の画像内の位置を指定する入力がなされた場合は処理をＳ２０２へ、入力がなされなかった場合は、処理をＳ２０５に移す。

Ｓ２０２で、制御部１０１は、指定された追尾位置を中心に、例えばＲＯＭ１０２に記憶されている基準領域として設定する領域の大きさの情報に従って、基準領域を設定する（領域登録）。また、制御部１０１は、基準領域の色相及び彩度の情報を、画素毎に取得してＲＡＭに記憶する。なお、指定された追尾位置を中心に基準領域として設定する領域の大きさを設定する場合に、画像データ外の領域を含む場合は、画像データ内に収まるように基準領域を設定すればよい。

Ｓ２０３で、制御部１０１は、基準領域の情報を特徴量抽出部１１０に伝送し、特徴量抽出部１１０に特徴量抽出処理を行わせ、基準領域の特徴量を抽出する。ここで、特徴量抽出部１１０で行われる特徴量抽出処理について、図３のフローチャートを用いてさらに説明する。なお、特徴量抽出処理で参照される閾値及び色相の分割数の情報等は、制御部１０１がＲＯＭ１０２より読み出して特徴量抽出部１１０に伝送するものとする。

Ｓ３０１で、特徴量抽出部１１０は、入力された基準領域の全ての画素の彩度の情報を用いて、基準領域の画素の彩度平均値を算出する。このとき特徴量抽出部１１０は、彩度平均値が、彩度が低いとして判定する彩度値として予め定められた、第１の閾値より大きいかを判断する（Ｓ３０２）。特徴量抽出部１１０は、彩度平均値が第１の閾値より大きい場合は処理をＳ３０３に移し、第１の閾値以下である場合は処理をＳ３０４に移す。

Ｓ３０３で、特徴量抽出部１１０は、色相の分解能である分割数を高い分解能である、例えば３２に設定する。色相は、図５に示すように０度から３６０度まであり、本実施形態において、基準領域の画素を分類する色相の分割数を、色相の分解能と表現する。同様に、Ｓ３０４で、特徴量抽出部１１０は、色相の分解能を低い分解能である、例えば１６に設定する。このように色相の分解能を設定することにより、図６のように基準領域の画素を色相の範囲ごとの画素数によって分類したヒストグラムを生成することができる（Ｓ３０５）。即ち、基準領域において、彩度が十分にあると考えられる場合は、明度の変化による色相の影響は小さいと考えられるため、特徴量は類似色との誤認識を回避可能なように、図６（ａ）のように分解能を高くすることが可能である。また、基準領域において、彩度が小さいと考えられる場合は、明度の変化による色相の変化が起こりやすいと考えられるため、特徴量は色相が多少変化しても追尾可能なように、図６（ｂ）のように分解能を低くすることが可能である。即ち、基準領域において彩度の低い画素が多い被写体であると判断された場合は、色相の分割数を減らすことにより、多少の色相変化があっても追尾可能なように、追尾性能に冗長性を持たせることが可能となり、安定した追尾を実現する。

Ｓ３０６で、特徴量抽出部１１０は、Ｓ３０５で生成したヒストグラムにおいて、予め設定された特徴量と判定する画素数以上の色相があるかを判断する。なお、本実施形態では、基準領域の大きさは予め定められた大きさとしているため、特徴量と判定する画素数は予め定められた基準領域の画素数に対して設定されている値である。しかしながら、例えば基準領域をユーザが任意の大きさに設定可能である場合は、特徴量と判定する画素数は、設定された基準領域の画素数において、予め定められた割合に相当する画素数に設定されればよい。特徴量抽出部１１０は、特徴量と判定する画素数以上の色相がヒストグラムにある場合は処理をＳ３０７に移し、特徴量と判定する画素数以上の色相がヒストグラムにない場合は処理をＳ３０９に移す。

Ｓ３０７で、特徴量抽出部１１０は、基準領域のうち特徴量と判定された画素数以上の色相と、その色相の画素の情報を特徴量として設定し、制御部１０１に出力する。制御部１０１は、特徴量の情報をＲＡＭに記憶する。またＳ３０８で、特徴量抽出部１１０は追尾可能であることを表す情報を制御部１０１に出力し、制御部１０１はＲＡＭに記憶されている、追尾可能であることを表す追尾可能フラグをＯＮにする。
また、Ｓ３０６で特徴量と判定する画素数以上の色相がヒストグラムにないと判定された場合は、特徴量抽出部１１０は追尾不可能であることを表す情報を制御部１０１に出力し、制御部１０１は、ＲＡＭに記憶されている追尾可能フラグをＯＦＦにする。

なお、Ｓ３０２において彩度平均値が第１の閾値よりも高いと判定され、さらにＳ３０６で特徴量と判定する画素数以上の色相がない場合であっても、特徴量抽出部１１０は、色相の分解能を下げて特徴量を抽出する処理は行わない。これは、特徴量の分解能を下げることにより、類似色との誤認識を引き起こす可能性があるため、本来の目的である、安定した被写体の追尾の継続を妨げるからである。

このようにして、特徴量抽出処理の終了後、制御部１０１は追尾制御処理のＳ２０４に処理を移し、追尾可能フラグがＯＮである場合は、ＲＡＭに記憶されている、特徴量を登録済みであることを表す初期登録済みフラグをＯＮにする。また、Ｓ２０４の処理が終わると、制御部１０１は処理をＳ２０１に戻す。なお、追尾可能フラグ及び初期登録済みフラグの情報は、デジタルビデオカメラ１００の起動時にはＯＦＦにされているものとする。
Ｓ２０５で、制御部１０１は、ＲＡＭに記憶されている追尾可能フラグがＯＮであるかを判断する。制御部１０１は、追尾可能フラグがＯＮである場合は処理をＳ２１０に移す。

追尾可能フラグがＯＮ、即ち基準領域及び特徴量が登録された状態であり、さらに基準領域が追尾可能であると判断された場合、制御部１０１は新たに撮像された画像データから追尾探索領域の画像データを抽出する（Ｓ２１０）。追尾探索領域は、前のフレームで撮像された画像において基準領域の中心として設定された位置（特徴量が移動したと特定された位置）を中心とした、ＲＯＭ１０２に予め設定された基準領域より大きい探索範囲であり、フレーム毎に移動する。即ち、特徴量を抽出した次のフレームでは、Ｓ２０１で入力された追尾位置を中心とした探索範囲が設定されるが、以降のフレームでは新たに特定された基準領域が移動した位置を中心として探索範囲が設定される。制御部１０１は得られた追尾探索領域の画像データをマッチング処理部１１１に伝送し、処理をＳ２１１に移す。

Ｓ２１１で、制御部１０１はマッチング処理部１１１に特徴量、及び前のフレームで撮像された画像において基準領域の中心として設定された位置の情報を伝送し、マッチング処理部１１１にマッチング処理を行わせる。マッチング処理は、追尾探索領域において基準領域の特徴量と相関が高い領域を探索し、基準領域が移動した位置を特定する処理であり、公知の処理を利用すればよい。例えば基準領域の画像を特徴量に該当する画素と、特徴量に該当しない画素に二値化した画像をテンプレートとして、追尾探索領域においてテンプレートと相関度が最も高い位置を、基準領域が移動した位置として特定する。即ち、基準領域が移動した位置は、次のフレームにおける追尾探索領域の中心位置となる。

なお、上述のマッチング処理は一例であり、例えば以下のように処理を行う場合であってもよい。本実施形態ではマッチング処理において、初期に追尾位置として登録された点に基づいて決定された基準領域の画像を利用する方法について説明したが、マッチング処理に用いる画像は毎フレーム更新されてもよい。即ち、マッチング処理の結果基準領域が移動した位置として特定された位置の基準領域と同サイズの画像を、新たなマッチング処理に用いる基準領域の画像として更新してもよい。また、特徴量として定めた色相のヒストグラムを基準にして、マッチング処理を行っても良い。即ち、追尾探索領域内において、抽出した基準領域と同じサイズの領域において、特徴量として定めた色相の占有率の類似度から相関度を特定してもよい。

Ｓ２１２で、制御部１０１はマッチング処理の結果が、追尾継続判定条件を満たしているかを判断する。具体的には、制御部１０１は、マッチング処理の結果、基準領域が移動した位置として特定された位置の、特徴量の相関度が、ＲＯＭ１０２に予め設定された追尾を継続する相関度より小さい場合は追尾が不可能であると判断し、処理をＳ２１４に移す。そしてＳ２１４で、制御部１０１は、追尾可能フラグをＯＦＦにし設定し、処理をＳ２０１に戻す。また、制御部１０１は、マッチング処理の結果、基準領域が移動した位置として特定された位置の特徴量の相関度が、追尾を継続する相関度以上である場合は、追尾可能であると判断し、処理をＳ２１３に移す。そしてＳ２１３で、制御部１０１は追尾可能フラグをＯＮに設定し、処理をＳ２０１に戻す。

また、Ｓ２０５で、追尾可能フラグがＯＦＦ、即ち基準領域及び特徴量が登録されていない、または前のフレームで行われたマッチング処理の結果において追尾不可能であると判断された場合、制御部１０１は、処理をＳ２０６に移す。Ｓ２０６で、制御部１０１は、ＲＡＭに記憶されている初期登録済みフラグがＯＮであるかを判断し、ＯＮである場合は処理をＳ２０７に、ＯＦＦである場合は処理をＳ２０１に戻す。

Ｓ２０７で、制御部１０１は、前のフレームのマッチング処理において、基準領域にマッチングする領域が探索できなかった状態（ロスト）であると判断し、ＲＡＭに記憶されている、ロストカウントに１を加算する。そして、制御部１０１はＳ２０８でロストカウントが、ＲＯＭ１０２に予め設定されている追尾復帰不可能と判断するカウントの値以上であるかを判断する。制御部１０１は、追尾復帰不可能と判断するカウントより、ロストカウントが大きい場合は処理をＳ２０９に移し、ロストカウントが小さい場合は処理をＳ２１０に移す。なお、このときＳ２１０で設定される追尾探索領域の情報は、最後にマッチング処理で特定された基準領域が移動した位置を中心とする。また、ロストしている状態の間に基準領域の被写体の移動量が増大している可能性があるため、ロストカウントの大きさに応じて追尾探索領域を拡大してもよい。

また、Ｓ２０９で、制御部１０１はＲＡＭに記憶されている初期登録済みフラグをＯＦＦに設定するとともに、ＲＡＭに記憶されている基準領域の情報を開放し、処理をＳ２０１に戻し、追尾制御処理を繰り返す。

なお、本実施形態において、基準領域の彩度の平均値と第１の閾値とを比較して、色相の分解能を決定したが、分解能の決定方法はこの限りでなく、基準領域において第１の閾値より低い彩度に含まれる画素の数によって決定しても良い。いずれにしても、基準領域の彩度の平均値が低いほど、色相の分解能が低くなるように設定すればよい。

以上説明したように、本実施形態の画像処理装置は、動画において、特定の領域の画像を追尾することが可能である。具体的には、動画を構成する画像において、特定の領域を基準領域として登録し、基準領域内の画素の彩度及び色相の分布をもとに、基準領域の特徴量を設定する。このとき、基準領域内の彩度の平均値閾値以下であれば、閾値より大きい場合に比べて、基準領域内の色相の分布の分解能が低くなるように特徴量を設定する。そして、基準領域が含まれる画像より後のフレームの画像において、基準領域の特徴量に該当する位置をマッチング処理によって決定する事により、基準領域を追尾する。

これにより、明度の変化があるような撮像環境下において、安定した基準領域の追尾が可能となる。即ち、基準領域に彩度の高い被写体が多い場合は、色相の分解能を高くすることで、類似色への誤追尾を回避することが可能である。また、基準領域に彩度の低い被写体が多い場合は、色相の分解能を低くすることにより、明度が変化した場合にも、追尾性能に冗長性を持たせることができ、追尾不可能な状態や、誤追尾を回避することが可能となる。

（実施形態２）
次に、本発明の別の実施形態について以下に説明する。前述の実施形態１では、基準領域の特徴量を、彩度によって色相の分布の分解能を決定し、このうち、予め定められた特徴量と判定する画素数以上の色相を、特徴量として設定する方法について説明した。本実施形態２では、さらに特徴量として設定する彩度の範囲も設定することにより、より誤追尾を軽減することが可能となる。なお、本実施形態において、「有彩色」とは、特徴量として設定する彩度の範囲の色を指し、「無彩色」とは、特徴量として設定する彩度より低い彩度の色を指すものとし、本来の有彩色及び無彩色の定義とは異なる。
また、本実施形態２のデジタルビデオカメラは、前述の実施形態１と同様の構成であり、同様の追尾制御処理を行うものとして、機能構成及び追尾制御処理の説明は省略する。

以下、本実施形態のデジタルビデオカメラ１００の、特徴量抽出処理について、図４のフローチャートを用いてさらに説明する。なお、本特徴量抽出処理において、実施形態１と同様の処理を行うステップについては、同一の参照番号を付して説明を省略し、本実施形態に特徴的なステップの説明に留める。

Ｓ４０１で、特徴量抽出部１１０は、特徴量として設定する彩度の上限値を、予め定められた第４の閾値に設定する。第４の閾値より高い彩度の画素は非特徴有彩色とし、本実施形態では特徴量として利用しないものとする。なお、第４の閾値は彩度の最大値でもよいが、デジタルビデオカメラ１００の処理性能によって任意の値に設定可能な値であるとする。

Ｓ４０２で、特徴量抽出部１１０は、基準領域の画素の彩度平均値が、第１の閾値より大きく、第４の閾値より小さい値として、予め設定された第２の閾値より大きいかを判断する。特徴量抽出部１１０は、彩度平均値が第２の閾値より大きい場合は処理をＳ４０３に移し、Ｓ４０３で特徴量として設定する彩度の下限値を第２の閾値に設定する。また、特徴量抽出部１１０は、彩度平均値が第２の閾値以下である場合は、特徴量として設定する彩度の下限値を、Ｓ３０２で彩度が低いとして判定する閾値である第１の閾値に設定する。

Ｓ３０２で基準領域の画素の彩度平均値が第１の閾値以下、即ち基準領域の彩度が低いと判定された場合は、特徴量抽出部１１０は、Ｓ４０４で、特徴量として設定する彩度の下限値を、第１の閾値より小さい第３の閾値に設定する。またＳ４０５で、特徴量抽出部１１０は、特徴量として設定する彩度の上限値を、第４の閾値より小さく、第２の閾値より大きい第５の閾値に変更する。

即ち、特徴量抽出部１１０は、Ｓ４０１からＳ４０５の処理により、基準領域の彩度平均値に応じて、特徴量を設定する彩度の範囲、即ち有彩色とする範囲を設定する。それぞれの閾値の大小関係は、大きいものから順に、第４の閾値、第５の閾値、第２の閾値、第１の閾値、第３の閾値となり、彩度平均値の大きさによって、有彩色の範囲は以下の３つのいずれかに設定される。
（１）「第２の閾値以上」であり、「第４の閾値以下」
（２）「第１の閾値以上」であり、「第４の閾値以下」
（３）「第３の閾値以上」であり、「第５の閾値以下」
これにより、追尾する対象である基準領域（被写体）の特徴をより的確に捉えた特徴量を抽出することが可能となる。

Ｓ４０６で、特徴量抽出部１１０は、基準領域の画素のうち、有彩色の範囲に含まれる画素を、Ｓ３０３またはＳ３０４で設定された色相の分解能にしたがって分類したヒストグラムを生成する。そしてＳ３０６で、特徴量抽出部１１０は、生成したヒストグラムにおいて、予め設定された特徴量と判定する画素数以上の色相があるかを判断する。特徴量抽出部１１０は、特徴量と判定する画素数以上の色相がある場合、特徴量と判定する画素数以上の色相と、その色相の画素数の情報を仮特徴量として一時的に記憶し、処理をＳ４０７に移す。また、特徴量抽出部１１０は、特徴量と判定する画素数以上の色相がなかった場合は処理をＳ４１０に移す。

Ｓ４０７で、特徴量抽出部１１０は、基準領域の画素のうち、無彩色に分類される彩度の画素数が予め設定された、特徴量に設定可能な無彩色の画素数より多いかを判断する。特徴量に設定可能な無彩色の画素数は、特徴量と判定する画素数と同一の値であってもよいし、異なる値を設定でもよい。特徴量抽出部１１０は、無彩色に分類される彩度の画素数が、特徴量に設定可能な無彩色の画素数以上存在する場合は処理をＳ４０８に移し、無彩色に分類される彩度の画素数が、特徴量に設定可能な無彩色の画素数より少ない場合は処理をＳ４０９に移す。

Ｓ４０８で、特徴量抽出部１１０は、基準領域の画素のうち、Ｓ３０６で仮特徴量として設定された色相の画素数が、無彩色に分類される彩度の画素数より大きいかを判断する。特徴量抽出部１１０は、無彩色に分類される彩度の画素数より、仮特徴量として設定された色相の画素数が大きい場合は処理をＳ４０９に移し、小さい場合は処理をＳ４１１に移す。

Ｓ４０９で、特徴量抽出部１１０は、仮特徴量として設定された色相と、その色相の画素の情報を特徴量として設定し、制御部１０１に出力する。そして、制御部１０１は、特徴量の情報をＲＡＭに記憶する。

またＳ４１０で、特徴量抽出部１１０は、Ｓ４０７と同様に、基準領域の画素のうち、無彩色に分類される彩度の画素数が、特徴量に設定可能な無彩色の画素数より多いかを判断する。特徴量抽出部１１０は、無彩色に分類される彩度の画素数が、特徴量に設定可能な無彩色の画素数以上存在する場合は処理をＳ４１１に移し、無彩色に分類される彩度の画素数が、特徴量に設定可能な無彩色の画素数より少ない場合は処理をＳ３０９に移す。

Ｓ４１１で、特徴量抽出部１１０は、無彩色に分類される彩度の色相と、その色相の画素の情報を特徴量として設定し、制御部１０１に出力する。そして制御部１０１は、特徴量の情報をＲＡＭに記憶する。これにより、基準領域の画素に、特徴量と判定する画素数以上の色相がない場合や、特徴量と判定する色相の画素数が無彩色に分類される彩度の画素数より少ない場合等にも、無彩色に分類される彩度の画素の情報を特徴量とすることで基準領域の追尾が可能となる。ただし、彩度が低い画素ほど、明度の変化によってその色相の値が変化しやすいため、無彩色に分類される彩度の画素の情報を特徴量とすると、Ｓ２１１のマッチング処理において明度の変化の影響を受けやすくなる。そのため、マッチング処理部１１１は、無彩色に分類される彩度の画素の情報を特徴量とする場合は、マッチング処理を行う際に追尾探索領域における画素に対して、基準領域の特徴量に該当する画素と同一の特徴量であると判断する基準を緩く設定する。

以上説明したように、本実施形態の画像処理装置は、動画において、特定の領域の画像を追尾することが可能である。画像処理装置は動画を構成する画像において、特定の領域を基準領域として登録し、基準領域内の画素の彩度及び色相の分布をもとに、基準領域の特徴量を設定する。具体的には、基準領域内の彩度の平均値が閾値以下であれば、閾値より大きい場合に比べて、基準領域内の色相の分布の分解能が低くなるように色相を分類し、予め定めた特徴とみなす画素数よりも多い分布の色相を特徴量として設定する。

また、基準領域内の彩度の平均値に応じて、特徴量を設定する彩度の範囲を決定する。このとき、特徴量を設定する彩度の範囲において、特徴量として設定した色相の画素数が、特徴量を設定する彩度の範囲より低い彩度に含まれる画素数より少ない場合は、特徴量を設定する彩度の範囲より低い彩度の色相を特徴量に変更する。

また、特徴量を設定する彩度の範囲に、特徴とみなす画素数よりも多い分布の色相がない場合は、特徴量を設定する彩度の範囲より低い彩度に含まれる画素数が、予め定められた画素数より多いかを判断する。このとき、特徴量を設定する彩度の範囲より低い彩度の画素の色相を、特徴量として設定する。
このようにして決定した特徴量を用いて、基準領域が含まれる画像より後のフレームの画像において、基準領域の特徴量に該当する位置をマッチング処理によって決定する事により、基準領域を追尾する。

これにより、明度の変化があるような撮像環境下において、安定した基準領域の追尾が可能となる。即ち、基準領域に彩度の高い被写体が多い場合は、色相の分解能を高くすることで、類似色への誤追尾を回避することが可能である。さらに、基準領域の彩度の平均値に従って、特徴量の彩度の範囲を限定することにより、誤追尾を軽減することが可能になる。また、基準領域に彩度の低い被写体が多い場合は、色相の分解能を低くすることにより、明度が変化した場合にも、追尾性能に冗長性を持たせることができ、追尾不可能な状態や、誤追尾を回避することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

動画を構成する画像の、特定の領域を基準領域として登録する領域登録手段と、
前記基準領域内の画素ごとの彩度、及び色相を検出する検出手段と、
前記彩度、及び色相の分布をもとに、前記基準領域の特徴量を設定する設定手段であって、前記基準領域内の彩度の平均値が閾値以下であれば、前記閾値より大きい場合に比べて、前記基準領域内の色相の分布の分解能を低くして、前記特徴量を設定する設定手段と、
前記基準領域が含まれる画像より後のフレームの画像において、前記特徴量を用いたマッチング処理を行うことにより、前記基準領域を追尾する追尾手段と、
を備えることを特徴とする画像処理装置。
動画を構成する画像の、特定の領域を基準領域として登録する領域登録手段と、
前記基準領域内の画素ごとの彩度、及び色相を検出する検出手段と、
前記彩度、及び色相の分布をもとに、前記基準領域の特徴量を設定する設定手段であって、前記基準領域内の彩度の平均値が低いほど、前記基準領域内の色相の分布の分解能を低くして、前記特徴量を設定する設定手段と、
前記基準領域が含まれる画像より後のフレームの画像において、前記特徴量を用いたマッチング処理を行うことにより、前記基準領域を追尾する追尾手段と、
を備えることを特徴とする画像処理装置。
前記設定手段は、前記基準領域内の画素の、前記色相の分布のうち、予め定めた数よりも多い画素数の色相の分布を、前記特徴量として設定することを特徴とする請求項１または２に記載の画像処理装置。
前記設定手段は、前記基準領域内の彩度の平均値が、予め定められた第１の閾値より大きい場合、前記基準領域内の画素のうち、前記第１の閾値以上で、且つ前記第１の閾値より大きい第４の閾値より小さい範囲の彩度の画素の情報に基づいて、前記特徴量を設定することを特徴とする請求項１または３に記載の画像処理装置。
前記設定手段は、前記基準領域内の彩度の平均値が、前記第１の閾値より大きく、前記第４の閾値より小さい第２の閾値より大きい場合、前記基準領域内の画素のうち、前記第２の閾値以上で、且つ前記第４の閾値より小さい範囲の彩度の画素の情報に基づいて、前記特徴量を設定することを特徴とする請求項４に記載の画像処理装置。
前記設定手段は、前記基準領域内の彩度の平均値が、前記第１の閾値より小さい場合、前記基準領域内の画素のうち、前記第１の閾値より小さい第３の閾値以上で、且つ前記第４の閾値よりも小さい第５の閾値より小さい範囲の彩度の画素の情報に基づいて、前記特徴量を設定することを特徴とする請求項５に記載の画像処理装置。
前記設定手段は、前記特徴量を設定する彩度の範囲より小さい彩度の、前記基準領域内の画素の画素数が、前記特徴量として設定する色相である画素の画素数よりも多い場合、前記彩度の範囲より小さい彩度の画素の色相を、前記特徴量として設定することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
前記特徴量を設定する彩度の範囲に、前記予め定めた数よりも多い画素数の色相の分布が存在しない際は、前記設定手段は、前記特徴量を設定する彩度の範囲より小さい彩度の、前記基準領域内の画素の画素数が、予め定められた彩度の範囲に含まれない画素数よりも多い場合、前記特徴量を設定する彩度の範囲より小さい彩度の画素の色相を、前記特徴量として設定することを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
動画を構成する画像の、特定の領域を基準領域として登録する領域登録工程と、
前記基準領域内の画素ごとの彩度、及び色相を検出する検出工程と、
前記彩度、及び色相の分布をもとに、前記基準領域の特徴量を設定する設定工程であって、前記基準領域内の彩度の平均値が閾値以下であれば、前記閾値より大きい場合に比べて、前記基準領域内の色相の分布の分解能を低くして、前記特徴量を設定する設定工程と、
前記基準領域が含まれる画像より後のフレームの画像において、前記特徴量を用いたマッチング処理を行うことにより、前記基準領域を追尾する追尾工程と、
を備えることを特徴とする画像処理装置の制御方法。
動画を構成する画像の、特定の領域を基準領域として登録する領域登録工程と、
前記基準領域内の画素ごとの彩度、及び色相を検出する検出工程と、
前記彩度、及び色相の分布をもとに、前記基準領域の特徴量を設定する設定工程であって、前記基準領域内の彩度の平均値が低いほど、前記基準領域内の色相の分布の分解能を低くして、前記特徴量を設定する設定工程と、
前記基準領域が含まれる画像より後のフレームの画像において、前記特徴量を用いたマッチング処理を行うことにより、前記基準領域を追尾する追尾工程と、
を備えることを特徴とする画像処理装置の制御方法。