JP2002312796A

JP2002312796A - 主被写体推定装置、撮像装置、撮像システム、主被写体推定方法、撮像装置の制御方法、及び制御プログラムを提供する媒体

Info

Publication number: JP2002312796A
Application number: JP2001110530A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-04-09
Filing date: 2001-04-09
Publication date: 2002-10-25
Anticipated expiration: 2021-04-09
Also published as: JP4669150B2

Abstract

(57)【要約】【課題】主被写体の位置又は方向に関する信頼度の高い
推定を行い、注視（追尾）すべき主被写体を見失うこと
なく適正に検出し続けることができる撮像装置等を提供
する。【解決手段】結像光学系により入力された像の画像信
号を発生する映像センサと、音声を入力して所定の音声
信号を発生する音声入力手段と、撮像条件の制御信号を
発生する制御手段と、前記画像信号又は前記音声信号に
基づき、主被写体の方向又は位置を推定する処理手段と
を有し、前記処理手段は、前記画像信号に基づいて所定
の主被写体のカテゴリ及び該主被写体の方向又は位置を
求める視覚情報処理手段と、前記音声信号を処理して前
記主被写体のカテゴリ及び前記主被写体の方向又は位置
を求める二次感覚情報処理手段と、前記２つの処理手段
の各出力を統合して前記主被写体の方向又は位置を推定
する主被写体推定手段とを有し、前記制御手段は、前記
主被写体推定手段で推定された前記主被写体の撮像に適
するように撮像条件を設定する撮像条件制御手段を備え
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号（視覚情
報）と音声などの二次感覚情報に基づき、被写体の注視
又は追尾を自動的に行う撮像装置等に関する。

【０００２】

【従来の技術】従来画像情報（特定色）のみから対象を
検出し、追尾動作を行うものと、音声も検出して追尾動
作を実現するものなど、様々な追尾装置が提案されてい
る。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例では、次のような問題点があった。

【０００４】（１）上記従来例のうち音声と画像の情報
を用いるものは、音源定位を行って得られる音源の方向
又は位置に存在する被写体の追尾を行う方法か、或いは
画像内に存在する音源位置（又は方向）を推定して同様
の追尾制御を行う方法のいずれかを用いるにすぎなかっ
た。

【０００５】このため、主被写体の位置又は方向の判定
（例えば、人物の音声か、或いは予め登録してある人物
の画像が存在するか、などの判定）の信頼度の高い推定
結果を得ることができない場合があり、適切な追尾動作
が実行されないことがあった。

【０００６】特開２０００−１４８１８４号公報に係る
音声認識装置では、画像解析により、主被写体（話者）
が判定できることを前提としているが、画像情報から推
定する主被写体の位置の信頼性と音声情報の信頼性をい
ずれも考慮していなかった。

【０００７】（２）主被写体に最適な撮像条件の設定を
行いながら、追尾又は注視の安定制御を行うことが困難
な場合があった。例えば、画面内で複数の人物が同時に
発話した場合に、いずれか一方に照準を合わせようと不
安定な振動を伴う光軸制御を行ったりすることがあっ
た。

【０００８】（３）音の情報だけからは、主被写体の方
向を推定することが困難な場合（被写体の発する音の振
幅が他の音と比べて相対的に微弱な場合、雑音が多い場
合など）とそうでない場合とを自動的に区別することの
できる判定手段を備えていないために、注視又は追尾す
べき主被写体を見失う場合があった。

【０００９】なお、本願明細書における注視とは、追尾
のように光軸方向制御を行う場合を含むが、主として注
視すべき対象の画面内領域を検出して、その領域の画像
データを中心として処理（当該領域の画像が適正なピン
ト、露出等で得られるような撮像パラメータの制御、或
いは当該領域に関する高精細化処理、認識処理、特徴抽
出処理など）することを意味する。一方、追尾とは、そ
の対象が画面内の所定位置（中心位置）になるように常
に光軸方向の制御をすることを意味する。

【００１０】（４）主被写体が視野内に写っているにも
かかわらず、音源定位により推定された方向に常時、不
必要な光軸制御を行う結果、入力画像としての安定性に
欠けることがあった。また、テレビ会議に適用した場
合、人物以外の物が発した音の音源方向にカメラの光軸
方向を制御することがあった。

【００１１】（５）ユーザが意図する主被写体が他の被
写体と比べて、音声信号上の特徴或いは画像信号上の特
徴（動きベクトル、形状、色など）において、必ずしも
顕著な差があるとは限らない場合があるが、そのような
場合でも自動的にユーザの意図を抽出し得る手段を備え
た撮像装置は存在しなかった。

【００１２】本発明は上記従来の問題点に鑑み、（１）
主被写体の位置又は方向に関する信頼度の高い推定を行
い、注視（追尾）すべき主被写体を見失うことなく適正
に検出し続けることができ、（２）主被写体に最適な撮
像条件の設定を行いながら、追尾又は注視の安定制御を
行うことができ、（３）不必要な光軸制御を行うのを防
ぎ、入力画像の安定性を確保することができる撮像装置
等を提供することを目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本願発明に係る主被写体推定装置では、視覚情報を
画像情報として処理し所定の主被写体候補に関する検出
結果を出力する画像情報処理手段と、視覚情報以外の感
覚情報である二次感覚情報を処理して前記主被写体候補
に関する検出結果を出力する二次感覚情報処理手段と、
前記２つの処理手段のそれぞれの出力値の信頼度に基づ
いて該二つの処理手段の出力を統合して、主被写体の方
向又は位置を推定する主被写体推定手段とを備えたこと
を特徴とする。

【００１４】また、本願発明に係る主被写体推定装置で
は、画像情報を入力する第一のセンサと、視覚情報以外
の感覚情報である二次感覚情報を入力する少なくとも１
種類以上の二次センサと、前記第一のセンサから入力さ
れた画像情報を処理して所定の主被写体候補に関する検
出結果を出力する画像情報処理手段と、前記二次センサ
から入力された二次感覚情報を処理して前記主被写体候
補に関する検出結果を出力する二次感覚情報処理手段
と、前記２つの処理手段のそれぞれの出力値の信頼度に
基づいて該二つの処理手段の出力の統合をして、主被写
体の方向又は位置を推定する主被写体推定手段とを備え
たことを特徴とする。

【００１５】また、本願発明に係る主被写体推定装置で
は、視覚情報である画像信号を処理して所定の主被写体
のカテゴリ及び該主被写体の方向又は位置を求める視覚
情報処理手段と、前記視覚情報以外の感覚情報である二
次感覚情報の音声信号を処理して前記主被写体のカテゴ
リ及び前記主被写体の方向又は位置を求める二次感覚情
報処理手段と、前記２つの処理手段の各出力を統合して
前記主被写体の方向又は位置を推定する主被写体推定手
段とを備えたことを特徴とする。

【００１６】また、本願発明に係る撮像装置では、結像
光学系からの視覚情報を入力する第一のセンサと、視覚
情報以外の感覚情報である二次感覚情報を入力する少な
くとも１種類以上の二次センサと、前記第一のセンサか
ら入力された視覚情報を処理して所定の主被写体候補に
関する検出結果を出力する視覚情報処理手段と、前記二
次センサから入力された二次感覚情報を処理して前記主
被写体候補に関する検出結果を出力する二次感覚情報処
理手段と、前記２つの処理手段のそれぞれの出力値の信
頼度に基づいて該二つの処理手段の出力の統合をして、
主被写体の方向又は位置を推定する主被写体推定手段
と、前記主被写体推定手段で推定された主被写体の撮像
に適するように撮像条件を設定する撮像条件制御手段と
を備えたことを特徴とする。

【００１７】また、本願発明に係る撮像装置では、画像
を入力する結像光学系と、該結像光学系の光軸方向を所
定方向に回動させる回動手段と、前記結像光学系により
入力された像の画像信号を発生する映像センサと、音声
を入力して所定の音声信号を発生する音声入力手段と、
撮像条件の制御信号を発生する制御手段と、前記画像信
号又は前記音声信号に基づき、主被写体の方向又は位置
を推定する処理手段とを有し、前記処理手段は、前記画
像信号に基づいて所定の主被写体のカテゴリ及び該主被
写体の方向又は位置を求める視覚情報処理手段と、前記
音声信号を処理して前記主被写体のカテゴリ及び前記主
被写体の方向又は位置を求める二次感覚情報処理手段
と、前記２つの処理手段の各出力を統合して前記主被写
体の方向又は位置を推定する主被写体推定手段とを有
し、前記制御手段は、前記主被写体推定手段で推定され
た前記主被写体の撮像に適するように撮像条件を設定す
る撮像条件制御手段を備えたことを特徴とする。

【００１８】また、本願発明に係る主被写体推定方法で
は、視覚情報を画像情報として処理し所定の主被写体候
補に関する検出結果を出力する画像情報処理行程と、視
覚情報以外の感覚情報である二次感覚情報を処理して前
記主被写体候補に関する検出結果を出力する二次感覚情
報処理行程と、前記２つの処理行程のそれぞれの出力値
の信頼度に基づいて該二つの処理行程の出力を統合し
て、主被写体の方向又は位置を推定する主被写体推定行
程とを実行することを特徴とする。

【００１９】また、本願発明に係る主被写体推定方法で
は、画像情報を入力する第一のセンサと、視覚情報以外
の感覚情報である二次感覚情報を入力する少なくとも１
種類以上の二次センサとを有する装置において、前記第
一のセンサから入力された画像情報を処理して所定の主
被写体候補に関する検出結果を出力する画像情報処理行
程と、前記二次センサから入力された二次感覚情報を処
理して前記主被写体候補に関する検出結果を出力する二
次感覚情報処理行程と、前記２つの処理行程のそれぞれ
の出力値の信頼度に基づいて該二つの処理行程の出力の
統合をして、主被写体の方向又は位置を推定する主被写
体推定行程とを実行することを特徴とする。

【００２０】また、本願発明に係る主被写体推定方法で
は、視覚情報である画像信号を処理して所定の主被写体
のカテゴリ及び該主被写体の方向又は位置を求める視覚
情報処理行程と、前記視覚情報以外の感覚情報である二
次感覚情報の音声信号を処理して前記主被写体のカテゴ
リ及び前記主被写体の方向又は位置を求める二次感覚情
報処理行程と、前記２つの処理行程の各出力を統合して
前記主被写体の方向又は位置を推定する主被写体推定行
程とを実行することを特徴とする。

【００２１】また、本願発明に係る撮像装置の制御方法
では、結像光学系からの視覚情報を入力する第一のセン
サと、視覚情報以外の感覚情報である二次感覚情報を入
力する少なくとも１種類以上の二次センサとを実行する
撮像装置において、前記第一のセンサから入力された視
覚情報を処理して所定の主被写体候補に関する検出結果
を出力する視覚情報処理行程と、前記二次センサから入
力された二次感覚情報を処理して前記主被写体候補に関
する検出結果を出力する二次感覚情報処理行程と、前記
２つの処理行程のそれぞれの出力値の信頼度に基づいて
該二つの処理行程の出力の統合をして、主被写体の方向
又は位置を推定する主被写体推定行程と、前記主被写体
推定行程で推定された主被写体の撮像に適するように撮
像条件を設定する撮像条件制御行程とを実行することを
特徴とする。

【００２２】また、本願発明に係る撮像装置の制御方法
では、画像を入力する結像光学系と、該結像光学系の光
軸方向を所定方向に回動させる回動手段と、前記結像光
学系により入力された像の画像信号を発生する映像セン
サと、音声を入力して所定の音声信号を発生する音声入
力手段とを有し、前記画像信号又は前記音声信号に基づ
き、主被写体の方向又は位置を推定する処理行程を実行
する撮像装置において、前記処理行程は、前記画像信号
に基づいて所定の主被写体のカテゴリ及び該主被写体の
方向又は位置を求める視覚情報処理行程と、前記音声信
号を処理して前記主被写体のカテゴリ及び前記主被写体
の方向又は位置を求める二次感覚情報処理行程と、前記
２つの処理行程の各出力を統合して前記主被写体の方向
又は位置を推定する主被写体推定行程とを行い、その後
に、前記主被写体推定行程で推定された前記主被写体の
撮像に適するように撮像条件を設定する撮像条件制御行
程を実行することを特徴とする。

【００２３】また、本願発明に係る制御プログラムを提
供する媒体では、視覚情報を画像情報として処理し所定
の主被写体候補に関する検出結果を出力する画像情報処
理ステップと、視覚情報以外の感覚情報である二次感覚
情報を処理して前記主被写体候補に関する検出結果を出
力する二次感覚情報処理ステップと、前記２つの処理ス
テップのそれぞれの出力値の信頼度に基づいて該二つの
処理ステップの出力を統合して、主被写体の方向又は位
置を推定する主被写体推定ステップとを有する制御プロ
グラムを備えたことを特徴とする。

【００２４】また、本願発明に係る制御プログラムを提
供する媒体では、画像情報を入力する第一のセンサと、
視覚情報以外の感覚情報である二次感覚情報を入力する
少なくとも１種類以上の二次センサとを有する装置を実
行するための制御プログラムを提供する媒体であって、
前記制御プログラムは、前記第一のセンサから入力され
た画像情報を処理して所定の主被写体候補に関する検出
結果を出力する画像情報処理ステップと、前記二次セン
サから入力された二次感覚情報を処理して前記主被写体
候補に関する検出結果を出力する二次感覚情報処理ステ
ップと、前記２つの処理ステップのそれぞれの出力値の
信頼度に基づいて該二つの処理ステップの出力の統合を
して、主被写体の方向又は位置を推定する主被写体推定
ステップとを備えたことを特徴とする。

【００２５】また、本願発明に係る制御プログラムを提
供する媒体では、視覚情報である画像信号を処理して所
定の主被写体のカテゴリ及び該主被写体の方向又は位置
を求める視覚情報処理ステップと、前記視覚情報以外の
感覚情報である二次感覚情報の音声信号を処理して前記
主被写体のカテゴリ及び前記主被写体の方向又は位置を
求める二次感覚情報処理ステップと、前記２つの処理ス
テップの各出力を統合して前記主被写体の方向又は位置
を推定する主被写体推定ステップとを有する制御プログ
ラムを備えたことを特徴とする。

【００２６】また、本願発明に係る制御プログラムを提
供する媒体では、結像光学系からの視覚情報を入力する
第一のセンサと、視覚情報以外の感覚情報である二次感
覚情報を入力する少なくとも１種類以上の二次センサと
を備えた撮像装置を実行するための制御プログラムを提
供する媒体であって、前記制御プログラムは、前記第一
のセンサから入力された視覚情報を処理して所定の主被
写体候補に関する検出結果を出力する視覚情報処理ステ
ップと、前記二次センサから入力された二次感覚情報を
処理して前記主被写体候補に関する検出結果を出力する
二次感覚情報処理ステップと、前記２つの処理ステップ
のそれぞれの出力値の信頼度に基づいて該二つの処理ス
テップの出力の統合をして、主被写体の方向又は位置を
推定する主被写体推定ステップと、前記主被写体推定ス
テップで推定された主被写体の撮像に適するように撮像
条件を設定する撮像条件制御ステップとを備えたことを
特徴とする。

【００２７】また、本願発明に係る制御プログラムを提
供する媒体では、画像を入力する結像光学系と、該結像
光学系の光軸方向を所定方向に回動させる回動手段と、
前記結像光学系により入力された像の画像信号を発生す
る映像センサと、音声を入力して所定の音声信号を発生
する音声入力手段とを有し、前記画像信号又は前記音声
信号に基づき、主被写体の方向又は位置を推定する処理
ステップを実行する撮像装置を実行するための制御プロ
グラムを提供する媒体であって、前記制御プログラム
は、前記処理ステップは、前記画像信号に基づいて所定
の主被写体のカテゴリ及び該主被写体の方向又は位置を
求める視覚情報処理ステップと、前記音声信号を処理し
て前記主被写体のカテゴリ及び前記主被写体の方向又は
位置を求める二次感覚情報処理ステップと、前記２つの
処理ステップの各出力を統合して前記主被写体の方向又
は位置を推定する主被写体推定ステップとを備え、さら
に、前記主被写体推定ステップで推定された前記主被写
体の撮像に適するように撮像条件を設定する撮像条件制
御ステップを備えたことを特徴とする。

【００２８】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。

【００２９】［第１実施形態］＜撮像装置の要部構成図＞図１は、本発明の第１実施形
態に係る撮像装置の要部構成図である。

【００３０】同図に示すように、この撮像装置は、結像
光学系１、センサ信号処理回路を含む映像センサ２、画
像処理部３、マイクロフォン４、音声処理部５、主被写
体方向等推定部６、これらの動作を司る制御部７、及び
光軸方向制御部１０光軸方向制御部１０などから構成さ
れる。

【００３１】結像光学系１は、画像入力のためのレンズ
と、そのレンズのピント制御のためのレンズモータ駆動
手段等から構成され、光軸方向制御部１０光軸方向制御
部１０は、所定の軸周りのセンサを含む光学系の回動部
から構成されている。これらは、制御部７からの制御信
号により駆動する。

【００３２】前記回動部としては、典型的には、回転雲
台、モータ及びモータドライバなどから構成されるが、
左右方向のみならず、上下方向、センサ面内の回転等を
含めた回動を可能とするような機構を備えたものであっ
ても良い。

【００３３】映像センサ２は、典型的にはＣＭＯＳイメ
ージセンサなどを用い、センサ駆動回路（不図示）から
の読み出し制御信号により所定の映像信号が出力され
る。映像センサ２に含まれるセンサ信号処理回路は、露
光量制御パラメータ、及びホワイトバランス制御パラメ
ータを有する他、これ以外の撮像パラメータ制御用信号
処理回路（不図示）を含む。

【００３４】画像処理部３は、所定のカテゴリの被写体
認識（検出）用の回路であり、入力された画像データ中
から予め登録されたカテゴリの被写体を検出する。カテ
ゴリの種類としては、例えば人物、車などのような大分
類から、人物の中での老若男女に類する中程度のクラ
ス、さらに名称を与えられた特定人物レベルまでの細分
化したクラスまであるものとする。ここでは、与えられ
たクラスのカテゴリに対応したモデルデータが画像処理
部３内のモデルデータ記憶部３１に格納されている。画
像処理部３の構成及び処理については後で説明する。

【００３５】マイクロフォン４ａ〜４ｄは、撮像装置上
の複数の所定位置に配置され、音声処理部５は、音源定
位回路５１及び音声認識回路５２などから構成される。
このマイクロフォン４ａ〜４ｄは、画像（視覚）情報以
外の感覚情報をセンシングする二次センサとしての役割
を担うものであり、音声処理部５は、その二次センサに
付随する二次感覚情報処理手段としての性格を有する。

【００３６】音源定位回路５１は、複数のマイクロフォ
ン４ａ〜４ｄからの音声信号を処理して、音源の位置を
推定する回路で、例えば、マイクロフォン４ａ〜４ｄの
出力信号の位相関係や相互相関関数の最大値を与える時
間差を求め、音源方向及び音源までの距離を計測するも
のである。

【００３７】本実施形態では、少なくとも４つのマイク
ロフォン４ａ〜４ｄを配し、音源定位では、そのうちの
２つないし３つの一定の指向性を有するマイクロフォン
を用いて所定範囲の方向についての音源定位を行う。こ
こに、各マイクロフォン４ａ〜４ｄは、一定の指向性を
有するものとする。

【００３８】音声認識回路５２は、通常の音声認識の他
に人物の音声か否かなどのカテゴリ判定や特定人物の音
声か否かの検出をも行う。さらに、前処理として音声特
徴ベクトルなどの特徴量の抽出も行う。

【００３９】また、音声認識回路５２からの出力には、
特定されたカテゴリの検出信頼度に相当する信号も出力
される。特定カテゴリの音声情報は、予め音声情報記憶
手段にモデル音声データ（予め登録された参照音声の辞
書データ）として記憶され、特定カテゴリに関する検出
信頼度（或いは確信度）は、このモデル音声データとの
マッチング処理の結果として求められる。

【００４０】音声認識に適した手法としては、ＤＴＷ
（ＤｙｎａｍｉｃＴｉｍｅＷａｒｐｉｎｇ）法、統
計的確率モデルＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖ
Ｍｏｄｅｌ）法、動的計画法、即ちＤＰ（Ｄｙｎａｍｉ
ｃＰｒｏｇｒａｍｍｉｎｇ）法、その他固定次元の音
声特徴ベクトルを基本とする符号類似度法、部分空間
法、ＬＶＱ法（ＬｅａｒｎｉｎｇＶｅｃｔｏｒＱｕ
ａｎｔｉｚａｔｉｏｎ法）などがある。例えば、ＤＰ法
やＨＭＭ法を用いた場合には、音声に関する上述した信
頼度は、参照音声パターンと入力音声パターンとの距離
と予め設定された閾値との比により求められる。なお、
信頼度としては他の方法により定義された指標を用いて
も良いことは言うでもない。

【００４１】主被写体方向等推定部６は、主被写体の方
向又は位置を推定する手段であり、その処理の詳細につ
いては後述する。

【００４２】＜画像処理部３の詳細＞次に、図２を参照
して画像処理部３の内部構成について説明する。

【００４３】この画像処理部３は、入力画像データ中の
各場所（サンプリング点）において、幾何学的特徴やそ
の他の特徴（例えば、色、動きベクトル情報など）を抽
出することにより、所定のカテゴリの被写体認識（検
出）を行う。画像処理部３からは認識結果として、検出
された対象のカテゴリとその入力画像データ上での位置
が出力される。

【００４４】画像処理部３は、複数の検出すべき被写体
のカテゴリの画像情報を予めモデルデータとして記憶す
るモデルデータ記憶部３１と、所定サンプリング点位置
で上述した特徴量の抽出を行う特徴抽出部３２と、抽出
された特徴量に基づき入力画像データとモデルデータと
のマッチング処理（類似度算出）を行うマッチング処理
部３３とを主たる構成要素として有する。

【００４５】マッチング処理部３３で行う処理として
は、例えば、被写体距離に応じたサイズのテンプレート
モデル画像を生成し、これを用いて画面内を走査しなが
ら、各場所で正規化相関係数などを計算することにより
入力画像の局所部分とモデルデータとの類似度分布を算
出する周知の方法がある。一般的にはその類似度分布の
最大値が所定の閾値を越えていれば、そのカテゴリに属
するパターンが検出されたことになる。

【００４６】そして、主被写体として検出された被写体
の検出信頼度（或いは確信度）とその画面内での位置情
報がマッチング処理部３３から出力されるか、或いは、
主被写体が画面内で検出されなかった場合には、主被写
体の未検出信号が所定の形式で出力される。

【００４７】なお、本実施の形態において、処理時間短
縮のために予め時系列入力画像データから公知の方法に
よる一次特徴量（動きベクトル、色情報などの低次特徴
量）抽出を行っておき、主被写体が存在する可能性の高
い候補領域を抽出して探索範囲の絞り込みを行っておい
ても良い。例えば、色情報抽出により、予め登録してあ
るモデル画像データの要部の色彩（例えば、人物の肌色
など）に近い色彩を有する画像領域を閾値処理により抽
出しても良いし、或いは（さらに、それらの画像領域の
中で）、一定サイズ以上のまとまった動きベクトル量を
有する領域を被写体候補領域として抽出する。その後、
候補領域内の各サンプリング点についてのみ上述した類
似度算出を行う方法がある。

【００４８】また、本実施の形態の撮像装置は、所定位
置に設置されているものとする。仮に手持ち撮影を行う
場合には、撮像装置そのものの動きに伴うグローバルな
動きベクトル量（Ｅｇｏ-ｍｏｔｉｏｎベクトル）を抽
出して、それを全体の動きベクトル分布から減殺した後
に動きベクトル量に基づく領域分割を行って候補領域を
求めれば良い。

【００４９】前処理用に抽出する一次特徴量としては、
このような色彩情報や動きベクトル情報から得られる特
徴量に限定される必要はなく、他の低次の特徴量（例え
ば、特定範囲の方向成分と特定範囲の空間周波数を有す
るような幾何学的特徴、或いは局所的特徴要素など）用
いても良いことは言うまでもない。また、算出された最
大類似度に対する閾値の比を信頼度として用いるが、他
の方法により定義される指標（例えば、所定時間幅で算
出した最大類似度の分散値など）を信頼度として用いて
も良い。なお、以上に示した前処理は、後で説明する図
３のステップＳ６で行う処理にほかならない。

【００５０】一方、上述した被写体距離としては、入力
画像データ中の局所的な合焦レベル信号と他の撮像条件
（焦点距離、倍率など）から推定するか、或いは、所定
の距離計測手段（複眼撮像系、レーザ測距手段など）を
用いて算出すれば良い。所定カテゴリに属する主被写体
画像の位置、領域の検出には、類似度と所定の閾値との
比較により、類似度が閾値以上となったときに検出され
たと判定するような処理方法などが用いられる。

【００５１】なお、マッチング処理部３３としては他の
周知の処理方法を用いても良い。＜主被写体の方向又は位置の推定処理＞次に、主被写体
方向等推定部６での処理について図３のフローチャート
を参照して説明する。ここでは、音声情報に基づいて得
られる音源位置又は方向に関する推定値の信頼度と、入
力画像情報に基づいて得られる主被写体位置又は方向に
関する信頼度の双方の結果を統合することにより、主被
写体の位置又は方向の推定を行う。

【００５２】先ず、ステップＳ１で信頼度の値を画像処
理系統（画像処理部３）と音声処理系統（音声処理部
５）との２つの処理系統から入力する。続いてステップ
Ｓ２において信頼度の値がいずれも所定の基準値より大
であるか否かを判定し、信頼度の値がいずれも所定の基
準値より大である場合は、入力画像内に少なくとも主被
写体が存在することが判定されたことになるので、次に
ステップＳ３において画像情報から推定された主被写体
の方向又は位置と音声情報に基づいて推定された主被写
体の方向又は位置とが矛盾するか否かを判定する。

【００５３】ここでは、画像処理系統により推定される
主被写体のカテゴリと音声処理系統から推定される主被
写体のカテゴリとが一致するか否かを判定し、さらに両
系統により推定された主被写体の方向が画面内の視野角
の範囲を基準として著しく隔たっていないか否かを判定
する。そして夫々の判定結果が一致（主被写体のカテゴ
リが一致し、かつ方向が視野角の例えば３分の１以下の
分解能で一致）していれば矛盾なしと判定する。

【００５４】矛盾有りと判定される場合（例えば前者の
カテゴリが一致し、後者の方向の相違が基準値以上とな
る場合）は、一般的には、音声処理系統において推定さ
れた方向の信頼度が低いか、画像処理系統において推定
された方向の信頼度が低い場合、或いはそれら両方のい
ずれかの場合に上述したような矛盾が生じると考えられ
る。ステップＳ５において、しかしながらここでは、信
頼度が共に基準値より大である場合に限られるので、被
写体の推定の信頼度を向上させる処理を行う。例えば、
音声処理部５において、文脈に依存した処理やその他高
次の推論処理をおこなう。また、画像処理部においても
更なる高度の被写体の推定の判定を行う。これら高度の
推定によって得られた音声認識処理結果と画像認識処理
結果に基づいて、主被写体の確度を判定することにより
主被写体の方向を推定することにする（ステップＳ
５）。この処理ステップＳ５の内容は後述する。

【００５５】次に各系統の被写体の推定方向の信頼度の
うち、一方の値だけが基準値より小さい場合には、基準
値を越えた方の系統の被写体の推定方向のみを主被写体
の存在方向とする（ステップＳ７）。例えば、音声処理
系統からの推定方向の信頼度が所定の基準値より低い場
合、典型的には撮像装置から画面内に存在する複数の人
物までの距離がとマイクロフォンからの距離と比べて十
分に大きい場合には、音声処理系統からの推定方向の信
頼度が低くなると考えられる。このような状態を自動的
に検出するには、例えば撮像装置に搭載されるＡＦ用セ
ンサからの合焦度信号と倍率に基づいて推定される被写
体距離（マイクロフォン間距離を基準とする）から予め
信頼度係数値を求めておき、それを参照テーブルとして
記憶するＲＯＭなどのメモリから当該係数値データを読
み出せば良い。

【００５６】次に、両方とも信頼度が低い場合（例え
ば、主被写体が動作、発話などを殆ど停止した場合、或
いは予め登録されてあるカテゴリの被写体の検出ができ
ていない場合など）の処理（ステップＳ６）、及び撮像
条件の制御について説明する。この場合、ステップＳ６
において、画像処理系統の前処理（前述）で抽出する特
徴量、即ち一次特徴量（動きベクトル、色情報など）の
変化量の分布を抽出し、その変化量分布の領域分割など
を行うことにより、最も顕著に変化した領域の存在する
位置を主被写体の位置（方向）として推定する。なお、
画像処理系統において予め登録されてあるカテゴリを連
続的に検出できている場合には、信頼度の値が両方とも
低くても制御部７は、同一の撮像条件（光軸方向、倍
率、ピント、露光条件など）を維持するものとする。

【００５７】ステップＳ３において矛盾なしと判定され
た場合には、次に主被写体の存在方向の推定を各処理系
統からの出力値の信頼度に基づき次のように行う（ステ
ップＳ４）。

【００５８】音源定位により推定された主被写体の方向
Ｄｓを画像内の位置Ｒ_Sにより表し、画像処理により推
定された主被写体の方向を画像内の位置Ｒ_Iにより表
す。また、それぞれの推定値の信頼度をＣ_S、Ｃ_Iにより
表す。このとき、２つの推定方向Ｒ_S，Ｒ_Iを次のように
して合成することにより主被写体の推定方向Ｒを得る。

【００５９】Ｒ＝（μＣ_SＲ_S＋Ｃ_IＲ_I）／（μＣ_S＋Ｃ_I）ここにμは、１より小さい正の係数で、音源定位により
推定された被写体方向の不確定さ（予め算出した値又は
画像情報処理系統により得られた推定方向の信頼度に基
づき算出した）を表す。

【００６０】なお、上述したような異なる種類の信号の
統合による主被写体の推定方向の算出方法としてその他
の方法を用いても良い。

【００６１】次に、ステップＳ３で矛盾有りと判定され
た後のステップＳ５での処理について説明する。ここで
は上記２つの推定方向Ｒ_S，Ｒ_Iからの合成を行わず、以
下に示すような音声カテゴリ認識結果を用いた画像処
理、或いは口唇を検出してその動き検出の有無を判定す
る公知の方法により発話者を同定するなどの処理を用い
て主被写体の存在方向の推定を行う。

【００６２】具体的に例示するために複数の人物が画面
内に存在する場合について音声認識結果を用いる処理に
ついて説明する。この場合、前提条件として、予め各人
物の画像に関する特徴データが抽出されてモデルデータ
として登録されている一方、各人物の名称とその発する
音声の特徴辞書が与えられているものとする。

【００６３】例えば、テレビ会議などで予め参加する人
物の顔画像の特徴量データと音声の特徴量データ、及び
名称がそれぞれ与えられており、また、モデルデータの
特徴量分布と入力画像の特徴量分布との類似度算出を行
うような画像認識処理により、画面内の各人物の位置及
び名称が予め同定されているものとする。

【００６４】ここでは、入力された音声の特徴量抽出と
特徴辞書データとの照合処理などを行う音声カテゴリ認
識処理により発話者の同定（要するに主被写体の名称の
特定）を行い、その特定された人物の存在する画像面内
の方向（上述したように予め人物ごとの方向が検出され
ている）に光軸方向の制御を行う。この音声カテゴリ認
識処理とは、発話の内容を認識するための処理というよ
りはむしろ、発話者を同定することを主目的とし、さら
に発話者同定後に主被写体を選定するために必要があれ
ばいわゆる音源分離及び音声認識も行うものである。

【００６５】例えば、スペクトログラム、周波数分析に
より得られる音声特徴ベクトル列などから有声音か否
か、及び有声音であれば発話者の同定（分類）を行い、
さらに必要であればＤＴＷなどの手法により音声認識を
行う。この処理の結果、非有声音（非意図的発声）が検
出された場合は、仮に特定話者の音声であってもその方
向が画面内になければ、主被写体候補とは判定しない。
また、有声音であって、予め登録された話者の音声が検
出された場合には、非有声音であっても、主被写体候補
と判定する。

【００６６】なお、複数の話者が異なる方向から同時に
発話するような場合には、音源分離及び音声認識処理に
より、それぞれの音声特徴量（或いは、特徴ベクトル）
に関する連続性が保持されるような話者を主被写体と判
定する。

【００６７】また、同じ画面内の近接した位置に人物が
存在しているために、光軸方向の制御量（光軸方向の変
化量）が所定の基準値（例えば、画面サイズ相当の角度
幅の２０％など）より小さい場合には、画像の安定化の
ために光軸制御を行わないようにしても良い。

【００６８】＜撮像制御＞次に、主被写体のカテゴリ及
び方向の推定後に行う撮像制御について図４のフローチ
ャートを参照して説明する。ここでは、例えば特定被写
体を中心とするフォーカシング、露出補正、ズーミン
グ、或いは色補正などの処理、或いは光軸方向を制御し
て主被写体の存在する方向への光軸制御を行う。なお、
適切な露出制御、色補正を行うために測光領域は所定の
数に小分割されているものとする。

【００６９】この場合に、判定処理（ステップＳ１１）
において、色補正及び露出補正に関しては、画面内に主
被写体が存在すると判定されていれば、当該主被写体方
向への光軸方向の制御（ステップＳ１２）を行った後、
ステップＳ１３において当該主被写体の領域が予め被写
体カテゴリごとに設定された最適撮像条件が格納された
所定の記憶手段（以下、撮像制御パラメータ記憶手段と
いう）から撮像条件制御パラメータを読み出し、当該主
被写体に適するように撮像条件の計測制御を行う（ステ
ップＳ１４及びステップＳ１５）。

【００７０】例えば、主被写体が特定の人物であれば、
その人物に適した（例えば、その人物に適した所定の肌
色が得られるような）露出量（測光量に応じた値とし
て）、及び色補正処理パラメータを撮像制御パラメータ
記憶手段から読み出し、またその人物領域に関する測光
量を検出し（ステップＳ１４）、これに対応した最適撮
像条件の制御（ステップＳ１５）を行う。

【００７１】さらに、そのカテゴリの主被写体に関する
画面内サイズが一定範囲で決まっている場合には、その
範囲のサイズで撮像されるようにズーミング量の制御を
行う（ステップＳ１５）。典型的には、人物の顔が主被
写体である場合、そのサイズは個人差が少なく、人物か
ら撮像手段までの距離をｄ、焦点距離をｆ、顔（主被写
体）のサイズをＳ、画面上に写る顔（主被写体）のサイ
ズをｓとすると、ｓ＝（ｆ／ｄ−ｆ）・Ｓの関係が成り立つ（ただし、ｄ＞ｆとする）。

【００７２】従って、主被写体のサイズが一定に保たれ
るようにするには、制御部７の内部にあるＡＦ制御回路
（不図示）内の距離検出部から得られる距離信号（所定
の測距エリア内部にある主被写体までの距離に相当する
信号；なお、測距エリアは複数箇所にあるものとし、主
被写体が検出された測距エリアについて距離信号を求め
るようにしても良い）を用い、画面上の主被写体サイズ
ｓが一定に保持されるように焦点距離ｆを制御すれば良
い。

【００７３】主被写体領域の簡易な推定には、例えば人
物の顔領域の中心位置のみを画像処理部３が検出し、そ
の領域については上式に基づいて算出されるサイズｓか
ら当該領域を推定しても良い。その後、当該領域につい
ての周知の方法（例えば、本出願人に係る特開平０８−
２７８５２８号公報に開示された方法など）による測光
情報を得て、その結果に基づき露出制御などを行っても
良い。

【００７４】ステップＳ１１の判定において画面内に主
被写体が存在しないか、或いは画像処理系統からの出力
値の信頼度が低い場合であって、音源定位処理と音声認
識処理により主被写体のカテゴリ、及び方向又は位置が
推定された場合には、音源定位により推定された方向に
光軸制御を行う（ステップＳ１６）。

【００７５】この場合、その後さらに必要に応じて、ス
テップＳ１７において当該主被写体の画面内位置及び領
域の推定（画像処理系統からの出力と音声処理系統から
の出力を用いる前述した処理）を行っても良い。

【００７６】そして画面内に主被写体が存在する場合と
同様に、検出された主被写体領域（又は画面中央部固定
の所定サイズの測光エリア）での測光量を得て（ステッ
プＳ１４）、前述したような露光量制御、色補正処理、
及びズーミング制御（ステップＳ１５）などを行う。

【００７７】以上説明したように、本実施形態によれ
ば、視覚情報と音声情報とを入力し、処理して画像の一
次特徴検出処理、画像認識処理、音源定位処理、音声認
識処理結果などに基づき得られる主被写体の方向（又は
位置）に関する情報を、その信頼度や画像処理系統と音
声処理系統で検出された被写体候補のカテゴリ間の整合
性に基づき統合することにより、注視又は追尾すべき主
被写体を選択するので、注視（追尾）すべき主被写体を
適正に検出し続けることができる。

【００７８】例えば、主被写体以外の外乱となる音声が
入力された場合、たとえそれが、人物の発する音声であ
っても、音声認識と画像認識結果から推定される主被写
体のカテゴリ間の整合性（連続して動きの伴う同一カテ
ゴリの被写体を主被写体と優先的に判定する）、各特徴
の連続性に基づく処理を行うので、適正な主被写体を選
択する確実性を高くすることができる。

【００７９】また、画面内に主被写体が撮像されていな
い場合でも音源定位処理と音声認識処理により、主被写
体の方向及びカテゴリを推定するので、ＴＶ会議などに
も適用することができる。

【００８０】［第２実施形態］＜撮像装置の構成＞図５は、本発明の第２実施形態に係
る撮像装置の構成を示すブロック図である。

【００８１】本実施形態の撮像装置は、指示入力部１１
５０（ここでは視線検出部）を搭載し、ユーザの指示
（視線によって指定された注視対象）を検出しながら、
画像情報と音声情報に基づいて検出された主被写体のピ
ント、露出、倍率、光軸方向やその他の撮像条件の制御
を行うような注視（追尾）機能を有する。ここでは、ユ
ーザの介在（視線により意図された被写体の更新）によ
り注視すべき対象を更新することができる点が第一実施
形態と異なる点である。このようにインタラクティブに
注視（追尾）対象を更新する機能は、複数の主被写体候
補がそれぞれ独立した動作をしている場合などに、いず
れの被写体候補を注視（追尾）するのかを選択（更新）
するのに用いられる。

【００８２】図５において、本実施形態の撮像装置は、
結像光学系１１０２として、広角レンズを用いた主被写
体の探索用光学系（広角レンズ系）１１０２Ａと、実際
に高精細画像を入力するための注視用光学系（狭角、或
いは望遠レンズ系）１１０２Ｂの２系統を有し、後者
（１１０２Ｂ）はレンズ及びズーム撮影用駆動制御機構
を含む結像光学系である。

【００８３】実際に撮像を行うための映像センサ１１０
３は、ＣＣＤ又はＣＭＯＳイメージセンサであるが、こ
の他に視線検出手段１１５０にもイメージセンサ（不図
示）が搭載されている。撮像装置としてはこれらの他
に、合焦信号やレンズモータの撮像パラメータの計測部
１１０４、映像信号処理回路１１０５、記憶部１１０
６、撮像動作の制御や光軸方向その他の撮像条件制御な
どの制御用信号を発生する制御信号発生部１１０７、Ｅ
ＶＦなどファインダを兼ねた表示ディスプレイ１１０
８、及び不図示の記録媒体、ストロボ発光部など、撮像
装置として通常搭載される要素を搭載する。

【００８４】さらに、後述するようなユーザの介在（指
示）により注視すべき被写体の更新や変更を可能とする
ための指示入力部（視線検出部）１１５０、指示入力部
１１５０に導光するためのクイックリターンミラー１１
１５、音声入力手段としてのマイクロフォンアレイ１２
００ａ〜１２００ｆ、マイクロフォンアレイ１２００ａ
〜１２００ｆを通じて入力される音声情報データから音
源定位や音声認識を行う音声処理部１２１０、さらに画
像情報と音声情報とから主被写体の存在方向又は位置な
どを推定する主被写体推定部１３００を備える。なお、
図５において各マイクロフォン１２００ａ〜１２００ｆ
と音声処理手段１２１０との間の結線は省略してある。

【００８５】この撮像装置は、例えば探索用光学系１１
０２Ａから入力された画像情報、及びマイクロフォンア
レイ１２００から入力された音声信号から、予め登録さ
れた人物の顔画像の検出（存在位置又は方向の検出）を
主被写体推定部１３００により行う。その際の主被写体
の方向又は位置の推定処理は第一実施形態に示した方法
と同様である。

【００８６】主被写体（人物）の位置及びサイズ情報
が、そのカテゴリ情報と共に主被写体推定部１３００か
ら制御信号発生部１１０７に入力されると、同制御信号
発生部１１０７は、撮像パラメータ計測部１１０４から
の出力に基づき、その人物に対するピント制御、露出条
件制御、及びホワイトバランス制御などを最適に行う制
御信号を発生する。ここでも、撮像条件の制御は、第一
実施形態において図４に示した処理手順と同様である。

【００８７】＜主被写体変更指示が可能な主被写体方向
の推定・撮像制御処理＞次に、ユーザが探索用光学系１
１０２Ａにより入力された画像データを観察して主被写
体の指示を、指示入力部１１５０を用いて行うことがで
きるような処理制御手順について、図６のフローチャー
トを参照しながら説明する。

【００８８】先ず、ユーザからの指示入力の有無を判定
し（ステップＳ６０）、指示入力がない場合には、第１
実施形態と同様に（図３のステップＳ１〜ステップＳ
７）、主被写体の方向及びカテゴリの判定処理（ステッ
プＳ６１）を探索用光学系１１０２Ａから入力される画
像データとマイクロフォンアレイ１２００から入力され
る音声データを処理して行う。

【００８９】その後、注視用撮像系１１０２Ｂでは指示
された主被写体の存在する方向への光軸方向の制御（ス
テップＳ６２）や、その主被写体の撮像に適した撮像条
件（露出、倍率など）の読み出し（ステップＳ６３）及
び制御（ステップＳ６４，ステップＳ６５）を行う。し
かる後、さらに主被写体の移動に追随するような光軸方
向の制御を伴う追尾撮影を行っても良い。

【００９０】また、所定のタイミングでユーザの指示入
力の有無を継続して判定し（ステップＳ６０）、主被写
体の変更の指示入力があった場合（追尾中の主被写体と
異なる被写体方向への視線検出がなされた場合）には、
指示方向への光軸方向の制御（ステップＳ６６）を行
い、主被写体の変更と変更後の主被写体カテゴリに適し
た撮像条件を前述した（第一実施形態）撮像条件制御パ
ラメータ記憶部から読み出し（ステップＳ６３）、主被
写体領域での測光などを行い（ステップＳ６４）、撮像
条件の制御を行う（ステップＳ６５）。

【００９１】なお、ステップＳ６６とステップＳ６３の
処理の間に、必要に応じて、当該主被写体の画面内位置
及び領域の推定を行っても良い（ステップＳ６７）。

【００９２】ここで用いる指示入力部としては、周知の
視線検出方法を用いている。例えば、ファインダ視野内
を観察しているユーザの視線方向を検出すると、ファイ
ンダディスプレイ上の当該方向に相当する位置にマーカ
を表示する。このマーカの位置がユーザの意図する主被
写体と一致する場合に、撮影開始のボタンをユーザが押
すと、以後継続して当該被写体を追尾撮影する。

【００９３】この追尾撮影に伴う主被写体の位置又は方
向の推定処理、及び光軸制御処理は第１実施形態で示し
た処理と同様に行う。ただし、図６に示した処理に拘わ
らず、途中でユーザからの変更指示入力があると、ユー
ザによって指示された主被写体の方向（又は位置）への
光軸制御やその露出、ピント、倍率などの制御を行う。

【００９４】なお、上述した図３、図４、又は図６のフ
ローチャートに従ったプログラムを制御部７等の記憶装
置に格納し動作することにより、上述の制御方法を実現
させることが可能となる。

【００９５】本発明は、上述した実施形態の装置に限定
されず、複数の機器から構成されるシステムに適用して
も、１つの機器から成る装置に適用しても良い。前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記憶した記憶媒体をシステム或いは装置に供給
し、そのシステム或いは装置のコンピュータ（又はＣＰ
ＵやＭＰＵ）が記憶媒体に格納されたプログラムコード
を読み出し実行することによっても、完成されることは
言うまでもない。

【００９６】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。プログラムコードを供
給するための記憶媒体としては、例えば、フロッピー
（登録商標）ディスク、ハードディスク、光ディスク、
光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テー
プ、不揮発性のメモリカード、ＲＯＭを用いることがで
きる。また、コンピュータが読み出したプログラムコー
ドを実行することにより、前述した実施形態の機能が実
現されるだけではなく、そのプログラムコードの指示に
基づき、コンピュータ上で稼動しているＯＳなどが実際
の処理の一部又は全部を行い、その処理によって前述し
た実施形態の機能が実現される場合も含まれることは言
うまでもない。

【００９７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、次のプログラムコードの指
示に基づき、その拡張機能を拡張ボードや拡張ユニット
に備わるＣＰＵなどが処理を行って実際の処理の一部又
は全部を行い、その処理によって前述した実施形態の機
能が実現される場合も含まれることは言うまでもない。

【００９８】

【発明の効果】以上詳細に説明したように本発明によれ
ば、次のような効果を奏する。

【００９９】（１）画像情報処理手段及び二次感覚情報
処理手段より得られた主被写体の方向（又は位置）に関
する情報を、その信頼度や、検出された主被写体のカテ
ゴリ間の整合性に基づき統合することにより主被写体を
選択するので、主被写体の位置又は方向に関する信頼度
の高い推定を行うことができ、注視（追尾）すべき主被
写体を見失うことなく適正に検出し続けることができ
る。

【０１００】特に、ユーザが意図する主被写体が他の被
写体と比べて音声信号上或いは画像信号上の特徴におい
て顕著でない場合であっても、自動的にユーザの意図す
る主被写体を抽出することが可能である。

【０１０１】（２）適正に検出された主被写体の撮像に
適するように撮像条件を設定するので、主被写体に最適
な撮像条件の設定を行いながら、追尾又は注視の安定制
御を行うことが可能になる。

【０１０２】（３）適正に検出された主被写体の方向又
は位置に光学系の光軸方向を制御するようにしたので、
不必要な光軸制御を行うのを防止でき、入力画像の安定
性を確保することが可能である。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る撮像装置の要部構
成図である。

【図２】図１中の画像処理部３の内部構成を示すブロッ
ク図である。

【図３】第１実施形態に係る主被写体の方向等の推定処
理を示すフローチャートである。

【図４】第１実施形態に係る撮像制御処理を示すフロー
チャートである。

【図５】本発明の第２実施形態に係る撮像装置の構成を
示すブロック図である。

【図６】第２実施形態に係る処理を示すフローチャート
である。

【符号の説明】

１結像光学系２映像センサ３画像処理部４ａ〜４ｄマイクロフォン５音声処理部６主被写体方向等推定部７制御部１０光軸方向制御部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ１０Ｌ 15/24 Ｈ０４Ｒ 1/34 ３２０５Ｌ０９６ 15/28 3/00 ３２０ 17/00 Ｈ０４Ｓ 5/02 ＤＨ０４Ｎ 7/18 Ｇ１０Ｌ 3/00 ５１１Ｈ０４Ｒ 1/34 ３２０５５１Ｇ 3/00 ３２０５４５ＦＨ０４Ｓ 5/02 ５７１ＱＦターム(参考） 5C054 FC07 FC12 FC13 GB13 HA19 HA31 5D015 AA06 DD02 5D018 BB03 5D020 BB04 BB06 5D062 BB10 5L096 CA02 FA67 FA69 HA05

Claims

【特許請求の範囲】

【請求項１】視覚情報を画像情報として処理し所定の
主被写体候補に関する検出結果を出力する画像情報処理
手段と、視覚情報以外の感覚情報である二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理手段と、前記２つの処理手段のそれぞれの出力値の信頼度に基づ
いて該二つの処理手段の出力を統合して、主被写体の方
向又は位置を推定する主被写体推定手段とを備えたこと
を特徴とする主被写体推定装置。
【請求項２】画像情報を入力する第一のセンサと、視覚情報以外の感覚情報である二次感覚情報を入力する
少なくとも１種類以上の二次センサと、前記第一のセンサから入力された画像情報を処理して所
定の主被写体候補に関する検出結果を出力する画像情報
処理手段と、前記二次センサから入力された二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理手段と、前記２つの処理手段のそれぞれの出力値の信頼度に基づ
いて該二つの処理手段の出力の統合をして、主被写体の
方向又は位置を推定する主被写体推定手段とを備えたこ
とを特徴とする主被写体推定装置。
【請求項３】前記主被写体推定手段は、前記画像情報処理手段及び前記二次感覚情報処理手段の
それぞれの出力値の信頼度と基準値との大小比較を行う
比較手段を有し、前記信頼度の一方が前記基準値よりも小さい場合には、
前記画像情報処理手段及び前記二次感覚情報処理手段の
うち信頼度が大きい方の出力に基づいて、前記主被写体
の方向又は位置を推定することを特徴とする請求項１又
は請求項２記載の主被写体推定装置。
【請求項４】前記主被写体推定手段は、前記比較手段により前記信頼度の両方が前記基準値より
も小さい場合には、前記画像情報の特徴量の変化を抽出
し、その変化の顕著度に基づいて前記主被写体の方向又
は位置を推定することを特徴とする請求項３記載の主被
写体推定装置。
【請求項５】前記特徴量は、色情報、動きベクトル又
は幾何学的特徴であることを特徴とする請求項４記載の
主被写体推定装置。
【請求項６】前記主被写体推定手段は、前記比較手段により前記各信頼度の両方が前記基準値よ
りも大きい場合には、前記主被写体のカテゴリ及び方向
に関する整合性を判定する判定手段を有し、前記主被写体のカテゴリ及び方向に関する整合性に矛盾
がない場合には、前記各信頼度に基づいて前記主被写体
の方向又は位置を推定し、整合性に矛盾がある場合に
は、前記画像情報処理手段による認識処理結果と前記二
次感覚情報処理手段による認識処理結果とに基づいて、
前記主被写体の方向又は位置を推定することを特徴とす
る請求項３乃至請求項５記載の主被写体推定装置。
【請求項７】前記主被写体推定手段は、前記画像情報
処理手段からの出力と前記二次感覚情報処理手段の出力
と外部からの指示を入力する指示入力手段の出力とに基
づいて、前記主被写体の方向、位置又はサイズを推定す
ることを特徴とする請求項１乃至請求項６記載の主被写
体推定装置。
【請求項８】前記主被写体推定手段は、前記指示入力
手段からの主被写体位置情報に基づき、前記主被写体の
位置又は方向を更新することを特徴とする請求項７記載
の主被写体推定装置。
【請求項９】視覚情報である画像信号を処理して所定
の主被写体のカテゴリ及び該主被写体の方向又は位置を
求める視覚情報処理手段と、前記視覚情報以外の感覚情報である二次感覚情報の音声
信号を処理して前記主被写体のカテゴリ及び前記主被写
体の方向又は位置を求める二次感覚情報処理手段と、前記２つの処理手段の各出力を統合して前記主被写体の
方向又は位置を推定する主被写体推定手段とを備えたこ
とを特徴とする主被写体推定装置。
【請求項１０】前記主被写体推定手段は、前記視覚情
報処理手段と前記二次感覚情報処理手段の出力値のそれ
ぞれの信頼度に基づいて該二つの処理手段の出力を統合
して、主被写体の方向又は位置を推定したことを特徴と
する請求項９記載の主被写体推定装置。
【請求項１１】前記視覚情報処理手段は、前記視覚情
報を処理して所定の特徴量分布を抽出し、該特徴量分布
に基づいて前記主被写体の位置を求めることを特徴とす
る請求項９又は請求項１０記載の主被写体推定装置。
【請求項１２】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項１１記
載の主被写体推定装置。
【請求項１３】前記主被写体推定手段は、前記視覚情
報処理手段と前記二次感覚情報処理手段のいずれか一方
において前記主被写体が存在しないと判定された場合に
は、当該他方の処理手段の出力に基づいて前記主被写体
の方向又は位置を推定することを特徴とする請求項９乃
至１２記載の主被写体推定装置。
【請求項１４】前記視覚情報処理手段は、検出される
べき少なくとも１つの被写体の視覚データを記憶する記
憶手段を有し、該視覚データを参照して前記視覚情報に
おいて前記主被写体候補の位置及びカテゴリ情報を求め
る構成にし、前記二次感覚情報処理手段は、検出されるべき少なくと
も１つの被写体の音声データを記憶する記憶手段を有
し、該音声データを参照して前記音声信号から前記主被
写体候補の存在方向及びカテゴリ情報を求める構成に
し、前記主被写体推定手段は、前記二次感覚情報処理手段に
おいてカテゴリが同定された前記主被写体の音声情報
が、前記視覚情報処理手段よって求められた主被写体候
補に関する音声情報と異なる場合に、前記二次感覚情報
処理手段において求められた主被写体候補の存在する方
向が前記主被写体の方向と推定することを特徴とする請
求項９又は１０記載の主被写体推定装置。
【請求項１５】前記主被写体推定手段は、前記視覚情
報処理手段からの出力と前記二次感覚情報処理手段から
の出力と外部からの指示を入力する指示入力手段の出力
とに基づいて、前記主被写体の方向、位置又はサイズを
推定することを特徴とする請求項９又は１０記載の主被
写体推定装置。
【請求項１６】前記主被写体推定手段は、前記指示入
力手段からの主被写体位置情報に基づき、前記主被写体
の位置又は方向を更新することを特徴とする請求項１５
記載の主被写体推定装置。
【請求項１７】結像光学系からの視覚情報を入力する
第一のセンサと、視覚情報以外の感覚情報である二次感覚情報を入力する
少なくとも１種類以上の二次センサと、前記第一のセンサから入力された視覚情報を処理して所
定の主被写体候補に関する検出結果を出力する視覚情報
処理手段と、前記二次センサから入力された二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理手段と、前記２つの処理手段のそれぞれの出力値の信頼度に基づ
いて該二つの処理手段の出力の統合をして、主被写体の
方向又は位置を推定する主被写体推定手段と、前記主被写体推定手段で推定された主被写体の撮像に適
するように撮像条件を設定する撮像条件制御手段とを備
えたことを特徴とする撮像装置。
【請求項１８】画像を入力する結像光学系と、該結像
光学系の光軸方向を所定方向に回動させる回動手段と、
前記結像光学系により入力された像の画像信号を発生す
る映像センサと、音声を入力して所定の音声信号を発生
する音声入力手段と、撮像条件の制御信号を発生する制
御手段と、前記画像信号又は前記音声信号に基づき、主
被写体の方向又は位置を推定する処理手段とを有し、前記処理手段は、前記画像信号に基づいて所定の主被写
体のカテゴリ及び該主被写体の方向又は位置を求める視
覚情報処理手段と、前記音声信号を処理して前記主被写
体のカテゴリ及び前記主被写体の方向又は位置を求める
二次感覚情報処理手段と、前記２つの処理手段の各出力
を統合して前記主被写体の方向又は位置を推定する主被
写体推定手段とを有し、前記制御手段は、前記主被写体推定手段で推定された前
記主被写体の撮像に適するように撮像条件を設定する撮
像条件制御手段を備えたことを特徴とする撮像装置。
【請求項１９】前記主被写体推定手段は、前記視覚情
報処理手段と前記二次感覚情報処理手段の出力値のそれ
ぞれの信頼度に基づいて該二つの処理手段の出力を統合
して、主被写体の方向又は位置を推定したことを特徴と
する請求項１８記載の撮像装置。
【請求項２０】前記視覚情報処理手段は、前記画像信
号から前記主被写体のカテゴリの存在すると推定される
領域を抽出し、前記制御手段は、当該領域が所定の撮像
条件で撮像されるように前記撮像条件を制御したことを
特徴とする請求項１９記載の撮像装置。
【請求項２１】前記主被写体推定手段は、前記視覚情
報処理手段と前記二次感覚情報処理手段の２つの処理手
段のいずれか一方において前記主被写体が存在しない判
定された場合には、当該他方の処理手段の出力に基づい
て前記主被写体の方向又は位置を推定する構成とし、前記回動手段は、該主被写体推定手段で推定された主被
写体方向又は位置に前記光学系の光軸方向を制御するこ
とを特徴とする請求項１９又は２０記載の撮像装置。
【請求項２２】前記視覚情報処理手段は、入力された
画像から主被写体の属するカテゴリを同定し、前記制御
手段は、該カテゴリに基づき前記撮像条件を制御するこ
とを特徴とする請求項１８記載の撮像装置。
【請求項２３】前記撮像条件は、前記光軸方向、倍
率、ピント、又は露出条件のうち、少なくとも１つを含
むことを特徴とする請求項１７乃至２２記載の撮像装
置。
【請求項２４】前記視覚情報処理手段は、前記視覚情
報を処理して所定の特徴量分布を抽出し、該特徴量分布
に基づいて前記主被写体の位置を求めることを特徴とす
る請求項１７又は請求項１８記載の撮像装置。
【請求項２５】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項２４記
載の撮像装置。
【請求項２６】前記視覚情報処理手段は、検出される
べき被写体の画像情報を記憶する記憶手段を有し、この
記憶手段に記憶された画像情報を参照して、入力された
画像中の前記被写体の存在有無を判定する構成とし、前記制御手段は、前記視覚情報処理手段において存在す
ると判定された場合には、前記光軸方向を当該被写体の
存在する方向に制御し、前記視覚情報処理手段において
存在しないと判定された場合には、前記二次感覚情報処
理手段から出力される主被写体方向に前記光軸方向を制
御することを特徴とする請求項１８記載の撮像装置。
【請求項２７】前記視覚情報処理手段は、検出される
べき少なくとも１つの被写体の視覚データを記憶する記
憶手段を有し、該視覚データを参照して前記視覚情報に
おいて前記主被写体候補の位置及びカテゴリ情報を求め
る構成にし、前記二次感覚情報処理手段は、検出されるべき少なくと
も１つの被写体の音声データを記憶する記憶手段を有
し、該音声データを参照して前記音声信号から前記主被
写体候補の存在方向及びカテゴリ情報を求める構成に
し、前記主被写体推定手段は、前記二次感覚情報処理手段に
おいてカテゴリが同定された前記主被写体の音声情報が
前記視覚情報処理手段よって求められた主被写体候補に
関する音声情報と異なる場合に、前記二次感覚情報処理
手段において求められた主被写体候補の存在する方向が
前記主被写体の方向と推定する構成とし、前記制御手段は、当該主被写体の方向に前記光軸方向を
制御することを特徴とする請求項１８記載の撮像装置。
【請求項２８】前記主被写体推定手段は、前記視覚情
報処理手段からの出力と、前記二次感覚情報処理手段か
らの出力と、外部からの指示を入力する指示入力手段の
出力とに基づいて、前記主被写体の方向、位置又はサイ
ズを推定する構成とし、前記撮像条件制御手段は、当該推定された主被写体の撮
像に適するように撮像条件を設定することを特徴とする
請求項１７乃至２７撮像装置。
【請求項２９】前記主被写体推定手段は、前記指示入
力手段からの主被写体位置情報に基づき、前記主被写体
の位置又は方向を更新することを特徴とする請求項２８
記載の撮像装置。
【請求項３０】前記音声入力手段は、所定の距離だけ
離間した複数個のマイクロフォンで構成し、前記二次感覚情報処理手段は、前記各マイクロフォンか
らの信号を処理して音源位置又は方向を推定することを
特徴とする請求項１８乃至２９記載の撮像装置。
【請求項３１】前記各マイクロフォンは可変指向性を
有し、前記制御手段は、前記撮像条件と共に、当該各マ
イクロフォンの指向性も制御することを特徴とする請求
項３０記載の撮像装置。
【請求項３２】請求項１７乃至３１記載の撮像装置を
有することを特徴とする撮像システム。
【請求項３３】視覚情報を画像情報として処理し所定
の主被写体候補に関する検出結果を出力する画像情報処
理行程と、視覚情報以外の感覚情報である二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理行程と、前記２つの処理行程のそれぞれの出力値の信頼度に基づ
いて該二つの処理行程の出力を統合して、主被写体の方
向又は位置を推定する主被写体推定行程とを実行するこ
とを特徴とする主被写体推定方法。
【請求項３４】画像情報を入力する第一のセンサと、
視覚情報以外の感覚情報である二次感覚情報を入力する
少なくとも１種類以上の二次センサとを有する装置にお
いて、前記第一のセンサから入力された画像情報を処理して所
定の主被写体候補に関する検出結果を出力する画像情報
処理行程と、前記二次センサから入力された二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理行程と、前記２つの処理行程のそれぞれの出力値の信頼度に基づ
いて該二つの処理行程の出力の統合をして、主被写体の
方向又は位置を推定する主被写体推定行程とを実行する
ことを特徴とする主被写体推定方法。
【請求項３５】前記主被写体推定行程は、前記画像情報処理行程及び前記二次感覚情報処理行程の
それぞれの出力値の信頼度と基準値との大小比較を行う
比較行程を有し、前記信頼度の一方が前記基準値よりも小さい場合には、
前記画像情報処理行程及び前記二次感覚情報処理行程の
うち信頼度が大きい方の出力に基づいて、前記主被写体
の方向又は位置を推定することを特徴とする請求項３３
又は請求項３４記載の主被写体推定方法。
【請求項３６】前記主被写体推定行程は、前記比較行程により前記信頼度の両方が前記基準値より
も小さい場合には、前記画像情報の特徴量の変化を抽出
し、その変化の顕著度に基づいて前記主被写体の方向又
は位置を推定することを特徴とする請求項３５記載の主
被写体推定方法。
【請求項３７】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項３６記
載の主被写体推定方法。
【請求項３８】前記主被写体推定行程は、前記比較行程により前記各信頼度の両方が前記基準値よ
りも大きい場合には、前記主被写体のカテゴリ及び方向
に関する整合性を判定する判定行程を有し、前記主被写体のカテゴリ及び方向に関する整合性に矛盾
がない場合には、前記各信頼度に基づいて前記主被写体
の方向又は位置を推定し、整合性に矛盾がある場合に
は、前記画像情報処理行程による認識処理結果と前記二
次感覚情報処理行程による認識処理結果とに基づいて、
前記主被写体の方向又は位置を推定することを特徴とす
る請求項３５乃至請求項３７記載の主被写体推定方法。
【請求項３９】前記主被写体推定行程は、前記画像情
報処理行程からの出力と前記二次感覚情報処理行程の出
力と外部からの指示を入力する指示入力行程の出力とに
基づいて、前記主被写体の方向、位置又はサイズを推定
することを特徴とする請求項３３乃至請求項３８記載の
主被写体推定方法。
【請求項４０】前記主被写体推定行程は、前記指示入
力行程からの主被写体位置情報に基づき、前記主被写体
の位置又は方向を更新することを特徴とする請求項３９
記載の主被写体推定方法。
【請求項４１】視覚情報である画像信号を処理して所
定の主被写体のカテゴリ及び該主被写体の方向又は位置
を求める視覚情報処理行程と、前記視覚情報以外の感覚情報である二次感覚情報の音声
信号を処理して前記主被写体のカテゴリ及び前記主被写
体の方向又は位置を求める二次感覚情報処理行程と、前記２つの処理行程の各出力を統合して前記主被写体の
方向又は位置を推定する主被写体推定行程とを実行する
ことを特徴とする主被写体推定方法。
【請求項４２】前記主被写体推定行程は、前記視覚情
報処理行程と前記二次感覚情報処理行程の出力値のそれ
ぞれの信頼度に基づいて該二つの処理行程の出力を統合
して、主被写体の方向又は位置を推定したことを特徴と
する請求項４１記載の主被写体推定方法。
【請求項４３】前記視覚情報処理行程は、前記視覚情
報を処理して所定の特徴量分布を抽出し、該特徴量分布
に基づいて前記主被写体の位置を求めることを特徴とす
る請求項４１又は請求項４２記載の主被写体推定方法。
【請求項４４】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項４３記
載の主被写体推定方法。
【請求項４５】前記主被写体推定行程は、前記視覚情
報処理行程と前記二次感覚情報処理行程のいずれか一方
において前記主被写体が存在しないと判定された場合に
は、当該他方の処理行程の出力に基づいて前記主被写体
の方向又は位置を推定することを特徴とする請求項４１
乃至４４記載の主被写体推定方法。
【請求項４６】前記視覚情報処理行程は、検出される
べき少なくとも１つの被写体の視覚データを記憶する記
憶行程を有し、該視覚データを参照して前記視覚情報に
おいて前記主被写体候補の位置及びカテゴリ情報を求
め、前記二次感覚情報処理行程は、検出されるべき少なくと
も１つの被写体の音声データを記憶する記憶行程を有
し、該音声データを参照して前記音声信号から前記主被
写体候補の存在方向及びカテゴリ情報を求め、前記主被写体推定行程は、前記二次感覚情報処理行程に
おいてカテゴリが同定された前記主被写体の音声情報
が、前記視覚情報処理行程よって求められた主被写体候
補に関する音声情報と異なる場合に、前記二次感覚情報
処理行程において求められた主被写体候補の存在する方
向が前記主被写体の方向と推定することを特徴とする請
求項４１又は４２記載の主被写体推定方法。
【請求項４７】前記主被写体推定行程は、前記視覚情
報処理行程からの出力と前記二次感覚情報処理行程から
の出力と外部からの指示を入力する指示入力行程の出力
とに基づいて、前記主被写体の方向、位置又はサイズを
推定することを特徴とする請求項４１又は４２記載の主
被写体推定方法。
【請求項４８】前記主被写体推定行程は、前記指示入
力行程からの主被写体位置情報に基づき、前記主被写体
の位置又は方向を更新することを特徴とする請求項４７
記載の主被写体推定方法。
【請求項４９】結像光学系からの視覚情報を入力する
第一のセンサと、視覚情報以外の感覚情報である二次感
覚情報を入力する少なくとも１種類以上の二次センサと
を実行する撮像装置において、前記第一のセンサから入力された視覚情報を処理して所
定の主被写体候補に関する検出結果を出力する視覚情報
処理行程と、前記二次センサから入力された二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理行程と、前記２つの処理行程のそれぞれの出力値の信頼度に基づ
いて該二つの処理行程の出力の統合をして、主被写体の
方向又は位置を推定する主被写体推定行程と、前記主被写体推定行程で推定された主被写体の撮像に適
するように撮像条件を設定する撮像条件制御行程とを実
行することを特徴とする撮像装置の制御方法。
【請求項５０】画像を入力する結像光学系と、該結像
光学系の光軸方向を所定方向に回動させる回動手段と、
前記結像光学系により入力された像の画像信号を発生す
る映像センサと、音声を入力して所定の音声信号を発生
する音声入力手段とを有し、前記画像信号又は前記音声
信号に基づき、主被写体の方向又は位置を推定する処理
行程を実行する撮像装置において、前記処理行程は、前記画像信号に基づいて所定の主被写
体のカテゴリ及び該主被写体の方向又は位置を求める視
覚情報処理行程と、前記音声信号を処理して前記主被写
体のカテゴリ及び前記主被写体の方向又は位置を求める
二次感覚情報処理行程と、前記２つの処理行程の各出力
を統合して前記主被写体の方向又は位置を推定する主被
写体推定行程とを行い、その後に、前記主被写体推定行程で推定された前記主被
写体の撮像に適するように撮像条件を設定する撮像条件
制御行程を実行することを特徴とする撮像装置の制御方
法。
【請求項５１】前記主被写体推定行程は、前記視覚情
報処理行程と前記二次感覚情報処理行程の出力値のそれ
ぞれの信頼度に基づいて該二つの処理行程の出力を統合
して、主被写体の方向又は位置を推定したことを特徴と
する請求項５０記載の撮像装置の制御方法。
【請求項５２】前記視覚情報処理行程は、前記画像信
号から前記主被写体のカテゴリの存在すると推定される
領域を抽出し、前記制御行程は、当該領域が所定の撮像
条件で撮像されるように前記撮像条件を制御したことを
特徴とする請求項５１記載の撮像装置の制御方法。
【請求項５３】前記主被写体推定行程は、前記視覚情
報処理行程と前記二次感覚情報処理行程の２つの処理行
程のいずれか一方において前記主被写体が存在しない判
定された場合には、当該他方の処理行程の出力に基づい
て前記主被写体の方向又は位置を推定する構成とし、前記回動行程は、該主被写体推定行程で推定された主被
写体方向又は位置に前記光学系の光軸方向を制御するこ
とを特徴とする請求項５１又は５２記載の撮像装置の制
御方法。
【請求項５４】前記視覚情報処理行程は、入力された
画像から主被写体の属するカテゴリを同定し、前記制御
行程は、該カテゴリに基づき前記撮像条件を制御するこ
とを特徴とする請求項５０記載の撮像装置の制御方法。
【請求項５５】前記撮像条件は、前記光軸方向、倍
率、ピント、又は露出条件のうち、少なくとも１つを含
むことを特徴とする請求項４９乃至５４記載の撮像装置
の制御方法。
【請求項５６】前記視覚情報処理行程は、前記視覚情
報を処理して所定の特徴量分布を抽出し、該特徴量分布
に基づいて前記主被写体の位置を求めることを特徴とす
る請求項４９又は請求項５０記載の撮像装置の制御方
法。
【請求項５７】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項５６記
載の撮像装置の制御方法。
【請求項５８】前記視覚情報処理行程は、検出される
べき被写体の画像情報を記憶する記憶行程を有し、この
記憶行程に記憶された画像情報を参照して、入力された
画像中の前記被写体の存在有無を判定し、前記制御行程は、前記視覚情報処理行程において存在す
ると判定された場合には、前記光軸方向を当該被写体の
存在する方向に制御し、前記視覚情報処理行程において
存在しないと判定された場合には、前記二次感覚情報処
理行程から出力される主被写体方向に前記光軸方向を制
御することを特徴とする請求項５０記載の撮像装置の制
御方法。
【請求項５９】前記視覚情報処理行程は、検出される
べき少なくとも１つの被写体の視覚データを記憶する記
憶行程を有し、該視覚データを参照して前記視覚情報に
おいて前記主被写体候補の位置及びカテゴリ情報を求め
る構成にし、前記二次感覚情報処理行程は、検出されるべき少なくと
も１つの被写体の音声データを記憶する記憶行程を有
し、該音声データを参照して前記音声信号から前記主被
写体候補の存在方向及びカテゴリ情報を求める構成に
し、前記主被写体推定行程は、前記二次感覚情報処理行程に
おいてカテゴリが同定された前記主被写体の音声情報が
前記視覚情報処理行程よって求められた主被写体候補に
関する音声情報と異なる場合に、前記二次感覚情報処理
行程において求められた主被写体候補の存在する方向が
前記主被写体の方向と推定する構成とし、前記制御行程は、当該主被写体の方向に前記光軸方向を
制御することを特徴とする請求項５０記載の撮像装置の
制御方法。
【請求項６０】前記主被写体推定行程は、前記視覚情
報処理行程からの出力と、前記二次感覚情報処理行程か
らの出力と、外部からの指示を入力する指示入力行程の
出力とに基づいて、前記主被写体の方向、位置又はサイ
ズを推定する構成とし、前記撮像条件制御行程は、当該推定された主被写体の撮
像に適するように撮像条件を設定することを特徴とする
請求項４９乃至５９撮像装置の制御方法。
【請求項６１】前記主被写体推定行程は、前記指示入
力行程からの主被写体位置情報に基づき、前記主被写体
の位置又は方向を更新することを特徴とする請求項６０
記載の撮像装置の制御方法。
【請求項６２】前記音声入力手段は、所定の距離だけ
離間した複数個のマイクロフォンで構成し、前記二次感覚情報処理行程は、前記各マイクロフォンか
らの信号を処理して音源位置又は方向を推定することを
特徴とする請求項５０乃至６１記載の撮像装置の制御方
法。
【請求項６３】前記各マイクロフォンは可変指向性を
有し、前記制御行程は、前記撮像条件と共に、当該各マ
イクロフォンの指向性も制御することを特徴とする請求
項６２記載の撮像装置の制御方法。
【請求項６４】視覚情報を画像情報として処理し所定
の主被写体候補に関する検出結果を出力する画像情報処
理ステップと、視覚情報以外の感覚情報である二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理ステップと、前記２つの処理ステップのそれぞれの出力値の信頼度に
基づいて該二つの処理ステップの出力を統合して、主被
写体の方向又は位置を推定する主被写体推定ステップと
を有する制御プログラムを備えたことを特徴とする制御
プログラムを提供する媒体。
【請求項６５】画像情報を入力する第一のセンサと、
視覚情報以外の感覚情報である二次感覚情報を入力する
少なくとも１種類以上の二次センサとを有する装置を実
行するための制御プログラムを提供する媒体であって、前記制御プログラムは、前記第一のセンサから入力された画像情報を処理して所
定の主被写体候補に関する検出結果を出力する画像情報
処理ステップと、前記二次センサから入力された二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理ステップと、前記２つの処理ステップのそれぞれの出力値の信頼度に
基づいて該二つの処理ステップの出力の統合をして、主
被写体の方向又は位置を推定する主被写体推定ステップ
とを備えたことを特徴とする制御プログラムを提供する
媒体。
【請求項６６】前記主被写体推定ステップは、前記画像情報処理ステップ及び前記二次感覚情報処理ス
テップのそれぞれの出力値の信頼度と基準値との大小比
較を行う比較ステップを有し、前記信頼度の一方が前記基準値よりも小さい場合には、
前記画像情報処理ステップ及び前記二次感覚情報処理ス
テップのうち信頼度が大きい方の出力に基づいて、前記
主被写体の方向又は位置を推定することを特徴とする請
求項６４又は請求項６５記載の制御プログラムを提供す
る媒体。
【請求項６７】前記主被写体推定ステップは、前記比較ステップにより前記信頼度の両方が前記基準値
よりも小さい場合には、前記画像情報の特徴量の変化を
抽出し、その変化の顕著度に基づいて前記主被写体の方
向又は位置を推定することを特徴とする請求項６６記載
の制御プログラムを提供する媒体。
【請求項６８】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項６７記
載の制御プログラムを提供する媒体。
【請求項６９】前記主被写体推定ステップは、前記比較ステップにより前記各信頼度の両方が前記基準
値よりも大きい場合には、前記主被写体のカテゴリ及び
方向に関する整合性を判定する判定ステップを有し、前記主被写体のカテゴリ及び方向に関する整合性に矛盾
がない場合には、前記各信頼度に基づいて前記主被写体
の方向又は位置を推定し、整合性に矛盾がある場合に
は、前記画像情報処理ステップによる認識処理結果と前
記二次感覚情報処理ステップによる認識処理結果とに基
づいて、前記主被写体の方向又は位置を推定することを
特徴とする請求項６６乃至請求項６８記載の制御プログ
ラムを提供する媒体。
【請求項７０】前記主被写体推定ステップは、前記画
像情報処理ステップからの出力と前記二次感覚情報処理
ステップの出力と外部からの指示を入力する指示入力ス
テップの出力とに基づいて、前記主被写体の方向、位置
又はサイズを推定することを特徴とする請求項６４乃至
請求項６９記載の制御プログラムを提供する媒体。
【請求項７１】前記主被写体推定ステップは、前記指
示入力ステップからの主被写体位置情報に基づき、前記
主被写体の位置又は方向を更新することを特徴とする請
求項７０記載の制御プログラムを提供する媒体。
【請求項７２】視覚情報である画像信号を処理して所
定の主被写体のカテゴリ及び該主被写体の方向又は位置
を求める視覚情報処理ステップと、前記視覚情報以外の感覚情報である二次感覚情報の音声
信号を処理して前記主被写体のカテゴリ及び前記主被写
体の方向又は位置を求める二次感覚情報処理ステップ
と、前記２つの処理ステップの各出力を統合して前記主被写
体の方向又は位置を推定する主被写体推定ステップとを
有する制御プログラムを備えたことを特徴とする制御プ
ログラムを提供する媒体。
【請求項７３】前記主被写体推定ステップは、前記視
覚情報処理ステップと前記二次感覚情報処理ステップの
出力値のそれぞれの信頼度に基づいて該二つの処理ステ
ップの出力を統合して、主被写体の方向又は位置を推定
したことを特徴とする請求項７２記載の制御プログラム
を提供する媒体。
【請求項７４】前記視覚情報処理ステップは、前記視
覚情報を処理して所定の特徴量分布を抽出し、該特徴量
分布に基づいて前記主被写体の位置を求めることを特徴
とする請求項７２又は請求項７３記載の制御プログラム
を提供する媒体。
【請求項７５】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項７４記
載の制御プログラムを提供する媒体。
【請求項７６】前記主被写体推定ステップは、前記視
覚情報処理ステップと前記二次感覚情報処理ステップの
いずれか一方において前記主被写体が存在しないと判定
された場合には、当該他方の処理ステップの出力に基づ
いて前記主被写体の方向又は位置を推定することを特徴
とする請求項７２乃至７５記載の制御プログラムを提供
する媒体。
【請求項７７】前記視覚情報処理ステップは、検出さ
れるべき少なくとも１つの被写体の視覚データを記憶す
る記憶ステップを有し、該視覚データを参照して前記視
覚情報において前記主被写体候補の位置及びカテゴリ情
報を求め、前記二次感覚情報処理ステップは、検出されるべき少な
くとも１つの被写体の音声データを記憶する記憶ステッ
プを有し、該音声データを参照して前記音声信号から前
記主被写体候補の存在方向及びカテゴリ情報を求め、前記主被写体推定ステップは、前記二次感覚情報処理ス
テップにおいてカテゴリが同定された前記主被写体の音
声情報が、前記視覚情報処理ステップよって求められた
主被写体候補に関する音声情報と異なる場合に、前記二
次感覚情報処理ステップにおいて求められた主被写体候
補の存在する方向が前記主被写体の方向と推定すること
を特徴とする請求項７２又は７３記載の制御プログラム
を提供する媒体。
【請求項７８】前記主被写体推定ステップは、前記視
覚情報処理ステップからの出力と前記二次感覚情報処理
ステップからの出力と外部からの指示を入力する指示入
力ステップの出力とに基づいて、前記主被写体の方向、
位置又はサイズを推定することを特徴とする請求項７２
又は７３記載の制御プログラムを提供する媒体。
【請求項７９】前記主被写体推定ステップは、前記指
示入力ステップからの主被写体位置情報に基づき、前記
主被写体の位置又は方向を更新することを特徴とする請
求項７８記載の制御プログラムを提供する媒体。
【請求項８０】結像光学系からの視覚情報を入力する
第一のセンサと、視覚情報以外の感覚情報である二次感
覚情報を入力する少なくとも１種類以上の二次センサと
を備えた撮像装置を実行するための制御プログラムを提
供する媒体であって、前記制御プログラムは、前記第一のセンサから入力された視覚情報を処理して所
定の主被写体候補に関する検出結果を出力する視覚情報
処理ステップと、前記二次センサから入力された二次感覚情報を処理して
前記主被写体候補に関する検出結果を出力する二次感覚
情報処理ステップと、前記２つの処理ステップのそれぞれの出力値の信頼度に
基づいて該二つの処理ステップの出力の統合をして、主
被写体の方向又は位置を推定する主被写体推定ステップ
と、前記主被写体推定ステップで推定された主被写体の撮像
に適するように撮像条件を設定する撮像条件制御ステッ
プとを備えたことを特徴とする制御プログラムを提供す
る媒体。
【請求項８１】画像を入力する結像光学系と、該結像
光学系の光軸方向を所定方向に回動させる回動手段と、
前記結像光学系により入力された像の画像信号を発生す
る映像センサと、音声を入力して所定の音声信号を発生
する音声入力手段とを有し、前記画像信号又は前記音声
信号に基づき、主被写体の方向又は位置を推定する処理
ステップを実行する撮像装置を実行するための制御プロ
グラムを提供する媒体であって、前記制御プログラムは、前記処理ステップは、前記画像信号に基づいて所定の主
被写体のカテゴリ及び該主被写体の方向又は位置を求め
る視覚情報処理ステップと、前記音声信号を処理して前
記主被写体のカテゴリ及び前記主被写体の方向又は位置
を求める二次感覚情報処理ステップと、前記２つの処理
ステップの各出力を統合して前記主被写体の方向又は位
置を推定する主被写体推定ステップとを備え、さらに、前記主被写体推定ステップで推定された前記主
被写体の撮像に適するように撮像条件を設定する撮像条
件制御ステップを備えたことを特徴とする制御プログラ
ムを提供する媒体。
【請求項８２】前記主被写体推定ステップは、前記視
覚情報処理ステップと前記二次感覚情報処理ステップの
出力値のそれぞれの信頼度に基づいて該二つの処理ステ
ップの出力を統合して、主被写体の方向又は位置を推定
したことを特徴とする請求項８１記載の制御プログラム
を提供する媒体。
【請求項８３】前記視覚情報処理ステップは、前記画
像信号から前記主被写体のカテゴリの存在すると推定さ
れる領域を抽出し、前記制御ステップは、当該領域が所
定の撮像条件で撮像されるように前記撮像条件を制御し
たことを特徴とする請求項８２記載の制御プログラムを
提供する媒体。
【請求項８４】前記主被写体推定ステップは、前記視
覚情報処理ステップと前記二次感覚情報処理ステップの
２つの処理ステップのいずれか一方において前記主被写
体が存在しない判定された場合には、当該他方の処理ス
テップの出力に基づいて前記主被写体の方向又は位置を
推定する構成とし、前記回動ステップは、該主被写体推定ステップで推定さ
れた主被写体方向又は位置に前記光学系の光軸方向を制
御することを特徴とする請求項８２又は８３記載の制御
プログラムを提供する媒体。
【請求項８５】前記視覚情報処理ステップは、入力さ
れた画像から主被写体の属するカテゴリを同定し、前記
制御ステップは、該カテゴリに基づき前記撮像条件を制
御することを特徴とする請求項８１記載の制御プログラ
ムを提供する媒体。
【請求項８６】前記撮像条件は、前記光軸方向、倍
率、ピント、又は露出条件のうち、少なくとも１つを含
むことを特徴とする請求項８０乃至８５記載の制御プロ
グラムを提供する媒体。
【請求項８７】前記視覚情報処理ステップは、前記視
覚情報を処理して所定の特徴量分布を抽出し、該特徴量
分布に基づいて前記主被写体の位置を求めることを特徴
とする請求項８０又は請求項８１記載の制御プログラム
を提供する媒体。
【請求項８８】前記特徴量は、色情報、動きベクトル
又は幾何学的特徴であることを特徴とする請求項８７記
載の制御プログラムを提供する媒体。
【請求項８９】前記視覚情報処理ステップは、検出さ
れるべき被写体の画像情報を記憶する記憶ステップを有
し、この記憶ステップに記憶された画像情報を参照し
て、入力された画像中の前記被写体の存在有無を判定
し、前記制御ステップは、前記視覚情報処理ステップにおい
て存在すると判定された場合には、前記光軸方向を当該
被写体の存在する方向に制御し、前記視覚情報処理ステ
ップにおいて存在しないと判定された場合には、前記二
次感覚情報処理ステップから出力される主被写体方向に
前記光軸方向を制御することを特徴とする請求項８１記
載の制御プログラムを提供する媒体。
【請求項９０】前記視覚情報処理ステップは、検出さ
れるべき少なくとも１つの被写体の視覚データを記憶す
る記憶ステップを有し、該視覚データを参照して前記視
覚情報において前記主被写体候補の位置及びカテゴリ情
報を求める構成にし、前記二次感覚情報処理ステップは、検出されるべき少な
くとも１つの被写体の音声データを記憶する記憶ステッ
プを有し、該音声データを参照して前記音声信号から前
記主被写体候補の存在方向及びカテゴリ情報を求める構
成にし、前記主被写体推定ステップは、前記二次感覚情報処理ス
テップにおいてカテゴリが同定された前記主被写体の音
声情報が前記視覚情報処理ステップよって求められた主
被写体候補に関する音声情報と異なる場合に、前記二次
感覚情報処理ステップにおいて求められた主被写体候補
の存在する方向が前記主被写体の方向と推定する構成と
し、前記制御ステップは、当該主被写体の方向に前記光軸方
向を制御することを特徴とする請求項８１記載の制御プ
ログラムを提供する媒体。
【請求項９１】前記主被写体推定ステップは、前記視
覚情報処理ステップからの出力と、前記二次感覚情報処
理ステップからの出力と、外部からの指示を入力する指
示入力ステップの出力とに基づいて、前記主被写体の方
向、位置又はサイズを推定する構成とし、前記撮像条件制御ステップは、当該推定された主被写体
の撮像に適するように撮像条件を設定することを特徴と
する請求項８０乃至９０制御プログラムを提供する媒
体。
【請求項９２】前記主被写体推定ステップは、前記指
示入力ステップからの主被写体位置情報に基づき、前記
主被写体の位置又は方向を更新することを特徴とする請
求項９１記載の制御プログラムを提供する媒体。
【請求項９３】前記音声入力手段は、所定の距離だけ
離間した複数個のマイクロフォンで構成し、前記二次感覚情報処理ステップは、前記各マイクロフォ
ンからの信号を処理して音源位置又は方向を推定するこ
とを特徴とする請求項８１乃至９２記載の制御プログラ
ムを提供する媒体。
【請求項９４】前記各マイクロフォンは可変指向性を
有し、前記制御ステップは、前記撮像条件と共に、当該
各マイクロフォンの指向性も制御することを特徴とする
請求項９３記載の制御プログラムを提供する媒体。