JP2001111882A

JP2001111882A - 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体

Info

Publication number: JP2001111882A
Application number: JP28309599A
Authority: JP
Inventors: Takashi Oya; 崇大矢; Yoshihiro Ishida; 良弘石田; Hiroaki Sato; 宏明佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-10-04
Filing date: 1999-10-04
Publication date: 2001-04-20

Abstract

(57)【要約】【課題】画像中の被写体輪郭を検出するための初期輪
郭の設定を常に正確に行なえる構成とすることで、当該
被写体領域を常に正確に且つ安定して検出可能とする被
写体検出装置を提供する。【解決手段】表示手段１０２は、撮像手段１０１にて
得られた撮影画像を表示する。このときの表示画面中央
には、被写体輪郭検出のための所定の輪郭が設定されて
いる。使用者は、表示手段１０２の表示画面上で被写体
３２が画面中央部に位置するように撮像手段１０１での
撮影方向を変更し、入力手段１０６により、上記所定の
輪郭と被写体３２が一致したことを入力する。初期輪郭
設定手段１０５は、上記所定の輪郭を被写体３２に対す
る初期輪郭として設定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、撮影画像
中に存在する被写体の輪郭を検出するための技術に関
し、ビデオカメラ等の撮像記録再生装置に用いて好適
な、画像処理装置、画像処理システム、被写体検出方
法、画像処理方法、及びそれを実施するための処理ステ
ップをコンピュータが読出可能に格納した記憶媒体に関
するものである。

【０００２】

【従来の技術】従来より例えば、ビデオカメラによって
被写体を撮影して得られた撮影画像中から被写体の輪郭
を検出することを目的とした公知の手法として、「Ｍ．
Ｋａｓｓｅｔａ１．，”ＳＮＡＫＥＳ：Ａｃｔｉｖｅ
ｃｏｎｔｏｕｒｍｏｄｅｌｓ”，Ｐｒｏｃｏｆｌ
ｓｔＩＣＣＶ，ｐｐ．２５９−２６８，１９８７」等に
記載された手法（以下、「手法（１）」と言う）があ
る。

【０００３】手法（１）では、撮影画像（動画等）中に
存在する被写体に対して初期輪郭を設定し、その初期輪
郭から、被写体領域の複数の特徴量を引数とする評価関
数が極値をとるような被写体輪郭を求め、これにより確
定した被写体輪郭を、次の時点（次のシーン）での被写
体に対する初期輪郭とする。この繰り返しによって、動
画中の被写体の検出及び追尾を連続して行なうことがで
きる。

【０００４】図１３（ａ）及び（ｂ）は、手法（１）の
概念図を示したものである。例えば、上記図１３（ａ）
に示すように、ある動画の撮影シーンにおいて、被写体
１１（家）や被写体１２（人物）等の複数の被写体が存
在しており、検出対象被写体として被写体１２（人物）
を選択する場合、先ず、被写体１２に対して初期輪郭１
３を設定する。次に、輪郭線の滑らかさ、輝度勾配、輪
郭モデルに外部から加える力等を考慮した評価関数を作
成し、この評価関数を最適化するような輪郭線を、初期
輪郭１３から求める。この結果得られた輪郭線（被写体
輪郭）を、上記図１３（ｂ）の”１４”に示す。この一
旦求めた被写体輪郭１４を、次のフレームでの初期輪郭
として利用する。このような処理の繰り返しによって、
連続する画像（動画）中の被写体１２を追尾することが
できる。

【０００５】一方、上述の手法（１）を改良した方法と
して、「”移動被写体の輪郭を自動抽出する追尾ソフト
の開発”（荒木ほか）：映像情報９７年１月号、Ｐ．３
９−４４」等に記載された手法（以下、「手法（２）」
と言う）がある。この手法（２）では、被写体輪郭が自
動的に分裂し統合する輪郭モデルを導入することによ
り、画像中に複数の被写体が存在する場合、初期輪郭を
被写体に対して個別に与えることなく、複数の移動被写
体の検出及び追尾が行なえる。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
たように、従来の手法（１）では、被写体輪郭の検出の
際に、当該被写体に対して大まかな初期輪郭（上記図１
３（ａ）に示す初期輪郭１２参照）を与える必要があっ
た。このため、最初に設定する初期輪郭によっては、被
写体領域を正確に検出できない場合があった。

【０００７】一方、従来の方法（２）では、被写体に対
して初期輪郭を与える必要がないことを特徴としている
が、様々な条件下における有効性が検証されているわけ
ではない。すなわち、方法（１）を利用もしくは拡張し
て、被写体の検出及び追尾を行なう手法においても、初
期輪郭を正確に求め、その結果により、常に安定して被
写体領域の検出を行うことは実現されておらず、この問
題を解決することが課題となっている。

【０００８】また、ビデオカメラ等の従来の撮像記録再
生装置では、撮影画像中に存在する被写体の位置や大き
さ等の画像の内容に関する評価を行なうことなく、撮影
画像をそのまま表示するような構成であることが一般的
であった。このため、使用者は、自分が撮影して得た画
像を客観的な基準で評価してしまったり、自分の撮影画
像と、他の使用者が撮影して得た画像とを比較するとい
ったことができなかった。

【０００９】そこで、本発明は、上記の欠点を除去する
ために成されたもので、画像中の被写体輪郭を検出する
ための初期輪郭の設定を常に正確に行なえる構成とする
ことで、当該被写体領域を常に正確に且つ安定して検出
可能とする、被写体検出装置、画像処理装置、画像処理
システム、被写体検出方法、画像処理方法、及びそれを
実施するための処理ステップをコンピュータが読出可能
に格納した記憶媒体を提供することを目的とする。

【００１０】また、撮影画像から検出した被写体領域の
特徴量から当該撮影画像を評価し、この評価結果を使用
者が容易に認識可能とすることで、良好な撮影画像を効
率的に取得することが可能な、被写体検出装置、画像処
理装置、画像処理システム、被写体検出方法、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体を提供することを
目的とする。

【００１１】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、撮影画像中に存在する被写体に対して設
定された初期輪郭に基づいて、当該被写体の輪郭を検出
する被写体検出装置であって、撮影方向が変更可能な撮
影手段と、上記撮影手段により被写体を撮影して得られ
た撮影画像を表示する表示手段と、上記撮影手段での撮
影方向の変更によって、上記表示手段により表示された
撮影画像上の所定位置に設定された所定の輪郭と、当該
撮影画像中に存在する被写体とが一致したことを入力す
る入力手段と、上記入力手段での入力に基づいて、上記
所定の輪郭を上記初期輪郭として設定する設定手段とを
備えることを特徴とする。

【００１２】第２の発明は、上記第１の発明において、
上記所定の輪郭は、上記表示手段により表示された撮影
画像の中央に設定されることを特徴とする。

【００１３】第３の発明は、画像中に存在する被写体に
対して設定された初期輪郭に基づいて、当該被写体の輪
郭を検出する被写体検出装置であって、上記画像を表示
する表示手段と、上記表示手段により表示された画像に
対する使用者の視線方向を検出する視線方向検出手段
と、上記視線方向検出手段での検出結果に基づいて、上
記表示手段により表示された画像中に存在する被写体に
対して上記初期輪郭を設定する設定手段とを備えること
を特徴とする。

【００１４】第４の発明は、上記第３の発明において、
上記設定手段は、上記表示手段により表示された画像に
おいて、上記視線方向検出手段により検出された上記使
用者の視線方向に対応する位置に所定の輪郭を設定する
所定輪郭設定手段と、上記所定輪郭設定手段により設定
された所定の輪郭と、上記画像中に存在する被写体とが
一致したことを入力する入力手段と、上記入力手段での
入力に基づいて、上記所定の輪郭を上記初期輪郭として
設定する初期輪郭設定手段とを含むことを特徴とする。

【００１５】第５の発明は、撮影画像中に存在する被写
体に対して設定された初期輪郭に基づいて、当該被写体
領域を検出する被写体検出装置であって、被写体を撮影
して撮影画像を取得する撮影手段と、上記撮影手段の上
記被写体までの距離を計測する距離計測手段と、上記距
離計測手段での計測結果に基づいて、上記撮影手段によ
り得られた撮影画像中に存在する被写体に対して上記初
期輪郭を設定する設定手段とを備えることを特徴とす
る。

【００１６】第６の発明は、上記第５の発明において、
上記距離計測手段は、上記撮影手段により得られた撮影
画像をブロック分割する分割手段と、当該分割手段によ
る各ブロックの画像毎に上記計測情報を取得する計測情
報取得手段とを含み、上記設定手段は、上記計測情報取
得手段により得られた各ブロックの画像毎の計測情報に
基づいて、上記被写体が存在する位置に対応するブロッ
ク領域の輪郭を上記初期輪郭として設定することを特徴
とする。

【００１７】第７の発明は、上記第６の発明において、
上記設定手段は、同一の計測情報を有するブロックから
なる領域の輪郭を上記初期輪郭として設定することを特
徴とする。

【００１８】第８の発明は、上記第１、３、５の何れか
の発明において、上記設定手段により設定された初期輪
郭内の情報に対して、複数の特徴量を引数とする評価関
数の極値検出を行なった結果から、上記被写体の輪郭を
検出する輪郭検出手段を備えることを特徴とする。

【００１９】第９の発明は、画像中に存在する被写体の
領域を検出する被写体領域検出手段と、上記被写体領域
検出手段により検出された被写体領域の特徴量を抽出す
る特徴量抽出手段と、上記特徴量抽出手段により抽出さ
れた特徴量に基づいて、上記画像を評価する評価手段
と、上記評価手段での評価結果を出力する出力手段とを
備えることを特徴とする。

【００２０】第１０の発明は、上記第９の発明におい
て、上記被写体領域検出手段は、請求項１〜８の何れか
に記載の被写体検出装置の機能を有し、当該機能によっ
て得られた被写体輪郭から被写体領域を検出することを
特徴とする。

【００２１】第１１の発明は、上記第９の発明におい
て、上記被写体領域検出手段は、撮影して得られた撮影
画像、及び再生画像の少なくとも何れかの画像に存在す
る被写体の領域を検出することを特徴とする。

【００２２】第１２の発明は、上記第９の発明におい
て、上記出力手段は、表示出力機能を有することを特徴
とする。

【００２３】第１３の発明は、上記第９の発明におい
て、上記出力手段は、上記評価結果を表す図形を上記画
像に重畳して表示出力することを特徴とする。

【００２４】第１４の発明は、上記第９の発明におい
て、上記特徴量抽出手段は、上記被写体領域に外接する
矩形領域、上記被写体領域の重心点、上記被写体領域の
面積、及び上記被写体領域の色構成の少なくとも何れか
の情報を上記特徴量として抽出することを特徴とする。

【００２５】第１５の発明は、上記第９の発明におい
て、上記評価手段は、所定の条件に基づいた上記特徴量
に対する演算により、上記画像を評価することを特徴と
する。

【００２６】第１６の発明は、上記第１〜８の何れかの
発明において、画像中に存在する被写体を検出する機能
を有する画像処理装置であって、当該機能は、請求項１
〜８の何れかに記載の被写体検出装置の機能を含むこと
を特徴とする。

【００２７】第１７の発明は、複数の機器が通信可能に
接続されてなる画像処理システムであって、上記複数の
機器のうち少なくとも１つの機器は、請求項１〜８の何
れかに記載の被写体検出装置の機能、又は、請求項９〜
１６の何れかに記載の画像処理装置の機能を有すること
を特徴とする。

【００２８】第１８の発明は、撮影画像中に存在する被
写体を検出するための被写体検出方法であって、撮影方
向が変更可能な撮影手段により得られた撮影画像を表示
する表示ステップと、上記表示ステップによる表示画面
の所定位置に所定の輪郭を設定する所定輪郭設定ステッ
プと、上記撮影手段での撮影方向の変更によって、上記
表示ステップによる表示画面上の所定の輪郭と、当該表
示画面上の撮影画像中に存在する被写体とが一致したこ
とを入力する入力ステップと、上記入力ステップでの入
力に基づいて、上記所定の輪郭を上記撮影画像中に存在
する被写体に対する初期輪郭として設定する初期輪郭設
定ステップと、上記初期輪郭設定ステップにより設定さ
れた初期輪郭に基づいて、上記撮影画像中に存在する被
写体の輪郭を検出する被写体輪郭検出ステップとを含む
ことを特徴とする。

【００２９】第１９の発明は、上記第１８の発明におい
て、上記所定輪郭設定ステップは、上記表示ステップに
よる表示画面の中央に上記所定の輪郭を設定するステッ
プを含むことを特徴とする。

【００３０】第２０の発明は、画像中に存在する被写体
を検出するための被写体検出方法であって、上記画像を
表示する表示ステップと、上記表示ステップによる表示
画面に対する使用者の視線方向を検出する視線方向検出
ステップと、上記視線方向検出ステップでの検出結果に
基づいて、上記画像中に存在する被写体に対して初期輪
郭を設定する初期輪郭設定ステップと、上記初期輪郭設
定ステップにより設定された初期輪郭に基づいて、上記
画像中に存在する被写体の輪郭を検出する被写体輪郭検
出ステップとを含むことを特徴とする。

【００３１】第２１の発明は、上記第２０の発明におい
て、上記初期輪郭設定ステップは、上記表示ステップに
よる表示画面において、上記視線方向検出ステップによ
り検出された上記使用者の視線方向に対応する位置に所
定の輪郭を設定する所定輪郭設定ステップと、上記表示
ステップによる表示画面において、上記所定輪郭設定ス
テップにより設定された所定の輪郭と、上記画像中に存
在する被写体とが一致したことを入力する入力ステップ
と、上記入力ステップでの入力に基づいて、上記所定の
輪郭を上記初期輪郭として設定する設定ステップとを含
むことを特徴とする。

【００３２】第２２の発明は、撮影画像中に存在する被
写体を検出するための被写体検出方法であって、撮影手
段により被写体を撮影して撮影画像を取得する撮影ステ
ップと、上記撮影手段の上記被写体までの距離を計測す
る距離計測ステップと、上記距離計測ステップでの計測
結果に基づいて、上記撮影手段により得られた撮影画像
中に存在する被写体に対して初期輪郭を設定する初期輪
郭設定ステップと、上記初期輪郭設定ステップにより設
定された初期輪郭に基づいて、上記撮影画像中に存在す
る被写体の輪郭を検出する被写体輪郭検出ステップとを
含むことを特徴とする。

【００３３】第２３の発明は、上記第２２の発明におい
て、上記距離計測ステップは、上記撮影手段により得ら
れた撮影画像をブロック分割する分割ステップと、当該
分割ステップにより得られた各ブロックの画像毎に上記
計測情報を取得する計測情報取得ステップとを含み、上
記初期輪郭設定ステップは、上記計測情報取得ステップ
により得られた各ブロックの画像毎の計測情報に基づい
て、上記撮影画像上の被写体が存在する位置に対応する
ブロック領域の輪郭を上記初期輪郭として設定するステ
ップを含むことを特徴とする。

【００３４】第２４の発明は、上記第２３の発明におい
て、上記初期輪郭設定ステップは、同一の計測情報を有
するブロックからなる領域の輪郭を上記初期輪郭として
設定するステップを含むことを特徴とする。

【００３５】第２５の発明は、上記第１８、２０、２２
の何れかの発明において、上記被写体輪郭検出ステップ
は、上記初期輪郭設定ステップにより設定された初期輪
郭内の情報に対して、複数の特徴量を引数とする評価関
数の極値検出を行なった結果から、上記被写体の輪郭を
検出するステップを含むことを特徴とする。

【００３６】第２６の発明は、画像中に存在する被写体
の領域を検出する被写体領域検出ステップと、上記被写
体領域検出ステップにより検出された被写体領域の特徴
量を抽出する特徴量抽出ステップと、上記特徴量抽出ス
テップにより抽出された特徴量に基づいて、上記画像を
評価する評価ステップと、上記評価ステップでの評価結
果を出力する出力ステップとを含むことを特徴とする。

【００３７】第２７の発明は、上記第２６の発明におい
て、上記被写体領域検出ステップは、請求項１８〜２５
の何れかに記載の被写体検出方法の処理ステップと、当
該処理ステップの実行によって得られた被写体輪郭から
被写体領域を検出するステップとを含むことを特徴とす
る。

【００３８】第２８の発明は、上記第２６の発明におい
て、上記被写体領域検出ステップは、撮影して得られた
撮影画像、及び再生画像の少なくとも何れかの画像に存
在する被写体の領域を検出するステップを含むことを特
徴とする。

【００３９】第２９の発明は、上記第２６の発明におい
て、上記出力ステップは、表示出力ステップを含むこと
を特徴とする。

【００４０】第３０の発明は、上記第２６の発明におい
て、上記出力ステップは、上記評価結果を表す図形を上
記画像に重畳して表示出力するステップを含むことを特
徴とする。

【００４１】第３１の発明は、上記第２６の発明におい
て、上記特徴量抽出ステップは、上記被写体領域に外接
する矩形領域、上記被写体領域の重心点、上記被写体領
域の面積、及び上記被写体領域の色構成の少なくとも何
れかの情報を上記特徴量として抽出するステップを含む
ことを特徴とする。

【００４２】第３２の発明は、上記第２６の発明におい
て、上記評価ステップは、所定の条件に基づいた上記特
徴量に対する演算により、上記画像を評価するステップ
を含むことを特徴とする。

【００４３】第３３の発明は、請求項１〜８の何れかに
記載の被写体検出装置の機能、請求項９〜１６の何れか
に記載の画像処理装置の機能、及び請求項１７記載の画
像処理システムの機能の少なくとも何れかの機能を実施
するための処理プログラムを、コンピュータが読出可能
に格納した記憶媒体であることを特徴とする。

【００４４】第３４の発明は、請求項１８〜２５の何れ
かに記載の被写体検出方法の処理ステップ、及び請求項
２６〜３２の何れかに記載の画像処理方法の処理ステッ
プの少なくとも何れかの処理ステップを、コンピュータ
が読出可能に格納した記憶媒体であることを特徴とす
る。

【００４５】具体的には例えば、画像（撮影画像や、一
旦記録した撮影画像を再生した画像等）中に存在する被
写体の輪郭を検出するための初期輪郭の設定手段とし
て、使用者がカメラ等の撮影手段を被写体方向に向ける
ことによって上記初期輪郭を設定する手段、又は使用者
の視線方向を検出する視線検出手段を用いて上記初期輪
郭を設定する手段、又は合点情報等に基づいて求めた測
定距離結果（距離画像）を領域分割することで上記初期
輪郭を求めて自動的に設定する手段を設け、この手段に
よって設定された初期輪郭から、被写体の詳細な輪郭を
求める。

【００４６】被写体の輪郭を求める方法としては、複数
の画像特徴量を引数とする評価関数の極値検出にもとづ
く輪郭抽出手法等を用い、これにより得られた被写体輪
郭から被写体領域を検出する。

【００４７】使用者がカメラ等の撮影手段を被写体方向
に向けることによって上記初期輪郭を設定する手段で
は、初期輪郭が画面の所定位置（中央等）に設定され、
使用者が撮影方向を変更して初期輪郭と被写体が一致し
たときに、両者の一致が入力されることで、初期輪郭が
設定される。このような、使用者からの指示入力によっ
て初期輪郭を設定する構成によれば、安定して被写体輪
郭を検出することができる。

【００４８】使用者の視線方向を検出する視線検出手段
を用いて上記初期輪郭を設定する手段では、操作者の視
線方向によって初期輪郭の位置が指定される。このよう
な構成によれば、初期輪郭を任意の位置に設定すること
ができ、安定して被写体輪郭を検出することができる。

【００４９】合点情報等に基づいて求めた測定距離結果
（距離画像）を領域分割することで上記初期輪郭を求め
て自動的に設定する手段では、距離画像の領域分割によ
って被写体領域の概略値が求められ、これが初期輪郭と
して自動的に設定される。このような構成によれば、初
期輪郭を実際に被写体により近いものにすることがで
き、使用者からの入力も必要なく、自動的に初期輪郭を
設定することができる。

【００５０】また、例えば、画像（撮影画像や、一旦記
録した撮影画像を再生した画像等）中の被写体領域から
得られた被写体領域の特徴量を抽出し、その特徴量から
画像の評価を行なう。そして、その評価結果を図形等と
して画像に重畳して表示出力する。このような構成によ
れば、使用者は、撮影等に最適な被写体の大きさを認識
することができ、画像に対する評価を容易に認識するこ
とができる。また、自分が撮影した画像と他の画像の比
較等もすることができる。

【００５１】被写体領域の検出方法としては、上述の本
発明による方法、或いは従来方法を用いることが可能で
ある。

【００５２】被写体領域の特徴量としては、被写体領域
に外接する矩形領域、被写体領域の重心点や、面積、或
いは被写体領域の色構成等を用いる。特徴量として被写
体領域の色構成を用いれば、例えば、肌色領域の画像に
対する面積比率を考慮すれば、撮影画像のより自然な評
価を行なうことができる。

【００５３】画像の評価方法としては、被写体領域の各
特徴量が所定の範囲内にあるとき、予め設定した各特徴
量の理想値との差分演算を行い、その演算結果から画像
を評価する方法等を用いる。

【００５４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００５５】（第１の実施の形態）本発明は、例えば、
図１に示すようなビデオカメラ１００に適用される。こ
のビデオカメラ１００は、特に、撮影の際に使用者が、
被写体が撮影画面中央に来るようにカメラの方向を当該
被写体に対して向けることによって、当該被写体の初期
輪郭を設定する構成としている。以下、本実施の形態に
おけるビデオカメラ１００のハードウェア構成、初期輪
郭の設定の原理、及び動作について具体的に説明する。

【００５６】［ビデオカメラ１００のハードウェア構
成］

【００５７】ビデオカメラ１００は、上記図１に示すよ
うに、被写体３２を含む撮影シーンを撮影して当該撮影
シーンの画像信号（撮影画像信号）を取得する撮像部１
０１と、被写体３２の輪郭情報等が記憶されるフレーム
メモリ１０４と、撮像部１０１により得られた画像信号
から被写体３２の輪郭を検出する被写体検出部１０５
と、撮像部１０１により得られた画像信号の記録処理及
び記録媒体からの画像信号の再生処理を行なう記録再生
部１０３と、撮像部１０１により得られた画像信号（実
画像）又は記録再生部１０３により得られた再生画像信
号等に基づいた表示を行なう表示部１０２と、使用者か
らの各種指示が入力される操作部１０６と、ビデオカメ
ラ１００全体の動作制御を司る制御部１０７とを備えて
いる。

【００５８】撮像部１０１は、絞り、レンズ、及び撮像
素子等を含むカメラ部であり、被写体３２を含む撮影シ
ーンを撮像して、その撮影シーンの画像信号を出力す
る。この出力された画像信号は、表示部１０２、記録再
生部１０３、及び被写体検出部１０５へとそれぞれ供給
される。

【００５９】フレームメモリ１０４には、被写体検出部
１０５により検出された被写体３２の輪郭等の情報が保
持され、この情報は、表示部１０２へと供給される。

【００６０】表示部１０２は、液晶等の表示デバイスや
制御回路を含み、ビューファインダーとして用いられ
る。表示部１０２は、撮像部１０１にて得られた画像信
号（実画像）、或いは記録再生部１０３での再生処理に
て得られた画像信号（再生画像）を表示すると共に、そ
の画像信号と、フレームメモリ１０４の被写体３２の輪
郭の情報とを重畳して表示するようにもなされている。

【００６１】記録再生部１０３は、固体メモリや磁気デ
ィスク等の記憶媒体や制御回路を含み、撮像部１０１に
て得られた画像信号等をビデオ信号として記録媒体へ記
録したり、予めビデオ信号が記録された記録媒体から画
像信号を再生する。この記録再生部１０３での再生処理
により得られた画像信号は、表示部１０２及び被写体検
出部１０５へとそれぞれ供給される。

【００６２】被写体検出部１０５は、画像信号を処理す
るプロセッサであり、特に、撮像部１０１にて得られた
画像信号（実画像）から、被写体３２の輪郭の検出を行
なう。この検出結果は、制御部１０７によりフレームメ
モリ１０４上へ書き込まれる。

【００６３】操作部１０６は、ビデオカメラ１００本体
に配置された各種のボタン類からなり、この操作部１０
６での使用者からの操作情報（命令）は、制御部１０７
へと供給される。

【００６４】制御部１０７は、ビデオカメラ１００全体
（ハードウェア全体）の動作制御を管理するものであ
り、特に、後述する初期輪郭の設定のための動作制御を
司る。

【００６５】上述のようなビデオカメラ１００の最も特
徴とする構成は、被写体検出部１０５にあり、被写体検
出部１０５、及びこれを制御する制御部１０７を除く各
構成部分については、一般に市販されているビデオカメ
ラの構成を利用することも可能である。また、ここでの
被写体検出部１０５は、汎用の信号処理ＩＣ等を用いて
構成している。

【００６６】［初期輪郭の決定の原理］図２（ａ）〜
（ｃ）は、被写体検出部１０５による被写体３２に対す
る初期輪郭の決定についての原理を示したものである。

【００６７】上記図２（ａ）は、ある撮影シーン（撮像
部１０１にて得られた実画像による画面）の一例を示し
ており、同図に示すように、この撮影シーンには、上記
図１の被写体３２が含まれている。ここでは、被写体３
２を、検出希望する被写体とする。

【００６８】そこで、先ず、上記図２（ａ）に示すよう
に、初期輪郭を、画面中央部の固定した楕円領域３１と
して定める。尚、初期輪郭３１の形状は、楕円形に限ら
れることはなく、例えば、矩形でもよい。但し、その存
在領域に関しては、所定位置（上記図２（ａ）では画面
中央）とする。

【００６９】次に、使用者は、表示部１０２での表示画
面を見ながら、ビデオカメラ１００（具体的には撮像部
１０１）の方向を被写体３２に自ら向ける。そして、使
用者は、上記図２（ｂ）に示すように、画面中央部（初
期輪郭３１が設定されている位置）に被写体３２が一致
したところで、操作部１０６から初期輪郭決定を指示入
力する。

【００７０】上記の指示入力により、被写体３２の初期
輪郭として初期輪郭３１が決定され、この初期輪郭３１
から、上述した手法（１）等での輪郭の最適化によっ
て、上記図２（ｃ）に示すような輪郭３４が被写体３２
の輪郭として決定されることになる。そして、このよう
にして一旦求められた輪郭３４を、次のフレームでの初
期輪郭として利用することで、移動する被写体３２の追
尾を行なうことができる。

【００７１】［ビデオカメラ１００の動作］図３は、ビ
デオカメラ１００の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部１０７によって実行
されることで、ビデオカメラ１００は次のように動作す
る。

【００７２】先ず、操作部１０６から使用者によって電
源投入がなされると（ステップＳ２００）、制御部１０
７は、撮像部（ビデオカメラモジュール）１０１をはじ
めとする全ての各構成部分の初期化を行なう（ステップ
Ｓ２０１）。これにより、ビデオカメラ１００は動作可
能状態となり、使用者によるビデオカメラ１００での撮
影が開始される。使用者は、上記図３（ａ）〜（ｃ）を
用いて述べたように、表示部１０２において、現在撮像
部１０１によって得られた実画像が表示されている画面
を見ながら、検出希望する被写体（ここでは被写体３
２）が画面中央に位置した時点で、操作部１０６により
輪郭決定の指示入力を行なう。

【００７３】このとき、制御部１０７は、操作部１０６
による使用者からの輪郭決定の指示入力の受付処理を行
ない（ステップＳ２０２）、当該輪郭決定の指示入力が
あったか否かを判別する（ステップＳ２０３）。この判
別の結果、輪郭決定の指示入力がない場合には、ステッ
プＳ２０２へと戻り、輪郭決定の指示入力の待ち状態と
なる。

【００７４】ステップＳ２０３での判別の結果、輪郭決
定の指示入力があった場合、制御部１０７は、当該指示
入力により、次のステップＳ２０４からの処理のための
動作制御を行なう。

【００７５】すなわち、先ず、被写体検出部１０５は、
上記図２（ｂ）に示したように、画面中央に固定した輪
郭３１を被写体３２に対する初期輪郭として設定する
（ステップＳ２０４）。

【００７６】次に、被写体検出部１０５は、ステップＳ
２０４にて設定した初期輪郭３１から、上述した手法
（１）や手法（２）等と同様の方法により、上記図２
（ｃ）に示したような輪郭３４を被写体３２の輪郭とし
て決定する（ステップＳ２０５）。具体的には例えば、
初期輪郭３１で包囲された領域に対して特徴量の抽出処
理を行ない、これにより得られた特徴量を引数とする評
価関数を作成し、その評価関数が極値をとるような被写
体輪郭３４を求める。ここでの特徴量としては、被写体
輪郭３４の輪郭線の滑らかさ、輝度勾配、外部から加え
られる力等が挙げられる。

【００７７】ステップＳ２０５及びＳ２０６での被写体
検出部１０５による被写体輪郭の検出が終了すると、制
御部１０７は、操作部１０６による使用者からの輪郭検
出処理続行の指示入力の受付処理を行ない（ステップＳ
２０６）、この結果、輪郭検出処理続行の指示入力があ
ったか否かを判別する（ステップＳ２０７）。

【００７８】ステップＳ２０７での判別の結果、輪郭検
出処理続行の指示入力がなかった場合、例えば、操作部
１０６により使用者から電源切断等による本処理を終了
する指示入力がなされた場合、制御部１０７は、ビデオ
カメラ１００に対する終了処理を行なう（ステップＳ２
１１）。これにより、本処理が終了する（ステップＳ２
１２）。

【００７９】一方、ステップＳ２０７での判別の結果、
輪郭検出処理続行の指示入力があった場合、制御部１０
７は、被写体検出部１０５による被写体輪郭の検出が成
功したか否かを確認する（ステップＳ２０８）。この確
認処理では、被写体検出部１０５により得られた被写体
輪郭（初期輪郭３１を最適化した輪郭３４：上記図２
（ｂ）及び（ｃ）参照）によって定義される領域の特徴
量をもとに、その領域が移動被写体３２の領域であるか
どうか判断する。この判断方法としては、例えば、被写
体輪郭（輪郭３４）の領域の面積Ｓが、任意のしきい値
ＴＨ＿Ｓより大きいか否かで、被写体輪郭（輪郭３４）
の領域が移動被写体３２の領域であるかどうか判断する
方法を用いる。この結果、しきい値ＴＨ＿Ｓより大きけ
れば、被写体輪郭（輪郭３４）の領域が移動被写体３２
の領域であり（被写体検出部１０５による被写体輪郭の
検出が成功）、そうでなければ、被写体輪郭（輪郭３
４）の領域は雑音である（被写体検出部１０５による被
写体輪郭の検出が失敗）と見なす。尚、被写体輪郭（輪
郭３４）の領域の面積Ｓについては、ここでは、ステッ
プＳ２０６の処理において求められているものとする
が、本ステップＳ２０８において求めるようにしてもよ
い。

【００８０】ステップＳ２０８の判別の結果、被写体検
出部１０５による被写体輪郭の検出が成功していない場
合、ステップＳ２０２へに戻り、以降の処理を繰り返し
実行する。

【００８１】ステップＳ２０８の判別の結果、被写体検
出部１０５による被写体輪郭の検出が成功していた場
合、制御部１０７は、その被写体輪郭をフレームメモリ
１０４へ書き込む。表示部１０２は、現在表示している
撮影画像（撮像部１０１によって得られた実画像）に対
して、フレームメモリ１０４上の被写体輪郭を重畳して
表示する（ステップＳ２０９）。これにより、使用者
は、被写体領域の検出結果を認識できる。

【００８２】そして、被写体検出部１０５は、現在の被
写体輪郭を次の時点（次フレーム）での被写体に対する
初期輪郭とするための初期輪郭設定処理を行う（ステッ
プＳ２１０）。その後、ステップＳ２０５へと戻り、以
降の処理を繰り返し実行する。

【００８３】上述したように、本実施の形態では、使用
者が、被写体３２が撮影画面中央（初期輪郭３１が設定
されている位置）に来るようにカメラの方向を被写体３
２に対して向けることによって、被写体３２の初期輪郭
を設定する構成としているため、被写体３２の初期輪郭
３１を容易に且つ正確に設定することができ、被写体３
２の輪郭３４を正確に且つ安定して検出することができ
る。

【００８４】（第２の実施の形態）本発明は、例えば、
図４に示すようなビデオカメラ３００に適用される。こ
のビデオカメラ３００は、上記図１に示したビデオカメ
ラ１００と同様の構成としているが、特に、表示部１０
２での表示画面上で使用者が検出希望する被写体を注視
したとき、視線検出機能によって使用者の眼球の方向を
検出することで、使用者が注視した被写体を検出し、そ
の被写体の初期輪郭を設定する構成が異なる。以下、本
実施の形態におけるビデオカメラ３００のハードウェア
構成、初期輪郭の設定の原理、及び動作について具体的
に説明する。

【００８５】［ビデオカメラ３００のハードウェア構
成］

【００８６】ビデオカメラ３００は、上記図１に示した
ビデオカメラ１００が備える各構成部に加えて、制御部
１０７に接続された視線入力部３０１をさらに備えた構
成としている。尚、上記図４のビデオカメラ３００にお
いて、上記図１のビデオカメラ１００と同様に動作する
箇所には同じ符号を付し、その詳細な説明は省略する。

【００８７】視線入力部３０１は、例えば、角膜反射光
と瞳孔中心の位置関係から眼球の回転角度を求める視線
検出手法を採用しており、この手法によって、表示部１
０２の表示画面を見ている使用者の眼球回転角度情報を
検出する。ここで、使用者の眼球回転角度情報は個人差
があるため、視線位置と眼球回転角度とを対応づけるキ
ャリブレーションを行なうようになされている。これに
より、使用者が、表示部１０２の表示画面上のどの場所
を見ているかは、使用者の眼球の表示部１０２の表示画
面までの距離と視線の角度によって求めることができ
る。

【００８８】尚、視線入力部３０１での視線検出方法と
しては、例えば、本出願人の先の発明による特開平１−
２４１５１１号公報や特開平１−２７４７３６号公報等
に記載されている方法を用いることが可能である。

【００８９】［初期輪郭の決定の原理］

【００９０】例えば、表示部１０２には、上記図２
（ａ）に示したような被写体３２を含む撮影シーンの画
像（又は、記録再生部１０３での再生処理によって得ら
れた再生画像）が表示されており、この表示画面を使用
者が見ているものとする。このとき、使用者が、検出希
望する被写体として被写体３２を注視した場合、このと
きの視線は、視線入力部３０１によって検出される。こ
の検出により、現在使用者が注視している被写体３２に
対して、初期輪郭３１を設定する。

【００９１】上述のように、本実施の形態では、視線入
力部３０１を設けたことにより、表示部１０２の表示画
面上で初期輪郭を設定する位置として、任意の位置を指
定することが可能である。したがって、上記図２（ａ）
に示したような画像上では、初期輪郭３１を視線入力に
よって指定した任意の位置に設定することができる。こ
れにより、使用者が検出希望する被写体３２に視点を合
わせ、初期輪郭３１を設定するための指示入力を行うこ
とにより、初期輪郭３１を被写体３２の領域周辺に設定
することができる。

【００９２】このとき、例えば、現在表示部１０２に表
示されている画像（撮像部１０１によって得られた実画
像、又は記録再生部１０３での再生処理によって得られ
た再生画像）上に初期輪郭３１を重ねて表示すること
で、使用者自身が確認をしながら初期輪郭３１を設定す
る指示入力を行なうことができる。

【００９３】［ビデオカメラ３００の動作］図５は、ビ
デオカメラ３００の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部１０７によって実行
されることで、ビデオカメラ３００は次のように動作す
る。尚、上記図５のフローチャートにおいて、上記図３
のフローチャートと同様に処理実行する箇所には同じス
テップ符号を付し、その詳細な説明は省略する。

【００９４】先ず、上述したようにして、操作部１０６
から使用者によって電源投入がなされ（ステップＳ２０
０）、制御部１０７により撮像部（ビデオカメラモジュ
ール）１０１をはじめとする全ての各構成部分の初期化
が行われる（ステップＳ２０１）。これにより、ビデオ
カメラ１００は動作可能状態となり、使用者によるビデ
オカメラ１００での撮影、又は記録媒体からの画像の再
生が開始される。使用者は、表示部１０２において、現
在撮像部１０１によって得られた実画像、又は記録再生
部１０３によって得られた再生画像が表示されている画
面上にて、検出を希望する被写体（ここでは被写体３
２）を注視する。

【００９５】視線入力部３０１は、表示部１０２での表
示画面上で現在使用者が注視している位置を検出する
（ステップＳ４０１）。

【００９６】制御部１０７は、フレームメモリ１０４上
において、視線入力部３０１で検出された注視位置に初
期輪郭３１（輪郭図形）を書き込み、これを表示部１０
２へと供給する。表示部１０２は、制御部１０７からの
フレーム画像と、現在表示している画像とを重畳して表
示する。これにより、現在の表示画像に対して初期輪郭
３１が使用者の注視位置に重畳して表示される（ステッ
プＳ４０２）。

【００９７】使用者は、表示部１０２での表示画面を見
ながら、検出希望する被写体３２が初期輪郭３１と一致
した時点で、操作部１０６により輪郭決定の指示入力を
行なう。

【００９８】このとき、上述したように、制御部１０７
は、操作部１０６による使用者からの輪郭決定の指示入
力の受付処理を行なっており（ステップＳ２０２）、当
該輪郭決定の指示入力があったか否かを判別する（ステ
ップＳ２０３）。この判別の結果、輪郭決定の指示入力
がない場合には、ステップＳ２０２へと戻り輪郭決定の
指示入力の待ち状態となり、一方、輪郭決定の指示入力
があった場合には、以降のステップＳ２０４からの処理
が実行されることになる。

【００９９】上述したように、本実施の形態では、表示
部１０２の表示画面上での使用者の注視位置を検出する
視線入力部３０１を設けた構成としているので、当該表
示画面上の任意の位置に初期輪郭を設定することが可能
となる。また、被写体領域の検出の際には、使用者は検
出したい被写体３２を注視するだけでよい。したがっ
て、本実施の形態によれば、上述した第１の実施の形態
による効果に加えて、画像中の任意の位置に初期輪郭を
設定することができ、さらに容易に安定して被写体領域
を抽出することができる。

【０１００】（第３の実施の形態）本発明は、例えば、
図６に示すようなビデオカメラ５００に適用される。こ
のビデオカメラ５００は、特に、撮影画像中から被写体
の領域を検出する際に、撮影時の合焦情報に基づく距離
計測結果により、被写体の大まかな領域を求め、これを
被写体の初期輪郭とする構成としている。以下、本実施
の形態におけるビデオカメラ５００のハードウェア構
成、初期輪郭の設定の原理、及び動作について具体的に
説明する。

【０１０１】［ビデオカメラ５００のハードウェア構
成］

【０１０２】ビデオカメラ５００は、上記図６に示すよ
うに、被写体８Ｘを含む撮影シーンを撮像して当該撮影
シーンの画像信号（撮影画像信号）を取得する撮像部
（ビデオカメラモジュール）５０１と、撮像部５０１に
より得られた画像信号をビデオ信号に変換するカメラプ
ロセス部５０９と、被写体８Ｘの輪郭情報等が記憶され
るフレームメモリ５１２と、撮像部５０１での絞り、ズ
ーム、及びフォーカス制御を行なう絞り制御部５０６、
ズーム制御部５０７、及びフォーカス制御部５０８と、
これらの各制御部５０６〜５０８からの情報により被写
体８Ｘまでの距離を測定する距離測定部５１６と、距離
測定部５１６での測定結果に基づきカメラプロセス部５
０９により得られたビデオ信号から被写体８Ｘの領域を
検出する被写体検出部５１３と、カメラプロセス部５０
９により得られたビデオ信号の記録処理及び記録媒体か
らのビデオ信号の再生処理を行なう記録再生部５１１
と、カメラプロセス部５０９により得られたビデオ信号
（実画像）又は記録再生部５１１により得られた再生ビ
デオ信号等に基づいた表示を行なう表示部５１０と、使
用者からの各種指示が入力される操作部５１５と、ビデ
オカメラ５００全体の動作制御を司る制御部５１４とを
備えている。

【０１０３】撮像部５０１は、絞り５０２、ズームレン
ズ５０３、フォーカスレンズ５０４、及び撮像素子５０
５を含むビデオカメラモジュールである。被写体８Ｘか
らの光は、絞り５０２、ズームレンズ５０３、及びフォ
ーカスレンズ５０４を介して撮像素子５０５の撮像面上
に結像される。これにより、撮像素子５０５からは、そ
の光電変換により、被写体３２を含む撮影シーンの画像
信号（電気信号）が出力される。この出力された画像信
号は、カメラプロセス部５０９にへと供給される。

【０１０４】撮像部５０１の絞り５０２、ズームレンズ
５０３、及びフォーカスレンズ５０４のそれぞれの動作
は、絞り制御部５０６、ズーム制御部５０７、及びフォ
ーカス制御部５０８から制御される。絞り制御部５０
６、ズーム制御部５０７、及びフォーカス制御部５０８
はそれぞれ、自然で鮮明な撮影画像が取得できるよう
に、制御部５１４からの制御に従って、絞り５０２、ズ
ームレンズ５０３、及びフォーカスレンズ５０４を制御
する。

【０１０５】カメラプロセス部５０９は、撮像部５０１
からの画像信号に対して所定の信号処理を施すことで、
当該画像信号をビデオ信号に変換する。このビデオ信号
は、表示部５１０、記録再生部５１１、被写体検出部５
１３、及びフォーカス制御部５０８へとそれぞれ供給さ
れる。

【０１０６】表示部５１０は、液晶等の表示デバイスや
制御回路を含み、ビューファインダーとして用いられ
る。表示部５１０は、ビデオプロセス部５０９にて得ら
れたビデオ信号（実画像）、或いは記録再生部５１１で
の再生処理にて得られたビデオ信号（再生画像）を表示
すると共に、その画像信号と、後述するフレームメモリ
５１２の被写体８Ｘの輪郭の情報とを重畳して表示する
ようにもなされている。

【０１０７】記録再生部５１１は、固体メモリや磁気デ
ィスク等の記憶媒体や制御回路を含み、ビデオプロセス
部５０９にて得られたビデオ信号を記録媒体へ記録した
り、予めビデオ信号が記録された記録媒体からビデオ信
号を再生する。この記録再生部５１１での再生処理によ
り得られた画像信号は、表示部５１０及び被写体検出部
５１３へとそれぞれ供給される。

【０１０８】距離計測部５１６は、被写体８Ｘまでの距
離を計測する。この計測結果は、被写体検出部５１３と
供給される。

【０１０９】ここで、距離計測部５１６での距離計測に
は、撮像部５０１が合点状態にある時のズームレンズ５
０３及びフォーカスレンズ５０４の位置が必要であるた
め、ズーム制御部５０７及びフォーカス制御部５０８
は、合点状態でのレンズ位置情報を距離計測部５１６へ
供給する。また、距離計測部５１６での距離計測にあた
って、フォーカス制御部５０８は、被写体検出部５１３
からの指令により、複数の距離を仮定して各距離に合点
するようにフォーカスレンズ５０４を制御する。これに
より、被写体検出部５１３は、撮像部５０１にて得られ
た画像上の各領域において最も合焦する距離を求めるこ
とにより、被写体８Ｘまでの距離を得ることができる。
尚、この距離取得方法の詳細に関しては後述する。

【０１１０】被写体検出部１１３は、ビデオ信号を処理
するプロセッサであり、特に、距離計測部５１６での計
測結果に基づいて、ビデオプロセス部５０９にて得られ
たビデオ信号（実画像）から、被写体８Ｘの輪郭の検出
を行なう。この検出結果は、制御部５１４によりフレー
ムメモリ５１２上へ書き込まれる。

【０１１１】操作部５１５は、ビデオカメラ５００本体
に配置された各種のボタン類からなり、この操作部５１
５での使用者からの操作情報（命令）は、制御部５１４
へと供給される。

【０１１２】制御部５１４は、ビデオカメラ５００全体
（ハードウェア全体）の動作制御を管理するものであ
り、特に、後述する初期輪郭の設定のための動作制御を
司る。

【０１１３】上述のようなビデオカメラ５００の最も特
徴とする構成は、特に、被写体検出部５１３にあり、被
写体検出部５１３、及びこれを制御する制御部５１４を
除く各構成部分については、一般に市販されているビデ
オカメラの構成を利用することも可能である。また、こ
こでの被写体検出部５１３は、汎用の信号処理ＩＣ等を
用いて構成している。

【０１１４】［初期輪郭の決定の原理］図７（ａ）〜
（ｅ）は、被写体検出部５１３による被写体８Ｘに対す
る初期輪郭の決定についての原理を示したものである。

【０１１５】上記図７（ａ）は、ある撮影シーン（撮像
部５０１にて得られた実画像による画面）の一例を示し
ており、同図に示すように、この撮影シーンは、上記図
１の被写体８Ｘとして、被写体８２（家）及び被写体８
３（人物）が背景８１に含まれたシーンである。

【０１１６】そこで、先ず、距離測定部５１６により、
上記図７（ａ）に示すように、画像を複数のブロックに
分割し、各ブロックを単位として距離を求める。

【０１１７】各ブロックに対する距離計測方法として
は、例えば、一般のカメラシステムのオートフォーカス
方式で採用されているような、フォーカスレンズ５０４
を移動したときに画像の高周波成分がピークとなるレン
ズ位置を求め、これを被写体の距離に変換する方式を用
いることができる。ズームレンズ５０３及びフォーカス
レンズ５０４の位置と合点距離との関係は、各ズーム倍
率において、距離が既知の被写体に合点したときのフォ
ーカスレンズ５０４の位置を予め求めておく。このよう
なレンズの位置と合点距離との関係を表したグラフを一
般にカム軌跡と呼ぶ。このような距離計測方法は、例え
ば、本出願人の先の発明による特開平６−０３０３１７
号公報や特開平８−２６５６２０号公報等に詳述されて
いる。

【０１１８】本実施の形態では、複数の合焦距離を仮定
して、各々の距離に合点するようにフォーカスレンズ５
０４を移動して撮影を行い、その撮影により得られた画
像において、各ブロック領域の高周波成分の変化を計算
することにより、各ブロック領域における合点距離を求
める。

【０１１９】そして、上記図７（ｂ）に示すように、同
一の距離を持つブロックを同一の被写体と考えて画像の
領域分割（被写体８２の領域８２’、被写体８３の領域
８３’、背景８１の領域８１’）を行なう。この結果、
例えば、図７（ｃ）に示すように、被写体８２、被写体
８３、背景８１でそれぞれ領域分割が行われ、最終的に
領域Ｒ１（被写体８３の領域８３’）、領域Ｒ２（被写
体８２の領域８２’）、領域Ｒ３（背景８１の領域８
１’）が得られる。この領域分割結果は、被写体検出部
５１３へと供給される。

【０１２０】被写体検出部５１３は、領域Ｒ１〜Ｒ３の
うち最も近い距離にある領域を、検出する被写体の候補
と見なし、その領域の輪郭を初期輪郭として設定する。

【０１２１】例えば、領域Ｒ１が最も近い距離にある場
合、上記図７（ｄ）に示すように、領域Ｒ１の輪郭Ｒ
１’を被写体８３に対する初期輪郭として設定する。被
写体８３に対する初期輪郭Ｒ１’が設定されると、この
初期輪郭Ｒ１’から、上述した手法（１）等での輪郭の
最適化によって、上記図７（ｅ）に示すような輪郭８５
が被写体８３の輪郭として決定されることになる。そし
て、このようにして一旦求められた輪郭８５を、次のフ
レームでの被写体８３の初期輪郭として利用すること
で、移動する被写体８３の追尾を行なうことができる。

【０１２２】［ビデオカメラ５００の動作］図８は、ビ
デオカメラ５００の動作、特に、上述した初期輪郭の決
定時の動作を示したフローチャートである。このフロー
チャートに従った動作制御が制御部５１４によって実行
されることで、ビデオカメラ５００は次のように動作す
る。

【０１２３】先ず、操作部５１５から使用者によって電
源投入がなされると（ステップＳ６００）、制御部５１
４は、撮像部（ビデオカメラモジュール）５０１をはじ
めとする全ての各構成部分の初期化を行なう（ステップ
Ｓ６０１）。これにより、ビデオカメラ５００は動作可
能状態となり、使用者によるビデオカメラ５００での撮
影が開始される。

【０１２４】次に、距離計測部５１６は、上述したよう
にして撮影画像の各ブロック単位での距離を測定し（ス
テップＳ６０２）、その測定結果に基づいた領域分割を
行なう（ステップＳ６０３）。この領域分割の結果は、
被写体検出部５１３へと供給されると共に、制御部５１
４へも供給される。

【０１２５】制御部５１４は、距離計測部５１６により
得られた領域分割結果により、被写体が撮影画像中に存
在するか否かを判別する（ステップＳ６０４）。このと
きの制御部５１４での判別方法としては、例えば、各領
域に対してそれぞれ、対象領域の面積Ｓ０が所定のしき
い値ＴＨＳ０より大きいか否かを判別する方法を用い
る。この結果、面積Ｓ０がしきい値ＴＨＳ０より小さい
場合、被写体は存在しないと判別し、面積Ｓ０がしきい
値ＴＨＳ０より小さい場合、被写体は存在すると判別す
る。

【０１２６】ステップＳ６０４での判別の結果、被写体
が撮影画像中に存在しない場合、ステップＳ６０２へと
戻り、以降の処理ステップを繰り返し実行する。

【０１２７】一方、ステップＳ６０４での判別の結果、
被写体が撮影画像中に存在する場合、被写体検出部５１
３は、距離計測部５１６により得られた領域分割結果に
より、最も近い距離にある領域を、検出する被写体の候
補と見なし、その領域の輪郭を初期輪郭として設定す
る。以降、上記図３に示したステップＳ２０５〜Ｓ２１
２と同様の、ステップＳ６０５〜Ｓ６１２の処理が実行
される。

【０１２８】上述のように、本実施の形態では、撮影対
象の被写体までの距離を測定した結果に基づいて、その
撮影画像中に存在する被写体の領域を検出するための初
期輪郭を自動的に設定するように構成したので、初期輪
郭を実際の被写体により近いものにすることができる。
また、初期輪郭を設定する際に、使用者の操作は必要な
い。したがって、本実施の形態によれば、上述した第１
の実施の形態による効果に加えて、さらに容易に且つ正
確に初期輪郭を設定することができ、安定して被写体領
域を抽出することができる。また、操作性の向上をも図
ることができる。

【０１２９】（第４の実施の形態）本発明は、例えば、
図９に示すようなビデオカメラ７００に適用される。こ
のビデオカメラ７００は、特に、画像中から被写体領域
を検出し、その特徴量から画像を評価し、その評価結果
を画像に重畳して表示出力する構成としている。以下、
本実施の形態におけるビデオカメラ７００のハードウェ
ア構成、被写体領域検出の原理、画像評価の原理、及び
動作について具体的に説明する。

【０１３０】［ビデオカメラ７００のハードウェア構
成］

【０１３１】ビデオカメラ７００は、上記図９に示すよ
うに、被写体９Ｘを含む撮影シーンを撮像して当該撮影
シーンの画像信号（撮影画像信号）を取得する撮像部
（ビデオカメラモジュール）７１１と、撮像部７１１に
より得られた画像信号をビデオ信号に変換するカメラプ
ロセス部７１９と、被写体９Ｘの輪郭情報等が記憶され
るフレームメモリ７２２と、カメラプロセス部７１９に
より得られたビデオ信号から被写体９Ｘの領域を検出す
る被写体検出部７１３と、カメラプロセス部７１９によ
り得られたビデオ信号の記録処理及び記録媒体からのビ
デオ信号の再生処理を行なう記録再生部７２１と、カメ
ラプロセス部７１９により得られたビデオ信号（実画
像）又は記録再生部７２１により得られた再生ビデオ信
号等に基づいた表示を行なう表示部７２０と、使用者か
らの各種指示が入力される操作部７１５と、ビデオカメ
ラ７００全体の動作制御を司る制御部７１４とを備えて
いる。

【０１３２】撮像部７１１は、絞り７１２、ズームレン
ズ７１３、フォーカスレンズ７１４、及び撮像素子７１
５を含むビデオカメラモジュールである。被写体９Ｘか
らの光は、絞り７１２、ズームレンズ７１３、及びフォ
ーカスレンズ７１４を介して撮像素子７１５の撮像面上
に結像される。これにより、撮像素子７１５からは、そ
の光電変換により、被写体９Ｘを含む撮影シーンの画像
信号（電気信号）が出力される。この出力された画像信
号は、カメラプロセス部７１９にへと供給される。

【０１３３】撮像部７１１の絞り７１２、ズームレンズ
７１３、及びフォーカスレンズ７１４のそれぞれの動作
は、絞り制御部７１６、ズーム制御部７１７、及びフォ
ーカス制御部７１８から制御される。絞り制御部７１
６、ズーム制御部７１７、及びフォーカス制御部７１８
はそれぞれ、自然で鮮明な撮影画像が取得できるよう
に、制御部７１４からの制御に従って、絞り７１２、ズ
ームレンズ７１３、及びフォーカスレンズ７１４を制御
する。

【０１３４】カメラプロセス部７１９は、撮像部７１１
からの画像信号に対して所定の信号処理を施すことで、
当該画像信号をビデオ信号に変換する。このビデオ信号
は、表示部７２０、記録再生部７２１、被写体検出部７
１３、及びフォーカス制御部７１８へとそれぞれ供給さ
れる。

【０１３５】表示部７２０は、液晶等の表示デバイスや
制御回路を含み、ビューファインダーとして用いられ
る。表示部７２０は、ビデオプロセス部７１９にて得ら
れたビデオ信号（実画像）、或いは記録再生部７２１で
の再生処理にて得られたビデオ信号（再生画像）を表示
すると共に、その画像信号と、後述するフレームメモリ
７２２内の被写体９Ｘの輪郭の情報や画像評価結果情報
とを重畳して表示するようにもなされている。

【０１３６】記録再生部７２１は、固体メモリや磁気デ
ィスク等の記憶媒体や制御回路を含み、ビデオプロセス
部７１９にて得られたビデオ信号を記録媒体へ記録した
り、予めビデオ信号が記録された記録媒体からビデオ信
号を再生する。この記録再生部７２１での再生処理によ
り得られた画像信号は、表示部７２０被写体検出部７１
３、及び制御部７１４へとそれぞれ供給される。

【０１３７】被写体検出部７１３は、ビデオ信号を処理
するプロセッサであり、ビデオプロセス部５０９にて得
られたビデオ信号（実画像）、或いは記録再生部７２１
での再生処理により得られたビデオ信号（再生画像）か
ら、被写体輪郭を検出する。この検出結果は、制御部５
１４へと供給される。

【０１３８】操作部７１５は、ビデオカメラ７００本体
に配置された各種のボタン類からなり、この操作部７１
５での使用者からの操作情報（命令）は、制御部７１４
へと供給される。

【０１３９】制御部７１４は、ビデオカメラ７００全体
（ハードウェア全体）の動作制御を管理するものであ
り、特に、被写体検出部７１３により検出された被写体
輪郭内の情報に基づいて、その画像を評価し、その評価
結果を図形等の形でフレームメモリ７２２上に書き込
む。これにより、現在表示部７２０にて表示されている
画像に対して、当該画像の評価結果が重畳して表示され
ることになる。

【０１４０】例えば、図１０（ａ）に示すように、撮影
部７１１により得られた実画像、又は記録再生部７２１
により得られた再生画像中には、被写体９２（家）や被
写体９３（人物）等の被写体が存在し、このような画像
が表示部７２０で表示されているものとする。この場
合、制御部７１４によって得られた上記画像の評価結果
は、上記図１０（ａ）の”９４”に示すような、レベル
バーとして表示される。このレベルバー９４により示さ
れる評価値は、評価の最大値に対する割合である。これ
により、使用者は、現在表示部７２０に表示されている
画像（自分が今撮影している画像や、以前に撮影した画
像等）に対する評価を知ることができる。

【０１４１】また、画像の評価結果の表示方法として
は、上記図１０（ａ）に示したレベルバー９４に限ら
ず、例えば、同図（ｂ）の”９５”に示すようなメータ
ー、或いは数値によるものであってもよい。このような
表示方法を用いるようにしても、使用者は、現在表示部
７２０に表示されている画像に対する評価を知ることが
できる。

【０１４２】上述のようなビデオカメラ７００の最も特
徴とする構成は、特に、被写体検出部７１３、及び制御
部７１４にあり、これらを除く各構成部分については、
一般に市販されているビデオカメラの構成を利用するこ
とも可能である。また、ここでの被写体検出部７１３
は、汎用の信号処理ＩＣ等を用いて構成している。

【０１４３】［被写体輪郭検出の原理］

【０１４４】まず、動画像中の被写体検出及び領域分割
の方法としては、例えば、「Ｔ．Ｍｅｉｅｒ，Ｋ．Ｎ．
Ｎｇａｎ，”ＡｕｔｏｍａｔｉｃＳｅｇｍｅｎｔａｔ
ｉｏｎｏｆＭｏｖｉｎｇＯｂｊｅｃｔｓｆｏｒ
ＶｉｄｅｏＯｂｊｅｃｔＰｌａｎｅＧｅｎｅｒａ
ｔｉｏｎ”，ＩＥＥＥＴｒａｎｓ．ｏｎＣｉｒｃｕ
ｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏ
Ｔｅｃｈｎｏｌｏｇｙ，ｐｐ．５２５−５３８，Ｖｏ
１．８Ｎｏ．５，Ｓｅｐｔ．１９９８」等に記載されて
いるような、ＭＰＥＧ−４における移動物体領域（ＶＯ
Ｐ）の検出方式、「Ｍ．Ｋａｓｓｅｔａl ．，”ＳＮＡ
ＫＥＳ：Ａｃｔｉｖｅｃｏｎｔｏｕｒｍｏｄｅｌ
ｓ”，Ｐｒｏｃｏｆ１ｓｔＩＣＣＶ，ｐｐ．２５
９−２６８，１９８７」等に記載されているような、一
旦検出した被写体の追尾をも行なう方式（上述した方法
（１））がある。

【０１４５】また、上述したように、手法（１）を改良
した方法として、「”移動被写体の輪郭を自動抽出する
追尾ソフトの開発”（荒木ほか）：映像情報９７年１月
号、Ｐ．３９−４４」等に記載された手法（２）があ
る。この方法（２）によれば、被写体に対する初期設定
が不要であると共に、被写体が複数存在する場合にも対
応できる。

【０１４６】図１１（ａ）及び（ｂ）は、被写体検出部
７１３にて方法（２）を採用した場合の、被写体輪郭の
検出を概念的に示したものである。ここでは、上記図１
０（ａ）に示したような画像中の被写体９３に対して初
期輪郭を設定し、その初期輪郭から被写体９３の領域を
検出するものとする。

【０１４７】先ず、初期段階では、被写体９３の領域情
報が無いため、上記図１１（ａ）に示すように、画面全
体を初期輪郭９６とする。そして、上記図１１（ｂ）に
示すように、輪郭９７を求める。具体的には例えば、上
述した手法（１）や手法（２）等と同様の方法により、
初期輪郭で包囲された領域に対して特徴量の抽出処理を
行ない、これにより得られた特徴量を引数とする評価関
数を作成し、その評価関数が極値をとるような被写体輪
郭を求める。ここでの特徴量としては、被写体輪郭の輪
郭線の滑らかさ、輝度勾配、外部から加えられる力等が
挙げられる。このようにして、一旦輪郭９７を求め、こ
の輪郭９７を、次のフレームでの被写体９３の初期輪郭
として利用する。

【０１４８】尚、被写体検出部７１３で用いる被写体輪
郭の検出方法、特に、そのための初期輪郭の設定方法と
しては、上述したような従来からある方法（１）や
（２）等を用いるようにしてもよいが、例えば、上述し
た第１〜第３の実施の形態における方法を用いるように
構成するようにしてもよい。これにより、安定して確実
に被写体検出を行なうことができるため、後述する画像
評価の信頼度を高めることができる。

【０１４９】［画像評価の原理］上記図１１（ａ）及び
（ｂ）に続く（ｃ）及び（ｄ）は、上述したようにして
被写体検出部７１３により得られた被写体輪郭をもと
に、その画像を評価する際の当該評価を概念的に示した
ものである。この画像評価は制御部７１４にて実施され
る。

【０１５０】先ず、上記図１１（ｃ）に示すように、被
写体検出部７１３により得られた被写体９３の輪郭９７
に囲まれた部分を、被写体の候補領域（図中の斜線部
分、以下、符号”９７”で示す）と考え、その候補領域
９７に外接する矩形Ｐ１（ｘ１，ｙ１）−Ｐ２（ｘ２，
ｙ２）、候補領域９７の面積Ｓ、重心点Ｇ（Ｇｘ，Ｇ
ｙ）等を候補領域９７の特徴量とする。

【０１５１】次に、候補領域９７の面積Ｓがある一定の
大きさＴＨ＿Ｓ以上である場合、候補領域９７が実際に
被写体９３であると判断する。一方、候補領域９７の面
積Ｓがある一定の大きさＴＨ＿Ｓ以上でない場合、候補
領域９７は被写体９３でないと判断し、この場合の評価
点Ｅは”０”となる。

【０１５２】候補領域９７が実際に被写体９３である場
合、上記特徴量から画像の評価点Ｅを求める。ここで
は、例えば、次のようなルール及び算出方法に従って評
価点Ｅを求める。

【０１５３】ルール（１）での評価：候補領域９７
（被写体９３の領域）の左右及び上端が画面中の一定の
範囲内にある場合、評価点Ｅに対して一定の値を設定す
る。一方、範囲外にある場合には、重心点Ｇ（Ｇｘ，Ｇ
ｙ）が画面中心に近いほど高得点とする値を、評価点Ｅ
１に対して設定する。

【０１５４】そこで、先ず、上記図１１（ｄ）に示すよ
うに、画像中において、一定の矩形Ｆ１（Ｆｘ１，Ｆ
ｙ）−Ｆ２（Ｆｘ２，０）を設定する。Ｆ１（Ｆｘ１，
Ｆｙ）−Ｆ２（Ｆｘ２，０）での各座標点は、画像の中
心Ｉ（Ｉｘ，Ｉｙ）、定数ｆｘ，ｆｙ（上記図１１
（ｄ）中参照）を持って、Ｆｘｌ＝Ｉｘ−ｆｘＦｘ２＝Ｉｘ＋ｆｘＦｙ＝Ｉｙ＋ｆｙなる式で表される。尚、上記式の”ｆｘ”、”ｆｙ”
は、例えば、画面の幅ｗ、高さＨを持って、ｆｘ＝ｗ／４ｆｙ＝Ｈ／４なる式で表される。

【０１５５】そして、候補領域９７（被写体９３の領
域）に外接する矩形Ｐ１（ｘ１，ｙ１）−Ｐ２（ｘ２，
ｙ２）により、”Ｆｘ１＜ｘ１”且つ”ｘ２＜Ｆｘ２”
且つ”ｙ１＜Ｆｙ”なるルール（１）を満たす場合、Ｅ１＝（Ｉｘ×Ｉｙ）／｜Ｇｘ−Ｉｘ｜×｜Ｇｙ−Ｉｙ｜｜Ｇｘ＝Ｆｘ１，Ｇｙ＝Ｆｙ＝（Ｉｘ×Ｉｙ）／ｆｘ×ｆｙ・・・・（１−１）なる式（１−１）に従って評価点Ｅ１を与える。

【０１５６】また、ルール（１）を満たさない場合、Ｅ１＝（Ｉｘ×Ｉｙ）／｜Ｇｘ−Ｉｘ｜×｜Ｇｙ−Ｉｙ｜・・・・（１−２）なる式（１−２）に従って評価点Ｅ１を求める。

【０１５７】上述のように、評価点Ｅｌは、候補領域９
７（被写体９３の領域）が矩形Ｆ１（Ｆｘ１，Ｆｙ）−
Ｆ２（Ｆｘ２，０）の領域内にある場合には、一定のス
コア（値）となり、そうでない場合には、候補領域９７
（被写体９３の領域）が画像中心Ｉ（Ｉｘ，Ｉｙ）に従
ってスコアが下がるようになっている。

【０１５８】ルール（２）での評価：候補領域９７
（被写体９３の領域）の面積Ｓの画像全体を占める割合
に従って（ルール（２））、評価点Ｅ２を求める。

【０１５９】この場合、評価値Ｅ２は、画像の大きさＷ
ｘ，Ｗｙ、画像全体を占める被写体領域の面積の理想的
な割合Ｒを持って、Ｅ２＝｜Ｓ／（Ｗｘ×Ｗｙ）−Ｒ｜・・・・（２−１）なる式（２−１）で表される。

【０１６０】上述のようなルール（１）での評価結果
Ｅ１、及びルール（２）での評価結果Ｅ２を用いて、
最終的な評価点Ｅを、Ｅ＝Ｋ１×Ｅ１＋Ｋ２×Ｅ２・・・・（３）なる式（３）によって求める。この式（３）におい
て、”Ｋ１”及び”Ｋ２”は、評価値Ｅが”１．０”に
なるように正規化するための係数である。これらの係数
Ｋ１及びＫ２や、上述したような定数ｆｘ，ｆｙ等のパ
ラメータは、例えば、ビデオカメラを製作する際に定め
る。また、任意に設定可能とすることで、評価精度の度
合いを状況に応じて変えれるようにしてもよい。

【０１６１】式（３）で得られた評価値Ｅは、上記図１
０（ａ）に示したようなレベルバー９４や、同図（ｂ）
に示したようなメータ９５上に反映されて表示される。
例えば、ある画像の評価値Ｅを求め、最大値１．０に対
する割合を、レベルバー９４上に表示する。これによ
り、使用者は、表示部７２０に表示されている画像（現
在撮影している画像や、以前に撮影して記録しておいた
画像等）に対する評価を容易に認識することができる。

【０１６２】［ビデオカメラ７００の動作］図１２は、
ビデオカメラ７００の動作、特に、上述した画像評価時
の動作を示したフローチャートである。このフローチャ
ートに従った動作制御が制御部７１７によって実行され
ることで、ビデオカメラ７００は次のように動作する。

【０１６３】先ず、操作部７１５から使用者によって電
源投入がなされると（ステップＳ８００）、制御部７１
４は、撮像部（ビデオカメラモジュール）７１１をはじ
めとする全ての各構成部分の初期化を行なう（ステップ
Ｓ８０１）。これにより、ビデオカメラ７００は動作可
能状態となり、制御部７１４は、操作部７１５による使
用者からの撮影開始（又は再生開始）の指示を待つ。

【０１６４】制御部７１４は、操作部７１５による使用
者からの撮影開始（又は再生開始）の指示入力がなされ
ると、被写体検出部７１３での上述したような被写体検
出のための所定の設定（初期輪郭のためのパラメータの
設定等）の初期化を行なう（ステップＳ８０２）。この
時点では、被写体は検出されていないため、画像全体を
初期輪郭として設定されることになる（上記図１１
（ａ）参照）。

【０１６５】次に、被写体検出部７１３は、制御部７１
４により設定された初期輪郭に基づいて、上述したよう
な被写体検出方法（上記図１１（ａ）及び（ｂ）参照）
により被写体輪郭を検出する（ステップＳ８０３）。

【０１６６】次に、制御部７１４は、被写体検出部７１
３により検出された被写体輪郭内の領域の特徴量を抽出
する（ステップＳ８０４）。そして、制御部７１４は、
ステップＳ８０４により抽出した特徴量により、被写体
検出部７１３により検出された被写体輪郭内に実際に被
写体が存在するのか否か、すなわち検出された被写体輪
郭の領域が実際の被写体の領域であるか否かを判別する
（ステップＳ８０５）。

【０１６７】ステップＳ８０５の判別の結果、被写体検
出部７１３により検出された被写体輪郭内の領域が実際
の被写体の領域でない場合、被写体検出に失敗したと見
なし、制御部７１４は、操作部１０６により使用者から
電源切断等による本処理を終了する指示入力がなされた
か否かを判別する（ステップＳ８０６）。

【０１６８】ステップＳ８０６での判別の結果、終了指
示入力がなされた場合、制御部７１４は、ビデオカメラ
７００に対する終了処理を行なう（ステップＳ８１
０）。これにより、本処理が終了する（ステップＳ８１
２）。

【０１６９】一方、ステップＳ８０５での判別の結果、
被写体検出部７１３により検出された被写体輪郭内の領
域が実際の被写体の領域である場合、被写体検出に成功
したと見なし、制御部７１４は、上述したようにして画
像評価（上記図１１（ｃ）及び（ｄ）参照）を行なう
（ステップＳ８０７）。

【０１７０】そして、制御部７１４は、ステップＳ８０
７での画像評価結果（評価点Ｅ）を、フレームメモリ７
２２上に書き込む。例えば、フレームメモリ７２２に
は、予め上記図１０（ａ）に示したようなレベルバー９
４、或いは同図（ｂ）に示したようなメータ９５の表示
情報が格納されており、その表示情報上に評価点Ｅに対
応する数値を反映させる。このようなフレームメモリ７
２２の情報は表示部７２０へと供給される。表示部７２
０は、現在表示している画像（実画像又は再生画像）に
対して、フレームメモリ７２２の情報を重畳して表示す
る（ステップＳ８０８）。

【０１７１】次に、制御部７１４は、上述したステップ
Ｓ８０６と同様にして、操作部１０６により使用者から
電源切断等による本処理を終了する指示入力がなされた
か否かを判別する（ステップＳ８０９）。

【０１７２】ステップＳ８０９での判別の結果、終了指
示入力がなされた場合、制御部７１４は、ビデオカメラ
７００に対する終了処理を行なう（ステップＳ８１
０）。これにより、本処理が終了する（ステップＳ８１
２）。

【０１７３】ステップＳ８０９での判別の結果、終了指
示入力がなされていない場合、被写体検出部７１３は、
現在の被写体輪郭を次の時点（次フレーム）での被写体
に対する初期輪郭とするための初期輪郭設定処理を行う
（ステップＳ８１１）。その後、ステップＳ８０３へと
戻り、以降の処理を繰り返し実行する。

【０１７４】尚、本実施の形態での被写体検出として、
上述した第１〜第３での被写体検出を用いる場合、上記
図１２のステップＳ８０２及びＳ８０３の処理の代わり
に、上記図３のステップ２０２〜Ｓ２０５、又は上記図
５のステップ４０１〜Ｓ４０５、又は上記図８のステッ
プ６０２〜Ｓ６０５の処理を実行すればよい。

【０１７５】上述したように、本実施の形態では、画像
中の被写体領域を検出し、その特徴量から画像を評価
し、その評価結果を画像に重畳して表示するように構成
したので、使用者は、撮影に最適な被写体の大きさ等を
容易に知ることができ、また、自分の撮影した画像の評
価を客観的に行い、他者の画像と比較することができ
る。したがって、本実施の形態によれば、良好な画像を
効率的に取得することができる。

【０１７６】（第５の実施の形態）本実施の形態では、
上述した第４の実施の形態での画像評価において、被写
体領域の色構成をも考慮する。これにより、より精度の
高い画像評価を行なう。尚、ここでは、上述した第４の
実施の形態と異なる構成についてのみ、具体的に説明す
る。

【０１７７】まず、上記図３（ａ）及び（ｂ）に示した
ように、被写体検出部７１３により、エネルギー関数に
基づく手法等によって、被写体９３の輪郭９７（候補領
域９７）が検出され、この候補領域が実際に被写体９３
の領域である場合、この領域の特徴量から、次のように
して画像の評価点Ｅを求める。

【０１７８】上記特徴量としては、候補領域９７（被写
体９３の領域）に外接する矩形Ｐ１（ｘ１，ｙ１）−Ｐ
２（ｘ２，ｙ２）、候補領域９７の面積Ｓ、重心点Ｇ
（Ｇｘ，Ｇｙ）等に加えて、候補領域９７（被写体９３
の領域）中の肌色領域の面積を用いる。

【０１７９】ここでの肌色とは、画素のＲＧＢ成分の比
率が人間の肌に近い色を意味する。例えば、日本人の標
準的な肌色の画素Ｈｊを、Ｈｊ＝（Ｈｊｒ，Ｈｊｇ，Ｈｊｂ）とし、対象領域の画素Ｐを、Ｐ＝（Ｐｒ，Ｐｇ，Ｐｂ）とすると、画素Ｈｊと、対象領域の画素Ｐとの色の違い
は、

【０１８０】

【数１】

【０１８１】なる式（４）によって定義できる。

【０１８２】したがって、ある領域（対象領域の画素Ｐ
からなる領域）が肌色であるか否かの判断は、適当なし
きい値ＴＨｃを用いて、ｃｏｓθ＜ＴＨｃ・・・・（５）なる条件式（５）によって行なうことができる。

【０１８３】上述のような手法は、２つの色ベクトルを
比較するときに一般的に用いられる方法であり、明度の
違いを吸収するという特徴がある。式（４）に用いられ
る、日本人の標準的な肌色の画素Ｈｊの値は、複数人の
顔画像から決定される。また、しきい値ＴＨｃについて
は、実験的に求められる。また、人種による肌の違いを
考慮する場合には、複数の人種をサンプルにしてデータ
収集を行なえばよい。

【０１８４】したがって、本実施の形態では、候補領域
９７（被写体９３の領域）内の各画素値に対して、式
（４）及び（５）による肌色判断を行い、肌色であると
判断した画素の合計から、候補領域９７（被写体９３の
領域）での肌色領域の面積Ｓ＿ｈを求める。

【０１８５】そして、候補領域９７（被写体９３の領
域）全体の面積Ｓにおいて、肌色領域Ｓ＿ｈが占める割
合を求め、その結果に応じて、以下に説明するルール
（３）に従った評価値Ｅ３を求め、この評価値Ｅ３と、
上述したルール（１’）での評価結果Ｅ１、及びル
ール（２）での評価結果Ｅ２とから、最終的な評価値Ｅ
を求める。

【０１８６】ルール（３）による評価候補領域９７（被写体９３の領域）全体の面積Ｓにおい
て、肌色領域Ｓ＿ｈが占める割合が一定割合まで、評価
点に加点する。

【０１８７】この場合の評価点Ｅ３は、Ｅ３＝Ｓ＿ｈ／Ｓ（Ｓ＿ｈ＜ＴＨ＿Ｈのとき）Ｅ３＝ＴＨ＿Ｈ／Ｓ（それ以外の時）・・・・（６）なる式（６）により表される。式（６）において、”Ｔ
Ｈ＿Ｈ”は、被写体領域を占める肌色領域の最大値であ
り、例えば、”０．３”程度の値を設定する。

【０１８８】したがって、本実施の形態によって得られ
る最終的な画像評価値Ｅは、上述したルール（１）で
の評価結果Ｅ１、及びルール（２）での評価結果Ｅ２
と、式（６）により得られる評価値Ｅ３とを用いて、Ｅ＝Ｋ１×Ｅ１＋Ｋ２×Ｅ２＋Ｋ３×Ｅ３・・・・（３’）なる式（３’）によって求まる。式（３’）におい
て、”Ｋ３”は、”Ｋ１”及び”Ｋ２”と同様に、評価
値Ｅが”１．０”になるように正規化するための係数で
ある。

【０１８９】上述のように、本実施の形態では、被写体
領域における肌色領域の占める割合に応じて、評価値を
求めるように構成したので、上述した第４の実施の形態
での効果に加えて、人間と仮定した被写体が正面を向い
た画像を撮影した場合に、より高精度の評価を使用者に
提示することができ、画像のより自然な評価を行なうこ
とができる、という効果がある。

【０１９０】尚、本発明の目的は、上述した第１〜第５
の各実施の形態のホスト及び端末の機能を実現するソフ
トウェアのプログラムコードを記憶した記憶媒体を、シ
ステム或いは装置に供給し、そのシステム或いは装置の
コンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納
されたプログラムコードを読みだして実行することによ
っても、達成されることは言うまでもない。この場合、
記憶媒体から読み出されたプログラムコード自体が上記
各実施の形態の機能を実現することとなり、そのプログ
ラムコードを記憶した記憶媒体は本発明を構成すること
となる。プログラムコードを供給するための記憶媒体と
しては、ＲＯＭ、フロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード等を用いる
ことができる。また、コンピュータが読みだしたプログ
ラムコードを実行することにより、上記各実施の形態の
機能が実現されるだけでなく、そのプログラムコードの
指示に基づき、コンピュータ上で稼動しているＯＳ等が
実際の処理の一部又は全部を行い、その処理によって上
記各実施の形態の機能が実現される場合も含まれること
は言うまでもない。さらに、記憶媒体から読み出された
プログラムコードが、コンピュータに挿入された拡張機
能ボードやコンピュータに接続された機能拡張ユニット
に備わるメモリに書き込まれた後、そのプログラムコー
ドの指示に基づき、その機能拡張ボードや機能拡張ユニ
ットに備わるＣＰＵなどが実際の処理の一部又は全部を
行い、その処理によって上記各実施の形態の機能が実現
される場合も含まれることは言うまでもない。

【０１９１】

【発明の効果】以上説明したように本発明によれば、画
像中の被写体輪郭を検出するための初期輪郭の設定を常
に正確に行なえるため、当該被写体領域を常に正確に且
つ安定して検出することができる。

【０１９２】また、画像の評価結果を使用者が容易に認
識できるので、良好な状態での撮影等を効率的に行なう
ことができ、所望する画像を確実に取得することができ
る。

【図面の簡単な説明】

【図１】第１の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。

【図２】上記ビデオカメラの被写体検出部での被写体領
域検出方法の原理を説明するための図である。

【図３】上記ビデオカメラの動作を説明するためのフロ
ーチャートである。

【図４】第２の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。

【図５】上記ビデオカメラの動作を説明するためのフロ
ーチャートである。

【図６】第３の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。

【図７】上記ビデオカメラの被写体検出部での被写体領
域検出方法の原理を説明するための図である。

【図８】上記ビデオカメラの動作を説明するためのフロ
ーチャートである。

【図９】第４の実施の形態において、本発明を適用した
ビデオカメラの構成を説明するための図である。

【図１０】上記ビデオカメラでの画像評価結果の表示を
説明するための図である。

【図１１】上記ビデオカメラの被写体検出部での被写体
領域検出方法及び画像評価の原理を説明するための図で
ある。

【図１２】上記ビデオカメラの動作を説明するためのフ
ローチャートである。

【図１３】従来の被写体領域検出方法の原理を説明する
ための図である。

【符号の説明】

３２被写体１００ビデオカメラ１０１撮像部１０２表示部１０３記録再生部１０４フレームメモリ１０５被写体検出部１０６操作部１０７制御部

フロントページの続き (72)発明者佐藤宏明東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5C022 AB23 AB62 AB63 AC03 AC13 AC32 5L096 CA02 CA24 FA06 HA05

Claims

【特許請求の範囲】

【請求項１】撮影画像中に存在する被写体に対して設
定された初期輪郭に基づいて、当該被写体の輪郭を検出
する被写体検出装置であって、撮影方向が変更可能な撮影手段と、上記撮影手段により被写体を撮影して得られた撮影画像
を表示する表示手段と、上記撮影手段での撮影方向の変更によって、上記表示手
段により表示された撮影画像上の所定位置に設定された
所定の輪郭と、当該撮影画像中に存在する被写体とが一
致したことを入力する入力手段と、上記入力手段での入力に基づいて、上記所定の輪郭を上
記初期輪郭として設定する設定手段とを備えることを特
徴とする被写体検出装置。
【請求項２】上記所定の輪郭は、上記表示手段により
表示された撮影画像の中央に設定されることを特徴とす
る請求項１記載の被写体検出装置。
【請求項３】画像中に存在する被写体に対して設定さ
れた初期輪郭に基づいて、当該被写体の輪郭を検出する
被写体検出装置であって、上記画像を表示する表示手段と、上記表示手段により表示された画像に対する使用者の視
線方向を検出する視線方向検出手段と、上記視線方向検出手段での検出結果に基づいて、上記表
示手段により表示された画像中に存在する被写体に対し
て上記初期輪郭を設定する設定手段とを備えることを特
徴とする被写体検出装置。
【請求項４】上記設定手段は、上記表示手段により表示された画像において、上記視線
方向検出手段により検出された上記使用者の視線方向に
対応する位置に所定の輪郭を設定する所定輪郭設定手段
と、上記所定輪郭設定手段により設定された所定の輪郭と、
上記画像中に存在する被写体とが一致したことを入力す
る入力手段と、上記入力手段での入力に基づいて、上記所定の輪郭を上
記初期輪郭として設定する初期輪郭設定手段とを含むこ
とを特徴とする請求項３記載の被写体検出装置。
【請求項５】撮影画像中に存在する被写体に対して設
定された初期輪郭に基づいて、当該被写体領域を検出す
る被写体検出装置であって、被写体を撮影して撮影画像を取得する撮影手段と、上記撮影手段の上記被写体までの距離を計測する距離計
測手段と、上記距離計測手段での計測結果に基づいて、上記撮影手
段により得られた撮影画像中に存在する被写体に対して
上記初期輪郭を設定する設定手段とを備えることを特徴
とする被写体検出装置。
【請求項６】上記距離計測手段は、上記撮影手段によ
り得られた撮影画像をブロック分割する分割手段と、当
該分割手段による各ブロックの画像毎に上記計測情報を
取得する計測情報取得手段とを含み、上記設定手段は、上記計測情報取得手段により得られた
各ブロックの画像毎の計測情報に基づいて、上記被写体
が存在する位置に対応するブロック領域の輪郭を上記初
期輪郭として設定することを特徴とする請求項５記載の
被写体検出装置。
【請求項７】上記設定手段は、同一の計測情報を有す
るブロックからなる領域の輪郭を上記初期輪郭として設
定することを特徴とする請求項６記載の被写体検出装
置。
【請求項８】上記設定手段により設定された初期輪郭
内の情報に対して、複数の特徴量を引数とする評価関数
の極値検出を行なった結果から、上記被写体の輪郭を検
出する輪郭検出手段を備えることを特徴とする請求項
１、３、５の何れかに記載の被写体検出装置。
【請求項９】画像中に存在する被写体の領域を検出す
る被写体領域検出手段と、上記被写体領域検出手段により検出された被写体領域の
特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段により抽出された特徴量に基づい
て、上記画像を評価する評価手段と、上記評価手段での評価結果を出力する出力手段とを備え
ることを特徴とする画像処理装置。
【請求項１０】上記被写体領域検出手段は、請求項１
〜８の何れかに記載の被写体検出装置の機能を有し、当
該機能によって得られた被写体輪郭から被写体領域を検
出することを特徴とする請求項９記載の画像処理装置。
【請求項１１】上記被写体領域検出手段は、撮影して
得られた撮影画像、及び再生画像の少なくとも何れかの
画像に存在する被写体の領域を検出することを特徴とす
る請求項９記載の画像処理装置。
【請求項１２】上記出力手段は、表示出力機能を有す
ることを特徴とする請求項９記載の画像処理装置。
【請求項１３】上記出力手段は、上記評価結果を表す
図形を上記画像に重畳して表示出力することを特徴とす
る請求項９記載の画像処理装置。
【請求項１４】上記特徴量抽出手段は、上記被写体領
域に外接する矩形領域、上記被写体領域の重心点、上記
被写体領域の面積、及び上記被写体領域の色構成の少な
くとも何れかの情報を上記特徴量として抽出することを
特徴とする請求項９記載の画像処理装置。
【請求項１５】上記評価手段は、所定の条件に基づい
た上記特徴量に対する演算により、上記画像を評価する
ことを特徴とする請求項９記載の画像処理装置。
【請求項１６】画像中に存在する被写体を検出する機
能を有する画像処理装置であって、当該機能は、請求項
１〜８の何れかに記載の被写体検出装置の機能を含むこ
とを特徴とする画像処理装置。
【請求項１７】複数の機器が通信可能に接続されてな
る画像処理システムであって、上記複数の機器のうち少なくとも１つの機器は、請求項
１〜８の何れかに記載の被写体検出装置の機能、又は、
請求項９〜１６の何れかに記載の画像処理装置の機能を
有することを特徴とする画像処理システム。
【請求項１８】撮影画像中に存在する被写体を検出す
るための被写体検出方法であって、撮影方向が変更可能な撮影手段により得られた撮影画像
を表示する表示ステップと、上記表示ステップによる表示画面の所定位置に所定の輪
郭を設定する所定輪郭設定ステップと、上記撮影手段での撮影方向の変更によって、上記表示ス
テップによる表示画面上の所定の輪郭と、当該表示画面
上の撮影画像中に存在する被写体とが一致したことを入
力する入力ステップと、上記入力ステップでの入力に基づいて、上記所定の輪郭
を上記撮影画像中に存在する被写体に対する初期輪郭と
して設定する初期輪郭設定ステップと、上記初期輪郭設定ステップにより設定された初期輪郭に
基づいて、上記撮影画像中に存在する被写体の輪郭を検
出する被写体輪郭検出ステップとを含むことを特徴とす
る被写体検出方法。
【請求項１９】上記所定輪郭設定ステップは、上記表
示ステップによる表示画面の中央に上記所定の輪郭を設
定するステップを含むことを特徴とする請求項１８記載
の被写体検出方法。
【請求項２０】画像中に存在する被写体を検出するた
めの被写体検出方法であって、上記画像を表示する表示ステップと、上記表示ステップによる表示画面に対する使用者の視線
方向を検出する視線方向検出ステップと、上記視線方向検出ステップでの検出結果に基づいて、上
記画像中に存在する被写体に対して初期輪郭を設定する
初期輪郭設定ステップと、上記初期輪郭設定ステップにより設定された初期輪郭に
基づいて、上記画像中に存在する被写体の輪郭を検出す
る被写体輪郭検出ステップとを含むことを特徴とする被
写体検出方法。
【請求項２１】上記初期輪郭設定ステップは、上記表示ステップによる表示画面において、上記視線方
向検出ステップにより検出された上記使用者の視線方向
に対応する位置に所定の輪郭を設定する所定輪郭設定ス
テップと、上記表示ステップによる表示画面において、上記所定輪
郭設定ステップにより設定された所定の輪郭と、上記画
像中に存在する被写体とが一致したことを入力する入力
ステップと、上記入力ステップでの入力に基づいて、上記所定の輪郭
を上記初期輪郭として設定する設定ステップとを含むこ
とを特徴とする請求項２０記載の被写体検出方法。
【請求項２２】撮影画像中に存在する被写体を検出す
るための被写体検出方法であって、撮影手段により被写体を撮影して撮影画像を取得する撮
影ステップと、上記撮影手段の上記被写体までの距離を計測する距離計
測ステップと、上記距離計測ステップでの計測結果に基づいて、上記撮
影手段により得られた撮影画像中に存在する被写体に対
して初期輪郭を設定する初期輪郭設定ステップと、上記初期輪郭設定ステップにより設定された初期輪郭に
基づいて、上記撮影画像中に存在する被写体の輪郭を検
出する被写体輪郭検出ステップとを含むことを特徴とす
る被写体検出方法。
【請求項２３】上記距離計測ステップは、上記撮影手
段により得られた撮影画像をブロック分割する分割ステ
ップと、当該分割ステップにより得られた各ブロックの
画像毎に上記計測情報を取得する計測情報取得ステップ
とを含み、上記初期輪郭設定ステップは、上記計測情報取得ステッ
プにより得られた各ブロックの画像毎の計測情報に基づ
いて、上記撮影画像上の被写体が存在する位置に対応す
るブロック領域の輪郭を上記初期輪郭として設定するス
テップを含むことを特徴とする請求項２２記載の被写体
検出方法。
【請求項２４】上記初期輪郭設定ステップは、同一の
計測情報を有するブロックからなる領域の輪郭を上記初
期輪郭として設定するステップを含むことを特徴とする
請求項２３記載の被写体検出方法。
【請求項２５】上記被写体輪郭検出ステップは、上記
初期輪郭設定ステップにより設定された初期輪郭内の情
報に対して、複数の特徴量を引数とする評価関数の極値
検出を行なった結果から、上記被写体の輪郭を検出する
ステップを含むことを特徴とする請求項１８、２０、２
２の何れかに記載の被写体検出方法。
【請求項２６】画像中に存在する被写体の領域を検出
する被写体領域検出ステップと、上記被写体領域検出ステップにより検出された被写体領
域の特徴量を抽出する特徴量抽出ステップと、上記特徴量抽出ステップにより抽出された特徴量に基づ
いて、上記画像を評価する評価ステップと、上記評価ステップでの評価結果を出力する出力ステップ
とを含むことを特徴とする画像処理方法。
【請求項２７】上記被写体領域検出ステップは、請求
項１８〜２５の何れかに記載の被写体検出方法の処理ス
テップと、当該処理ステップの実行によって得られた被
写体輪郭から被写体領域を検出するステップとを含むこ
とを特徴とする請求項２６記載の画像処理方法。
【請求項２８】上記被写体領域検出ステップは、撮影
して得られた撮影画像、及び再生画像の少なくとも何れ
かの画像に存在する被写体の領域を検出するステップを
含むことを特徴とする請求項２６記載の画像処理方法。
【請求項２９】上記出力ステップは、表示出力ステッ
プを含むことを特徴とする請求項２６記載の画像処理方
法。
【請求項３０】上記出力ステップは、上記評価結果を
表す図形を上記画像に重畳して表示出力するステップを
含むことを特徴とする請求項２６記載の画像処理方法。
【請求項３１】上記特徴量抽出ステップは、上記被写
体領域に外接する矩形領域、上記被写体領域の重心点、
上記被写体領域の面積、及び上記被写体領域の色構成の
少なくとも何れかの情報を上記特徴量として抽出するス
テップを含むことを特徴とする請求項２６記載の画像処
理方法。
【請求項３２】上記評価ステップは、所定の条件に基
づいた上記特徴量に対する演算により、上記画像を評価
するステップを含むことを特徴とする請求項２６記載の
画像処理方法。
【請求項３３】請求項１〜８の何れかに記載の被写体
検出装置の機能、請求項９〜１６の何れかに記載の画像
処理装置の機能、及び請求項１７記載の画像処理システ
ムの機能の少なくとも何れかの機能を実施するための処
理プログラムを、コンピュータが読出可能に格納したこ
とを特徴とする記憶媒体。
【請求項３４】請求項１８〜２５の何れかに記載の被
写体検出方法の処理ステップ、及び請求項２６〜３２の
何れかに記載の画像処理方法の処理ステップの少なくと
も何れかの処理ステップを、コンピュータが読出可能に
格納したことを特徴とする記憶媒体。