JP2001273505A

JP2001273505A - ビジュアル言語分類システム

Info

Publication number: JP2001273505A
Application number: JP2000377686A
Authority: JP
Inventors: Julie Rae Kowald; ラエコウァルドジュリー
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-12-14
Filing date: 2000-12-12
Publication date: 2001-10-05
Anticipated expiration: 2020-12-12
Also published as: JP4612772B2; AUPQ464099A0; US7606397B2; US20030002715A1

Abstract

(57)【要約】（修正有）【課題】ディジタル画像の自動分類方法及びシステム
を提供する。【解決手段】本方法は、人間の顔の存在を知るために画
像を分析するものである。分類システム５２２において
は、画像サイズと比較した場合の表示された顔のサイズ
を考慮し、相対的な顔サイズに基づいて画像を分類す
る。もしくは、画像内の顔の位置を、その分類の判定に
用いてもよい。特に分類された連続画像の一部分を構成
するような分類画像に関し、その連続画像の編集５１４
を分類毎に実行して、所望の美的効果を達成してもよ
い。その編集は、編集テンプレートを用いて実行しても
よい。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像データの分類に
関し、特に、編集者が、自動的に画像データを情緒的に
表現できるようにした分類方法に関するものである。

【０００２】

【従来の技術】画像（フィルム、ビデオ、スライド、シ
ョーなど）のビデオシーケンスの編集は、視聴者から所
望の反応を得るために、画像のシーケンスを単に時間的
に並べる以上の技術を備える人間の編集者による入力を
必要としている。その作品の意図するメッセージや目的
を視聴者に理解させるために、その編集者は人間的な理
解に基づいてそれらを引出し、それをシーケンスにした
動画や静止画に適応する。

【０００３】映画会社は画像から所望の意味を得るため
に多くの技術を使用し、そのような技術には、種々のシ
ョット、動画及び静止画の識別や応用、種々のカメラア
ングルの使用、種々のレンズ、及びフィルム効果が含ま
れている。こうして作成された作品となる画像から意味
を獲得する処理は、フィルム制作者やフィルム編集者に
よってテンプレートとして使用されるストーリーボード
に翻訳されたストーリーやメッセージで開始される。一
度、フィルムが撮影されると、その編集者には結果とし
て得られた画像と、順番を示すショットリストが与えら
れる。スクリーンライタがその記述されたストーリーを
翻訳し、ストーリー順番を示すショットリストに記述す
る、その作品の初期の段階では、書かれた言語は目で見
える言語になっている。これは視聴者がそのストーリー
を告げられ、そのメッセージを理解しなければならない
という方法による。動画像の視覚特性は通常、その俳優
（出演者）の経験に関連した会話を有し、たいていの場
合、告げられたストーリーやそのストーリー内での俳優
の感情に関連した、明白な物語とは無縁である。従っ
て、そのスクリーンライタは種々のショットから得られ
た目に見える言語を用いて、付加情報を生成しなければ
ならない。

【０００４】種々のショットタイプやイメージの例を図
１Ａ乃至図１Ｇに示す。図１Ａは、ある環境に置かれた
ている出演者を分かりやすくし、視聴者を特定の位置に
おくための極端に長い（引いた）ショット（ＥＬＳ）の
例を示している。図１Ｂもまた、ある環境に置かれたて
いる出演者を分かりやすくし、視聴者を特定の位置にお
くための長い（引いた）ショット（ＬＳ）の例を示して
いる。ある場合には、ＥＬＳはＬＳよりも、よりドラマ
チックである。図１Ｃは、出演者達がより視聴者に近づ
いた状態で、この物語の重要な主題を示すための、長い
ショットからの途中経過である、中間ロングショット
（ＭＬＳ）を示している。通常、人間を対象にしている
場合、ＭＬＳでは膝から上を写す。図１Ｄは、中間ショ
ット（ＭＳ）を示し、ここでは、人間は通常、腰から上
が映され、このショットでは、視聴者がその環境での反
応や、特別な話題が展開されるのが理解できる。図１Ｅ
は、中程度にクローズドアップした状態（ＭＣＵ）を示
し、ここでは人間は胸から上が表示される。このＭＣＵ
は、話し中の出演者の感情を含む、話題やコミュニケー
ションの理解に有用である。図１Ｆは、クローズアップ
した状態（ＣＵ）を示し、人間にたいして、その顔や肩
を、そのショット内に入れており、その話題に関連した
出演者の感情を明瞭に理解するのに有効である。このク
ローズアップは、より大きなドラマ的な効果を達成する
ためにイメージされている出演者の立場に、視聴者を注
目させるのに有効である。図１Ｇは、更に極端にクロー
ズアップした状態（ＥＣＵ）を示し、これは顔の一部を
非常に接近して撮影したもので、これは意図する感情の
ドラマ的な効果が、この話の内容を越えたものとなって
いる。このＥＣＵは時として、視聴者に嫌がられたり、
脅すことになるので、スリラー映画やホラー映画ではし
ばしば使用される。これら図１Ａ乃至図１Ｇで示す画像
の順番において、種々のショットが明らかに異なる意味
を持つことが理解されるであろう。例えば、図１Ｆと図
１Ｇのいずれにおいても、飛んでいる凧が見えていな
い。また図１Ｄと図１Ｅでは、凧は、図１Ａから図１Ｃ
に見られるような、牛によって示される農場の上を飛ん
でいることがわからない。更に、図１Ａからは、その出
演者が微笑んでいるか、或は実際、目が開いているかど
うかは明らかではない。

【０００５】人物の体全体を写した写真或は動画は、そ
の人物の顔のクローズアップである場合、正確に同じ人
間の写真であっても、別の意味があると視聴者に理解さ
れるかもしれない。完全に人物の身体を移すショット
は、一般的には、視聴者によって、有益であり、その出
演者の社会的要因、特定の環境と関連付けるのに有効で
あると解釈されている。

【０００６】この例を図２Ａ乃至図２Ｃを参照して説明
する。これらの図では、同じ人物が３種類のショットで
示されている。図２Ａは、ある風景の中でのワイドショ
ットであり、その場所、人物、その場面内でなされる動
きに関して、より有効的に情報を提供する。図２Ｂは、
人物とその周辺内でのミッドショットで、その場所と動
きから、その人物の特性を強調するように変化してい
る。図２Ｃは、その人物のクローズアップを示し、視聴
者の注目をその人物に引き付けている。

【０００７】パンは、スクリーンライタによってなされ
る技術で、視聴者があるシーンの情報に専心できるよう
に援助するものである。この技術は、広い風景や、映画
などであるショットを確定するのに使用される。カメラ
が動かない時に得られる、ストレートショットは、この
パンの効果に相反する。ストレートショットでは、視聴
者は、そのシーンに沿って目を移動させて情報を探さね
ばならないのに対し、このパンでは、視聴者は特定のメ
ッセージを探す必要がなくても、視聴者にその情報を提
供することができる。パンでのカメラの移動は、視聴者
に、そのシーンで見られるそれら要素を指示し、正しく
使用されれば、情報を解釈したり、その情報に専心した
りする人間の方法を模倣するようにできる。図３Ａは、
複数の画像要素（例えば、太陽、家、牛、人間及び凧）
を含むスチルショットの一例を示す図で、視聴者はこれ
らを走査して情報を得ることが出来る。映画では、１つ
のスチルショットは、視聴者を、そのストーリーの場所
及び関係に位置付けるための、１つの確定するショット
として使用される。シーンライタは、このショットに基
づいて後続のシーンを意味のあるものにする。図３Ｂ
は、４つの連続したフレームでの、ズーム、スプレッド
を併用したパン技術の一例を示す図である。

【０００８】更に、ダイレクト、ストレートショットと
は逆に、カメラのアングルを変えることは、その話だけ
では表現できない別の意味である、人物からの意味を生
成するのに使用される。例えば、新聞やテレビのジャー
ナリストは、しばしばカメラアングルを変更して、好ま
しい選挙候補者に関する宣伝を依頼する。例えば、ロウ
アングルで撮影された会見が、視聴者に優勢な人物を表
していたり、同一人物であっても、ハイアングルで撮影
されると、下に見られることがある。同様な技術が映画
においても使用され、敵対者とその被害者の効果をドラ
マ的に増大させている。ここで被害者がハイアングルで
撮影されると、弱くて攻撃を受けやすく見えるだけでな
く、視聴者はその人物に同情し、その恐怖をも体験する
ことになる。

【０００９】図４Ａは、目のレベルのショットを示し、
図４Ｂ乃至図４Ｅで見られるような他のショットで使用
されるアングルとは別の標準ショットである。図４Ｂ
は、ハイアングルショットを示し、人物を目下の位置に
おくのに使用される。図４Ｃは、ロウアングルショット
を示し、ここではカメラアングルはロウに保たれ、人物
を目上に見せている。図４Ｄは、傾いたカメラアングル
でのショットを示し、ここではカメラは中心から外れて
保持され、これにより視聴者は、その人物は通常とは違
う、或は性格的にアンバランスな状態にあると思う様に
なる。図４Ｅは、ダッチアングルショットを示し、これ
は「急げ時間がない」といった急ぎの状態を示すか、あ
るいはその人物に奇妙な効果を与えるのに使用される。
こうして、いい方向にも悪い方向にも、何か迷ってしま
うといったメッセージを視聴者が受取ることになる。

【００１０】上述したのに加えて、特別なストーリーが
展開されていることを教示する多くの画像やショットが
ある。トラッキングショットは、出演者に続いて視聴者
が、その動きの一部を経験できるものである。パンは、
シーンをパノラマ的に描写すると共に、シーン内で人物
に対して意味付けや重要性を指示する。スイッシュ(swi
sh)パンも同様であるが、シーン内の遷移を表すのに、
より使用される。チルトショットは、カメラをある点か
らアップ或はダウンするもので、これは人が人物や、こ
れにより表された情報を含む垂直の物体を評価する方法
を真似たものである。携帯カメラによる映像は、視聴者
に撮影が直ちに行われているように描写し、カメラが支
持されていて（例えば、三脚や台で）撮影された映像に
関連している時、最良の効果を得るためにしばしば使用
される。

【００１１】衝撃的な視覚言語を理解することは、イメ
ージをより意味のある方法で表すことである。同時期の
動画の結果と初期の映画制作との比較することが好まし
い。初期の動画の例は、舞台での動きの遷移を反映し
た、上からの人物の完全なショットをで構成されてい
る。例えば、チャーリチャップリンの映画制作とストー
リーテラーの時代は、ドラマチック、及び情緒に満ちた
動画と対照的である。先駆者である監督Ｄ．Ｗグリフス
（Griffths）は、映画にドラマを産み出さすためにショ
ットのパレットを使用することを初めて紹介した。これ
により視聴者は、その映画の人物の感情と同じ経験がで
きるようになった。

【００１２】映画会社はまたそのストーリーを説明する
ために他の技術を使用している。その技術はレンズの選
択とフィルム効果を含んでいる。これらは視聴者に、そ
の映画の意図しているメッセージや目的を理解させやす
くする。視聴者は、どのようにして、或は気づいたとし
ても、これらの技術がどのようにイメージに適用されて
いるかを理解する必要がない。実際には、この技術が適
正に適用されれば、この方法は視聴者にとって明らかに
なることさえないであろう。

【００１３】成功した映画会社によって必要とされたこ
のような技術は、成功した技術のメッセージを築き上げ
た多くの熟練者達の協動作業とともに、長年の教育や実
践を通して得られたものである。対照的に、アマチュア
映像制作者及び家庭でのビデオ制作者(home video make
rs)はそのような方法を理解又は適用するための技術及
び機会をしばしば欠いている。しかし、プロが制作した
映像作品によく接しているアマチュア及び家庭での映像
制作者は、莫大な費用を要するハリウッド作品のように
ではないにせよ、自分の作品をプロの制作作品にある程
度でも近づけるために洗練したいと思っている。現在、
そのような方法を用いて将来の映像制作者を教育するた
めのコースに特化した多くの映画学校があるけれども、
しばしばこのようなコースはアマチュア映像制作者の出
席を禁じている。アマチュア映像制作者を手助けするで
あろう現在利用可能な他の方法には、典型的には画像の
配列を助けるソフトウェア製品及び／又は将来の映像制
作者を教育するためのインタラクティブな教育技術が含
まれる。しかしながら、現在のソフトウェアアプローチ
は、小規模な（家庭での）作品に用いるには法外な費用
及び技術が必要なため広く用いられるには至っていな
い。

【００１４】不慣れな編集者にとって、時間もまた現在
のフィルム編集技術に関する大きな要因である。典型的
には、ショットを計画し、その順番を考えるのに必要な
時間は平均的な家庭／アマチュア映像制作者の現実的な
範囲を十分に超えるものである。

【００１５】従って、不慣れな（アマチュア）映画製作
者が広範な計画又はショット形式の試験を行うことな
く、所望の観衆に対して感情的な効果を伝える映像作品
を創作することのできる手段を提供することが望まし
い。

【００１６】

【課題を解決するための手段】この必要性は、画像の自
動分類、及び／或いは、様々な感情的なカテゴリ別の撮
影を通して要求され、その上で、所望とする感情効果を
実現するための編集できるようにすることである。

【００１７】本開示の第１の態様は、デジタル画像の自
動分類の方法を提供することにあるが、その方法は、人
間の顔の存在する画像を解析し、前記画像のサイズに関
する、配置された顔サイズを判定する判定し、前記画像
に対する前記顔の相対サイズに基づいて前記画像を分類
するステップを備える。

【００１８】本開示の第２の態様は、デジタル画像の自
動分類の方法を提供することであるが、その方法は、デ
ジタル画像の自動分類方法であって、人間の顔の存在す
るイメージを解析し、前記画像のフレームに対する、配
置された顔の位置を判定し、前記画像のフレームに対す
る前記顔の相対位置に基づいて、前記画像を分類するス
テップを備える。

【００１９】本開示の他の態様は、上記方法のいずれか
１つを実行する装置を提供することである。

【００２０】また、本開示の他の態様は、上記方法のい
ずれか１つを実行するコンピュータプログラムを記憶し
たコンピュータ読み取り可能媒体を含むコンピュータプ
ログラムプロダクトを提供することにある。

【００２１】

【発明の実施の形態】図５に、画像記録及び生成システ
ム５００の模式図を示す。図において、シーン５０２
は、ディジタルビデオカメラ又はディジタルスチルカメ
ラのような画像記録装置５０４を用いてキャプチャされ
る。シーン５０２がスチルカメラによってキャプチャさ
れる場合、典型的には連続したスチル画像が記録され、
実際には、ビデオカメラによって記録されるような連続
した画像を補足する。画像の取り込みに関連して、カメ
ラ５０４から出力され、典型的には画像データ５０６
ａ、ビデオデータ５０６ｂ、音声データ５０６ｃ及び
「カメラ」メタデータ５０６ｄから構成されるキャプチ
ャデータ５０６が生成される。カメラメタデータ５０６
は通常カメラによって自動的に生成されるメタデータ又
はユーザによってカメラに手入力されるメタデータを表
す。このようなメタデータは、画像又はフレーム番号、
キャプチャの実時間（日付を含んでも良い）、カメラ設
定の詳細（絞り、露出等）及び、光量などの環境情報を
含むことができる。

【００２２】好ましくは、カメラ５０４で記録されたキ
ャプチャデータ５０４は５０８として、典型的には演算
システムに付随する大容量記憶装置５１０に転送され、
すぐにビジュアル言語分類システム５２２への相互接続
５２０を介して利用可能になる。分類システム５０８は
映像制作者(film maker)の編集がしやすいように構成さ
れるメタデータを生成する。ビジュアル言語分類システ
ム５２２は、さらなるメタデータとして構成された分類
データ５２４を出力する。分類データ５２４は個々の画
像に関連し、大容量記憶装置５２６に記憶することがで
きる。記憶装置５２６に記憶された分類データ５２４
は、接続５１２を介した記憶装置５１０へのアクセスを
通じて編集モジュール５１４へ出力することができる。
編集モジュールは、プレゼンテーションユニット５１６
を介して、表示のためにテレビジョンディスプレイのよ
うなディスプレイユニット５１８に出力されるか、大容
量記憶装置５１９へ出力される、編集されたシーケンス
５２８の編成を提供する。いくつかの実装において、記
憶装置５１０、５２６及び５１９は統合的に形成されて
も良い。

【００２３】分類システム５２２は記憶装置５１０にあ
る画像分析のためのコンテンツ分析を行う。分類システ
ム５２２で実行される分析は写真家が画像もしくは画像
シーケンスをキャプチャした時点における意図に関する
情報を提供するように構成される。このような分析は人
間の顔面検出及び、好ましくは空、草原、うす茶色又は
茶色の地面といった風景の特徴や、自動車、建造物など
他の特徴的形状を含む、視覚的にはっきりした特徴の検
出を含むことができる。また、例えば、人の会話、自動
車の通過、スポーツの試合における、ボールをバットで
打った際のバシッという音といった、画像シーケンス内
の具体的なイベントを特定するために、好ましくは音声
分析を用いることができる。分類システム５２２は、あ
る画像シーケンス又はシーケンス中の特定の画像におい
て特定されるコンテンツに関連する、又はコンテンツを
示すメタデータを提供する。

【００２４】分類システム５２２によって適用可能なコ
ンテンツ分析の１つの具体例は顔面検出であり、これに
よって画像もしくはそのシーケンスにおける特定の人物
の同定及び追跡が可能になる。図５の装置に用いること
ができる顔面検出装置の一例が、Poggio等による米国特
許第５，６４２，４３１号に記載されている。また、別
の例がオーストラリア公開特許公報第AU-A-33982/99号
に記載されている。このような顔面検出装置は典型的に
は画像フレーム内において皮膚の色を有し、顔を表すで
あろう画素のグループもしくは領域を検出し、それによ
って検出したグループ又は領域、すなわち顔面に対する
メタデータによるタグ付け並びにモニタを可能にする。
このようなモニタリングは検出された顔面の高さ及び幅
に関する境界ボックス(boundary box)の確立及び、その
後複数の画像に渡るボックスの変化及び移動の追跡を含
むことができる。

【００２５】図１Ａから１Ｇの画像シーケンスにおい
て、図１Ａ及び図１Ｂの細かなコンテンツは一般に正確
な顔面検出を行うには小さすぎる。そのため、これらの
フレームは顔のない画像(non-face images)として分類
される。しかし、図１Ｃから１Ｇの各々において、凧揚
げをしている人物の顔は非常によく認識でき、かつ個々
の画像の重要な特徴である。従って、これらの画像は自
動的に顔のある画像(face images)として分類され、こ
のような分類は分類システム５２２によって実行される
コンテンツ分析によって生成されるメタデータ５２４と
して同定されるほか、画像とともに提供されるメタデー
タ５０６ｄにリンク付けもしくは関連づけされる。

【００２６】さらに、好ましい実施形態において、全体
の画像サイズに対する割合としての検出顔面サイズは、
ショットの形式確立及び記録に用いられる。例えば、シ
ョットの形式を同定するための簡単なルールを確立する
ことができる。第１のルールは、顔が検出されたが、画
面に対して検出された顔の大きさがかなり小さい場合、
その画像は遠景ショット(long shot)として分類すると
いうものでよい。同様のルールは、顔が検出され、その
大きさが画像とほぼ同じであるというものである。この
場合、画像はクローズアップとして分類されるであろ
う。極端なクローズアップの場合、顔面が画像全体を占
めるか、顔面が画像とほぼ同じ大きさだが、画像からは
み出ている。

【００２７】別の例として、ＭＬＳである図１Ｃでは、
顔面が画像の約２％を表している。また、顔面が画像の
約４％を占める図１Ｄは、ＭＳである。図１Ｅについて
は顔面が画像の約１０％の大きさである、ＭＣＵとな
る。図１ＦのＣＵショットは顔面が画像の約６０％の場
合、ＥＣＵについては顔面が画像の約８０％を超える場
合である。このようにして、対象が顔であるか、いくつ
かの他の同定可能な画像構成（例えば、牛、家、自動車
等）であるかに関わらず、対象に関してショットの形式
を定義するための好ましいルールセットを確立すること
ができる。ルールの例を以下に示す。

【００２８】ミディアムロングショット（ＭＬＳ）対
象が画像の2.5%未満ミディアムショット（ＭＳ）対象が画像の2.5%を超
え、10%未満ミディアムクローズアップ（ＭＣＵ）対象が画像の10
%を超え、30%未満クローズアップ（ＣＵ）対象が画像の30%を超え、80%
未満極端なクローズアップ（ＥＣＵ）対象が画像の80%超ここで、映像制作者は、望むなら利用可能なソースの長
さの特定形式、又は達成したい特定の編集効果に依存し
てルールを変化させることができる。

【００２９】分類のための内容分析に関する別の例とし
てカメラ傾斜角（チルト角）が挙げられる。これは、イ
メージフレーム中における検出された顔の相対位置を調
べることによって評価することができる。例えば、図４
Ａに示されるように、顔がイメージフレーム中の中央部
に検出されている場合、これはアイレベルショット（ey
e-level shot）として分類され得る。また、図４Ｂで
は、主体がフレームの底部に配置されているが、このよ
うな場合は、ハイアングルショットに分類され得る。検
出された顔の位置決めは、所望の分類を提供するよう
に、イメージフレームのタイリング（tiling）と関連さ
せ得る。フレームの中のタイルは、アイレベル、ハイシ
ョット、ローショット、レフトサイド、ライトサイドに
前もって分類しておく。ある（複数の）タイルにおいて
検出された顔の位置は、次に、平均のタイル位置を決定
するのに使用され、その結果、平均した顔のタイルの位
置に従ってイメージを分類することができる。そのよう
な手法は容易に図４Ａ〜４Ｄのイメージに適用され得
る。

【００３０】図４Ｅのダッチショットは、イメージ内の
エッジを検出することによって判断され得る。そのよう
なエッジは、多くの既知のエッジ検出構成の１つを用い
て検出され得るものである。イメージにおけるエッジ
は、しばしば地平線或いは他の水平のエッジを示すか、
ビルディングの壁によって形成されるような垂直なエッ
ジを示す。その結果、実質的に非垂直で、非水平である
として検出されるエッジはダッチショットを示す可能性
がある。検出されたエッジの傾斜の角度をイメージフレ
ームと比較することによって、分類が実行されてもよ
い。その角度がおよそ０度かまたはおよそ９０度である
場合、それぞれは地平線か垂直な壁を表していると考え
られる。従って、そのようなものはトラディショナルシ
ョットの可能性が高い。しかしながら、傾斜の角度が実
質的にそれらの値の間である場合には、ダッチショット
であることが示される。そのような検出のための好まし
い傾斜の角度は３０〜６０度であろうが、これは所望で
あればユーザによって決定されてもよい。

【００３１】別の実施形態では、ビジュアル言語分類シ
ステムは、シーンによって伝えられる情緒的なメッセー
ジに関連する他の用語（term）でもって、ユーザが分類
を補うことを可能とする。そのようなマニュアルで入力
されるメタデータは、図１Ｃ〜１Ｇの例において、「幸
福」、「笑顔」、「レジャー」、および「楽しみ」など
の用語を用いることができる。また、「凧上げ」などの
ような、より複雑な説明文が入れられてもよい。このマ
ニュアルで入力されたメタデータは、自動的に生成され
たメタデータを補うことができ、自動的に生成されたメ
タデータとともに格納され得る。

【００３２】そのような処理の結果、格納５２６は、最
終的な生成物を形成するのに使用されるべく、ソースイ
メージの内容を表すメタデータを含むように形成され
る。メタデータは、タイミング情報や順序づけ情報（例
えば、シーンの数など）を含むだけでなく、後続の編集
処理におけるプロンプト（指示メッセージ）として使用
することが可能な、イメージの内容及びショットタイプ
を表す情報をも含む。

【００３３】データベース５２６が形成されると、次
に、ユーザは、選択されたイメージの編集を開始するこ
とができる。これは、記憶装置５１０から適切なイメー
ジ或いは適切な一連のイメージを抽出する編集システム
５１４を起動することによってなされる。メタデータ記
憶装置５２６の中に保管された情報を使用して、ユーザ
は容易に特定のイメージを編集することができる。デー
タベース情報は、多くの他のイメージの中から、ソース
かターゲットの一方もしくは両方として、フェードイン
とフェードアウトポイントを定義したり、ズームの変化
が必要なイメージを定義したり、個々のイメージの中の
ズーミング操作のためのフォーカス中心を表すことがで
きる興味あるポイントを定義したりするのに使用され得
る。

【００３４】編集システム５１４によって実行される編
集は、さまざまな方法で分類部５２４を使用して動作す
ることができる。例えば、ユーザがロングショットでイ
メージシーケンスを開始させようと思った場合、従っ
て、全ロングショットをリスト化するべくシステム５１
４に要求を入力するかもしれない。そして、システム５
１４は、予めロングショットとして分類されたイメージ
のピック−リスト（pick-list）を形成するために、記
憶装置５２６に問い合わせを行なう。そして、ユーザ
は、編集シーケンスを開始するために、そのリストから
ロングショットを選択することができる。こうして、各
イメージ或いはショットシーケンスに関するサーチ可能
な情報として準備されたソースが提供されることによっ
て、分類のためにユーザが費やす編集時間を減少させ
る。別の例は、主体の顔にある「恐れ」の感情を示すこ
とを要求する場合である。顔は典型的には、ミディアム
ショットの下では、あらゆる重要な細部も検出されない
ので、記憶装置５２６の検索はすべてのミディアムショ
ット、クローズアップおよび極端なクローズアップのた
めになされる。対応するピックリストは、ユーザが一般
に、「恐れ」を示すものを決定するのに利用可能な全て
のイメージの数よりも少ない数のイメージをレビューす
ればよいように生成される。そして、「恐れ」などのユ
ーザ入力されたメタデータは、そのような感情を示すそ
れらのイメージに対する自動的に生成された分類を補う
ことができる。

【００３５】上述したようなイメージの自動化された内
容分析は、イメージのシーケンスの迅速な処理を可能と
し、強化された編集結果の形成を容易にする。例えば、
ビデオソースが２５フレーム／秒を有して提供される場
合、５秒間のショットは１２５個のフレームの編集を必
要とする。各フレームに手動による顔検出と焦点の確立
を実行することは、時間浪費的であるし、人間の非一貫
性による首尾一貫しない結果をもたらす傾向がある。内
容分析による自動化により、各フレームにおける顔の位
置が一貫して適用される規則に従って見つけられる。そ
の時に必要なことのすべては、始め、終わりのポイント
および対応する編集機能を、ユーザに選択させることで
ある（例えば、ズーム値、始めの０％、および終わりの
６０％）。

【００３６】ソース素材のメタデータ分析は以下を含む
ことができる。すなわち、 (i)タイムコードと日付データ; (ii)ＧＰＳデータ; (iii)画像品質分析（シャープネス、色、内容の品質
等）; (iv)オリジナルのショットタイプ検出; (v)オブジェクト検出とカスタムオブジェクト検出（著
者によって決定された）; (vi)動き検出; (vii)顔検出; (viii)オーディオ検出; (ix)衝突検出; (x)タイル(インターフレーム構造)分析;そして (xi)ユーザ入力されたメタデータ。

【００３７】図５を参照する上述の方法は、図６に示さ
れるような従来の汎用コンピュータシステム６００を使
用して実行されるのが好ましく、図６では、図５の処理
が、コンピュータシステム６００内で実行するアプリケ
ーションプログラムのようなソフトウェアとして実現さ
れても良い。ソフトウェアは２つの部分に分割しても良
く、１つは、分類及び編集方法を実行し、もう１つは、
残りの部分とユーザ間のユーザインタフェースを管理す
る。ソフトウェアは、例えば、以下に説明するような記
憶装置を含むコンピュータ可読媒体に記憶されても良
い。ソフトウェアは、コンピュータ可読媒体からコンピ
ュータにロードされ、そして、コンピュータによって実
行される。このようなソフトウェアを有するコンピュー
タ可読媒体あるいはそのコンピュータ可読媒体に記憶さ
れたコンピュータプログラムは、コンピュータプログラ
ム製品である。コンピュータにおけるコンピュータプロ
グラム製品の使用は、画像あるいは画像シーケンスの分
類及び間接編集を行う装置に効果を与えるので好まし
い。

【００３８】コンピュータシステム６００は、コンピュ
ータモジュール６０１、キーボード６０２及びマウス６
０３のような入力装置、プリンタ６１５、画像表示装置
６１４、スピーカ６１１を含む出力装置を備える。変調
−復調（モデム）トランシーバ装置６１６は、例えば、
電話回線６２１あるいは他の機能媒体を介して接続可能
な通信ネットワーク６２０へ及びから通信するコンピュ
ータモジュール６０１によって使用される。モデム６１
６は、インターネット、かつローカルエリアネットワー
ク（ＬＡＮ）あるいはワイドエリアネットワーク（ＷＡ
Ｎ）のような他のネットワークシステムへのアクセスを
実行するために使用することができる。

【００３９】コンピュータモジュール６０１は、典型的
には、少なくとも１つのプロセッサユニット６０５、例
えば、半導体ランダムアクセスメモリ（ＲＡＭ）及びリ
ードオンリメモリ（ＲＯＭ）から構成されるメモリユニ
ット６０６、音声／画像インタフェース６０７、キーボ
ード６０２及びマウス６０３かつオプションのジョイス
ティック（不図示）用のＩ／Ｏインタフェース６１３、
モデム６１６用インタフェース６０８を含む入力／出力
（Ｉ／Ｏ）インタフェース群を含んでいる。提供される
記憶装置６０９は、典型的には、ハードディスクドライ
ブ６１０及びフロッピー（登録商標）ディスクドライブ
６１１を含んでいる。磁気テープドライブ（不図示）も
使用しても良い。ＣＤ−ＲＯＭドライブ６１２は、典型
的には、データの不揮発ソースとして提供される。コン
ピュータモジュール６０１の構成要素６０５から６１３
は、典型的には、当業者に知られるコンピュータシステ
ム６００の従来の動作モードを得る方法で、内部接続バ
ス６０４を介して通信を行う。上述の構成を実行できる
コンピュータ例としては、ＩＢＭ−ＰＣ互換機、サンス
パークステーションあるいはそれらを改良した同種のコ
ンピュータシステムが含まれる。

【００４０】典型的には、アプリケーションプログラム
は、ハードディスクドライブ６１０上に常駐し、読み出
され、そして、プロセッサ６０５による自身の実行で制
御される。プログラムの中間記憶及びネットワーク６２
０からフェッチされる任意のデータは、たいていはハー
ドディスクドライブ６１０と協同する半導体メモリ６０
６を使用して達成される。いくつかの例では、アプリケ
ーションプログラムは、ＣＤ−ＲＯＭあるいはフロッピ
ーディスク上で符号化された状態でユーザに供給され、
かつ対応するドライブ６１２あるいは６１１を介して読
み出すことができ、あるいはモデム装置６１６を介して
ネットワーク６２０からユーザによって読み出すことが
できる。また、更に、ソフトウェアは、他のコンピュー
タ可読媒体からコンピュータシステム６００にロードす
ることができ、この他のコンピュータ可読媒体は、磁気
テープ、ＲＯＭあるいは集積回路、光磁気ディスク、コ
ンピュータモジュール６０１と他の装置間の無線あるい
は赤外線送信チャネル、ＰＣＭＣＩＡカードのようなコ
ンピュータ可読カード、ウェブサイト及びその類に記録
されたｅメール送信及び情報を含むインターネット及び
イントラネットを含んでいる。上述の説明は、コンピュ
ータ可読媒体に関する単なる例である。他のコンピュー
タ可読媒体が使用されても良い。

【００４１】図６を参照して説明される方法は、システ
ムの機能あるいは補助機能を実行する１つ以上の集積回
路のような専用ハードウェアで選択的あるいは補助的に
実現されも良い。このような専用ハードウェアは、グラ
フィックプロセッサ、デジタル信号プロセッサ、あるい
は１つ以上のマイクロプロセッサ及び付随メモリ群を含
めることができる。例えば、ズーム及び画像補間のよう
な特殊視覚効果は、そのような機能用に構成される専用
ハードウェア装置で実行されても良い。例えば、顔面検
出あるいは音声処理用に使用される他の処理モジュール
群は、専用ＤＳＰ装置で実行されても良い。

【００４２】図５に関する上述の説明は、画像内容から
導出される分類に基づく出力表示を生成するために編集
システム５１４がどのように使用できるかを示してい
る。編集に対する更なるアプローチは、図７のフローチ
ャートで示されるテンプレートに基づくアプローチ７０
０を使用して達成されても良く、例えば、編集システム
５１４内で実行することができる。方法７００は、ステ
ップ７０２で開始し、そこで、単一の開始−終了遷移間
長の部分である所望のクリップが処理対象として選択さ
れる。生成物を生成するために、いくつかのクリップが
シーケンス内で処理されても良い。これについては、所
望のテンプレートがクリップに適用するために選択され
るステップ７０４以降で行われる。これに関するテンプ
レートは、様々なショット及び所望の視覚効果を達成す
るクリップタイプに適用できる編集規則群である。選択
的には、テンプレートはクリップ部だけに適用する必要
があり、あるいはいくつかの場合では、所望の処理用に
抽出する１つ以上の静止画あるいは動画だけに適用する
必要がある。典型的には、いくつかのテンプレート７０
６は、選択７０８に対して利用可能である。各テンプレ
ート７０６は、それぞれがいくかのデフォルト設定を有
するブール規則群として確立されても良い。テンプレー
ト例として、以下の表１を示し、ここでは、特定ショッ
トタイプに適用される先頭である特定視覚効果を定義し
ている。

【００４３】

【表１】

【００４４】表１のテンプレートでは、上述の顔面検出
条件に基づく様々なショットタイプが列挙されている。
２つの「その他」のショットタイプが示され、これらに
は、例えば、顔面が検出されないあるいはいくつかの検
出可能な被写体が判定可能である場合がある。このよう
な例としては、キャプチャされた他の色のレーシングカ
ーに対し、ユーザへの特定注目物が白色のレーシングカ
ーを含むフレームであっても良い。このようなレーシン
グカーは、分類システム５２２によって検出されても良
く、この分類システム５２２は、「その他＃１」として
分類されるべき上記フレームを可能にすることによっ
て、実際の白色領域とその色の実際の移動の両方を検出
するように構成される。この移動は、連続する隣接フレ
ームを介するフレームを走査するレーシングカーの実際
の移動であっても良く、一方で、実際の背景の移動が発
生する。このような分類は、ＥＣＵ、ＣＵ、ＭＣＵ等の
上述のアプローチを別々にして生成されても良い。表１
に示されるように、ＥＣＵ、ＣＵ、ＭＣＵ及びその他＃
１のそれぞれのショットタイプは、編集表示に含むよう
に選択される。

【００４５】ステップ７１２におけるユーザの決定に従
って、選択されたテンプレート（すなわち、テンプレー
ト＃２）は変わり得る。変更が要求されると、次に、ス
テップ７１４へ進み、ユーザがテンプレートテーブル内
のブール値を修正することが許可される。上述した通
り、選択されていないそれらのショットタイプ（すなわ
ち、ＭＳ，ＭＬＳ、ＬＳ及びその他＃２）は、テーブル
を使用不能とし、そこに陰が付けられて示される。それ
らの選択されたショットタイプは、その後、ユーザによ
って修正された、それぞれ対応する効果を有し得る。示
すように、複数の異なる再生速度が提供され、いずれか
一つのショットタイプの選択は、同じショットタイプの
ために他のものを不能にする。各ＥＣＵ及びＣＵは、異
なる１／４速度で応答するように選択され、ＭＣＵは自
然な速度で再生する。その他＃１のショットタイプで捕
捉されたレーシングカーは、顔のショットとモーターカ
ーのショットとの違いを強調し、ユーザの要求を満たす
ために、４倍速で再生するために選択される。カラーフ
ィルタは効果を発揮するようにされているが、選択され
た各ショットは、設定で選択されたモノクローム（Ｂ＆
Ｗ）を有し、カラー変化が除去される。そのような効果
は、一定のオレンジ又はブラウンの薄色をフレーム全体
を提供し得、この例では、古いセピア色の効果で画像を
再生させる。音は、顔のショットでは不可能であるがレ
ーシングカーのショットでは可能となる。

【００４６】隣接するショットタイプ間の転換のため
に、ズームされた特徴も提供される。テーブル１の例に
示すように、ＭＣＵショットは、”＋２”のズームとさ
れ、これは、２秒間にわたって生じるズームを伴う、次
のショットタイプ（すなわちＣＵ）に対するズームイン
を表している。通常、ズームの間、画像は、自動的にデ
ィスプレイのサイズに維持される。ズームアウトも可能
であり、マイナスシンボル（−）によって示される。期
間は、秒、フレーム若しくは瞬間（すなわち、＋＋）で
特定され得、後者は、編集された製品に含めるための直
接新たなフレームを生成する。テーブル１におけるズー
ムの変化は、隣接するショットタイプ間で生じることに
より特定される。あるいは、ズームの程度及びズームの
期間は、各ショットタイプ（例えば、ＭＣＵ：１５０
％：２５フレーム；ＣＵ：２００％：１０フレーム；Ｅ
ＣＵ：３０％：５０フレーム）とは別々に特定され得
る。この手法では、編集された製品は、所定の期間にわ
たって、特定のショットタイプのために、製品の心情的
な効果を強調することにより、他のショットタイプに対
するズームを示し得る。例えば、ＭＣＵからＥＣＵへの
ズームは、”劇的な”テンプレートの一部を形成し得、
観る者の注意を中央のキャラクタに集中させるためにＥ
ＣＵのものが用いられる。”賞賛される”テンプレート
は、ＭＣＵからＣＵへのズームに含まれ得る。

【００４７】画像の編集効果の他の形式は、所望のテン
プレートに適用され得る。

【００４８】一旦修正すると、テンプレートは保存さ
れ、制御はステップ７０４へ戻り、ユーザはちょうど修
正したテンプレートを選択することができる。一旦テン
プレートが選択されると、ステップ７１６へ進み、クリ
ップのシーケンスが、記憶装置７１８に維持されたカメ
ラメタデータから引き出される。一旦正しいシーケンス
が形成されると、シーケンスは、選択されたテンプレー
トを適用することにより、ステップ７２０において編集
される。このステップは、最初に、分類メタデータを記
憶装置７１８から供給してショットタイプを決定し、そ
の後、ショットが適用される様々な効果が選択されるビ
デオデータを供給することを含む。この結果、ステップ
７２２の出力が提示され、記憶装置に送られるか、直接
ディスプレイ装置へ再生される。

【００４９】なお、多様なテンプレートが生成され、そ
の各々は、ソース画像上で、そこに含まれるショットタ
イプの分類に応じて感動的な編集スタイルを表現し得る
ことはいうまでもない。また、個々のクリップ又は場面
は、主題に基づく表現スタイルの変更により、異なるテ
ンプレートを用いて編集され得る。従って、モーターレ
ースへの家族的な見物は、ＭＳのものやＭＬＳのものに
限定されるが実質的に自然な場面を用いたピクニックの
ランチを描いた場面や、テーブル１に関して上述した手
法で編集されたアクション場面や、或いは、レース中の
クラッシュを強調するために用いられる実質的にスロー
モーションのスーパーアクション場面を含む。クラッシ
ュは、重要性を示すタグと共に、場面のその一部のメタ
データをユーザが捕捉することにおって分類され得る。
また、テーブル１のテンプレートは、他意部分は、ショ
ット距離に依存するが、上述したチルトアングルのよう
な他の分類は、代替的に又は追加的に含まれる。

【００５０】［産業上の利用分野］画像編集や再生産の
分野、ショットや対象の識別、総合的な編集の厳しい訓
練を受けたアマチュアの映画会社が特別な応用を見つけ
るときにも適用可能である。

【００５１】前述のものは、本発明のうちいくつかの実
施形態であって、変更及び／又は変化は本発明の趣旨を
損なうことなく行うことができる。又、記載された実施
形態は一例であって、これに限定されるものではない。

【図面の簡単な説明】

本発明の１又はそれ以上の実施の形態は、以下の図面を
参照して説明されている。

【図１Ａ】フィルムメーカーによって用いられる複数の
ショットレンジを示す図である。

【図１Ｂ】フィルムメーカーによって用いられる複数の
ショットレンジを示す図である。

【図１Ｃ】フィルムメーカーによって用いられる複数の
ショットレンジを示す図である。

【図１Ｄ】フィルムメーカーによって用いられる複数の
ショットレンジを示す図である。

【図１Ｅ】フィルムメーカーによって用いられる複数の
ショットレンジを示す図である。

【図１Ｆ】フィルムメーカーによって用いられる複数の
ショットレンジを示す図である。

【図１Ｇ】フィルムメーカーによって用いられる複数の
ショットレンジを示す図である。

【図２Ａ】フィルムメーカーによって用いられる３つの
異なる撮影タイプを示す図である。

【図２Ｂ】フィルムメーカーによって用いられる３つの
異なる撮影タイプを示す図である。

【図２Ｃ】フィルムメーカーによって用いられる３つの
異なる撮影タイプを示す図である。

【図３Ａ】ビューワの心理状態に影響を与えるパンの効
果を示す図である。

【図３Ｂ】ビューワの心理状態に影響を与えるパンの効
果を示す図である。

【図４Ａ】フィルムメーカーによって用いられる様々な
アングルのカメラ撮影を示す図である。

【図４Ｂ】フィルムメーカーによって用いられる様々な
アングルのカメラ撮影を示す図である。

【図４Ｃ】フィルムメーカーによって用いられる様々な
アングルのカメラ撮影を示す図である。

【図４Ｄ】フィルムメーカーによって用いられる様々な
アングルのカメラ撮影を示す図である。

【図４Ｅ】フィルムメーカーによって用いられる様々な
アングルのカメラ撮影を示す図である。

【図５】画像記録システム及び画像生成システムの概略
ブロック図である。

【図６】開示されたアレンジを実行可能な汎用コンピュ
ータシステムの概略ブロック図である。

【図７】ビデオ編集用テンプレートの使用を示すフロー
チャートである。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）

Claims

【特許請求の範囲】

【請求項１】デジタル画像の自動分類方法であって、人間の顔の存在する画像を解析し、前記画像のサイズに関する、配置された顔サイズを判定
する判定し、前記画像に対する前記顔の相対サイズに基づいて前記画
像を分類するステップを備えることを特徴とする方法。
【請求項２】前記画像は、前記画像を撮像した撮影者
の意図についての情報を提供するタームを用いて分類さ
れることを特徴とする請求項第１項に記載の方法。
【請求項３】前記画像は、前記配置された顔サイズが
前記画像のサイズよりも実質的に小さい場合に、遠隔シ
ョットとして分類されることを特徴とする請求項第１項
または第２項に記載の方法。
【請求項４】前記画像は、前記配置された顔サイズが
前記画像のサイズと実質的に一致する場合、クローズア
ップとして分類されることを特徴とする請求項第１項ま
たは第２項に記載の方法。
【請求項５】前記画像は、前記配置された顔の一部分
のみが前記画像内に現れている場合、極大クローズアッ
プとして分類されることを特徴とする請求項第１項また
は第２項に記載の方法。
【請求項６】前記分類は、前記配置された顔サイズ
と、人間の顔画像のサイズの所定の閾値とを結びつける
工程を備えることを特徴とする請求項第１項または第２
項に記載の方法。
【請求項７】前記画像が顔を含み、前記配置された顔
サイズが前記画像のサイズと比較される第１の所定閾値
を下回る場合、遠隔ショットとして分類されることを特
徴とする請求項第１項または第２項に記載の方法。
【請求項８】前記画像は、前記配置された顔サイズ
が、前記画像のサイズと比較される第２閾値を上まわる
場合、極大クローズアップとして分類されることを特徴
とする請求項第７項に記載の方法。
【請求項９】前記画像は、前記配置された顔サイズが
前記第２の閾値を下回り、前記画像と比較するための第
３の閾値より上まわる場合、クローズアップとして分類
されることを特徴とする請求項第８項に記載の方法。
【請求項１０】前記画像は、前記配置された顔サイズ
が第１の閾値よりも大きく、前記第３の閾値より小さい
場合、中間ショットとして分類されることを特徴とする
請求項第９項に記載の方法。
【請求項１１】前記解析は、前記画像と共に供給され
た情報を翻訳する工程を含むことを特徴とする請求項第
１項に記載の方法。
【請求項１２】前記画像は、画像のデジタルビデオシ
ーケンスの或るフレームであることを特徴とする請求項
第１１項に記載の方法。
【請求項１３】前記情報は、前記シーケンスの他のフ
レームと結びつけられることを特徴とする請求項第１２
項に記載の方法。
【請求項１４】前記解析は、肌色画素が前記顔を配置
するために配置されている前記画像の１以上の領域を検
出する工程を有することを特徴とする請求項第１項に記
載の方法。
【請求項１５】前記判定は、前記顔に包含する境界矩
形の高さと幅によって、配置された顔の近似サイズを判
定することを特徴とする請求項第１項に記載の方法。
【請求項１６】デジタル画像の自動分類方法であっ
て、人間の顔の存在するイメージを解析し、前記画像のフレームに対する、配置された顔の位置を判
定し、前記画像のフレームに対する前記顔の相対位置に基づい
て、前記画像を分類するステップを備えることを特徴と
する方法。
【請求項１７】前記画像は、前記画像を撮像した撮影
者の意図についての情報を提供するタームを用いて分類
されることを特徴とする請求項第１６項に記載の方法。
【請求項１８】前記画像は、前記配置された顔の位置
が実質的に前記画像フレームの下端に向かっている場
合、ハイショットとして分類されることを特徴とする請
求項第１６項または第１７項に記載の方法。
【請求項１９】前記画像は、配置された顔の位置が実
質的に前記画像のフレームの中心に実質的に一致する場
合、目レベルショットとして分類されることを特徴とす
る請求項第１６項または第１７項に記載の方法。
【請求項２０】前記画像は、配置された顔の位置が実
質的に前記画像のフレームの上端に向かっている場合、
ローショットとして分類されることを特徴とする請求項
第１６項または第１７項に記載の方法。
【請求項２１】前記画像は、前記配置された顔の位置
が実質的に前記画像のフレームの右手に向かっている場
合、レフトショットとして分類されることを特徴とする
請求項第１６項または第１７項に記載の方法。
【請求項２２】前記画像は、前記配置された顔の位置
が実質的に前記画像のフレームの左手に向かっている場
合、ライトショットとして分類されることを特徴とする
請求項第１６項または第１７項に記載の方法。
【請求項２３】前記画像は、配置された顔の位置が実
質的に前記画像のフレームの上端に向かっている場合、
ローショットとして分類されることを特徴とする請求項
第１６項または第１７項に記載の方法。
【請求項２４】前記解析は、前記画像に伴って供給さ
れる情報を翻訳する工程を有することを特徴とする請求
項第１６項に記載の方法。
【請求項２５】前記画像は、画像のデジタルビデオシ
ーケンスにおける或るフレームであることを特徴とする
請求項第１６項に記載の方法。
【請求項２６】前記情報は、前記シーケンスの他のフ
レームと結びつけられることを特徴とする請求項第２５
項に記載の方法。
【請求項２７】更に、前記画像内のエッジを検出し、前記エッジと前記画像フレームの軸の間の傾き角を判定
し、前記傾き角が、傾きについての所定角間にある場合に、
ダッチショットとして分類するステップを有することを
特徴とする請求項第１項に記載の方法。
【請求項２８】前記所定角は３０°と６０°であるこ
とを特徴とする請求項第２７項に記載の方法。
【請求項２９】更に、所定の、人間ではない成分がある画像を解析し、少なくとも１つの更なる基準に関して前記所定成分を評
価することで、前記基準を満たし、前記所定成分の存在
に基づいて前記画像を分類することを特徴とする請求項
第１６項に記載の方法。
【請求項３０】前記所定成分は、前記画像の識別可能
な領域の色を含むことを特徴とする請求項２９に記載の
方法。
【請求項３１】前記基準は、前記画像内の前記所定成
分の少なくとも相対的な動きを含むことを特徴とする請
求項２９に記載の方法。
【請求項３２】入力画像シーケンスの処理方法であっ
て、請求項１に記載の方法を用いて前記シーケンスの前記画
像各々を分類する工程と、前記分類を用いて前記シーケンスを編集し、出力画像シ
ーケンスを形成する工程とを備えることを特徴とする方
法。
【請求項３３】前記編集工程は、前記入力シーケンス
の前記画像各々について編集機能を適用する工程を含
み、前記画像のうち前記編集機能を満たさないものは前
記出力シーケンスから割愛されることを特徴とする請求
項３１に記載の方法。
【請求項３４】前記編集工程は、前記シーケンスのた
めの編集テンプレートをつくる工程を含み、前記編集機
能の各々は、前記テンプレートの構成要素を形成し、か
つ前記画像分類のひとつに対応することを特徴とする請
求項３４に記載の方法。
【請求項３５】前記編集機能は、画像に対して適用さ
れる少なくともひとつの効果を含み、前記効果は可視的
な効果及び可聴的な効果を含むグループから選択される
ことを特徴とする請求項３３に記載の方法。
【請求項３６】前記可視的効果は、再生速度のバリエ
ーション、拡大／縮小、ぼかし、色のバリエーションを
含むグループから選択されることを特徴とする請求項３
５に記載の方法。
【請求項３７】デジタル画像の自動分類装置であっ
て、人の顔の存在について、前記画像を解析する解析手段
と、前記画像のサイズに関して、見出された顔のサイズを判
定する判定手段と、前記画像に関して前記見出された顔の相対サイズに基づ
いて前記画像を分類する分類手段とを備えることを特徴
とする装置。
【請求項３８】（ｉ）前記画像は、前記見出された顔
のサイズが実質的に前記画像のサイズよりも小さい場
合、遠隔ショットに分類され、（ｉｉ）前記画像は、前記見出された顔のサイズが実質
的に前記画像のサイズに対応する場合、近接ショットに
分類され、（ｉｉｉ）前記画像は、前記見出された顔の一部のみが
前記画像内に表れている場合、超近接ショットに分類さ
れることを特徴とする請求項３７に記載の装置。
【請求項３９】前記分類手段は、前記見出された顔の
サイズを、人の顔の画像のサイズについての所定の閾値
の集合と関連づけることを特徴とする請求項３７に記載
の装置。
【請求項４０】（ｉ）前記画像は、前記画像がひとつ
の顔を含み、その見出された顔のサイズが前記画像のサ
イズと比較して第１の所定の閾値より下である場合、遠
隔ショットに分類され、（ｉｉ）前記画像は、前記見出された顔のサイズが前記
画像のサイズと比較して第２の所定の閾値より上である
場合、超近接ショットに分類され、（ｉｉｉ）前記画像は、前記見出された顔のサイズが前
記画像のサイズと比較して第２の所定の閾値より下であ
り、かつ第３の所定の閾値よりも上である場合、近接シ
ョットに分類され、（ｉＶ）前記画像は、前記見出された顔のサイズが第１
の所定の閾値より大きく、かつ第３の所定の閾値よりも
小さい場合、中間ショットに分類されることを特徴とす
る請求項３９に記載の装置。
【請求項４１】前記解析手段は、前記画像により提供
される情報を解釈する手段を含むことを特徴とする請求
項３７に記載の装置。
【請求項４２】前記画像は、デジタルビデオの画像シ
ーケンスのフレームのひとつを含むことを特徴とする請
求項４１に記載の装置。
【請求項４３】前記解析手段は、前記顔を見いだすた
めに、肌色の画素がおかれた、前記画像の１またはそれ
以上の領域を検出することを特徴とする請求項４１に記
載の装置。
【請求項４４】前記判定手段は、前記見出された顔を
囲む境界矩形の高さ及び幅により前記見出された顔のサ
イズを概算することを特徴とする請求項４３に記載の装
置。
【請求項４５】デジタル画像の自動分類装置であっ
て、人の顔の存在について、前記画像を解析する解析手段
と、前記画像のフレームに関して、見出された顔の位置を判
定する判定手段と、前記画像フレームに関して、前記見出された顔の相対位
置に基づいて前記画像を分類する分類手段とを備えるこ
とを特徴とする装置。
【請求項４６】（ｉ）前記画像は、前記見出された顔
の位置が実質的に前記画像フレームの下近くにある場
合、ハイショットに分類され、（ｉｉ）前記画像は、前記見出された顔の位置が実質的
に前記画像フレームの中央に対応する場合、アイレベル
ショットに分類され、（ｉｉｉ）前記画像は、前記見出された顔の位置が実質
的に前記画像フレームの上近くにある場合、ロウショッ
トに分類され、（ｉＶ）前記画像は、前記見出された顔の位置が実質的
に前記画像フレームの向かって右側にある場合、レフト
ショットに分類され、（Ｖ）前記画像は、前記見出された顔の位置が実質的に
前記画像フレームの向かって左側にある場合、ライトシ
ョットに分類され、（Ｖｉ）前記画像は、前記見出された顔の位置が実質的
に前記画像フレームの上近くにある場合、ロウショット
に分類されることを特徴とする請求項４５に記載の装
置。
【請求項４７】前記解析手段は、前記画像により提供
される情報を解釈する手段を含むことを特徴とする請求
項４６に記載の装置。
【請求項４８】前記画像は、デジタルビデオを画像シ
ーケンスのフレームのひとつを含むことを特徴とする請
求項４６に記載の装置。
【請求項４９】前記情報は、前記シーケンスの他のフ
レームに関連づけらていることを特徴とする請求項４８
に記載の装置。
【請求項５０】前記画像のエッジを検出する検出手段
と、前記エッジと前記画像フレームの軸の成す傾斜角を判定
する判定手段と、前記傾斜角が所定の傾斜角の間にある場合には、前記画
像をダッチショットとして分類する分類手段とをさらに
備えることを特徴とする請求項３７に記載の装置。
【請求項５１】所定の人ではない成分の存在について
画像を解析する解析手段と、少なくともひとつの更なる基準に関して、所定の成分に
アクセスする手段とをさらに備え、前記基準は、前記所定の成分の存在に基づく前記画像の
分類を満たすものであることを特徴とする請求項３７に
記載の装置。
【請求項５２】前記所定の成分は、前記画像の識別可
能な領域の色を含むことを特徴とする請求項５１に記載
の装置。
【請求項５３】前記基準は、少なくとも、前記画像内
における前記所定の成分の相対的な動きを含むことを特
徴とする請求項５１に記載の装置。
【請求項５４】画像シーケンスの処理装置であって、前記シーケンスの前記画像各々についての分類を判定す
る請求項３７に記載の分類装置と、前記分類を用いて前記シーケンスを編集し、出力画像シ
ーケンスを形成する手段とを備えることを特徴とする装
置。
【請求項５５】前記編集手段は、前記入力シーケンス
の前記画像各々について編集機能の適用を含み、前記画
像のうち前記編集機能を満たさないものは前記出力シー
ケンスから割愛されることを特徴とする請求項５４に記
載の装置。
【請求項５６】前記編集手段は、前記シーケンスのた
めの編集テンプレートをつくり、前記編集機能の各々
は、前記テンプレートの構成要素を形成し、かつ前記画
像分類のひとつに対応することを特徴とする請求項５５
に記載の装置。
【請求項５７】前記編集機能(edit function)は、前記画像への応用のための少なくとも１つの効果(effec
t)を備え、その効果は、視覚的な効果と音響的な効果と
からなる前記グループから選択されることを特徴とする
請求項５６記載の装置。
【請求項５８】前記視覚的な効果は、再生速度のバリ
エーション、ズーミング、ぼかし(blurring)、並びにカ
ラーバリエーションからなる前記グループから選択され
ることを特徴とする請求項５７記載の装置。
【請求項５９】デジタル画像の自動化された分類(cla
ssification)のためのコンピュータ装置を動作させるこ
とが可能なコンピュータ・プログラム製品が格納された
コンピュータ可読媒体であって、人間の顔の存在のために前記画像を解析するためのコー
ドと、前記画像のサイズを考慮して、前記存在した顔のサイズ
を判断するためのコードと、前記画像のサイズを考慮された前記顔の相対的なサイズ
に基づいて、前記画像を分類するためのコードと、を備
えることを特徴とするコンピュータ可読媒体。
【請求項６０】（ｉ）前記存在した顔のサイズが概ね
前記画像のサイズ以下の場合に、前記画像は、遠隔撮影
(far-shot)として分類され、（ii）前記存在した顔のサイズが前記画像のサイズに概
ね一致する場合に、前記画像は、クローズアップ(close
-up)として分類され、（iii）前記存在した顔の一部だけが前記画像内に現れ
る場合に、前記画像は、極端なクローズアップ(extreme
close-up)として分類されることを特徴とする請求項５
９記載のコンピュータ可読媒体。
【請求項６１】前記分類では、前記存在した顔のサイ
ズと、人間の顔画像のサイズのための１組の所定のしき
い値との関連付けを行うことを特徴とする請求項６０記
載のコンピュータ可読媒体。
【請求項６２】（ｉ）前記画像が顔を含み、且つ前記
画像のサイズと比較して、前記存在した顔のサイズが第
１の所定のしきい値より小さい場合に、前記画像は、遠
隔撮影(far-shot)として分類され、（ii）前記画像のサイズと比較して、前記存在した顔の
サイズが第２の所定のしきい値より大きい場合に、前記
画像は、極端なクローズアップとして分類され、（iii）前記画像のサイズと比較して、前記存在した顔
のサイズが前記第２の所定のしきい値より小さく、且つ
第３の所定のしきい値より大きい場合に、前記画像は、
クローズアップとして分類され、（iv）前記存在した顔のサイズが前記第１の所定のしき
い値以上であって、且つ前記第３の所定のしきい値より
以下である場合に、前記画像は、中程度の撮影(medium
shot)として分類されることを特徴とする請求項６１記
載のコンピュータ可読媒体。
【請求項６３】前記解析では、前記画像と共に与えら
れる情報の補間を行うことを特徴とする請求項５９記載
のコンピュータ可読媒体。
【請求項６４】前記画像は、画像のデジタルビデオシ
ーケンスのフレームを有することを特徴とする請求項６
３記載のコンピュータ可読媒体。
【請求項６５】前記情報は、前記シーケンスの他のフ
レームに関連付けされることを特徴とする請求項６４記
載のコンピュータ可読媒体。
【請求項６６】前記分類では、前記顔を存在させるべ
く肌色化された画素が配置されたところの、前記画像の
１つ或いはそれより多くの領域が検出されることを特徴
とする請求項５９記載のコンピュータ可読媒体。
【請求項６７】前記判断では、前記顔を取り囲む境界
をなす長方形の高さ及び幅により、前記存在した顔の大
まかなサイズを判断することを特徴とする請求項５９記
載のコンピュータ可読媒体。
【請求項６８】人間の顔の前記存在のために、前記画
像を解析するためのコードと、前記画像のフレームを考慮して、前記存在した顔の位置
を判断するためのコードと、前記画像フレームを考慮して、前記顔の相対的な位置に
基づいて、前記画像を分類するためのコードと、を更に備えることを特徴とする請求項５９記載のコンピ
ュータ可読媒体。
【請求項６９】（ｉ）前記存在した顔の位置が、概ね
前記画像フレームに面して下部である場合に、前記画像
は、ハイ・ショット(high-shot)として分類され、（ii）前記存在した顔の位置が、概ね前記画像フレーム
の中央に位置する場合に、前記画像は、アイ・レベル・
ショット(eye-level shot)として分類され、（iii）前記存在した顔の位置が、前記画像フレームに
面して概ね上部である場合に、前記画像は、ロー・ショ
ット(low-shot)として分類され、（iv）前記存在した顔の位置が、前記画像フレームに面
して概ね右側に位置する場合に、前記画像は、レフト・
ショット(left-shot)として分類され、（Ｖ）前記存在した顔の位置が、前記画像フレームに面
して概ね左側に位置する場合に、前記画像は、ライト・
ショット(right-shot)として分類され、（vi）前記存在した顔の位置が、前記画像フレームに面
して概ね上部である場合に、前記画像は、ロー・ショッ
ト(low-shot)として分類されることを特徴とする請求項
６８記載のコンピュータ可読媒体。
【請求項７０】前記解析では、前記画像と共に与えら
れる情報の補間を行うことを特徴とする請求項６９記載
のコンピュータ可読媒体。
【請求項７１】前記画像は、画像のデジタルビデオシ
ーケンスのフレームを有することを特徴とする請求項６
９記載のコンピュータ可読媒体。
【請求項７２】前記情報は、前記シーケンスの他のフ
レームに関連付けされることを特徴とする請求項７１記
載のコンピュータ可読媒体。
【請求項７３】前記画像内のエッジを検出するための
コードと、前記エッジと、前記画像フレームの軸との間の傾きがな
す角を判断するためのコードと、前記傾きがなす角が所定角度範囲の場合に、前記画像を
ダッチ・ショット(Dutch shot)として分類するためのコ
ードと、を更に備えることを特徴とする請求項７２記載のコンピ
ュータ可読媒体。
【請求項７４】傾きの前記所定角度は３０°乃至６０
°であることを特徴とする請求項７３記載のコンピュー
タ可読媒体。
【請求項７５】人間ではない所定の構成部分(compone
nt)の存在のために前記画像を解析するためのコード
と、少なくとも１つの更なる基準(criteria)を考慮して、前
記所定の構成部分を評価するためのコードとを更に備
え、前記基準は、前記所定の構成部分の存在に基づく前記画
像の分類に合致することを特徴とする請求項７４記載の
コンピュータ可読媒体。
【請求項７６】前記所定の構成部分は、前記画像の異
なった領域の色を有することを特徴とする請求項７５記
載のコンピュータ可読媒体。
【請求項７７】前記基準は、前記画像内の前記所定の
構成部分の相対的な動きを少なくとも有することを特徴
とする請求項７６記載のコンピュータ可読媒体。
【請求項７８】画像の入力シーケンスを処理するため
のコンピュータ・プログラム製品が格納されたコンピュ
ータ可読媒体であって、請求項７７に記載のコンピュータ・プログラム製品を利
用して、前記シーケンスの各画像を分類するためのコー
ドと、画像の出力シーケンスを形成すべく、前記分類を利用し
て、前記シーケンスを編集するためのコードと、を備えることを特徴とするコンピュータ可読媒体。
【請求項７９】前記編集では、前記入力シーケンスの
前記各画像に対する編集機能が実施され、前記画像に関
するそれら編集機能は、前記出力シーケンスから拒否さ
れた前記編集機能を満足しないことを特徴とする請求項
７８記載のコンピュータ可読媒体。
【請求項８０】前記編集では、前記シーケンスのため
の編集テンプレートを確立し、前記各編集機能は、前記
テンプレートの構成部分を生成すると共に、前記画像分
類の１つに対応することを特徴とする請求項７９記載の
コンピュータ可読媒体。
【請求項８１】前記編集機能は、前記画像に対する適
用のための効果を少なくとも１つ有し、前記効果は、視
覚的な効果と音響的な効果とからなる前記グループから
選択されることを特徴とする請求項８０記載のコンピュ
ータ可読媒体。
【請求項８２】前記視覚的な効果は、再生速度のバリ
エーション、ズーミング、ぼかし(blurring)、並びにカ
ラーバリエーションからなる前記グループから選択され
ることを特徴とする請求項８１記載のコンピュータ可読
媒体。
【請求項８３】前記請求項の何れかに記載の画像のシ
リーズの実行によって生成されたことを特徴とする画像
の編集されたシーケンス。