JP2000261757A

JP2000261757A - 編集用映像区間分類方法及び装置、並びにこの方法を記録した記録媒体

Info

Publication number: JP2000261757A
Application number: JP11063168A
Authority: JP
Inventors: Yasumasa Niikura; 康巨新倉; Yukinobu Taniguchi; 行信谷口; Yoshinobu Tonomura; 佳伸外村
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1999-03-10
Filing date: 1999-03-10
Publication date: 2000-09-22
Anticipated expiration: 2019-03-10
Also published as: JP3469122B2

Abstract

(57)【要約】【課題】自動的に分割されたショット区間から、クオ
リティが低い手ぶれや急激な動き等のカメラワークを含
む区間を判別し、編集に適した映像区間を抽出し、編集
素材として利用者に提示し、映像編集を支援する編集用
映像区間分類方法、装置を提供する。【解決手段】入力映像０から映像を解析して、ショッ
トチェンジ区間分割分類ステップ１１にて映像ショット
区間１に分割、分類する。映像ショット区間１から特徴
量抽出ステップ１２にて映像に含まれる各画像を解析
し、特徴量２を算出する。この特徴量２をもとに、映像
評価ステップ１３にて映像が編集用に適切な映像か否
か、即ち、クオリティが低い手ぶれや急激な動き等のカ
メラワークを含む区間を判別し、安定した映像区間であ
る適切映像区間３を算出する。これを、映像素材として
映像素材提示ステップ１４にて利用者に提示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像を解析して、
編集に適切な映像を利用者に提供し、映像編集を支援す
る編集用映像区間分類方法及び装置を提案するものであ
る。

【０００２】

【従来の技術】小型ビデオカメラと、ビデオデッキの普
及から、一般の人々が映像を記録、撮影することは非常
に多くなっている。しかし、多くの人々は映像を撮りっ
ぱなしで、編集する事もなく、何度も映像を見かえす事
もしない。編集作業は非常に困難を伴うため気軽に行わ
れず、編集されていない映像はだらだらと余計な部分が
あるため視聴されないためである。

【０００３】ゆえに、折角撮影した映像をより活用する
ためには、困難な編集作業を容易にすることが必要であ
る。編集作業の困難な点の一つに、素材映像の内容を把
握し、利用する適切な映像の区間を切り出すプロセスが
必要となる。しかし、従来のノンリニア編集機を含めた
器材では、編集に用いるべき映像区間を選択し、切り出
すために、映像の内容を繰り返し視聴し、頭出しと呼ば
れる区間の開始点及び、区間の終了点をいちいち決定す
る必要があった。これが煩雑な作業となり、編集作業の
障害の一原因であった。

【０００４】そこで、これらの問題点を解決するため
に、映像区間をあらかじめ適切な区間に分類し、それら
を映像素材の区間として利用者に提示しようとする試み
が提案されている。例えば、（ＹｕｋｉｎｏｂｕＴａ
ｎｉｇｕｔｉ，ＹｏｓｈｉｎｏｂｕＴｏｎｏｍｕｒ
ａ、「ＰａｎｏｒａｍａＥｘｃｅｒｐｔｓ：Ｅｘｔｒａ
ｃｔｉｎｇａｎｄｐａｃｋｉｎｇＰａｎｏｒａｍ
ａｓｆｏｒＶｉｄｅｏＢｒｏｗｓｉｎｇ」１９９６
ＡＣＭＭｕｌｔｉｍｅｄｉａ９７）があげられ
る。これは、撮影時のカメラのＯＮ／ＯＦＦに対応する
ショットチェンジを、素材を分割する際の区間の基準と
し、その区間の内容を端的に示す代表画像を構成して提
示する。さらに、その区間の内容を解析し、区間の中身
が静止していれば、代表画像を区間の先頭として選択
し、カメラワークがある場合には、カメラワークをつな
いでパノラマ画像を作成し、それぞれを代表画像として
表示するという特徴を持っている。

【０００５】

【発明が解決しようとする課題】上記従来の手法は、た
しかに映像区間への分割を行い、その内容を端的に示し
ているため、編集用素材映像の提供に十分な機能を有す
るように見える。しかし、実際に編集作業を行っている
と、同一ショット内で編集に適さない部分を含む場合が
ある。それは、手ぶれや、素早い動き、また、非常に短
い時間長しかないショットなどである。映像の価値それ
自体は、その内容そのものによるところが大きく、利用
目的に応じて価値が変動するが、撮影時のクオリティに
よって左右されるという側面も有する。

【０００６】従って、手軽な編集という点においては、
ある程度のクオリティを保った映像区間のみを抽出して
おいてくれる方が望ましい。そのためには、ショット区
間の中で、さらに、そのカメラワークを推定し、手ぶれ
や、急激な内容変化等の画像を含んでいないかどうかを
判定し、そうした区間を自動的に除去、あるいは明示す
る機能が必要であると考える。同様に、時間長が極端に
短い映像については、撮影されている内容にもよるが、
大抵の場合編集に利用するのには適さないことが多い。
従って、こうした短い区間についてもあらかじめ除去す
る機能が必要であると考える。

【０００７】すなわち、映像編集のためには、映像素材
を解析し、撮影時のＯＮ／ＯＦＦに対応するショット区
間に分割し、その中から手ぶれ等の品質を劣化させるよ
うな映像区間を自動的に除去、あるいは明示し、残った
映像区間を編集素材として利用しやすいように提示する
技術が必要である。ただし、あくまでも映像はクオリテ
ィによらず内容による場合がある。そこで、その誤差の
程度を調べ、かつ、手ぶれか、急激な動きか、短すぎる
映像区間であるかどうか？という点を判別し、適切な映
像区間、手ぶれ、急激な変化を行った区間、短すぎる区
間という具合に判別して提示してくれる方法こそ最も望
ましいと考えられる。

【０００８】そこで、上述した従来技術の問題点であ
る、自動的に分割されたショット区間から、撮影時のク
オリティが低い、手ぶれや、急激な動きといったカメラ
ワークを含むような区間を判別し、適切な映像区間を抽
出し、それら区間を編集素材として選択しやすいように
利用者に提示して映像編集を支援する事ができる編集用
映像区間分類方法及び装置を提供することが本発明の課
題である。

【０００９】

【課題を解決のための手段】本発明は、上記課題を以下
の手段によって解決する。

【００１０】その一手段は、入力された映像を解析し、
映像編集に適する素材を自動的に抽出し、提示する編集
用映像区間分類方法において、入力された映像から、シ
ョットチェンジを自動検出し、ショット区間に分割、分
類するショットチェンジ区間分割分類段階と、前記ショ
ット区間中の映像を構成する画像列から、カメラワーク
に関する単一もしくは複数の特徴量を算出する特徴量算
出段階と、前記算出された単一もしくは複数の特徴量か
ら、ショット内の映像区間のカメラワークに関わる評価
を行う映像評価段階と、前記映像評価段階の評価におい
て適切なカメラワークを有すると判定された映像区間の
みを、編集に適する素材であるとして提示する映像素材
提示段階とを、有する事を特徴とする編集用映像区間分
類方法である。

【００１１】あるいは、前記特徴量算出段階では、連続
する２つ以上の画像列同士の間の、画像上の局所的な演
算の結果を統合することによって第１の特徴量を算出
し、画像上の全体的な演算から第２の特徴量を算出し、
前記映像評価段階では、前記２つの特徴量を用いて、前
記ショット内の映像区間を評価する事を特徴とする編集
用映像区間分類方法である。

【００１２】また、別の手段は、入力された映像を解析
し、映像編集に適する素材を自動的に抽出し、提示する
編集用映像区間分類装置において、入力された映像か
ら、ショットチェンジを自動検出し、ショット区間に分
割、分類するショットチェンジ区間分割部と、前記ショ
ット区間中の映像を構成する画像列から、カメラワーク
に関する単一もしくは複数の特徴量を算出する特徴量解
析部と、前記算出された複数の特徴量から、ショット内
の映像区間のカメラワークに関わる評価を行う映像評価
部と、前記映像評価部の評価によって適切なカメラワー
クを有すると判定された区間のみを、編集に適する素材
であるとして提示する素材提示部とを、有する事を特徴
とする編集用映像区間分類装置である。

【００１３】あるいは、前記特徴量解析部は、連続する
２つ以上の画像列同士の間の、画像上の局所的な演算の
結果を統合することによって第１の特徴量を算出し、画
像上の全体的な演算から第２の特徴量を算出するもので
あり、前記映像評価部は、前記２つの特徴量を用いて、
ショット内の映像区間を評価するものである事を特徴と
する編集用映像区間分類装置である。

【００１４】なお、上記編集用映像区間分類方法におけ
る段階をコンピュータで実行するためのプログラムを、
前記コンピュータが読み取り可能な記録媒体に記録し、
この記録媒体と、これを読み取ってそのプログラムを実
行可能なコンピュータが存在すれば、本発明を実施する
事が可能である。

【００１５】本発明では、自動的に分割されたショット
区間から、特徴量を用いた評価を行い、撮影時のクオリ
ティが低い、手ぶれや、急激な動きといったカメラワー
クを含むような区間を判別し、適切な映像区間を抽出し
て利用者に提示することで、それら区間を編集素材とし
て選択、利用しやすいようにし、映像編集等を支援でき
るようにする。

【００１６】手ぶれと、素早いカメラワークはどちらも
似たエラーではあるが、それぞれが示す特徴は微妙に異
なる。したがって、これらを安定に判別するためには、
複数のアルゴリズムを組み合わせた特徴量と評価方法を
用いた方が、精度が向上する。そこで、連続する２つ以
上の画像列同士の間の画像上の局所的な演算の結果を統
合することによって算出した特徴量と、画像上の全体的
な演算から算出した特徴量から、映像評価を行うこと
で、より高い精度向上を見込めるようにする。

【００１７】

【発明の実施の形態】本発明の編集用映像区間分類方法
及び装置の実施の形態について、具体的な説明を以下に
示す。

【００１８】図１に、本発明の編集用映像区間分類方法
の一実施形態例の流れ図を示す。

【００１９】入力映像０から映像を解析して、ショット
チェンジ区間分割分類ステップ１１にて映像ショット区
間１に分割、分類する。この映像ショット区間１から、
特徴量抽出ステップ１２にて映像に含まれる各画像を解
析し、画像に含まれる特徴量２を算出する。この特徴量
の算出は各画像内に閉じた情報からでも良いし、他の画
像との相関情報を元に演算して算出しても良い。

【００２０】この特徴量２をもとに、映像評価ステップ
１３にて、映像の内容を評価する。ここでの評価は、適
切な映像であるか、すなわち、編集に適した映像である
かどうかである。その評価の判定の材料は、特徴量２で
ある。その判定結果に含まれる意味については、どのよ
うな物でも構わない。この映像評価ステップ１３にて、
安定した映像区間である適切映像区間３が算出される。

【００２１】この適切映像区間３を映像素材提示ステッ
プ１４に投入し、適切な映像素材４を出力する。もちろ
ん利用者がこの映像素材を編集用に利用するか否かは利
用者の判断に一任される。

【００２２】図２に、本発明の編集用映像区間分類装置
の一実施形態例のブロック図を示す。

【００２３】本装置では、映像をテンポラリーに保存す
る記録メディア３０を備えており、入力映像２０から映
像のショット区間２１の抽出をショットチェンジ区間分
割部４０にて行う。映像ショット区間２１から特徴量解
析部４１にて、特徴量２２を抽出する。特徴量２２か
ら、映像評価部４２よりショット内の安定した映像区間
である適切映像区間２３を算出する。この適切映像区間
２３を映像素材提示部４３に投入し、映像素材として利
用者５０に提示する。このため映像素材提示部４３で
は、適切映像区間２３から代表画像２４を作成する代表
画像作成部４４とともに、代表画像２４を表示する表示
インタフェース４５をも有しており、利用者５０が利用
できるようにする。

【００２４】以下、本装置の動作例とともに、本方法の
実施形態例について、詳細な説明を加える。

【００２５】入力映像２０は、コンピュータが解析可能
なデジタル映像であれば良く、ＭＰＥＧやＪＰＥＧ等の
圧縮符号化されていても構わない。その時間及び空間方
向へのパラメータは任意で構わない。また、デジタル映
像でない場合には、アナログ映像データをキャプチャツ
ール等によるデジタル化する機能をショットチェンジ区
間分割部４０に備えていても構わない。この入力映像
は、例えばファイル単位で計数した場合、１つである必
要はなく、複数個にわたっても構わない。複数個の場合
には、それらの時間的、空間的（サイズ、フレームレー
ト、音声トラック等の）フォーマットが異なる場合に
は、それらの整合をとる機能がショットチェンジ区間分
割部４０に存在する。

【００２６】ショットチェンジ区間分割部４０では、映
像をショット単位に分割する。ここでは、ショットチェ
ンジを検出し、そのショットチェンジ点に従って、映像
を区間に分割する。ショットチェンジの検出について
は、既存の、提案され世に知られている各手法を用いて
構わない。その一例として、フレーム間の同一画素上の
差分を計算し、差分が大きい画素が多数存在した場合、
ショットチェンジが発生したものとするなどの方法があ
げられる。また、画像内容を解析せずに、録画時のＯＮ
／ＯＦＦを記録し、保存しておき、そうした外部情報を
組み合わせて区間分割しても構わない。

【００２７】特徴量解析部４１では、同一ショット内部
の画像列から特徴量２２を算出する。その算出に当っ
て、１フレームの画像内部の情報だけから特徴量を検出
しても構わないし、複数の画像列との相関など他のフレ
ームとの情報を用いても構わない。

【００２８】映像評価部４２では、算出された特徴量２
２を元に、ショット区間内の画像列が安定であるかどう
かを判定する。用いる特徴量は単一特徴量でも良いし、
複数の特徴量が与えられた場合には、それらを組み合わ
せて複数の特徴量を解析するなどしても良い。

【００２９】特徴量解析部４１と映像評価部４２につい
ては、その特徴量及び評価による適切映像区間を全て含
めて後程説明を加える。

【００３０】映像素材提示部４３については、映像素材
である適切映像区間２３は、同一ショット内のうち、編
集に耐えうる映像素材であるとして判定されたものを区
間として有する。編集に適さない区間については、除去
しておくものとする。

【００３１】映像素材提示部４３では、適切映像区間２
３から、映像区間を代表する画像を代表画像作成部４４
で作成する。代表画像作成部４４による代表画像２４
は、各適切映像区間の先頭１フレームでも良いし、複数
フレームによるパノラマ状の物でも良いし、複数フレー
ムを縮小し、配置したような画像でも良い。こうして作
成された代表画像２４を、表示インタフェース４５に
て、利用者５０に表示する。表示インタフェース４５
は、編集用素材として、代表画像及び関連する適切映像
区間を分類して編集用ソフトウェアに受け渡すインタフ
ェースを持っていても良い。

【００３２】なお、適切映像区間と映像素材提示部につ
いては別の例も考えられる。

【００３３】適切映像区間には、同一ショットの全てを
含むが、適切であるか不適切であるかの情報を各画像列
に記録しておき、映像素材提示部にて、適切な映像区間
のみを分類して対象とし、処理を行うというものであっ
ても良い。また、適切か否かという二値化するだけでな
く、特徴量を基準に多値に評価し、映像区間の順位付け
を行い、その順位付けに応じて映像を表示しても良い。

【００３４】映像素材提示部４３において、代表する画
像だけでなく、その中に記録されている風景、人物、等
の情報をあわせて提示しても良い。なお、これらの意味
的な情報は、可能であれば自動検出しても良いし、外部
から付加したものであっても良い。外部から付加する場
合には、表示インタフェース４５に外部からの付加作業
をサポートする機能を有していても良い。

【００３５】対象としている映像ショット区間に対する
特徴量解析部と映像評価部の動作についてさらに詳細な
説明を加える。

【００３６】前述の様に、映像が適切であるか、不適切
であるかを判断するのは最終的には、利用目的によって
変わる。しかし、一般には、手ぶれ、急激に動いたカメ
ラワーク、短すぎる映像区間は、編集に使い難いことが
一般に知られている。ここでは、一例として、不適切な
映像区間として、手ぶれ、急激に動いた映像、短すぎる
映像区間を判別するために必要な特徴量およびその評価
方法について解説を加える。

【００３７】手ぶれと急激なカメラワーク及び通常のカ
メラワークのそれぞれについて論じる。それぞれの画像
について図３（ａ），（ｂ），（ｃ）に示す。

【００３８】これらを判別する目的で２種類の特徴量を
算出する。それぞれ元の画像と連続する画像との類似領
域を探索し、その領域の動きを算出する。その動き分を
考慮した上で、誤差を算出し、誤差の大小を特徴量とし
て算出する。算出する２種類の特徴量として、一つは、
画像全体の類似度による全体変化量であり、もう一つは
局所的な類似度による局所集合変化量であるこれらの特
徴量の算出方法をそれぞれ図５、図６に示す。両者に共
通な手法としてブロックマッチングという手法を用い
る。先にこの手法について、図４にて説明を加える。

【００３９】図４に示すように、まず探索したい画像ｆ
（ｔ）をいくつかの領域に区切る。区切った領域は、正
方形でも良いし、それ以外でも良いが、処理を単純化す
るために、一般には正方形が用いられる。この分割され
た各領域を、Ｂ（ｋ，ｔ）とする。なお、Ｂ（ｋ，ｔ）
には幾つかの画素が含まれる。それらの画素をｐ（ｋ，
ｉ，ｔ）と表記する。ブロックマッチングとは、Ｂ
（ｋ，ｔ）毎に対象とする別画像をつぎあわせる。ここ
では、連続した次のフレームｆ（ｔ＋１）の画像を対象
として比較を行う。

【００４０】ｆ（ｔ）を分割したブロックｐ（ｋ，ｔ）
を対象とする。フレームｆ（ｔ＋１）において、領域Ｂ
（ｋ，ｔ）と対応する領域はＢ（ｋ，ｔ＋１）として表
記される。この領域を中心に領域の位置をｍだけ動かし
た領域Ｂ（ｋ＋ｍ，ｔ＋１）と比較し、探索する。類似
する探索においては、Ｂ（ｋ，ｔ）に含まれるｐ（ｋ，
ｉ，ｔ）と、Ｂ（ｋ＋ｍ，ｔ＋１）に含まれるｐ（ｋ＋
ｍ，ｉ，ｔ＋１）との差分の和が最も小さくなるような
ｍを探索する事になる。その数式は、ｍｉｎ｛Σ_m｛ｐ（ｋ，ｉ，ｔ）−ｐ（ｋ＋ｍ，ｉ，ｔ
＋１）｝²｝となる。

【００４１】本実施形態例では、このブロックマッチン
グの手法を用いて、探索を行う。

【００４２】まず、図５を用いて、全体的類似領域の探
索について説明する。図５（ａ）に示すように原画像か
ら平均を演算して縮小した画像同士を１つのブロックと
みたててブロックマッチング手法を適用し類似領域を探
索する（Ｌｅｖｅｌ）。

【００４３】次に、あまり画像を縮小しない状態で、画
像全体を一つのブロックと見立てて、同様に探索を行う
（Ｌｅｖｅｌ２）。なお、一つ小さい縮小画像から得ら
れた動きベクトルを参考に、その候補の周辺のみを探索
する。こうして、元の原画像のサイズまでこの処理を繰
り返し（Ｌｅｖｅｌ３）、画像全体の移動距離を演算す
る。この手法はコーストゥファインとも呼ばれる手法で
ある。画像の類似度は最終的に類似すると判定された画
像間の差分を算出しこれを用いる（図５（ｂ））。数式
としては、Ｄ＝Σ_i｛ｐ（ｉ，ｔ）−Ｐ（ｉ＋ｍ，ｔ＋１）｝² これによって画像全体が正確に探索された方向へ移動し
ている場合には、差分は小さくなる。

【００４４】次に、図６により局所的な類似度について
説明を行う。

【００４５】こちらは、原画像をブロックに分解し、ま
さしくブロックマッチングを行う。原画像を適当なブロ
ックに分割し、その探索を行う。探索に際しては、原画
像が３２０×２４０のサイズで有る場合には、８×８程
度が良いといわれている。個々のベクトル毎に類似領域
を探索し、その誤差を各ブロック毎に算出する。その各
ブロックの誤差の総和を特徴量として用いる。従って、
その数式は、Ｄ＝Σ_k｛Ｂ（ｋ，ｔ）−Ｂ（ｋ＋ｍ，ｔ＋１）｝² となる。

【００４６】今回、検出したい手ぶれと急激な動きにお
いて、手ぶれは、図３（ａ）の手ぶれ状態に示すよう
に、局所的には、類似する領域が多く発生する。従っ
て、局所集合変化量はあまり大きくならない。これに対
して、全体変化量の方は、全体での変化として当てはめ
ると、ひずみが生じるため、全体変化量は大きなものと
なる。

【００４７】一方、急激な動きについては、ブロックマ
ッチングの探索範囲外に出る事が多いため、全体変化
量、局所集合変化量のいずれも誤差が大きくなる。

【００４８】これら二つの変化量と映像に与える影響に
ついて、図７に示す。それぞれ２枚の連続する画像同士
を比較し、差分が大きく残った部分を黒く表示してい
る。手ぶれによる変化の場合、全体変化量に比べ、局所
集合変化量の方が個々の領域でひずみを吸収するため変
化が少ない。また急激なカメラワークの場合には、大抵
が探索の範囲外となるため、エラーがいずれも大きくな
る。

【００４９】このことを応用して、手ぶれ、急激な動き
との判別をつける。即ち、いずれの誤差も大きければ急
激な動きであり、局所集合変化量が小さい場合には、手
ぶれであると判定するというものである。

【００５０】このフロー構成を図８にまとめる。即ちそ
れぞれの変化量を元に、与えられた閾値と比較して、手
ぶれ、急激なカメラワーク、それ以外の安定したカメラ
ワークを算出する。こうした各区間を元に同一ショット
を分類すると、図９に示すように、同一ショット区間上
で複数の区間に分割する事ができる。こうした分割した
区間において、さらにあらかじめ定められた映像区間長
よりも短い区間については、短すぎる区間として自動的
に判定する。

【００５１】映像素材提示部４３では、図９に示すよう
に、各映像区間から、代表画像を選出する。もちろん、
短すぎる映像区間についてはあらかじめ除去しても良い
し、ショット区間、急激な動き区間、手ぶれ区間とあわ
せて、短すぎる区間である事を明示した状態で表示して
も良い。なお、代表画像インタフェースにおいて、任意
の個所を再生可能などさまざまな応用を考えることもで
き、容易に類推可能なものは、それぞれこの本発明の範
囲内とする。

【００５２】なお、図２で示した装置各部の一部もしく
は全部を、コンピュータを用いて機能させることができ
ること、あるいは、図１や図８、あるいは図２の動作例
などで示した処理の段階をコンピュータで実行させるこ
とができることは言うまでもなく、コンピュータをその
各部として機能させるためのプログラム、あるいは、コ
ンピュータでその処理の段階を実行させるためのプログ
ラムを、そのコンピュータが読み取り可能な記録メディ
ア、例えば、ＦＤ（フロッピーディスク）や、ＭＯ、Ｒ
ＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディ
スクなどに記録して提供し、配布することが可能であ
る。そして、このコンピュータプログラムを記録した記
録メディアと、映像等の保存メデイアと、プログラムを
読み取り実行するコンピュータが存在すれば機能するこ
とも可能である。

【００５３】

【発明の効果】本発明によれば、映像編集に容易なよう
に、編集作業に適すると判定された映像区間を抽出し、
利用者に提示するようにしたので、映像編集の支援に役
立つ。

【図面の簡単な説明】

【図１】本発明の編集用映像区間分類方法の一実施形態
例を示すフロー図である。

【図２】本発明の編集用映像区間分類装置の一実施形態
例を示すブロック図である。

【図３】（ａ），（ｂ），（ｃ）は、手振れ及び急激な
カメラワークのある映像例を示す図である。

【図４】ブロックマッチングの説明図である。

【図５】（ａ），（ｂ）は、画面全体の類似度の算出に
ついて説明する図である。

【図６】画面の局所的な類似度の算出について説明する
図である。

【図７】手ぶれ及び急激なカメラワークの場合の変化量
の違いについて説明する図である。

【図８】本実施形態例における、手ぶれ及び急激なカメ
ラワークの検出フローを示す図である。

【図９】本実施形態例における、映像区間の分割につい
て説明する図である。

【符号の説明】

０…入力映像データ１…映像ショット区間２…特徴量３…適切映像区間４…映像素材１１…ショットチェンジ区間分割分類ステップ１２…特徴量抽出ステップ１３…映像評価ステップ１４…映像素材提示ステップ２０…入力映像データ２１…映像ショット区間２２…特徴量２３…適切映像区間２４…代表画像３０…記録メディア４０…ショットチェンジ区間分割部４１…特徴量解析部４２…映像評価分類４３…映像素材提示部４４…代表画像作成部４５…表示インタフェース５０…利用者

───────────────────────────────────────────────────── フロントページの続き (72)発明者外村佳伸東京都新宿区西新宿３丁目19番２号日本電信電話株式会社内Ｆターム(参考） 5C023 BA01 CA01 5C053 FA14 HA40 KA30 LA11 5L096 DA01 EA43 FA34 GA08 HA02 HA04 JA03 9A001 BB03 BB04 DD13 EE04 EE05 GG05 HH21 HH23 HH27 HH28 KK37 KK42 KK43

Claims

【特許請求の範囲】

【請求項１】入力された映像を解析し、映像編集に適
する素材を自動的に抽出し、提示する編集用映像区間分
類方法において、入力された映像から、ショットチェンジを自動検出し、
ショット区間に分割、分類するショットチェンジ区間分
割分類段階と、前記ショット区間中の映像を構成する画像列から、カメ
ラワークに関する単一もしくは複数の特徴量を算出する
特徴量算出段階と、前記算出された単一もしくは複数の特徴量から、ショッ
ト内の映像区間のカメラワークに関わる評価を行う映像
評価段階と、前記映像評価段階の評価において適切なカメラワークを
有すると判定された映像区間のみを、編集に適する素材
であるとして提示する映像素材提示段階とを、有する事を特徴とする編集用映像区間分類方法。
【請求項２】前記特徴量算出段階では、連続する２つ
以上の画像列同士の間の、画像上の局所的な演算の結果
を統合することによって第１の特徴量を算出し、画像上
の全体的な演算から第２の特徴量を算出し、前記映像評価段階では、前記２つの特徴量を用いて、前
記ショット内の映像区間を評価する事を特徴とする請求
項１記載の編集用映像区間分類方法。
【請求項３】入力された映像を解析し、映像編集に適
する素材を自動的に抽出し、提示する編集用映像区間分
類装置において、入力された映像から、ショットチェンジを自動検出し、
ショット区間に分割、分類するショットチェンジ区間分
割部と、前記ショット区間中の映像を構成する画像列から、カメ
ラワークに関する単一もしくは複数の特徴量を算出する
特徴量解析部と、前記算出された複数の特徴量から、ショット内の映像区
間のカメラワークに関わる評価を行う映像評価部と、前記映像評価部の評価によって適切なカメラワークを有
すると判定された区間のみを、編集に適する素材である
として提示する素材提示部とを、有する事を特徴とする編集用映像区間分類装置。
【請求項４】前記特徴量解析部は、連続する２つ以上
の画像列同士の間の、画像上の局所的な演算の結果を統
合することによって第１の特徴量を算出し、画像上の全
体的な演算から第２の特徴量を算出するものであり、前記映像評価部は、前記２つの特徴量を用いて、ショッ
ト内の映像区間を評価するものである事を特徴とする請
求項３記載の編集用映像区間分類装置。
【請求項５】請求項１または２に記載の編集用映像区
間分類方法における段階をコンピュータで実行するため
のプログラムを、前記コンピュータが読み取り可能な記録媒体に記録した
事を特徴とする編集用映像区間分類方法を記録した記録
媒体。