JP2000312310A - 動画像編集方法 - Google Patents

Abstract

(57)【要約】 【課題】登場人物検出機能における人物検出用ウインド
ウ、人物検出結果表示ウインドウ、編集用ウインドウ
は、それらのウインドウが有する機能を処理する場合に
のみモニタ上に表示され、各々のウインドウ間相互の処
理内容や状態を、各ウインドウを必要の都度表示させて
確認しなければならなかった。 【解決手段】この問題を解決するために、人物検出用ウ
インドウと人物検出結果表示ウインドウを常にモニタに
編集用ウィンドウとともに常に表示させる。さらに、一
方のウインドウでの処理を、他方のウインドウにほぼ同
時に反映させる。そしてさらに、編集用ウィンドウのM-
アイコンにも反映させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン放送
番組制作、ビデオ番組制作などの動画像の番組制作に使
用する動画像編集装置に関わり、特に、モニタ画面上に
おける操作によって編集を行なう場合に使用する登場人
物検出方法に関するものである。

【０００２】

【従来の技術】近年、コンピュータの高速化、高機能化
に相俟って、ソフトウエアの多様化、高機能化が急速に
進展している。これらコンピュータ、ソフトウエアを使
用することで、テレビジョン放送番組やビデオ番組を制
作する制作設備の高機能化が進められている。

【０００３】特に、近年の番組制作は、ビデオテープレ
コーダによって、テープカウンタを頼りに、早送り、巻
き戻しを繰り返すような映像編集方法ではなく、ランダ
ムアクセスが可能な情報記憶装置を有する動画像編集装
置を使用して、映像情報の編集を行なっている。このよ
うな動画像編集装置に、さらに、高機能化、多様化して
いるコンピュータ、ソフトウエアを採用することで、ま
すます動画像編集装置の高機能化が進められている。こ
こで、映像情報とは音声を含む映像に関するすべての情
報のことである。

【０００４】図３は動画像編集装置の一構成例を示すブ
ロック図である。3010はCPU（Central Processing Uni
t：中央演算処理装置）、3020はメモリ、3030はカット
変化点検出部、3040は画像再生装置、3050はビデオイン
ターフェース、3060は情報記憶装置、3070はフレームバ
ッファ、3080はモニタ、3090は入力装置、3100はバス、
3110は画像信号出力端子である。この動画像編集装置
は、ソフトウエア（プログラム）の制御により動画像編
集装置を構成する各装置の制御および編集を行なうCPU3
010と、CPU3010の制御情報や、動画像、シーン画像、カ
ット画像および編集状況を表す階層構造（ツリー構造）
の情報など、編集に関する情報を表示するモニタ3080
と、モニタ3080の画面上に表示されている情報を選択し
てCPU3010へのコマンドの入力を行なうマウスやキーボ
ード等からなる入力装置3090と、モニタ3080に表示する
ための画像情報を記憶するフレームバッファメモリ3070
と、編集に使用する動画像の画像信号を記録媒体から再
生しビデオインタフェース3050へ出力する（編集装置に
動画像を入力するための）画像再生装置（例えば、VT
R：ビデオテープレコーダ）3040と、画像再生装置3040
から入力される動画像の画像信号を動画像編集装置で扱
うフォーマットの画像情報に変換し情報記憶装置（例え
ば、ハードディスク等の磁気記憶装置）3060とカット変
化点検出部3030とメモリ3020とへ出力し、かつ動画像編
集装置で扱うフォーマットで編集され情報記憶装置3060
から出力される動画像の画像情報を画像信号に変換し画
像信号出力端子3110から出力するビデオインタフェース
3050と、動画像を構成するフレーム画像の隣接するフレ
ーム画像を比較してフレーム画像間の差の画像情報が所
定量を越えて変化している場合には隣接するフレーム画
像は異なるカット画像に属すると判定し分割するカット
変化点検出部3030と、CPU3010の制御ソフトウエアを記
憶するとともに、動画像編集装置で使用されるさまざま
な制御情報（一連の動画像のフレーム番号、検出したカ
ット変化点のフレーム番号、モニタ3080の画面に表示さ
れる画像サイズを縮小した表示用画像（M-アイコン：Mo
ving Icon）、M-アイコンファイル名、カット画像に順
次シリアルに付与されているカット画像番号、複数のカ
ット画像の順序を表すシーケンス番号等）などを一時記
憶するメモリ3020と、画像再生装置3040から再生されビ
デオインタフェース3050で所要フォーマットに変換され
た編集に使用する動画像の画像情報を記憶するととも
に、メモリ3020で一時記憶した動画像編集装置で使用さ
れる編集情報や制御情報、例えばM-アイコンなどを記憶
するランダムアクセス可能な、例えばハードディスクを
使用した情報記憶装置3060と、動画像編集装置内の各装
置間のディジタル情報伝送に使用されるバス3100と、動
画像の画像情報を出力する画像信号出力端子3110を備え
ている。

【０００５】なお、バス3100には、動画像編集装置を構
成する前記各装置のCPU3010、メモリ3020、カット変化
点検出部3030、ビデオインタフェース3050、情報記憶装
置3060、フレームバッファメモリ3070、モニタ3080、入
力装置3090が接続されており、CPU3010はこれら装置と
各種信号を送受し合い、これら装置はCPU3010からのア
クセス信号により制御される。また、CPU3010への指示
は、マウスあるいはキーボードなどの入力装置3090から
入力される。

【０００６】上述のように構成され、所要のソフトウエ
アをメモリ3020に備えている動画像編集装置を使用する
ことにより、編集する動画像の画像情報をメモリ3020さ
らに情報記憶装置3060に記憶し管理することができる。
またさらに動画像編集装置は、モニタ3080の画面上に、
メモリ3020および情報記憶装置3060に記憶している動画
像のカット画像やシーン画像を縮小したM-アイコンとし
て表示し、カット画像やシーン画像を単位としたツリー
構造を形成することにより動画像の編集作業を行なうこ
とができる。また、前記情報記憶装置3060を伝送ネット
ワークを介したリモートファイルとしてもよい。

【０００７】ここでカット画像、シーン画像、M-アイコ
ン等の説明をする。情報記憶装置3060やメモリ3020に記
憶される動画像を構成する画像データは、複数の画像の
集合として定義することができる。「カット画像」は、
テレビジョンカメラによる１回の撮像開始から終了まで
の間に撮像されたフレーム画像の集合である。したがっ
て、この動画像編集装置では、M-アイコンが一回の撮像
開始から終了までの間のフレーム画像と１対１に対応す
るGUI（Graphical User Interface：グラフィックスを
主体としたユーザインタフェース）となっている。

【０００８】ここで、「M-アイコン」は、画像のサイズ
を所要の比率で縮小した表示用画像で、複数のフレーム
画像からなる動画像全体、あるいはシーン画像を高速で
表示して見る場合に、高速表示用として、あるいはカッ
ト画像の代表画像として表示されるものである。

【０００９】また、「シーン画像」は、所定の撮像対象
を撮像した複数のカット画像を集合したものであり、情
報記憶装置3060などに記憶される動画像を構成する画像
データは、複数のシーン画像の集合である。「複数のシ
ーン画像」は、さらに特定の撮像テーマのもとにまとめ
ることにより、編集された特定の撮像テーマの動画像
（番組）とすることができる。

【００１０】このように特定の撮像テーマのもとに編集
される動画像は、画像素材である複数のカット画像の中
から、特定の撮像テーマに合せて選択したいくつかのカ
ット画像と、この選択したいくつかのカット画像をまと
めたシーン画像と、このシーン画像を特定の撮像テーマ
のもとにまとめた撮像テーマ（あるいは題名）を有する
動画像というように、階層構造（ツリー構造）の画像デ
ータとして整理することができる。また、このツリー構
造には、一連の動画像のフレーム番号、検出したカット
変化点の画像のフレーム番号、カット画像に順次シリア
ルに付与されているカット画像番号、シーン画像を構成
する複数のカット画像の順序を表すシーケンス番号のデ
ータが整理配置されており、上述の制御情報はこれらの
階層構造情報を含んでいる。モニタ3080の表示画面は、
動画像編集に使用するカット画像、シーン画像および編
集状態を表すツリー構造などの編集情報を表示するGUI
画面である。編集者は、入力装置（例えば、マウス）30
90を使用して、この編集情報を表示するモニタ3080の画
面の編集情報を選択することで動画像編集装置に指示を
与えることができる。

【００１１】このように前述の動画像編集装置は、編集
する動画像をツリー構造として記憶し管理することで番
組を作成することができ、カット画像やシーン画像を単
位とした編集作業ができるようになっている。以後、図
３で説明したブロック構成図の一例によって、本文の従
来技術および本発明の実施例を説明していく。

【００１２】図４は、上述した動画像編集装置のモニタ
3080の画面に表示される編集用ウィンドウの一例を示す
図である。1000は編集用ウィンドウ、1010は編集エリ
ア、1020は素材エリア、1030，1031，1032，1033，103
4，‥‥‥，103A，‥‥‥， 103M，103N，‥‥‥は素材
エリア1020に表示されている画像素材のM-アイコン（た
だし、A，M，Nは自然数で、M=N-1，A＜M）、1040は編集
された動画像の編集内容を表すM-アイコンで構成するツ
リー構造、1050は編集作業に使用する各種制御機能を選
択する編集機能ボタン群、1051は登場人物検出ボタン、
1052はツリー構造作成ボタン、1070は編集エリア1010の
表示画面を横方向にスライドさせるスライダ、1080は編
集エリア1010の表示画面を縦方向にスライドさせるスラ
イダ、1090は素材エリア1020の表示画面を縦方向にスラ
イドさせるスライダ、1210は編集エリア1010に登録され
たカット画像を表すM-アイコン、1220は１つまたは複数
のカット画像で構成したシーン画像を表すM-アイコン、
1230は１つ以上のシーン画像で構成したM-アイコン、12
40はテーマに合せ編集された動画像（番組）を表すM-ア
イコン、810はマウス等のポインティングデバイスによ
ってGUI操作を行う時にGUI画面上に表示されるマウスポ
インタであるなお、M-アイコンの表面には、対応する縮
小表示用画像が表示されているが、煩雑なので、本明細
書では特に必要にない限り省略する。

【００１３】図４において、編集エリア1010の中のM-ア
イコンで構成されるツリー構造1040は、編集のために選
択したカット画像を表すM-アイコン1210が１個または複
数個集合して、その階層の上部にシーン画像を表すM-ア
イコン1220を構成し、さらに、このシーン画像を表すM-
アイコン1220が１個または複数個集合して、その階層の
上部に特定のシーン画像の集合を表すM-アイコン1230を
構成し、最後に特定のシーン画像の集合を表すM-アイコ
ン1230が複数個集合してテーマに合せ編集された番組を
表すM-アイコン1240を構成している。

【００１４】ツリー構造1040の階層数は任意であり、さ
らに上部に階層が構成することができることはもちろん
である。編集エリア1010の画面の大きさに限りがあるた
め、図４ではツリー構造1040の全体が表示されていな
い。この表示されていない部分を表示させるためには、
入力装置3090によって、スライダ1070、あるいはスライ
ダ1080を操作して、所要の横方向、あるいは縦方向に表
示を移動させることによってツリー構造1040の全体を見
る。

【００１５】また素材エリア1020には、カット変化点検
出部3030によって検出された異なるカット画像から作成
されたM-アイコンが、編集に使用する画像素材M-アイコ
ン1030，1031，1032，1033，1034，‥‥‥，103A，‥‥
‥，103M，103N，‥‥‥として一時的に置かれ、一覧で
きるように表示されている。編集作業を進め、画像の呼
出しを行ないM-アイコン1030，1031，1032，1033，103
4，‥‥‥，103A，‥‥‥，103M，103N，‥‥‥が作成
され表示された段階では、M-アイコン1030，1031，103
2，1033，1034，‥‥‥，103A，‥‥‥，103M，103N，
‥‥‥は、素材エリア1020に時系列順に左から右、上か
ら下に向かって表示される。

【００１６】この素材エリア1020の中のM-アイコン103
0，1031，1032，1033，1034，‥‥‥，103A，‥‥‥，1
03M，103N，‥‥‥についても、編集エリア1010と同様
に、M-アイコンの数が多くて画面に一度に表示されてい
ない場合は、入力装置3090によってスライダ1090を操作
し、縦方向に表示を移動させることによってすべてのM-
アイコンを見る。

【００１７】編集を行うためには、この素材エリア1020
の中から編集に必要なM-アイコンを選択し、次に機能ボ
タン群1050中のツリー構造作成ボタン1052を押す。これ
によって、選択されたM-アイコン1030は編集エリア1010
へ移動（あるいはコピー）される。編集作業は、このよ
うに、ツリー構造1040を構成しながら行う。なお、図４
では編集がある程度進んでおり、すでに編集エリア1010
にツリー構造1040ができており、さらに、素材エリア10
20のM-アイコン1030，1031，1032，1033，1034，‥‥
‥，103A，‥‥‥，103M，103N，‥‥‥の中から所望の
M-アイコンを選択して、図４から編集を継続する状態で
ある。また、素材エリア1020と編集エリア1010の中に表
示されるM-アイコンは、図面上では１枚のカードとして
描かれているが、これは省略図であって、実際のモニタ
3080の表示画面上では、M-アイコンのそれぞれは、M-ア
イコンがそれぞれ持つフレーム画像の枚数の重なった形
状で表示される。

【００１８】以上のようにして動画像の編集を進める
が、実際に番組作成に必要な画像素材は、情報記憶装置
3060に記憶された画像情報（カット画像、あるいは１つ
の動画像のファイルとして読出された一連の動画像）の
すべてであることは少ない。即ち、素材エリア1020に表
示されている複数のM-アイコン1030，1031，1032，103
3，1034，‥‥‥，103A，‥‥‥，103M，103N，‥‥‥
のすべてが必要となることはなく、編集目的、あるいは
撮像テーマにより選択した一部のM-アイコンに関連付け
られた画像素材だけが番組に使用される。また、画像素
材には通常複数のシーンが含まれているので、情報記憶
装置3060から読出した画像素材あるいは画像情報に含ま
れる多くのM-アイコン1030，1031，1032，1033，1034，
‥‥‥，103A，‥‥‥，103M，103N，‥‥‥の中から編
集に必要なM-アイコンを探すことになる。

【００１９】上述の従来の動画像編集方法による動画像
編集装置の動作や、M-アイコンを使用して、ツリー構造
を作成しながら動画像の編集を行なう方法は、例えば特
開平１０−５１７３３号公報に開示されている。また、
カット画像の変化点を検出する手段としては、例えば、
動画像の照度、音量、色調などを解析して、これらの変
化の著しい部分をカット画像の変化点として検出する技
術が、特開平２−１８４１８１号公報に開示されてい
る。

【００２０】ところで、上述のように動画像編集を行う
ためには、素材エリア1020に表示されている複数のM-ア
イコン1030，1031，1032，1033，1034，‥‥‥，103A，
‥‥‥，103M，103N，‥‥‥の中から、編集に必要なM-
アイコンを探すことが必要である。この必要なM-アイコ
ンを探すサポートをする機能が登場人物検出機能であ
る。この登場人物検出機能は、画像素材または複数のカ
ットやシーンの中から特定の人物を検出する機能を持っ
ている。この特定の人物を仮に“X”とする。

【００２１】この登場人物検出機能は、素材または複数
のカットまたはシーン、つまり被検出区間の中にいる人
物“X”が持つ特徴を組合わせてオペレータが選択し、
その色の組合せに合致したフレームとその画素領域を、
画像認識技術を用いて見つけ出すものである。

【００２２】オペレータは、選択した一連のM-アイコン
（即ち、登場人物が存在すると思われる被検出区間）の
中で、検出しようとする人物（例えば人物“X”）につ
いて、その特徴（例えば、髪の色，肌の色，服の色）の
組合せを指定する。これによって、動画像編集装置は指
定した色の組合せに合致した映像領域を画像処理により
検出し、合致した映像領域とそのフレームの情報をGUI
画面に表示する。

【００２３】この登場人物検出機能の操作手順を図５と
図４とを用いて説明する。

【００２４】図４は、従来のノンリニア編集装置におけ
るモニタ3080に表示された編集用ウインドウの一例を示
す図で、既に説明した。

【００２５】図４において、オペレータは人物（例え
ば、人物“X”）を検出するため、被検出対象となるカ
ットまたはシーンに対応するM-アイコンを編集エリア10
10または素材エリア1020の中からマウスポインタ810で
選択し、マウスをクリックする。このように、M-アイコ
ンの上にマウスポインタ810を移動させマウスでクリッ
クすることをアタッチという。

【００２６】例えば、素材エリア1020内にあるM-アイコ
ン1030，1034，103Aをアタッチし、続いて編集機能ボタ
ン群1050の中の登場人物検出ボタン1051をアタッチす
る。その結果、モニタ3080には図５に示したウィンドウ
が表示される。このウィンドウ上で人物“X”の検出処
理を行う。図５は人物検出用ウインドウで、人物検出を
行う時に検出したい人物の特徴を定めて人物検出を行う
ためのIDパネルの従来例を示す図である。500はIDパネ
ル、501はフィルムイメージ、521〜530はフィルムイメ
ージ501に表示された画面左から右に時間順に並べられ
たフレーム画像、520はフィルムイメージの一番左端の
フレーム画像521を拡大表示した拡大表示画像、502は拡
大表示画像520を表示する拡大表示エリア、503，504，5
05は色指定枠、508は静止画ビュースライダ、509は静止
画ビュースライダ508のスライダつまみ、532はスライド
カーソル、510は表示フレ−ム単位変更スライダ、511は
オートサーチボタン、512は検出区間追加ボタン、514は
検出区間削除ボタン、541はOKボタン、542はキャンセル
ボタン、545はオブジェクトボタン、547はオブジェクト
名記入欄、810はマウスポインタである。

【００２７】図５において、フィルムイメージ501に
は、アタッチしたM-アイコン1030，1034，103A内に含ま
れるフレーム画像の一部のフレーム画像521〜530が表示
される。フレーム画像521〜530は時間軸に沿って順番に
並べられており、画面の左右の表示されていない部分は
静止画ビュースライダー508のスライダつまみ509を左右
にスクロール処理することによって、フレーム画像をス
ライドさせて見ることができる。このスクロール処理
は、例えばマウスポインタ810をスライダつまみ509に移
動させ、マウスでドラッグするか、または、スライドカ
ーソル532の矢印部をアタッチすることによって左右に
スクロール操作が可能である。表示フレーム単位変更ス
ライダ510は、フィルムイメージ501中に表示されたフレ
ーム画像521〜530のそれぞれが何フレーム毎に表示する
かを設定するスライダである。例えば、今図５では、表
示フレーム単位変更スライダ510は設定値が“1”である
ので、1フレームづつ表示されている。設定値は、例え
ば、“90”まで変更でき、“90”に設定すると、フレー
ム画像の表示は90フレーム毎に表示され、フィルムイメ
ージ501が表示している10個のフレーム画像は、900個の
フレーム画像の一部を表していることになる。

【００２８】またIDパネル500の左下部の拡大表示エリ
ア502内には拡大フレーム画像520が表示される。この拡
大フレーム画像520はフィルムイメージ501にあるフレー
ム画像521〜530のうち、一番左端にあるフレーム画像52
1を拡大表示したものである。人物“X”を検出処理する
ために、この拡大表示画像520を用いて人物“X”として
検出する特徴を定める。この一番左端に表示されている
フレーム画像521と拡大表示画像520とは連動しているた
め、オペレータはフィルムイメージ501中のフレーム画
像をスクロールすることによって、人物“X”の検出処
理に用いるための拡大表示画像520として拡大表示エリ
ア502に表示させることができる。オペレータはフィル
ムイメージ501中のフレーム画像をスクロールして拡大
表示画像520を見ながら、人物“X”の検出処理に関して
最適と考えるフレーム画像を選択する。次にこの拡大表
示画像520から人物“X”が持っている特徴的な色の組合
せを指定する。なお、図５では、フレーム画像521〜530
のうち、フレーム画像521は簡単な画像の表示をしてい
るが、他のフレーム画像522〜530については画像の表示
を省略している。

【００２９】特徴的な色の組合せを指定する方法は、オ
ブジェクトボタン545をアタッチしてから、特徴的な色
を指定するための範囲を定める色指定枠503〜505を拡大
表示画像520の中で指定して行う。この色指定枠の数は
１つ以上任意の数、大きさ、形状を指定できる。色指定
枠503〜505の指定は、パーソナルコンピュータ等の描画
において四角の枠を作成する方法と同様であり、もちろ
ん、指定した後、色指定枠503〜505の移動及び大きさの
変更も、また、削除や追加も可能である。色指定枠503
〜505に囲まれた部分の色が人物“X”（フレーム画像中
で人物“X”が占めている画素領域）が持つ特徴的な色
となる。図５の例では、色指定枠503は人物“X”の髪の
毛の色、色指定枠504は人物“X”の肌の色、色指定枠50
5は人物“X”の着ている服の色を指定しているが、その
他、その人物を特徴づけているを部分を指定する。この
色の組合せのデータが検出処理に用いられる。上述のよ
うな登場人物検出機能は、例えば、特開平６−２２３１
７９号公報に開示されている。

【００３０】色の指定が終了した後、オートサーチボタ
ン511をアタッチするとM-アイコン1030，1034，103Aに
対して検出処理を行う。検出処理を行った後、IDパネル
500上には人物“X”に対する検出結果が表示される。表
示例については、後述する図２０によって説明する。

【００３１】検出結果を保持する時はOKボタン541をア
タッチしIDパネル500を閉じ、検出結果を保持しない時
はキャンセルボタン542をアタッチしIDパネル500を閉じ
る。

【００３２】この登場人物検出機能によって２つの結果
が得られる。一つは人物“X”が画像素材またはカット
の中のどこからどこまでに存在するのかを示す検出区間
の情報であり、もう一つは検出区間内のフレーム画像の
どの位置（例えば、左側、中央部右側、上部、左下側
等）に人物“X”が存在しているのかを示すポジション
情報である。しかし、現状の登場人物検出の機能は、認
識の精度の問題から、誤検出や見逃しが発生し易い。し
たがって、IDパネルを見てオペレータがマウスを使って
手動で確認や修正を行う必要がある。

【００３３】図１５は図４において、M-アイコン1030，
1034，103Aを選択し、前述のとおり登場人物検出を行っ
た結果の編集用ウインドウの一例を示す図である。ここ
で、図４と同じものには同じ符号が付せられており、そ
の他に、1000′は編集用ウインドウ、12，13，14はIDX
アイコン、1053はIDX情報ボタン、1054はID情報ボタン
である。

【００３４】登場人物検出を行った後、図５に示したID
パネル500のOKボタン541をアタッチすると、検出結果を
保持したままIDパネル500が閉じ、編集用ウインドウ100
0′の素材エリア1020の下部にIDXアイコン12が表示され
る。このIDXアイコン12のデータ構造の中に人物”X”に
対する検出処理の結果に関する情報が格納されている。
また、このようなIDXアイコンは、人物検出するために
編集用ウインドウ1000′内で同時にアタッチしたM-アイ
コンのすべてに対して一つ作成される。即ち、毎回違う
M-アイコンをアタッチして人物検出処理をすると、その
都度新しいIDXアイコン13，14，‥‥‥が次々と作成さ
れる。

【００３５】人物検出結果の確認や修正を行う場合、図
１５のIDXアイコン12をアタッチし、次いでID情報ボタ
ン1054をアタッチすると、図１２に示すようなIDパネル
がモニタ3080にポップアップ表示される。

【００３６】人物検出結果の確認や修正に関する従来の
GUI操作の例を図１２によって説明する。図１２は、登
場人物検出結果の確認や修正を行う場合のIDパネルの一
例を示す図である。80はIDパネル、800，801，802，80
2′，803は検出矢印、804，805，806，807，808はオブ
ジェクト枠、809はフィルムイメージ、811，811′，812
は検出区間、850〜859はフィルムイメージ809の中に画
面左から時間軸に沿って順番に並んでいるフレーム画
像、815はビギンボタン、816はエンドボタン、817，81
8，820，821，822は人物“X”がそれぞれのフレーム画
像において占有している画素領域、541はOKボタン、542
はキャンセルボタン、305は拡大表示画像、306は拡大表
示エリアである。図１２のIDパネル80において、フィル
ムイメージ809の上側に表示されている検出矢印800〜80
3は検出区間の始りと終りを示す矢印である。検出矢印8
00と検出矢印802は検出された先頭であり、ビギン点と
呼ぶ。また、検出矢印801と検出矢印803は検出された終
点であり、エンド点と呼ぶ。ビギン点の検出矢印800と
エンド点の検出検出矢印801に挟まれた区間が検出区間8
12であり、ビギン点の検出矢印802とエンド点の検出検
出矢印803に挟まれた区間が検出区間811である。検出区
間811と検出区間812のそれぞれに属するフレーム画像に
表示されているオブジェクト枠804〜808は人物“X”が
フレーム画像のどの位置に存在しているかを示すポジシ
ョンを示し、登場人物検出が行われた結果として表示さ
れる。検出区間およびオブジェクト枠の修正は以下のよ
うに行う。最初に検出区間の修正について述べる。図１
２において、検出矢印802のビギン点を1フレーム左のフ
レーム855に移動して、検出区間811の延長を行う場合に
ついて説明する。マウスポインタ810はマウス（図示し
ない）によって表示画面上を移動することができるGUI
部品で、マウスの他、一般的なポインティングデバイス
によっても操作できる。まず、マウスポインタ810をビ
ギンボタン815に移動してマウスをクリックする。そし
て次に、フレーム855にマウスポインタ810を移動してマ
ウスをクリックする。すると新規のビギン点を表す検出
矢印802′が表示される。その後元のビギン点である検
出矢印802をクリックすることにより、元のビギン点を
表す検出矢印802が消える。この結果、検出区間811が左
へ１フレーム延長され、検出区間811′となる。同様
に、エンド点の修正もエンドボタン816をクリックし、
エンド点にしたいフレームをクリックした後もとエンド
点の検出矢印をクリックしてエンド点の変更を行う。し
かしこの方法では、操作が煩雑であり、直接的に検出区
間を変更するわけではない。また、本来の検出区間が、
ビギン点とエンド点によって定められるものが、検出区
間とは独立してビギン点とエンド点を変更できるため、
例えば、エンド点である検出矢印801をフレーム807に移
動した場合のように、別の検出区間の範囲内にビギン点
やエンド点が入込んで、誤った検出区間になる可能性が
あり、さらには、ビギン点である検出矢印800が検出矢
印801より右側にきたり、エンド点である検出矢印803が
検出矢印802より左側にくるような、ビギン点とエンド
点の逆転も考えられる。即ち、このように検出区間とビ
ギン点やエンド点が関連していないため、誤った検出区
間が作られても、正誤の判断が難しかった。

【００３７】次にオブジェクト枠の修正について述べ
る。この修正もマウスポインタ810を使用して行う。図
１２において、フレーム画像856のオブジェクト枠806を
修正する場合を例にとる。図１２において、フレーム画
像852のオブジェクト枠805が人物“X”を示す画素領域8
18の大きさと位置がほぼ一致しているのに比べ、フレー
ム画像856のオブジェクト枠806は人物“X”の画素領域8
20よりもやや大きめで中央よりの位置に表示されてい
る。この場合、オペレータがこのフレーム画像856を見
た時、オブジェクト枠806の位置にまどわされ、人物
“X”の画素領域がフレームの中央部にいると誤認して
しまうので、オブジェクト枠806を人物“X”の画素領域
820に合せるためオブジェクト枠806の大きさや位置を修
正する必要がある。

【００３８】なお、オブジェクト枠806を人物“X”の画
素領域820に合せて修正する操作を行った場合には、オ
ブジェクト枠806以降にあるすべてのオブジェクト枠に
ついての人物“X”の画素領域（例えば、オブジェクト
枠807，808における人物“X”の画素領域821及び822）
もまたオブジェクト枠806と同じ大きさと位置とに修正
される。

【００３９】図１５において、IDXアイコン12にマウス
ポインタ810を移動させ、マウスでダブルクリックする
か、またはIDX情報ボタン1053をアタッチすると、図６
に示すような、検出結果情報ウインドウがポップアップ
表示される。図６は登場人物検出結果情報（IDX情報）
を示すIDXパネルの一表示例を示す図で，人物“X”、
“B”、“C”それぞれについての検出結果が表示されて
いる。これは上述した同一のM-アイコン群1030，1034，
103Aについて、別々の人物について検出処理をした結果
である。600はIDXパネル、603は検出範囲表示エリア、6
04，605，606は検出区間、611はターゲット表示欄、614
は検出エリア表示、616は非検出エリア表示、631，63
2，633はターゲットイメージ、634，635，636は人名、6
37，638，639は検出区間グラフ、650は検出結果表示
欄、640は検出結果表示欄650の表示を横方向にスライド
させるスライダ、641は検出結果表示欄650の表示を縦方
向にスライドさせるスライダ、241はクローズボタン、8
10はマウスポインタである。

【００４０】図６において、IDXパネル600上の検出範囲
表示エリア603は横方向に沿って時系列順に表示されて
いる。またさらに、検出範囲表示エリア603は検出区間6
04〜606に分かれている。この検出区間604〜606はオペ
レータがアタッチしたM-アイコン1030，1034，103Aのカ
ットの長さ（＝フレーム数）に応じて区切られている。
即ち、M-アイコン1030のフレーム数と検出区間604のフ
レーム数は対応しており、M-アイコン1034と検出区間60
5のフレーム数、M-アイコン103Aと検出区間606のフレー
ム数もまた対応している。また、ターゲット表示欄611
には、検出した人物のターゲットイメージ631，632，63
3とその人名634，635，636とが縦方向に表示される。例
えば、人物“X”を検出した場合にはターゲットイメー
ジ631と人名634とがターゲット表示欄611に表示され、
かつその右横の検出結果表示欄650に検出区間グラフ637
が表示される。さらに人物“B”を検出した場合には、
人物“X”の下側のターゲット表示欄611にターゲットイ
メージ632と人名635が表示され、かつその右横の検出結
果表示欄650に検出区間グラフ638が表示される。同様
に、人物“C”を検出したときにはターゲットイメージ6
33と人名636がターゲット表示欄611の下側に表示され、
かつその右横の検出結果表示欄650に検出区間グラフ639
が表示される。これらのターゲットイメージ631，632，
633は、人物“X”，“B”，“C”をそれぞれ検出するた
めに特徴的な色を取得するために使用した拡大表示画像
のフレーム画像（例えば、図５のフレーム画像521）で
ある。ターゲットイメージ631〜633の下の人名634〜636
にはそれぞれの検出対象名が表示される。この検出対象
名は、例えば、前述の図５において検出を行う際に、オ
ブジェクト名記入欄547に入力される。検出区間グラフ6
37，638，639の表示欄は有限であるので、検出領域が広
く一度に全ての検出領域が表示できない場合がある。そ
の場合は、スライダ640を操作して、表示を横方向にス
クロールさせる。また、検出した人物の数が多い場合に
も一度に検出した人物の全てを表示できない（図６の例
では一度に表示できる数は３人）。この場合には、スラ
イダ641を操作して表示を縦方向にスクロールさせる。
以上述べたように、検出区間グラフ637〜639の領域に
は、カット即ちM-アイコン1030，1034，103Aに対して実
行された人物“X”，“B”，“C”の検出結果が示され
ている。

【００４１】次に、検出結果を、検出区間グラフ637を
例にして説明する。検出結果表示614は、M-アイコン103
0，1034，103Aについて、検出区間604，605，606の間で
人物“X”が検出された区間を示しており、非検出結果
表示616は検出されなかった区間を示している。例え
ば、検出区間604はM-アイコン1030に関連付けられたフ
レーム画像の集合について時間的に並べたものであり、
検出区間605はM-アイコン1034に関連付けられたフレー
ム画像の集合について時間的に並べたものであり、検出
区間606はM-アイコン103Aに関連付けられたフレーム画
像の集合について時間的に並べたものである。また、１
つのフレーム画像についてそれぞれ所定の幅を持たせて
表示しており、図６では検出エリア表示614を斜線パタ
ーンで表示し、非検出エリア表示616は灰色に塗つぶし
て表示して区別している。また、検出・非検出の表示は
区別がつけばどんな表示でもよく、例えば、検出エリア
表示614と非検出エリア表示616とを互いに異なる斜線パ
ターンで区別して表示してもよい。また例えば、検出エ
リア表示614はオレンジ色で表示し、検出されなかった
非検出エリア表示616は灰色で表示することでもよい
し、別の表示例として、片方を点滅させてもよい。検出
結果の確認を終ったときは、クローズボタン241をアタ
ッチするとIDXパネルが閉じる。

【００４２】この検出エリア表示614及び非検出エリア
表示616は、図５のM-アイコン1030，1034，103Aの側面
にも表示される（図示しない）。図１７(a)，(b)，(c)
は、図１５のM-アイコン1030，1034，103Aの側面に、人
物検出“X”の結果が表示されていることを拡大して示
した図である。図６と同様に、検出区間604はM-アイコ
ン1030の領域、検出区間605はM-アイコン1034の領域、
検出区間606はM-アイコン103Aの領域をそれぞれ示す。M
-アイコンの側面の幅はそのM-アイコン自身のフレーム
数（１つのフレーム画像についてそれぞれ一定の厚みを
持たせて表示）を示しているので、検出エリア表示614
としてそのフレームの数に相当する分だけM-アイコン10
30，1034，103Aの側面を斜線で表示する。また、非検出
エリア表示616としてそのフレームの数に相当する分だ
けM-アイコン1030，1034，103Aの側面に灰色で表示す
る。この表示は、検出結果として常に表示する設定でも
よいが、通常はターゲットイメージ630をオペレータが
アタッチした場合に行うとしてもよく。また、どちらか
一方を表示してもよい。なお、図１７(a)，(b)，(c)に
示したM-アイコン1030，1034，103Aは、それぞれに関連
付けられた画像を縮小した表示用画像が実際には表示さ
れているが、図１７(a)，(b)，(c)では省略している。

【００４３】以上述べたように、登場人物検出のために
は、指定作業や検出された結果の修正作業などを行うた
めのIDパネルと、過去の検出結果の一覧やその時の指定
したフレーム情報、さらには、未検出領域の確認などを
行うためのIDXパネルがあり、これら２つのパネルと編
集用ウインドウを使って作業を行う。

【００４４】

【発明が解決しようとする課題】前述の従来技術には、
登場人物検出のために３つのウインドウ（IDパネル、ID
Xパネル、編集用ウインドウ）を操作する必要がある。
しかしこれらのウインドウは、各々のウインドウに設定
された（作り込まれた）機能を設定・実行させる場合に
のみモニタ上に表示され、各々のパネル間相互の関連
や、動画像編集自体を実行する編集用ウインドウ内の素
材エリアと編集エリアとの関係をその都度確認すること
ができないという欠点があった。

【００４５】本発明の目的は、上記のような欠点を除去
し、IDXパネルにおいてIDパネルと編集用ウインドウで
のデ−タ作成・修正結果が一目で分るような編集方法を
提供することにある。

【００４６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明の動画像編集方法は、上述の２つのパネル
と、編集用ウィンドウとを常に表示させる。さらに、一
方のパネルでの処理を、他方のパネルに同時に反映させ
るようにし、併せて、編集用ウィンドウのM-アイコンに
も表示を行うようにすることによって、表示画面上に表
示される画像素材のアイコンを選択して画面表示操作に
よる編集を行なう動画像編集装置に使用し、編集する画
像素材のM-アイコンを選択したときに、編集における結
合順番をM-アイコンとともに表示し、編集作業を容易に
した動画像編集方法を実現できる。

【００４７】

【発明の実施の形態】以下、本発明の登場人物検出機能
におけるIDパネルとIDXパネルおよび、編集エリア1010
と素材エリア1020それぞれ相互間の動作について、実際
の検出処理の手順に従って説明する。既に説明した図４
の編集用ウインドウにおいて、オペレータが編集用ウイ
ンドウ1000からM-アイコン1030，1034，103Aを選択した
とすると、図７に示すように、選択したM-アイコン103
0，1034，103Aの周囲が太い色枠（例えば、赤い実線）
で囲まれて選択されたことが判別できる。図７は、M-ア
イコンを選択したときの編集用ウインドウの一実施例を
説明する図である。図７は図４と同様のものは同じ番号
を付しており、その他、1001は編集用ウインドウであ
る。このように、オペレータは、まず始めに登場人物の
被検出区間となるM-アイコンを選択する。このとき、選
択するM-アイコンは複数であったり、編集エリア1010と
素材エリア1020のどちらでもよく、両方に渡ってもよ
い。またツリー構造の上位のM-アイコンであってもよ
い。

【００４８】次に編集機能ボタンスイッチ群1050の中か
ら、登場人物検出ボタン1051をクリックするとモニタ308
0上には、編集用ウインドウ100の一部または全体に重な
るようにIDパネル50が表示される。図１８は編集用ウイ
ンドウ100の上を完全に覆って、IDパネル50が表示され
た一例を示す図である。図１８はIDパネルの初期状態の
表示画面で、既に説明した図５のIDパネルと同一のもの
には同一の番号を付した。その他、500′はIDパネルで
ある。図１８において、IDパネル500′はIDパネルの初
期状態の表示画面で、先頭の１０フレームのフレーム画
像がフィルムイメージ501として表示される。また、拡
大表示エリア502には、オペレータが指定したフレーム
画像が表示される。なお、図１８ではフィルムイメージ
501の各フレーム画像を省略している。

【００４９】検出を行う第一ステップとして、オペレー
タは図１８において、IDパネル500′に表示されたフィ
ルムイメージ501の中から所望の（検出しようとする人
物が存在する）フレーム画像を選択し、拡大表示エリア
502にドラッグ・アンド・ドロップする。この時、拡大
表示エリア502には、図５に示すように、選択したフレ
ームに相当するフレーム画像（あるいは適当な大きさに
間引いた画像：以下、拡大表示画像と称す）が、情報記
憶装置3060から読出され、表示される。次に、オペレー
タは、表示された拡大表示画像の中から検出対象しよう
とする人物“X”について特徴的な色の領域について色
指定枠503，504，505を選択し、オートサーチボタン511
を押して、検出処理を開始する。以下、検出処理の動作
は従来技術の通りなので、説明を省略する。

【００５０】図２０は本発明のIDパネルの一実施例を説
明する図である。図２０は図５のIDパネルにオブジェク
ト枠が追加表示された図である。図５と同一のものには
同一の番号を付した。その他、500″はIDパネル、531は
検出区間、506は検出区間531のビギン点を表す検出矢
印、507は検出区間531のエンド点を表す検出矢印、561
〜563はオブジェクト枠である。即ち、図５のIDパネル5
00において検出処理が実行されると、被検出対象の各フ
レームに対して検出処理がなされ、人物“X”の存在す
る領域とそのフレーム番号を記憶する。そして、検出処
理が終了すると、図２０に示すように、人物“X”が検
出されたフレームをIDパネル500″のフィルムイメージ5
01上で検出矢印506（ビギン点）と検出矢印507（エンド
点）で挟み、人物“X”の存在する画像領域をオブジェ
クト枠561〜563で囲んで表示する。なお、図２０では、
検出されなかったフレーム画像は記載を省略した。図２
０において、人物“X”の検出の結果がよければ、オペ
レータはOKボタン541を押し、IDパネル500″の表示サイ
ズを縮小し、モニタ3080の所定の場所、例えば左上の部
分に表示する。そして、同時に図６のようなIDXパネル6
00が編集用ウインドウ100とIDパネルの上を覆って表示
される。IDXパネル600には、上記で行った登場人物の検
出処理の結果が表示されている。この状態で、検出結果
の確認を終えた後、クローズボタン241を押すとIDパネ
ル50が表示されたモニタ3080の所定の場所、例えば右上
隅の部分に縮小されて表示される。

【００５１】前述のIDパネル及びIDXパネルはモニタ308
0内に縮小された状態で表示されるが、表示の大きさは
任意に変更（拡大または縮小）ができ、例えば、操作の
都合で、一部だけ見えるように拡大表示して、操作終了
後、前述の大きさでモニタ3080の所定の場所に縮小され
て表示される。

【００５２】この状態の一実施例を示したのが図１であ
る。図１は、本発明の一実施例を説明する図で、モニタ
3080にIDパネルとIDXパネル、および編集用ウインドウ
（即ち、編集エリアと素材エリア）とが同時に表示され
ている。100は編集用ウインドウ、1010は編集エリア、1
020は素材エリア、50はIDパネル、60はIDXパネルであ
る。

【００５３】本発明の別の実施例を図１を用いて説明す
る。ここで、図１で表示されている編集用ウインドウお
よびIDパネルおよびIDXパネルのそれぞれの表示内容に
ついては、オペレータが編集操作を行う段階において、
編集操作の内容に応じて変化していくので、詳細は省略
する。まず、図１において、編集用ウインドウ100は図
４の編集用ウインドウ1000、IDパネル50は図１８のIDパ
ネル500′を、IDXパネル60は図１９のIDXパネル600′を
用いて説明を行う。図１において図１８はIDパネルの初
期状態の表示画面の一実施例で、既に説明した。また、
図１９はIDXパネルの初期状態の表示画面で、既に説明
した従来技術で既に説明した図６のIDXパネルと同一の
ものは同一の番号を付した。その他600′はIDXパネル、
237，238，239は検出結果表示エリア、240は新規ボタ
ン、242は検出ボタン、243は結合ボタン、244は結合解
除ボタン、245はプレビューボタン、246はインフォメー
ションボタン、247は可視範囲調整ボタン、248は修正ボ
タン、291，292，293はターゲットイメージ表示エリア
である。図１において、モニタ3080には、編集用ウイン
ドウ100として、まず図４の編集用ウインドウ1000が表
示され、その上側に重ねてIDパネル50として図１８のID
パネル500′とIDXパネル60として図１９のIDXパネル60
0′が表示されている。

【００５４】図４において、オペレータが、編集ウイン
ドウ1001からM-アイコン1030， 1034，103Aを選択した
とすると、選択したM-アイコン1030， 1034，103Aの周
囲が太い色枠で囲まれている（例えば、赤い実線が点
滅）ので、それらのM-アイコンが選択されたことが一目
で判別できる。そして同時に、IDパネル50の表示は図５
のIDパネル500に変化する。また先頭の１０フレームの
フレーム画像がフィルムイメージ501として表示され
る。

【００５５】次に、IDXパネル60は、オペレータの選択
したM-アイコン1030， 1034，103Aのすべてが、過去に
１回も検出対象になっていない場合には、図１９のIDX
パネル600′に示すようにターゲットイメージ表示エリ
ア291，292，293および検出結果表示エリア237，238，2
39はともに空欄となっている。

【００５６】検出を行う場合は、既に図５と図１８で説
明したように、IDパネル500に表示されたフィルムイメ
ージ501の中から検出しようとする人物または対象物が
存在する所望のフレーム522を選択し、拡大表示エリア5
02にドラッグアンドドロップする。そして、拡大表示エ
リア502に表示された、情報記憶装置3060から読出した
フレーム画像（あるいは適当な大きさに間引いた画像：
以下、拡大表示画像と称する）が表示される。次に、オ
ペレータは、この拡大表示画像520の中から検出対象の
画像（例えばこの場合は、人物“X”）について特徴的
な色指定枠503，504，505を選択して，オートサーチボ
タン511を押して検出処理を開始する。この場合、IDパ
ネル500の表示画面が小さく見難い場合はIDパネル500を
適当な大きさに拡大して表示する。

【００５７】ここで、拡大表示エリア502にドラッグ・
アンド・ドロップしたフレーム画像522がターゲットイ
メージ631であり、既に図６において説明した、IDXパネ
ル600におけるターゲットイメージ631の一覧表示611に
表示されるのが、このフレーム画像522である。

【００５８】被検出対象の各フレームに対して検出処理
が実行されると、それらの各フレームについて人物
“X”の存在する領域とそのフレーム番号が保存され
る。そして、検出処理結果として、既に図２０において
説明したように、人物“X”が検出されたフレームをID
パネル500′のフィルムイメージ501上で検出矢印（ビギ
ン点）506と検出矢印（エンド点）507で挟み、人物
“X”の存在する画像領域をオブジェクト枠561〜563で
囲んで表示する。

【００５９】その時本発明では同時に、図１に表示され
ているIDXパネル60と編集用ウインドウ100とにこの検出
状態を反映させる。即ち、編集用ウインドウ100には、
図１５で示した編集用ウインドウ1000′が表示され、ID
Xアイコン12が作成されている表示となる。また、M-ア
イコン1030，1034，103Aの側面には図１７(a)，(b)，
(c)で示したように、検出結果が表示されている。

【００６０】さらにまたIDXパネル60には図１１で示す
ようなIDXパネルが表示される。図１１に示したIDXパネ
ルは、図１のIDXパネル60に表示されたIDXパネルの表示
の一実施例である。図１１で、図１９と図６と同一のも
のには同一の番号を付した。その他、6000はIDXパネル
である。また、614′は新規に追加された検出区間エリ
ア表示で、616′は削除された検出区間エリア表示であ
り、後で説明する。図１１において、ターゲットイメー
ジ表示領域611に、ターゲットイメージ631を表示し、検
出区間グラフ637に検出されたフレームの状態をフレー
ム単位で表示される。即ち、この検出区間グラフ637に
は、選択したM-アイコン1030，1034，103A単位で区切っ
た領域604，605，606の中で、人物“X”が検出された領
域614をフレーム単位で塗りつぶし、登場人物“X”の存
在するフレーム位置を表示している。

【００６１】図１のように、編集用ウインドウ100と同
時にIDパネル50とIDXパネル60の両方を表示し、検出さ
れた状態を他の情報表示欄に同時に反映させることで、
M-アイコン単位（IDXパネル）やフレーム単位（IDパネ
ル、IDXパネル）で確認することができる。

【００６２】次に、この検出された結果を修正する場合
の表示方法について説明する。ここで、修正作業には検
出区間531（即ち、検出矢印506と507で挟まれた区間）
の修正と、オブジェクト枠561，562，563の修正がある
が、連携表示の場合には検出区間の修正について行う。
この作業は図１のIDパネル50に表示されている図２０の
IDパネル500′において、修正しようとするフレームを
フィルムイメージ501に表示させ、ビギン点の検出矢印5
06あるいはエンド点の検出矢印507の矢印をマウスポイ
ンタ810でドラッグすることで行う。この修正作業を行
う時、図１のIDXパネル60には図１１のIDXパネル6000が
同時に表示されており、人物“X”の検出区間614が検出
区間グラフ637に表示されているので、検出区間グラフ
内の検出処理を行ったM-アイコンの領域に対して、その
任意のフレーム位置をマウスでダブルクリックすれば、
当該フレームの画像データがフィルムイメージ501の先
頭（IDパネルの左端）になるように表示できる。この結
果、検出結果の修正あるいは確認のために、所望のフレ
ームをフィルムイメージ上に表示させる作業が容易にな
った。また、これは検出区間を新たに追加する場合にも
同様である。またこの時、編集用ウィンドウ1000上の当
該M-アイコンに対してビーム表示10を行う。

【００６３】次に、IDパネル50側での操作をさらに詳し
く説明する。まず始めに、検出区間531の変更を行う場
合である。これは、前述のようにマウスポインタ810を
動かしてビギン点の検出矢印506あるいはエンド点の検
出矢印507を移動させることで実現する。この時、オペ
レータが検出矢印506または507を移動させるのにあわせ
て、IDXパネル6000の検出区間グラフ637の検出フレーム
を示す塗りつぶし領域614が変化する。

【００６４】次に、“検出もれ”などのため新たに検出
区間をオペレータが追加する場合を述べる。この作業
は、オペレータが追加する区間として，フィルムイメー
ジ501上の所望のフレーム画像をクリック（あるいはド
ラッグ）して選択し、検出区間追加ボタン512を押して
行う。そして、この選択領域（フレーム画像）の状態
は、マウスポインタ810のクリック（あるいはドラッ
グ）の動きに合せて同時に、IDXパネル6000上の検出区
間グラフ637に反映して表示される。この検出区間グラ
フ637でのエリア表示614′と616′は、検出フレームを
示す塗りつぶしの場合とは区別できるように、別の色や
別の模様またはその組合せ等で表示する。これにより、
オペレータは、現在どのM-アイコンのどの辺りのフレー
ムについて選択・変更を行っているかを、ウインドウ表
示を切換えることなく、一目で、より簡単に知ることが
できる。この情報は、従来のフィルムイメージ501だけ
からでは分かり難かったものである。これは、検出結果
を削除する場合にも同様である。その場合は、検出区間
追加ボタン512の代りに検出区間削除ボタン514を押す。
この時、この検出区間グラフ637での表示は、検出フレ
ームを示す塗りつぶしの場合及び、検出区間を追加した
ときとは区別できるように、別の色や別の模様またはそ
の組合せ等で表示する。

【００６５】次に別の実施の形態として、過去に１回以
上検出処理を行っている場合について説明する。ここで
は、既に編集作業を行っている図１６のツリー構造1040
を情報記憶装置3060から呼出した場合説明する。図１６
は本発明の一実施例の編集用ウインドウを説明するため
の図である。図１６で図１５と同じものには同じ番号を
付した。その他、1000′は編集用ウインドウ、11はIDX
アイコン、121A，121B，121C，‥‥‥，121H，121I，‥
‥‥は編集エリア1010内の最下位のカット画像を表すM-
アイコンである。また、このツリー構造1040は、過去に
最上位のM-アイコン1240を選択して（つまり、最下層の
すべてのM-アイコン1210を被検出領域として）一回検出
処理を行っている。まず、ツリー構造1040に対して、最
上位のM-アイコン1240を選択し登場人物検出機能ボタン
1051を押した場合について説明する。図１２に示すのよ
うに、モニタ3080上には編集用ウィンドウ50の上に、ID
パネル50とIDXパネル60とが表示される。この時、IDパ
ネル50には図１６に示した最下位で先頭（左端）のM-ア
イコン121Aの、始めの１０フレーム分がフィルムイメー
ジ501に表示されており、IDXパネル60には図１１に示す
ように検出時に指定したターゲットイメージ631がター
ゲットイメージの一覧表示エリア611に表示され、検出
結果グラフ637には検出されたフレームの状態が表示さ
れている。ただし、この状態では以前の検出処理の結果
はIDパネル50には表示されていない。この検出結果を表
示させるためにはIDXパネル60の所望のターゲットイメ
ージ631（図１１）をクリックする。これによりIDパネ
ル50の拡大表示エリア502（図５）には、ターゲットイ
メージ631のフレームの画像データが表示され、同時に
色指定を行った色指定枠503，504，505が表示される。
さらにフィルムイメージ501にはビギン点を示す検出区
間506とエンド点を示す検出区間507が表示され、検出区
間507内のそれぞれのフレーム画像521，522，523には、
それぞれオブジェクト枠561，562，563が表示される。
また、ターゲットイメージ631（図１１）をクリックす
ると、人物“X”が検出されたM-アイコン 121A，121B，
121C，121E，121Gが赤枠の破線で囲まれて表示される
（図１６）ため、その人物が存在するM-アイコン121A，
121B，121C，121E，121Gのみを集めて、ダイジェスト版
を作る作業などに便利である。また図１６では、素材エ
リア1020にあるM-アイコン1030，1034，103Aも赤枠表示
されているが、これらのM-アイコン1030，1034，103Aそ
れぞれを編集エリア1010のM-アイコン121A，121B，121C
にそれぞれコピーした場合であり、その他のM-アイコン
121D，‥‥‥，121H，121I，‥‥‥は移動したものであ
る。

【００６６】次に、ツリー構造1040を呼出した状態で、
新たに素材エリアからM-アイコンを追加した場合を考え
る。図１３と図１４は本発明の一実施例の編集用ウイン
ドウを説明するための図である。図１３で図１６と同じ
ものは同じ番号を付した。その他、1001は編集用ウイン
ドウ、1040′は編集エリア1020中のツリー構造、121Zは
新たにM-アイコン121Aと121Bの間に挿入されたM-アイコ
ン、11′はIDX情報ボタンである。図１４は図１につい
て、ビーム表示10を追加表示させた一実施例である。ま
た図１１の検出区間604で示されるM-アイコン103Aの後
ろに追加した場合の例を示したのが図８である。図８は
本発明の一実施例のIDXパネルを説明するための図で、
図１のIDXパネル60に表示されたIDXパネルの表示の一実
施例をである。図１１と同じものには同じ番号を付し
た。その他に、6001はIDXパネル、607は新たに追加され
た領域、608は新規に検出されたフレーム画像の場所を
示している検出区間表示の検出未処理区間表示である。
また、図９は本発明の一実施例のIDパネルを説明するた
めの図である。図９で図１８と同じものは同じ番号を付
した。その他、5000はIDパネル、901は検出未処理区
間、902はフィルムイメージ、903は検出矢印、904は枠
部分である。図１３において、動画像編集の過程で、検
出処理を行っていないM-アイコン121ZがM-アイコン121A
と121Bの間に挿入されたために、ツリー構造1040′には
ある人物“X”について検出処理を行ったM-アイコン
（つまり、人物“X”の検出が済んだ領域604，605，60
6）と、検出処理を行っていないM-アイコン（つまり、
人物“X”の検出が済んでいない領域607）とが混在して
いる。この状態で登場人物検出ボタン1051を押すと、ID
パネル50とIDXパネル60では、検出処理を行っていないM
-アイコン121Zの領域が表示され、検出フレームを示す
色や選択領域を示す色とは別の色で塗りつぶして、その
存在を明示する。

【００６７】例えば、IDパネル50においては図９に示す
ように、フィルムイメージ902の検出未処理区間901の枠
部分904を識別できる色または模様またはそれらの組合
せによって塗りつぶし、IDXパネル60では、図８に示す
ように未検出処理区間608を前述のように異なる色また
は模様またはそれらの組合せによって塗りつぶす。この
例では、検出区間607の全ての領域で人物“X”が検出さ
れている。オペレータがこの区間901の映像について人
物検出したい場合には、IDXパネル6001において検出未
処理区間表示608をダブルクリックする。このとき、ID
パネル5001のフィルムイメージ901にその検出未処理区
間608の先頭のフレーム画像１０フレーム分を表示す
る。また、あわせてその検出未処理区間608のM-アイコ
ン103Zに対してビーム表示10がなされる。これにより編
集中のM-アイコンの特定と、編集作業の関係が明確にな
る。なお、ビーム表示10とは、図１４に示すように、別
ウインドウ間で関連のあるデータの表示同士をビーム状
の表示で結ぶもので、形状、色、模様等は任意であり、
例えばその情報量や情報内容によって識別できるように
変えて表示することも可能である。

【００６８】上述の、IDXエリアでの新規検出領域が追
加される順番は、編集エリアでの編集されたツリー構造
の順番にしたがっているが、この追加される順番は、そ
の他に、アタッチした順番や、素材エリアでの表示の順
番であってもよい。

【００６９】ここで、実際に検出処理を実行した場合に
ついて述べる。この時メモリ3020には既に検出したM-ア
イコンの番号情報が読込まれているため、検出未処理の
M-アイコンのフレームについてのみの検出を行うことが
できる。検出結果は、IDパネル50では、ビギン点を表す
検出矢印506とエンド点を表す検出矢印507の矢印を既検
出の矢印とは色を変えて表示することで区別して表示す
る。また、IDXパネル60においても既検出のフレームと
は別の色で塗りつぶすことで、今回の検出処理で検出さ
れたフレームであることを明確にする。なお、この色を
違えた表示はオペレータが検出矢印506，507を移動させ
たり、OKボタン541を押すことで編集作業を終了し、再
び呼出した場合には、既検出の検出矢印と同じ色での描
画になる。

【００７０】最後に、これらのパネルはIDパネル50また
はIDXパネル60のOKボタン541あるいはキャンセルボタン
542を押して、編集作業を終了することで閉じられる。

【００７１】なお、編集用ウインドウとIDパネルとIDX
パネルとはそれぞれマウス等の入力装置3090を用いるこ
とで移動させることができる。図１０と図２は本発明の
編集用ウインドウの一実施例を説明する図である。図１
とほとんど同じであるが、201，202，203はモニタ表示
画面、は50′と50″はIDパネル、60′と60″はIDXパネ
ル、100′と100″は編集用ウインドウである。例えば、
図１０に示すように、編集用ウインドウ100′とIDパネ
ル50′とIDXパネル60′の表示位置は、１つまたはすべ
てのパネルが重ならないようにしてもよい。さらに、図
２に示すように、モニタ3080は、複数の表示画面201，2
02，203を有し、それぞれに別々に、IDパネル50″、編
集用ウインドウ100″、IDXパネル60″が表示される構成
であっても良い。さらにまたは複数個のモニタで構成さ
れていても良い。なお、この場合には、例えば、モニタ
201，202，203の設置位置をあらかじめCPU3010に教示し
ておくことで、ビーム表示を可能にする。

【００７２】

【発明の効果】本発明によれば、動画像編集装置を使用
して動画像の編集を行なうとき、編集作業において変更
した内容をIDパネルとIDXパネル相互で同時に表示する
ため、それぞれのパネルの特性（つまり、IDパネルでは
フレーム単位で実際の画像データを見ての、IDXパネル
ではM-アイコン単位やそれに準ずるフレーム単位での）
確認作業が行うことが可能となり、編集の効率を向上さ
せることができる。

【図面の簡単な説明】

【図１】 本発明の編集用ウインドウ、IDパネル、IDX
パネルを同時に表示させたモニタ画面の一実施例を示す
図。

【図２】 本発明の編集用ウインドウ、IDパネル、IDX
パネルを同時に表示する一実施例を示す図。

【図３】 従来の動画像編集装置の一構成例を示すブロ
ック図。

【図４】 従来の編集用ウィンドウの一例を示す図。

【図５】 従来のIDパネルの一例を示す図。

【図６】 従来のIDXパネルの一表示例を示す図。

【図７】 本発明の編集用ウインドウの一実施例を説明
する図。

【図８】 本発明のIDXパネルの一実施例を説明する
図。

【図９】 本発明の一実施例のIDパネルを説明するため
の図。

【図１０】 本発明の編集用ウインドウ、IDパネル、ID
Xパネルを同時に表示させたモニタ画面の一実施例を示
す図。

【図１１】 本発明のIDXパネルの一実施例を説明する
図。

【図１２】 従来の登場人物検出結果の確認や修正を行
う場合のIDパネルの一例を示す図。

【図１３】 本発明の一実施例の編集用ウインドウを説
明するための図。

【図１４】 本発明の一実施例の編集用ウインドウを説
明するための図。

【図１５】 従来の登場人物検出を行った結果の編集用
ウインドウの一例を示す図。

【図１６】 本発明の一実施例の編集用ウインドウを説
明するための図。

【図１７】 M-アイコンの側面に、人物検出“A”の結
果が表示されていることを拡大して示した図。

【図１８】 本発明のIDパネルの一実施例を説明する
図。

【図１９】 本発明のIDXパネルの一実施例を説明する
図。

【図２０】 本発明のIDパネルの一実施例を説明する
図。

【符号の説明】

10：ビーム表示、 11，11′，12，13，14：IDXアイコ
ン、 50，50′，50″：IDパネル、 60，60′，60″：
IDXパネル、 80：IDパネル、 100，100′，100″：編
集用ウインドウ、 201，202，203：モニタ表示画面、
237，238，239：検出結果表示エリア、 240：新規ボ
タン、 241：クローズボタン、 242：検出ボタン、
243：結合ボタン、 244：結合解除ボタン、 245：プ
レビューボタン、 246：インフォメーションボタン、
247：可視範囲調整ボタン、 248：修正ボタン、 29
1，292，293：ターゲットイメージ表示エリア、305：拡
大表示画像、 306：拡大表示エリア、 500，500′，5
00″：IDパネル、 501：フィルムイメージ、 502：拡
大表示エリア、 503，504，505：色指定枠、506，50
7：検出矢印、 508：静止画ビュースライダ、 509：
スライダつまみ、 510：表示フレ−ム単位変更スライ
ダ、 511：オートサーチボタン、 512：検出区間追加
ボタン、 514：検出区間削除ボタン、 520：拡大表示
画像、 521〜530：フレーム画像、 531：検出区間、
532：スライドカーソル、 541：OKボタン、 542：
キャンセルボタン、 543：飛越し検出量設定部、 54
4：ジャンプボタン、 545：オブジェクトボタン、 54
6：マニュアルサーチボタン、 547：オブジェクト名記
入欄、 600，600′：IDXパネル、 603：検出範囲表示
エリア、 604，605，606：検出区間、 607：領域、
608：検出未処理区間表示、 611：ターゲット表示欄、
614：検出エリア表示、 614′：追加された検出エリ
ア表示、 616：非検出エリア表示、 616′：削除され
た検出エリア表示、 631，632，633：ターゲットイメ
ージ、 634，635，636：人名、 637，638，639：検出
区間グラフ、 650：検出結果表示欄、 640，641：ス
ライダ、 800，801，802，802′，803：検出矢印、 8
04，805，806，807，808：オブジェクト枠、 809：フ
ィルムイメージ、 810：マウスポインタ、 811，81
1′，812：検出区間、 815：ビギンボタン、 816：エ
ンドボタン、 817，818，820，821，822：画素領域、
850〜859：フレーム画像、 901：検出未処理区間、
902：フィルムイメージ、 903：検出矢印、 904：
枠部分、 1000，1000′，1001：編集用ウィンドウ、
1010：編集エリア、 1020：素材エリア、 1030，103
1，1032，1033，1034，‥‥‥，103A，‥‥‥，103M，1
03N，‥‥‥： M-アイコン、 103Z： M-アイコン、 1
040，1040′：ツリー構造、 1050：編集機能ボタン
群、 1051：登場人物検出ボタン、 1052：ツリー構造
作成ボタン、 1053：IDX情報ボタン、 1054：ID情報
ボタン、 1070，1080，1090：スライダ、 1210：カッ
ト画像を表すM-アイコン、 121Z，121A，121B，121C，
‥‥‥，121H，121I，‥‥‥：カット画像を表すM-アイ
コン、 1220：シーン画像を表すM-アイコン、 1230：
１つ以上のシーン画像で構成したM-アイコン、 1240：
テーマに合せ編集された動画像（番組）を表すM-アイコ
ン、 3010：CPU、 3020：メモリ、 3030：カット変
化点検出部、 3040：画像再生装置、 3050：ビデオイ
ンターフェース、 3060：情報記憶装置、 3070：フレ
ームバッファ、 3080：モニタ、 3090：入力装置、
3100：バス、 3110：画像信号出力端子、 5000，500
1：IDパネル、 6000，6000′，6001：IDXパネル、

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C023 AA01 AA11 AA21 AA34 AA38 BA01 BA11 BA15 CA01 CA08 DA04 DA08 5C053 FA14 FA27 GB05 GB06 HA21 HA29 JA01 JA21 KA04 KA08 KA24 LA11 5D110 AA29 BB20 CA05 CA17 CA18 CC03 CD25 CF13 CJ18 CK02

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数のフレーム画像からなる動画像を編
   集画面において編集する動画像編集装置であって、 前記複数のフレーム画像に含まれる特定の画像を検出
   し、該特定の画像が登場するフレームの情報を検出画面
   に表示し、 前記特定の画像が検出された領域を、前記どの複数のフ
   レーム画像に存在するかを、検出結果表示画面に、前記
   検出に用いた特定の画像毎に表示する動画像編集方法に
   おいて、 前記編集画面と共に、前記検出画面と前記検出結果表示
   画面とを表示し、互いの画面での処理命令または処理結
   果が別の画面にも即時に反映することを特徴とする動画
   像編集方法。
2. 【請求項２】 請求項１記載の動画像編集方法におい
   て、 前記複数のフレーム画像が少なくとも１つ以上集ってカ
   ット画像を構成し、 該カット画像を高速表示用およびカットの代表画像とし
   て縮小表示した表示用画像を、GUI（Graphical User In
   terface）として画面操作することによって、前記編集
   画面に構成および表示することを特徴とする動画像編集
   方法。
3. 【請求項３】 請求項２記載の動画像編集方法におい
   て、 前記編集画面に表示された前記表示用画像と、前記検出
   画面または前記検出結果表示画面に表示されている前記
   表示用画像と関連する領域とをビーム表示したことを特
   徴とする登場人物検出方法。