JP2004304854A - 動画像編集方法 - Google Patents

Abstract

【課題】登場人物検出機能における人物検出用ウインドウ、人物検出結果表示ウインドウ、編集用ウインドウは、それらのウインドウが有する機能を処理する場合にのみモニタ上に表示され、各々のウインドウ間相互の処理内容や状態を、各ウインドウを必要の都度表示させて確認しなければならなかった。
【解決手段】この問題を解決するために、人物検出用ウインドウと人物検出結果表示ウインドウを常にモニタに編集用ウインドウとともに常に表示させる。さらに、一方のウインドウでの処理を、他方のウインドウにほぼ同時に反映させる。そしてさらに、編集用ウインドウのM-アイコンにも反映させる。
【選択図】図１

Description

本発明は、テレビジョン放送番組制作、ビデオ番組制作などの動画像の番組制作に使用する動画像編集装置に関わり、特に、モニタ画面上における操作によって編集を行う場合に使用する登場人物検出方法に関するものである。

近年、コンピュータの高速化、高機能化に相俟って、ソフトウエアの多様化、高機能化が急速に進展している。これらコンピュータ、ソフトウエアを使用することで、テレビジョン放送番組やビデオ番組を制作する制作設備の高機能化が進められている。

特に、近年の番組制作は、ビデオテープレコーダによって、テープカウンタを頼りに、早送り、巻き戻しを繰り返すような映像編集方法ではなく、ランダムアクセスが可能な情報記憶装置を有する動画像編集装置を使用して、映像情報の編集を行っている。このような動画像編集装置に、さらに、高機能化、多様化しているコンピュータ、ソフトウエアを採用することで、ますます動画像編集装置の高機能化が進められている。ここで、映像情報とは音声を含む映像に関するすべての情報のことである。

図３は動画像編集装置の一構成例を示すブロック図である。3010はCPU（Central Processing Unit：中央演算処理装置）、3020はメモリ、3030はカット変化点検出部、3040は画像再生装置、3050はビデオインターフェース、3060は情報記憶装置、3070はフレームバッファ、3080はモニタ、3090は入力装置、3100はバス、3110は画像信号出力端子である。この動画像編集装置は、ソフトウエア（プログラム）の制御により動画像編集装置を構成する各装置の制御および編集を行うCPU3010と、CPU3010の制御情報や、動画像、シーン画像、カット画像および編集状況を表す階層構造（ツリー構造）の情報など、編集に関する情報を表示するモニタ3080と、モニタ3080の画面上に表示されている情報を選択してCPU3010へのコマンドの入力を行うマウスやキーボード等からなる入力装置3090と、モニタ3080に表示するための画像情報を記憶するフレームバッファメモリ3070と、編集に使用する動画像の画像信号を記録媒体から再生しビデオインターフェース3050へ出力する（編集装置に動画像を入力するための）画像再生装置（例えば、VTR：ビデオテープレコーダ）3040と、画像再生装置3040から入力される動画像の画像信号を動画像編集装置で扱うフォーマットの画像情報に変換し情報記憶装置（例えば、ハードディスク等の磁気記憶装置）3060とカット変化点検出部3030とメモリ3020とへ出力し、かつ動画像編集装置で扱うフォーマットで編集され情報記憶装置3060から出力される動画像の画像情報を画像信号に変換し画像信号出力端子3110から出力するビデオインターフェース3050と、動画像を構成するフレーム画像の隣接するフレーム画像を比較してフレーム画像間の差の画像情報が所定量を越えて変化している場合には隣接するフレーム画像は異なるカット画像に属すると判定し分割するカット変化点検出部3030と、CPU3010の制御ソフトウエアを記憶するとともに、動画像編集装置で使用されるさまざまな制御情報（一連の動画像のフレーム番号、検出したカット変化点のフレーム番号、モニタ3080の画面に表示される画像サイズを縮小した表示用画像（M-アイコン：Moving Icon）、M-アイコンファイル名、カット画像に順次シリアルに付与されているカット画像番号、複数のカット画像の順序を表すシーケンス番号等）などを一時記憶するメモリ3020と、画像再生装置3040から再生されビデオインターフェース3050で所要フォーマットに変換された編集に使用する動画像の画像情報を記憶するとともに、メモリ3020で一時記憶した動画像編集装置で使用される編集情報や制御情報、例えばM-アイコンなどを記憶するランダムアクセス可能な、例えばハードディスクを使用した情報記憶装置3060と、動画像編集装置内の各装置間のディジタル情報伝送に使用されるバス3100と、動画像の画像情報を出力する画像信号出力端子3110を備えている。

なお、バス3100には、動画像編集装置を構成する前記各装置のCPU3010、メモリ3020、カット変化点検出部3030、ビデオインターフェース3050、情報記憶装置3060、フレームバッファメモリ3070、モニタ3080、入力装置3090が接続されており、CPU3010はこれら装置と各種信号を送受し合い、これら装置はCPU3010からのアクセス信号により制御される。また、CPU3010への指示は、マウスあるいはキーボードなどの入力装置3090から入力される。

上述のように構成され、所要のソフトウエアをメモリ3020に備えている動画像編集装置を使用することにより、編集する動画像の画像情報をメモリ3020さらに情報記憶装置3060に記憶し管理することができる。またさらに動画像編集装置は、モニタ3080の画面上に、メモリ3020および情報記憶装置3060に記憶している動画像のカット画像やシーン画像を縮小したM-アイコンとして表示し、カット画像やシーン画像を単位としたツリー構造を形成することにより動画像の編集作業を行うことができる。また、前記情報記憶装置3060を伝送ネットワークを介したリモートファイルとしてもよい。

ここでカット画像、シーン画像、M-アイコン等の説明をする。情報記憶装置3060やメモリ3020に記憶される動画像を構成する画像データは、複数の画像の集合として定義することができる。「カット画像」は、テレビジョンカメラによる１回の撮像開始から終了までの間に撮像されたフレーム画像の集合である。したがって、この動画像編集装置では、M-アイコンが一回の撮像開始から終了までの間のフレーム画像と１対１に対応するGUI（Graphical User Interface：グラフィックスを主体としたユーザインタフェース）となっている。

ここで、「M-アイコン」は、画像のサイズを所要の比率で縮小した表示用画像で、複数のフレーム画像からなる動画像全体、あるいはシーン画像を高速で表示して見る場合に、高速表示用として、あるいはカット画像の代表画像として表示されるものである。

また、「シーン画像」は、所定の撮像対象を撮像した複数のカット画像を集合したものであり、情報記憶装置3060などに記憶される動画像を構成する画像データは、複数のシーン画像の集合である。「複数のシーン画像」は、さらに特定の撮像テーマのもとにまとめることにより、編集された特定の撮像テーマの動画像（番組）とすることができる。

このように特定の撮像テーマのもとに編集される動画像は、画像素材である複数のカット画像の中から、特定の撮像テーマに合せて選択したいくつかのカット画像と、この選択したいくつかのカット画像をまとめたシーン画像と、このシーン画像を特定の撮像テーマのもとにまとめた撮像テーマ（あるいは題名）を有する動画像というように、階層構造（ツリー構造）の画像データとして整理することができる。また、このツリー構造には、一連の動画像のフレーム番号、検出したカット変化点の画像のフレーム番号、カット画像に順次シリアルに付与されているカット画像番号、シーン画像を構成する複数のカット画像の順序を表すシーケンス番号のデータが整理配置されており、上述の制御情報はこれらの階層構造情報を含んでいる。モニタ3080の表示画面は、動画像編集に使用するカット画像、シーン画像および編集状態を表すツリー構造などの編集情報を表示するGUI画面である。編集者は、入力装置（例えば、マウス）3090を使用して、この編集情報を表示するモニタ3080の画面の編集情報を選択することで動画像編集装置に指示を与えることができる。

このように前述の動画像編集装置は、編集する動画像をツリー構造として記憶し管理することで番組を作成することができ、カット画像やシーン画像を単位とした編集作業ができるようになっている。以後、図３で説明したブロック構成図の一例によって、本文の従来技術および本発明の実施例を説明していく。

図４は、上述した動画像編集装置のモニタ3080の画面に表示される編集用ウインドウの一例を示す図である。1000は編集用ウインドウ、1010は編集エリア、1020は素材エリア、1030，1031，1032，1033，1034，・・・，103A，・・・， 103M，103N，・・・は素材エリア1020に表示されている画像素材のM-アイコン（ただし、A，M，Nは自然数で、M=N-1，A＜M）、1040は編集された動画像の編集内容を表すM-アイコンで構成するツリー構造、1050は編集作業に使用する各種制御機能を選択する編集機能ボタン群、1051は登場人物検出ボタン、1052はツリー構造作成ボタン、1070は編集エリア1010の表示画面を横方向にスライドさせるスライダ、1080は編集エリア1010の表示画面を縦方向にスライドさせるスライダ、1090は素材エリア1020の表示画面を縦方向にスライドさせるスライダ、1210は編集エリア1010に登録されたカット画像を表すM-アイコン、1220は１つまたは複数のカット画像で構成したシーン画像を表すM-アイコン、1230は１つ以上のシーン画像で構成したM-アイコン、1240はテーマに合せ編集された動画像（番組）を表すM-アイコン、810はマウス等のポインティングデバイスによってGUI操作を行う時にGUI画面上に表示されるマウスポインタであるなお、M-アイコンの表面には、対応する縮小表示用画像が表示されているが、煩雑なので、本明細書では特に必要にない限り省略する。

図４において、編集エリア1010の中のM-アイコンで構成されるツリー構造1040は、編集のために選択したカット画像を表すM-アイコン1210が１個または複数個集合して、その階層の上部にシーン画像を表すM-アイコン1220を構成し、さらに、このシーン画像を表すM-アイコン1220が１個または複数個集合して、その階層の上部に特定のシーン画像の集合を表すM-アイコン1230を構成し、最後に特定のシーン画像の集合を表すM-アイコン1230が複数個集合してテーマに合せ編集された番組を表すM-アイコン1240を構成している。

ツリー構造1040の階層数は任意であり、さらに上部に階層が構成することができることはもちろんである。編集エリア1010の画面の大きさに限りがあるため、図４ではツリー構造1040の全体が表示されていない。この表示されていない部分を表示させるためには、入力装置3090によって、スライダ1070、あるいはスライダ1080を操作して、所要の横方向、あるいは縦方向に表示を移動させることによってツリー構造1040の全体を見る。

また素材エリア1020には、カット変化点検出部3030によって検出された異なるカット画像から作成されたM-アイコンが、編集に使用する画像素材M-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・として一時的に置かれ、一覧できるように表示されている。編集作業を進め、画像の呼出しを行ないM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・が作成され表示された段階では、M-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・は、素材エリア1020に時系列順に左から右、上から下に向かって表示される。

この素材エリア1020の中のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・・，103M，103N，・・・についても、編集エリア1010と同様に、M-アイコンの数が多くて画面に一度に表示されていない場合は、入力装置3090によってスライダ1090を操作し、縦方向に表示を移動させることによってすべてのM-アイコンを見る。

編集を行うためには、この素材エリア1020の中から編集に必要なM-アイコンを選択し、次に機能ボタン群1050中のツリー構造作成ボタン1052を押す。これによって、選択されたM-アイコン1030は編集エリア1010へ移動（あるいはコピー）される。編集作業は、このように、ツリー構造1040を構成しながら行う。なお、図４では編集がある程度進んでおり、すでに編集エリア1010にツリー構造1040ができており、さらに、素材エリア1020のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・の中から所望のM-アイコンを選択して、図４から編集を継続する状態である。また、素材エリア1020と編集エリア1010の中に表示されるM-アイコンは、図面上では１枚のカードとして描かれているが、これは省略図であって、実際のモニタ3080の表示画面上では、M-アイコンのそれぞれは、M-アイコンがそれぞれ持つフレーム画像の枚数の重なった形状で表示される。

以上のようにして動画像の編集を進めるが、実際に番組作成に必要な画像素材は、情報記憶装置3060に記憶された画像情報（カット画像、あるいは１つの動画像のファイルとして読出された一連の動画像）のすべてであることは少ない。即ち、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・のすべてが必要となることはなく、編集目的、あるいは撮像テーマにより選択した一部のM-アイコンに関連付けられた画像素材だけが番組に使用される。また、画像素材には通常複数のシーンが含まれているので、情報記憶装置3060から読出した画像素材あるいは画像情報に含まれる多くのM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・の中から編集に必要なM-アイコンを探すことになる。

上述の従来の動画像編集方法による動画像編集装置の動作や、M-アイコンを使用して、ツリー構造を作成しながら動画像の編集を行う方法は、例えば特開平１０−５１７３３号公報に開示されている。また、カット画像の変化点を検出する手段としては、例えば、動画像の照度、音量、色調などを解析して、これらの変化の著しい部分をカット画像の変化点として検出する技術が、特開平２−１８４１８１号公報に開示されている。
ところで、上述のように動画像編集を行うためには、素材エリア1020に表示されている複数のM-アイコン1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・の中から、編集に必要なM-アイコンを探すことが必要である。この必要なM-アイコンを探すサポートをする機能が登場人物検出機能である。この登場人物検出機能は、画像素材または複数のカットやシーンの中から特定の人物を検出する機能を持っている。この特定の人物を仮に"X"とする。

この登場人物検出機能は、素材または複数のカットまたはシーン、つまり被検出区間の中にいる人物"X"が持つ特徴を組み合わせてオペレータが選択し、その色の組合せに合致したフレームとその画素領域を、画像認識技術を用いて見つけ出すものである。

オペレータは、選択した一連のM-アイコン（即ち、登場人物が存在すると思われる被検出区間）の中で、検出しようとする人物（例えば人物"X"）について、その特徴（例えば、髪の色，肌の色，服の色）の組合せを指定する。これによって、動画像編集装置は指定した色の組合せに合致した映像領域を画像処理により検出し、合致した映像領域とそのフレームの情報をGUI画面に表示する。

この登場人物検出機能の操作手順を図５と図４とを用いて説明する。
図４は、従来のノンリニア編集装置におけるモニタ3080に表示された編集用ウインドウの一例を示す図で、既に説明した。

図４において、オペレータは人物（例えば、人物"X"）を検出するため、被検出対象となるカットまたはシーンに対応するM-アイコンを編集エリア1010または素材エリア1020の中からマウスポインタ810で選択し、マウスをクリックする。このように、M-アイコンの上にマウスポインタ810を移動させマウスでクリックすることをアタッチという。

例えば、素材エリア1020内にあるM-アイコン1030，1034，103Aをアタッチし、続いて編集機能ボタン群1050の中の登場人物検出ボタン1051をアタッチする。その結果、モニタ3080には図５に示したウインドウが表示される。このウインドウ上で人物"X"の検出処理を行う。図５は人物検出用ウインドウで、人物検出を行う時に検出したい人物の特徴を定めて人物検出を行うためのIDパネルの従来例を示す図である。500はIDパネル、501はフィルムイメージ、521〜530はフィルムイメージ501に表示された画面左から右に時間順に並べられたフレーム画像、520はフィルムイメージの一番左端のフレーム画像521を拡大表示した拡大表示画像、502は拡大表示画像520を表示する拡大表示エリア、503，504，505は色指定枠、508は静止画ビュースライダ、509は静止画ビュースライダ508のスライダつまみ、532はスライドカーソル、510は表示フレ−ム単位変更スライダ、511はオートサーチボタン、512は検出区間追加ボタン、514は検出区間削除ボタン、541はOKボタン、542はキャンセルボタン、545はオブジェクトボタン、547はオブジェクト名記入欄、810はマウスポインタである。

図５において、フィルムイメージ501には、アタッチしたM-アイコン1030，1034，103A内に含まれるフレーム画像の一部のフレーム画像521〜530が表示される。フレーム画像521〜530は時間軸に沿って順番に並べられており、画面の左右の表示されていない部分は静止画ビュースライダ508のスライダつまみ509を左右にスクロール処理することによって、フレーム画像をスライドさせて見ることができる。このスクロール処理は、例えばマウスポインタ810をスライダつまみ509に移動させ、マウスでドラッグするか、または、スライドカーソル532の矢印部をアタッチすることによって左右にスクロール操作が可能である。表示フレーム単位変更スライダ510は、フィルムイメージ501中に表示されたフレーム画像521〜530のそれぞれが何フレーム毎に表示するかを設定するスライダである。例えば、今図５では、表示フレーム単位変更スライダ510は設定値が"1"であるので、1フレームづつ表示されている。設定値は、例えば、"90"まで変更でき、"90"に設定すると、フレーム画像の表示は90フレーム毎に表示され、フィルムイメージ501が表示している10個のフレーム画像は、900個のフレーム画像の一部を表していることになる。

またIDパネル500の左下部の拡大表示エリア502内には拡大フレーム画像520が表示される。この拡大フレーム画像520はフィルムイメージ501にあるフレーム画像521〜530のうち、一番左端にあるフレーム画像521を拡大表示したものである。人物"X"を検出処理するために、この拡大表示画像520を用いて人物"X"として検出する特徴を定める。この一番左端に表示されているフレーム画像521と拡大表示画像520とは連動しているため、オペレータはフィルムイメージ501中のフレーム画像をスクロールすることによって、人物"X"の検出処理に用いるための拡大表示画像520として拡大表示エリア502に表示させることができる。オペレータはフィルムイメージ501中のフレーム画像をスクロールして拡大表示画像520を見ながら、人物"X"の検出処理に関して最適と考えるフレーム画像を選択する。次にこの拡大表示画像520から人物"X"が持っている特徴的な色の組合せを指定する。なお、図５では、フレーム画像521〜530のうち、フレーム画像521は簡単な画像の表示をしているが、他のフレーム画像522〜530については画像の表示を省略している。

特徴的な色の組合せを指定する方法は、オブジェクトボタン545をアタッチしてから、特徴的な色を指定するための範囲を定める色指定枠503〜505を拡大表示画像520の中で指定して行う。この色指定枠の数は１つ以上任意の数、大きさ、形状を指定できる。色指定枠503〜505の指定は、パーソナルコンピュータ等の描画において四角の枠を作成する方法と同様であり、もちろん、指定した後、色指定枠503〜505の移動及び大きさの変更も、また、削除や追加も可能である。色指定枠503〜505に囲まれた部分の色が人物"X"（フレーム画像中で人物"X"が占めている画素領域）が持つ特徴的な色となる。図５の例では、色指定枠503は人物"X"の髪の毛の色、色指定枠504は人物"X"の肌の色、色指定枠505は人物"X"の着ている服の色を指定しているが、その他、その人物を特徴づけている部分を指定する。この色の組合せのデータが検出処理に用いられる。上述のような登場人物検出機能は、例えば、特開平６−２２３１７９号公報に開示されている。

色の指定が終了した後、オートサーチボタン511をアタッチするとM-アイコン1030，1034，103Aに対して検出処理を行う。検出処理を行った後、IDパネル500上には人物"X"に対する検出結果が表示される。表示例については、後述する図２０によって説明する。

検出結果を保持する時はOKボタン541をアタッチしIDパネル500を閉じ、検出結果を保持しない時はキャンセルボタン542をアタッチしIDパネル500を閉じる。
この登場人物検出機能によって２つの結果が得られる。一つは人物"X"が画像素材またはカットの中のどこからどこまでに存在するのかを示す検出区間の情報であり、もう一つは検出区間内のフレーム画像のどの位置（例えば、左側、中央部右側、上部、左下側等）に人物"X"が存在しているのかを示すポジション情報である。しかし、現状の登場人物検出の機能は、認識の精度の問題から、誤検出や見逃しが発生し易い。したがって、IDパネルを見てオペレータがマウスを使って手動で確認や修正を行う必要がある。

図１５は図４において、M-アイコン1030，1034，103Aを選択し、前述のとおり登場人物検出を行った結果の編集用ウインドウの一例を示す図である。ここで、図４と同じものには同じ符号が付せられており、その他に、1000′は編集用ウインドウ、12，13，14はIDXアイコン、1053はIDX情報ボタン、1054はID情報ボタンである。

登場人物検出を行った後、図５に示したIDパネル500のOKボタン541をアタッチすると、検出結果を保持したままIDパネル500が閉じ、編集用ウインドウ1000′の素材エリア1020の下部にIDXアイコン12が表示される。このIDXアイコン12のデータ構造の中に人物"X"に対する検出処理の結果に関する情報が格納されている。また、このようなIDXアイコンは、人物検出するために編集用ウインドウ1000′内で同時にアタッチしたM-アイコンのすべてに対して一つ作成される。即ち、毎回違うM-アイコンをアタッチして人物検出処理をすると、その都度新しいIDXアイコン13，14，・・・が次々と作成される。

人物検出結果の確認や修正を行う場合、図１５のIDXアイコン12をアタッチし、次いでID情報ボタン1054をアタッチすると、図１２に示すようなIDパネルがモニタ3080にポップアップ表示される。

人物検出結果の確認や修正に関する従来のGUI操作の例を図１２によって説明する。図１２は、登場人物検出結果の確認や修正を行う場合のIDパネルの一例を示す図である。80はIDパネル、800，801，802，802′，803は検出矢印、804，805，806，807，808はオブジェクト枠、809はフィルムイメージ、811，811′，812は検出区間、850〜859はフィルムイメージ809の中に画面左から時間軸に沿って順番に並んでいるフレーム画像、815はビギンボタン、816はエンドボタン、817，818，820，821，822は人物"X"がそれぞれのフレーム画像において占有している画素領域、541はOKボタン、542はキャンセルボタン、305は拡大表示画像、306は拡大表示エリアである。図１２のIDパネル80において、フィルムイメージ809の上側に表示されている検出矢印800〜803は検出区間の始りと終りを示す矢印である。検出矢印800と検出矢印802は検出された先頭であり、ビギン点と呼ぶ。また、検出矢印801と検出矢印803は検出された終点であり、エンド点と呼ぶ。ビギン点の検出矢印800とエンド点の検出検出矢印801に挟まれた区間が検出区間812であり、ビギン点の検出矢印802とエンド点の検出検出矢印803に挟まれた区間が検出区間811である。検出区間811と検出区間812のそれぞれに属するフレーム画像に表示されているオブジェクト枠804〜808は人物"X"がフレーム画像のどの位置に存在しているかを示すポジションを示し、登場人物検出が行われた結果として表示される。検出区間およびオブジェクト枠の修正は以下のように行う。最初に検出区間の修正について述べる。図１２において、検出矢印802のビギン点を1フレーム左のフレーム855に移動して、検出区間811の延長を行う場合について説明する。マウスポインタ810はマウス（図示しない）によって表示画面上を移動することができるGUI部品で、マウスの他、一般的なポインティングデバイスによっても操作できる。まず、マウスポインタ810をビギンボタン815に移動してマウスをクリックする。そして次に、フレーム855にマウスポインタ810を移動してマウスをクリックする。すると新規のビギン点を表す検出矢印802′が表示される。その後元のビギン点である検出矢印802をクリックすることにより、元のビギン点を表す検出矢印802が消える。この結果、検出区間811が左へ１フレーム延長され、検出区間811′となる。同様に、エンド点の修正もエンドボタン816をクリックし、エンド点にしたいフレームをクリックした後もとエンド点の検出矢印をクリックしてエンド点の変更を行う。しかしこの方法では、操作が煩雑であり、直接的に検出区間を変更するわけではない。また、本来の検出区間が、ビギン点とエンド点によって定められるものが、検出区間とは独立してビギン点とエンド点を変更できるため、例えば、エンド点である検出矢印801をフレーム807に移動した場合のように、別の検出区間の範囲内にビギン点やエンド点が入込んで、誤った検出区間になる可能性があり、さらには、ビギン点である検出矢印800が検出矢印801より右側にきたり、エンド点である検出矢印803が検出矢印802より左側にくるような、ビギン点とエンド点の逆転も考えられる。即ち、このように検出区間とビギン点やエンド点が関連していないため、誤った検出区間が作られても、正誤の判断が難しかった。

次にオブジェクト枠の修正について述べる。この修正もマウスポインタ810を使用して行う。図１２において、フレーム画像856のオブジェクト枠806を修正する場合を例にとる。図１２において、フレーム画像852のオブジェクト枠805が人物"X"を示す画素領域818の大きさと位置がほぼ一致しているのに比べ、フレーム画像856のオブジェクト枠806は人物"X"の画素領域820よりもやや大きめで中央よりの位置に表示されている。この場合、オペレータがこのフレーム画像856を見た時、オブジェクト枠806の位置にまどわされ、人物"X"の画素領域がフレームの中央部にいると誤認してしまうので、オブジェクト枠806を人物"X"の画素領域820に合せるためオブジェクト枠806の大きさや位置を修正する必要がある。

なお、オブジェクト枠806を人物"X"の画素領域820に合せて修正する操作を行った場合には、オブジェクト枠806以降にあるすべてのオブジェクト枠についての人物"X"の画素領域（例えば、オブジェクト枠807，808における人物"X"の画素領域821及び822）もまたオブジェクト枠806と同じ大きさと位置とに修正される。

図１５において、IDXアイコン12にマウスポインタ810を移動させ、マウスでダブルクリックするか、またはIDX情報ボタン1053をアタッチすると、図６に示すような、検出結果情報ウインドウがポップアップ表示される。図６は登場人物検出結果情報（IDX情報）を示すIDXパネルの一表示例を示す図で，人物"X"、"B"、"C"それぞれについての検出結果が表示されている。これは上述した同一のM-アイコン群1030，1034，103Aについて、別々の人物について検出処理をした結果である。600はIDXパネル、603は検出範囲表示エリア、604，605，606は検出区間、611はターゲット表示欄、614は検出エリア表示、616は非検出エリア表示、631，632，633はターゲットイメージ、634，635，636は人名、637，638，639は検出区間グラフ、650は検出結果表示欄、640は検出結果表示欄650の表示を横方向にスライドさせるスライダ、641は検出結果表示欄650の表示を縦方向にスライドさせるスライダ、241はクローズボタン、810はマウスポインタである。

図６において、IDXパネル600上の検出範囲表示エリア603は横方向に沿って時系列順に表示されている。またさらに、検出範囲表示エリア603は検出区間604〜606に分かれている。この検出区間604〜606はオペレータがアタッチしたM-アイコン1030，1034，103Aのカットの長さ（＝フレーム数）に応じて区切られている。即ち、M-アイコン1030のフレーム数と検出区間604のフレーム数は対応しており、M-アイコン1034と検出区間605のフレーム数、M-アイコン103Aと検出区間606のフレーム数もまた対応している。また、ターゲット表示欄611には、検出した人物のターゲットイメージ631，632，633とその人名634，635，636とが縦方向に表示される。例えば、人物"X"を検出した場合にはターゲットイメージ631と人名634とがターゲット表示欄611に表示され、かつその右横の検出結果表示欄650に検出区間グラフ637が表示される。さらに人物"B"を検出した場合には、人物"X"の下側のターゲット表示欄611にターゲットイメージ632と人名635が表示され、かつその右横の検出結果表示欄650に検出区間グラフ638が表示される。同様に、人物"C"を検出したときにはターゲットイメージ633と人名636がターゲット表示欄611の下側に表示され、かつその右横の検出結果表示欄650に検出区間グラフ639が表示される。これらのターゲットイメージ631，632，633は、人物"X"，"B"，"C"をそれぞれ検出するために特徴的な色を取得するために使用した拡大表示画像のフレーム画像（例えば、図５のフレーム画像521）である。ターゲットイメージ631〜633の下の人名634〜636にはそれぞれの検出対象名が表示される。この検出対象名は、例えば、前述の図５において検出を行う際に、オブジェクト名記入欄547に入力される。検出区間グラフ637，638，639の表示欄は有限であるので、検出領域が広く一度に全ての検出領域が表示できない場合がある。その場合は、スライダ640を操作して、表示を横方向にスクロールさせる。また、検出した人物の数が多い場合にも一度に検出した人物の全てを表示できない（図６の例では一度に表示できる数は３人）。この場合には、スライダ641を操作して表示を縦方向にスクロールさせる。以上述べたように、検出区間グラフ637〜639の領域には、カット即ちM-アイコン1030，1034，103Aに対して実行された人物"X"，"B"，"C"の検出結果が示されている。

次に、検出結果を、検出区間グラフ637を例にして説明する。検出結果表示614は、M-アイコン1030，1034，103Aについて、検出区間604，605，606の間で人物"X"が検出された区間を示しており、非検出結果表示616は検出されなかった区間を示している。例えば、検出区間604はM-アイコン1030に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出区間605はM-アイコン1034に関連付けられたフレーム画像の集合について時間的に並べたものであり、検出区間606はM-アイコン103Aに関連付けられたフレーム画像の集合について時間的に並べたものである。また、１つのフレーム画像についてそれぞれ所定の幅を持たせて表示しており、図６では検出エリア表示614を斜線パターンで表示し、非検出エリア表示616は灰色に塗りつぶして表示して区別している。また、検出・非検出の表示は区別がつけばどんな表示でもよく、例えば、検出エリア表示614と非検出エリア表示616とを互いに異なる斜線パターンで区別して表示してもよい。また例えば、検出エリア表示614はオレンジ色で表示し、検出されなかった非検出エリア表示616は灰色で表示することでもよいし、別の表示例として、片方を点滅させてもよい。検出結果の確認を終ったときは、クローズボタン241をアタッチするとIDXパネルが閉じる。

この検出エリア表示614及び非検出エリア表示616は、図５のM-アイコン1030，1034，103Aの側面にも表示される（図示しない）。図１７(a)，(b)，(c)は、図１５のM-アイコン1030，1034，103Aの側面に、人物検出"X"の結果が表示されていることを拡大して示した図である。図６と同様に、検出区間604はM-アイコン1030の領域、検出区間605はM-アイコン1034の領域、検出区間606はM-アイコン103Aの領域をそれぞれ示す。M-アイコンの側面の幅はそのM-アイコン自身のフレーム数（１つのフレーム画像についてそれぞれ一定の厚みを持たせて表示）を示しているので、検出エリア表示614としてそのフレームの数に相当する分だけM-アイコン1030，1034，103Aの側面を斜線で表示する。また、非検出エリア表示616としてそのフレームの数に相当する分だけM-アイコン1030，1034，103Aの側面に灰色で表示する。この表示は、検出結果として常に表示する設定でもよいが、通常はターゲットイメージ630をオペレータがアタッチした場合に行うとしてもよく。また、どちらか一方を表示してもよい。なお、図１７(a)，(b)，(c)に示したM-アイコン1030，1034，103Aは、それぞれに関連付けられた画像を縮小した表示用画像が実際には表示されているが、図１７(a)，(b)，(c)では省略している。

以上述べたように、登場人物検出のためには、指定作業や検出された結果の修正作業などを行うためのIDパネルと、過去の検出結果の一覧やその時の指定したフレーム情報、さらには、未検出領域の確認などを行うためのIDXパネルがあり、これら２つのパネルと編集用ウインドウを使って作業を行う。
特開平１０−０５１７３３号公報

前述の従来技術には、登場人物検出のために３つのウインドウ（IDパネル、IDXパネル、編集用ウインドウ）を操作する必要がある。しかしこれらのウインドウは、各々のウインドウに設定された（作り込まれた）機能を設定・実行させる場合にのみモニタ上に表示され、各々のパネル間相互の関連や、動画像編集自体を実行する編集用ウインドウ内の素材エリアと編集エリアとの関係をその都度確認することができないという欠点があった。

本発明の目的は、上記のような欠点を除去し、IDXパネルにおいてIDパネルと編集用ウインドウでのデ−タ作成・修正結果が一目で分るような編集方法を提供することにある。

上記の目的を達成するため、本発明の動画像編集方法は、上述の２つのパネルと、編集用ウインドウとを常に表示させる。さらに、一方のパネルでの処理を、他方のパネルに同時に反映させるようにし、併せて、編集用ウインドウのM-アイコンにも表示を行うようにすることによって、表示画面上に表示される画像素材のアイコンを選択して画面表示操作による編集を行う動画像編集装置に使用し、編集する画像素材のM-アイコンを選択したときに、編集における結合順番をM-アイコンとともに表示し、編集作業を容易にした動画像編集方法を実現できる。

本発明によれば、動画像編集装置を使用して動画像の編集を行うとき、編集作業において変更した内容をIDパネルとIDXパネル相互で同時に表示するため、それぞれのパネルの特性（つまり、IDパネルではフレーム単位で実際の画像データを見ての、IDXパネルではM-アイコン単位やそれに準ずるフレーム単位での）確認作業が行うことが可能となり、編集の効率を向上させることができる。

以下、本発明の登場人物検出機能におけるIDパネルとIDXパネルおよび、編集エリア1010と素材エリア1020それぞれ相互間の動作について、実際の検出処理の手順に従って説明する。既に説明した図４の編集用ウインドウにおいて、オペレータが編集用ウインドウ1000からM-アイコン1030，1034，103Aを選択したとすると、図７に示すように、選択したM-アイコン1030，1034，103Aの周囲が太い色枠（例えば、赤い実線）で囲まれて選択されたことが判別できる。図７は、M-アイコンを選択したときの編集用ウインドウの一実施例を説明する図である。図７は図４と同様のものは同じ番号を付しており、その他、1001は編集用ウインドウである。このように、オペレータは、まず始めに登場人物の被検出区間となるM-アイコンを選択する。このとき、選択するM-アイコンは複数であったり、編集エリア1010と素材エリア1020のどちらでもよく、両方に渡ってもよい。またツリー構造の上位のM-アイコンであってもよい。

次に編集機能ボタンスイッチ群1050の中から、登場人物検出ボタン1051をクリックするとモニタ3080上には、編集用ウインドウ100の一部または全体に重なるようにIDパネル50が表示される。図１８は編集用ウインドウ100の上を完全に覆って、IDパネル50が表示された一例を示す図である。図１８はIDパネルの初期状態の表示画面で、既に説明した図５のIDパネルと同一のものには同一の番号を付した。その他、500′はIDパネルである。図１８において、IDパネル500′はIDパネルの初期状態の表示画面で、先頭の１０フレームのフレーム画像がフィルムイメージ501として表示される。また、拡大表示エリア502には、オペレータが指定したフレーム画像が表示される。なお、図１８ではフィルムイメージ501の各フレーム画像を省略している。

検出を行う第一ステップとして、オペレータは図１８において、IDパネル500′に表示されたフィルムイメージ501の中から所望の（検出しようとする人物が存在する）フレーム画像を選択し、拡大表示エリア502にドラッグ・アンド・ドロップする。この時、拡大表示エリア502には、図５に示すように、選択したフレームに相当するフレーム画像（あるいは適当な大きさに間引いた画像：以下、拡大表示画像と称す）が、情報記憶装置3060から読出され、表示される。次に、オペレータは、表示された拡大表示画像の中から検出対象しようとする人物"X"について特徴的な色の領域について色指定枠503，504，505を選択し、オートサーチボタン511を押して、検出処理を開始する。以下、検出処理の動作は従来技術の通りなので、説明を省略する。

図２０は本発明のIDパネルの一実施例を説明する図である。図２０は図５のIDパネルにオブジェクト枠が追加表示された図である。図５と同一のものには同一の番号を付した。その他、500″はIDパネル、531は検出区間、506は検出区間531のビギン点を表す検出矢印、507は検出区間531のエンド点を表す検出矢印、561〜563はオブジェクト枠である。即ち、図５のIDパネル500において検出処理が実行されると、被検出対象の各フレームに対して検出処理がなされ、人物"X"の存在する領域とそのフレーム番号を記憶する。そして、検出処理が終了すると、図２０に示すように、人物"X"が検出されたフレームをIDパネル500″のフィルムイメージ501上で検出矢印506（ビギン点）と検出矢印507（エンド点）で挟み、人物"X"の存在する画像領域をオブジェクト枠561〜563で囲んで表示する。なお、図２０では、検出されなかったフレーム画像は記載を省略した。図２０において、人物"X"の検出の結果がよければ、オペレータはOKボタン541を押し、IDパネル500″の表示サイズを縮小し、モニタ3080の所定の場所、例えば左上の部分に表示する。そして、同時に図６のようなIDXパネル600が編集用ウインドウ100とIDパネルの上を覆って表示される。IDXパネル600には、上記で行った登場人物の検出処理の結果が表示されている。この状態で、検出結果の確認を終えた後、クローズボタン241を押すとIDパネル50が表示されたモニタ3080の所定の場所、例えば右上隅の部分に縮小されて表示される。

前述のIDパネル及びIDXパネルはモニタ3080内に縮小された状態で表示されるが、表示の大きさは任意に変更（拡大または縮小）ができ、例えば、操作の都合で、一部だけ見えるように拡大表示して、操作終了後、前述の大きさでモニタ3080の所定の場所に縮小されて表示される。

この状態の一実施例を示したのが図１である。図１は、本発明の一実施例を説明する図で、モニタ3080にIDパネルとIDXパネル、および編集用ウインドウ（即ち、編集エリアと素材エリア）とが同時に表示されている。100は編集用ウインドウ、1010は編集エリア、1020は素材エリア、50はIDパネル、60はIDXパネルである。

本発明の別の実施例を図１を用いて説明する。ここで、図１で表示されている編集用ウインドウおよびIDパネルおよびIDXパネルのそれぞれの表示内容については、オペレータが編集操作を行う段階において、編集操作の内容に応じて変化していくので、詳細は省略する。まず、図１において、編集用ウインドウ100は図４の編集用ウインドウ1000、IDパネル50は図１８のIDパネル500′を、IDXパネル60は図１９のIDXパネル600′を用いて説明を行う。図１において図１８はIDパネルの初期状態の表示画面の一実施例で、既に説明した。また、図１９はIDXパネルの初期状態の表示画面で、既に説明した従来技術で既に説明した図６のIDXパネルと同一のものは同一の番号を付した。その他600′はIDXパネル、237，238，239は検出結果表示エリア、240は新規ボタン、242は検出ボタン、243は結合ボタン、244は結合解除ボタン、245はプレビューボタン、246はインフォメーションボタン、247は可視範囲調整ボタン、248は修正ボタン、291，292，293はターゲットイメージ表示エリアである。図１において、モニタ3080には、編集用ウインドウ100として、まず図４の編集用ウインドウ1000が表示され、その上側に重ねてIDパネル50として図１８のIDパネル500′とIDXパネル60として図１９のIDXパネル600′が表示されている。

図４において、オペレータが、編集ウインドウ1001からM-アイコン1030， 1034，103Aを選択したとすると、選択したM-アイコン1030， 1034，103Aの周囲が太い色枠で囲まれている（例えば、赤い実線が点滅）ので、それらのM-アイコンが選択されたことが一目で判別できる。そして同時に、IDパネル50の表示は図５のIDパネル500に変化する。また先頭の１０フレームのフレーム画像がフィルムイメージ501として表示される。

次に、IDXパネル60は、オペレータの選択したM-アイコン1030， 1034，103Aのすべてが、過去に１回も検出対象になっていない場合には、図１９のIDXパネル600′に示すようにターゲットイメージ表示エリア291，292，293および検出結果表示エリア237，238，239はともに空欄となっている。

検出を行う場合は、既に図５と図１８で説明したように、IDパネル500に表示されたフィルムイメージ501の中から検出しようとする人物または対象物が存在する所望のフレーム522を選択し、拡大表示エリア502にドラッグ・アンド・ドロップする。そして、拡大表示エリア502に表示された、情報記憶装置3060から読出したフレーム画像（あるいは適当な大きさに間引いた画像：以下、拡大表示画像と称する）が表示される。次に、オペレータは、この拡大表示画像520の中から検出対象の画像（例えばこの場合は、人物"X"）について特徴的な色指定枠503，504，505を選択して，オートサーチボタン511を押して検出処理を開始する。この場合、IDパネル500の表示画面が小さく見難い場合はIDパネル500を適当な大きさに拡大して表示する。

ここで、拡大表示エリア502にドラッグ・アンド・ドロップしたフレーム画像522がターゲットイメージ631であり、既に図６において説明した、IDXパネル600におけるターゲットイメージ631の一覧表示611に表示されるのが、このフレーム画像522である。

被検出対象の各フレームに対して検出処理が実行されると、それらの各フレームについて人物"X"の存在する領域とそのフレーム番号が保存される。そして、検出処理結果として、既に図２０において説明したように、人物"X"が検出されたフレームをIDパネル500′のフィルムイメージ501上で検出矢印（ビギン点）506と検出矢印（エンド点）507で挟み、人物"X"の存在する画像領域をオブジェクト枠561〜563で囲んで表示する。

その時本発明では同時に、図１に表示されているIDXパネル60と編集用ウインドウ100とにこの検出状態を反映させる。即ち、編集用ウインドウ100には、図１５で示した編集用ウインドウ1000′が表示され、IDXアイコン12が作成されている表示となる。また、M-アイコン1030，1034，103Aの側面には図１７(a)，(b)，(c)で示したように、検出結果が表示されている。

さらにまたIDXパネル60には図１１で示すようなIDXパネルが表示される。図１１に示したIDXパネルは、図１のIDXパネル60に表示されたIDXパネルの表示の一実施例である。図１１で、図１９と図６と同一のものには同一の番号を付した。その他、6000はIDXパネルである。また、614′は新規に追加された検出区間エリア表示で、616′は削除された検出区間エリア表示であり、後で説明する。図１１において、ターゲットイメージ表示領域611に、ターゲットイメージ631を表示し、検出区間グラフ637に検出されたフレームの状態をフレーム単位で表示される。即ち、この検出区間グラフ637には、選択したM-アイコン1030，1034，103A単位で区切った領域604，605，606の中で、人物"X"が検出された領域614をフレーム単位で塗りつぶし、登場人物"X"の存在するフレーム位置を表示している。

図１のように、編集用ウインドウ100と同時にIDパネル50とIDXパネル60の両方を表示し、検出された状態を他の情報表示欄に同時に反映させることで、M-アイコン単位（IDXパネル）やフレーム単位（IDパネル、IDXパネル）で確認することができる。

次に、この検出された結果を修正する場合の表示方法について説明する。ここで、修正作業には検出区間531（即ち、検出矢印506と507で挟まれた区間）の修正と、オブジェクト枠561，562，563の修正があるが、連携表示の場合には検出区間の修正について行う。この作業は図１のIDパネル50に表示されている図２０のIDパネル500′において、修正しようとするフレームをフィルムイメージ501に表示させ、ビギン点の検出矢印506あるいはエンド点の検出矢印507の矢印をマウスポインタ810でドラッグすることで行う。この修正作業を行う時、図１のIDXパネル60には図１１のIDXパネル6000が同時に表示されており、人物"X"の検出区間614が検出区間グラフ637に表示されているので、検出区間グラフ内の検出処理を行ったM-アイコンの領域に対して、その任意のフレーム位置をマウスでダブルクリックすれば、当該フレームの画像データがフィルムイメージ501の先頭（IDパネルの左端）になるように表示できる。この結果、検出結果の修正あるいは確認のために、所望のフレームをフィルムイメージ上に表示させる作業が容易になった。また、これは検出区間を新たに追加する場合にも同様である。またこの時、編集用ウインドウ1000上の当該M-アイコンに対してビーム表示10を行う。

次に、IDパネル50側での操作をさらに詳しく説明する。まず始めに、検出区間531の変更を行う場合である。これは、前述のようにマウスポインタ810を動かしてビギン点の検出矢印506あるいはエンド点の検出矢印507を移動させることで実現する。この時、オペレータが検出矢印506または507を移動させるのにあわせて、IDXパネル6000の検出区間グラフ637の検出フレームを示す塗りつぶし領域614が変化する。

次に、"検出もれ"などのため新たに検出区間をオペレータが追加する場合を述べる。この作業は、オペレータが追加する区間として，フィルムイメージ501上の所望のフレーム画像をクリック（あるいはドラッグ）して選択し、検出区間追加ボタン512を押して行う。そして、この選択領域（フレーム画像）の状態は、マウスポインタ810のクリック（あるいはドラッグ）の動きに合せて同時に、IDXパネル6000上の検出区間グラフ637に反映して表示される。この検出区間グラフ637でのエリア表示614′と616′は、検出フレームを示す塗りつぶしの場合とは区別できるように、別の色や別の模様またはその組合せ等で表示する。これにより、オペレータは、現在どのM-アイコンのどの辺りのフレームについて選択・変更を行っているかを、ウインドウ表示を切換えることなく、一目で、より簡単に知ることができる。この情報は、従来のフィルムイメージ501だけからでは分かり難かったものである。これは、検出結果を削除する場合にも同様である。その場合は、検出区間追加ボタン512の代りに検出区間削除ボタン514を押す。この時、この検出区間グラフ637での表示は、検出フレームを示す塗りつぶしの場合及び、検出区間を追加したときとは区別できるように、別の色や別の模様またはその組合せ等で表示する。

次に別の実施の形態として、過去に１回以上検出処理を行っている場合について説明する。ここでは、既に編集作業を行っている図１６のツリー構造1040を情報記憶装置3060から呼出した場合説明する。図１６は本発明の一実施例の編集用ウインドウを説明するための図である。図１６で図１５と同じものには同じ番号を付した。その他、1000′は編集用ウインドウ、11はIDXアイコン、121A，121B，121C，・・・，121H，121I，・・・は編集エリア1010内の最下位のカット画像を表すM-アイコンである。また、このツリー構造1040は、過去に最上位のM-アイコン1240を選択して（つまり、最下層のすべてのM-アイコン1210を被検出領域として）一回検出処理を行っている。まず、ツリー構造1040に対して、最上位のM-アイコン1240を選択し登場人物検出機能ボタン1051を押した場合について説明する。図１２に示すのように、モニタ3080上には編集用ウインドウ50の上に、IDパネル50とIDXパネル60とが表示される。この時、IDパネル50には図１６に示した最下位で先頭（左端）のM-アイコン121Aの、始めの１０フレーム分がフィルムイメージ501に表示されており、IDXパネル60には図１１に示すように検出時に指定したターゲットイメージ631がターゲットイメージの一覧表示エリア611に表示され、検出結果グラフ637には検出されたフレームの状態が表示されている。ただし、この状態では以前の検出処理の結果はIDパネル50には表示されていない。この検出結果を表示させるためにはIDXパネル60の所望のターゲットイメージ631（図１１）をクリックする。これによりIDパネル50の拡大表示エリア502（図５）には、ターゲットイメージ631のフレームの画像データが表示され、同時に色指定を行った色指定枠503，504，505が表示される。さらにフィルムイメージ501にはビギン点を示す検出区間506とエンド点を示す検出区間507が表示され、検出区間507内のそれぞれのフレーム画像521，522，523には、それぞれオブジェクト枠561，562，563が表示される。また、ターゲットイメージ631（図１１）をクリックすると、人物"X"が検出されたM-アイコン 121A，121B，121C，121E，121Gが赤枠の破線で囲まれて表示される（図１６）ため、その人物が存在するM-アイコン121A，121B，121C，121E，121Gのみを集めて、ダイジェスト版を作る作業などに便利である。また図１６では、素材エリア1020にあるM-アイコン1030，1034，103Aも赤枠表示されているが、これらのM-アイコン1030，1034，103Aそれぞれを編集エリア1010のM-アイコン121A，121B，121Cにそれぞれコピーした場合であり、その他のM-アイコン121D，・・・，121H，121I，・・・は移動したものである。

次に、ツリー構造1040を呼出した状態で、新たに素材エリアからM-アイコンを追加した場合を考える。図１３と図１４は本発明の一実施例の編集用ウインドウを説明するための図である。図１３で図１６と同じものは同じ番号を付した。その他、1001は編集用ウインドウ、1040′は編集エリア1020中のツリー構造、121Zは新たにM-アイコン121Aと121Bの間に挿入されたM-アイコン、11′はIDX情報ボタンである。図１４は図１について、ビーム表示10を追加表示させた一実施例である。また図１１の検出区間604で示されるM-アイコン103Aの後ろに追加した場合の例を示したのが図８である。図８は本発明の一実施例のIDXパネルを説明するための図で、図１のIDXパネル60に表示されたIDXパネルの表示の一実施例である。図１１と同じものには同じ番号を付した。その他に、6001はIDXパネル、607は新たに追加された領域、608は新規に検出されたフレーム画像の場所を示している検出区間表示の検出未処理区間表示である。また、図９は本発明の一実施例のIDパネルを説明するための図である。図９で図１８と同じものは同じ番号を付した。その他、5000はIDパネル、901は検出未処理区間、902はフィルムイメージ、903は検出矢印、904は枠部分である。図１３において、動画像編集の過程で、検出処理を行っていないM-アイコン121ZがM-アイコン121Aと121Bの間に挿入されたために、ツリー構造1040′にはある人物"X"について検出処理を行ったM-アイコン（つまり、人物"X"の検出が済んだ領域604，605，606）と、検出処理を行っていないM-アイコン（つまり、人物"X"の検出が済んでいない領域607）とが混在している。この状態で登場人物検出ボタン1051を押すと、IDパネル50とIDXパネル60では、検出処理を行っていないM-アイコン121Zの領域が表示され、検出フレームを示す色や選択領域を示す色とは別の色で塗りつぶして、その存在を明示する。

例えば、IDパネル50においては図９に示すように、フィルムイメージ902の検出未処理区間901の枠部分904を識別できる色または模様またはそれらの組合せによって塗りつぶし、IDXパネル60では、図８に示すように未検出処理区間608を前述のように異なる色または模様またはそれらの組合せによって塗りつぶす。この例では、検出区間607の全ての領域で人物"X"が検出されている。オペレータがこの区間901の映像について人物検出したい場合には、IDXパネル6001において検出未処理区間表示608をダブルクリックする。このとき、IDパネル5001のフィルムイメージ901にその検出未処理区間608の先頭のフレーム画像１０フレーム分を表示する。また、あわせてその検出未処理区間608のM-アイコン103Zに対してビーム表示10がなされる。これにより編集中のM-アイコンの特定と、編集作業の関係が明確になる。なお、ビーム表示10とは、図１４に示すように、別ウインドウ間で関連のあるデータの表示同士をビーム状の表示で結ぶもので、形状、色、模様等は任意であり、例えばその情報量や情報内容によって識別できるように変えて表示することも可能である。

上述の、IDXエリアでの新規検出領域が追加される順番は、編集エリアでの編集されたツリー構造の順番にしたがっているが、この追加される順番は、その他に、アタッチした順番や、素材エリアでの表示の順番であってもよい。

ここで、実際に検出処理を実行した場合について述べる。この時メモリ3020には既に検出したM-アイコンの番号情報が読込まれているため、検出未処理のM-アイコンのフレームについてのみの検出を行うことができる。検出結果は、IDパネル50では、ビギン点を表す検出矢印506とエンド点を表す検出矢印507の矢印を既検出の矢印とは色を変えて表示することで区別して表示する。また、IDXパネル60においても既検出のフレームとは別の色で塗りつぶすことで、今回の検出処理で検出されたフレームであることを明確にする。なお、この色を違えた表示はオペレータが検出矢印506，507を移動させたり、OKボタン541を押すことで編集作業を終了し、再び呼出した場合には、既検出の検出矢印と同じ色での描画になる。

最後に、これらのパネルはIDパネル50またはIDXパネル60のOKボタン541あるいはキャンセルボタン542を押して、編集作業を終了することで閉じられる。
なお、編集用ウインドウとIDパネルとIDXパネルとはそれぞれマウス等の入力装置3090を用いることで移動させることができる。図１０と図２は本発明の編集用ウインドウの一実施例を説明する図である。図１とほとんど同じであるが、201，202，203はモニタ表示画面、は50′と50″はIDパネル、60′と60″はIDXパネル、100′と100″は編集用ウインドウである。例えば、図１０に示すように、編集用ウインドウ100′とIDパネル50′とIDXパネル60′の表示位置は、１つまたはすべてのパネルが重ならないようにしてもよい。さらに、図２に示すように、モニタ3080は、複数の表示画面201，202，203を有し、それぞれに別々に、IDパネル50″、編集用ウインドウ100″、IDXパネル60″が表示される構成であっても良い。さらにまたは複数個のモニタで構成されていても良い。なお、この場合には、例えば、モニタ201，202，203の設置位置をあらかじめCPU3010に教示しておくことで、ビーム表示を可能にする。

本発明の編集用ウインドウ、IDパネル、IDXパネルを同時に表示させたモニタ画面の一実施例を示す図。 本発明の編集用ウインドウ、IDパネル、IDXパネルを同時に表示する一実施例を示す図。 従来の動画像編集装置の一構成例を示すブロック図。 従来の編集用ウインドウの一例を示す図。 従来のIDパネルの一例を示す図。 従来のIDXパネルの一表示例を示す図。 本発明の編集用ウインドウの一実施例を説明する図。 本発明のIDXパネルの一実施例を説明する図。 本発明の一実施例のIDパネルを説明するための図。 本発明の編集用ウインドウ、IDパネル、IDXパネルを同時に表示させたモニタ画面の一実施例を示す図。 本発明のIDXパネルの一実施例を説明する図。 従来の登場人物検出結果の確認や修正を行う場合のIDパネルの一例を示す図。 本発明の一実施例の編集用ウインドウを説明するための図。 本発明の一実施例の編集用ウインドウを説明するための図。 従来の登場人物検出を行った結果の編集用ウインドウの一例を示す図。 本発明の一実施例の編集用ウインドウを説明するための図。 M-アイコンの側面に、人物検出"A"の結果が表示されていることを拡大して示した図。 本発明のIDパネルの一実施例を説明する図。 本発明のIDXパネルの一実施例を説明する図。 本発明のIDパネルの一実施例を説明する図。

符号の説明

10：ビーム表示、 11，11′，12，13，14：IDXアイコン、 50，50′，50″：IDパネル、 60，60′，60″：IDXパネル、 80：IDパネル、 100，100′，100″：編集用ウインドウ、 201，202，203：モニタ表示画面、 237，238，239：検出結果表示エリア、 240：新規ボタン、 241：クローズボタン、 242：検出ボタン、 243：結合ボタン、 244：結合解除ボタン、 245：プレビューボタン、 246：インフォメーションボタン、 247：可視範囲調整ボタン、 248：修正ボタン、 291，292，293：ターゲットイメージ表示エリア、305：拡大表示画像、 306：拡大表示エリア、 500，500′，500″：IDパネル、 501：フィルムイメージ、 502：拡大表示エリア、 503，504，505：色指定枠、506，507：検出矢印、 508：静止画ビュースライダ、 509：スライダつまみ、 510：表示フレ−ム単位変更スライダ、 511：オートサーチボタン、 512：検出区間追加ボタン、 514：検出区間削除ボタン、 520：拡大表示画像、 521〜530：フレーム画像、 531：検出区間、 532：スライドカーソル、 541：OKボタン、 542：キャンセルボタン、 543：飛越し検出量設定部、 544：ジャンプボタン、 545：オブジェクトボタン、 546：マニュアルサーチボタン、 547：オブジェクト名記入欄、 600，600′：IDXパネル、 603：検出範囲表示エリア、 604，605，606：検出区間、 607：領域、 608：検出未処理区間表示、 611：ターゲット表示欄、 614：検出エリア表示、 614′：追加された検出エリア表示、 616：非検出エリア表示、 616′：削除された検出エリア表示、 631，632，633：ターゲットイメージ、 634，635，636：人名、 637，638，639：検出区間グラフ、 650：検出結果表示欄、 640，641：スライダ、 800，801，802，802′，803：検出矢印、 804，805，806，807，808：オブジェクト枠、 809：フィルムイメージ、 810：マウスポインタ、 811，811′，812：検出区間、 815：ビギンボタン、 816：エンドボタン、 817，818，820，821，822：画素領域、 850〜859：フレーム画像、 901：検出未処理区間、 902：フィルムイメージ、 903：検出矢印、 904：枠部分、 1000，1000′，1001：編集用ウインドウ、 1010：編集エリア、 1020：素材エリア、 1030，1031，1032，1033，1034，・・・，103A，・・・，103M，103N，・・・： M-アイコン、 103Z： M-アイコン、 1040，1040′：ツリー構造、 1050：編集機能ボタン群、 1051：登場人物検出ボタン、 1052：ツリー構造作成ボタン、 1053：IDX情報ボタン、 1054：ID情報ボタン、 1070，1080，1090：スライダ、 1210：カット画像を表すM-アイコン、 121Z，121A，121B，121C，・・・，121H，121I，・・・：カット画像を表すM-アイコン、 1220：シーン画像を表すM-アイコン、 1230：１つ以上のシーン画像で構成したM-アイコン、 1240：テーマに合せ編集された動画像（番組）を表すM-アイコン、 3010：CPU、 3020：メモリ、 3030：カット変化点検出部、 3040：画像再生装置、 3050：ビデオインターフェース、 3060：情報記憶装置、 3070：フレームバッファ、 3080：モニタ、 3090：入力装置、 3100：バス、 3110：画像信号出力端子、 5000，5001：IDパネル、 6000，6000′，6001：IDXパネル。

Claims (3)

1. 複数のフレーム画像からなる動画像を編集画面において編集する動画像編集装置であって、
   前記複数のフレーム画像に含まれる特定の画像を検出し、該特定の画像が登場するフレームの情報を検出画面に表示し、
   前記特定の画像が検出された領域を、前記どの複数のフレーム画像に存在するかを、検出結果表示画面に、前記検出に用いた特定の画像毎に表示する動画像編集方法において、
   前記編集画面と共に、前記検出画面と前記検出結果表示画面とを表示し、互いの画面での処理命令または処理結果が別の画面にも即時に反映することを特徴とする動画像編集方法。
2. 請求項１記載の動画像編集方法において、
   前記複数のフレーム画像が少なくとも１つ以上集ってカット画像を構成し、
   該カット画像を高速表示用およびカットの代表画像として縮小表示した表示用画像を、GUI（Graphical User Interface）として画面操作することによって、前記編集画面に構成および表示することを特徴とする動画像編集方法。
3. 請求項２記載の動画像編集方法において、
   前記編集画面に表示された前記表示用画像と、前記検出画面または前記検出結果表示画面に表示されている前記表示用画像と関連する領域とをビーム表示したことを特徴とする登場人物検出方法。