JP2017184139A - 編集装置、編集方法及びプログラム - Google Patents

Abstract

【課題】ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことを目的とする。【解決手段】作業映像を編集する編集装置であって、作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、作業内容を示す作業情報と、部分映像と、に基づいて、複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、選択手段により選択された各工程の代表部分映像を連結し、編集映像を生成する再構成手段とを有する。【選択図】図３

Description

本発明は、編集装置、編集方法及びプログラムに関する。

従来、複数の映像データを任意の区間毎に分割し、分割された各区間の部分映像を組み合わせたり、入れ替えたりして新たな映像データを作成する技術が知られている。特許文献１には、同じ事柄を説明した複数のニュース映像から共通のストーリーを作成し、そのストーリーに沿って再構成されたニュース映像を生成する技術が開示されている。また、特許文献２には、コンテンツの著作者達の元々の意図、つまりコンテンツの同一性をある程度保つようにコンテンツを入れ替え、映像データの編集を行う技術が開示されている。また、特許文献３には、放送コンテンツを受信する際にエラーが起きた場合、他の機器から受信したコンテンツを利用して修正を行う技術が開示されている。

特表２００８−５３７６２７号公報 特開２００７−２０７４０５号公報 特開２００８−１６０６９８号公報

しかしながら、作業の教育など特定の目的のための映像を作成する場合、目的に応じた映像を選択するのが難しいという問題がある。例えば、複数の映像を編集して、１つの作業の教育の映像を作成する場合には、アングルが望ましくなく作業対象物が作業員の陰に隠れた部分映像が採用されてしまうという問題がある。また、他に作業内容がわかり易い映像があるにも関わらず、それ以外の部分映像が採用されてしまうという問題がある。また、このような映像の編集を手動で行うのは手間がかかるという問題もある。

本発明はこのような問題点に鑑みなされたもので、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことを目的とする。

そこで、本発明は、作業映像を編集する編集装置であって、作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段とを有することを特徴とする。

本発明によれば、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことができる。

映像管理システムを示す図である。 編集装置のハードウェア構成を示す図である。 編集装置のソフトウェア構成を示す図である。 文書データの一例を示す図である。 編集映像の作成処理を示すフローチャートである。 処理の説明図である。 編集映像の更新処理を示すフローチャートである。 第２の実施形態に係る作成処理の一部を示すフローチャートである。 処理の説明図である。

以下、本発明の実施形態について図面に基づいて説明する。
図１は、第１の実施形態に係る映像管理システムを示す図である。映像管理システムは、画像を編集する編集装置１００と、編集装置１００とネットワークを介して接続する複数台のカメラ１１０と、を有している。各カメラ１１０は、作業者が作業をしている様子１２０の映像、すなわち作業映像を撮影する。各カメラ１１０により得られた作業映像は、編集装置１００に記録される。編集装置１００は、各カメラ１１０により得られた作業映像それぞれを複数の部分映像に分割し、部分映像を繋ぎ合わせる編集処理を行うことにより、編集映像を作成する。本実施形態に係る編集装置１００は、作業映像の編集により、物品の製造工場の作業員の作業を教育するための教育映像を生成する。なお、カメラ１１０としては、教育映像を生成する用途で設けられたものではなく、例えば作業の監視等他の目的で設置されたものを用いることできる。

図２は、編集装置１００のハードウェア構成を示す図である。ＣＰＵ２０１は、ＲＡＭ２０６やＲＯＭ２０７に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ２０１は、編集装置１００全体の動作制御を行うと共に、編集装置１００が行うものとして後述する各処理を実行する。入力装置２０２は、ボタン群などのユーザインターフェースであり、ユーザが操作することで各種の入力を編集装置１００に対して行うことができる。出力装置２０３は、液晶画面やスピーカなどにより構成されており、ＣＰＵ２０１による処理結果を表示したり音声出力したりすることができる。なお、入力装置２０２によるユーザインターフェース機能と出力装置２０３による表示機能とを組み合わせてタッチパネル画面を構成しても構わない。

通信装置２０４は、外部からのデータの入出力を受け付けるためのＵＳＢポート、ＬＡＮポートなどのインターフェースにより構成されている。通信装置２０４には、カメラ１１０や、作業映像や記録映像を記録したメディア等が接続され、処理対象データの入出力が行われる。

記憶装置２０５は、ハードディスクドライブ装置やフラッシュメモリなどにより構成されている。記憶装置２０５には、ＯＳ（オペレーティングシステム）や、編集装置１００が行うものとして後述する各処理をＣＰＵ２０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。以降の説明において、処理に用いる映像データや新たに作成した映像データの登録先は記憶装置２０５となる。記憶装置２０５に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０６にロードされ、ＣＰＵ２０１による処理対象となる。

ＲＡＭ２０６は、記憶装置２０５からロードされたコンピュータプログラムやデータを格納するためのエリアを有する。更にＲＡＭ２０６は、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０６は、各種のエリアを適宜提供することができる。ＲＯＭ２０７には、編集装置１００の設定データや起動プログラムなど、書き換え不要なコンピュータプログラムやデータが保存されている。なお、後述する編集装置１００の機能や処理は、ＣＰＵ２０１がＲＯＭ２０７又は記憶装置２０５に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。ＣＰＵ２０１、入力装置２０２、出力装置２０３、通信装置２０４、記憶装置２０５、ＲＡＭ２０６、ＲＯＭ２０７は何れもバス（ＢＵＳ）２０８に接続されている。

図３は、編集装置１００のソフトウェア構成を示す図である。文書取得部３００は、文書を取得する。具体的には、文書取得部３００は、編集装置１００が作成対象とする編集映像、すなわち教育映像における教育内容となる作業の工程表と、作業標準書を文書として取得する。図４（ａ）は、工程表の一例を示す図である。工程表４０１には、工程番号（Ｎｏ）と、工程における作業内容と、工程の所要時間と、が記されている。また、図４（ｂ）は、作業標準書の一例を示す図である。作業標準書は、工程毎の作業内容を示す文章の他、工程に係る写真や図等を含むデータである。作業標準書は、編集装置１００が編集対象とする編集映像の視聴対象者となる学習者が一通りの作業を覚えるために読む文書である。なお、文書取得部３００は、各文書が電子文書である場合には、そのまま取得すればよく、紙等をスキャンしたものである場合には、ＯＣＲによる文字認識によりその内容を取得する。なお、作業標準書は、作業内容を示す作業情報の一例である。

図３に戻り、解析部３０１は、文書取得部３００が取得した文書データに記載された内容を解析する。解析部３０１は、例えば工程表に応じて、作業映像を工程に応じた部分映像に分割するための区間を決定する。解析部３０１はまた、作業標準書に応じて、各区間において教育に適した映像か否かの判断条件を定める。変更認識部３０２は、文書取得部３００が取得した文書データの解析結果に応じて、工程表又は作業標準書に変更があったか否かを認識する。映像取得部３０３は、各カメラ１１０により撮影された映像をリアルタイムに取得する。なお、他の例としては、映像取得部３０３は、過去に撮影された映像をメディア等から取得してもよい。

抽出部３０４は、工程表の解析結果に基づいて、各作業映像から作業に含まれる１工程に対応する区間を単位とする部分映像を抽出する。スコア算出部３０５は、抽出部３０４により得られた各部分映像のスコアを算出する。選択部３０６は、作業に含まれる各工程に対応する映像として再構成に用いる代表部分映像を選択する。再構成部３０７は、選択部３０６により得られた複数の代表部分映像を工程の実行順番に従って繋ぎ合わせることにより、作業内容を教示するための編集映像を生成する。

図５は、編集装置１００による編集映像の作成処理を示すフローチャートである。まず、Ｓ５００において、文書取得部３００は、工程表を取得し、その記載内容を解釈する。文書取得部３００は、具体的には、撮影対象となる作業に含まれる工程数、各工程の内容、各工程の所要時間を特定する。次に、Ｓ５０１において、解析部３０１は、工程を１つ選択する。Ｓ５０１において選択された工程が処理対象として以下の処理が実行される。次に、Ｓ５０２において、解析部３０１は、作業標準書を取得し、その記載内容を解析し、選択中の工程の詳細な作業内容を特定する。解析部３０１は、例えば、選択中の工程で使用する部品や工具等のオブジェクト、選択中の工程で行われる作業員の動作内容、部品の動き、等を特定する。

次に、Ｓ５０３において、映像取得部３０３は、１台のカメラ１１０により得られた１つの作業映像を取得する。そして、映像取得部３０３は、取得した作業映像から、Ｓ５００において取得された工程表４０１に示される、選択中の工程の工程番号及び所要時間に基づいて、選択中の工程に対応する部分映像にマージンを設けて、部分映像を抽出する。そして、映像取得部３０３は、マージンを含む部分映像を対象に内容を解析する。なお、工程表から定まる選択中の工程の所要時間と、実際の作業時間との差が蓄積し、想定された時間からずれが生じている可能性がある。そこで、抽出部３０４は、想定される期間の前後に一定時間のマージンを設けて部分映像を抽出し、これを解析対象とする。

映像取得部３０３は、例えば、選択中の工程で使用する部品、選択中の工程で行われる作業員の動作、等を特定する。なお、Ｓ５０３における映像の内容解析においては、映像取得部３０３は、例えばパターンマッチングや、局所的な特徴量を利用したマッチング等を利用する。なお、認識対象とする動きは画像から認識できる動きの大きなもの、例えばドライバでネジを留める、といったものとする。

次に、Ｓ５０４において、抽出部３０４は、映像取得部３０３により得られたマージンが設けられた部分映像からマージンを除いた部分映像を抽出する。Ｓ５０４においてマージンを除くのは、再構成（編集）に利用する部分映像を得るためである。マージンを残したままにすると、再構成後の映像において、手順毎のつなぎ目で内容の被りが生じ、見難くなる。これを避けるべく、マージンを取り除くこととする。

また、抽出部３０４は、作業標準書４０２に記載された内容と、Ｓ５０３において映像から特定した作業者の動きや、工程で使用される部品等に基づいた対応付けを行うことにより、選択中の工程の開始位置を特定する。抽出部３０４は、認識可能な程度の大きな動きがない等、自動での判断に失敗した場合には、ユーザ操作に応じて、部分映像を抽出してもよい。Ｓ５０４の処理は、作業映像から、各工程の部分映像を抽出する抽出処理の一例である。

次に、Ｓ５０５において、映像取得部３０３は、未処理の映像が存在するか否かを確認し、未処理の映像がある場合には（Ｓ５０５でＹｅｓ）、処理をＳ５０３に進める。Ｓ５０３において、映像取得部３０３は、未処理の映像を取得し、以降の処理が継続する。例えば、３台のカメラ１１０の映像を対象とする場合には、３台のカメラ１１０の映像に対し、Ｓ５０３、Ｓ５０４の処理を繰り返す。映像取得部３０３は、すべての映像に対し、Ｓ５０３、Ｓ５０４の処理が完了すると（Ｓ５０５でＮｏ）、処理をＳ５０６へ進める。

Ｓ５０６において、スコア算出部３０５は、Ｓ５０４において、選択中の工程に対して各映像から抽出された部分映像それぞれのスコアを算出する。スコアは、各部分映像が生成対象の編集映像の、作業教育という目的に対して適した映像か否かの評価値である。スコア算出部３０５は、作業標準書に示される、工程で使用される物品、作業員の動作内容が、部分映像に含まれているかどうかの認識結果に基づいてスコアを算出する。さらに、本実施形態においては、スコア算出部３０５は、作業標準書４０２に示される画像と一定基準以上類似した映像が映っている時間を用いる。これは、類似している時間が長ければ、作業員や道具等によるオクルージョンが起きずに作業対象が映っている時間が長い可能性が高いと考えられるためである。

ここで、配慮が必要な点が２つある。１点目は作業者の手や画像に差し込まれたタグ・指示等によってオクルージョンが発生する可能性がある点、２点目は作業者映像内において類似したシーンが存在することがあるという点である。スコア算出部３０５は、１点目に対応すべく、認識時に同一と判断する類似度の閾値を、他の目的、例えば個人認証等で用いられる際の値よりも低くする。

また、スコア算出部３０５は、２点目に対応すべく、選択中の工程、すなわち処理対象の工程以外の他の工程に対応する画像と比較し、差異が大きいものを利用する。これにより、誤認識の確率を減らすことができる。基本的に作業標準書４０２の画像と、部分映像の内容は対応している。このため、作業標準書４０２内で他の工程の画像との差異が大きい画像であれば部分映像との比較においても、同様に対応する工程以外の工程の部分映像との差異が大きいと考えられるため、上記の方法を取ることができる。また、作業標準書４０２に掲載されている画像は、物品の一部の拡大画像の場合もある。この場合、部分映像の一部分がこの拡大画像に対応している場合があり得る。そこで、スコア算出部３０５は、画像のサイズ変化に頑健なマッチング手法、例えば局所特徴量を用いて映像中のマッチング部分を探索することとする。

次に、Ｓ５０７において、選択部３０６は、スコアに基づいて、各作業映像から抽出された複数の部分映像の中から、選択中の工程の代表部分映像を選択する（選択処理）。本実施形態においては、選択部３０６は、スコアが最高値を示す部分映像を、代表部分映像として選択する。選択部３０６は、同一スコアの部分映像が複数存在する場合、以下に示す複数の処理により部分映像が１つになるまで絞り込みを行う。すなわち、選択部３０６は、スコアが最高値を示す複数の部分映像の中から、一つ前の工程に対して選択された部分映像を含む作業映像から抽出された部分映像を選択する。次に、選択部３０６は、部分映像の選択の判断を保留し、次の工程に対して選択された部分映像を含む作業映像から抽出された部分映像を選択する。次に、選択部３０６は、処理対象の工程より前の工程で選ばれた回数が多い作業映像から抽出された部分映像を選択する。最後に、選択部３０６は、ランダムに、又はユーザ操作に応じて部分映像を選択する。

次に、Ｓ５０８において、解析部３０１は、未処理の工程が存在するか否かを確認し、未処理の工程が存在する場合には（Ｓ５０８でＹｅｓ）、処理をＳ５０１へ進める。Ｓ５０１において、解析部３０１は、未選択の工程を１つ選択し、以降の処理が継続する。例えば、作業に４つの工程が含まれる場合、４つの工程それぞれに対し、Ｓ５０１〜Ｓ５０７の処理が行われ、各工程に対し、代表部分映像が選択される。解析部３０１は、すべての工程に対する処理が完了すると（Ｓ５０８でＮｏ）、処理をＳ５０９へ進める。

Ｓ５０９において、再構成部３０７は、各工程に対して選択された代表部分映像を連結して編集映像を作成する。図６は、Ｓ５０９の処理の説明図である。各作業映像（候補映像Ａ〜Ｘ）の部分映像に対し、ステップＳ５０６においてスコアが算出され、スコア最高値の部分映像が代表部分映像として選択される。図６においては、代表部分映像を太枠で示している。再構成部３０７は、太枠で示す代表部分映像を繋ぎ合わせることにより、編集映像を作成する。再構成部３０７はまたこの際、どの期間がどの工程に対応するかを、例えば編集データ中にメタデータとして記録しておく。

図５に戻り、Ｓ５０９の処理の後、Ｓ５１０において、再構成部３０７は、作成した編集映像を分割する。これは、作成した編集映像に含まれている作業を複数人物で行う場合に、映像の取り扱いをし易くするためのものである。再構成部３０７は、具体的には、工程表４０１に記載されている各作業員の担当範囲に基づいて、編集映像を分割する。なお、１人の作業員がすべての工程を行う場合には、Ｓ５１０の処理は不要である。また、分割する必要はないと作業員が判断する場合も考えられるので、その場合もこのＳ５１０の処理は不要である。すなわち、Ｓ５１０の処理は省略することができる。以上で、編集映像の作成処理が終了する。

このように、編集装置１００は、複数の映像それぞれを特定の区間に区切り、各区間において最も教育に向いていると判定された部分映像を代表部分映像として選択する。そして、編集装置１００は、代表部分映像を繋ぎ合わせて編集映像を作成する。これにより、映像作成者の作業負担を減らすことができる。

図７は、編集映像の更新処理を示すフローチャートである。工場等の作業においては、作成製品の変更等により作業内容が頻繁に変わる可能性がある。しかし、全ての工程が変更されるわけではない。この場合に教育映像を一から作り直すのは手間がかかるので、必要な部分のみ更新するのが望ましい。更新処理は、この必要な部分を更新する処理である。

Ｓ７００において、変更認識部３０２は、作業標準書４０２が更新されたか否かを認識する。変更認識部３０２は、文書取得部３００が作業標準書４０２を取得すると、前回の作業標準書４０２の内容との差分を求めることにより、更新（変更）の有無を認識する。これは、作業が変更になれば必ず作業標準書４０２も変更されることを利用するものである。勿論、工程表４０１も更新および取得されるが、ページの入れ替えが発生する分更新されたことが分かりやすいと判断し、作業標準書４０２をトリガとすることとしている。

変更認識部３０２は、更新されたと認識した場合には（Ｓ７００でＹｅｓ）、処理を７０１へ進める。Ｓ７０１において、抽出部３０４は、編集映像において、変更認識部３０２により特定された更新に対応する工程を１つ選択する。以下、Ｓ７０１において選択された工程を更新対象工程と称する。次に、Ｓ７０２において、抽出部３０４は、編集映像から更新対象工程に対応する部分映像を抽出する。次に、Ｓ７０３において、ＣＰＵ２０１は、Ｓ５０２〜Ｓ５０７の処理と同じ処理を行うことにより、部分映像を選択する。なお、Ｓ７０３において選択された部分映像は、編集映像の更新に用いられる。以下、Ｓ７０３において選択された部分映像を代替部分映像と称する。

次に、Ｓ７０４において、ＣＰＵ２０１は、更新に対応する工程のうち、Ｓ７０２、Ｓ７０３の処理が行われていない未処理の工程が存在するか否かを確認し、未処理の工程が存在する場合には（Ｓ７０４でＹｅｓ）、処理をＳ７０１へ進める。ＣＰＵ２０１は、更新に対応するすべての工程に対し処理が完了した場合には（Ｓ７０４でＮｏ）、処理をＳ７０５へ進める。Ｓ７０５において、再構成部３０７は、代替部分映像を用いて新たな編集映像を作成する。

Ｓ７０５における基本的な処理は、Ｓ５０９の処理と同様である。但し、再構成部３０７は、更新のない部分については、元の映像をそのまま用い、更新した部分のみ新たに選択した代替部分映像を使用する。すなわち、再構成部３０７は、更新に係る区間の映像を代替部分映像に置き換える。また、再構成部３０７は、各工程に対応する期間が変更される可能性があるため、各工程の記録期間情報も合わせて更新する。その後、再構成部３０７は、Ｓ７０６において、編集映像の分割処理を行う。本処理は、Ｓ５１０の処理と同様の処理である。このように、編集装置１００は、更新処理により、作業の更新に応じて、編集映像の一部だけを入れ替えることにより編集映像を更新することができる。これにより、映像作成者の作業負担を減らすことができる。

以上のように、第１の実施形態に係る編集装置１００は、ユーザによる煩雑な作業を要することなく、適切な映像データの編集を行うことができる。

（第２の実施形態）
次に、第２の実施形態に係る映像管理システムについて説明する。以下、第２の実施形態に係る映像管理システムについて、第１の実施形態に係る映像管理システムと異なる点について説明する。図８は、第２の実施形態に係る編集装置１００による作成処理の一部を示すフローチャートである。第２の実施形態に係る更新処理は、図５に示すＳ５００〜Ｓ５０６の処理の後、図８に示すＳ８００〜Ｓ８０６の処理に続き、その後、図５に示すＳ５０８以降の処理に続く処理である。以下、第２の実施形態に係る編集装置１００による更新処理について説明する。

Ｓ５０６の処理の後、ＣＰＵ２０１は処理を図８のＳ８００へ進める。Ｓ８００において、ＣＰＵ２０１は、スコアの最高値が閾値以上か否かを判定する。ＣＰＵ２０１は、最高値が閾値未満の場合には（Ｓ８００でＮｏ）、処理を図５のＳ５０８へ進める。すなわち、ＣＰＵ２０１は、処理対象の区間に対し代表部分映像の選択を行うことなく、次の工程についてのＳ５０１からの処理を開始する。一方、ＣＰＵ２０１は、最高値が閾値以上の場合には（Ｓ８００でＹｅｓ）、処理をＳ８０１へ進める。

Ｓ８０１において、選択部３０６は、スコア最高値の部分映像を代表部分映像として選択する。本処理は、Ｓ５０７の処理と同様の処理である。次に、Ｓ８０２において、スコア算出部３０５は、処理対象の工程の直前の工程に対する代表部分映像が選択されているか否かを確認する。スコア算出部３０５は、直前の工程の代表部分映像が選択済みの場合には（Ｓ８０２でＹｅｓ）、処理をＳ５０８へ進める。一方、スコア算出部３０５は、直前の工程の代表部分映像が選択されていない場合には（Ｓ８０２でＮｏ）、処理をＳ８０３へ進める。

Ｓ８０３において、選択部３０６は、直前映像を処理対象とし、直前映像の前後の代表映像が同一作業映像から抽出されたものか否かを確認する。選択部３０６は、直前映像の前後の代表部分映像が同一作業映像から抽出されたものである場合には（Ｓ８０３でＹｅｓ）、処理をＳ８０４へ進める。選択部３０６は、直前映像の前後の代表部分映像が同一作業映像から抽出されたものでない場合には（Ｓ８０３でＮｏ）、処理をＳ８０５へ進める。

Ｓ８０４において、選択部３０６は、直前の工程の前後の工程の代表部分映像に対応する作業映像から抽出された部分映像を、直前の工程に対する代表部分映像として選択し、その後処理をＳ５０８へ進める。一方、Ｓ８０５において、選択部３０６は、直前の工程の前の工程でスコアが最高値となった作業映像における、直前の工程の前の工程のスコアと、直前の工程の後の工程の部分映像のスコアと、の合計値を算出する。同様に、選択部３０６は、直前の工程の後の工程でスコアが最高となった作業映像における、直前の工程の後の工程のスコアと、直前の工程の前の工程のスコアと、の合計値を算出する。次に、Ｓ８０６において、選択部３０６は、Ｓ８０５において算出した合計値が大きい方の作業映像から抽出された部分映像を、直前の工程に対する代表部分映像として選択し、その後処理をＳ５０８へ進める。

例えば、図９（ａ）に示すように、直前の工程ｎに対し、前の工程「工程ｎ−１」については、作業映像「候補映像Ｄ」の部分映像のスコア８０が最高値となり、候補映像Ｄの部分映像が代表部分映像として選択されているとする。また、後の工程「工程ｎ＋１」についても、作業映像「候補映像Ｄ」の部分映像のスコア８５が最高値となり、候補映像Ｄの部分映像が代表部分映像として選択されているとする。この場合、前後の工程の代表部分映像に対応する作業映像が同一となるため、直前の工程ｎに対しても、候補映像Ｄの部分映像が代表部分映像として選択される。

一方、図９（ｂ）の示すように、直前の工程ｎに対し、前の工程「ｎ−１」については、作業映像「候補映像Ｆ」の部分映像のスコア８０が最高値となり、候補映像Ｆの部分映像が代表部分映像として選択されているとする。また、後の工程「工程ｎ＋１」については、作業映像「候補映像Ｇ」の部分映像のスコア８５が最高値となり、候補映像Ｇの部分映像が代表部分映像として選択されているとする。この場合、前後の工程の代表部分映像に対応する作業映像が異なるため、候補映像Ｆ及び候補映像Ｇそれぞれのスコア合計値が算出される。そして、図９（ｂ）の例では、合計値が大きい作業映像は候補映像Ｆであるため、候補映像Ｆの部分映像が、直前の工程ｎの代表部分映像として選択される。

ここで、Ｓ８０３において、直前映像の前後の代表部分映像が同一作業映像から抽出されたものでない場合には（Ｓ８０３でＮｏ）の他の例について説明する。この場合、選択部３０６は、ユーザ操作に応じて、前後の工程のうち何れか一方の工程の代表部分映像に対応する作業映像の部分映像を、直前の工程に対する代表部分映像として選択してもよい。なお、第２の実施形態に係る映像管理システムのこれ以外の構成及び処理は、第１の実施形態に係る映像管理システムの構成及び処理と同様である。

また、本実施形態においては、処理対象の工程（直前の工程）の前後の工程の代表部分映像に基づいて、処理対象の工程の代表部分映像を選択したが、参照する工程は前後の工程に限定されるものではない。他の例としては、処理対象の工程以外の他の工程のうち、既に代表部分映像が選択されている工程を参照してもよい。

第１の実施形態において説明したように、編集装置１００は、スコア算出の際には、オクルージョンの発生等を考慮している。しかし、それでもすべての部分映像のスコアが一定基準を満たさない可能性もある。また、そもそも作業標準書４０２に基準とすべき画像がふくまれないことも考えられる。これに対し、第３の実施形態の編集装置１００は、作業標準書４０２に記載の画像と同じ部分が作業映像群にほとんど映っていない場合や、作業標準書４０２においてある工程に対する画像が含まれていない場合でも、代表映像を適切に選択することができる。すなわち、第３の実施形態の編集装置１００は、このような場合においても、適切な映像データの編集を行うことができる。

なお、第２の実施形態の変更例としては、Ｓ８０３〜Ｓ８０６の処理により処理対象の工程の代表部分映像を選択するケースは、実施形態に限定されない。他の例としては、処理対象の工程の前後の工程のスコアが決定されている場合に、処理対象の工程のスコアを算出することなく、Ｓ８０３〜Ｓ８０６の処理により、処理対象の工程の代表部分映像を選択してもよい。

また、第１及び第２の実施形態の変更例としては、編集装置１００は、編集映像の作成時に、編集映像の視聴者がより理解しやすいように追加情報を編集映像に付加してもよい。編集装置１００は、例えば、作業標準書４０２の文章をテロップとして映像内に表示させたり、作業標準書４０２自体を編集映像の一部に表示させたりしてもよい。これにより、どの部分を説明しているかをマークしながら再生させるといったことを行うことができる。また、編集装置１００は、作業標準書４０２で重要作業と指定されている場合には、そのマークを表示させる、文字の色を変えて目立たせるといったことを行ってもよい。また、作業標準書４０２をポータブルデバイスで撮影すると、そのページに対応する映像データが再生される、重畳表示される等してもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 編集装置
３００ 文書取得部
３０４ 抽出部
３０６ 選択部
３０７ 再構成部

Claims (10)

1. 作業映像を編集する編集装置であって、
   作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、
   作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、
   前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段と
   を有することを特徴とする編集装置。
2. 前記作業情報は、前記作業に用いられるオブジェクトを示す情報を含み、
   前記選択手段は、前記複数の部分映像における前記オブジェクトの認識結果に基づいて、前記代表部分映像を選択することを特徴とする請求項１に記載の編集装置。
3. 前記作業情報は、作業者の動作内容を含み、
   前記選択手段は、前記複数の部分映像における前記動作内容の認識結果に基づいて、前記代表部分映像を選択することを特徴とする請求項１に記載の編集装置。
4. 前記作業情報は、作業に含まれる複数の工程それぞれに対応する作業内容を示し、
   前記選択手段は、処理対象の工程の作業内容と、前記部分映像と、に基づいて、前記処理対象の工程の前記代表部分映像を選択することを特徴とする請求項１乃至３何れか１項に記載の編集装置。
5. 前記選択手段は、さらに前記処理対象の工程以外の他の工程の作業内容と、前記部分映像と、に基づいて、前記処理対象の工程の前記代表部分映像を選択することを特徴とする請求項４に記載の編集装置。
6. 前記選択手段は、前記作業に含まれる、処理対象の工程以外の他の工程に対して前記代表部分映像が既に選択されている場合に、前記他の工程の前記代表部分映像に基づいて、前記処理対象の工程の代表部分映像を選択することを特徴とする請求項１乃至５何れか１項に記載の編集装置。
7. 前記選択手段は、前記処理対象の工程の前後の工程に対して、前記代表部分映像が既に選択されている場合に、前記前後の工程それぞれの前記代表部分映像に基づいて、前記処理対象の工程の代表部分映像を選択することを特徴とする請求項６に記載の編集装置。
8. 前記選択手段は、前記作業情報が更新された場合に、更新に係る工程の代替部分映像を選択し、
   前記再構成手段は、前記代替部分映像が選択された場合に、前記編集映像の更新に係る工程に対応する区間の映像を前記代替部分映像に置き換えることを特徴とする請求項１乃至７何れか１項に記載の編集装置。
9. 作業映像を編集する編集装置が実行する編集方法であって、
   作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出ステップと、
   作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択ステップと、
   前記選択ステップにおいて選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成ステップと
   を含むことを特徴とする編集方法。
10. コンピュータを、
    作業に含まれる各工程の作業時間に基づいて、同一の作業に係る複数の作業映像それぞれから、各工程の部分映像を抽出する抽出手段と、
    作業内容を示す作業情報と、前記部分映像と、に基づいて、前記複数の作業映像それぞれから抽出された複数の部分映像の中から、各工程の代表部分映像を選択する選択手段と、
    前記選択手段により選択された各工程の前記代表部分映像を連結し、編集映像を生成する再構成手段と
    して機能させるためのプログラム。

Images