JP2017147689A - 映像編集装置、映像編集方法及び映像編集用コンピュータプログラム - Google Patents

Abstract

【課題】一連の作業を撮影して得られた映像から、特定の作業に関する映像を抽出可能な映像編集装置を提供する。【解決手段】映像編集装置は、距離センサ１１から得た、一連の作業を撮影することで得た各距離画像について追跡対象物体が写っている物体領域を検出する物体領域検出部２１と、各距離画像について、物体領域内の画素の位置及び値に基づいて追跡対象物体の位置を算出する物体位置算出部２２と、複数の距離画像のうち、その距離画像に写る追跡対象物体と背景モデルで表される作業対象物体との位置関係、または、追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択する選択部２３と、選択された距離画像、または、一連の作業をカメラ１４で撮影することで得た複数の画像のうち、選択された距離画像に対応する画像を含む編集映像を作成する編集部２４とを有する。【選択図】図３

Description

本発明は、例えば、事前に得られた映像を編集する映像編集装置、映像編集方法及び映像編集用コンピュータプログラムに関する。

従来より、一連の作業をカメラにより撮影して得られた映像を、作業者の支援のために利用する技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された撮影システムは、一連の作業を同時に撮影して得られた複数の映像について同一のタイムラインに沿ってシーン分割する。そしてこの撮影システムは、各シーンについて、複数の映像から最適な映像を抽出し、シーンごとの最適な映像を結合して、一連の作業の様子を収録した映像を生成する。

特開２００７−３２４９１０号公報

特許文献１に開示された撮影システムでは、シーンごとに、複数の映像から最適なものを選択するために、最適さを示す評価尺度が設定される。この評価尺度は、最終的に得られる映像において着目する項目に応じて設定されるべきものであるので、着目する項目が異なれば、評価尺度も変更することになる。そのため、着目する項目が変われば、この撮影システムは、各映像について、シーンごとに評価尺度に応じた評価値を算出し直すことになり、その結果として、最終的に得られる映像の再作成に要する演算量が増加する。

また、この撮影システムは、シーンごとに各映像の中から最適なものを選択して結合するに過ぎないので、一連の作業中の特定の作業だけを抽出して見せるといったことは想定されていない。

一つの側面では、本発明は、一連の作業を撮影して得られた映像から、特定の作業に関する映像を抽出可能な映像編集装置を提供することを目的とする。

一実施形態によれば、映像編集装置が提供される。この映像編集装置は、作業対象物体の位置及び範囲と、前記作業対象物体及び前記作業対象物体が載置された面の３次元形状を表す背景モデルを記憶する記憶部と、距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、追跡対象物体が写っている物体領域を検出する物体領域検出部と、複数の距離画像のそれぞれについて、物体領域内の画素の位置及び値に基づいて、追跡対象物体の位置を算出する物体位置算出部と、複数の距離画像のうち、その距離画像に写る追跡対象物体と作業対象物体との位置関係、または、追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される、一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択する選択部と、選択された距離画像、あるいは、一連の作業をカメラにより撮影することで得られる複数の画像のうち、選択された距離画像の撮影時刻に対応する撮影時刻の画像を含む編集映像を作成する編集部とを有する。

一連の作業を撮影して得られた映像から、特定の作業に関する映像を抽出できる。

一つの実施形態による映像編集装置のハードウェア構成図である。 一つの実施形態による映像編集装置の距離センサと作業対象物体の位置関係の一例を示す図である。 一つの実施形態による制御部の機能ブロック図である。 特定の作業の例と選択される距離画像との関係の一例を示す図である。 選択処理の動作フローチャートである。 特定の作業ごとの選択条件の一例を示す図である。 映像編集処理の動作フローチャートである。 変形例による制御部の機能ブロック図である。 変形例による滞留時の選択判定処理の動作フローチャートである。 変形例による映像編集装置のハードウェア構成図である。

以下、図面を参照しつつ、映像編集装置について説明する。この映像編集装置は、装置の組み立てといった一連の作業を、物体までの距離を測定可能な距離センサで撮影することにより得られた映像に含まれる、時系列の複数の距離画像のそれぞれから、作業者の手といった追跡対象となる物体を検出する。なお、追跡対象となる物体を、以下、単に追跡対象物体と呼ぶ。この映像編集装置は、その映像から、追跡対象物体の位置の時間変化及び追跡対象物体と、追跡対象物体による作業の対象となる物体（以下、単に作業対象物体と呼ぶ）との位置関係の少なくとも一つについて設定される選択基準を満たす距離画像を選択する。なお、選択基準は、一連の作業に含まれる特定の作業に応じて設定される。そしてこの映像編集装置は、選択した距離画像を、再生順序に従って並べることで、その特定の作業に関連する編集された映像（以下、単に編集映像と呼ぶ）を作成する。

図１は、一つの実施形態による映像編集装置のハードウェア構成図である。図２は、一つの実施形態による映像編集装置の距離センサと作業対象物体の位置関係の一例を示す図である。映像編集装置１は、距離センサ１１と、記憶部１２と、制御部１３とを有する。そして距離センサ１１及び記憶部１２は、それぞれ、制御部１３と信号線を介して接続される。また、映像編集装置１は、映像編集装置１を他の機器と接続するための通信インターフェース（図示せず）をさらに有していてもよい。また映像編集装置１は、生成した映像あるいは編集映像を表示するディスプレイ、もしくはそれらの映像を投影するためのプロジェクタと接続するためのビデオインターフェース（図示せず）をさらに有していてもよい。

距離センサ１１は、距離測定部の一例である。そして距離センサ１１は、図２に示されるように、例えば、作業台の上方において、例えば鉛直下方へ向けて取り付けられる。そして距離センサ１１の検知範囲には、基板１０１及び基板１０１に取り付ける部品１０２が載置された作業台１００、及び、各部品の供給元位置１０３が含まれる。

距離センサ１１は、一連の作業中、一定の周期（例えば、30フレーム／秒〜60フレーム／秒）ごとに、検知範囲の距離画像を生成する。そして距離センサ１１は、生成した距離画像を制御部１３へ出力する。そのために、距離センサ１１は、例えば、デプスカメラとすることができる。距離画像は、例えば、画素ごとに、その画素の値により、距離センサ１１からその画素に写っている物体の点までの距離を表す。例えば、距離センサ１１から距離画像中の画素に写っている物体の点までの距離が近いほど、その画素の値は大きくなる。なお、距離センサ１１の種類によっては、距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値は大きくなることがある。以下では、距離画像中の画素に写っている物体の点までの距離が近いほど、その画素の値は大きくなるものとして説明する。

記憶部１２は、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。そして記憶部１２は、距離センサ１１により得られた一連の距離画像を含む映像信号などを記憶する。さらに、記憶部１２は、映像編集処理で利用される様々な情報、あるいは、映像編集処理の途中で生成されるデータ、例えば、特定の作業に関連する選択条件、及び、背景モデルなどを記憶する。さらに、記憶部１２は、映像編集処理の結果得られた編集映像を記憶する。

背景モデルは、作業対象物体の位置及び範囲と作業対象物体の３次元形状を表すデータである。背景モデルは、例えば、追跡対象物体が距離センサ１１の検知範囲内に存在しておらず、部品及び基板などの全ての作業対象物体が作業台などに載置されているときに距離センサ１１により得られた距離画像に基づいて作成される。例えば、その距離画像において、ユーザは、ユーザインターフェース（図示せず）を介して、作業対象物体ごとに、その物体が写っている領域を設定する。そしてその距離画像に基づいて、領域ごとに、その領域に写っている物体の高さが画素単位で設定される。なお、以下では、基板など、部品が取り付けられる作業対象物体が含まれる領域を、便宜上、作業領域とよぶ。作業領域では、作業者が、部品の取り付けといった作業を行うことが想定される。また、部品が一時的に載置される場所を含む領域、及び、部品の供給元の領域を、便宜上、部品載置領域と呼ぶ。作業者が部品を取得する作業を行う場合、追跡対象物体である作業者の手は、部品載置領域へ入ったり、あるいは、部品載置領域から出るといった動作を行うことが想定される。

制御部１３は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部１３は、映像編集装置１全体を制御する。

以下、制御部１３により実行される、映像編集処理に関する構成要素の詳細について説明する。
図３は、制御部１３の機能ブロック図である。制御部１３は、物体領域検出部２１と、物体位置算出部２２と、選択部２３と、編集部２４とを有する。
制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、これらの各部の機能を実現する一つまたは複数の集積回路が、制御部１３とは別個に映像編集装置１に実装されてもよい。

本実施形態では、制御部１３は、作業台上で一連の作業を作業者が実行する間に撮影された複数の距離画像のそれぞれから、作業者の手を追跡対象物体として検出する。そして制御部１３は、各距離画像のうち、その距離画像から検出された手の位置の時間変化、または、手と作業対象物体間の距離の少なくとも一つについて設定される、特定の作業に応じた選択条件を満たす距離画像を選択する。そして制御部１３は、選択した距離画像を取得時間順に並べることで、その特定の作業に関連する距離画像を含む編集映像を生成する。また本実施形態では、一連の作業中の部品を取り付ける作業、及び、部品を取得する作業を、それぞれ、特定の作業とする。

物体領域検出部２１は、距離センサ１１から制御部１３が取得した距離画像から、追跡対象物体が写っている領域である物体領域を検出する。なお、物体領域検出部２１は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。

例えば、物体領域検出部２１は、距離画像上の各画素について、その画素の値と、背景モデルの対応画素の値とを比較する。物体領域検出部２１は、距離画像の画素の値と背景モデルの対応画素の値の差の絶対値が所定の閾値以上となる画素を抽出する。なお、所定の閾値は、例えば、5mm〜10mmに相当する距離画像上の画素値とすることができる。

物体領域検出部２１は、抽出された画素に対して、例えば、ラベリング処理を実行して、抽出された画素をグループ化することで、それぞれが抽出された画素を含み、かつ、互いに分離した１以上の候補領域を求める。そして物体領域検出部２１は、１以上の候補領域のうち、その候補領域に含まれる画素数が最大となる候補領域を物体領域とする。なお、作業者の両方の手が距離画像に写っていることもあるので、物体領域検出部２１は、その候補領域に含まれる画素数が多い方から順に二つの候補領域を、それぞれ、物体領域としてもよい。この場合、作業者と距離センサ１１の位置関係は、予め分かっているので、距離画像上での左手と右手の位置関係も分かる。例えば、指が伸ばされた状態で距離画像上で指先が上側を向く場合、二つの物体領域のうちの右側の物体領域が右手であり、左側の物体領域が左手であると想定される。そこで物体領域検出部２１は、二つの物体領域間の相互の位置関係に応じて、物体領域ごとに、その物体領域が作業者の何れの手を表すかを示す識別情報を付してもよい。

あるいはまた、物体領域検出部２１は、含まれる画素数が所定の画素数以上となる候補領域が存在しない場合には、距離画像には物体領域が含まれない、すなわち、距離画像に追跡対象物体が写っていないと判定してもよい。
このように、本実施形態では、物体領域検出部２１は、距離画像に基づいて追跡対象物体を検出するので、背景となる作業台が載置された作業対象物体などにより複雑な形状となっている場合でも、追跡対象物体を正確に検出できる。

物体領域検出部２１は、距離画像上の物体領域を物体位置算出部２２へ通知する。

物体位置算出部２２は、一連の作業中に得られた各距離画像について、その距離画像上の物体領域に写っている追跡対象物体の位置を算出する。本実施形態では、物体位置算出部２２は、追跡対象物体の位置として、追跡対象物体と距離センサ１１間の距離、及び、距離画像上で表される位置を算出する。なお、距離画像上の位置と、追跡対象物体と距離センサ１１間の距離とにより、追跡対象物体の実空間での位置が特定される。なお、物体位置算出部２２は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。

例えば、作業者は、指先で部品を把持することが想定される。そのため、部品を取り付ける、あるいは、部品を取得するといった特定の作業が行われているか否かを判定するためには、背景モデルで表される、作業台または作業台上の作業対象物体から指先までの距離が分かることが好ましい。そこで、物体位置算出部２２は、物体領域において指先に相当する部分領域に含まれる各画素の値の平均値で表される距離を、追跡対象物体と距離センサ１１間の距離とする。また、距離センサ１１と作業者の位置関係から、距離画像上で指先が向く方向も想定される。例えば、距離画像上で指先が上方を向くと想定される場合、物体位置算出部２２は、物体領域の上端から所定距離（例えば、10mmに相当する画素数）の範囲に含まれる物体領域の部分を、指先に相当する部分領域とする。

さらに、物体位置算出部２２は、指先に相当する部分領域の重心を、追跡対象物体の位置として算出する。

また、一連の作業中、作業者は、指先を作業台側へ向けていると想定される。そのため、手のなかで、指先が、作業台または作業対象物体に最も近くなると想定される。そこで変形例によれば、物体位置算出部２２は、物体領域に含まれる各画素について、背景モデルの対応画素との間で差分値を算出し、その差分値が最小となる画素を特定してもよい。そして物体位置算出部２２は、その特定された画素の値で表される距離を、距離センサ１１と追跡対象物体間の距離としてもよい。この場合、物体位置算出部２２は、その特定された画素の位置を、追跡対象物体の位置とする。

物体位置算出部２２は、各距離画像について得られた追跡対象物体の距離画像上での位置、及び、距離センサ１１と追跡対象物体間の距離を選択部２３へわたす。

選択部２３は、一連の作業中に得られた各距離画像における、追跡対象物体の位置の時間変化または追跡対象物体と作業対象物体間の位置関係の少なくとも一つに基づいて、特定の作業に関連する距離画像を選択する。

図４は、特定の作業の例と選択される距離画像との関係の一例を示す図である。図４の上側には、映像４００が示される。映像４００は、一連の作業を撮影して得られた複数の距離画像４０１を含む。また、図４の下側には、追跡対象物体である手と背景モデルで表される、作業対象物体または作業台との間の距離の時間変化４５０が示される。

特定の作業の一例である、作業者が部品を取得する作業では、追跡対象物体である手は、部品を取得するために部品載置領域へ移動したり、部品載置領域から作業領域へ移動する。そのため、各距離画像４０１のうち、追跡対象物体が移動している区間４０２に含まれる距離画像が選択される。また、作業者が部品を取るために追跡対象物体が一時的に滞留してから移動を再開した直後、すなわち、滞留位置の近傍において、追跡対象物体と作業台との距離が閾値dth2より大きくなる区間４０３では、一定数ごとに、一つの距離画像が選択されてもよい。そして区間４０２内の距離画像及び区間４０３内の距離画像を含む編集映像４１０が作成される。

一方、特定の作業の他の一例である、作業者が部品を作業対象物体に取り付ける作業では、追跡対象物体である手は、作業領域において作業を行っているため、作業領域内で滞留している。そのため、各距離画像４０１のうち、追跡対象物体が滞留している区間４０４に含まれる距離画像が選択される。また、作業者が部品の取り付けを終了して、追跡対象物体が移動を再開した直後、すなわち、滞留位置の近傍において、追跡対象物体と作業台との距離が閾値dth1未満となる区間４０５では、一定数ごとに、一つの距離画像が選択されてもよい。これにより、部品の取り付け作業終了直後の追跡対象物体の動きを表す距離画像も選択される。そして区間４０４内の距離画像及び区間４０５内の距離画像を含む編集映像４２０が作成される。

このように、着目する特定の作業に応じて、距離画像を選択するための選択条件が異なる。そこで、予め、特定の作業ごとに、選択条件が設定され、記憶部１２に記憶される。そして選択部２３は、特定の作業ごとに、対応する選択条件を満たす距離画像を選択する。なお、ユーザインターフェース（図示せず）を介して特定の作業についての編集映像を作成することが指定される場合、選択部２３は、指定された特定の作業に応じて使用する選択条件を選択し、各距離画像のうち、その選択条件を満たす距離画像を選択してもよい。

図５は、選択部２３により実行される選択処理の動作フローチャートである。選択部２３は、下記の動作フローチャートに従って、距離画像ごとに選択処理を実行する。さらに、選択部２３は、一つの距離画像に複数の追跡対象物体が写っている場合、追跡対象物体ごとに選択処理を実行する。

選択部２３は、現在の距離画像上の物体領域に対応する追跡対象物体の位置（以下、単に現在位置と呼ぶ）と直前の距離画像上の物体領域に対応する追跡対象物体の位置（以下、単に直前位置と呼ぶ）との差が所定値以上か否か判定する（ステップＳ１０１）。なお、所定値は、例えば、5〜10（画素）とすることができる。

現在位置と直前位置の差が所定値未満である場合（ステップＳ１０１−Ｎｏ）、追跡対象物体は移動しておらず、滞留していると考えられる。そこで選択部２３は、追跡対象物体の滞留時の選択条件に従って、現距離画像を選択するか否か判定する（ステップＳ１０２）。また選択部２３は、追跡対象物体の現在位置を滞留位置として記憶部１２に記憶する。なお、ステップＳ１０２での判定の詳細については後述する。

一方、現在位置と直前位置の差が所定値以上である場合（ステップＳ１０１−Ｙｅｓ）、追跡対象物体は移動していると考えられる。この場合、選択部２３は、追跡対象物体の現在位置と前回の滞留位置との差が所定範囲内に含まれるか否か判定する（ステップＳ１０３）。なお、所定範囲は、例えば、10〜20（画素）とすることができる。

現在位置と前回の滞留位置との差が所定範囲内である場合（ステップＳ１０３−Ｙｅｓ）、前回の滞留位置（例えば、作業領域あるいは部品載置領域）から追跡対象物体が移動を開始した直後であると想定される。そこでこの場合、選択部２３は、追跡対象物体の移動開始点に応じた、追跡対象物体が移動を開始したときの選択条件に従って、現距離画像を選択するか否か判定する（ステップＳ１０４）。なお、ステップＳ１０４での判定の詳細については後述する。

一方、現在位置と前回の滞留位置との差が所定範囲から外れている場合（ステップＳ１０３−Ｎｏ）、追跡対象物体が次の目的地への移動の途中と考えられる。そこで選択部２３は、現在位置及び直前位置に基づいて、追跡対象物体の移動速度及び移動先を推定する（ステップＳ１０５）。例えば、選択部２３は、直前位置から現在位置へ向かうベクトルを、追跡対象物体の進行方向及び移動速度を表す移動ベクトルとして算出する。そして選択部２３は、背景モデルに基づいて、作業領域及び部品載置領域など、追跡対象物体が滞留する可能性の有る領域のうち、追跡対象物体がその移動ベクトルに沿って移動した場合の追跡対象物体の軌跡に最も近い領域を追跡対象物体の移動先として推定する。なお、選択部２３は、追跡対象物体の現在位置とともに、直前の２フレーム以上の距離画像から求められた追跡対象物体の位置を利用して、追跡対象物体の移動速度及び進行方向の軌跡を推定してもよい。

選択部２３は、移動時の選択条件に従って、現距離画像を選択するか否か判定する（ステップＳ１０６）。なお、ステップＳ１０６での判定の詳細については後述する。ステップＳ１０２、Ｓ１０４またはＳ１０６の後、選択部２３は、選択処理を終了する。

図６は、図５の動作フローチャートに示された、各選択判定における、特定の作業ごとの選択条件の一例を示すテーブルである。テーブル６００の左端には、特定の作業の種別が示されている。この例では、特定の作業として、部品の取り付けと、部品の取得とが挙げられている。

またテーブル６００において、列６０１には、図５のステップＳ１０２で使用される滞留時の選択条件の一例が示される。この例では、着目する特定の作業が部品の取り付けである場合、選択条件は、滞留位置が作業領域に含まれることである。滞留位置が背景モデルで示された作業領域に含まれる場合、選択部２３は、現在の距離画像を選択する。なお、選択部２３は、追跡対象物体が連続する複数の距離画像にわたって同じ位置で滞留しており（すなわち、複数の距離画像にわたって現在位置と直前位置の差が所定値未満となる場合）、所定数（例えば、10）の距離画像ごとに一つの距離画像を選択してもよい。これにより、選択部２３は、部品取付時の様子を表す編集映像を、いわゆる早送り映像として得ることができる。さらに、選択部２３は、追跡対象物体の現在位置に対応する、背景モデルの対応画素における作業対象物体から追跡対象物体までの距離が所定の閾値以下である場合にのみ、現在の距離画像を選択してもよい。

一方、着目する特定の作業が部品の取得である場合、ステップＳ１０２では、距離画像は選択されない。

また、テーブル６００の列６０２には、図５のステップＳ１０４で使用される移動開始時の選択条件の一例が示される。特定の作業が部品の取り付けである場合、選択条件は、直前の滞留位置が作業領域に含まれ、追跡対象物体の現在位置に対応する、背景モデルの対応画素における作業対象物体または作業台の表面と追跡対象物体間の距離が所定の閾値dth1未満となることである。そして選択部２３は、その距離が閾値dth1未満となる場合、選択部２３は、現在の距離画像を選択する。なお、選択部２３は、追跡対象物体と距離センサ１１間の距離を表す距離画像上の画素の値と、背景モデルにおける、追跡対象物体の位置に対応する画素の値の差を求めることにより、その距離を算出できる。一方、その距離が閾値dth1以上となる場合、選択部２３は、現在の距離画像を選択しない。なお、閾値dth1は、例えば、50mmに相当する、距離画像の画素の値に設定される。また、閾値dth1は、背景モデル上で作業領域が複数設定されている場合、作業領域ごとに個別に設定されてもよい。なお、選択部２３は、連続する複数の距離画像にわたって現在位置と前回の滞留位置との差が所定範囲内となる場合、所定数（例えば、10）の距離画像ごとに一つの距離画像を選択してもよい。

一方、着目する特定の作業が部品の取得である場合、選択条件は、追跡対象物体の現在位置に対応する、背景モデルの対応画素における作業対象物体または作業台の表面から追跡対象物体までの距離が所定の閾値dth2より大きくなることである。したがって、その距離が閾値dth2よりも大きくなる場合、選択部２３は、現在の距離画像を選択する。一方、その距離が閾値dth2以下となる場合、選択部２３は、現在の距離画像を選択しない。なお、閾値dth2は、例えば、10mmに相当する、距離画像の画素の値に設定される。なお、選択部２３は、連続する複数の距離画像にわたって現在位置と前回の滞留位置との差が所定範囲内となる場合、所定数（例えば、10）の距離画像ごとに一つの距離画像を選択してもよい。

また、テーブル６００の列６０３には、図５のステップＳ１０６で使用される、移動時の選択条件の一例が示される。この例では、着目する特定の作業が部品の取り付けである場合、ステップＳ１０６では、距離画像は選択されない。これは、ステップＳ１０６では、追跡対象物体は移動中であり、部品の取り付けを行っていないと想定されるためである。なお、選択部２３は、推定移動先が作業領域であり、かつ、追跡対象物体の位置が作業領域から所定距離内である場合には、所定数（例えば、10）の距離画像ごとに一つの距離画像を選択してもよい。なお、所定数は、追跡対象物体の移動速度が速いほど、大きな値に設定されてもよい。あるいは、選択部２３は、前回選択時の追跡対象物体の位置からの移動距離が所定距離（例えば、50mm）を超えるごとに一つの距離画像を選択してもよい。これにより、選択部２３は、部品取り付け作業の開始直前の追跡対象物体の動きを表す距離画像も、部品取付作業に関する編集映像に含めることができる。

一方、着目する特定の作業が部品の取得である場合、ステップＳ１０６では、選択部２３は、常に現在の距離画像を選択する。ただし、選択部２３は、連続する複数の距離画像にわたって追跡対象物体が移動中と判定される場合には、所定数（例えば、2）の距離画像ごとに一つの距離画像を選択してもよい。あるいは、選択部２３は、前回選択時の追跡対象物体の位置からの移動距離が所定距離（例えば、30mm）を超えるごとに一つの距離画像を選択してもよい。これにより、選択部２３は、部品取得時の様子を表す編集映像を、いわゆる早送り映像として得ることができる。

また、推定される移動先が特定の部品が載置されている部品載置領域である場合にのみ、選択部２３は、距離画像を選択してもよい。これにより、選択部２３は、作業者が特定の部品を取りに行く場合の距離画像のみを含む編集映像を作成できる。あるいは、推定される移動先が作業領域である場合にのみ、選択部２３は、距離画像を選択してもよい。これにより、選択部２３は、作業者が部品を取ってから取り付けまでの間の追跡対象物体の動きに対応する距離画像のみを含む編集映像を作成できる。

なお、選択部２３は、一つの距離画像に複数の追跡対象物体が写っている場合、何れかの追跡対象物体についてその距離画像を選択すると判定した場合には、その距離画像を選択すればよい。また、一つの距離画像が、互いに異なる複数の特定作業について選択されてもよい。そして選択部２３は、選択した各距離画像について、選択されたことを表す選択フラグと、特定の作業の種別を表す作業種別フラグを付す。

編集部２４は、特定の作業ごとに、その作業について選択された距離画像を含む編集映像を作成する。そのために、編集部２４は、ユーザインターフェース（図示せず）を介して指定された、着目する特定の作業に対応する作業種別フラグと選択フラグとが付された距離画像を記憶部１２から読み込む。そして編集部２４は、読み込んだ距離画像を再生順序に従って並べることで、編集映像を作成できる。編集部２４は、作成した編集映像を、例えば、ディスプレイ（図示せず）に表示する。あるいは、編集部２４は、作成した編集映像を、通信インターフェース（図示せず）を介して他の機器へ出力する。

図７は、映像編集処理の動作フローチャートである。
制御部１３は、記憶部１２から背景モデル及び特定の作業ごとの選択条件を読み込む（ステップＳ２０１）。そして物体領域検出部２１は、一連の作業を撮影して得られた映像に含まれる各距離画像から物体領域を検出する（ステップＳ２０２）。また、物体位置算出部２２は、各距離画像について、物体領域に写っている追跡対象物体の位置を算出する（ステップＳ２０３）。

選択部２３は、特定の作業ごとに、各距離画像のなかから選択条件を満たす距離画像を選択する（ステップＳ２０４）。そして編集部２４は、着目する特定の作業について選択された距離画像を、その再生順序に従って並べることで編集映像を作成する（ステップＳ２０５）。そして制御部１３は、映像編集処理を終了する。

以上に説明してきたように、この映像編集装置は、一連の作業を距離センサを用いて撮影することで得られた映像に含まれる複数の距離画像のそれぞれから、その距離画像に写っている追跡対象物体を検出し、追跡対象物体の位置をもとめる。そしてこの映像編集装置は、各距離画像における、追跡対象物体の位置の時間変化、及び、追跡対象物体と作業対象物体間の位置関係などに基づいて設定され、かつ、特定の作業に関連する選択条件を満たす距離画像を選択する。そのため、この映像編集装置は、一連の作業全体を表す映像から、特定の作業に関連する映像を抽出することができる。またこの映像編集装置は、着目する特定の作業に応じて選択条件を変更するだけで、着目する特定の作業に関連する距離画像を含む編集映像を作成できる。そのため、互いに異なる特定の作業のそれぞれについて編集映像を作成する場合でも、この映像編集装置は、各距離画像について選択するか否かを決定するために利用される評価値を別途算出しなくてもよい。そのため、この映像編集装置は、互いに異なる特定の作業のそれぞれについて編集映像を作成する場合の演算量を抑制できる。

なお、上記の特定の作業及び選択条件は一例であり、他の特定の作業について、その特定の作業に応じた選択条件が設定されてもよい。

なお、背景モデルの生成時と、一連の作業の撮影時とで、作業対象物体の配置が異なっていたり、一連の作業の途中で、作業対象物体の位置がずれることがある。このような場合、映像編集装置は、背景モデルで表される作業対象物体の配置と、実際の作業時の作業対象物体の配置とが一致するように、背景モデルを修正することが好ましい。

そこで変形例によれば、映像編集装置は、一連の作業中に得られた各距離画像上での作業対象物体に、背景モデルの作業対象物体を位置合わせするよう、背景モデルを更新する。

図８は、この変形例による制御部の機能ブロック図である。制御部３３は、物体領域検出部２１と、物体位置算出部２２と、選択部２３と、位置合わせ部２５とを有する。この変形例による制御部３３は、上記の実施形態による制御部１３と比較して、位置合わせ部２５を有する点で相違する。そこで以下では、位置合わせ部２５及びその関連部分について説明する。

位置合わせ部２５は、一連の作業を撮影して得られた映像に含まれる各距離画像について作業対象物体の位置を、背景モデルに表された作業対象物体の位置と比較する。そして位置合わせ部２５は、距離画像に写っている作業対象物体の位置が背景モデルに表された作業対象物体の位置とずれている場合、背景モデルにおける作業対象物体の位置をその距離画像での作業物体の位置となるように修正する。

そのために、位置合わせ部２５は、例えば、背景モデルにおいて、作業対象物体が含まれる領域である作業領域を、テンプレートとする。そして位置合わせ部２５は、そのテンプレートと、着目する距離画像との間でテンプレートマッチングを行って、その距離画像上でそのテンプレートと最も一致する領域を特定する。なお、位置合わせ部２５は、郷里画像を２次元画像としてマッチングを行ってもよいが、作業対象物体が比較的厚い場合（例えば、作業対象物体の厚さがカメラと作業台との距離の略1/10以上）には距離画像上の各画素の集合を３次元の点群として、ＩＣＰなどを用いたマッチングを行うことが好ましい。そしてその距離画像に占める特定された領域の位置が、背景モデルにおける作業領域の位置に対して所定距離以上ずれている場合、位置合わせ部２５は、作業対象物体の位置がずれたと判定する。なお、所定距離は、例えば、3〜5画素とすることができる。

位置合わせ部２５は、作業対象物体の位置がずれたと判定した場合、背景モデルにおける作業領域を、着目する距離画像上で特定された領域と一致するよう移動させる。あるいは、位置合わせ部２５は、着目する距離画像上で特定された領域に含まれる各画素の値を、背景モデルの対応画素の値とし、背景モデル上でその特定された領域に対応する範囲を、修正後の作業領域としてもよい。これにより、位置合わせ部２５は、最新の作業対象物体の位置及び状態を背景モデルに反映させることができる。なお、位置合わせ部２５は、作業領域が移動した後に、作業領域から外れた位置における、距離センサ１１からの距離を、例えば、距離センサ１１から作業台までの距離に設定する。
なお、位置合わせ部２５の処理は、例えば、図７に示される動作フローチャートのステップＳ２０１の後からステップＳ２０４の前までの何れかのタイミングにおいて実行されればよい。

この変形例によれば、映像編集装置は、一連の作業中の実際の作業対象物体の位置に応じて背景モデルを更新することで、作業対象物体の位置がずれても、追跡対象物体と作業領域との位置関係を正確に求めることができる。そのため、この変形例による映像編集装置は、作業対象物体の位置がずれても、特定の作業に関連する距離画像を正確に選択できる。なお、この変形例による映像編集装置は、部品載置領域についても同様に、実際の作業時の部品載置領域と背景モデルに表される部品載置領域とが一致するように、背景モデルを修正してもよい。

また他の変形例によれば、選択部２３は、特定の作業が部品の取得である場合に、作業者が部品を取るタイミング、あるいは、部品を置くタイミングに対応する距離画像も選択してもよい。

この場合、滞留時の選択条件は、追跡対象物体の滞留位置が何れかの部品載置領域に含まれることである。また、選択条件として、追跡対象物体の滞留位置が何れかの部品載置領域に含まれることとともに、滞留してからの経過時間が所定時間以内であること、あるいは、追跡対象物体が移動を再開する時点の直前の所定時間以内であることが設定されてもよい。

図９は、この変形例による、図５に示された動作フローチャートにおける、ステップＳ１０２の滞留時の選択判定処理の動作フローチャートである。
選択部２３は、追跡対象物体の滞留位置が何れかの部品載置領域に含まれるか否か判定する（ステップＳ３０１）。追跡対象物体の滞留位置が部品載置領域の何れにも含まれない場合（ステップＳ３０１−Ｎｏ）、選択部２３は、現在の距離画像を選択せず、処理を終了する。

一方、追跡対象物体の滞留位置が何れかの部品載置領域に含まれる場合（ステップＳ３０１−Ｙｅｓ）、選択部２３は、図５におけるステップＳ１０１にて追跡対象物体が滞留したと判定されてからの経過時間が所定時間以内か否か判定する（ステップＳ３０２）。なお、所定時間は、例えば、距離画像の撮影周期の50倍に設定される。その経過時間が所定時間以内であれば（ステップＳ３０２−Ｙｅｓ）、選択部２３は、現在の距離画像を選択する（ステップＳ３０３）。そして選択部２３は、処理を終了する。

一方、その経過時間が所定時間を超えていれば（ステップＳ３０２−Ｎｏ）、選択部２３は、現在の距離画像を選択保留状態に設定する（ステップＳ３０４）。なお、選択部２３は、距離画像に選択保留状態を表すフラグを対応付けることで、その距離画像が選択保留状態であることを表すことができる。

ステップＳ３０４の後、選択部２３は、所定時刻前の距離画像が選択保留状態となっているか否か判定する（ステップＳ３０５）。そして所定時刻前の距離画像が選択保留状態となっている場合（ステップＳ３０５−Ｙｅｓ）、所定時刻前の時点で既に追跡対象物体が滞留している。そこで選択部２３は、所定時刻前の距離画像を、選択保留状態から外して、選択しないと判定する（ステップＳ３０６）。

ステップＳ３０６の後、あるいは、ステップＳ３０５にて所定時刻前の距離画像が選択保留状態となっていない場合、選択部２３は、ステップＳ１０２の処理を終了する。またこの場合、選択部２３は、図５の動作フローチャートにおけるステップＳ１０３の前、すなわち、追跡対象物体が移動を再開した時点で、選択保留状態となっている距離画像を選択する。なお、選択部２３は、選択保留状態となっている距離画像が複数ある場合、所定数（例えば、10）の選択保留状態となっている距離画像ごとに一つの距離画像を選択してもよい。

図１０は、さらに他の変形例による、映像編集装置のハードウェア構成図である。この変形例による、映像編集装置４１は、距離センサ１１と、記憶部１２と、制御部１３と、カメラ１４とを有する。
この変形例による映像編集装置４１は、上記の実施形態による映像編集装置１と比較して、カメラ１４を有する点で異なる。そこで以下では、カメラ１４及びその関連部分について説明する。

カメラ１４は、距離センサ１１の検知範囲を撮影するように設置され、カラー画像を生成する。そしてカメラ１４は、一連の作業を距離センサ１１とともに撮影することで、複数のカラー画像を含む参照用映像を作成し、制御部１３へわたす。

選択部２３は、その参照用映像に含まれる複数のカラー画像のうち、特定の作業について選択された距離画像のそれぞれについて、その距離画像の撮影時刻に最も近い撮影時刻を持つカラー画像を選択する。そして編集部２４は、参照用映像から選択されたカラー画像を再生順序に従って並べることで、特定の作業に関連する編集映像を作成する。
この変形例によれば、映像編集装置は、特定の作業に関連する一連のカラー画像を含む編集映像を作成することができる。

さらに他の変形例によれば、映像編集装置は、各距離画像から検出された追跡対象物体、及び、背景モデルに表される作業対象物体などについて、実空間での位置を求めてもよい。そのために、物体位置算出部２２は、物体領域に含まれる各画素について、その画素に写っている追跡対象物体の点の距離センサ座標系での座標(X_d,Y_d,Z_d)を、次式に従って算出する。なお、距離センサ座標系は、距離センサ１１を基準とする実空間での座標系である。距離センサ座標系では、Xd軸方向及びYd軸方向は、それぞれ、距離センサ１１の光軸と直交する面において、距離画像の水平方向及び垂直方向に対応する方向に設定される。またZd軸方向は、距離センサ１１の光軸方向と平行となるように設定される。
（１）式は、ピンホールカメラモデルに従った式であり、f_dは、距離センサ１１の焦点距離を表し、DW及びDHは、それぞれ、距離画像の水平方向画素数及び垂直方向画素数を表す。またDfovDは、距離センサ１１の対角視野角を表す。そして(x_d,y_d)は、距離画像上での水平方向の位置及び垂直方向の位置を表す。また、Z_dは、距離画像上の画素(x_d,y_d) に対応する位置にある追跡対象物体の点と距離センサ１１間の距離であり、その画素(x_d,y_d)の値に基づいて算出される。

さらに、物体位置算出部２２は、物体領域に含まれる各画素について、その画素に写っている追跡対象物体の点の距離センサ座標系での座標を、次式に従って、作業台上の何れかの点を基準とする世界座標系での座標(X_W,Y_W,Z_W)に変換してもよい。世界座標系では、例えば、作業台の表面に平行な面上で互いに直交するようにXw軸及びYw軸が設定され、作業台の表面に対する法線方向と平行となるようにZw軸が設定される。
ここでR_DWは、距離センサ座標系から世界座標系へのアフィン変換に含まれる、回転量を表す回転行列であり、t_DWは、そのアフィン変換に含まれる平行移動量を表す平行移動ベクトルである。そしてDLocX、DLocY、DLocZは、それぞれ、世界座標系のXw軸方向、Yw軸方向、Zw軸方向における、距離センサ１１のセンサ面の中心の座標、すなわち、距離センサ座標系の原点の座標である。またDRotX、DRotY、DRotZは、それぞれ、Xw軸、Yw軸、Zw軸に対する、距離センサ１１の光軸方向の回転角度を表す。

映像編集装置は、背景モデルに含まれる各作業対象物体についても、（１）式及び（２）式に従って世界座標系での位置をもとめることができる。

この場合、物体位置算出部２２は、距離センサ１１から追跡対象物体までの距離の代わりに、作業台の表面から追跡対象物体までの高さを求めてもよい。この場合、物体位置算出部２２は、距離画像上で求めた追跡対象物体の位置に対応する、世界座標系での追跡対象物体の位置を算出し、その位置でのZw軸の座標値を、作業台の表面から追跡対象物体までの高さとすることができる。

また、選択部２３は、各距離画像について、追跡対象物体及び作業領域などの世界座標系での実空間の位置に基づいて、追跡対象物体が作業領域に含まれるか否か、及び、追跡対象物体と作業対象物体間の距離を算出してもよい。例えば、選択部２３は、追跡対象物体の実空間での作業台表面からの高さと、作業対象物体の作業台表面からの高さとの差を算出することで、追跡対象物体と作業対象物体間の距離を算出できる。

この変形例によれば、映像編集装置は、追跡対象物体と作業対象物体または部品などとの位置関係をより正確に求めることができるので、特定の作業に関連する距離画像をより正確に選択できる。

さらに他の変形例によれば、映像編集装置は、同一の一連の作業に対して複数回撮影して得られた複数の映像のそれぞれに対して、上記の実施形態または変形例による編集処理を実行してもよい。その際、同一の作業者が、一連の作業を複数回行ってもよく、あるいは、互いに異なる複数の作業者のそれぞれが、一連の作業を行ってもよい。

この場合、映像編集装置は、複数の映像のうち、ユーザインターフェース（図示せず）を介して選択された映像のそれぞれから得られた、特定の作業に関連する編集済みの映像を、同時に、あるいは、交互に、表示装置に表示させてもよい。これにより、映像編集装置は、例えば、ベテランの作業者が特定の作業を行ったときの編集映像と、新人作業者がその特定の作業を行ったときの編集映像とを比較可能に表示させることができる。
あるいは、映像編集装置は、複数の映像の中から選択した、異なる部品について特定の作業に関連する編集済みの映像を繋げてもよい。この場合、映像編集装置は、各部品について特定の作業が行われたときの映像を続けて見せることができる。

さらに他の変形例によれば、映像編集装置の距離センサは、例えば眼鏡やヘルメットなどに取り付けられることで、作業者に装着されてもよい。この場合、映像編集装置は、例えば、背景モデルと、前フレームにおいて距離センサから取得した第１の距離画像との重なりを判定する。また映像編集装置は、前フレームから現フレームまでの間に移動した距離センサの移動量を判定する。そして映像編集装置は、背景モデルと、第１の距離画像と、現フレームにおいて距離センサから取得した第２の距離画像との重なりを判定する。映像編集装置は、背景モデルと第１の距離画像との重なりと、距離センサの移動量と、背景モデルと第１及び第２の距離画像との重なりとに基づいて、背景モデルと現在の距離画像とを位置合わせすればよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
作業対象物体の位置及び範囲と、前記作業対象物体及び前記作業対象物体が載置された面の３次元形状を表す背景モデルを記憶する記憶部と、
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体が写っている物体領域を検出する物体領域検出部と、
前記複数の距離画像のそれぞれについて、前記物体領域内の画素の位置及び値に基づいて、前記追跡対象物体の位置を算出する物体位置算出部と、
前記複数の距離画像のうち、当該距離画像に写る前記追跡対象物体と前記作業対象物体との位置関係、または、前記追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される、前記一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択する選択部と、
前記選択された距離画像、あるいは、前記一連の作業をカメラにより撮影することで得られる複数の画像のうち、前記選択された距離画像に対応する画像を含む編集映像を作成する編集部と、
を有する映像編集装置。
（付記２）
前記選択部は、前記距離画像に写る前記追跡対象物体の位置と直前に得られた前記距離画像に写る前記追跡対象物体との位置の差に基づいて前記追跡対象物体が滞留しているか否か判定し、前記追跡対象物体が滞留している場合に、前記距離画像に写る前記追跡対象物体と、前記背景モデルで表される前記作業対象物体との位置関係に基づいて、前記距離画像が前記選択条件を満たすか否か判定する、付記１に記載の映像編集装置。
（付記３）
前記選択部は、前記距離画像に写る前記追跡対象物体の位置と直前に得られた前記距離画像に写る前記追跡対象物体との位置の差に基づいて前記追跡対象物体が滞留しているか否か判定し、前記追跡対象物体が滞留しており、かつ、前記距離画像に写る前記追跡対象物体の位置が、前記背景モデルで表される前記作業対象物体が含まれる第１の所定範囲内に含まれている場合に、前記距離画像が前記選択条件を満たすと判定する、付記２に記載の映像編集装置。
（付記４）
前記選択部は、前記距離画像に写る前記追跡対象物体の位置と、直前の前記追跡対象物体が滞留していると判定されたときの位置の差が第２の所定範囲内である場合、前記距離画像に写る前記追跡対象物体の位置での、当該追跡対象物体と前記背景モデルに表された前記作業対象物体または前記作業対象物体が載置された面との距離に基づいて、前記距離画像は前記選択条件を満たすか否か判定する、付記３に記載の映像編集装置。
（付記５）
前記選択部は、前記追跡対象物体の位置と、直前の前記追跡対象物体が滞留していると判定されたときの位置の差が第２の所定範囲内であり、かつ、前記距離が第１の閾値未満となる前記距離画像が連続している場合、当該連続する距離画像のうちの所定の間隔の距離画像について前記選択条件を満たすと判定する、付記４に記載の映像編集装置。
（付記６）
前記選択部は、前記距離画像に写る前記追跡対象物体の位置と直前に得られた前記距離画像に写る前記追跡対象物体との位置の差に基づいて前記追跡対象物体が移動中か否か判定し、前記追跡対象物体が移動中か否かに基づいて前記距離画像が前記選択条件を満たすか否か判定する、付記１に記載の映像編集装置。
（付記７）
前記選択部は、前記追跡対象物体が移動中であると判定された前記距離画像が連続している場合、当該連続する距離画像のうちの所定の間隔の距離画像について前記選択条件を満たすと判定する、付記６に記載の映像編集装置。
（付記８）
前記所定の作業が部品の取り付けである場合の前記所定の間隔を、前記所定の作業が部品の取得である場合の前記所定の間隔よりも長くする、付記７に記載の映像編集装置。
（付記９）
前記複数の距離画像のうちの何れかの距離画像に表された前記作業対象物体の位置と前記背景モデルに表された前記作業対象物体の位置とが一致するように、前記背景モデルにおける前記作業対象物体の位置を補正する位置合わせ部をさらに有する、付記１〜８の何れかに記載の映像編集装置。
（付記１０）
前記物体位置算出部は、前記複数の距離画像のそれぞれについて、前記物体領域内の画素の位置及び値に基づいて、前記追跡対象物体の実空間での位置を算出する、付記１〜９の何れかに記載の映像編集装置。
（付記１１）
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体が写っている物体領域を検出し、
前記複数の距離画像のそれぞれについて、前記物体領域内の画素の位置及び値に基づいて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のうち、当該距離画像に写る前記追跡対象物体と、作業対象物体の位置及び範囲と、前記作業対象物体及び前記作業対象物体が載置された面の３次元形状を表す背景モデルで表された前記作業対象物体との位置関係、または、前記追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される、前記一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択し、
前記選択された距離画像、あるいは、前記一連の作業をカメラにより撮影することで得られる複数の画像のうち、前記選択された距離画像に対応する画像を含む編集映像を作成する、
ことを含む映像編集方法。
（付記１２）
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体が写っている物体領域を検出し、
前記複数の距離画像のそれぞれについて、前記物体領域内の画素の位置及び値に基づいて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のうち、当該距離画像に写る前記追跡対象物体と、作業対象物体の位置及び範囲と、前記作業対象物体及び前記作業対象物体が載置された面の３次元形状を表す背景モデルで表された前記作業対象物体との位置関係、または、前記追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される、前記一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択し、
前記選択された距離画像、あるいは、前記一連の作業をカメラにより撮影することで得られる複数の画像のうち、前記選択された距離画像に対応する画像を含む編集映像を作成する、
ことをコンピュータに実行させるための映像編集用コンピュータプログラム。

１、４１ 映像編集装置
１１ 距離センサ
１２ 記憶部
１３、３３ 制御部
２１ 物体領域検出部
２２ 物体位置算出部
２３ 選択部
２４ 編集部
２５ 位置合わせ部

Claims (8)

1. 作業対象物体の位置及び範囲と、前記作業対象物体及び前記作業対象物体が載置された面の３次元形状を表す背景モデルを記憶する記憶部と、
   距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体が写っている物体領域を検出する物体領域検出部と、
   前記複数の距離画像のそれぞれについて、前記物体領域内の画素の位置及び値に基づいて、前記追跡対象物体の位置を算出する物体位置算出部と、
   前記複数の距離画像のうち、当該距離画像に写る前記追跡対象物体と前記作業対象物体との位置関係、または、前記追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される、前記一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択する選択部と、
   前記選択された距離画像、あるいは、前記一連の作業をカメラにより撮影することで得られる複数の画像のうち、前記選択された距離画像に対応する画像を含む編集映像を作成する編集部と、
   を有する映像編集装置。
2. 前記選択部は、前記距離画像に写る前記追跡対象物体の位置と直前に得られた前記距離画像に写る前記追跡対象物体との位置の差に基づいて前記追跡対象物体が滞留しているか否か判定し、前記追跡対象物体が滞留している場合に、前記距離画像に写る前記追跡対象物体と、前記背景モデルで表される前記作業対象物体との位置関係に基づいて、前記距離画像が前記選択条件を満たすか否か判定する、請求項１に記載の映像編集装置。
3. 前記選択部は、前記距離画像に写る前記追跡対象物体の位置と直前に得られた前記距離画像に写る前記追跡対象物体との位置の差に基づいて前記追跡対象物体が滞留しているか否か判定し、前記追跡対象物体が滞留しており、かつ、前記距離画像に写る前記追跡対象物体の位置が、前記背景モデルで表される前記作業対象物体が含まれる第１の所定範囲内に含まれている場合に、前記距離画像が前記選択条件を満たすと判定する、請求項２に記載の映像編集装置。
4. 前記選択部は、前記距離画像に写る前記追跡対象物体の位置と、直前の前記追跡対象物体が滞留していると判定されたときの位置の差が第２の所定範囲内である場合、前記距離画像に写る前記追跡対象物体の位置での、当該追跡対象物体と前記背景モデルに表された前記作業対象物体または前記作業対象物体が載置された面との距離に基づいて、前記距離画像は前記選択条件を満たすか否か判定する、請求項３に記載の映像編集装置。
5. 前記選択部は、前記距離画像に写る前記追跡対象物体の位置と直前に得られた前記距離画像に写る前記追跡対象物体との位置の差に基づいて前記追跡対象物体が移動中か否か判定し、前記追跡対象物体が移動中か否かに基づいて前記距離画像が前記選択条件を満たすか否か判定する、請求項１に記載の映像編集装置。
6. 前記選択部は、前記追跡対象物体が移動中であると判定された前記距離画像が連続している場合、当該連続する距離画像のうちの所定の間隔の距離画像について前記選択条件を満たすと判定する、請求項５に記載の映像編集装置。
7. 距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体が写っている物体領域を検出し、
   前記複数の距離画像のそれぞれについて、前記物体領域内の画素の位置及び値に基づいて、前記追跡対象物体の位置を算出し、
   前記複数の距離画像のうち、当該距離画像に写る前記追跡対象物体と、作業対象物体の位置及び範囲と、前記作業対象物体及び前記作業対象物体が載置された面の３次元形状を表す背景モデルで表された前記作業対象物体との位置関係、または、前記追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される、前記一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択し、
   前記選択された距離画像、あるいは、前記一連の作業をカメラにより撮影することで得られる複数の画像のうち、前記選択された距離画像に対応する画像を含む編集映像を作成する、
   ことを含む映像編集方法。
8. 距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体が写っている物体領域を検出し、
   前記複数の距離画像のそれぞれについて、前記物体領域内の画素の位置及び値に基づいて、前記追跡対象物体の位置を算出し、
   前記複数の距離画像のうち、当該距離画像に写る前記追跡対象物体と、作業対象物体の位置及び範囲と、前記作業対象物体及び前記作業対象物体が載置された面の３次元形状を表す背景モデルで表された前記作業対象物体との位置関係、または、前記追跡対象物体の位置の時間変化のうちの少なくとも一つについて設定される、前記一連の作業中の所定の作業に応じた選択条件を満たす距離画像を選択し、
   前記選択された距離画像、あるいは、前記一連の作業をカメラにより撮影することで得られる複数の画像のうち、前記選択された距離画像に対応する画像を含む編集映像を作成する、
   ことをコンピュータに実行させるための映像編集用コンピュータプログラム。