JP2018037766A - Video editing device, video editing method and video editing computer program - Google Patents

Video editing device, video editing method and video editing computer program Download PDF

Info

Publication number
JP2018037766A
JP2018037766A JP2016167714A JP2016167714A JP2018037766A JP 2018037766 A JP2018037766 A JP 2018037766A JP 2016167714 A JP2016167714 A JP 2016167714A JP 2016167714 A JP2016167714 A JP 2016167714A JP 2018037766 A JP2018037766 A JP 2018037766A
Authority
JP
Japan
Prior art keywords
target object
distance
work target
work
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016167714A
Other languages
Japanese (ja)
Inventor
あゆ 烏谷
Ayu Karasuya
あゆ 烏谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016167714A priority Critical patent/JP2018037766A/en
Publication of JP2018037766A publication Critical patent/JP2018037766A/en
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a video editing device that can create edited video which can easily confirm a work associated with a predetermined object from the video obtained by imaging a sequence of works.SOLUTION: A video editing device comprises an object position calculation unit 22 that calculates a position of a tracking target object for each of a plurality of distance images representing a distance between the tracking target object and a distance sensor 11 obtained by imaging a sequence of works obtained from a distance sensor 11 using a pixel value, a distance calculation unit 23 that calculates a distance between the tracking target object and each work target object imaged on the distance image based on a background model representing a three-dimensional shape of the work target object for each distance image, an enlarged display determination unit 24 that determines whether or not the work target object is displayed by enlarging according to the distance for each work target object on the distance image for each distance image, and an editing unit 25 that creates edited video including an enlarged display image in which any of at least one work target object is displayed by enlarging.SELECTED DRAWING: Figure 3

Description

本発明は、例えば、事前に得られた映像を編集する映像編集装置、映像編集方法及び映像編集用コンピュータプログラムに関する。   The present invention relates to, for example, a video editing apparatus, a video editing method, and a video editing computer program for editing a video obtained in advance.

従来より、一連の作業をカメラにより撮影して得られた映像を、作業者の支援のために利用する技術が提案されている（例えば、特許文献１を参照）。特許文献１に開示された基板配線作業支援システムは、表示部の画面上に表示される作業者が入力した作業番号に対応するＣＡＤデータと、配線作業を行うプリント基板の撮影画像の両方において作業者が配線するピンをハイライト表示する。さらに、このシステムは、作業者が実際に配線するピンに対して照射装置から照射される光の照射範囲を表示装置に表示された拡大表示画像の基板範囲と対応させる。そしてこのシステムでは、画面上に表示された拡大表示ボタンが押下されることでＣＡＤデータまたは撮影画像の拡大表示が行われる。   2. Description of the Related Art Conventionally, a technique has been proposed in which a video obtained by photographing a series of work with a camera is used for assisting an operator (see, for example, Patent Document 1). The board wiring work support system disclosed in Patent Document 1 works on both CAD data corresponding to a work number input by an operator displayed on the screen of the display unit and a photographed image of a printed board that performs wiring work. Highlight the pins that the user will wire. Further, in this system, the irradiation range of light irradiated from the irradiation device to the pins actually wired by the operator is made to correspond to the substrate range of the enlarged display image displayed on the display device. In this system, an enlarged display of CAD data or a captured image is performed by pressing an enlarged display button displayed on the screen.

特開２０１３−２３８９４７号公報JP 2013-238947 A

特許文献１に開示された技術では、作業者による操作によって撮影画像などの拡大表示が行われる。そのため、一連の作業中において所定の部品あるいは基板などの所定の物体についての作業が行われる場合にその所定の物体を拡大表示してその作業を確認するためには、結局、作業者が一連の作業を撮影した映像そのものを確認することになる。したがって、所定の物体についての作業をより容易に確認できるような映像が得られることが好ましい。   In the technique disclosed in Patent Document 1, an enlarged display of a captured image or the like is performed by an operation by an operator. Therefore, when an operation on a predetermined object such as a predetermined component or a substrate is performed during a series of operations, in order to enlarge the predetermined object and confirm the operation, the operator must You will see the video of the work. Therefore, it is preferable to obtain an image that can more easily confirm the work on the predetermined object.

一つの側面では、本発明は、一連の作業を撮影して得られた映像から、所定の物体に関する作業を容易に確認可能な編集映像を作成可能な映像編集装置を提供することを目的とする。   In one aspect, an object of the present invention is to provide a video editing apparatus capable of creating an edited video that can easily confirm a work related to a predetermined object from a video obtained by photographing a series of work. .

一実施形態によれば、映像編集装置が提供される。この映像編集装置は、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、その作業対象物体の３次元形状を表す背景モデルを記憶する記憶部と、距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、追跡対象物体の位置を算出する物体位置算出部と、複数の距離画像のそれぞれについて、背景モデルに基づいてその距離画像に写る追跡対象物体と少なくとも一つの作業対象物体のそれぞれとの間の距離を算出する距離算出部と、複数の距離画像のそれぞれについて、その距離画像についての少なくとも一つの作業対象物体のそれぞれについての距離に応じて、その作業対象物体を拡大表示するか否か判定する拡大表示判定部と、少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する編集部とを有する。   According to one embodiment, a video editing device is provided. This video editing apparatus shoots a series of operations obtained from a distance sensor and a storage unit that stores a position model and a background model representing a three-dimensional shape of at least one work target object. For each of a plurality of distance images that represent the distance between the tracking target object and the distance sensor as a pixel value obtained by performing the processing, an object position calculation unit that calculates the position of the tracking target object, and each of the plurality of distance images A distance calculation unit that calculates a distance between the tracking target object reflected in the distance image based on the background model and each of the at least one work target object, and for each of the plurality of distance images, at least for the distance image An enlarged display determination unit for determining whether or not to enlarge the work target object according to the distance for each of the work target objects; And a editing section in which any of the Kutomo one operation target object to create an edited video containing a larger display image is enlarged.

一連の作業を撮影して得られた映像から、所定の物体に関する作業を容易に確認可能な編集映像を作成することができる。   From the video obtained by photographing a series of work, an edited video that can easily confirm the work related to the predetermined object can be created.

一つの実施形態による映像編集装置のハードウェア構成図である。It is a hardware block diagram of the video editing apparatus by one Embodiment. 一つの実施形態による映像編集装置で用いられる距離センサと作業対象物体の位置関係の一例を示す図である。It is a figure which shows an example of the positional relationship of the distance sensor used with the video editing apparatus by one Embodiment, and a work target object. 一つの実施形態による制御部の機能ブロック図である。It is a functional block diagram of a control part by one embodiment. 追跡対象物体と作業対象物体間の距離の一例を表す、追跡対象物体と作業対象物体を側面から見た図である。It is the figure which looked at an example of the distance between a tracking target object and a work target object, and looked at the tracking target object and the work target object from the side. 作業対象物体の拡大表示の一例を示す図である。It is a figure which shows an example of the enlarged display of a work target object. 追跡対象物体と作業対象物体間の距離の時間変化と編集映像の関係の一例を示す図である。It is a figure which shows an example of the relationship between the time change of the distance between a tracking target object and a work target object, and an edit image | video. 映像編集処理の動作フローチャートである。It is an operation | movement flowchart of a video editing process. （ａ）及び（ｂ）は、それぞれ、この変形例により生成される拡大表示画像の例を示す図である。(A) And (b) is a figure which shows the example of the enlarged display image produced | generated by this modification, respectively. 変形例による、拡大表示判定処理の動作フローチャートである。It is an operation | movement flowchart of an enlarged display determination process by a modification. 推奨する視線方向の一例を示す図である。It is a figure which shows an example of the gaze direction recommended. 視線方向の決定方法の概要を説明する図である。It is a figure explaining the outline | summary of the determination method of a gaze direction. 変形例による制御部の機能ブロック図である。It is a functional block diagram of the control part by a modification.

以下、図面を参照しつつ、映像編集装置について説明する。この映像編集装置は、装置の組み立てといった一連の作業を、物体までの距離を測定可能な距離センサで撮影することにより得られた映像に含まれる、時系列の複数の距離画像のそれぞれから、作業者の手といった追跡対象となる物体を検出する。なお、追跡対象となる物体を、以下、単に追跡対象物体と呼ぶ。この映像編集装置は、その映像から、追跡対象物体と所定の作業の対象となる物体（以下、単に作業対象物体と呼ぶ）間の距離が所定の閾値未満となると作業対象物体が拡大表示された拡大表示画像を含む編集映像を作成する。   The video editing apparatus will be described below with reference to the drawings. This video editing device works from each of a plurality of time-series distance images included in a video obtained by photographing a series of operations such as device assembly with a distance sensor capable of measuring the distance to an object. An object to be tracked such as a person's hand is detected. Note that an object to be tracked is hereinafter simply referred to as a tracking target object. In this video editing apparatus, when the distance between the tracking target object and a predetermined work target object (hereinafter simply referred to as a work target object) is less than a predetermined threshold, the work target object is enlarged and displayed from the video. Create an edited video that includes an enlarged display image.

図１は、一つの実施形態による映像編集装置のハードウェア構成図である。図２は、一つの実施形態による映像編集装置で用いられる距離センサと作業対象物体の位置関係の一例を示す図である。映像編集装置１は、距離センサ１１と、記憶部１２と、制御部１３と、表示部１４とを有する。そして距離センサ１１、記憶部１２及び表示部１４は、それぞれ、制御部１３と信号線を介して接続される。また、映像編集装置１は、映像編集装置１を他の機器と接続するための通信インターフェース（図示せず）をさらに有していてもよい。   FIG. 1 is a hardware configuration diagram of a video editing apparatus according to an embodiment. FIG. 2 is a diagram illustrating an example of a positional relationship between a distance sensor used in a video editing apparatus according to an embodiment and a work target object. The video editing apparatus 1 includes a distance sensor 11, a storage unit 12, a control unit 13, and a display unit 14. The distance sensor 11, the storage unit 12, and the display unit 14 are connected to the control unit 13 via a signal line, respectively. The video editing device 1 may further include a communication interface (not shown) for connecting the video editing device 1 to other devices.

距離センサ１１は、距離測定部の一例である。そして距離センサ１１は、図２に示されるように、例えば、作業台の上方において、例えば鉛直下方へ向けて取り付けられる。そして距離センサ１１の検知範囲には、例えば、基板１０１及び基板１０１に取り付ける部品１０２が載置された作業台１００、及び、各部品の供給元位置１０３が含まれる。   The distance sensor 11 is an example of a distance measuring unit. As shown in FIG. 2, for example, the distance sensor 11 is attached above the work table, for example, vertically downward. The detection range of the distance sensor 11 includes, for example, the work table 100 on which the substrate 101 and the component 102 to be attached to the substrate 101 are placed, and the supply source position 103 of each component.

距離センサ１１は、一連の作業中、一定の周期（例えば、30フレーム／秒〜60フレーム／秒）ごとに、検知範囲の距離画像を生成する。そして距離センサ１１は、生成した距離画像を制御部１３へ出力する。そのために、距離センサ１１は、例えば、デプスカメラとすることができる。あるいは、距離センサ１１は、距離画像とともに、カラーまたはモノクロ画像を生成できるカメラであってもよい。距離画像は、例えば、画素ごとに、その画素の値により、距離センサ１１からその画素に写っている物体の点までの距離を表す。例えば、距離センサ１１から距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値は大きくなる。なお、距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値が小さくなるようにしてもよい。以下では、距離画像中の画素に写っている物体の点までの距離が遠いほど、その画素の値は大きくなるものとして説明する。   The distance sensor 11 generates a distance image of the detection range at regular intervals (for example, 30 frames / second to 60 frames / second) during a series of operations. Then, the distance sensor 11 outputs the generated distance image to the control unit 13. Therefore, the distance sensor 11 can be a depth camera, for example. Alternatively, the distance sensor 11 may be a camera that can generate a color or monochrome image together with the distance image. The distance image represents, for example, the distance from the distance sensor 11 to the point of the object shown in the pixel by the value of the pixel for each pixel. For example, as the distance from the distance sensor 11 to the point of the object shown in the pixel in the distance image increases, the value of the pixel increases. Note that the value of the pixel may be smaller as the distance to the point of the object shown in the pixel in the distance image is longer. In the following description, it is assumed that the value of the pixel increases as the distance to the object point shown in the pixel in the distance image increases.

記憶部１２は、例えば、揮発性又は不揮発性の半導体メモリ回路を有する。そして記憶部１２は、距離センサ１１により得られた一連の距離画像を含む映像信号などを記憶する。さらに、記憶部１２は、映像編集処理で利用される様々な情報、あるいは、映像編集処理の途中で生成されるデータを記憶する。例えば、記憶部１２は、拡大表示対象となる作業対象物体の位置及び範囲、拡大表示時に中心となる位置の座標、拡大表示するか否かの判定に用いられる閾値、拡大対象となる作業対象物体を含む、距離画像上の領域のサイズ、及び、背景モデルなどを記憶する。さらに、記憶部１２は、映像編集処理の結果得られた編集映像を記憶してもよい。   The storage unit 12 includes, for example, a volatile or nonvolatile semiconductor memory circuit. The storage unit 12 stores a video signal including a series of distance images obtained by the distance sensor 11. Further, the storage unit 12 stores various information used in the video editing process or data generated during the video editing process. For example, the storage unit 12 stores the position and range of the work target object to be enlarged and displayed, the coordinates of the center position at the time of enlarged display, the threshold used for determining whether or not to enlarge, and the work target object to be enlarged. Including the size of the area on the distance image, the background model, and the like. Furthermore, the storage unit 12 may store an edited video obtained as a result of the video editing process.

背景モデルは、作業対象物体の位置及び範囲と作業対象物体の３次元形状を表すデータである。なお、作業対象物体は一つでもよく、あるいは、複数でもよい。背景モデルは、例えば、追跡対象物体が距離センサ１１の検知範囲内に存在しておらず、部品及び基板などの全ての作業対象物体が作業台などに載置されているときに距離センサ１１により得られた距離画像に基づいて作成される。例えば、その距離画像において、ユーザは、ユーザインターフェース（図示せず）を介して、作業対象物体ごとに、その物体が写っている領域を設定する。そしてその距離画像に基づいて、領域ごとに、その領域に写っている物体の高さが画素単位で設定される。なお、以下では、基板など、部品が取り付けられる作業対象物体が含まれる領域を、便宜上、作業領域と呼ぶ。作業領域では、作業者が、部品の取り付けといった作業を行うことが想定される。   The background model is data representing the position and range of the work target object and the three-dimensional shape of the work target object. Note that there may be one or more work target objects. In the background model, for example, when the tracking target object does not exist within the detection range of the distance sensor 11 and all the work target objects such as components and boards are placed on a work table or the like, the distance sensor 11 It is created based on the obtained distance image. For example, in the distance image, the user sets an area in which the object is captured for each work target object via a user interface (not shown). Based on the distance image, the height of the object in the area is set for each area in units of pixels. Hereinafter, an area including a work target object to which a component is attached, such as a board, is referred to as a work area for convenience. In the work area, it is assumed that the worker performs work such as attachment of parts.

制御部１３は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部１３は、映像編集装置１全体を制御する。また制御部１３は、映像編集処理を実行する。なお、映像編集処理の詳細については後述する。   The control unit 13 includes one or a plurality of processors and their peripheral circuits. The control unit 13 controls the entire video editing apparatus 1. Further, the control unit 13 executes a video editing process. The details of the video editing process will be described later.

表示部１４は、例えば、ディスプレイ、あるいは、プロジェクタを有する。そして表示部１４は、制御部１３により作成された編集映像を表示する。   The display unit 14 includes, for example, a display or a projector. The display unit 14 displays the edited video created by the control unit 13.

以下、制御部１３により実行される、映像編集処理に関する構成要素の詳細について説明する。
図３は、制御部１３の機能ブロック図である。制御部１３は、物体領域検出部２１と、物体位置算出部２２と、距離算出部２３と、拡大表示判定部２４と、編集部２５とを有する。
制御部１３が有するこれらの各部は、例えば、制御部１３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。あるいは、これらの各部の機能を実現する一つまたは複数の集積回路が、制御部１３とは別個に映像編集装置１に実装されてもよい。 Hereinafter, details of components related to the video editing process executed by the control unit 13 will be described.
FIG. 3 is a functional block diagram of the control unit 13. The control unit 13 includes an object region detection unit 21, an object position calculation unit 22, a distance calculation unit 23, an enlarged display determination unit 24, and an editing unit 25.
Each of these units included in the control unit 13 is implemented as, for example, a functional module realized by a computer program executed on a processor included in the control unit 13. Alternatively, one or a plurality of integrated circuits that realize the functions of these units may be mounted on the video editing apparatus 1 separately from the control unit 13.

本実施形態では、制御部１３は、作業台上で一連の作業を作業者が実行する間に撮影された時系列の複数の距離画像のそれぞれから、作業者の手を追跡対象物体として検出する。そして制御部１３は、各距離画像のうち、その距離画像から検出された手の位置と各作業対象物体までの距離を算出し、何れかの作業対象物体までの距離が閾値未満になると、その作業対象物体を拡大表示する。   In the present embodiment, the control unit 13 detects the operator's hand as a tracking target object from each of a plurality of time-series range images taken while the operator performs a series of operations on the work table. . Then, the control unit 13 calculates the position of the hand detected from the distance image and the distance to each work target object among the distance images, and when the distance to any work target object is less than the threshold, The work target object is enlarged and displayed.

物体領域検出部２１は、距離センサ１１から制御部１３が取得した距離画像から、追跡対象物体が写っている領域である物体領域を検出する。なお、物体領域検出部２１は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。   The object area detection unit 21 detects an object area that is an area in which the tracking target object is shown from the distance image acquired by the control unit 13 from the distance sensor 11. Note that the object region detection unit 21 may perform the same processing for each distance image obtained during a series of operations, and therefore, the processing for one distance image will be described below.

例えば、物体領域検出部２１は、距離画像上の各画素について、その画素の値と、背景モデルの対応画素の値とを比較する。物体領域検出部２１は、距離画像の画素の値と背景モデルの対応画素の値の差の絶対値が所定の閾値以上となる画素を抽出する。なお、所定の閾値は、例えば、5mm〜10mmに相当する距離画像上の画素値とすることができる。   For example, the object region detection unit 21 compares the value of each pixel on the distance image with the value of the corresponding pixel of the background model. The object region detection unit 21 extracts pixels in which the absolute value of the difference between the pixel value of the distance image and the corresponding pixel value of the background model is equal to or greater than a predetermined threshold value. The predetermined threshold value can be a pixel value on the distance image corresponding to 5 mm to 10 mm, for example.

物体領域検出部２１は、抽出された画素に対して、例えば、ラベリング処理を実行して、抽出された画素をグループ化することで、それぞれが抽出された画素を含み、かつ、互いに分離した１以上の候補領域を求める。そして物体領域検出部２１は、１以上の候補領域のうち、その候補領域に含まれる画素数が最大となる候補領域を物体領域とする。なお、作業者の両方の手が距離画像に写っていることもあるので、物体領域検出部２１は、その候補領域に含まれる画素数が多い方から順に二つの候補領域を、それぞれ、物体領域としてもよい。この場合、作業者と距離センサ１１の位置関係は、予め分かっているので、距離画像上での左手と右手の位置関係も分かる。例えば、指が伸ばされた状態で距離画像上で指先が上側を向く場合、二つの物体領域のうちの右側の物体領域が右手であり、左側の物体領域が左手であると想定される。そこで物体領域検出部２１は、二つの物体領域間の相互の位置関係に応じて、物体領域ごとに、その物体領域が作業者の何れの手を表すかを示す識別情報を付してもよい。   The object region detection unit 21 executes, for example, a labeling process on the extracted pixels, and groups the extracted pixels, thereby including the extracted pixels and separating them from each other. The above candidate areas are obtained. Then, the object region detection unit 21 sets a candidate region having the maximum number of pixels included in the candidate region among the one or more candidate regions as the object region. Since both hands of the worker may be reflected in the distance image, the object region detection unit 21 selects the two candidate regions in order from the one with the largest number of pixels included in the candidate region. It is good. In this case, since the positional relationship between the worker and the distance sensor 11 is known in advance, the positional relationship between the left hand and the right hand on the distance image is also known. For example, when the fingertip is directed upward on the distance image with the finger extended, it is assumed that the right object region of the two object regions is the right hand and the left object region is the left hand. Therefore, the object area detection unit 21 may attach identification information indicating which hand of the worker the object area represents for each object area according to the mutual positional relationship between the two object areas. .

あるいはまた、物体領域検出部２１は、含まれる画素数が所定の画素数以上となる候補領域が存在しない場合には、距離画像には物体領域が含まれない、すなわち、距離画像に追跡対象物体が写っていないと判定してもよい。
このように、本実施形態では、物体領域検出部２１は、距離画像に基づいて追跡対象物体を検出するので、背景となる作業台が載置された作業対象物体などにより複雑な形状となっている場合でも、追跡対象物体を正確に検出できる。 Alternatively, the object region detection unit 21 does not include the object region in the distance image when there is no candidate region in which the number of pixels included is equal to or greater than the predetermined number of pixels, that is, the tracking target object is included in the distance image. It may be determined that is not shown.
As described above, in the present embodiment, the object region detection unit 21 detects the tracking target object based on the distance image, and thus has a complicated shape due to the work target object on which the work table serving as the background is placed. Even if it is, the tracking target object can be accurately detected.

物体領域検出部２１は、距離画像上の物体領域を物体位置算出部２２へ通知する。   The object area detection unit 21 notifies the object position calculation unit 22 of the object area on the distance image.

物体位置算出部２２は、一連の作業中に得られた各距離画像について、その距離画像上の物体領域に写っている追跡対象物体の実空間での位置を算出する。本実施形態では、物体位置算出部２２は、追跡対象物体の位置を、追跡対象物体と距離センサ１１間の距離と、距離画像上で表される位置の組み合わせとして算出する。なお、物体位置算出部２２は、一連の作業中に得られた各距離画像について同一の処理を行えばよいので、以下では、一つの距離画像に対する処理について説明する。   The object position calculation unit 22 calculates the position in real space of the tracking target object shown in the object area on the distance image for each distance image obtained during a series of operations. In the present embodiment, the object position calculation unit 22 calculates the position of the tracking target object as a combination of the distance between the tracking target object and the distance sensor 11 and the position represented on the distance image. Note that the object position calculation unit 22 only needs to perform the same processing for each distance image obtained during a series of operations, and therefore, the processing for one distance image will be described below.

例えば、作業者は、指先で部品を把持することが想定される。そのため、部品を取り付ける、あるいは、部品を取得するといった特定の作業が行われているか否かを判定するためには、背景モデルで表される、作業対象物体から指先までの距離が分かることが好ましい。そこで、物体位置算出部２２は、物体領域において指先に相当する部分領域に含まれる各画素の値の平均値で表される距離を、追跡対象物体と距離センサ１１間の距離とする。また、距離センサ１１と作業者の位置関係から、距離画像上で指先が向く方向も想定される。例えば、距離画像上で指先が上方を向くと想定される場合、物体位置算出部２２は、物体領域の上端から所定距離（例えば、10mmに相当する画素数）の範囲に含まれる物体領域の部分を、指先に相当する部分領域とする。   For example, it is assumed that the worker holds a part with a fingertip. Therefore, it is preferable to know the distance from the work target object to the fingertip, which is represented by the background model, in order to determine whether or not a specific work such as attaching a part or acquiring a part is performed. . Therefore, the object position calculation unit 22 sets the distance represented by the average value of the pixels included in the partial area corresponding to the fingertip in the object area as the distance between the tracking target object and the distance sensor 11. Further, based on the positional relationship between the distance sensor 11 and the operator, a direction in which the fingertip faces on the distance image is also assumed. For example, when it is assumed that the fingertip is directed upward on the distance image, the object position calculation unit 22 is a part of the object region included in a predetermined distance (for example, the number of pixels corresponding to 10 mm) from the upper end of the object region. Is a partial region corresponding to the fingertip.

さらに、物体位置算出部２２は、距離画像上の指先に相当する部分領域の重心を、距離画像上の追跡対象物体の位置として算出する。   Furthermore, the object position calculation unit 22 calculates the center of gravity of the partial area corresponding to the fingertip on the distance image as the position of the tracking target object on the distance image.

また、一連の作業中、作業者は、指先を作業台側へ向けていると想定される。そのため、手のなかで、指先が、作業台または作業対象物体に最も近くなると想定される。そこで変形例によれば、物体位置算出部２２は、物体領域に含まれる各画素について、背景モデルの対応画素との間で差分値を算出し、その差分値が最小となる画素を特定してもよい。そして物体位置算出部２２は、その特定された画素の値で表される距離を、距離センサ１１と追跡対象物体間の距離としてもよい。この場合、物体位置算出部２２は、その特定された画素の位置を、距離画像上の追跡対象物体の位置とする。   Further, during a series of operations, it is assumed that the operator is pointing his fingertip toward the work table. Therefore, it is assumed that the fingertip is closest to the work table or the work target object in the hand. Therefore, according to the modification, the object position calculation unit 22 calculates a difference value between each pixel included in the object region and the corresponding pixel of the background model, and specifies a pixel having the minimum difference value. Also good. The object position calculation unit 22 may use the distance represented by the specified pixel value as the distance between the distance sensor 11 and the tracking target object. In this case, the object position calculation unit 22 sets the specified pixel position as the position of the tracking target object on the distance image.

物体位置算出部２２は、各距離画像について得られた追跡対象物体の位置を距離算出部２３へわたす。   The object position calculation unit 22 passes the position of the tracking target object obtained for each distance image to the distance calculation unit 23.

距離算出部２３は、背景モデルに基づいて、作業対象物体ごとに、一連の作業中に得られた各距離画像における、追跡対象物体の位置と作業対象物体間の距離を算出する。その際、距離算出部２３は、例えば、次式に従って、追跡対象物体の実空間での位置、及び、背景モデルで表される、作業対象物体の実空間での所定点の位置を算出する。そして距離算出部２３は、実空間での追跡対象物体の位置と作業対象物体の位置間の距離を算出する。
（１）式は、ピンホールカメラモデルに従った式であり、距離画像上の画素(xd,yd)に対応する実空間での位置(Xd,Yd,Zd)として、距離センサ１１を基準とする距離センサ座標系での位置が求められる。距離センサ座標系では、Xd軸方向及びYd軸方向は、それぞれ、距離センサ１１の光軸と直交する面において、距離画像の水平方向及び垂直方向に対応する方向に設定される。またZd軸方向は、距離センサ１１の光軸方向と平行となるように設定される。またfdは、距離センサ１１の焦点距離を表し、DW及びDHは、それぞれ、距離画像の水平方向画素数及び垂直方向画素数を表す。DfovDは、距離センサ１１の対角視野角を表す。また、Zdは、距離画像上の画素(xd,yd)に対応する位置にある追跡対象物体または作業対象物体の点と距離センサ１１間の距離であり、その画素(xd,yd)の値に基づいて算出される。 The distance calculating unit 23 calculates the distance between the position of the tracking target object and the distance between the work target objects in each distance image obtained during a series of work for each work target object based on the background model. At this time, the distance calculation unit 23 calculates the position of the tracking target object in the real space and the position of the predetermined point in the real space of the work target object represented by the background model, for example, according to the following equation. The distance calculation unit 23 calculates a distance between the position of the tracking target object and the position of the work target object in the real space.
Equation (1) is an equation according to the pinhole camera model, and the distance (X d , Y d , Z d ) in the real space corresponding to the pixel (x d , y d ) on the distance image is the distance. A position in the distance sensor coordinate system based on the sensor 11 is obtained. In the distance sensor coordinate system, the Xd-axis direction and the Yd-axis direction are set to directions corresponding to the horizontal direction and the vertical direction of the distance image on the plane orthogonal to the optical axis of the distance sensor 11, respectively. Further, the Zd axis direction is set to be parallel to the optical axis direction of the distance sensor 11. F d represents the focal length of the distance sensor 11, and DW and DH represent the number of horizontal pixels and the number of vertical pixels of the distance image, respectively. DfovD represents the diagonal viewing angle of the distance sensor 11. Z d is the distance between the point of the tracking target object or work target object at the position corresponding to the pixel (x d , y d ) on the distance image and the distance sensor 11, and the pixel (x d , y It is calculated based on the value of d ).

図４は、追跡対象物体と作業対象物体間の距離の一例を表す、追跡対象物体と作業対象物体を側面から見た図である。図４に示されるように、追跡対象物体である作業者の手４００と作業対象物体４１０間の距離dは、３次元的に算出される。すなわち、距離dは、作業台の表面に平行な面における手４００の位置と作業対象物体４１０の所定点４１１の位置の差だけでなく、作業台の表面に対する法線方向における手４００の位置と作業対象物体４１０の所定点４１１の位置の差も考慮して算出される。なお、距離の算出に利用される作業対象物体４１０の所定点４１１の位置は、例えば、距離画像上での作業対象物体４１０が写っている領域の重心に相当する、実空間上の作業対象物体４１０の表面の位置とすることができる。なお、距離の算出に利用される作業対象物体の所定点を、以下では、基準点と呼ぶ。   FIG. 4 is a diagram illustrating an example of the distance between the tracking target object and the work target object, as viewed from the side. As shown in FIG. 4, the distance d between the worker's hand 400 that is the tracking target object and the work target object 410 is calculated three-dimensionally. That is, the distance d is not only the difference between the position of the hand 400 in a plane parallel to the surface of the workbench and the position of the predetermined point 411 of the work target object 410 but also the position of the hand 400 in the normal direction with respect to the surface of the workbench. The calculation is performed in consideration of the difference in position of the predetermined point 411 of the work target object 410. Note that the position of the predetermined point 411 of the work target object 410 used for calculating the distance is, for example, the work target object in the real space corresponding to the center of gravity of the region in which the work target object 410 is shown on the distance image. 410 may be the position of the surface. A predetermined point of the work target object used for calculating the distance is hereinafter referred to as a reference point.

あるいは、距離算出部２３は、距離画像上で作業対象物体４１０が写っている領域に含まれる各点ごとに、その点に対応する実空間上の位置と追跡対象物体の位置間の距離を算出し、その距離の最小値を、追跡対象物体と作業対象物体間の距離としてもよい。   Alternatively, the distance calculation unit 23 calculates the distance between the position in the real space corresponding to the point and the position of the tracking target object for each point included in the area where the work target object 410 is reflected on the distance image. The minimum value of the distance may be the distance between the tracking target object and the work target object.

距離算出部２３は、作業対象物体ごとの、追跡対象物体と作業対象物体間の距離を拡大表示判定部２４へ通知する。さらに、距離算出部２３は、作業対象物体ごとの、追跡対象物体と作業対象物体間の距離を、対応する距離画像の取得時刻とともに、記憶部１２に保存してもよい。   The distance calculation unit 23 notifies the enlargement display determination unit 24 of the distance between the tracking target object and the work target object for each work target object. Furthermore, the distance calculation unit 23 may store the distance between the tracking target object and the work target object for each work target object in the storage unit 12 together with the acquisition time of the corresponding distance image.

拡大表示判定部２４は、距離画像ごとに、各作業対象物体についての追跡対象物体と作業対象物体間の距離に基づいて、作業対象物体を拡大表示するか否か判定する。   The enlarged display determination unit 24 determines, for each distance image, whether to enlarge and display the work target object based on the distance between the tracking target object and the work target object for each work target object.

本実施形態では、拡大表示判定部２４は、何れかの作業対象物体についての追跡対象物体と作業対象物体間の距離が所定の閾値未満となった場合に、その作業対象物体を拡大表示すると判定する。なお、同一の距離画像において、距離が所定の閾値未満となる作業対象物体が複数存在する場合、拡大表示判定部２４は、それら作業対象物体のうち、距離が最小となる作業対象物体のみを拡大表示すると判定してもよい。あるいは、拡大表示判定部２４は、距離が所定の閾値未満となる作業対象物体の全てについて拡大表示すると判定してもよい。   In the present embodiment, the enlarged display determination unit 24 determines to enlarge and display the work target object when the distance between the tracking target object and the work target object for any of the work target objects is less than a predetermined threshold. To do. When there are a plurality of work target objects whose distances are less than the predetermined threshold in the same distance image, the enlarged display determination unit 24 enlarges only the work target objects whose distance is the minimum among the work target objects. You may determine to display. Alternatively, the enlarged display determination unit 24 may determine that all the work target objects whose distance is less than a predetermined threshold are displayed in an enlarged manner.

拡大表示判定部２４は、拡大表示対象となる作業対象物体について、その作業対象物体を含む拡大対象領域を設定する。例えば、拡大表示判定部２４は、拡大表示対象となる作業対象物体について設定される基準点を中心とする所定サイズの領域を拡大対象領域とする。拡大対象領域は、例えば、距離画像上で上下左右それぞれについて基準点から所定の長さを持つ矩形領域、あるいは、基準点を中心とする、所定の長さの半径を持つ円形領域とすることができる。なお、所定の長さは、例えば、追跡対象物体と作業対象物体間の距離に対する上記の閾値とすることができる。   The enlarged display determination unit 24 sets an enlargement target area including the work target object for the work target object to be enlarged display target. For example, the enlarged display determination unit 24 sets an area of a predetermined size centered on a reference point set for a work target object to be enlarged displayed as an enlargement target area. The enlargement target area may be, for example, a rectangular area having a predetermined length from the reference point in each of the upper, lower, left, and right directions on the distance image, or a circular area having a predetermined length radius centered on the reference point. it can. Note that the predetermined length can be, for example, the above threshold for the distance between the tracking target object and the work target object.

なお、所定の閾値は、作業対象物体ごとに設定されてもよい。例えば、作業対象物体が大きいほど、閾値も大きくなるように、その閾値は設定されてもよい。その際、所定の閾値は、基準点から作業対象物体の外縁までの距離の最大値よりも大きな値となるように設定されてもよい。そして閾値が大きくなるほど、拡大対象領域のサイズも大きくなるように、拡大対象領域は設定されてもよい。これにより、拡大表示判定部２４は、小さな作業対象物体ほどより拡大して表示することができ、一方、大きい作業対象物体については、その作業対象物体全体を拡大対象領域に含めることができる。   Note that the predetermined threshold value may be set for each work target object. For example, the threshold value may be set so that the larger the work target object, the larger the threshold value. At this time, the predetermined threshold value may be set to be larger than the maximum value of the distance from the reference point to the outer edge of the work target object. The enlargement target area may be set so that the larger the threshold value, the larger the size of the enlargement target area. As a result, the enlarged display determination unit 24 can display a larger work target object in a larger size. On the other hand, for a large work target object, the entire work target object can be included in the enlargement target area.

図５は、作業対象物体の拡大表示の一例を示す図である。図５の左上側に示された距離画像５００において、二つの作業対象物体５０１、５０２が写っている。この例では、作業対象物体５０１よりも、作業対象物体５０２の方が大きい。また図５の中段には、作業対象物体５０１と追跡対象物体５０３間の距離が閾値未満となった場合における、作業対象物体５０１の拡大表示画像５１１、５１２が示される。一方、図５の下段には、作業対象物体５０２と追跡対象物体５０３間の距離が閾値未満となった場合における、作業対象物体５０２の拡大表示画像５２１、５２２が示される。そして拡大表示画像５１１、５２１は、それぞれ、作業対象物体５０１、５０２の重心を中心とする拡大対象領域を、一定の拡大倍率で拡大表示したものである。そのため、拡大表示画像５１１、５２１では、作業者は、作業対象物体上の微細構造を、作業対象物体のサイズに関わらず、同じ倍率で視認することができる。一方、拡大表示画像５１２、５２２は、それぞれ、作業対象物体５０１、５０２の重心を中心とする拡大対象領域を、作業対象物体のサイズに応じて拡大したものである。そのため、拡大表示画像５１２、５２２では、作業対象物体のサイズにかかわらず、作業者は、作業対象物体全体を視認することができる。   FIG. 5 is a diagram illustrating an example of an enlarged display of the work target object. In the distance image 500 shown on the upper left side of FIG. 5, two work target objects 501 and 502 are shown. In this example, the work target object 502 is larger than the work target object 501. 5 shows enlarged display images 511 and 512 of the work target object 501 when the distance between the work target object 501 and the tracking target object 503 is less than the threshold. On the other hand, the lower part of FIG. 5 shows enlarged display images 521 and 522 of the work target object 502 when the distance between the work target object 502 and the tracking target object 503 is less than the threshold. The enlarged display images 511 and 521 are obtained by enlarging and displaying the enlargement target regions centered on the center of gravity of the work target objects 501 and 502 at a constant enlargement magnification, respectively. Therefore, in the enlarged display images 511 and 521, the operator can visually recognize the fine structure on the work target object at the same magnification regardless of the size of the work target object. On the other hand, the enlarged display images 512 and 522 are obtained by enlarging the enlargement target areas around the center of gravity of the work target objects 501 and 502, respectively, according to the size of the work target object. Therefore, in the enlarged display images 512 and 522, the operator can visually recognize the entire work target object regardless of the size of the work target object.

拡大表示判定部２４は、距離画像ごとに、作業対象物体の拡大表示を行うか否かについての判定結果、及び、拡大表示の対象となる作業対象物体について設定した拡大対象領域を編集部２５へ通知する。   The enlargement display determination unit 24 determines, for each distance image, the determination result as to whether or not to enlarge the work target object and the enlargement target area set for the work target object to be enlarged display to the editing unit 25. Notice.

編集部２５は、一連の作業について得られた時系列の複数の距離画像から、作業対象物体の拡大表示を含む編集映像を作成する。例えば、編集部２５は、複数の距離画像のうち、作業対象物体の拡大表示を行うと判定された距離画像について設定された拡大対象領域をその距離画像から切り出して所定の拡大倍率で拡大することで、作業対象物体が拡大表示される拡大表示画像を生成する。所定の拡大倍率は、例えば、拡大対象領域のサイズに対する、表示部１４の表示画面上の拡大表示用の所定領域のサイズの比とすることができる。また編集部２５は、拡大表示画像を生成する際に、補間処理を行ってもよい。そして編集部２５は、一連の作業について得られた時系列の複数の距離画像のうち、作業対象物体の拡大表示を行うと判定された距離画像を対応する拡大表示画像で置換することで編集映像を作成する。これにより、一連の作業中において作業対象物体に関連する作業が行われる間、その作業対象物体についての拡大表示画像を含む編集映像が得られるので、作業者は、その編集映像を参照することでその一連の作業を容易に確認することができる。   The editing unit 25 creates an edited video including an enlarged display of the work target object from a plurality of time-series distance images obtained for a series of work. For example, the editing unit 25 cuts out the enlargement target area set for the distance image determined to perform the enlarged display of the work target object from among the plurality of distance images, and enlarges it with a predetermined magnification. Thus, an enlarged display image in which the work target object is enlarged is generated. The predetermined magnification can be, for example, a ratio of the size of the predetermined area for enlargement display on the display screen of the display unit 14 to the size of the area to be enlarged. The editing unit 25 may perform interpolation processing when generating an enlarged display image. Then, the editing unit 25 replaces the distance image determined to perform the enlarged display of the work target object among the plurality of time-series distance images obtained for the series of operations with the corresponding enlarged display image. Create As a result, while a work related to the work target object is performed during a series of work, an edited video including an enlarged display image of the work target object is obtained. The series of operations can be easily confirmed.

図６は、追跡対象物体と作業対象物体間の距離の時間変化と編集映像の関係の一例を示す図である。図６の下側には、追跡対象物体と作業対象物体間の距離の時間変化を表すグラフ６００が示される。グラフ６００の横軸は時間を表し、縦軸は追跡対象物体と作業対象物体間の距離を表す。またd2は、拡大表示を行うか否かを判定するための、追跡対象物体と作業対象物体間の距離に対する閾値である。また、図６の上側には、編集映像において、追跡対象物体と作業対象物体間の距離に応じて選択される画像を表す。   FIG. 6 is a diagram illustrating an example of the relationship between the temporal change in the distance between the tracking target object and the work target object and the edited video. On the lower side of FIG. 6, a graph 600 is shown that represents a change over time in the distance between the tracking target object and the work target object. The horizontal axis of the graph 600 represents time, and the vertical axis represents the distance between the tracking target object and the work target object. D2 is a threshold for the distance between the tracking target object and the work target object for determining whether or not to perform enlarged display. Further, the upper side of FIG. 6 represents an image selected in accordance with the distance between the tracking target object and the work target object in the edited video.

この例では、時刻t1〜t2の間、追跡対象物体と作業対象物体間の距離は、閾値d2未満となっており、一方、時刻t1以前、及び、時刻t2以降については、追跡対象物体と作業対象物体間の距離は、閾値d2以上となっている。そのため、編集映像においても、時刻t1以前では、作業領域全体を含む元の距離画像６０１が含まれる。一方、時刻t1〜t2の間では、編集映像には、作業対象物体６１０が拡大表示される拡大表示画像６０２が含まれる。そして時刻t2以降では、時刻t1以前と同様に、編集映像には、作業領域全体を含む元の距離画像６０３が含まれる。 In this example, between times t 1 ~t 2, the distance between the work object and the tracking target object has become less than the threshold d2, whereas, the time t 1 earlier, and, for the time t 2 later, tracking The distance between the target object and the work target object is equal to or greater than the threshold value d2. Therefore, even in the edited video, at the time t 1 earlier, it includes the original range image 601 including the whole working area. On the other hand, between times t 1 and t 2 , the edited video includes an enlarged display image 602 in which the work target object 610 is enlarged and displayed. After time t 2 , as in the case before time t 1 , the edited video includes the original distance image 603 including the entire work area.

変形例によれば、編集部２５は、編集映像において、作業対象物体の拡大表示を行うと判定された距離画像について、元の距離画像と拡大表示画像とが表示部１４の表示画面に並べて表示されるようにしてもよい。あるいは、編集部２５は、一連の作業について得られた時系列の複数の距離画像のなかから、作業対象物体の拡大表示を行うと判定された距離画像を選択し、選択した距離画像から得られる拡大表示画像のみを編集映像に含めてもよい。   According to the modification, the editing unit 25 displays the original distance image and the enlarged display image side by side on the display screen of the display unit 14 for the distance image determined to perform the enlarged display of the work target object in the edited video. You may be made to do. Alternatively, the editing unit 25 selects a distance image determined to perform an enlarged display of the work target object from a plurality of time-series distance images obtained for a series of operations, and is obtained from the selected distance image. Only the enlarged display image may be included in the edited video.

編集部２５は、作成した編集映像を記憶部１２に保存する。また編集部２５は、作成した編集映像を表示部１４に表示させてもよい。あるいは、編集部２５は、作成した編集映像を、通信インターフェース（図示せず）を介して他の機器へ出力してもよい。   The editing unit 25 stores the created edited video in the storage unit 12. The editing unit 25 may display the created edited video on the display unit 14. Alternatively, the editing unit 25 may output the created edited video to another device via a communication interface (not shown).

図７は、映像編集処理の動作フローチャートである。
制御部１３は、記憶部１２から背景モデルを読み込む（ステップＳ１０１）。そして物体領域検出部２１は、一連の作業を撮影して得られた映像に含まれる各距離画像から物体領域を検出する（ステップＳ１０２）。また、物体位置算出部２２は、各距離画像について、物体領域に写っている追跡対象物体の位置を算出する（ステップＳ１０３）。 FIG. 7 is an operation flowchart of the video editing process.
The control unit 13 reads the background model from the storage unit 12 (step S101). Then, the object region detection unit 21 detects the object region from each distance image included in the video obtained by photographing a series of operations (step S102). Further, the object position calculation unit 22 calculates the position of the tracking target object shown in the object region for each distance image (step S103).

距離算出部２３は、各距離画像について、距離画像に写っている作業対象物体ごとに、追跡対象物体とその作業対象物体との距離を算出する（ステップＳ１０４）。そして拡大表示判定部２４は、各距離画像について、追跡対象物体と各作業対象物体間の距離に応じて、作業対象物体ごとに拡大表示するか否かを判定する（ステップＳ１０５）。   For each distance image, the distance calculation unit 23 calculates the distance between the tracking target object and the work target object for each work target object shown in the distance image (step S104). Then, the enlarged display determination unit 24 determines whether or not to enlarge and display each distance image for each work target object according to the distance between the tracking target object and each work target object (step S105).

編集部２５は、各距離画像のうち、作業対象物体を拡大表示すると判定された距離画像について、その作業対象物体の拡大表示画像を作成し、その拡大表示画像を編集映像に含めることで編集映像を作成する（ステップＳ１０６）。そして制御部１３は、映像編集処理を終了する。   The editing unit 25 creates an enlarged display image of the work target object with respect to the distance image determined to display the work target object in an enlarged manner, and includes the enlarged display image in the edited video. Is created (step S106). Then, the control unit 13 ends the video editing process.

以上に説明してきたように、この映像編集装置は、一連の作業を距離センサを用いて撮影することで得られた映像に含まれる複数の距離画像のそれぞれから、その距離画像に写っている追跡対象物体を検出し、追跡対象物体の位置をもとめる。そしてこの映像編集装置は、追跡対象物体と作業対象物体間の距離が閾値未満となる距離画像から、その作業対象物体の拡大表示画像を作成し、拡大表示画像を含む編集映像を作成する。そのため、この映像編集装置は、一連の作業全体を表す映像から、その作業に関連する作業対象物体についての作業が行われるときにその作業対象物体が拡大表示される編集映像を作成することができる。したがって、この映像編集装置は、所定の作業対象物体に関する作業を作業者が確認することを容易化できる。さらに、この映像編集装置では、拡大表示される作業対象物体、及び、拡大表示されるタイミングは自動的に決定され、作業者による操作を必要としない。そのため、この映像編集装置は、編集映像作成の際の作業者の工数を削減できる。   As described above, this video editing apparatus is capable of tracking a distance image from each of a plurality of distance images included in a video obtained by photographing a series of operations using a distance sensor. The target object is detected and the position of the tracking target object is determined. The video editing apparatus creates an enlarged display image of the work target object from a distance image in which the distance between the tracking target object and the work target object is less than a threshold, and creates an edited video including the enlarged display image. Therefore, the video editing apparatus can create an edited video in which the work target object is enlarged and displayed when the work is performed on the work target object related to the work, from the video representing the entire series of work. . Therefore, this video editing apparatus can facilitate the operator confirming the work related to the predetermined work target object. Furthermore, in this video editing apparatus, the work target object to be enlarged and the timing for the enlarged display are automatically determined, and no operation by the operator is required. Therefore, this video editing apparatus can reduce the number of man-hours required for creating the edited video.

変形例によれば、拡大表示判定部２４は、拡大対象領域に追跡対象物体がある程度含まれるように、作業対象物体と拡大対象領域の外縁との間にある程度のマージンが含まれるよう、拡大対象領域のサイズを設定してもよい。   According to the modification, the enlargement display determination unit 24 enlarges the enlargement target area so that the enlargement target area includes a certain margin between the work target object and the outer edge of the enlargement target area so that the tracking target object is included to some extent. The size of the area may be set.

この場合、追跡対象物体と作業対象物体間の距離が小さいほどサイズが小さくなるように、拡大対象領域は設定されてもよい。例えば、基準点から拡大対象領域の上下または左右の辺までの長さRは、次式に従ってされてもよい。
ここで、Rmaxは、長さRの最大値であり、Rminは、長さRの最小値である。そしてdは、追跡対象物体と作業対象物体間の距離であり、d2は、拡大表示するか否かの判定に用いられる閾値である。 In this case, the enlargement target area may be set so that the size decreases as the distance between the tracking target object and the work target object decreases. For example, the length R from the reference point to the upper and lower or left and right sides of the enlargement target area may be determined according to the following equation.
Here, Rmax is the maximum value of the length R, and Rmin is the minimum value of the length R. D is a distance between the tracking target object and the work target object, and d2 is a threshold value used for determining whether or not to enlarge the display.

（２）式に従って拡大対象領域のサイズが設定される場合、追跡対象物体が作業対象物体に近づくほど、そのサイズが小さくなる。したがって、表示部１４の表示画面上の拡大表示用の所定領域のサイズが一定であれば、追跡対象物体が作業対象物体に近づくほど、拡大表示画像において作業対象物体がより拡大される。   When the size of the enlargement target area is set according to the equation (2), the size of the tracking target object decreases as the tracking target object approaches the work target object. Therefore, if the size of the predetermined area for enlargement display on the display screen of the display unit 14 is constant, the closer the tracking target object is to the work target object, the more the work target object is enlarged in the enlarged display image.

図８（ａ）及び図８（ｂ）は、それぞれ、この変形例により生成される拡大表示画像の例を示す図である。図８（ａ）に示される拡大表示画像８００では、作業対象物体８０１と追跡対象物体８０２間の距離が比較的大きいため、拡大対象領域が大きめに設定されており、その結果として、拡大倍率も比較的低くなっている。一方、図８（ｂ）に示される拡大表示画像８１０では、作業対象物体８０１と追跡対象物体８０２間の距離が比較的小さいため、拡大対象領域が小さくなっている。その結果として、拡大倍率も比較的高くなっている。   FIG. 8A and FIG. 8B are diagrams showing examples of enlarged display images generated by this modification. In the enlarged display image 800 shown in FIG. 8A, since the distance between the work target object 801 and the tracking target object 802 is relatively large, the enlargement target area is set larger, and as a result, the enlargement magnification is also increased. It is relatively low. On the other hand, in the enlarged display image 810 shown in FIG. 8B, since the distance between the work target object 801 and the tracking target object 802 is relatively small, the enlargement target area is small. As a result, the enlargement magnification is also relatively high.

このように、追跡対象物体が作業対象物体に近づくにつれて作業対象物体の拡大倍率も高くなるので、作業が行われるときの作業対象物体の様子を確認することがより容易となる編集映像が得られる。一方、この編集映像では、作業対象物体に関する作業が行われる前後において、追跡対象物体がどのように作業対象物体に近づくか、あるいは、どのように作業対象物体から離れるかについても確認することが容易となる。   Thus, since the magnification of the work target object increases as the tracking target object approaches the work target object, an edited video that makes it easier to check the state of the work target object when the work is performed is obtained. . On the other hand, in this edited video, it is easy to check how the tracking target object approaches the work target object or how it moves away from the work target object before and after the work on the work target object is performed. It becomes.

なお、拡大対象領域のサイズの設定方法は、作業対象物体ごとに規定されていてもよい。すなわち、作業対象物体ごとに、拡大対象領域のサイズの設定方法が異なっていてもよい。また、拡大表示判定部２４は、個別のサイズ設定方法が規定されている作業対象物体については、対応するサイズ設定方法に従って拡大対象領域のサイズを設定する。一方、個別のサイズ設定方法が規定されていない作業対象物体については、拡大表示判定部２４は、（２）式に従って拡大対象領域のサイズを設定してもよい。これにより、作業対象物体に応じて、拡大表示判定部２４は、より適切な拡大対象領域のサイズを設定することができる。   The method for setting the size of the enlargement target area may be defined for each work target object. That is, the method for setting the size of the enlargement target area may be different for each work target object. In addition, the enlargement display determination unit 24 sets the size of the enlargement target area according to the corresponding size setting method for a work target object for which an individual size setting method is prescribed. On the other hand, for a work target object for which an individual size setting method is not defined, the enlarged display determination unit 24 may set the size of the enlargement target area according to the equation (2). Accordingly, the enlarged display determination unit 24 can set a more appropriate size of the enlargement target area according to the work target object.

例えば、図５に示されている、相対的に小さい作業対象物体５０１について、追跡対象物体と作業対象物体間の距離dが3cm未満であれば、拡大対象領域は、基準点を中心としてその周囲10cmに相当する範囲を含むように設定される。一方、距離dが3cm以上かつ10cm未満であれば、拡大対象領域は、基準点を中心としてその周囲15cmに相当する範囲を含むように拡大対象領域が設定される。そして距離dが10cm以上であれば、作業対象物体５０１は拡大表示されない。   For example, for the relatively small work target object 501 shown in FIG. 5, if the distance d between the tracking target object and the work target object is less than 3 cm, the enlargement target region is centered around the reference point. It is set to include a range corresponding to 10 cm. On the other hand, if the distance d is 3 cm or more and less than 10 cm, the enlargement target region is set so as to include a range corresponding to 15 cm around the reference point. If the distance d is 10 cm or more, the work target object 501 is not displayed enlarged.

また、図５に示されている、相対的に大きい作業対象物体５０２について、追跡対象物体と作業対象物体間の距離dが3cm未満であれば、拡大対象領域は、基準点を中心としてその周囲15cmに相当する範囲を含むように設定される。一方、距離dが3cm以上かつ10cm未満であれば、拡大対象領域は、基準点を中心としてその周囲(15+(d-3)*2)cmに相当する範囲を含むように拡大対象領域が設定される。そして距離dが10cm以上であれば、作業対象物体５０２は拡大表示されない。   For the relatively large work target object 502 shown in FIG. 5, if the distance d between the tracking target object and the work target object is less than 3 cm, the enlargement target region is centered around the reference point It is set to include a range corresponding to 15 cm. On the other hand, if the distance d is 3 cm or more and less than 10 cm, the enlargement target area includes the range corresponding to (15+ (d-3) * 2) cm around the reference point. Is set. If the distance d is 10 cm or more, the work target object 502 is not enlarged.

さらに、拡大表示判定部２４は、作業対象物体が予め設定される基準サイズの拡大対象領域に含まれる場合には、拡大対象領域のサイズをその基準サイズに設定し、そうでない場合に、上記の変形例に従って拡大対象領域のサイズを設定してもよい。   Further, the enlargement display determination unit 24 sets the size of the enlargement target area to the reference size when the work target object is included in the enlargement target area of the preset reference size, and if not, The size of the enlargement target area may be set according to the modification.

図９は、これらの変形例による、拡大表示判定部２４による拡大表示判定処理の動作フローチャートである。なお、拡大表示判定部２４は、距離画像に複数の作業対象物体が含まれる場合、作業対象物体ごとに、下記の動作フローチャートに従って拡大対象領域を設定すればよい。   FIG. 9 is an operation flowchart of an enlarged display determination process by the enlarged display determination unit 24 according to these modified examples. Note that, when the distance image includes a plurality of work target objects, the enlarged display determination unit 24 may set an enlargement target area for each work target object according to the following operation flowchart.

拡大表示判定部２４は、追跡対象物体と作業対象物体間の距離dが閾値d2未満か否か判定する（ステップＳ２０１）。距離dが閾値d2以上である場合（ステップＳ２０１−Ｎｏ）、拡大表示判定部２４は、その作業対象物体については拡大表示しないと判定する。そして拡大表示判定部２４は拡大表示判定処理を終了する。   The enlarged display determination unit 24 determines whether the distance d between the tracking target object and the work target object is less than a threshold value d2 (step S201). When the distance d is equal to or greater than the threshold value d2 (step S201—No), the enlarged display determination unit 24 determines that the work target object is not enlarged. Then, the enlarged display determination unit 24 ends the enlarged display determination process.

一方、距離dが閾値d2未満である場合（ステップＳ２０１−Ｙｅｓ）、拡大表示判定部２４は、作業対象物体が予め設定される基準サイズを持つ拡大対象領域に含まれるか否か判定する（ステップＳ２０２）。なお、距離センサ１１と作業対象物体の位置関係が一定である場合、作業対象物体が基準サイズを持つ拡大対象領域に含まれるか否かは予め分かるので、その判定結果が予め記憶部１２に保存されていてもよい。そして拡大表示判定部２４は、その判定結果を参照すればよい。   On the other hand, when the distance d is less than the threshold value d2 (step S201-Yes), the enlarged display determination unit 24 determines whether or not the work target object is included in an enlargement target area having a preset reference size (step S201). S202). If the positional relationship between the distance sensor 11 and the work target object is constant, it can be known in advance whether or not the work target object is included in the enlargement target region having the reference size, and the determination result is stored in the storage unit 12 in advance. May be. The enlarged display determination unit 24 may refer to the determination result.

作業対象物体全体が基準サイズを持つ拡大対象領域に含まれる場合（ステップＳ２０２−Ｙｅｓ）、拡大表示判定部２４は、拡大対象領域のサイズを基準サイズに設定する（ステップＳ２０３）。一方、作業対象物体全体が基準サイズの拡大対象領域に含まれない場合（ステップＳ２０２−Ｎｏ）、拡大表示判定部２４は、その作業対象物体に対して個別のサイズ設定方法が規定されているか否か判定する（ステップＳ２０４）。個別のサイズ設定方法が規定されている場合（ステップＳ２０４−Ｙｅｓ）、拡大表示判定部２４は、そのサイズ設定方法に従って拡大対象領域を設定する（ステップＳ２０５）。   When the entire work target object is included in the enlargement target area having the reference size (step S202—Yes), the enlargement display determination unit 24 sets the size of the enlargement target area to the reference size (step S203). On the other hand, when the entire work target object is not included in the enlargement target area of the reference size (No in step S202), the enlarged display determination unit 24 determines whether an individual size setting method is defined for the work target object. (Step S204). When an individual size setting method is defined (step S204—Yes), the enlarged display determination unit 24 sets an enlargement target area according to the size setting method (step S205).

一方、個別のサイズ設定方法が規定されていない場合（ステップＳ２０４−Ｎｏ）、拡大表示判定部２４は、共通のサイズ設定方法に従って、すなわち、上記の（１）式に従って、拡大対象領域を設定する（ステップＳ２０６）。   On the other hand, when the individual size setting method is not defined (step S204-No), the enlarged display determination unit 24 sets the enlargement target area according to the common size setting method, that is, according to the above equation (1). (Step S206).

ステップＳ２０３、Ｓ２０５またはＳ２０６の後、拡大表示判定部２４は、拡大表示判定処理を終了する。その後、編集部２５は、設定された拡大対象領域を距離画像から切り出して拡大することで拡大表示画像を作成すればよい。   After step S203, S205, or S206, the enlarged display determination unit 24 ends the enlarged display determination process. Thereafter, the editing unit 25 may create an enlarged display image by cutting out the set enlargement target region from the distance image and enlarging it.

また、作業対象物体によっては、実際の作業対象となる作業対象物体上の位置が、その作業対象物体の辺縁部に位置していることがある。このような場合、基準点は、作業対象物体の重心よりも、実際の作業対象となる位置の近傍に設定されている方が好ましい。そこで変形例によれば、基準点は、作業対象物体ごとに設定され、記憶部１２に保存されてもよい。その際、例えば、基準点は、実際の作業対象となる位置の近傍に設定されてもよい。この場合には、基準点の設定は、例えば、背景モデルの生成時において、作業者が作業対象物体ごとに行えばよい。この変形例によれば、制御部１３は、作業対象物体ごとに、その作業対象物体について作業が行われる部分をより適切に拡大表示できる。   Further, depending on the work target object, the position on the work target object that is the actual work target may be located at the edge of the work target object. In such a case, it is preferable that the reference point is set in the vicinity of the position to be the actual work target, rather than the center of gravity of the work target object. Therefore, according to the modification, the reference point may be set for each work target object and stored in the storage unit 12. At that time, for example, the reference point may be set in the vicinity of the position to be actually worked. In this case, the reference point may be set for each work target object by the worker when the background model is generated, for example. According to this modification, the control unit 13 can more appropriately enlarge and display a portion where work is performed on the work target object for each work target object.

なお、追跡対象物体と作業対象物体間の距離を算出する際に参照される基準点とは別個に、拡大対象領域を切り出す際の中心位置が設定され、記憶部１２に保存されてもよい。そしてその中心位置は、作業対象物体ごとに設定されてもよい。この場合も、上記の変形例と同様に、制御部１３は、作業対象物体ごとに、その作業対象物体について作業が行われる部分をより適切に拡大表示できる。   In addition, the center position for cutting out the enlargement target area may be set and stored in the storage unit 12 separately from the reference point referred to when calculating the distance between the tracking target object and the work target object. The center position may be set for each work target object. Also in this case, similarly to the above-described modification, the control unit 13 can more appropriately enlarge and display a portion where work is performed on the work target object for each work target object.

また、作業者は、距離センサ１１から作業対象物体と追跡対象物体を見るよりも、他の視点から作業対象物体と追跡対象物体を見た方が、作業対象物体と追跡対象物体間の位置関係を容易に把握できることがある。
そこで他の変形例によれば、拡大表示判定部２４は、拡大対象領域に対して視点変換処理を実行して仮想画像を作成し、編集部２５は、その仮想画像を拡大することで拡大表示画像を作成してもよい。 In addition, rather than viewing the work target object and the tracking target object from the distance sensor 11, the worker sees the work target object and the tracking target object from another viewpoint, and the positional relationship between the work target object and the tracking target object. Can be easily grasped.
Therefore, according to another modification, the enlarged display determination unit 24 executes a viewpoint conversion process on the enlargement target region to create a virtual image, and the editing unit 25 enlarges the virtual image to display the enlarged image. An image may be created.

この場合、作業対象物体ごとに、推奨する視線方向が設定され、記憶部１２に保存されてもよい。そしてその推奨する視線方向からの画像となるように、拡大表示判定部２４は、拡大対象領域に対して視点変換処理を実行すればよい。   In this case, a recommended line-of-sight direction may be set for each work target object and stored in the storage unit 12. And the enlarged display determination part 24 should just perform a viewpoint conversion process with respect to an expansion object area | region so that it may become an image from the line-of-sight direction recommended.

図１０は、推奨する視線方向の一例を示す図である。距離画像１０００には、二つの作業対象物体１００１、１００２が写っている。そしてこの例では、作業者は、距離画像１０００の下側に位置し、かつ、追跡対象物体となる作業者の手は距離画像１０００上で上側を向くことが想定される。この場合、指先と対向する側から作業者の手と作業対象物体とが視認されるような画像の方が、作業者は、手と作業対象物体１００１、１００２との位置関係を把握し易い。そこで、矢印で示されるように、作業対象物体１００１、１００２のそれぞれについて、作業台の表面に対して平行な面において、上方から下方へ向くように、すなわち、追跡対象物体の先端と対向するように推奨する視線方向１０１１、１０１２が設定される。またこの例では、作業台の表面に対して直交し、かつ、視線方向１０１１、１０１２に対して平行な面において、視線方向１０１１、１０１２と作業台の表面に対する法線とのなす角θは、手と作業対象物体１００１または１００２間の距離dに応じて設定される。例えば、相対的に小さい作業対象物体１００１について、距離dが3cm未満であれば、θは45°に設定される。また、距離dが3cm以上、かつ、10cm未満であれば、θは30°に設定される。そして距離dが10cm以上であれば、θは0°に設定される（すなわち、距離センサ１１が垂直下方に向けて設置されている場合、視線変換処理は実行されない）。一方、相対的に大きい作業対象物体１００２について、距離dが5cm未満であれば、θは45°に設定される。また、距離dが5cm以上、かつ、10cm未満であれば、θは(45-(d-5)*9)°に設定される。そして距離dが10cm以上であれば、θは0°に設定される。すなわち、何れの作業対象物体についても、距離dが小さくなるほどθは大きくなるので、手と作業対象物体とが近接していても、拡大表示判定部２４は、手と作業対象物体の位置関係を把握し易い拡大表示画像を生成できる。   FIG. 10 is a diagram illustrating an example of a recommended line-of-sight direction. In the distance image 1000, two work target objects 1001 and 1002 are shown. In this example, it is assumed that the worker is positioned below the distance image 1000 and the operator's hand that is the tracking target object faces upward on the distance image 1000. In this case, it is easier for the worker to grasp the positional relationship between the hand and the work target objects 1001 and 1002 in an image in which the worker's hand and the work target object are visually recognized from the side facing the fingertip. Therefore, as indicated by the arrows, each of the work target objects 1001 and 1002 faces from the upper side to the lower side in a plane parallel to the surface of the work table, that is, faces the tip of the tracking target object. The recommended viewing directions 1011 and 1012 are set. In this example, the angle θ formed between the line-of-sight directions 1011 and 1012 and the normal to the surface of the worktable in a plane orthogonal to the surface of the workbench and parallel to the line-of-sight directions 1011 and 1012 is: It is set according to the distance d between the hand and the work target object 1001 or 1002. For example, for a relatively small work target object 1001, if the distance d is less than 3 cm, θ is set to 45 °. If the distance d is 3 cm or more and less than 10 cm, θ is set to 30 °. If the distance d is 10 cm or more, θ is set to 0 ° (that is, when the distance sensor 11 is installed vertically downward, the line-of-sight conversion process is not executed). On the other hand, for a relatively large work target object 1002, if the distance d is less than 5 cm, θ is set to 45 °. If the distance d is 5 cm or more and less than 10 cm, θ is set to (45− (d−5) * 9) °. If the distance d is 10 cm or more, θ is set to 0 °. That is, for any work target object, θ increases as the distance d decreases. Therefore, even if the hand and the work target object are close to each other, the enlarged display determination unit 24 determines the positional relationship between the hand and the work target object. An enlarged display image that is easy to grasp can be generated.

また、推奨する視線方向が設定されていない作業対象物体があってもよい。この場合には、拡大表示判定部２４は、追跡対象物体の進行方向に基づいて、視線方向を決定してもよい。   Further, there may be a work target object for which the recommended line-of-sight direction is not set. In this case, the enlarged display determination unit 24 may determine the line-of-sight direction based on the traveling direction of the tracking target object.

図１１は、視線方向の決定方法の概要を説明する図である。拡大表示判定部２４は、最新の距離画像について着目する作業対象物体１１００について拡大表示すると判定した場合、追跡対象物体１１１０の進行方向１１０１を算出する。例えば、拡大表示判定部２４は、最新の距離画像における追跡対象物体の位置と、所定時刻前（例えば、0.5秒〜2秒前）の距離画像における追跡対象物体の位置との差分により、追跡対象物体の進行方向を算出できる。   FIG. 11 is a diagram for explaining the outline of the method of determining the line-of-sight direction. When it is determined that the work target object 1100 focused on the latest distance image is displayed in an enlarged manner, the enlarged display determination unit 24 calculates the traveling direction 1101 of the tracking target object 1110. For example, the enlarged display determination unit 24 determines the tracking target based on the difference between the position of the tracking target object in the latest distance image and the position of the tracking target object in the distance image before a predetermined time (for example, 0.5 second to 2 seconds before). The traveling direction of the object can be calculated.

次に、拡大表示判定部２４は、進行方向１１０１と直交し、かつ、作業対象物体１１００と進行方向１１０１との交点を通る平面１１０２を算出する。なお、交点が複数存在する場合には、拡大表示判定部２４は、追跡対象物体１１１０から最も遠い交点を通るように平面１１０２を算出することが好ましい。これにより、追跡対象物体１１１０と作業対象物体１１００とが重ならない拡大表示画像が得られ易くなる。   Next, the enlarged display determination unit 24 calculates a plane 1102 that is orthogonal to the traveling direction 1101 and passes through the intersection of the work target object 1100 and the traveling direction 1101. When there are a plurality of intersections, the enlarged display determination unit 24 preferably calculates the plane 1102 so as to pass through the intersection farthest from the tracking target object 1110. This makes it easy to obtain an enlarged display image in which the tracking target object 1110 and the work target object 1100 do not overlap.

次に、拡大表示判定部２４は、平面１１０２上で、作業台の表面に平行、かつ、進行方向１１０１と交差する直線１１０３を算出する。そして拡大表示判定部２４は、平面１１０２上で、進行方向１１０１と直線１１０３の交点を通り、かつ、直線１１０３と直交する直線を、視線方向１１０４として算出する。   Next, the enlarged display determination unit 24 calculates a straight line 1103 that is parallel to the surface of the work table and intersects the traveling direction 1101 on the plane 1102. Then, the enlarged display determination unit 24 calculates a straight line that passes through the intersection of the traveling direction 1101 and the straight line 1103 and is orthogonal to the straight line 1103 on the plane 1102 as the visual line direction 1104.

拡大表示判定部２４は、視線方向上に、作業対象物体から所定の位置に仮想的な視点を設定する。そして拡大表示判定部２４は、仮想画像がその仮想的な視点から見た画像となるように、拡大表示対象領域に対して視点変換処理を実行する。その際、拡大表示判定部２４は、例えば、下記のように視点変換処理を実行する。   The enlarged display determination unit 24 sets a virtual viewpoint at a predetermined position from the work target object in the line-of-sight direction. Then, the enlarged display determination unit 24 performs viewpoint conversion processing on the enlarged display target region so that the virtual image is an image viewed from the virtual viewpoint. At that time, the enlarged display determination unit 24 executes viewpoint conversion processing as follows, for example.

拡大表示判定部２４は、拡大表示対象領域に含まれる各画素について、その画素に写っている点の距離センサ座標系での座標(Xd,Yd,Zd)を上記の（１）式に従って算出する。 For each pixel included in the enlarged display target area, the enlarged display determination unit 24 determines the coordinates (X d , Y d , Z d ) in the distance sensor coordinate system of the point appearing in the pixel by the above equation (1). Calculate according to

さらに、拡大表示判定部２４は、拡大表示対象領域に含まれる各画素について、その画素に写っている点の距離センサ座標系での座標を、次式に従って、仮想的な視点を基準とする仮想視点座標系での座標(XW,YW,ZW)に変換する。仮想視点座標系では、例えば、視線方向と平行となるようにZw軸が設定され、Zw軸と直交する面において、視点変換後の画像における水平方向と対応する方向にXw軸が設定される。そしてXw軸及びZw軸と直交するようにYw軸が設定される。
ここでRDWは、距離センサ座標系から仮想視点座標系へのアフィン変換に含まれる、回転量を表す回転行列であり、tDWは、そのアフィン変換に含まれる平行移動量を表す平行移動ベクトルである。そしてDLocX、DLocY、DLocZは、それぞれ、仮想視点座標系のXw軸方向、Yw軸方向、Zw軸方向における、距離センサ１１のセンサ面の中心の座標、すなわち、距離センサ座標系の原点の座標である。またDRotX、DRotY、DRotZは、それぞれ、Xw軸、Yw軸、Zw軸に対する、距離センサ１１の光軸方向の回転角度を表す。 Further, for each pixel included in the enlargement display target area, the enlargement display determination unit 24 determines the coordinates in the distance sensor coordinate system of the point appearing in the pixel according to the following equation, based on the virtual viewpoint. Convert to coordinates (X W , Y W , Z W ) in the viewpoint coordinate system. In the virtual viewpoint coordinate system, for example, the Zw axis is set so as to be parallel to the line-of-sight direction, and the Xw axis is set in a direction corresponding to the horizontal direction in the image after viewpoint conversion on a plane orthogonal to the Zw axis. The Yw axis is set to be orthogonal to the Xw axis and the Zw axis.
Here, R DW is a rotation matrix representing the amount of rotation included in the affine transformation from the distance sensor coordinate system to the virtual viewpoint coordinate system, and t DW is a translation vector representing the amount of translation included in the affine transformation. It is. DLocX, DLocY, and DLocZ are the coordinates of the center of the sensor surface of the distance sensor 11 in the Xw axis direction, the Yw axis direction, and the Zw axis direction of the virtual viewpoint coordinate system, that is, the coordinates of the origin of the distance sensor coordinate system, respectively. is there. DRotX, DRotY, and DRotZ represent rotation angles in the optical axis direction of the distance sensor 11 with respect to the Xw axis, the Yw axis, and the Zw axis, respectively.

次に、拡大表示判定部２４は、次式に従って、拡大表示対象領域に含まれる各画素について、仮想視点座標系で表されたその画素に写っている点を、仮想視点から見た仮想画像上に投影する。
（４）式は、（１）式と同様に、ピンホールカメラモデルに従った式であり、fpは、仮想画像に対応する仮想的なカメラの焦点距離を表す。PW及びPHは、それぞれ、仮想画像の水平方向画素数及び垂直方向画素数を表す。またPfovDは、仮想画像についての対角視野角を表す。そして(xp,yp)は、実空間上の点(Xw,Yw,Zw)に対応する、仮想画像上での水平方向の位置及び垂直方向の位置を表す。 Next, in accordance with the following equation, the enlarged display determination unit 24, for each pixel included in the enlarged display target area, points on the pixel represented in the virtual viewpoint coordinate system on the virtual image viewed from the virtual viewpoint Project to.
(4) expression (1) similar to the formula, a formula according to the pinhole camera model, f p denotes the focal length of the virtual camera corresponding to the virtual image. PW and PH represent the number of horizontal pixels and the number of vertical pixels of the virtual image, respectively. PfovD represents the diagonal viewing angle for the virtual image. (X p , y p ) represents a horizontal position and a vertical position on the virtual image corresponding to the point (Xw, Yw, Zw) in the real space.

なお、拡大表示判定部２４は、追跡対象物体などにより生じるオクルージョンのために、仮想画像上で欠陥となる画素が存在する場合、その欠陥となる画素の値を、背景モデルの対応する画素の値を用いて補間してもよい。   Note that, when there is a defective pixel on the virtual image due to occlusion caused by the tracking target object or the like, the enlarged display determination unit 24 determines the value of the defective pixel as the value of the corresponding pixel of the background model. May be used for interpolation.

拡大表示判定部２４は、仮想画像を編集部２５へわたす。そして編集部２５は、仮想画像に基づいて、上記の実施形態または変形例と同様に、拡大表示画像を生成すればよい。   The enlarged display determination unit 24 passes the virtual image to the editing unit 25. And the edit part 25 should just produce | generate an enlarged display image similarly to said embodiment or a modification based on a virtual image.

この変形例によれば、追跡対象物体と作業対象物体間の位置関係がより把握し易い拡大表示画像が得られるので、作業者は、その拡大表示画像を含む編集映像を参照することで、所定の作業対象物体に関する作業をより容易に確認することができる。   According to this modification, an enlarged display image that makes it easier to grasp the positional relationship between the tracking target object and the work target object can be obtained, so that the operator refers to the edited video including the enlarged display image to obtain a predetermined image. The work related to the work target object can be confirmed more easily.

さらに他の変形例によれば、一連の作業において作業が行われる作業対象物体の正しい順序、すなわち、拡大表示されるべき順序（以下、参照順序と呼ぶ）が予め記憶部１２に保存されていてもよい。参照順序は、例えば、拡大表示される作業対象物体の順序に従って並べられた、その作業対象物体の識別番号のリストとして表される。この場合、拡大表示判定部２４は、一連の作業を撮影して得られた映像において、一定期間以上連続して何れかの作業対象物体を拡大表示すると判定する度に、その拡大表示対象となる作業対象物体の識別番号を、拡大表示する順序に従って記憶部１２に保存する。そして拡大表示判定部２４は、拡大表示すると判定された作業対象物体の順序と、参照順序とを比較する。拡大表示判定部２４は、拡大表示すると判定された作業対象物体の順序と、参照順序とが一致しない場合、参照順序中で一致しない順番での作業対象物体も拡大表示対象とする。例えば、作業対象物体が３個存在し、それぞれに対して、識別番号#1、#2、#3が割り当てられているとする。そして参照順序が[#1, #2, #3]であったとする。そして、一連の作業を撮影して得られた映像から求められた、拡大表示される作業対象物体の順序が[#1, #2, #1]であったとする。この場合、拡大表示される作業対象物体の順序における３番目について、その順序と参照順序とが一致していない。そこで、拡大表示判定部２４は、その一致していないときに対応する距離画像において、参照順序における３番目に拡大表示される識別番号#3の作業対象物体についても拡大表示すると判定する。
これにより、作業者は、編集映像を確認することで、作業者が実際に行った作業の順序が正しいか否かを確認することができる。 According to still another modified example, the correct order of work target objects to be worked in a series of work, that is, the order to be enlarged (hereinafter referred to as reference order) is stored in the storage unit 12 in advance. Also good. The reference order is represented, for example, as a list of identification numbers of the work target objects arranged according to the order of the work target objects displayed in an enlarged manner. In this case, the enlarged display determination unit 24 becomes an enlarged display target every time it is determined that any work target object is enlarged and displayed continuously for a certain period or longer in a video obtained by photographing a series of operations. The identification numbers of the work target objects are stored in the storage unit 12 according to the order of enlarged display. The enlarged display determination unit 24 compares the order of the work target objects determined to be enlarged and the reference order. When the order of the work target objects determined to be enlarged and the reference order do not match, the enlargement display determination unit 24 also sets the work target objects in the order not matching in the reference order to be enlarged display targets. For example, it is assumed that there are three work target objects, and identification numbers # 1, # 2, and # 3 are assigned to each. Assume that the reference order is [# 1, # 2, # 3]. Then, it is assumed that the order of the work target objects to be enlarged and obtained from the video obtained by photographing a series of work is [# 1, # 2, # 1]. In this case, the order and the reference order do not match for the third order in the order of the work target objects displayed in an enlarged manner. Therefore, the enlarged display determination unit 24 determines that the work target object with the identification number # 3 displayed in the third order in the reference order is enlarged and displayed in the distance image corresponding to the mismatch.
Thereby, the worker can confirm whether or not the order of the work actually performed by the worker is correct by confirming the edited video.

なお、背景モデルの生成時と、一連の作業の撮影時とで、作業対象物体の配置が異なっていたり、一連の作業の途中で、作業対象物体の位置がずれることがある。このような場合、映像編集装置は、背景モデルで表される作業対象物体の配置と、実際の作業時の作業対象物体の配置とが一致するように、背景モデルを修正することが好ましい。   Note that the arrangement of work target objects may differ between the generation of the background model and the shooting of a series of work, or the position of the work target object may be shifted during the series of work. In such a case, it is preferable that the video editing apparatus corrects the background model so that the arrangement of the work target object represented by the background model matches the arrangement of the work target object during actual work.

そこで変形例によれば、映像編集装置は、一連の作業中に得られた各距離画像上での作業対象物体に、背景モデルの作業対象物体を位置合わせするよう、背景モデルを更新する。   Therefore, according to the modification, the video editing apparatus updates the background model so that the work target object of the background model is aligned with the work target object on each distance image obtained during a series of work.

図１２は、この変形例による制御部の機能ブロック図である。制御部３３は、物体領域検出部２１と、物体位置算出部２２と、距離算出部２３と、拡大表示判定部２４と、編集部２５と、位置合わせ部２６とを有する。この変形例による制御部３３は、上記の実施形態による制御部１３と比較して、位置合わせ部２６を有する点で相違する。そこで以下では、位置合わせ部２６及びその関連部分について説明する。   FIG. 12 is a functional block diagram of a control unit according to this modification. The control unit 33 includes an object region detection unit 21, an object position calculation unit 22, a distance calculation unit 23, an enlarged display determination unit 24, an editing unit 25, and an alignment unit 26. The control unit 33 according to this modification is different from the control unit 13 according to the above-described embodiment in that the alignment unit 26 is included. Therefore, in the following, the alignment unit 26 and related parts will be described.

位置合わせ部２６は、一連の作業を撮影して得られた映像に含まれる各距離画像について作業対象物体の位置を、背景モデルに表された作業対象物体の位置と比較する。そして位置合わせ部２６は、距離画像に写っている作業対象物体の位置が背景モデルに表された作業対象物体の位置とずれている場合、背景モデルにおける作業対象物体の位置をその距離画像での作業対象物体の位置となるように修正する。   The alignment unit 26 compares the position of the work target object with respect to each distance image included in the video obtained by photographing a series of work with the position of the work target object represented in the background model. When the position of the work target object shown in the distance image is shifted from the position of the work target object represented in the background model, the alignment unit 26 determines the position of the work target object in the background model in the distance image. Correct the position of the work target object.

そのために、位置合わせ部２６は、例えば、背景モデルにおいて、作業対象物体が含まれる領域である作業領域を、テンプレートとする。そして位置合わせ部２６は、そのテンプレートと、着目する距離画像との間でテンプレートマッチングを行って、その距離画像上でそのテンプレートと最も一致する領域を特定する。なお、位置合わせ部２６は、作業対象物体が比較的厚い場合（例えば、作業対象物体の厚さが距離センサ１１と作業台との距離の略1/10以上）には、Iterative Closest Point(ICP)などを用いたマッチングを行うことが好ましい。この場合、位置合わせ部２６は、距離画像上の各画素の集合を３次元の点群としてICPを実行すればよい。そしてその距離画像に占める特定された領域の位置が、背景モデルにおける作業領域の位置に対して所定距離以上ずれている場合、位置合わせ部２６は、作業対象物体の位置がずれたと判定する。なお、所定距離は、例えば、3〜5画素とすることができる。   For this purpose, for example, the alignment unit 26 uses, as a template, a work area that is an area including the work target object in the background model. Then, the alignment unit 26 performs template matching between the template and the distance image of interest, and identifies an area that most closely matches the template on the distance image. When the work target object is relatively thick (for example, the thickness of the work target object is approximately 1/10 or more of the distance between the distance sensor 11 and the work table), the alignment unit 26 uses the Iterative Closest Point (ICP It is preferable to perform matching using). In this case, the alignment unit 26 may perform ICP using a set of pixels on the distance image as a three-dimensional point group. If the position of the specified area in the distance image is shifted by a predetermined distance or more with respect to the position of the work area in the background model, the alignment unit 26 determines that the position of the work target object has shifted. The predetermined distance can be 3 to 5 pixels, for example.

位置合わせ部２６は、作業対象物体の位置がずれたと判定した場合、背景モデルにおける作業領域を、着目する距離画像上で特定された領域と一致するよう移動させる。これにより、位置合わせ部２６は、最新の作業対象物体の位置及び状態を背景モデルに反映させることができる。なお、この場合、図９に示した、拡大対象領域設定の動作フローチャートにおける、ステップＳ２０２において、拡大表示判定部２４は、最新の背景モデルを用いて、作業対象物体が拡大対象領域に含まれるか否かを判定すればよい。   When it is determined that the position of the work target object has shifted, the alignment unit 26 moves the work area in the background model so as to coincide with the area specified on the target distance image. Thereby, the alignment unit 26 can reflect the latest position and state of the work target object in the background model. In this case, in step S202 in the operation flowchart for setting the enlargement target area shown in FIG. 9, the enlargement display determination unit 24 uses the latest background model to determine whether the work target object is included in the enlargement target area. What is necessary is just to determine.

この変形例によれば、映像編集装置は、一連の作業中の実際の作業対象物体の位置に応じて背景モデルを更新することで、作業対象物体の位置がずれても、追跡対象物体と作業領域との位置関係を正確に求めることができる。そのため、この変形例による映像編集装置は、作業対象物体の位置がずれても、作業対象物体が拡大表示される距離画像を正確に選択できる。   According to this modification, the video editing apparatus updates the background model in accordance with the position of the actual work target object during a series of work, so that the tracking target object and the work The positional relationship with the area can be accurately obtained. Therefore, the video editing apparatus according to this modification can accurately select a distance image in which the work target object is enlarged even if the position of the work target object is shifted.

また、上記の実施形態または各変形例において、距離センサ１１が、カラー画像またはモノクロ画像も生成できる場合には、編集部２５は、距離画像の代わりに、そのカラー画像またはモノクロ画像から拡大対象領域を切り出して拡大表示画像を生成してもよい。そして編集部２５は、カラー画像またはモノクロ画像から得られた拡大表示画像を編集映像に含めてもよい。この場合、編集映像において作業対象物体と追跡対象物体とを把握することがより容易となる。   In the above-described embodiment or each modification, when the distance sensor 11 can also generate a color image or a monochrome image, the editing unit 25 uses the color image or the monochrome image instead of the distance image to enlarge the region to be enlarged. May be cut out to generate an enlarged display image. Then, the editing unit 25 may include an enlarged display image obtained from a color image or a monochrome image in the edited video. In this case, it becomes easier to grasp the work target object and the tracking target object in the edited video.

あるいはまた、上記の実施形態または各変形例において、追跡対象物体が複数存在する場合、追跡対象物体ごとに、物体領域検出部２１、物体位置算出部２２、距離算出部２３、及び拡大表示判定部２４の処理が行われればよい。そして編集部２５は、各追跡対象物体に基づいて拡大表示すると判定された作業対象物体の拡大表示画像を編集映像に含めればよい。   Alternatively, in the above-described embodiment or each modification, when there are a plurality of tracking target objects, the object region detection unit 21, the object position calculation unit 22, the distance calculation unit 23, and the enlarged display determination unit for each tracking target object. It is sufficient if 24 processes are performed. The editing unit 25 may include an enlarged display image of the work target object determined to be enlarged and displayed based on each tracking target object in the edited video.

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。   All examples and specific terms listed herein are intended for instructional purposes to help the reader understand the concepts contributed by the inventor to the present invention and the promotion of the technology. It should be construed that it is not limited to the construction of any example herein, such specific examples and conditions, with respect to showing the superiority and inferiority of the present invention. Although embodiments of the present invention have been described in detail, it should be understood that various changes, substitutions and modifications can be made thereto without departing from the spirit and scope of the present invention.

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルを記憶する記憶部と、
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出する物体位置算出部と、
前記複数の距離画像のそれぞれについて、前記背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出する距離算出部と、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定する拡大表示判定部と、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する編集部と、
を有する映像編集装置。
（付記２）
前記記憶部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離に対する閾値を記憶し、
前記拡大表示判定部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離が対応する前記閾値未満である場合、当該作業対象物体を拡大表示すると判定する、付記１に記載の映像編集装置。
（付記３）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体と前記追跡対象物体間の距離が大きいほど、前記拡大表示画像に含まれる前記距離画像上の範囲を広くする、付記１または２に記載の映像編集装置。
（付記４）
前記編集部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む距離画像上の範囲に基づいて前記拡大表示画像を生成し、当該範囲は、当該範囲に含まれる前記作業対象物体が大きいほど広くなるように設定される、付記１に記載の映像編集装置。
（付記５）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む前記距離画像上の範囲に対して視点変換処理を行って所定の視線方向に沿って見た仮想画像に変換し、
前記編集部は、前記仮想画像に基づいて前記拡大表示画像を生成する、付記１〜４の何れかに記載の映像編集装置。
（付記６）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体と前記追跡対象物体間の距離が小さいほど、前記視線方向と当該作業対象物体が載置される面の法線とのなす角が大きくなるように、前記視線方向を設定する、付記５に記載の映像編集装置。
（付記７）
前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、前記視線方向が前記追跡対象物体の先端と対向するように、前記視線方向を設定する、付記５または６に記載の映像編集装置。
（付記８）
前記少なくとも一つの作業対象物体は複数の作業対象物体を含み、
前記記憶部は、前記一連の作業において前記複数の作業対象物体が拡大表示される参照順序を記憶し、
前記拡大表示判定部は、前記複数の距離画像について拡大表示されると判定された作業対象物体の順序と前記参照順序とを比較し、前記複数の作業対象物体のうち、当該順序と前記参照順序とが一致しないときの前記参照順序における順番に対応する作業対象物体も拡大表示すると判定する、付記１〜７の何れかに記載の映像編集装置。
（付記９）
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
ことを含む映像編集方法。
（付記１０）
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
ことをコンピュータに実行させるための映像編集用コンピュータプログラム。 The following supplementary notes are further disclosed regarding the embodiment described above and its modifications.
(Appendix 1)
A storage unit that stores each position and range of at least one work target object, and a background model representing a three-dimensional shape of the work target object;
The position of the tracking target object is calculated for each of a plurality of distance images obtained by photographing a series of work obtained from the distance sensor and representing the distance between the tracking target object and the distance sensor as a pixel value. An object position calculation unit;
For each of the plurality of distance images, a distance calculation unit that calculates a distance between the tracking target object captured in the distance image based on the background model and each of the at least one work target object;
For each of the plurality of distance images, an enlarged display determination unit that determines whether to enlarge and display the work target object according to the distance for each of the at least one work target object for the distance image;
An editing unit for creating an edited video including an enlarged display image in which any of the at least one work target object is enlarged;
A video editing apparatus.
(Appendix 2)
The storage unit stores, for each of the at least one work target object, a threshold for a distance between the work target object and the tracking target object,
The enlargement display determination unit determines, for each of the at least one work target object, that the work target object is enlarged when the distance between the work target object and the tracking target object is less than the corresponding threshold value. The video editing apparatus according to attachment 1.
(Appendix 3)
The enlarged display determination unit increases a range on the distance image included in the enlarged display image as the distance between the work target object and the tracking target object is larger for the work target object determined to be enlarged. The video editing apparatus according to Supplementary Note 1 or 2.
(Appendix 4)
The editing unit generates the enlarged display image for the work target object determined to be enlarged and displayed based on a range on the distance image including the work target object, and the range is the work included in the range. The video editing apparatus according to appendix 1, wherein the video editing apparatus is set so as to become wider as the target object is larger.
(Appendix 5)
The enlarged display determination unit performs a viewpoint conversion process on a range on the distance image including the work target object and determines the virtual object viewed along a predetermined line-of-sight direction with respect to the work target object determined to be enlarged and displayed. Convert it to an image,
The video editing apparatus according to any one of appendices 1 to 4, wherein the editing unit generates the enlarged display image based on the virtual image.
(Appendix 6)
The enlarged display determination unit, for the work target object determined to be enlarged display, the smaller the distance between the work target object and the tracking target object, the more the direction of the line of sight and the surface on which the work target object is placed. 6. The video editing apparatus according to appendix 5, wherein the line-of-sight direction is set so that an angle formed with a normal line is increased.
(Appendix 7)
The video according to appendix 5 or 6, wherein the enlarged display determination unit sets the line-of-sight direction of the work target object determined to be enlarged and displayed so that the line-of-sight direction faces the tip of the tracking target object. Editing device.
(Appendix 8)
The at least one work target object includes a plurality of work target objects;
The storage unit stores a reference order in which the plurality of work target objects are enlarged and displayed in the series of operations,
The enlarged display determination unit compares the order of the work target objects determined to be enlarged and displayed for the plurality of distance images and the reference order, and the order and the reference order among the plurality of work target objects. 8. The video editing apparatus according to any one of appendices 1 to 7, wherein the work target object corresponding to the order in the reference order when the two do not match is determined to be enlarged and displayed.
(Appendix 9)
The position of the tracking target object is calculated for each of a plurality of distance images obtained by photographing a series of operations obtained from the distance sensor and representing the distance between the tracking target object and the distance sensor as a pixel value. ,
For each of the plurality of distance images, the position and range of each of the at least one work target object and the tracking target object that appears in the distance image based on a background model representing the three-dimensional shape of the work target object and the at least Calculate the distance between each work object,
For each of the plurality of distance images, it is determined whether to enlarge and display the work target object according to the distance for each of the at least one work target object for the distance image,
Creating an edited video including an enlarged display image in which any one of the at least one work target object is enlarged;
Video editing method.
(Appendix 10)
The position of the tracking target object is calculated for each of a plurality of distance images obtained by photographing a series of operations obtained from the distance sensor and representing the distance between the tracking target object and the distance sensor as a pixel value. ,
For each of the plurality of distance images, the position and range of each of the at least one work target object and the tracking target object that appears in the distance image based on a background model representing the three-dimensional shape of the work target object and the at least Calculate the distance between each work object,
For each of the plurality of distance images, it is determined whether to enlarge and display the work target object according to the distance for each of the at least one work target object for the distance image,
Creating an edited video including an enlarged display image in which any one of the at least one work target object is enlarged;
A video editing computer program for causing a computer to execute the above.

１ 映像編集装置
１１ 距離センサ
１２ 記憶部
１３、３３ 制御部
１４ 表示部
２１ 物体領域検出部
２２ 物体位置算出部
２３ 距離算出部
２４ 拡大表示判定部
２５ 編集部
２６ 位置合わせ部 DESCRIPTION OF SYMBOLS 1 Video editing apparatus 11 Distance sensor 12 Storage part 13, 33 Control part 14 Display part 21 Object area | region detection part 22 Object position calculation part 23 Distance calculation part 24 Enlarged display determination part 25 Editing part 26 Positioning part

Claims (7)

少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルを記憶する記憶部と、
距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出する物体位置算出部と、
前記複数の距離画像のそれぞれについて、前記背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出する距離算出部と、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定する拡大表示判定部と、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する編集部と、
を有する映像編集装置。 A storage unit that stores each position and range of at least one work target object, and a background model representing a three-dimensional shape of the work target object;
The position of the tracking target object is calculated for each of a plurality of distance images obtained by photographing a series of work obtained from the distance sensor and representing the distance between the tracking target object and the distance sensor as a pixel value. An object position calculation unit;
For each of the plurality of distance images, a distance calculation unit that calculates a distance between the tracking target object captured in the distance image based on the background model and each of the at least one work target object;
For each of the plurality of distance images, an enlarged display determination unit that determines whether to enlarge and display the work target object according to the distance for each of the at least one work target object for the distance image;
An editing unit for creating an edited video including an enlarged display image in which any of the at least one work target object is enlarged;
A video editing apparatus. 前記記憶部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離に対する閾値を記憶し、
前記拡大表示判定部は、前記少なくとも一つの作業対象物体のそれぞれについて、当該作業対象物体と前記追跡対象物体間の距離が対応する前記閾値未満である場合、当該作業対象物体を拡大表示すると判定する、請求項１に記載の映像編集装置。 The storage unit stores, for each of the at least one work target object, a threshold for a distance between the work target object and the tracking target object,
The enlargement display determination unit determines, for each of the at least one work target object, that the work target object is enlarged when the distance between the work target object and the tracking target object is less than the corresponding threshold value. The video editing apparatus according to claim 1. 前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体と前記追跡対象物体間の距離が大きいほど、前記拡大表示画像に含まれる前記距離画像上の範囲を広くする、請求項２に記載の映像編集装置。   The enlarged display determination unit increases a range on the distance image included in the enlarged display image as the distance between the work target object and the tracking target object is larger for the work target object determined to be enlarged. The video editing apparatus according to claim 2. 前記編集部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む距離画像上の範囲に基づいて前記拡大表示画像を生成し、当該範囲は、当該範囲に含まれる前記作業対象物体が大きいほど広くなるように設定される、請求項１に記載の映像編集装置。   The editing unit generates the enlarged display image for the work target object determined to be enlarged and displayed based on a range on the distance image including the work target object, and the range is the work included in the range. The video editing apparatus according to claim 1, wherein the video editing apparatus is set to be wider as the target object is larger. 前記拡大表示判定部は、拡大表示すると判定された前記作業対象物体について、当該作業対象物体を含む前記距離画像上の範囲に対して視点変換処理を行って所定の視線方向に沿って見た仮想画像に変換し、
前記編集部は、前記仮想画像に基づいて前記拡大表示画像を生成する、請求項１〜４の何れか一項に記載の映像編集装置。 The enlarged display determination unit performs a viewpoint conversion process on a range on the distance image including the work target object and determines the virtual object viewed along a predetermined line-of-sight direction with respect to the work target object determined to be enlarged and displayed. Convert it to an image,
The video editing apparatus according to claim 1, wherein the editing unit generates the enlarged display image based on the virtual image. 距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
ことを含む映像編集方法。 The position of the tracking target object is calculated for each of a plurality of distance images obtained by photographing a series of operations obtained from the distance sensor and representing the distance between the tracking target object and the distance sensor as a pixel value. ,
For each of the plurality of distance images, the position and range of each of the at least one work target object and the tracking target object that appears in the distance image based on a background model representing the three-dimensional shape of the work target object and the at least Calculate the distance between each work object,
For each of the plurality of distance images, it is determined whether to enlarge and display the work target object according to the distance for each of the at least one work target object for the distance image,
Creating an edited video including an enlarged display image in which any one of the at least one work target object is enlarged;
Video editing method. 距離センサから得た、一連の作業を撮影することで得られる、追跡対象物体と前記距離センサ間の距離を画素値で表した複数の距離画像のそれぞれについて、前記追跡対象物体の位置を算出し、
前記複数の距離画像のそれぞれについて、少なくとも一つの作業対象物体のそれぞれの位置及び範囲と、前記作業対象物体の３次元形状を表す背景モデルに基づいて当該距離画像に写る前記追跡対象物体と前記少なくとも一つの作業対象物体のそれぞれとの間の距離を算出し、
前記複数の距離画像のそれぞれについて、当該距離画像についての前記少なくとも一つの作業対象物体のそれぞれについての前記距離に応じて、当該作業対象物体を拡大表示するか否か判定し、
前記少なくとも一つの作業対象物体の何れかが拡大表示された拡大表示画像を含む編集映像を作成する、
ことをコンピュータに実行させるための映像編集用コンピュータプログラム。 The position of the tracking target object is calculated for each of a plurality of distance images obtained by photographing a series of operations obtained from the distance sensor and representing the distance between the tracking target object and the distance sensor as a pixel value. ,
For each of the plurality of distance images, the position and range of each of the at least one work target object and the tracking target object that appears in the distance image based on a background model representing the three-dimensional shape of the work target object and the at least Calculate the distance between each work object,
For each of the plurality of distance images, it is determined whether to enlarge and display the work target object according to the distance for each of the at least one work target object for the distance image,
Creating an edited video including an enlarged display image in which any one of the at least one work target object is enlarged;
A video editing computer program for causing a computer to execute the above.
JP2016167714A 2016-08-30 2016-08-30 Video editing device, video editing method and video editing computer program Pending JP2018037766A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016167714A JP2018037766A (en) 2016-08-30 2016-08-30 Video editing device, video editing method and video editing computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016167714A JP2018037766A (en) 2016-08-30 2016-08-30 Video editing device, video editing method and video editing computer program

Publications (1)

Publication Number Publication Date
JP2018037766A true JP2018037766A (en) 2018-03-08

Family

ID=61566095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016167714A Pending JP2018037766A (en) 2016-08-30 2016-08-30 Video editing device, video editing method and video editing computer program

Country Status (1)

Country Link
JP (1) JP2018037766A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018207360A (en) * 2017-06-07 2018-12-27 キヤノン株式会社 Image processing device, work support system, control method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018207360A (en) * 2017-06-07 2018-12-27 キヤノン株式会社 Image processing device, work support system, control method, and program

Similar Documents

Publication Publication Date Title
JP5762892B2 (en) Information display system, information display method, and information display program
US20200265231A1 (en) Method, apparatus, and system for automatically annotating a target object in images
CN106062862B (en) System and method for immersive and interactive multimedia generation
JP6507730B2 (en) Coordinate transformation parameter determination device, coordinate transformation parameter determination method, and computer program for coordinate transformation parameter determination
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
JP6465789B2 (en) Program, apparatus and method for calculating internal parameters of depth camera
JP4508049B2 (en) 360 ° image capturing device
US10191470B2 (en) Welding machine and control method therefor
CN106020436A (en) Image analyzing apparatus and image analyzing method
JP6299234B2 (en) Display control method, information processing apparatus, and display control program
JP6645151B2 (en) Projection apparatus, projection method, and computer program for projection
KR101506610B1 (en) Apparatus for providing augmented reality and method thereof
JP2015228954A (en) Image processing device and image processing method
JP2015082830A (en) Guide method, information processing apparatus, and guide program
CN110926330B (en) Image processing apparatus, image processing method, and program
JP2017146938A (en) Book detection device, book detection method, and computer program for book detection
JP2013171425A (en) Image processing device
JP2017191576A (en) Information processor, control method information processor and program
WO2014108976A1 (en) Object detecting device
JP6579727B1 (en) Moving object detection device, moving object detection method, and moving object detection program
KR101426378B1 (en) System and Method for Processing Presentation Event Using Depth Information
US20170094244A1 (en) Image processing device and image processing method
JP2017147689A (en) Video editing device, video editing method, and computer program for editing video
US11989928B2 (en) Image processing system
JP2018037766A (en) Video editing device, video editing method and video editing computer program