JP2002230086A

JP2002230086A - 画像表示装置及び方法

Info

Publication number: JP2002230086A
Application number: JP2001020720A
Authority: JP
Inventors: Hirohisa Sakai; 浩久酒井; Yoshihiro Hirai; 吉弘平井; Saneya Kato; 実哉加藤
Original assignee: FUJIE KK; Toyota Motor Corp
Current assignee: FUJIE KK; Toyota Motor Corp
Priority date: 2001-01-29
Filing date: 2001-01-29
Publication date: 2002-08-16
Anticipated expiration: 2021-01-29
Also published as: JP3976507B2

Abstract

(57)【要約】【課題】各種工程手順を理解しやすく表示することが
できる画像表示装置を提供する。【解決手段】被写体１２の動作をビデオ撮影してお
き、この被写体１２の動作のうち特に詳細な説明が必要
となる部分等の模式的な動画像をＣＧ画像２０として作
成し、これらを１つの画面１８上に表示する。これによ
り、実際の作業の動画像だけでは理解しにくい部分につ
いても実際の動作に対応しかつ同期して表示されるＣＧ
画像２０により容易に理解が可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人の行う作業など
の各種工程手順を画面上に表示し、説明するための画像
表示装置に関する。

【０００２】

【従来の技術】従来より、作業マニュアル等の各種工程
手順を画面表示して説明する装置が実用化されている。
例えば、特開平６−２８２２２２号公報には、危険予知
訓練時に、危険予知訓練用テキストに基づいて、作業局
面毎の画像情報を工程順に表示すると共に、各作業局面
において入力画面指示情報に基づいて危険予知情報を表
示し、かつ画面のページングを行うように構成された危
険予知訓練装置が開示されている。

【０００３】あるいは、複数台のビデオカメラにより撮
影した映像をカット編集し、工程手順を表示する装置も
実用化されている。図１３には、このような従来の画像
表示装置に使用する画像を作成する方法の例が示され
る。図１３において、２台のカメラ１０により被写体１
２を撮影し、それぞれのカメラ１０に接続された画像処
理装置１４において所定のカット編集等を行い、この画
像をメモリ１６に格納する。このメモリ１６に格納され
た画像は、所定の工程手順に従った動作が適正な順序に
配列されたものであるので、これを再生することにより
各種工程手順を画面上に表示し、説明することが可能と
なる。

【０００４】

【発明が解決しようとする課題】しかし、上記従来の画
像表示装置においては、各工程に登場する被写体１２の
内部構造を表示することが困難であり、また、実際に行
われる動作をわかりやすく表現することも困難であると
いう問題があった。

【０００５】特に、人手によって行われ金型の一部の不
良補修などの作業は、ビデオ撮影によって得られる映像
が実際にその場で見ているのに近いものではあるが、作
業内容によっては作業手順や技能作業の要所が認識でき
ない場合も多い。

【０００６】例えば、溶接作業などでは、作業に伴い、
光が発生し、ビデオを見ても溶接を行っている箇所にお
いてどのような作業が行われているかはほとんどわから
ない。また、部材のくぼみの内側などに対するものは、
映像中には映らない場合が多い。さらに、作業によって
は、他の装置や作業者自体がじゃまになり、肝心な部分
がビデオに映らないという問題があった。

【０００７】本発明は、上記従来の課題に鑑みなされた
ものであり、その目的は、各種工程手順を理解しやすく
表示することができる画像表示装置を提供することにあ
る。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、各種工程手順を画面上に表示する画像表
示装置であって、実際に工程が実行されているところを
撮影した映像と、工程が実行されている状態を示すコン
ピュータ・グラフィクスの両方を画面に表示して工程手
順を提示することを特徴とする。

【０００９】また、前記コンピュータ・グラフィクス
は、工程を実行している箇所における道具の動作状態を
明確に示すものであることが好適である。

【００１０】また、前記工程は、溶接作業を含み、前記
コンピュータ・グラフィクスは溶接に際し発生する光の
悪影響を排除して工程実行の様子を明確に示したもので
あることが好適である。

【００１１】また、前記工程手順における被写体の動作
と、これに対応しかつ同期して進行するコンピュータ・
グラフィクスで構成された動作とを、画面上に表示する
ことが好適である。

【００１２】また、各種工程手順を画面上に表示する画
像表示方法であって、実際に工程が実行されているとこ
ろを撮影しビデオ画像を得るステップと、前記工程が実
行されている状態を示すコンピュータ・グラフィクス画
像を得るステップと、を有し、前記ステップで得られた
ビデオ画像と、コンピュータ・グラフィクス画像の両方
を画面に表示して工程手順を提示することを特徴とす
る。

【００１３】また、前記コンピュータ・グラフィクス画
像は、撮影したビデオ画像から取り出した静止画に基づ
いて作成されることが好適である。

【００１４】また、前記静止画を取り出す工程におい
て、理解しやすく表現したい部分についての時間あたり
の変化が大きい場面では前記ビデオ画像から取り出す静
止画の時間当たりの数を多くし、変化が小さい場面では
取り出す静止画の数を少なくすることが好適である。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態（以下
実施形態という）を、図面に従って説明する。

【００１６】まず、実施形態にかかる映像の作成手順に
ついて、図１に基づいて説明する。まず、熟練作業者に
より、実際の作業を行ってもらい、その作業風景を撮影
する（Ｓ１１）。この撮影は、各種の方向から、数種類
行うことが好ましい。これによって、適切な方向からの
映像を選択することができる。

【００１７】次に、作業における注意点や、具体的な作
業内容について、熟練工に聞く（Ｓ１２）。一般的なこ
とは、Ｓ１１の前に聞いておくべきであるが、実際に撮
影を終わった後で、その作業内容に合わせて、どのよう
な作業を行っているのかを熟練工に聞くことで、作業内
容を確実に知ることができる。

【００１８】そして、ビデオに映っている作業内容にコ
ンピュータ・グラフィクスが必要な箇所において、その
内容を示すコンピュータ・グラフィクスをアニメーショ
ンソフトウェアを利用したアニメーションとして作成す
る（Ｓ１３）。次に、作成されたアニメーションをビデ
オ信号に重畳合成する（Ｓ１４）。合成して得た信号に
よって、コンピュータ上で再生できる動画ファイルを作
成することが好適であるが、ビデオテープを作成しても
よい。動画ファイルにすることによって、ノートパソコ
ンなどを実際に作業を行う場所に持っていき、その場で
再生して参照することができる。

【００１９】このようにして、アニメーションが合成さ
れた動画ファイルやビデオテープが作成される。この動
画ファイルやビデオテープにおいては、映像だけでは理
解しがたい作業内容について、そのエッセンスがアニメ
ーションで示される。従って、視聴者は、実際の作業内
容を容易に理解することができ、自己の作業の参考にす
ることができる。

【００２０】ここで、アニメーションと、ビデオ画像
は、重畳して表示し、ビデオ画像とアニメーションの進
行に合わせるとよい。また、アニメーションとビデオ画
像を別々に再生してもよい。

【００２１】ここで、金型の不良部分の補修作業につい
て説明する。まず、修理位置について示す。例えば、図
２に示すように、アニメーションによって、修理位置を
周辺とは異なる色で示すことが好適である。例えば、全
体を灰色で表示し、修理位置を赤色で示すことが好適で
ある。このような修理位置は、単なるビデオ撮影では、
認識できるようにすることが難しく、アニメーションに
よって明確に示すことができる。

【００２２】次に、この修理位置についての型をサンダ
ーによって不良部分を切除する開先サンダー作業を行
う。このサンダーによる切削作業も、ビデオでは、その
部分の切削状況がわかりにくい。そこで、図３に示すよ
うに、アニメーションによって表示する。但し、作業に
やり方など全体の作業内容は、ビデオによって、見た方
がわかりやすいため、アニメーションの後にビデオで、
作業状態を見せることが好ましい。

【００２３】サンダーによる開先サンダー作業が終了し
た場合には、修理部分について予熱作業を行う。この予
熱はガスの火炎ににより行うため、ビデオによりその作
業を十分認識できる。そこで、ビデオのみで表示で足り
る。

【００２４】次に、溶接棒による溶接肉盛り作業を行
う。この溶接作業は、アーク溶接で行う。この際、閃光
が発生するため、ビデオでは溶接部分が認識できない。
そこで、溶接の状況について、アニメーションを併用す
る。例えば、図４に示すようなアニメーションをビデオ
表示の一部に重畳表示する。また、溶接棒の先端と型
（ワーク）との間隙については、アニメーションにおい
て、その距離（例えば、５ｍｍ）の表示も行う。また、
溶接棒のワークに対する角度の表示もアニメーションで
行う。

【００２５】さらに、溶接肉盛りの際に必要な装備であ
る、「保護具、遮光面、皮手袋、足カバー」等の表示も
行い、必要な装備を知らせることも好ましい。

【００２６】また、この溶接肉盛り作業を２度にわたっ
て行い、２列の肉盛りを行う場合には、図５に示すよう
に、２列について、色を変更すると見やすい画面にでき
る。

【００２７】溶接肉盛りが終わった場合には、ハンマー
によるピーニングを行うが、この作業は、ビデオにて十
分理解できるため、アニメーションは省略する。

【００２８】次に、ピーニングした肉盛り部分につい
て、サンダー掛けを行う。サンダー掛けは、最初の開先
作業と同様、サンダーを掛けている部分はサンダーによ
って隠されてしまうため、図６に示すようにアニメーシ
ョンとビデオ画像で表示することが好ましい。上面、お
よび側面ともにサンダーによって表面が削り取られ、盛
り上がった場所が除去される。

【００２９】さらに、サンダー掛けした表面をグライン
ダーで、なめらかにする。この作業についても、ビデオ
に併せ、図７に示すように、、アニメーションによりグ
ラインダーの向き動きなどを表現するとよい。最後に砥
石掛けを行うが、これもビデオと、アニメーションの両
方で表示することが好ましい。

【００３０】図８に、本システムの構成例を示す。処理
部１１０には、アニメーションソフトウェア記憶部１１
２からアニメーションソフトウェアが供給される。ま
た、入力部１１４から各種のデータ入力がなされる。そ
して、作業風景を撮影したビデオ信号が処理部に入力さ
れ、この入力されたビデオ画像を取り込みながら、アニ
メーションソフトウェアを利用したアニメーションを作
成し、これらを合成する。そして、合成されたアニメー
ション合成ビデオが処理部１１０から出力される。この
アニメーション合成ビデオは、動画ファイルに取り込み
パソコンで再生できることが好ましいが、ビデオテープ
に書き込んでもよい。

【００３１】図９には、本発明に係る画像表示装置に表
示するための画像を作成する方法の例が示される。図９
において、カメラ１０により各種工程手順における被写
体１２の動作を撮影する。これによって、ビデオ画像が
得られる。本実施形態ではこのビデオ動画像における被
写体１２の実際の動作と、これに対応するコンピュータ
・グラフィクス（ＣＧ）で構成された動作とを同期して
画面上に表示することにより、被写体１２の実際の動作
だけではわかりにくい部分や、必要に応じて被写体１２
の内部構造等もＣＧによって表示でき、見る者の理解を
容易にすることができる。

【００３２】このように、被写体１２の動作の所定部分
を取り出して、これをＣＧで表現するために、カメラ１
０で撮影した被写体１２の動作のうち必要な部分を取り
出すいわゆるカット編集を行う。

【００３３】図１０には、カット編集して取り出された
被写体１２の静止画面に基づき、ＣＧにより被写体１２
の動作を模式的に表現する方法の例が示される。図１０
において、カメラ１０で撮影されたビデオ動画像の中か
ら、ＣＧ画像を作成する時点における静止画面を画像処
理装置１４により取り出す。取り出された静止画面を基
にして、画像処理装置１４によりレンダリング処理を行
い、ＣＧ画像によって構成された動画を作成する。

【００３４】すなわち、ビデオ動画像の中で、理解しや
すく表示したい部分をまず決定する。通常は、１フレー
ムの画像内で特に説明が必要な部分を特定の部分として
静止画として取り出すが、１フレームの画像全体を静止
画として取り出し、ＣＧ画像を作成する際に必要な部分
を切り出してもよい。そして、取り出された説明が必要
な部分についての静止画に基づいて、ビデオ画像に同期
したＣＧ画像を作成する。

【００３５】ＣＧ画像を作成する場合、被写体１２の実
際の動作と、ＣＧで構成された動作とを同期させるため
に、図１０に示された、ＣＧ画像を作成する基になる静
止画面ＡとＢとを、ビデオ撮影された実際の動作に基づ
いて予め時系列に並べておく（ＣＧ画像における静止画
面Ａ’、Ｂ’）。さらに、ＣＧ画像を作成する際には、
ビデオ撮影した被写体１２の実際の動作のビデオの各コ
マに合わせてＣＧを作成してゆく。このようにして、被
写体１２の実際の動作と、これに対応するＣＧで作成さ
れた動作とが同期して進行するように構成できる。した
がって、これらを１つの画面上に表示すれば、被写体の
実際の動作と、これに対応しかつ同期して進行するコン
ピュータ・グラフィクスで構成された動作とを、１つの
画面上に表示することができる。なお、ＣＧの表示位置
は被写体１２の実際の動作の理解がしやすくなるように
適宜決定される。

【００３６】ここで、説明が必要な部分の静止画を取り
出す頻度は、その部分における画像の動きを参照して決
定することが好ましい。すなわち、説明が必要な部分の
変化が大きい場合には、時間当たりにビデオ画像から取
り出す静止画の数を多くし、反対に変化が小さい場合に
は、静止画の数を少なくする。これによって、静止画か
ら静止画までのＣＧ画像における動きの量が比較的に均
一になり、ＣＧ作成が容易で、かつビデオ画像との同期
をとるのが容易になる。

【００３７】図１１には、部品のグラインダーがけ処理
の工程手順を、実際の動作と上述のようにして作成され
たＣＧで構成された動作とで表示した場合の例が示され
る。図１１において、本発明に係る画像表示装置の画面
１８には、実際にグラインダーがけを行う作業者とグラ
インダーがけされる部品とが、被写体１２として表示さ
れている。この場合、グラインダーがけの細かな動作は
作業者の動作をビデオ撮影した動画だけでは理解しにく
いので、グラインダーとグラインダーがけされる部品の
１部分のみを取り出し、これを上述した方法によりＣＧ
画像２０として画面１８上に表示する。この際には、被
写体である作業者が実際に行う動作と同期して動くよう
にグラインダーの動作をＣＧで構成して表示する。さら
にこの場合、ＣＧ画像２０には、例えば「グラインダー
のかけ方」のような作業名称や、「クロスがけして平面
を出しながら」のような作業上の注意点等を文字により
表示することもできる。以上のようにして、カメラ１０
で撮影された被写体１２の実際の動作と、ＣＧ画像２０
により表示された画像の動作とを対応させてかつ動きを
同期させることにより見る者に理解しやすい説明画像を
表示することが可能となる。

【００３８】図１２には、本発明に係る画像表示装置で
使用するＣＧ画像を作成し、これを画面１８上に挿入す
る方法の工程が示される。図１２において、まず画面上
に表示される工程手順の実際の作業のビデオを撮影する
（Ｓ１）。次に、撮影した作業のうち、画面１８に表示
する部分のみをカット編集により取り出し、各工程手順
毎にタイムテーブルを作成する（Ｓ２）。

【００３９】次に、各作業の中でＣＧを組み合わせるべ
き作業を選択する（Ｓ３）。Ｓ３において選択された作
業の中で、ＣＧを作成する際の基となる静止画を確認す
る（Ｓ４）。次に、Ｓ４で確認された静止画のうち、Ｃ
Ｇにより具体化し、動きをわかりやすくすべき箇所を見
つけだして、ＣＧの構成を作成する（Ｓ５）。

【００４０】さらに、ＣＧ作成の基となる静止画を抽出
してこれを時系列に並べる（Ｓ６）。時系列に並べられ
た静止画を画像処理装置１４によりレンダリング処理
し、ＣＧにより実際の動作に対応する動画を作成する
（Ｓ７）。この場合には、上述したように、実際の作業
を撮影したビデオの各コマに合わせてＣＧを作成し、作
業の実際の動作とＣＧで構成された動作とを同期させ
る。

【００４１】以上のようにして作成したＣＧ画像２０を
ビデオフレーム中に挿入し、画面１８上に作業の実際の
動作とＣＧ画像２０とを同時に表示させる（Ｓ８）。

【００４２】以上の工程により、工程手順の実際の動作
と、これに対応しかつ同期して進行するＣＧで構成され
た動作とが、１つの画面上に表示される画像表示装置が
提供される。

【００４３】

【発明の効果】以上説明したように、本発明によれば、
説明すべき工程手順の実際の動作と、これに対応しかつ
同期して進行するコンピュータ・グラフィクスで構成さ
れた動作とが、１つの画面上に表示されるので、見る者
にとって理解の容易な説明画像を表示できる画像表示装
置を提供することができる。また、説明が必要な部分の
変化に応じてビデオ画像から取り出す静止画の数を決定
することで、静止画から静止画までのＣＧ画像における
動きの量が比較的に均一になり、ＣＧ作成が容易で、か
つビデオ画像との同期をとるのが容易になる。

【図面の簡単な説明】

【図１】処理の手順を示すフローチャートである。

【図２】修理位置を示す画面の図である。

【図３】開先サンダー作業の画面を示す図である。

【図４】溶接肉盛り作業の画面を示す図である。

【図５】２列の肉盛りの画面を示す図である。

【図６】サンダー掛けの画面を示す図である。

【図７】グラインダー掛けの画面を示す図である。

【図８】システムの構成を示す図である。

【図９】本発明に係る画像表示装置に使用される動画
をビデオ撮影する方法の例を示す図である。

【図１０】図９に示された方法により撮影されたビデ
オ画像の中から静止画面を取り出し、レンダリング処理
する場合の説明図である。

【図１１】本発明に係る画像表示装置に表示される、
実際に作業する被写体と、この被写体の動作に対応しか
つ同期して進行するコンピュータ・グラフィクス画像と
を同一画面上に表示した場合の例を示す図である。

【図１２】本発明に係る画像表示装置に使用されるコ
ンピュータ・グラフィクスを構成する工程を示すフロー
図である。

【図１３】従来における工程手順を説明する場合の画
像を作成する方法の例を示す図である。

【符号の説明】

１０カメラ、１２被写体、１４画像処理装置、１
６メモリ、１８画面、２０ＣＧ画像、１１０処
理部、１１２アニメーションソフトウェア記憶部、１
１４入力部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者平井吉弘愛知県知多郡東浦町大字藤江字前新田３− 15 株式会社フジエ内 (72)発明者加藤実哉愛知県知多郡東浦町大字藤江字前新田３− 15 株式会社フジエ内

Claims

【特許請求の範囲】

【請求項１】各種工程手順を画面上に表示する画像表
示装置であって、実際に工程が実行されているところを撮影した映像と、
工程が実行されている状態を示すコンピュータ・グラフ
ィクスの両方を画面に表示して工程手順を提示すること
を特徴とする画像表示装置。
【請求項２】請求項１に記載の装置において、前記コンピュータ・グラフィクスは、工程を実行してい
る箇所における道具の動作状態を明確に示すものである
ことを特徴とする画像表示装置。
【請求項３】請求項２に記載の装置において、前記工程は、溶接作業を含み、前記コンピュータ・グラフィクスは溶接に際し発生する
光の悪影響を排除して工程実行の様子を明確に示したも
のであることを特徴とする画像表示装置。
【請求項４】請求項１〜３のいずれか１つに記載の装
置において、前記工程手順における被写体の動作と、これに対応しか
つ同期して進行するコンピュータ・グラフィクスで構成
された動作とを、画面上に表示することを特徴とする画
像表示装置。
【請求項５】各種工程手順を画面上に表示する画像表
示方法であって、実際に工程が実行されているところを撮影しビデオ画像
を得るステップと、前記工程が実行されている状態を示
すコンピュータ・グラフィクス画像を得るステップと、を有し、前記ステップで得られたビデオ画像と、コンピュータ・
グラフィクス画像の両方を画面に表示して工程手順を提
示することを特徴とする画像表示方法。
【請求項６】請求項５に記載の方法において、前記コンピュータ・グラフィクス画像は、撮影したビデ
オ画像から取り出した静止画に基づいて作成されること
を特徴とする画像表示方法。
【請求項７】請求項６に記載の方法において、前記静止画を取り出す工程において、理解しやすく表現したい部分についての時間あたりの変
化が大きい場面では前記ビデオ画像から取り出す静止画
の時間当たりの数を多くし、変化が小さい場面では取り
出す静止画の数を少なくすることを特徴とする画像表示
方法。