JP2003281297A - 情報提示装置および情報提示方法 - Google Patents

情報提示装置および情報提示方法

Info

Publication number
JP2003281297A
JP2003281297A JP2002080253A JP2002080253A JP2003281297A JP 2003281297 A JP2003281297 A JP 2003281297A JP 2002080253 A JP2002080253 A JP 2002080253A JP 2002080253 A JP2002080253 A JP 2002080253A JP 2003281297 A JP2003281297 A JP 2003281297A
Authority
JP
Japan
Prior art keywords
work
unit
information
user
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002080253A
Other languages
English (en)
Inventor
Takashi Okuma
隆史 大隈
Takeshi Kurata
武志 蔵田
Masakatsu Korogi
正克 興梠
Takekazu Katou
丈和 加藤
Katsuhiko Sakagami
勝彦 坂上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2002080253A priority Critical patent/JP2003281297A/ja
Publication of JP2003281297A publication Critical patent/JP2003281297A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】作業の状況に応じて作業手順を指示する映像を
提示することで作業を支援するシステムを提供する。 【解決部】動作認識処理と物体認識処理と状況推定処理
を有することを特徴とする手順のプログラムを、動作計
測部と映像情報入力部および情報提示部を有することを
特徴とする情報提示装置に実行させることで、動作計測
部が計測したユーザの動作情報と映像情報入力部が撮影
した映像から認識されるユーザの作業対象からユーザの
作業状況を推定して適切な情報を情報提示部に提示す
る。

Description

【発明の詳細な説明】
【発明の属する技術分野】
【０００１】本発明は、作業や操作を行う手順を明確に
伝達するための情報を提示する情報提示装置および情報
提示方法に関し、特に、作業者の動作と作業対象物を認
識することにより状況に応じた情報提示をする情報提示
装置および情報提示方法に関する。
【従来の技術】
【０００２】従来の電子機器（たとえばコンピュータや
ビデオテープレコーダなど）の取扱説明書は、ユーザに
対して、電子機器に付属して印刷物の形態で配布されて
いた。その他の方法として、取扱説明書の内容を電子化
して、あらかじめ電子機器に記憶させておいたり、記録
媒体（たとえばCD-ROMなど）を配布したり、ネットワー
クを介して取得可能にしておく場合がある。
【０００３】取扱説明書内に記載される情報の中には電
子機器の機能を拡張するための追加機器の追加方法やメ
ンテナンスのために必要となる作業手順の情報も含まれ
るが、このような情報は文章のみによる説明では理解が
困難であるため、イラストや写真を用いた画像によって
説明される場合がある。
【０００４】このような作業手順などの情報をユーザに
容易に理解させるために、手順の工程を映像の出力部を
有する装置に順次表示する装置および方法がある。例え
ば折り紙などの工程手順を順に表示する手順表示処理装
置は特開平９−１６０７４０号広報に開示されている。
【０００５】また、作業対象となる装置自身に映像の出
力部を具備させ、作業装置に自身の操作および保守方法
を表明する方法が特開平７−２６６２７１号広報に開示
されている。
【０００６】また、作業対象となる装置を操作するリモ
ートコントロール装置に取扱説明書の内容を出力する手
段を具備させ、リモートコントロール装置への操作に応
じて取扱説明書の内容を表示する方法が特開２０００−
１８４４７５号広報に開示されている。
【発明が解決しようとする課題】
【０００７】以上の例は、各手順を示す絵、写真、映
像、説明文などを適宜表示することで作業手順をわかり
やすく伝えることができるが、表示を切り替えるために
ユーザからの入力（例えばタッチパネルに対する入力な
ど）を要することから、両手を使用するような作業をし
ながら作業手順を確認することができない。
【０００８】また、コピー機に代表されるように作業対
象と情報提示装置が同一の場合は例えば紙詰まりの判定
のように、埋め込まれたセンサなどにより作業対象自身
の状況把握が可能であるのに対し、コンピュータのメン
テナンスの場合など作業対象に通電したままの作業が危
険を伴う場合などには作業対象の状況把握が困難にな
る。
【０００９】また、特に3次元的な動作を提示する場
合、あらかじめ作成しておいた映像を提示することで作
業手順を示す方法では、あらかじめ用意されている視点
からの映像しか提示することができず、ユーザが見たい
角度からの情報を提示することはできない。
【００１０】そこで、本発明の目的は、上述した従来例
による問題点を解消するため、ユーザによる明示的な入
力手順を要したり、作業対象自身に状況を判断するため
の手段を埋め込んだり手順を表示させるための手段を具
備させることなく、作業の状況を認識して適切な作業情
報を提示する情報提示装置および情報提示方法を提供す
ることにある。
【００１１】
【課題を解決するための手段】請求項１に記載の情報提
示装置は、ひとつまたは複数の作業対象への作業を支援
する情報提示装置において、ユーザの動作を計測する動
作計測部と、前記動作計測部からの計測データを用いて
ユーザの状態を認識する動作認識部と、ユーザが観察す
る作業対象の映像を入力する映像情報入力部と、前記作
業対象を前記映像入力部からの入力映像を用いて認識す
る物体認識部と、前記物体認識部で使用する物体認識用
データと前記物体認識部で認識した作業対象に関連する
作業情報を取り込むインタフェース部と、前記動作認識
部により認識されたユーザの動作状態と前記物体認識部
により認識された作業対象により作業状況を推定する状
況推定部と、推定された作業状況に基づき提示情報を決
定して提示する作業情報提示部と、前記作業情報提示部
からの出力を映像として表示する映像情報提示部とを有
することを特徴とする。
【００１２】以上の構成によれば、動作認識部は動作計
測部が計測したユーザの動作データからユーザの状態を
認識し、作業対象認識部は映像入力部が撮影したユーザ
の観察している対象の映像から作業対象物体を認識し、
情報提示部は動作認識部が認識したユーザの状態と作業
対象認識部が認識した作業対象物体から現在情報を提示
すべきか否か、提示すべきならどの情報を提示すべきか
を決定して情報を提示する。
【００１３】従って、ユーザの明示的な入力を用いずに
ユーザの動作状態とユーザが観察している作業対象の状
況から適切な作業情報を提示することが可能となる。
【００１４】請求項2に記載の情報提示装置は請求項1に
記載の情報提示装置が有する特徴に加えて、前記動作計
測部からの計測データと前記映像入力部からの作業対象
を撮影した入力映像を用いて作業対象とユーザの観察位
置の3次元的な位置関係を推定する3次元位置姿勢推定部
と前記3次元位置姿勢推定部が推定した3次元位置姿勢情
報を用いて3次元的な作業手順映像を合成する3次元作業
映像合成部を有することを特徴とする。
【００１５】以上の構成によれば、動作認識部は動作計
測部が計測したユーザの動作データからユーザの状態を
認識し、作業対象認識部は映像入力部が撮影したユーザ
の観察している対象の映像から作業対象物体を認識し、
情報提示部は動作認識部が認識したユーザの状態と作業
対象認識部が認識した作業対象物体から現在情報を提示
すべきか否か、提示すべきならどの情報を提示すべきか
を決定した後、3次元位置姿勢推定部が作業対象とユー
ザの観察位置の３次元的な位置関係を推定し、3次元作
業映像合成部が推定された3次元位置姿勢情報を用いて3
次元的な作業手順映像を合成し、合成された映像を情報
提示部が提示する。
【００１６】従って、ユーザが見たい角度から自由に手
順を示す3次元情報を見ることができる機能を提供する
ことが可能となる。請求項３記載のひとつまたは複数の
作業対象への作業を支援する情報提示方法は、動作計測
手段がユーザの動作を計測する手順と、動作認識手段が
前記動作計測手段からの計測データを用いてユーザの状
態を認識する手順と、映像情報入力手段がユーザが観察
する作業対象の映像を入力する手順と、物体認識手段が
前記作業対象を前記映像入力手段からの入力映像を用い
て認識する手順と、インタフェース手段が前記作業対象
認識手段で使用する作業対象認識用データと前記作業対
象認識部で認識した作業対象に関連する作業情報を取り
込む手順と、状況推定手段が前記動作認識手段により認
識されたユーザの動作状態と前記物体認識手段により認
識された作業対象により作業状況を推定する手順と、作
業情報提示手段が推定された作業状況提示に基づき情報
を決定して提示する手順と、映像情報提示手段が作業情
報提示部からの出力を映像として表示する手順から構成
されることを特徴とする。
【００１７】請求項４記載の情報提示方法は、3次元位
置姿勢推定手段が前記動作計測手段からの計測データと
前記映像入力手段からの作業対象を撮影した入力映像を
用いて作業対象とユーザの観察位置の3次元的な位置関
係を推定する手順と、3次元作業映像合成手段が前記3次
元位置姿勢推定部が推定した3次元位置姿勢情報を用い
て3次元的な作業手順映像を合成する手順から構成され
ることを特徴とする。
【発明の実施の形態】
【００１８】以下に本発明の実施の形態を説明するが、
特許請求の範囲に記載の発明の各部と以下の実施の形態
との対応関係を明らかにするために、実施の形態（但し
一例）を付加して本発明の特徴を記述すると、次のよう
になる。但し勿論この記載は、各部を記載したものに限
定することを意味するものではない。
【００１９】図1は本発明を適用した情報提示装置の構
成例を表した外観図であり、図２は情報提示装置の一実
施の形態を示すブロック図である。
【００２０】情報処理手段となる情報処理部１は、例え
ば携帯型コンピュータ単体で構成されたり、携帯型コン
ピュータと広域無線通信手段とからなり、通信係は携帯
型コンピュータと広域無線ネットワークとホストコンピ
ュータと組み合わせによるクライアント−サーバ方式の
情報処理機構などで構成し、例えば図3に示す処理手順
に従って情報を処理し、動作認識部７と物体認識部８と
状況推定部９と情報提示部１０とを実現する。
【００２１】動作計測手段となる動作計測部２は、例え
ば回転角センサ等で構成され、ユーザの頭部の回転角を
計測し、情報処理部１の動作認識部７に入力する。動作
認識手段となる動作認識部７は、前記動作計測部２から
の出力を解析し、ユーザの動作を認識する機能を有す
る。
【００２２】映像情報入力手段となる映像情報入力部３
は、例えば小型カメラなどで構成され、使用者の視野内
にあって使用者が作業の対象とする物体を撮影し、情報
処理部１の物体認識部８に入力する。
【００２３】インターフェース手段となるインタフェー
ス部４は、情報提示装置１においては、後述するシナリ
オデータと、後述する作業対象認識用データと、例えば
作業情報説明用映像と作業情報説明用音声とを含む作業
情報をサービスの提供者より受け取り情報処理部１が通
常有する作業情報記憶装置に入力するインタフェース処
理を行う。インタフェース部４は、例えば前記作業対象
認識用データや作業情報がCD−ROMメディアで提供され
る場合はCD−ROMドライブで実現され、ネットワークに
接続されたサーバからダウンロードできるデータの形で
提供される場合にはネットワークインタフェース装置と
なる。物体認識手段となる物体認識部８は、前記インタ
ーフェース部４で入力された物体認識用データを用い、
前記映像情報入力部３で入力された映像中に存在する物
体を認識する機能を有する。
【００２４】映像情報表示手段となる映像情報表示部５
は、例えば小型液晶ディスプレイなどで構成され、作業
説明映像等を表示する。
【００２５】音声情報表示手段となる音声情報表示部６
は、例えば小型スピーカなどで構成され、作業説明音声
等を提示する。情報処理部１は、少なくとも、動作認識
部７、物体認識部８、状況推定手段となる状況推定部９
および作業情報提示手段となる作業情報提示部１０から
構成される。
【００２６】次に、動作について説明する。図3は情報
提示装置における本実施の形態による主動作を説明する
フローチャートである。
【００２７】認識用データ取得処理ステップP11では、
例えばネットワークインタフェース装置などによって構
成されるインタフェース部４を通じて作業情報提供者か
ら提供されるオンラインマニュアルや料理のレシピ等に
代表される作業手順シナリオデータを取得する。前記作
業手順シナリオデータは例えば提示する作業の対象とな
る物体や作業に必要な物体の物体認識用データと、情報
提示のきっかけとなる複数認識対象物体の組み合わせや
状況等を記述した状況データを含む。例えば、コンピュ
ータのメンテナンス作業手順提示用のシナリオデータの
場合には「ドライバー」の認識用データと、「コンピュ
ータの背面」の認識用データと、「「ドライバー」と
「コンピュータの背面」をユーザが「同時に注視した」
と認識した場合には「コンピュータのカバーの取り外し
手順」を提示する」といった状況データが含まれる。前
記物体認識用データは認識対象となる物体を後に物体認
識処理ステップP16で認識するために必要な事前知識で
あり、例えば認識対象物体を撮影したひとつまたは複数
の認識対象物体代表画像、前記認識対象物体代表画像か
ら得られる色情報、前記認識対象物体代表画像中に存在
する特徴点の位置情報、認識対象が工業製品の場合であ
れば認識対象物体の３次元形状等を含むものとする。
【００２８】動作データ入力処理ステップP12では、例
えば回転角センサなどによって構成される動作計測部２
よりユーザの頭部の動きの角度データを計測して前記情
報処理部１へ入力する。
【００２９】動作認識処理ステップP13では、入力され
た現在のユーザの頭部角度データに基づき、例えば時系
列に沿った角度データの履歴を記録しておき、履歴から
角度データの変化を求めることで、角度データが一定時
間の間に事前に設定した角度以上頭部が動いていないか
どうかを判断する。前記動作データ入力処理ステップP
１３を実行するプログラムを前記情報処理部１で実行す
ることで実現される動作認識部7により、ユーザが一箇
所を注視しているかどうかを判定した結果に基づいて、
注視していると判定されれば映像入力処理ステップP14
へ処理を進め、注視していないと判定されれば動作デー
タ入力処理ステップP11へ処理を戻す。
【００３０】映像入力処理ステップP14では、例えば小
型カメラとビデオキャプチャボードなどからなる映像情
報入力部3より情報処理部１の物体認識部８が処理でき
るデータ形式に変換して情報処理部１が通常有する記憶
手段に記憶する。
【００３１】物体認識処理ステップP15では、例えば色
ヒストグラム情報を用いた”Color Indexing”（Intern
ational Journal of Computer Vision, vol.7, no.1, p
p.11-31）やエッジが検出された画素近辺の局所特徴に
基づいて投票を行う一般化ハフ変換(Pattern Recogniti
on, vol.13, no.2, pp.111-122)などを組み合わせて実
現される画像認識プログラムを前記情報処理部１で実行
し、前記認識用データ取得処理P11で取得した前記認識
用データを事前知識として用いることで、映像入力処理
P15により入力されたユーザの観察対象を撮影した画像
中に前記シナリオデータに含まれる認識対象物体が存在
するかを認識する。例えば、コンピュータのメンテナン
ス作業を支援する情報提示装置に適用する例では、メン
テナンスに必要なドライバーや作業対象となるPCのどの
部分あるいはどの部品にユーザが注目しているのかを認
識する。また別の例として、調理補助情報提示への適用
例ではユーザが手元に持ってきた食材や包丁などを認識
する。
【００３２】状況推定処理ステップP16では物体認識結
果に基づいて、状況推定部9により現在の作業状況を推
定して作業情報を提示すべきと判断された場合に作業情
報取得処理P17に処理を進める。状況推定部9は、動作認
識部７の認識結果とユーザの置かれている状況を推定す
る機能を有する。状況推定部9は例えば認識された複数
の物体の組み合わせやこれまでの作業履歴から前記シナ
リオデータに含まれる前記状況データに合致するかを判
断するプログラムを情報処理部１に実行させることで実
現することができる。例えば状況推定部9は、ユーザが
コンピュータのメンテナンスを開始する場合、すなわち
メンテナンス用の手順提示シナリオの提示を開始してい
ないため提示済みの情報の履歴が存在しないという状態
の場合、作業対象となる「コンピュータの背面」と作業
の道具である「ドライバー」をユーザが注視している視
野内に「同時に存在する」と判定した場合に、前記シナ
リオデータの記述に従って、「コンピュータのカバーの
取り外し手順」を提示すべきと状況を推定して、「コン
ピュータのカバーの取り外し手順」情報を作業情報取得
処理ステップP17で取得する。また、別の例では既にカ
バーを取り外し終わっているという作業履歴があり、
「PCIバスへ差し込む拡張ボード」と「PCのマザーボー
ド」が視野内に同時に存在すると認識した場合、前記シ
ナリオデータ中の前記状況データに従い、例えば「拡張
ボードをマザーボードに取り付ける手順」を提示する状
況であると判断する。従ってマザーボード中の拡張ボー
ドの取り付け位置と取り付け方法を指示するための情報
を作業情報取得処理ステップP17で取得する。さらに別
の例として調理補助情報提示装置としての適用例では、
ユーザが特定の料理のレシピをインターネット等を通じ
て確認したという作業履歴の直後に、野菜などの料理の
素材と包丁を手に持っていることを認識した場合、確認
したレシピ手順に従った詳しい解説を作業情報取得処理
ステップP17で取得する。
【００３３】作業情報取得処理ステップP17では状況推
定処理ステップP16によって推定された状況に応じて、
インタフェース部４を通じて提示すべき作業情報を取得
する。
【００３４】作業情報提示処理ステップP18では、状況
推定手段となる状況推定部９の推定結果に基づきインタ
フェース部４を通じて取得された作業情報を映像情報提
示部５および音声情報提示部６に出力する機能を有する
作業情報提示部１０を通じて、例えば小型ディスプレイ
とビデオカードからなる映像情報提示部５と、例えば小
型スピーカとサウンドボードからなる音声情報提示部６
に対して作業情報取得処理ステップP17が取得した情報
を出力する。
【００３５】図４は情報処理部の一実施の形態を示すブ
ロック図である。
【００３６】情報処理部２−１は、情報処理部１と同様
に、例えば携帯型コンピュータ単体で構成されたり、携
帯型コンピュータと広域無線ネットワークとホストコン
ピュータと組み合わせによるクライアント−サーバ方式
の情報処理機構などで構成されたりし、例えば図５に示
す処理手順に従って情報を処理し、動作認識部２−７と
物体認識部２−８と状況推定部２−９と3次元位置姿勢
推定部２−１０とを実現する。
【００３７】動作計測部２−２は、例えば回転角センサ
等で構成され、ユーザの頭部の回転角を計測し、情報処
理部２−１の動作認識部２−７に入力する。
【００３８】映像情報入力部２−３は、例えば小型カメ
ラなどで構成され、使用者の視野内にあって使用者が作
業の対象とする物体を撮影し、情報処理部２−１の物体
認識部２−８に入力する。
【００３９】インタフェース部２−４は、請求項２に記
載の情報提示装置２−１においては、作業対象認識用デ
ータと、例えば作業情報説明用映像と作業情報説明用音
声と3次元作業情報データとを含む作業情報をサービス
の提供者より受け取り情報処理装置２−１が通常有する
作業情報記憶手段に入力するインタフェース処理を行
う。インタフェース部２−４は、例えば前記作業対象認
識用データや作業情報がCD−ROMメディアで提供される
場合はCD−ROMドライブで実現され、ネットワークに接
続されたサーバからダウンロードできるデータの形で提
供される場合にはネットワークインタフェース装置とな
る。
【００４０】映像情報表示部２−５は、例えば小型液晶
ディスプレイなどで構成され、作業説明映像等を表示す
る。
【００４１】音声情報表示部２−６は、例えば小型スピ
ーカなどで構成され、作業説明音声等を提示する。
【００４２】次に、動作について説明する。図５は情報
提示装置における本実施の形態による主動作を説明する
フローチャートである。
【００４３】認識用データ取得処理ステップP20では、
前記認識用データ取得処理ステップP１１と同様に、例
えばネットワークインタフェース装置などによって構成
されるインタフェース部２−４を通じて作業情報提供者
から提供されるオンラインマニュアルや料理のレシピ等
に代表される作業手順シナリオデータを取得する。
【００４４】動作データ入力処理ステップP21では、前
記動作データ入力処理ステップP１２と同様に、例えば
回転角センサなどによって構成される動作計測部よりユ
ーザの頭部の動きの角度データを入力する。
【００４５】動作認識処理ステップP22では、前記動作
認識処理ステップP13と同様に、入力された角度データ
に基づき、例えば時系列に沿った角度データの履歴か
ら、角度データが一定時間の間に事前に設定した角度以
上頭部が動いていないかどうかを判断することにより実
現される動作認識部２−7により、ユーザが一箇所を注
視しているかどうかを判定した結果に基づいて、注視し
ていると判定されれば注視対象の映像入力処理ステップ
P23へ処理を進め、注視していないと判定されれば動作
データ入力処理ステップP21へ処理を移す。
【００４６】映像入力処理ステップP23では、前記映像
入力処理ステップP14と同様に、例えば小型カメラとビ
デオキャプチャボードなどからなる映像情報入力部２−
3より情報処理装置２−１の物体認識部２−８が処理で
きるデータ形式に変換して記憶する。
【００４７】物体認識処理ステップP24では、前記物体
認識処理ステップP１５と同様に、映像入力処理ステッ
プP２３により入力されたユーザの観察対象を撮影した
画像中に前記シナリオデータに含まれる認識対象物体が
存在するかを認識する。
【００４８】状況推定処理ステップP25では物体認識結
果に基づいて、前記状況推定処理ステップP16と同様
に、状況推定部２−9により現在の作業状況を推定して
作業情報を提示すべきと判断された場合に作業情報取得
処理P17に処理を進める。
【００４９】3次元位置姿勢推定処理ステップP26では、
対象に対する視点の位置と姿勢を推定する機能を有する
3次元位置姿勢推定手段となる3次元位置姿勢推定部2−1
１により対象に対する視点の位置と姿勢を推定する。3
次元位置姿勢推定部2−1１は例えば、画像中に撮影され
た対象物体中に存在する3次元の位置が既知の特徴点を
検出する手法と、その特徴点を追跡する手法と、3次元
位置が既知の6点もしくは3次元位置が既知の平面状に存
在する4点もしくは3次元位置が既知の3点の画像平面上
への投影点の2次元座標値からカメラと対象の位置と姿
勢の相対関係を計算する手法を組み合わせることでカメ
ラの3次元位置姿勢を推定する手法（IEICE Transaction
s on Information and Systems, vol.e84-d, no.12, p
p.1668-1675）等を用いて実現することができる。
【００５０】3次元作業映像合成処理ステップP28では、
3次元位置姿勢推定処理P26で求めたカメラの3次元位置
姿勢パラメータと作業情報取得処理P27で取得した3次元
作業情報データを用いて通常の3次元コンピュータグラ
フィックスのレンダリング手法を用いて3次元コンピュ
ータグラフィックス画像を生成すると同時に、背景に映
像入力処理P23で入力したユーザの視野映像を合成する
ことで3次元作業情報データをユーザの視点位置から見
た仮想物体として作業情報映像に合成提示する機能を有
する３次元作業映像合成部２−１２により、3次元位置
姿勢推定処理P26で求めたカメラの3次元位置姿勢パラメ
ータと作業情報取得処理P27で取得した3次元作業情報デ
ータを用いて通常の3次元コンピュータグラフィックス
のレンダリング手法を用いて3次元コンピュータグラフ
ィックス画像を生成すると同時に、背景に映像入力処理
P23で入力したユーザの視野映像を合成することで3次元
作業情報データをユーザの視点位置から見た仮想物体と
して作業情報映像に合成提示する。
【００５１】作業情報提示処理ステップP29では、例え
ば小型ディスプレイとビデオカードからなる映像情報提
示部２−５と、例えば小型スピーカとサウンドボードか
らなる音声情報提示部２−６に対して作業情報取得処理
P27が取得した情報と3次元作業映像合成処理P28が合成
した合成映像を出力する。出力される映像の例を図６−
１、図６−２に示す。図６−１ではねじの取り外された
PCの背面をユーザが注視した状態で、カバーを開くため
にカバーをスライドさせる方向を指示するために３次元
的な方向を指示する矢印とコメント文が合成提示されて
いる。図６−２ではユーザが移動して視点を変えた場合
に３次元の矢印の方向が正しく合成されている例を示し
ている。
【発明の効果】
【００５２】以上に説明したように、本発明によれば、
ユーザがひとつまたは複数の作業対象への作業を行う際
に、ユーザが手による操作で明示的に指示したり、作業
対象自身に状況を判断するセンサや手順表示装置を設置
したりなくとも、適切な手順を映像や音声などで順次提
示することができ、直感的な理解が容易な手順指示が可
能となる情報提示装置および情報提示方法とすることが
できる。
【００５３】また、3次元的な作業情報をあらかじめ用
意しておくことが可能な場合には、ユーザと作業対象と
の位置関係を推定することでユーザが自由な視点から3
次元的な作業情報を確認することが可能となり、さらに
直感的な理解が容易な手順指示が可能となる情報提示装
置および情報提示方法とすることができる。
【図面の簡単な説明】
【図1】本発明を適用した情報提示装置の構成例を表し
た概観図
【図2】本発明の情報提示装置の構成例を示すブロック
図
【図3】本発明の情報提示装置を実現するメインプログ
ラムの実現例を示すフローチャート
【図4】本発明の情報提示装置の他の構成例を示すブロ
ック図
【図5】本発明の情報提示装置を実現するメインプログ
ラムの実現例を示すフローチャート
【図６−１】出力画像例１：メンテナンス中にユーザに
提示される作業手順映像の例を示す。
【図６−２】出力画像例２：図６−１の状態からユーザ
が観察方向を変えた場合に提示される手順映像の例であ
る。
【符号の説明】
１、２−１ 情報処理部 ２、２−２ 動作計測部 ３、２−３ 映像情報入力部 ４、２−４ インターフェース部 ５、２−５ 映像情報提示部 ６、２−６ 音声情報提示部 ７、２−７ 動作認識部 ８、２−８ 物体認識部 ９、２−９ 状況推定部 １０、２−１０ 作業情報提示部 ２−１１ ３次元位置姿勢推定部 ２−１２ ３次元作業映像合成部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３１５ Ｇ０６Ｔ 1/00 ３１５ ５Ｌ０９６ 7/20 ３００ 7/20 ３００Ａ 17/40 17/40 Ｇ (72)発明者 加藤 丈和 茨城県つくば市東１−１−１ 独立行政法 人産業技術総合研究所つくばセンター内 (72)発明者 坂上 勝彦 茨城県つくば市東１−１−１ 独立行政法 人産業技術総合研究所つくばセンター内 Ｆターム(参考） 2F034 AA19 BA03 2F065 AA04 AA14 AA17 AA20 AA31 AA51 BB05 CC16 FF04 FF65 JJ03 JJ26 QQ24 QQ28 QQ31 SS02 SS03 5B050 AA06 BA08 BA11 BA12 DA01 EA07 EA19 EA24 EA27 FA10 5B057 AA19 BA02 CA12 CB13 CE08 DA11 DB03 DC36 5B075 ND12 5L096 BA03 CA04 FA67 FA69

Claims (4)

    【特許請求の範囲】
  1. 【請求項１】 ひとつまたは複数の作業対象への作業を
    支援する情報提示装置において、ユーザの動作を計測す
    る動作計測部と、前記動作計測部からの計測データを用
    いてユーザの状態を認識する動作認識部と、ユーザが観
    察する作業対象の映像を入力する映像情報入力部と、前
    記作業対象を前記映像入力部からの入力映像を用いて認
    識する物体認識部と、前記物体認識部で使用する物体認
    識用データと前記物体認識部で認識した作業対象に関連
    する作業情報を取り込むインタフェース部と、前記動作
    認識部により認識されたユーザの動作状態と前記物体認
    識部により認識された作業対象により作業状況を推定す
    る状況推定部と、推定された作業状況に基づき提示情報
    を決定して提示する作業情報提示部と、前記作業情報提
    示部からの出力を映像として表示する映像情報提示部と
    を有することを特徴とする情報提示装置。
  2. 【請求項2】 前記動作計測部からの計測データと前記
    映像入力部からの作業対象を撮影した入力映像を用いて
    作業対象とユーザの観察位置の3次元的な位置関係を推
    定する3次元位置姿勢推定部と前記3次元位置姿勢推定部
    が推定した3次元位置姿勢情報を用いて3次元的な作業手
    順映像を合成する3次元作業映像合成部を有することを
    特徴とする請求項１に記載の情報提示装置。
  3. 【請求項３】 ひとつまたは複数の作業対象への作業を
    支援する情報提示方法において、動作計測手段がユーザ
    の動作を計測する手順と、動作認識手段が前記動作計測
    手段からの計測データを用いてユーザの状態を認識する
    手順と、映像情報入力手段がユーザが観察する作業対象
    の映像を入力する手順と、物体認識手段が前記作業対象
    を前記映像入力手段からの入力映像を用いて認識する手
    順と、インタフェース手段が前記作業対象認識手段で使
    用する作業対象認識用データと前記作業対象認識部で認
    識した作業対象に関連する作業情報を取り込む手順と、
    状況推定手段が前記動作認識手段により認識されたユー
    ザの動作状態と前記物体認識手段により認識された作業
    対象により作業状況を推定する手順と、作業情報提示手
    段が推定された作業状況提示に基づき情報を決定して提
    示する手順と、映像情報提示手段が作業情報提示部から
    の出力を映像として表示する手順から構成されることを
    特徴とする情報提示方法。
  4. 【請求項４】 3次元位置姿勢推定手段が前記動作計測
    手段からの計測データと前記映像入力手段からの作業対
    象を撮影した入力映像を用いて作業対象とユーザの観察
    位置の3次元的な位置関係を推定する手順と、3次元作業
    映像合成手段が前記3次元位置姿勢推定部が推定した3次
    元位置姿勢情報を用いて3次元的な作業手順映像を合成
    する手順から構成されることを特徴とする請求項３に記
    載の情報提示方法。
JP2002080253A 2002-03-22 2002-03-22 情報提示装置および情報提示方法 Pending JP2003281297A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002080253A JP2003281297A (ja) 2002-03-22 2002-03-22 情報提示装置および情報提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002080253A JP2003281297A (ja) 2002-03-22 2002-03-22 情報提示装置および情報提示方法

Publications (1)

Publication Number Publication Date
JP2003281297A true JP2003281297A (ja) 2003-10-03

Family

ID=29229363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002080253A Pending JP2003281297A (ja) 2002-03-22 2002-03-22 情報提示装置および情報提示方法

Country Status (1)

Country Link
JP (1) JP2003281297A (ja)

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088542A1 (ja) * 2004-03-17 2005-09-22 Matsushita Electric Industrial Co., Ltd. 食材調理操作認識システム及び食材調理操作認識プログラム
WO2005096126A1 (ja) * 2004-03-31 2005-10-13 Brother Kogyo Kabushiki Kaisha 画像入出力装置
JP2005293290A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd 画像入出力装置
JP2005293291A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd 画像入出力装置
JP2007128307A (ja) * 2005-11-04 2007-05-24 Advanced Telecommunication Research Institute International 動作指示装置
JP2007181071A (ja) * 2005-12-28 2007-07-12 Shunkosha:Kk コンテンツ注目評価装置及び評価方法
JP2010205030A (ja) * 2009-03-04 2010-09-16 Kddi Corp 関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム
JP2011022984A (ja) * 2009-07-20 2011-02-03 J Touch Corp 立体映像インタラクティブシステム
JP2011034315A (ja) * 2009-07-31 2011-02-17 Optim Corp リモートサポート方法、システム、プログラム
US7926718B2 (en) 2007-03-13 2011-04-19 Fujitsu Limited Operation support system, operation support apparatus and operation support method
JP2011159162A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2011184121A (ja) * 2010-03-05 2011-09-22 Mitsubishi Electric Corp 作業内容推定装置及び作業内容推定方法
JP2011186756A (ja) * 2010-03-08 2011-09-22 Nippon Telegr & Teleph Corp <Ntt> 画像表示システム及び画像表示方法
JP2012146220A (ja) * 2011-01-13 2012-08-02 Olympus Corp ジェスチャ入力装置
JP2013513191A (ja) * 2010-03-10 2013-04-18 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実における動的モデリングによる頑強なオブジェクト認識
US8654187B2 (en) 2009-06-08 2014-02-18 Panasonic Corporation Work recognition system, work recognition device, and work recognition method
CN103869469A (zh) * 2012-12-13 2014-06-18 精工爱普生株式会社 头戴式显示装置、该装置的控制方法以及作业支援系统
JP2014119786A (ja) * 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2014203377A (ja) * 2013-04-09 2014-10-27 ソニー株式会社 画像処理装置および記憶媒体
JP2014215646A (ja) * 2013-04-22 2014-11-17 富士通株式会社 表示制御装置、表示制御方法、情報設定装置、情報設定方法および情報提供システム
JP2015118699A (ja) * 2013-11-15 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 調理情報提供方法、制御方法、プログラムおよび端末装置
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
WO2015173882A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 コンテンツ生成方法および管理装置
JP2016045724A (ja) * 2014-08-22 2016-04-04 株式会社ニコン 電子機器
WO2016084142A1 (ja) * 2014-11-26 2016-06-02 株式会社日立製作所 作業支援システム、及び、作業支援方法
JP2016110541A (ja) * 2014-12-10 2016-06-20 セイコーエプソン株式会社 情報処理装置、装置を制御する方法、コンピュータープログラム
JPWO2014097413A1 (ja) * 2012-12-19 2017-01-12 株式会社日立製作所 作業支援端末および作業支援システム
WO2017030193A1 (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017091561A (ja) * 2016-12-15 2017-05-25 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラム、情報提供システム、情報設定装置、情報設定方法および情報設定プログラム
JP2017142790A (ja) * 2017-02-01 2017-08-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
JP2018005905A (ja) * 2016-07-06 2018-01-11 パロ アルト リサーチ センター インコーポレイテッド 状況的に関連するサービスを提供するためのコンピュータ実装システムおよび方法
JP2018049421A (ja) * 2016-09-21 2018-03-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
US9990773B2 (en) 2014-02-06 2018-06-05 Fujitsu Limited Terminal, information processing apparatus, display control method, and storage medium
JP2018101353A (ja) * 2016-12-21 2018-06-28 ヤフー株式会社 判定システム、判定方法、及び判定プログラム
WO2018179230A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2019012537A (ja) * 2018-08-22 2019-01-24 セイコーエプソン株式会社 頭部装着型表示装置、コンピュータープログラム
JP7459621B2 (ja) 2020-03-31 2024-04-02 大日本印刷株式会社 情報処理装置及びプログラム

Cited By (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454390B2 (en) 2004-03-17 2008-11-18 Panasonic Corporation Ingredient cooking-operation recognition system and computer-readable recording medium which is recorded with ingredient cooking-operation recognition program
WO2005088542A1 (ja) * 2004-03-17 2005-09-22 Matsushita Electric Industrial Co., Ltd. 食材調理操作認識システム及び食材調理操作認識プログラム
JP2005293291A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd 画像入出力装置
JP2005293290A (ja) * 2004-03-31 2005-10-20 Brother Ind Ltd 画像入出力装置
JP4552484B2 (ja) * 2004-03-31 2010-09-29 ブラザー工業株式会社 画像入出力装置
JP4552485B2 (ja) * 2004-03-31 2010-09-29 ブラザー工業株式会社 画像入出力装置
US7809193B2 (en) 2004-03-31 2010-10-05 Brother Kogyo Kabushiki Kaisha Image input-and-output apparatus
WO2005096126A1 (ja) * 2004-03-31 2005-10-13 Brother Kogyo Kabushiki Kaisha 画像入出力装置
JP2007128307A (ja) * 2005-11-04 2007-05-24 Advanced Telecommunication Research Institute International 動作指示装置
JP2007181071A (ja) * 2005-12-28 2007-07-12 Shunkosha:Kk コンテンツ注目評価装置及び評価方法
JP4603975B2 (ja) * 2005-12-28 2010-12-22 株式会社春光社 コンテンツ注目評価装置及び評価方法
US7926718B2 (en) 2007-03-13 2011-04-19 Fujitsu Limited Operation support system, operation support apparatus and operation support method
JP2010205030A (ja) * 2009-03-04 2010-09-16 Kddi Corp 関連情報表示位置特定方法、関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム
US8654187B2 (en) 2009-06-08 2014-02-18 Panasonic Corporation Work recognition system, work recognition device, and work recognition method
JP2011022984A (ja) * 2009-07-20 2011-02-03 J Touch Corp 立体映像インタラクティブシステム
JP2011034315A (ja) * 2009-07-31 2011-02-17 Optim Corp リモートサポート方法、システム、プログラム
US10515488B2 (en) 2010-02-02 2019-12-24 Sony Corporation Image processing device, image processing method, and program
JP2011159162A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US10223837B2 (en) 2010-02-02 2019-03-05 Sony Corporation Image processing device, image processing method, and program
US10810803B2 (en) 2010-02-02 2020-10-20 Sony Corporation Image processing device, image processing method, and program
US9805513B2 (en) 2010-02-02 2017-10-31 Sony Corporation Image processing device, image processing method, and program
US11651574B2 (en) 2010-02-02 2023-05-16 Sony Corporation Image processing device, image processing method, and program
US9183678B2 (en) 2010-02-02 2015-11-10 Sony Corporation Image processing device, image processing method, and program
US11189105B2 (en) 2010-02-02 2021-11-30 Sony Corporation Image processing device, image processing method, and program
US10037628B2 (en) 2010-02-02 2018-07-31 Sony Corporation Image processing device, image processing method, and program
US9754418B2 (en) 2010-02-02 2017-09-05 Sony Corporation Image processing device, image processing method, and program
JP2011184121A (ja) * 2010-03-05 2011-09-22 Mitsubishi Electric Corp 作業内容推定装置及び作業内容推定方法
JP2011186756A (ja) * 2010-03-08 2011-09-22 Nippon Telegr & Teleph Corp <Ntt> 画像表示システム及び画像表示方法
KR101453630B1 (ko) * 2010-03-10 2014-10-22 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실에서 동적 모델링에 의한 강건한 대상 인식
US8866845B2 (en) 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
JP2013513191A (ja) * 2010-03-10 2013-04-18 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実における動的モデリングによる頑強なオブジェクト認識
JP2012146220A (ja) * 2011-01-13 2012-08-02 Olympus Corp ジェスチャ入力装置
JP2014119786A (ja) * 2012-12-13 2014-06-30 Seiko Epson Corp 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
US9448407B2 (en) 2012-12-13 2016-09-20 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and work supporting system
CN103869469A (zh) * 2012-12-13 2014-06-18 精工爱普生株式会社 头戴式显示装置、该装置的控制方法以及作业支援系统
JPWO2014097413A1 (ja) * 2012-12-19 2017-01-12 株式会社日立製作所 作業支援端末および作業支援システム
JP2014203377A (ja) * 2013-04-09 2014-10-27 ソニー株式会社 画像処理装置および記憶媒体
US9881402B2 (en) 2013-04-09 2018-01-30 Sony Corporation Image processor and storage medium
US10147398B2 (en) 2013-04-22 2018-12-04 Fujitsu Limited Display control method and device
JP2014215646A (ja) * 2013-04-22 2014-11-17 富士通株式会社 表示制御装置、表示制御方法、情報設定装置、情報設定方法および情報提供システム
JP2015118699A (ja) * 2013-11-15 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 調理情報提供方法、制御方法、プログラムおよび端末装置
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
US9990773B2 (en) 2014-02-06 2018-06-05 Fujitsu Limited Terminal, information processing apparatus, display control method, and storage medium
WO2015173882A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 コンテンツ生成方法および管理装置
JP2016045724A (ja) * 2014-08-22 2016-04-04 株式会社ニコン 電子機器
WO2016084142A1 (ja) * 2014-11-26 2016-06-02 株式会社日立製作所 作業支援システム、及び、作業支援方法
JP2016110541A (ja) * 2014-12-10 2016-06-20 セイコーエプソン株式会社 情報処理装置、装置を制御する方法、コンピュータープログラム
WO2017030193A1 (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017030193A1 (ja) * 2015-08-20 2018-05-31 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018005905A (ja) * 2016-07-06 2018-01-11 パロ アルト リサーチ センター インコーポレイテッド 状況的に関連するサービスを提供するためのコンピュータ実装システムおよび方法
JP2018049421A (ja) * 2016-09-21 2018-03-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
JP2017091561A (ja) * 2016-12-15 2017-05-25 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラム、情報提供システム、情報設定装置、情報設定方法および情報設定プログラム
JP2018101353A (ja) * 2016-12-21 2018-06-28 ヤフー株式会社 判定システム、判定方法、及び判定プログラム
JP2017142790A (ja) * 2017-02-01 2017-08-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム
WO2018179230A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JPWO2018179230A1 (ja) * 2017-03-30 2019-11-14 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP2019012537A (ja) * 2018-08-22 2019-01-24 セイコーエプソン株式会社 頭部装着型表示装置、コンピュータープログラム
JP7459621B2 (ja) 2020-03-31 2024-04-02 大日本印刷株式会社 情報処理装置及びプログラム

Similar Documents

Publication Publication Date Title
JP2003281297A (ja) 情報提示装置および情報提示方法
EP1521216B1 (en) Mixed reality space image generation method and mixed reality system
Rekimoto Matrix: A realtime object identification and registration method for augmented reality
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US8751969B2 (en) Information processor, processing method and program for displaying a virtual image
EP2812770B1 (en) Image processing device, and computer program product
US20080204453A1 (en) Method and apparatus for generating three-dimensional model information
JP6015743B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3528024B1 (en) Information processing device, information processing method, and program
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
CN112083801A (zh) 基于vr虚拟办公的手势识别系统及方法
EP3582068A1 (en) Information processing device, information processing method, and program
CN111290722A (zh) 屏幕分享方法、装置、系统、电子设备和存储介质
WO2020054760A1 (ja) 画像表示制御装置および画像表示制御用プログラム
KR20120082319A (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
CN111782035A (zh) 一种基于增强现实技术的远程作业指导方法及系统
CN113963355B (zh) Ocr文字识别方法、装置、电子设备及存储介质
JP2021166091A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
WO2013132885A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20220207832A1 (en) Method and apparatus for providing virtual contents in virtual space based on common coordinate system
CN113920221A (zh) 信息处理装置、信息处理方法及计算机可读介质
JP2010282497A (ja) 異世界状態反映装置
CN111290721A (zh) 在线交互控制方法、系统、电子设备和存储介质
JP2021060856A (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
JP2020135446A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060426

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060725