JP2006245689A - Information presentation device, method and program - Google Patents
Information presentation device, method and program Download PDFInfo
- Publication number
- JP2006245689A JP2006245689A JP2005054957A JP2005054957A JP2006245689A JP 2006245689 A JP2006245689 A JP 2006245689A JP 2005054957 A JP2005054957 A JP 2005054957A JP 2005054957 A JP2005054957 A JP 2005054957A JP 2006245689 A JP2006245689 A JP 2006245689A
- Authority
- JP
- Japan
- Prior art keywords
- information
- presentation
- presentation mode
- situation
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 79
- 238000001514 detection method Methods 0.000 claims description 39
- 230000007613 environmental effect Effects 0.000 abstract description 22
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 37
- 238000013500 data storage Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
この発明は、例えば、現場作業員の作業を遠隔地から通信ネットワークを使用して支援する遠隔作業支援システムにおいて、現場で作業者に情報を提示するために使用される情報提示装置、情報提示方法及びプログラムに関する。 The present invention provides, for example, an information presentation apparatus and an information presentation method used for presenting information to a worker at a site in a remote work support system that supports the work of the field worker from a remote location using a communication network. And programs.
遠隔作業支援システムでは、作業指示者が音声と画像を利用して現場作業者と協調しながら作業を効率的に進めることが必要である。この際、音声指示と同時に現場作業者に作業の手順書や見本画像を提示することは重要である。特に、提示情報を作業対象物が存在する実空間に提示できれば作業の効率化に寄与できる。 In the remote work support system, it is necessary for the work instructor to efficiently work while cooperating with the field worker using voice and images. At this time, it is important to present a work procedure manual and a sample image to the field worker simultaneously with the voice instruction. In particular, if the presentation information can be presented in a real space where the work object exists, it can contribute to work efficiency.
そこで、例えば、プロジェクタにより投影された画像において、ユーザが指し示す作業対象物をリアルタイムで認識し、その作業対象物に関連付けられた所定のアクションを実行するようにした映像表示装置が提案されている(例えば、特許文献1を参照。)。これにより、作業の手順書や見本画像をプロジェクタで投影しておき、作業者が投影画像中の作業対象物を指し示すことで、予めその作業対象物に関連付けられている作業遂行に有用な情報を提示することができる。
Thus, for example, there has been proposed a video display device that recognizes a work object pointed to by a user in real time in an image projected by a projector and executes a predetermined action associated with the work object ( For example, see
また、実空間でのユーザのデスクワークを支援するにあたり、デスクトップの環境変化に応じて、位置、幾何補正を施した適応的な画像をプロジェクタにより実空間に投影することにより、実空間と仮想空間とをシームレスに統合した操作環境を提供するデスクトップ装置が提案されている(例えば、特許文献2を参照。)。これにより、作業対象物の位置の変化や新たにデスクワークに置かれた対象物などの環境変化に対応することができる。 In addition, in supporting the user's desk work in the real space, by projecting an adaptive image with position and geometric correction to the real space according to the desktop environment change, the real space and the virtual space are There has been proposed a desktop device that provides an operating environment that seamlessly integrates (see, for example, Patent Document 2). Thereby, it is possible to cope with a change in the position of the work object and an environmental change such as a new object placed on the desk work.
しかしながら、一般に作業現場の環境は整備されていないことが多いため、明るさや騒音レベルなどの環境状況は一定ではない。例えば、直射日光の当たっているような明るい場所であれば、投影装置により投影された画像の視認性は悪く、また、騒音レベルの大きい現場では、音声による指示は騒音に紛れて聞き取りにくい。このため、作業指示の伝達が困難になり、作業効率の低下を招くおそれがある。 However, in general, the environment at the work site is often not maintained, so the environmental conditions such as brightness and noise level are not constant. For example, in a bright place that is exposed to direct sunlight, the visibility of the image projected by the projection device is poor, and in a site with a high noise level, voice instructions are difficult to hear due to noise. For this reason, it becomes difficult to transmit work instructions, and work efficiency may be reduced.
この発明は、上記事情に着目してなされたもので、その目的とするところは、対象物に関する情報を情報提示空間の状況に適した提示モードで提示する情報提示装置、情報提示方法及びプログラムを提供することである。 The present invention has been made paying attention to the above circumstances, and an object thereof is to provide an information presentation device, an information presentation method, and a program for presenting information related to an object in a presentation mode suitable for the situation of the information presentation space. Is to provide.
上記目的を達成するためにこの発明に係わる情報提示装置、情報提示方法及びプログラムは、被情報提示者及び対象物が存在する情報提示空間に当該対象物に関する情報を提示する情報提示装置であって、前記対象物に関する情報の提示モードとして、複数の提示モードを記憶する記憶手段と、前記情報提示空間の状況を検出するための状況検出手段と、前記状況検出手段により検出された情報提示空間の状況に基づいて、前記複数の提示モードの中から当該状況に適した提示モードを選択する提示モード選択手段と、前記選択された提示モードにより前記対象物に関する情報を提示する手段とを備えるようにしたものである。
したがって、この発明によれば、対象物に関する情報を情報提示空間の状況に適した提示モードで提示することを可能にすることができる。
In order to achieve the above object, an information presentation device, an information presentation method, and a program according to the present invention are information presentation devices for presenting information on an object in an information presentation space where the information presenter and the object exist. , As a mode for presenting information on the object, a storage unit for storing a plurality of presentation modes, a state detection unit for detecting the state of the information presentation space, and an information presentation space detected by the state detection unit A presentation mode selection means for selecting a presentation mode suitable for the situation from the plurality of presentation modes based on a situation, and a means for presenting information on the object by the selected presentation mode It is a thing.
Therefore, according to the present invention, it is possible to present information related to an object in a presentation mode suitable for the situation of the information presentation space.
また、この発明は次のような各種構成を備えることも特徴とする。
第1の構成は、上記記憶手段は、音声を使用する第1の提示モードを記憶し、上記状況検出手段は、上記情報提示空間の照度を表す情報を取得する手段と、上記取得された照度を表す情報を予め設定された照度のしきい値とを比較する手段とを備える。そして、上記提示モード選択手段は、上記照度の比較の結果、上記取得された照度を表す情報が上記照度のしきい値より大きいと判定された場合に、上記作業情報の提示モードとして上記第1の提示モードを選択する。
このように構成すると、上記情報提示空間の照度が大きい場合は、上記作業情報の提示モードとして音声を選択する。これにより、例えば、直射日光の当たっているような明るい場所であれば、音声により作業対象物に関する情報が出力される。
The present invention is also characterized by having the following various configurations.
In the first configuration, the storage means stores a first presentation mode that uses voice, the situation detection means acquires means for obtaining information representing the illuminance of the information presentation space, and the acquired illuminance. And means for comparing information representing the threshold value of illuminance set in advance. Then, the presentation mode selection means, as a result of the illuminance comparison, determines that the information indicating the acquired illuminance is greater than the threshold value of the illuminance, the presentation mode of the work information is the first Select the presentation mode.
If comprised in this way, when the illumination intensity of the said information presentation space is large, an audio | voice will be selected as a presentation mode of the said work information. As a result, for example, in a bright place exposed to direct sunlight, information related to the work object is output by voice.
第2の構成は、上記記憶手段は、画像と文字データのうち少なくとも一方を使用する第2の提示モードとを記憶し、上記状況検出手段は、上記情報提示空間の騒音を表す情報を取得する手段と、上記取得された騒音を表す情報を予め設定された騒音のしきい値とを比較する手段とを備える。そして、上記提示モード選択手段は、上記騒音の比較の結果、上記取得された騒音を表す情報が上記騒音のしきい値より大きいと判定された場合に、上記作業情報の提示モードとして上記第2の提示モードを選択する。
このように構成すると、上記情報提示空間の騒音が大きい場合は、上記作業情報の提示モードとして画像を選択する。これにより、例えば、騒音の大きい作業現場では、映像データやテキストデータにより上記対象物に関する情報が提示される。なお、上記画像には、静止画、準動画、及び動画が含まれる。
In the second configuration, the storage means stores a second presentation mode that uses at least one of an image and character data, and the situation detection means acquires information representing noise in the information presentation space. And means for comparing the information representing the acquired noise with a preset noise threshold. The presentation mode selection means, as a result of the noise comparison, determines that the information representing the acquired noise is larger than the noise threshold value, as the work information presentation mode. Select the presentation mode.
If comprised in this way, when the noise of the said information presentation space is large, an image will be selected as a presentation mode of the said work information. Thereby, for example, in a work site where noise is high, information on the object is presented by video data or text data. The image includes a still image, a semi-moving image, and a moving image.
第3の構成は、上記記憶手段は、被情報提示者の属性に応じた複数の提示モードを記憶し、上記状況検出手段は、上記被情報提示者の属性を識別する手段を備え、上記提示モード選択手段は、上記識別された被情報提示者の属性に応じた提示モードを上記記憶された複数の提示モードの中から選択するようにする。
このように構成することにより、被情報提示者の属性に応じた提示モードが選択される。これにより、例えば、被情報提示者の年齢や使用する言語などの属性に応じた提示モードで上記対象物に関する情報を提示することができる。
In the third configuration, the storage means stores a plurality of presentation modes according to the attributes of the information presenter, and the situation detection means includes means for identifying the attributes of the information presenter, The mode selection means selects a presentation mode according to the identified attribute of the information presenter from the stored presentation modes.
With this configuration, a presentation mode corresponding to the attribute of the information presenter is selected. Thereby, the information regarding the said target object can be shown in presentation mode according to attributes, such as an information presenter's age and the language to be used, for example.
第4の構成は、上記被情報提示者に、当該被情報提示者の属性を表す情報を記録するタグが取着されている場合に、上記状況検出手段は、上記タグから上記被情報提示者の属性情報を取得することを特徴とする。
このようにすると、上記被情報提示者は無線タグを取着するだけで、この無線タグから属性情報が取得されるため、属性情報を入力する手間や時間を省くことができる。
According to a fourth configuration, when the information presenter is attached with a tag for recording information representing the attribute of the information presenter, the situation detection means is configured to detect the information presenter from the tag. It is characterized by acquiring the attribute information.
In this way, the information presenter only needs to attach the wireless tag, and the attribute information is acquired from the wireless tag, so that it is possible to save time and effort for inputting the attribute information.
第5の構成は、上記記憶手段は、被情報提示者の熟練度に応じた複数の提示モードを記憶し、上記状況検出手段は、上記被情報提示者の熟練度を識別する手段を備え、上記提示モード選択手段は、上記識別された被情報提示者の熟練度に応じた提示モードを上記記憶された複数の提示モードの中から選択する。
これにより、被情報提示者の熟練度に応じた提示モードで上記対象物に関する情報を提示することができる。例えば、作業者の作業熟練度に見合った提示モード(初級、中級、上級など)の内容を提示することができるため、作業の効率化を図ることができる。
In a fifth configuration, the storage means stores a plurality of presentation modes according to the skill level of the information presenter, and the situation detection means includes means for identifying the skill level of the information presenter, The presentation mode selection means selects a presentation mode corresponding to the skill level of the identified information presenter from the stored presentation modes.
Thereby, the information regarding the target object can be presented in the presentation mode corresponding to the skill level of the information presenter. For example, it is possible to present the contents of the presentation mode (beginner, intermediate, advanced, etc.) corresponding to the work skill level of the worker, so that work efficiency can be improved.
第6の構成は、上記提示モード選択手段は、上記被情報提示者が希望する提示モードを表す情報を取得する手段と、上記状況検出手段により検出された情報提示空間の状況と、上記取得された被情報提示者が希望する提示モードとに基づいて、上記複数の提示モードの中から当該状況に適した提示モードを選択する手段とを備えることを特徴とする。
これにより、被情報提示者は所望の提示モードを指定して、上記対象物に関する情報を提示することができる。
According to a sixth configuration, the presentation mode selection unit is configured to acquire information indicating a presentation mode desired by the information presenter, the status of the information presentation space detected by the status detection unit, and the acquired information. And a means for selecting a presentation mode suitable for the situation from the plurality of presentation modes based on the presentation mode desired by the information presenter.
Thus, the information presenter can designate a desired presentation mode and present information on the object.
第7の構成は、上記状況に適した提示モードを選択する手段は、上記状況検出手段により検出された情報提示空間の状況と、上記取得された被情報提示者が希望する提示モードとのうち、上記情報提示空間の状況を優先して提示モードを選択する。
このように構成すると、例えば、被情報提示者が提示モードを“音声”で指定した場合でも、騒音の大きい作業現場であれば、上記対象物に関する情報は画像等で提示される。このため、上記対象物に関する情報は、常に情報提示空間の状況に適した提示モードで提示される。
In the seventh configuration, the means for selecting a presentation mode suitable for the situation is selected from the situation of the information presentation space detected by the situation detection means and the obtained presentation mode desired by the information presenter. The presentation mode is selected giving priority to the situation of the information presentation space.
With this configuration, for example, even when the information presenter designates the presentation mode as “speech”, if the work site is noisy, information on the object is presented as an image or the like. For this reason, information on the object is always presented in a presentation mode suitable for the situation of the information presentation space.
要するにこの発明によれば、対象物に関する情報を情報提示空間の状況に適した提示モードで提示する情報提示装置、情報提示方法及びプログラムを提供することにある。 In short, according to the present invention, there is provided an information presentation device, an information presentation method, and a program for presenting information related to an object in a presentation mode suitable for the situation of the information presentation space.
(第1の実施形態)
図1は、この発明の第1の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。この遠隔作業支援システムは、情報提示装置100と、情報設定装置200と、設定情報データベース(設定情報DB)24とを、通信ネットワークNWを介して接続可能としたものである。
通信ネットワークNWは、システムが例えば事業所内又はオフィス内に構築される場合であればLAN(Local Area Network)により構成される。一方、システムが複数の事業所やオフィスに跨って構成される場合には、インターネットに代表されるコンピュータ・ネットワークから構成される。
(First embodiment)
FIG. 1 is a configuration diagram showing a remote work support system including an information presentation apparatus according to the first embodiment of the present invention. In this remote work support system, an
The communication network NW is configured by a LAN (Local Area Network) if the system is constructed in, for example, an office or an office. On the other hand, when the system is configured across a plurality of offices or offices, the system is configured by a computer network represented by the Internet.
また、設定情報DB24には、情報設定装置200のデータ入力部22から遠隔指示者により入力された作業に関する提示情報が複数の提示モード(テキストデータ、映像データ、及び音声データ)でそれぞれ記憶される。さらに、これらの提示情報を選択するための第1の提示情報選択テーブルとが記憶されている。図3に、設定情報DB24に記憶される第1の提示情報選択テーブルの構成を示す。第1の提示情報選択テーブルには、各投影対象物に対してテキストファイル名と、映像ファイル名と、音声ファイル名と、最優先選択ファイル名とがそれぞれ格納されている。
In the
情報提示装置100は、現場作業者がいる作業現場に設置され、情報提示部2と、環境状況検出部12とを備える。また、情報提示装置100には、カメラ1と、プロジェクタ6と、スピーカ9と、照度計11と、騒音計16とがそれぞれ接続されている。カメラ1は、作業対象物25を含む作業エリアを撮像し、プロジェクタ6は、作業対象物25に関連する提示情報が存在することを示す投影対象物27を表示している。なお、図1に示すように、カメラ1の撮像範囲と、プロジェクタ6の投影範囲が一致するように調整されているものとする。
The
また、スピーカ9は、情報設定装置200から送られた音声データをもとに作業指示等を拡声出力する。照度計11は、作業現場の照度を測定し、測定された照度値を照度値データとして情報提示装置100に入力する。騒音計16は、作業現場の騒音レベルを測定し、測定された騒音レベルを騒音値データとして情報提示装置100に入力する。
Further, the
情報提示部2は、画像記憶部3と、画像処理部4と、画像送信部5と、表示・処理制御部7と、データベース検索部(DB検索部)8と、出力制御部10とを備える。画像記憶部3は、カメラ1から入力される作業対象物25を含む作業エリアを撮像した画像データを記憶する。画像処理部4においては、画像記憶部3に記憶されたカメラ1の撮像画像から、フレーム毎の差分画像を取得して特徴領域を抽出する。そして、抽出された特徴領域の重心座標を算出する。
The
具体的には、現場作業者が投影対象物27に関連付けられている処理内容を表示させるために、レーザポインタなどの指示具26を用いて投影対象物27を指示すると、特徴領域としてレーザポインタによって指示された領域だけが抽出され、その重心座標を検出するる。この重心座標を用いて、DB検索部8により設定情報DB24を検索して、投影対象物27に関連付けられている提示情報を表示させる。また、画像送信部5は、画像記憶部3に記憶された画像データを通信ネットワークNWを介して情報設定装置200に向け送信する。
Specifically, in order to display the processing content associated with the
DB検索部8は、設定情報DB24にアクセスして、上記画像処理部4により識別された投影対象物27に関する提示情報を、後述する判定部15により判定された提示モードで取得する。そして、取得された提示情報が映像、またはテキストデータであれば、DB検索部8は、この提示情報を表示・処理制御部7に入力する。表示・処理制御部7は、上記DB検索部8から入力された提示情報をもとに投影画像データを作成し、作成された投影画像データをプロジェクタ6に出力する。プロジェクタ6は、この投影画像データをもとに提示情報を作業エリアに投影する。一方、DB検索部8において、取得された提示情報が音声データである場合は、提示情報を出力制御部10に入力する。出力制御部10は、音声データである提示情報をスピーカ9に出力し、スピーカ9は、この音声データをもとに提示情報を拡声出力する。
The
また、環境状況検出部12は、照度データ取得部13と、照度データ記憶部14と、判定部15と、騒音データ取得部17と、騒音データ記憶部18とを備える。照度データ取得部13は、照度計11により測定された照度値を取得して、照度値データとして照度データ記憶部14に記憶させる。騒音データ取得部17は、騒音計16により測定された作業現場の騒音レベルを取得して、騒音値データとして騒音データ記憶部18に記憶させる。
The environmental
判定部15は、照度データ記憶部14に記憶される照度値と、騒音データ記憶部18に記憶される騒音値とをそれぞれ所定の閾値と比較して提示情報をテキストデータ、映像データ、或いは音声データのうちのどの提示モードで提示するのかを判定する。そして、判定された提示モードをDB検索部8に出力する。また、上記閾値は、照度値と騒音値それぞれについて予め設定されるもので、照度値の閾値は、プロジェクタ6による投影画像が認識可能な作業現場の照度の上限値である。騒音値の閾値は、現場作業者がスピーカ9により出力された音声を認識可能な範囲で設定される作業現場における騒音レベルの上限値である。
The
一方、遠隔指示者が使用する情報設定装置200は、画像受信部19と、表示部21と、データ入力部22とを備える。画像受信部19は、情報提示装置100から通信ネットワークNWを介して送られる画像データを受信する。表示部21は、液晶表示器(LCD)などで構成され、上記受信された画像データを表示する。データ入力部22は、図示しないキーボードやマウス等の入力装置を備え、遠隔指示者によりこれらの入力装置を用いて入力されるデータを受け付ける。データ入力部22により入力された作業に関する提示情報などのデータは、設定情報DB24に格納される。
On the other hand, the
次に、以上のように構成された情報提示装置100の動作について説明する。図2は、情報提示装置100における情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具26を用いて投影対象物27に関連付けられている提示情報、例えば、作業手順に関するテキスト情報や映像情報を提示させる操作を行ったものとする。
Next, the operation of the
はじめに、ステップS2aにおいて、情報提示装置100の照度データ取得部13は、照度計11により作業現場の照度値を測定して、入力された照度値を照度データ記憶部14に記憶する。それと共に、ステップS2bにおいて、騒音データ取得部17は、騒音計16により作業現場の騒音レベルを測定して、入力された騒音値を騒音データ記憶部18に記憶する。
First, in step S <b> 2 a, the illuminance
次に、情報提示装置100の環境状況検出部12は、ステップS2cにより、判定部15において、上記照度データ記憶部14及び騒音データ記憶部18に記憶された照度値及び騒音値を予め設定されたそれぞれの閾値と比較する。この比較において、まず、ステップS2dにより照度値が所定の閾値以上であるか否かを判定する。この照度値の判定により、照度値が所定の閾値以上であると判定された場合は、ステップS2hに移行して、騒音値が所定の閾値以上であるか否かを判定する。この判定により、騒音値も閾値以上である場合は、ステップS2jに移行して、すべての提示モードで投影対象物27に関する情報を提示するように、提示モードを“テキスト&映像&音声”と選択する。また、ステップS2hの騒音値の判定において、騒音値が閾値以下であった場合には、提示モードを “音声” と選択する。
Next, in step S <b> 2 c, the environmental
一方、ステップS2dの照度値の判定において、照度値が閾値以下であった場合には、ステップS2eに移行して、騒音値が閾値以上であるか否かを判定する。この判定により、騒音値が閾値以上であれば、ステップS2gに移行して、提示情報を“テキスト&映像”と選択する。また、ステップS2eの騒音値の判定により、騒音値が閾値以下の場合は、ステップS2fに移行して提示モードを“最優先選択”と選択する。 On the other hand, in the determination of the illuminance value in step S2d, if the illuminance value is less than or equal to the threshold, the process proceeds to step S2e to determine whether or not the noise value is greater than or equal to the threshold. If it is determined that the noise value is equal to or greater than the threshold value, the process proceeds to step S2g and the presentation information is selected as “text & video”. If it is determined in step S2e that the noise value is equal to or lower than the threshold value, the process proceeds to step S2f and the presentation mode is selected as “highest priority selection”.
このように選択された提示モードがDB検索部8に入力され、DB検索部8は、設定情報DB24から第1の提示情報選択テーブルから入力された提示モードにしたがってファイル名を選択する。選択されたファイル名に該当する提示情報を読み出して、テキストまたは映像であれば、表示・処理制御部7によりプロジェクタ6に出力される。音声であれば、出力制御部10に出力され、スピーカ9により拡声出力される。
The presentation mode selected in this way is input to the
以上述べたように情報提示装置100は、情報提示部2と環境状況検出部12とを備え、照度計11と騒音計16とプロジェクタ6とスピーカ9とがそれぞれ接続されている。そして、判定部15において、この照度計11及び騒音計16から入力される測定値と所定の閾値とをそれぞれ比較し、作業現場に応じた提示情報の提示モード(テキスト、映像、音声データのいずれか又は組み合わせ)が選択される。選択された提示モードは、DB検索部8に入力され、DB検索部8は、入力された提示モードに従って設定情報DB24から上記投影対象物27に関連付けられた提示情報を取得する。そして、情報提示部2は、この取得された提示情報をプロジェクタ6またはスピーカ9により作業空間に出力させるようにしたものである。
As described above, the
したがって第1の実施形態によれば、情報提示装置1は、作業現場の環境状況を検出して、検出された環境に応じて適したな提示モードで作業対象物に関する情報を提示することが可能となる。これにより、例えば、直射日光の当たっているような明るい場所であれば、音声により作業対象物に関する情報が出力され、また一方、作業現場の騒音レベルが大きい場合には、テキストや映像により作業対象物に関する情報が提示される。このため、遠隔指示者は、作業指示を容易かつ確実に現場作業者に伝達することが可能となり、作業の効率化を図ることができる。
Therefore, according to 1st Embodiment, the
なお、上記第1の実施形態では、照度計11及び騒音計16を用いて、これらから測定される照度値及び騒音値について提示モードを選択するように構成したが、これに限らず、例えば、振動計を備えて振動レベルにより提示モードを選択するようにしてもよい。このようにすると、振動が大きい場合には、作業指示などを音声により提示するようにすることが可能である。
In the first embodiment, the
(第2の実施形態)
図4は、この発明の第2の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。この遠隔作業支援システムは、情報提示装置100Aと、情報設定装置200と、設定情報DB24Aとを、通信ネットワークNWを介して接続可能としたものである。なお、同図において前記図1と同一部分には同一符号を付して詳しい説明は省略する。
(Second Embodiment)
FIG. 4 is a block diagram showing a remote operation support system provided with an information presentation device according to the second embodiment of the present invention. In this remote work support system, the
設定情報DB24Aには、上記第1の実施形態と同様に、情報設定装置200のデータ入力部22から遠隔指示者により入力された作業に関する提示情報が複数の提示モード(テキストデータ、映像データ、及び音声データ)でそれぞれ記憶されている。また、設定情報DB24Aには、作業指示のポイントや概要のみからなる各提示モードの簡易版の提示情報と、さらに、これらの提示情報を選択するための第2の提示情報選択テーブルとが記憶されている。図9に、設定情報DB24Aに記憶される第2の提示情報選択テーブルの構成を示す。この第2の提示情報選択テーブルは、各投影対象物に対するテキストファイル名と、映像ファイル名と、音声ファイル名と、最優先選択ファイル名とに加えて、簡易版テキストファイル名と、簡易版映像ファイル名と、簡易版音声ファイル名とにより構成される。
In the setting
情報提示装置100Aは、情報提示部2と環境状況検出部12Aに加えて、作業員状況検出部36を備える。作業員状況検出部36は、タグデータ取得部30と、タグデータ記憶部31と、識別部32と、作業時間計測部33と、作業回数計測部34と、識別用テーブル部35とを備える。
100 A of information presentation apparatuses are provided with the worker
ところで、現場作業者には、それぞれRFIDタグ(Radio Frequency IDentification)28が取着されている。RFIDタグ28にはそれぞれ固有の作業員識別IDが記憶されており、RFIDタグ28は、作業員識別IDを含む無線信号を発信する。これに対して、情報提示装置100Aには、RFID読取部29が接続され、上記RFIDタグ28から発信された無線信号を受信して、受信した無線信号から作業員識別IDを認識する。そして、タグデータ取得部30は、RFID読取部29から上記認識された作業員識別IDを取得し、作業員データ記憶部31に記憶させる。
By the way, an RFID tag (Radio Frequency IDentification) 28 is attached to each field worker. Each
識別用テーブル部35には、作業履歴情報テーブルと、熟練度識別テーブルとが格納される。作業履歴情報テーブルは、各作業者の作業履歴が記憶され、作業員識別IDに対応付けて作業回数と平均作業時間とが記憶される。図11に、作業履歴情報テーブルの構成の一例を示す。熟練度識別テーブルは、図10に示すように、熟練度IDと作業回数と平均作業時間と種別により構成され、作業回数と平均作業時間とにより熟練度を識別するために用いられる。 The identification table unit 35 stores a work history information table and a skill level identification table. The work history information table stores the work history of each worker, and stores the number of operations and the average work time in association with the worker identification ID. FIG. 11 shows an example of the configuration of the work history information table. As shown in FIG. 10, the skill level identification table includes a skill level ID, the number of operations, an average work time, and a type, and is used to identify the skill level based on the number of operations and the average work time.
識別部32は、作業員データ記憶部31に記憶された作業員識別IDと、上記識別用テーブル部35に記憶される作業履歴情報テーブル及び熟練度識別テーブルとから作業者の熟練度IDを取得する。識別部32は、取得した作業者の熟練度IDを、判定部15Aに入力する。また、作業時間計測部33は、作業者による作業の開始時刻と終了時刻から、作業時間を計測する。作業開始時刻は、プロジェクタ6またはスピーカ9による投影対象物27に関連付けられた情報の提示が開始された時刻とし、作業終了時刻は、例えば、遠隔指示者がデータ入力部22により終了時刻を入力するものとする。計測された作業時間と作業履歴情報テーブルに記憶される平均作業時間から新たに平均作業時間を算出して、算出された平均作業時間を記憶する。作業回数計測部34は、作業の終了が検知されると、作業員履歴情報テーブルの作業回数をカウントアップする。
The
一方、環境状況検出部12Aの判定部15Aは、照度データ記憶部14から取得される照度値と、騒音データ記憶部18から取得される騒音値に加えて、さらに上記識別部32から入力される作業者の熟練度IDとから、テキストデータ、映像データ、音声データ、簡易版テキストデータ、簡易版映像データ、簡易版音声データのうちから最適な提示モードを選択する。そして、判定された提示モードをDB検索部8に出力する。
On the other hand, in addition to the illuminance value acquired from the illuminance
このように構成された情報提示装置100Aの動作について説明する。図5乃至図8は、情報提示装置100Aにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具26を用いて投影対象物27に関連付けられている情報を提示させる操作を行ったものとする。
The operation of the
そうすると、図5のステップS5aにおいて、先ず、情報提示装置100Aの作業員状況検出部36は、タグデータ取得部30により、現場作業者に取着されたRFIDタグ28が発する作業員識別IDをRFID読取部29から取得し、取得された作業員識別IDを作業員データ記憶部31に記憶する。また、ステップS5bにより、作業員データ記憶部31に記憶された作業員IDにより識別用テーブル部35に格納される作業履歴情報テーブルから作業員の履歴情報(作業回数及び平均作業時間)を取得する。
Then, in step S5a of FIG. 5, first, the worker
次に、作業員状況検出部36の識別部32は、ステップS5cにより、取得した履歴情報と識別用テーブル部35に格納される熟練度識別テーブルとを照合して作業員の熟練度IDを取得する。すなわち、作業員の熟練度IDは、次のように決定される。まず、上記取得された作業回数及び平均作業時間のAND条件により作業員の熟練度IDを決める。この条件に当てはまらない場合は、まず、作業回数で該当する熟練度を検索したのち、取得された平均作業時間が、上記検索された熟練度に設定された平均作業時間を超えるか否かを判定する。この判定により、平均作業時間を超える場合は、熟練度を1段階下げる。一方、上記判定により、平均作業時間が熟練度に設定された平均作業時間以下であっても、熟練度はそのままとする。例えば、作業回数では熟練度IDが“01(中級作業員)”であっても、平均作業時間が初級作業員の平均作業時間を超える場合は、熟練度を1段階下げて熟練度IDを“00(初級作業員)”とする。
Next, the
また、情報提示装置100Aの環境状況検出部12Aは、ステップS5dにおいて、上記第1の実施形態と同様の手順で照度値と騒音値とをそれぞれ取得する。そして、環境状況検出部12Aの判定部15Aは、投影対象物27に関連付けられている情報の提示モードを次のように選択する。はじめに、ステップS5eにおいて、上記取得された熟練度IDによる判定を行なう。
In addition, in step S5d, the environmental state detection unit 12A of the
熟練度IDが“00(初級作業員)”と判定された場合は、図6のステップS6aに移行して上記取得された照度値と所定の閾値との判定を行なう。照度値が閾値より小さい場合は、ステップS6bに移行して、さらに上記取得された騒音値と所定の閾値との判定を行なう。これらの判定により、照度値、騒音値ともにそれぞれの閾値より小さい場合は、ステップS6cに移行して“映像&音声”を選択する。また、ステップS6bの判定により、騒音値が閾値以上の場合には、ステップS6dに移行して“映像”を選択する。 When it is determined that the skill level ID is “00 (beginner worker)”, the process proceeds to step S6a in FIG. 6 to determine the acquired illuminance value and a predetermined threshold value. If the illuminance value is smaller than the threshold value, the process proceeds to step S6b, and further the determination of the acquired noise value and the predetermined threshold value is performed. If these determinations indicate that both the illuminance value and the noise value are smaller than the respective threshold values, the process proceeds to step S6c to select “Video & Audio”. If it is determined in step S6b that the noise value is greater than or equal to the threshold value, the process proceeds to step S6d and “video” is selected.
一方、ステップS6aの判定により、照度値が閾値以上の場合は、ステップS6eに移行して、上記騒音値と所定の閾値との判定を行なう。この判定により、騒音値が閾値より小さい場合には、ステップS6fに移行して、予め指定された回数だけ音声データを繰り返し出力する“音声(指定回数)”が選択される。この指定回数は、例えば、遠隔指示者が情報設定装置200から提示情報を入力する際に予め設定されるもので、設定情報DB24Aに記憶されている。また、ステップS6eの判定により、照度値、騒音値ともにそれぞれの閾値以上の場合には、ステップS6gに移行して、すべての提示モードで提示する“映像&テキスト&音声”が選択される。
On the other hand, if it is determined in step S6a that the illuminance value is equal to or greater than the threshold value, the process proceeds to step S6e to determine the noise value and the predetermined threshold value. If it is determined that the noise value is smaller than the threshold value, the process proceeds to step S6f, and “speech (specified number of times)” for repeatedly outputting the sound data a predetermined number of times is selected. This specified number of times is preset when the remote instructor inputs presentation information from the
ステップS6hでは、上記のように選択された提示モードにしたがって、テキスト及び映像データはプロジェクタ6、音声データについてはスピーカ9からそれぞれ出力される。また、ステップS6iにより、作業員状況検出部36の作業時間計測部33は、上記提示情報の提示開始から終了までの作業時間を計測する。そして、ステップS6jにおいて、上記計測された作業時間をもとに平均作業時間を算出して識別用テーブル部35に記憶される作業履歴情報テーブルの平均作業時間を算出された平均作業時間で更新する。また、ステップS6kにより、作業履歴情報テーブルの作業回数を1だけ増加させる。
In step S6h, according to the presentation mode selected as described above, text and video data are output from the
次に、識別部32において、熟練度IDが“01(中級作業員)”と識別された場合について説明する。ステップS5eの判定により、熟練度IDが“01(中級作業員)”と判定された場合は、図7のステップS7aに移行する。
まず、図7のステップS7aにおいて、照度値と所定の閾値との判定を行なう。照度値が閾値より小さい場合は、ステップS7bに移行して、さらに上記取得された騒音値と所定の閾値との判定を行なう。これらの判定により、照度値、騒音値ともにそれぞれの閾値より小さい場合は、ステップS7cに移行して“テキスト&音声”を選択する。また、ステップS7bの判定により、騒音値が閾値以上の場合には、ステップS7dに移行して“テキスト”を選択する。
Next, the case where the
First, in step S7a of FIG. 7, the illuminance value and a predetermined threshold value are determined. When the illuminance value is smaller than the threshold value, the process proceeds to step S7b, and the acquired noise value and a predetermined threshold value are further determined. If these determinations indicate that both the illuminance value and the noise value are smaller than the respective threshold values, the process proceeds to step S7c to select “text & voice”. If it is determined in step S7b that the noise value is equal to or greater than the threshold value, the process proceeds to step S7d and “text” is selected.
一方、ステップS7aの判定により、照度値が閾値以上の場合は、ステップS7eに移行して、上記騒音値と所定の閾値との判定を行なう。この判定により、騒音値が閾値より小さい場合には、予め指定された回数だけ音声データを繰り返し出力する“音声”が選択される。また、ステップS7eの判定により、照度値、騒音値ともにそれぞれの閾値以上の場合には、ステップS7gに移行して、すべての提示モードで提示する“映像&テキスト&音声”が選択される。このように中級作業員について作業熟練度と環境状況(照度値及び騒音値)とを条件にして提示モードが選択されたのち、前記図6におけるステップS6h〜S6kの処理が行われる。 On the other hand, if it is determined in step S7a that the illuminance value is equal to or greater than the threshold value, the process proceeds to step S7e to determine the noise value and the predetermined threshold value. As a result of this determination, when the noise value is smaller than the threshold value, “sound” that repeatedly outputs the sound data a predetermined number of times is selected. If it is determined in step S7e that both the illuminance value and the noise value are equal to or greater than the respective threshold values, the process proceeds to step S7g to select “video & text & voice” to be presented in all presentation modes. Thus, after the presentation mode is selected on the condition of the skill level of the intermediate worker and the environmental condition (illuminance value and noise value), the processes of steps S6h to S6k in FIG. 6 are performed.
最後に、識別部32において、熟練度IDが“02(上級作業員)”と識別された場合について説明する。ステップS5eの判定により、熟練度IDが“02(上級作業員)”と判定された場合は、図8のステップS8aに移行する。
まず、図8のステップS8aにおいて、照度値と所定の閾値との判定を行なう。照度値が閾値より小さい場合は、ステップS8bに移行して、さらに上記取得された騒音値と所定の閾値との判定を行なう。これらの判定により、照度値、騒音値ともにそれぞれの閾値より小さい場合は、ステップS8cに移行して、簡易版テキストデータ及び簡易版音声データを出力する “テキスト(概要)&音声(概要)”を選択する。また、ステップS8bの判定により、騒音値が閾値以上の場合には、ステップS8dに移行して“テキスト(概要)”を選択する。
Finally, a case where the
First, in step S8a of FIG. 8, the illuminance value and a predetermined threshold value are determined. When the illuminance value is smaller than the threshold value, the process proceeds to step S8b, and further the determination of the acquired noise value and the predetermined threshold value is performed. If both the illuminance value and the noise value are smaller than the respective threshold values as a result of these determinations, the process proceeds to step S8c to output “text (summary) & voice (summary)” for outputting simplified text data and simplified voice data. select. If it is determined in step S8b that the noise value is greater than or equal to the threshold value, the process proceeds to step S8d and “text (outline)” is selected.
一方、ステップS8aの判定により、照度値が閾値以上の場合は、ステップS8eに移行して、上記騒音値と所定の閾値との判定を行なう。この判定により、騒音値が閾値より小さい場合には、予め指定された回数だけ音声データを繰り返し出力する“音声(概要)”が選択される。また、ステップS8eの判定により、照度値、騒音値ともにそれぞれの閾値以上の場合には、ステップS8gに移行して、すべての提示モードで提示する“映像&テキスト&音声”が選択される。このように上級作業員について作業熟練度と環境状況(照度値及び騒音値)とを条件にして提示モードが選択されたのち、前記図6におけるステップS6h〜S6kの処理が行われる。 On the other hand, if it is determined in step S8a that the illuminance value is equal to or greater than the threshold value, the process proceeds to step S8e to determine the noise value and the predetermined threshold value. As a result of this determination, if the noise value is smaller than the threshold value, “sound (outline)” that repeatedly outputs the sound data a predetermined number of times is selected. If it is determined in step S8e that both the illuminance value and the noise value are equal to or greater than the respective threshold values, the process proceeds to step S8g, and “video & text & voice” to be presented in all presentation modes is selected. In this way, after the presentation mode is selected on the condition of the work skill level and the environmental situation (illuminance value and noise value) for the senior worker, the processing of steps S6h to S6k in FIG. 6 is performed.
以上述べたように、第2の実施形態に係わる情報提示装置100Aは、さらに作業員状況検出部36を備える。この作業員状況検出部36は、作業者に取着されたRFIDタグから作業者を識別して、識別用テーブル部35から識別された作業者の作業履歴情報を読み出す。さらに、この読み出された作業履歴情報から作業熟練度を取得する。また、環境状況検出部12Aは、上記第1の実施形態と同様に照度値および騒音値を取得する。判定部15Aは、上記取得された該作業者の作業熟練度と、照度値および騒音値とを条件にして、状況に適した提示モードを選択し、選択された提示モードで上記投影対象物27に関連付けられた情報を提示するものである。
As described above, the
このような構成であるから、上記被情報提示者は無線タグを取着するだけで、この無線タグから属性情報が取得されるため、属性情報を入力する手間や時間を省くことができる。また、作業者の作業熟練度に見合った提示モード(初級、中級、上級など)の内容を提示することができるため、作業の効率化を図ることができる。 Since it is such a structure, since the said information presenter only attaches a wireless tag and attribute information is acquired from this wireless tag, the effort and time which input attribute information can be saved. In addition, since the contents of the presentation mode (beginner, intermediate, advanced, etc.) corresponding to the work skill level of the worker can be presented, work efficiency can be improved.
なお、上記図6乃至図8の提示モードを選択する手順において、照度値、騒音値ともに所定の閾値以下の場合は、図9に示す第2の提示情報選択テーブルにおける最優先選択ファイル名で指定された提示モードを選択するようにしてもよい。
また、作業終了時刻については、例えば、現場作業者が指示具26を用いて、投影対象物27に関連付けられている提示情報を非表示にする操作により検知するようにしてもよい。
In the procedure for selecting the presentation mode shown in FIGS. 6 to 8, when the illuminance value and the noise value are both equal to or smaller than the predetermined threshold value, the highest priority selection file name in the second presentation information selection table shown in FIG. The selected presentation mode may be selected.
Further, the work end time may be detected by, for example, an operation in which the on-site worker uses the
さらに、上記第2の実施形態では、作業者の作業熟練度を取得し、この作業熟練度に応じた提示モードを選択するように構成したが、その他にも、上記熟練度の替わりに、例えば、被情報提示者の年齢や使用する言語などの属性に応じた提示モード(例えば、子供用/大人用や日本語/英語)で対象物に関する情報を提示することができる。 Further, in the second embodiment, the work skill level of the worker is acquired and the presentation mode corresponding to the work skill level is selected, but in addition to the skill level, for example, Information on the object can be presented in a presentation mode (for example, for children / adults or Japanese / English) according to attributes such as the age of the information presenter and the language used.
(第3の実施形態)
図12は、この発明の第3の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。この遠隔作業支援システムは、情報提示装置100Bと、情報設定装置200と、設定情報設定情報DB24Aとを、通信ネットワークNWを介して接続可能としたものである。なお、同図において上記第2の実施形態における図4と同一部分には同一符号を付して詳しい説明は省略する。
(Third embodiment)
FIG. 12 is a block diagram showing a remote operation support system including an information presentation device according to the third embodiment of the present invention. In this remote work support system, the
情報提示装置100Bは、情報提示部2と環境状況検出部12Bに加えて、音声処理部42を備え、さらに、この情報提示装置100Bには、マイクロホン37が接続されている。現場作業者は、投影対象物27に関連付けられた情報の提示モードを音声で指示する。マイクロホン37は、上記発せられた音声を集音し、この集音された音声は音声受信部38に入力される。
The
音声処理部42は、音声受信部38と、音声認識部39と、認識結果記憶部40と、音声コマンドデータベース(音声コマンドDB)41とを備える。音声受信部38は、上記マイクロホン37から入力された現場作業者の音声をデジタル変換したのち、音声データとして音声認識部39に入力する。音声コマンドDB41には、各提示モードを表す音声コマンド(例えば、“テキストモード”、“映像モード”、“音声モード”)を予め記憶しておく。また、音声認識部39は、上記入力された音声データと音声コマンドDB41に記憶される提示モードを表す音声コマンドとを比較して、現場作業者から指示された提示モードを認識し、この認識結果を認識結果記憶部40に記憶させる。
The
このように構成された情報提示装置100Bの動作について説明する。図13乃至図16は、情報提示装置100Bにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具26を用いて投影対象物27に関連付けられている情報を提示させる操作を行うと共に、この情報を提示する提示モードを音声で指示したものとする。
The operation of the
そうすると、図13のステップS13aにおいて、先ず、情報提示装置100Bの音声処理部42は、音声受信部38によりマイクロホン37から現場作業者により音声で指定された提示モードを受け付ける。そして、受信された音声は、音声受信部38においてデジタル変換され、音声データとして音声認識部39に入力される。音声認識部39では、音声コマンドDB41に記憶される各提示モードの音声コマンドと上記音声データを比較し、認識された提示モードを認識結果記憶部40に記憶する。
Then, in step S13a of FIG. 13, first, the
次に、情報提示装置100Bの作業員状況検出部36は、ステップS13bにおいて、現場作業者に取着されるRFIDタグ28により、上記第2の実施形態と同様の手順で作業員識別IDを取得する。また、ステップS13cにより、上記第1の実施形態と同様の手順で照度値と騒音値とをそれぞれ取得する。そして、環境状況検出部12Bの判定部15Bは、投影対象物27に関連付けられている情報の提示モードを次のように選択する。はじめに、ステップS13dにおいて、上記認識された提示モードによる判定を行なう。
Next, in step S13b, the worker
提示モードが“テキストモード”と判定された場合は、図14のステップS14aに移行して上記取得された照度値と所定の閾値との判定を行なう。照度値が閾値より小さい場合は、ステップS14bに移行して、さらに上記取得された熟練度IDによる判定を行なう。この判定により、熟練度IDが“00(初級作業員)”または“01(中級作業員)” と判定された場合は、ステップS14cに移行して、“テキスト”を選択する。また、ステップS14bの判定により、熟練度IDが“02(上級作業員)”と判定された場合は、ステップS14dに移行して、“テキスト(概要)”を選択する。 When it is determined that the presentation mode is “text mode”, the process proceeds to step S14a in FIG. 14 to determine the acquired illuminance value and a predetermined threshold value. When the illuminance value is smaller than the threshold value, the process proceeds to step S14b, and the determination based on the acquired skill level ID is performed. If it is determined by this determination that the skill level ID is “00 (beginner worker)” or “01 (intermediate worker)”, the process proceeds to step S14c and “text” is selected. If it is determined in step S14b that the skill level ID is “02 (advanced worker)”, the process proceeds to step S14d and “text (outline)” is selected.
一方、ステップS14aの判定により、照度値が閾値以上の場合は、ステップS14eに移行して、上記取得された騒音値と所定の閾値との判定を行なう。この判定において、騒音値が閾値より小さい場合には、ステップS14fに移行して、熟練度IDによる判定を行なう。ステップS14fの判定により、熟練度IDが“00(初級作業員)”の場合は、ステップS14gに移行して、予め指定された回数だけ音声データを繰り返し出力する“音声(指定回数)”が選択される。また、“01(中級作業員)” の場合は、ステップS14hにより“音声”が選択される。また、ステップS14fの判定により、熟練度IDが“02(上級作業員)”と判定された場合は、ステップS14iにより“音声(概要)”が選択される。 On the other hand, if it is determined in step S14a that the illuminance value is equal to or greater than the threshold value, the process proceeds to step S14e to determine the acquired noise value and the predetermined threshold value. In this determination, if the noise value is smaller than the threshold value, the process proceeds to step S14f, and determination based on the skill level ID is performed. If the skill level ID is “00 (beginner)” as a result of the determination in step S14f, the process proceeds to step S14g, and “speech (specified number)” for repeatedly outputting the sound data a predetermined number of times is selected. Is done. In the case of “01 (intermediate worker)”, “voice” is selected in step S14h. If it is determined in step S14f that the skill level ID is “02 (advanced worker)”, “voice (outline)” is selected in step S14i.
また、ステップS14eの判定により、照度値、騒音値ともにそれぞれの閾値以上の場合には、ステップS14jに移行して、すべての提示モードで提示する“映像&テキスト&音声”が選択される。このように“テキストモード”について作業熟練度と環境状況(照度値及び騒音値)とを条件にして提示モードが選択されたのち、前記図6におけるステップS6h〜S6kの処理が行われる。 If it is determined in step S14e that both the illuminance value and the noise value are equal to or greater than the respective threshold values, the process proceeds to step S14j, and “video & text & voice” to be presented in all presentation modes is selected. As described above, after the presentation mode is selected for the “text mode” on the condition of the work skill level and the environmental situation (illuminance value and noise value), the processing of steps S6h to S6k in FIG. 6 is performed.
次に、提示モードが“映像モード”と認識された場合について説明する。ステップS13dの判定により、提示モードが“映像モード”と判定された場合は、図15のステップS15aに移行する。
まず、図15のステップS15aにおいて、照度値と所定の閾値との判定を行なう。照度値が閾値より小さい場合は、ステップS15bに移行して、熟練度IDによる判定を行なう。この判定により、熟練度IDが“00(初級作業員)”または“01(中級作業員)” と判定された場合は、ステップS15cに移行して、“映像”を選択する。また、ステップS15bの判定により、熟練度IDが“02(上級作業員)”と判定された場合は、ステップS15dに移行して、“映像(概要)”を選択する。
Next, a case where the presentation mode is recognized as “video mode” will be described. If it is determined in step S13d that the presentation mode is “video mode”, the process proceeds to step S15a in FIG.
First, in step S15a in FIG. 15, the illuminance value and a predetermined threshold value are determined. When the illuminance value is smaller than the threshold value, the process proceeds to step S15b, and determination based on the skill level ID is performed. If it is determined by this determination that the skill level ID is “00 (beginner worker)” or “01 (intermediate worker)”, the process proceeds to step S15c to select “video”. If it is determined in step S15b that the skill level ID is “02 (advanced worker)”, the process proceeds to step S15d and “video (outline)” is selected.
一方、ステップS15aの判定により、照度値が閾値以上の場合は、ステップS15eに移行して、上記取得された騒音値と所定の閾値との判定を行なう。この判定において、騒音値が閾値より小さい場合には、ステップS15fに移行して、熟練度IDによる判定を行なう。ステップS15fの判定により、熟練度IDが“00(初級作業員)”の場合は、ステップS15gに移行して、“音声(指定回数)”が選択される。また、“01(中級作業員)” の場合は、ステップS15hにより“音声”が選択される。また、ステップS15fの判定により、熟練度IDが“02(上級作業員)”と判定された場合は、ステップS15iにより“音声(概要)”が選択される。 On the other hand, if it is determined in step S15a that the illuminance value is equal to or greater than the threshold value, the process proceeds to step S15e to determine the acquired noise value and the predetermined threshold value. In this determination, when the noise value is smaller than the threshold value, the process proceeds to step S15f, and determination based on the skill level ID is performed. If it is determined in step S15f that the skill level ID is “00 (beginner worker)”, the process proceeds to step S15g and “voice (specified number of times)” is selected. In the case of “01 (intermediate worker)”, “voice” is selected in step S15h. If it is determined in step S15f that the skill level ID is “02 (advanced worker)”, “voice (outline)” is selected in step S15i.
また、ステップS15eの判定により、照度値、騒音値ともにそれぞれの閾値以上の場合には、ステップS15jに移行して、すべての提示モードで提示する“映像&テキスト&音声”が選択される。このように“映像モード”について作業熟練度と環境状況(照度値及び騒音値)とを条件にして提示モードが選択されたのち、前記図6におけるステップS6h〜S6kの処理が行われる。 If it is determined in step S15e that both the illuminance value and the noise value are equal to or greater than the respective threshold values, the process proceeds to step S15j, and “video & text & voice” to be presented in all presentation modes is selected. As described above, after the presentation mode is selected for the “video mode” on the condition of the work skill level and the environmental situation (illuminance value and noise value), the processing of steps S6h to S6k in FIG. 6 is performed.
最後に、提示モードが“音声モード”と認識された場合について説明する。ステップS13dの判定により、提示モードが“音声モード”と判定された場合は、図16のステップS16aに移行する。
まず、図16のステップS16aにおいて、騒音値と所定の閾値との判定を行なう。騒音値が閾値より小さい場合は、ステップS16bに移行して、熟練度IDによる判定を行なう。この判定により、熟練度IDが“00(初級作業員)”の場合は、ステップS16cに移行して、“音声(指定回数)”が選択される。また、“01(中級作業員)” の場合は、ステップS16dにより“音声”が選択される。また、ステップS16fの判定により、熟練度IDが“02(上級作業員)”と判定された場合は、ステップS16eにより“音声(概要)”が選択される。
Finally, a case where the presentation mode is recognized as the “voice mode” will be described. If it is determined in step S13d that the presentation mode is “voice mode”, the process proceeds to step S16a in FIG.
First, in step S16a of FIG. 16, the noise value and a predetermined threshold value are determined. When the noise value is smaller than the threshold value, the process proceeds to step S16b, and determination based on the skill level ID is performed. As a result of this determination, if the skill level ID is “00 (beginner worker)”, the process proceeds to step S16c, where “voice (specified number of times)” is selected. In the case of “01 (intermediate worker)”, “voice” is selected in step S16d. If it is determined in step S16f that the skill level ID is “02 (advanced worker)”, “voice (outline)” is selected in step S16e.
一方、ステップS16aの判定により、騒音値が閾値以上の場合は、ステップS16fに移行して、上記取得された照度値と所定の閾値との判定を行なう。この判定において、照度値が閾値より小さい場合には、ステップS16gに移行して、熟練度IDによる判定を行なう。ステップS16gの判定により、熟練度IDが“00(初級作業員)”の場合は、ステップS16hに移行して、“映像”が選択される。また、“01(中級作業員)” の場合は、ステップS16iにより“テキスト”が選択される。また、ステップS16fの判定により、熟練度IDが“02(上級作業員)”と判定された場合は、ステップS16jにより“テキスト(概要)”が選択される。 On the other hand, if it is determined in step S16a that the noise value is equal to or greater than the threshold value, the process proceeds to step S16f to determine the acquired illuminance value and a predetermined threshold value. In this determination, when the illuminance value is smaller than the threshold value, the process proceeds to step S16g, and determination based on the skill level ID is performed. If it is determined in step S16g that the skill level ID is “00 (beginner worker)”, the process proceeds to step S16h and “video” is selected. In the case of “01 (intermediate worker)”, “text” is selected in step S16i. If it is determined in step S16f that the skill level ID is “02 (advanced worker)”, “text (outline)” is selected in step S16j.
また、ステップS16fの判定により、照度値、騒音値ともにそれぞれの閾値以上の場合には、ステップS16kに移行して、すべての提示モードで提示する“映像&テキスト&音声”が選択される。このように“音声モード”について作業熟練度と環境状況(照度値及び騒音値)とを条件にして提示モードが選択されたのち、前記図6におけるステップS6h〜S6kの処理が行われる。 If it is determined in step S16f that both the illuminance value and the noise value are equal to or greater than the respective threshold values, the process proceeds to step S16k, and “video & text & voice” presented in all presentation modes is selected. In this way, after the presentation mode is selected for the “voice mode” on the condition of the work skill level and the environmental situation (illuminance value and noise value), the processing of steps S6h to S6k in FIG. 6 is performed.
このように第3の実施形態に関わる情報提示装置100Bは、さらに音声処理部42を備える。この音声処理部42により、現場作業者により指定された提示モードを含む音声データを音声コマンドDB41に記憶される各提示モードを表す音声コマンドと比較して、提示モードを認識する。また、環境状況検出部12Bは、上記第2の実施形態と同様に作業者の熟練度IDと照度値および騒音値とを取得する。判定部15Bは、上記認識された該作業者からしてされた提示モードと、熟練度IDと照度値および騒音値とを条件にして、状況に適した提示モードを選択し、選択された提示モードで上記投影対象物27に関連付けられた情報を提示するものである。
As described above, the
これにより、被情報提示者は所望の提示モードを指定して、上記対象物に関する情報を提示することができる。また、例えば、被情報提示者が提示モードを“音声”で指定した場合でも、騒音の大きい作業現場であれば、上記対象物に関する情報は画像等で提示される。このため、上記対象物に関する情報は、常に情報提示空間の状況に適した提示モードで提示される。 Thus, the information presenter can designate a desired presentation mode and present information on the object. Further, for example, even when the information presenter designates the presentation mode as “speech”, if the work site is noisy, information on the object is presented as an image or the like. For this reason, information on the object is always presented in a presentation mode suitable for the situation of the information presentation space.
なお、この発明は上記各実施形態に限定されるものではない。例えば、上記各実施形態において、提示情報選択テーブルを設定情報DB24に格納するように構成したが、情報提示装置1のDB検索部8に記憶するように構成してもよい。また、情報提示装置1が、設定情報DB24を備えるように構成することも可能である。
また、上記実施形態において、照度値と騒音値の値が共に閾値以下の場合に提示する提示モードを予め設定するように構成すれば、提示情報選択テーブルにおける最優先選択ファイル名の項目は不要である。その他にも、上記各実施形態で用いられる提示モードの種類や、テーブル群の構成及び記憶される項目については、上記各実施形態に限定されるものではない。
The present invention is not limited to the above embodiments. For example, in each of the above embodiments, the presentation information selection table is configured to be stored in the setting
In the above embodiment, if the presentation mode to be presented when both the illuminance value and the noise value are equal to or less than the threshold value is set in advance, the item of the highest priority selection file name in the presentation information selection table is unnecessary. is there. In addition, the types of presentation modes used in each of the above embodiments, the configuration of the table group, and the items to be stored are not limited to the above embodiments.
また、この発明の情報提示装置100は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。その他にも、情報提示装置100の機能構成及び各部の処理手順とその処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
The
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。 In short, the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, some components may be deleted from all the components shown in each embodiment. Furthermore, you may combine the component covering different embodiment suitably.
100,100A,100B…情報提示装置、200…情報設定装置、NW…通信ネットワーク、1…カメラ、2…情報提示部、3…画像記憶部、4…画像処理部、5…画像送信部、6…プロジェクタ、7…表示・処理制御部、8…DB検索部、9…スピーカ、10…出力制御部、11…照度計、12,12A,12B…環境状況検出部、13…照度データ取得部、14…照度データ記憶部、15,15A,15B…判定部、16…騒音計、17…騒音データ取得部、18…騒音データ記憶部、19…画像受信部、21…表示部、22…データ入力部、24,24A…設定情報DB、25…作業対象物、26…指示具、27…投影対象物、28…RFIDタグ、29…RFID読取部、36…作業員状況検出部、30…作業員データ取得部、31…作業員データ記憶部、32…識別部、33…作業時間計測部、34…作業回数計測部、35…識別用テーブル部、37…マイクロホン、42…音声処理部、38…音声受信部、39…音声認識部、40…認識結果記憶部、41…音声コマンドDB。
DESCRIPTION OF
Claims (10)
前記対象物に関する情報の提示モードとして、複数の提示モードを記憶する記憶手段と、
前記情報提示空間の状況を検出するための状況検出手段と、
前記状況検出手段により検出された情報提示空間の状況に基づいて、前記複数の提示モードの中から当該状況に適した提示モードを選択する提示モード選択手段と、
前記選択された提示モードにより前記対象物に関する情報を提示する手段と
を具備することを特徴とする情報提示装置。 An information presentation device that presents information about an object in an information presentation space where the information presenter and the object exist,
Storage means for storing a plurality of presentation modes as the information presentation mode for the object;
Status detection means for detecting the status of the information presentation space;
A presentation mode selection means for selecting a presentation mode suitable for the situation from the plurality of presentation modes based on the situation of the information presentation space detected by the situation detection means;
Means for presenting information relating to the object in accordance with the selected presentation mode.
前記状況検出手段は、
前記情報提示空間の照度を表す情報を取得する手段と、
前記取得された照度を表す情報を予め設定された照度のしきい値とを比較する手段と
を備え、
前記提示モード選択手段は、前記照度の比較の結果、前記取得された照度を表す情報が前記照度のしきい値より大きいと判定された場合に、前記作業情報の提示モードとして前記第1の提示モードを選択することを特徴とする請求項1記載の情報提示装置。 The storage means stores a first presentation mode that uses voice;
The situation detecting means includes
Means for obtaining information representing the illuminance of the information presentation space;
Means for comparing the information representing the acquired illuminance with a preset illuminance threshold;
The presentation mode selection means, as a result of the comparison of the illuminance, when the information representing the acquired illuminance is determined to be larger than the illuminance threshold, the first presentation as the work information presentation mode. The information presentation apparatus according to claim 1, wherein a mode is selected.
前記状況検出手段は、
前記情報提示空間の騒音を表す情報を取得する手段と、
前記取得された騒音を表す情報を予め設定された騒音のしきい値とを比較する手段と
を備え、
前記提示モード選択手段は、前記騒音の比較の結果、前記取得された騒音を表す情報が前記騒音のしきい値より大きいと判定された場合に、前記作業情報の提示モードとして前記第2の提示モードを選択することを特徴とする請求項1記載の情報提示装置。 The storage means stores a second presentation mode that uses at least one of an image and character data;
The situation detecting means includes
Means for obtaining information representing noise in the information presentation space;
Means for comparing the information representing the acquired noise with a preset noise threshold;
The presentation mode selection means, as a result of the noise comparison, determines that the information indicating the acquired noise is larger than a threshold value of the noise, the second presentation as the work information presentation mode. The information presentation apparatus according to claim 1, wherein a mode is selected.
前記状況検出手段は、前記被情報提示者の属性を識別する手段を備え、
前記提示モード選択手段は、前記識別された被情報提示者の属性に応じた提示モードを前記記憶された複数の提示モードの中から選択することを特徴とする請求項1記載の情報提示装置。 The storage means stores a plurality of presentation modes according to attributes of the information presenter,
The situation detection means includes means for identifying the attribute of the information presenter,
The information presentation apparatus according to claim 1, wherein the presentation mode selection unit selects a presentation mode corresponding to an attribute of the identified information presenter from the plurality of stored presentation modes.
前記状況検出手段は、前記タグから前記被情報提示者の属性情報を取得することを特徴とする請求項4記載の情報提示装置。 When the information presenter is attached with a tag for recording information representing the attribute of the information presenter,
The information presenting apparatus according to claim 4, wherein the situation detecting unit obtains attribute information of the information presenter from the tag.
前記状況検出手段は、前記被情報提示者の熟練度を識別する手段を備え、
前記提示モード選択手段は、前記識別された被情報提示者の熟練度に応じた提示モードを前記記憶された複数の提示モードの中から選択することを特徴とする請求項4記載の情報提示装置。 The storage means stores a plurality of presentation modes according to the skill level of the information presenter,
The situation detection means comprises means for identifying the skill level of the information presenter,
5. The information presentation apparatus according to claim 4, wherein the presentation mode selection unit selects a presentation mode according to the skill level of the identified information presenter from the plurality of stored presentation modes. .
前記被情報提示者が希望する提示モードを表す情報を取得する手段と、
前記状況検出手段により検出された情報提示空間の状況と、前記取得された被情報提示者が希望する提示モードとに基づいて、前記複数の提示モードの中から当該状況に適した提示モードを選択する手段と
を備えることを特徴とする請求項1記載の情報提示装置。 The presentation mode selection means includes
Means for obtaining information representing a presentation mode desired by the information presenter;
Based on the situation of the information presentation space detected by the situation detector and the presentation mode desired by the acquired information presenter, a presentation mode suitable for the situation is selected from the plurality of presentation modes. The information presenting apparatus according to claim 1, further comprising:
前記状況検出手段により検出された情報提示空間の状況と、前記取得された被情報提示者が希望する提示モードとのうち、前記情報提示空間の状況を優先して提示モードを選択することを特徴とする請求項7記載の情報提示装置。 A means for selecting a presentation mode suitable for the situation includes:
Of the status of the information presentation space detected by the status detection means and the acquired presentation mode desired by the information presenter, the presentation mode is selected with priority given to the status of the information presentation space. The information presentation device according to claim 7.
前記対象物に関する情報の提示モードとして、複数の提示モードを記憶する記憶工程と、
前記情報提示空間の状況を検出するための状況検出工程と、
前記状況検出工程により検出された情報提示空間の状況に基づいて、前記複数の提示モードの中から当該状況に適した提示モードを選択する提示モード選択工程と、
前記選択された提示モードにより前記対象物に関する情報を提示する工程と
を具備することを特徴とする情報提示方法。 An information presentation method for presenting information related to an object in an information presentation space where the information presenter and the object exist,
A storage step of storing a plurality of presentation modes as a presentation mode of information related to the object;
A situation detection step for detecting the situation of the information presentation space;
A presentation mode selection step of selecting a presentation mode suitable for the situation from the plurality of presentation modes based on the situation of the information presentation space detected by the situation detection step;
And a step of presenting information on the object in the selected presentation mode.
前記対象物に関する情報の提示モードとして、複数の提示モードを記憶する記憶処理と、
前記情報提示空間の状況を検出するための状況検出処理と、
前記状況検出処理により検出された情報提示空間の状況に基づいて、前記複数の提示モードの中から当該状況に適した提示モードを選択する提示モード選択処理と、
前記選択された提示モードにより前記対象物に関する情報を提示する処理と
を前記コンピュータに実行させることを特徴とするプログラム。 A program used in an information presentation apparatus including a computer for presenting information on an object in an information presentation space where the information presenter and the object exist,
A storage process for storing a plurality of presentation modes as a presentation mode of information related to the object;
A situation detection process for detecting the situation of the information presentation space;
A presentation mode selection process for selecting a presentation mode suitable for the situation from the plurality of presentation modes based on the situation of the information presentation space detected by the situation detection process;
The program which makes the said computer perform the process which presents the information regarding the said target object by the said selected presentation mode.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005054957A JP2006245689A (en) | 2005-02-28 | 2005-02-28 | Information presentation device, method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005054957A JP2006245689A (en) | 2005-02-28 | 2005-02-28 | Information presentation device, method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006245689A true JP2006245689A (en) | 2006-09-14 |
Family
ID=37051666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005054957A Pending JP2006245689A (en) | 2005-02-28 | 2005-02-28 | Information presentation device, method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006245689A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140259A (en) * | 2008-12-11 | 2010-06-24 | Fuji Xerox Co Ltd | Information processing apparatus, and information processing system and program |
JP2011508321A (en) * | 2007-12-21 | 2011-03-10 | シマンテック コーポレーション | Providing image-based guidance for remote assistance |
JP2013214224A (en) * | 2012-04-03 | 2013-10-17 | Nikon Corp | Information display system |
JP2017033457A (en) * | 2015-08-05 | 2017-02-09 | 富士通株式会社 | Scheduling support method, information processor, and scheduling support program |
JP2018032364A (en) * | 2016-08-25 | 2018-03-01 | 東芝Itコントロールシステム株式会社 | Instruction device |
JPWO2019039274A1 (en) * | 2017-08-24 | 2019-12-19 | 三菱電機株式会社 | Information notification terminal |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314181A (en) * | 1993-04-28 | 1994-11-08 | Hitachi Ltd | Interactive control system by plural display and control method therefor |
JPH0954667A (en) * | 1995-08-17 | 1997-02-25 | Fujitsu Ltd | Computer system |
JPH09244781A (en) * | 1996-03-12 | 1997-09-19 | Hitachi Ltd | Environment-adaptive information access method |
JP2004045738A (en) * | 2002-07-11 | 2004-02-12 | Sharp Corp | Work content instruction system |
JP2004102553A (en) * | 2002-09-06 | 2004-04-02 | Nec Corp | Electronic document display method, its program and its device |
-
2005
- 2005-02-28 JP JP2005054957A patent/JP2006245689A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06314181A (en) * | 1993-04-28 | 1994-11-08 | Hitachi Ltd | Interactive control system by plural display and control method therefor |
JPH0954667A (en) * | 1995-08-17 | 1997-02-25 | Fujitsu Ltd | Computer system |
JPH09244781A (en) * | 1996-03-12 | 1997-09-19 | Hitachi Ltd | Environment-adaptive information access method |
JP2004045738A (en) * | 2002-07-11 | 2004-02-12 | Sharp Corp | Work content instruction system |
JP2004102553A (en) * | 2002-09-06 | 2004-04-02 | Nec Corp | Electronic document display method, its program and its device |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011508321A (en) * | 2007-12-21 | 2011-03-10 | シマンテック コーポレーション | Providing image-based guidance for remote assistance |
JP2010140259A (en) * | 2008-12-11 | 2010-06-24 | Fuji Xerox Co Ltd | Information processing apparatus, and information processing system and program |
JP2013214224A (en) * | 2012-04-03 | 2013-10-17 | Nikon Corp | Information display system |
JP2017033457A (en) * | 2015-08-05 | 2017-02-09 | 富士通株式会社 | Scheduling support method, information processor, and scheduling support program |
US10489727B2 (en) | 2015-08-05 | 2019-11-26 | Fujitsu Limited | Scheduling supporting method, information processing device, and computer-readable recording medium |
JP2018032364A (en) * | 2016-08-25 | 2018-03-01 | 東芝Itコントロールシステム株式会社 | Instruction device |
JPWO2019039274A1 (en) * | 2017-08-24 | 2019-12-19 | 三菱電機株式会社 | Information notification terminal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230039067A1 (en) | Portable terminal device and information processing system | |
US10721440B2 (en) | Video conferencing apparatus and video conferencing method | |
JP2006189712A (en) | Information presenting apparatus, information presenting method and program | |
EP3239975A1 (en) | Information processing device, information processing method, and program | |
US20210264210A1 (en) | Learning data collection device, learning data collection system, and learning data collection method | |
JP2006245689A (en) | Information presentation device, method and program | |
US20080030580A1 (en) | Command system, imaging device, command device, imaging method, command processing method, and program | |
KR20120093597A (en) | Mobile communication terminal device and method for executing application with voice recognition | |
CN109819400B (en) | User position searching method, device, equipment and medium | |
US8504928B2 (en) | Communication terminal, display control method, and computer-readable medium storing display control program | |
EP2835798A1 (en) | Interfacing device and method for supporting speech dialogue service | |
JP6827379B2 (en) | Power equipment maintenance support equipment, systems and programs | |
JP2014206880A (en) | Operation assist device | |
WO2018158812A1 (en) | Inspection assistance device, inspection assistance method and recording medium | |
JPWO2020054855A1 (en) | Class support system, judgment device, class support method and program | |
JP2010049413A (en) | Information processor, control method, and program | |
US7657061B2 (en) | Communication apparatus and system handling viewer image | |
US20240248448A1 (en) | Inspection support method, inspection support apparatus, and inspection support program | |
CN113553261B (en) | Software automated testing method, device and computer readable storage medium | |
JP2010109898A (en) | Photographing control apparatus, photographing control method and program | |
US9641740B2 (en) | Apparatus and method for auto-focusing in device having camera | |
JP6621595B2 (en) | Information processing apparatus, information processing method, and program | |
JP7162778B2 (en) | Maintenance management work support device and maintenance management work portable terminal | |
US20230186654A1 (en) | Systems and methods for detection and display of whiteboard text and/or an active speaker | |
US20170280044A1 (en) | Sensor management system, sensor management device, sensor device, sensor management method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100511 |