JP2021047499A - 情報処理装置、情報処理方法、プログラム、および、情報処理システム - Google Patents
情報処理装置、情報処理方法、プログラム、および、情報処理システム Download PDFInfo
- Publication number
- JP2021047499A JP2021047499A JP2019168165A JP2019168165A JP2021047499A JP 2021047499 A JP2021047499 A JP 2021047499A JP 2019168165 A JP2019168165 A JP 2019168165A JP 2019168165 A JP2019168165 A JP 2019168165A JP 2021047499 A JP2021047499 A JP 2021047499A
- Authority
- JP
- Japan
- Prior art keywords
- instruction
- image
- gesture image
- gesture
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000003702 image correction Methods 0.000 description 44
- 238000012986 modification Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 238000000034 method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 239000013589 supplement Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
まず、図1を参照して、本発明の一実施形態による遠隔作業支援システム(情報処理システム)の全体構成について説明する。図1は、本発明の一実施形態による遠隔作業支援システムの全体構成の一例を示す図である。
ここで、作業者U2に対する指示は、例えば音声で行うことが考え得る。具体的には、指示者U1の音声を収音し、収音した音声データを、ネットワークを介して作業者U2側(例えば情報処理端末)に送信し、作業者U2が装着するイヤホンやヘッドホンから再生することで、映像を見ながらの音声の指示が可能となる。
図2は、本実施形態による遠隔作業支援システム1aに含まれる情報処理装置10の構成の一例を主に示すブロック図である。図2に示すように、情報処理装置10は、制御部100と、通信部110と、センサ部120と、マイク130と、操作入力部140と、表示部150と、記憶部160と、を有する。
制御部100は、例えば、CPU(Central Processing Unit)等を中心に構成されており、各種プログラムに従って情報処理装置10の各機能を制御する。例えば制御部100は、撮像装置20から受信した撮像画像を、表示部150に表示する制御を行う。
指示意図判定部101は、指示者U1による指示の意図を判定する。例えば、指示意図判定部101は、マイク130により収音した音声データの解析結果に基づいて、指示の意図を判定してもよい。指示意図判定部101は、指示の意図として、「〜を行ってください」、「〜してください」といった肯定(許可、ポジティブ)の意図、または、「〜を行ってはいけません」、「〜しないでください」といった否定(禁止、ネガティブ)の意図を判定する(ネガポジ判定とも称される)。指示の意図の判定は、マイク130により収音した指示者U1の音声データの解析結果に基づいて行われてもよいし、操作入力部140からの指示者U1による操作入力結果に基づいて行われてもよい。
ジェスチャ画像生成部102は、センサ部120により検知されたデータに基づいて、指示者U1のジェスチャ(手指の動き)を表現するジェスチャ画像を、例えばCG等により生成する。例えば、ジェスチャ画像生成部102は、センサ部120により検知(計測)された、指示者U1の手や指、また、指の関節などの三次元位置座標や、その変化のデータに基づいて、手や指の形や動きを表現する3D画像または2D画像を、ジェスチャ画像として生成する。
ジェスチャ画像修正部103は、指示意図判定部101により判定された、指示者U1による指示の意図に対応するジェスチャが、ジェスチャ画像生成部102により生成されたジェスチャ画像に含まれているか否かを判断し、含まれていない場合は、判定された指示の意図を示すようジェスチャ画像を修正する処理を行う。例えば、ジェスチャ画像修正部103は、予め登録された肯定または否定を表現する1以上のジェスチャ画像と、ジェスチャ画像生成部102により生成されたジェスチャ画像とを比較し、指示の意図(肯定または否定の意図)に対応する(合致する)ジェスチャ画像が含まれているか否かを判断し得る。そして、対応するジェスチャ画像が含まれていない場合、ジェスチャ画像修正部103は、指示の意図に対応するよう、予め登録されたジェスチャ画像やアイコンを追加したり、生成したジェスチャ画像を削除したり等の修正を行う。ここで、ジェスチャ画像修正部103によるジェスチャ画像の修正例について、図3および図4を参照して具体的に説明する。
重畳画像生成部104は、指示者U1の指示の意図に対応するジェスチャ画像を、撮像装置20で撮像された作業者U2側の撮像画像に重畳する処理を行う。指示者U1の指示の意図に対応するジェスチャ画像は、ジェスチャ画像生成部102により生成されたジェスチャ画像の場合もあるし、ジェスチャ画像修正部103により修正されたジェスチャ画像(修正ジェスチャ画像)の場合もある。重畳画像生成部104は、センサ部120により検知された位置や動きに対応するよう、ジェスチャ画像を撮像画像に重畳表示する。
表示制御部105は、ジェスチャ画像が重畳された画像(重畳画像とも称す)を、作業者U2の表示装置30に表示するよう制御する。具体的には、表示制御部105は、重畳画像を、通信部110を介して、表示装置30に送信する制御を行う。重畳画像の表示装置30での表示は、リアルタイムに(出来るだけ遅延なく)行われることが望ましい。また、表示制御部105は、修正を行っていないジェスチャ画像を重畳した画像を、表示部150に表示し、指示者U1に提示する制御を行う。これにより、指示者U1は、フィードバックを受けながら、ジェスチャ動作を行うことが可能となる。また、表示制御部105は、さらに作業者U2側に送信する重畳画像も併せて(例えば並列して、若しくは小さい表示領域で)表示部150に表示するよう制御してもよい。これにより、システムによるジェスチャ画像の修正の有無や、作業者U2側ではどのように見えているかを指示者U1に提示することが可能となる。
通信部110は、ネットワーク40(例えば専用回線)を介して、撮像装置20および表示装置30と通信接続し、データの送受信を行う。例えば通信部110は、撮像装置20から撮像画像を受信したり、表示装置30に、指示意図に対応するジェスチャ画像を撮像画像に重畳した重畳画像を送信したりする。これらのデータの送受信は、継続的に行われ得る。
センサ部120は、ジェスチャ動作を検知する機能を有する。センサ部120は、例えば赤外線発光部と2つの赤外線カメラとが搭載された、三次元空間を検知できるセンサにより実現されてもよい。これにより、センサ部120は、手や指、指の関節などの3次元位置(座標)や動き(座標の変化)を検知し、ジェスチャ動作を計測する。なお、センサ部120は赤外線カメラなどの光学式に限定されず、例えば音波式や磁気式でもよい。また、センサ部120は、非接触計測に限定されず、手指にセンサを取り付けて計測する接触計測であってもよい。センサ部120は、検知したセンシングデータ(指示動作データ、例えば、3次元位置座標など)を、制御部100に出力する。
マイクロホン(本明細書では、マイクと省略して称する)130は、周囲の音を収音し、収音した音データを制御部100に出力する。また、マイク130は、複数のマイクロホンを設置したマイクアレイにより実現されてもよい。また、マイク130は、収音した音データから雑音を除去する処理を行った上で、音声データを制御部100に出力してもよい。
操作入力部140は、指示者U1の操作入力を受け付ける操作部の機能を有する。例えば操作入力部140は、マウス、キーボード、ボタン、レバー、スイッチ等の物理的な構成により実現されてもよい。また、操作入力部140は、タッチパネルディスプレイにより実現されてもよい。また、操作入力部140は、複数あってもよい。
表示部150は、画像を表示する表示部の機能を有する。表示部150は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置により実現される。本実施形態による表示部150は、表示制御部105の制御に従って、撮像装置20から送信された撮像画像を表示する。また、表示部150は、指示者U1のハンドジェスチャを表現したジェスチャ画像が撮像画像に重畳された重畳画像を、表示する。また、表示部150は、複数あってもよい。
記憶部160は、ROM(Read Only Memory)およびRAM(Random Access Memory)等から実現され、情報処理装置10の動作を制御するための制御プログラムや各種パラメータ、データ等を格納する。例えば、記憶部160には、ジェスチャ画像修正部103が、ジェスチャ画像生成部102により生成されたジェスチャ画像が肯定か否定かを判断するためのデータなどが記憶されている。
続いて、本実施形態による遠隔作業支援システム1aの動作処理について、図5を参照して具体的に説明する。図5は、本実施形態による遠隔作業支援システム1aの動作処理の流れの一例を示すシーケンス図である。
続いて、本実施形態による遠隔作業支援システムの変形例について、図6〜図8を参照して説明する。
図6は、本実施形態の変形例による遠隔作業支援システム1bの全体構成の一例を示す図である。図6に示すように、複数の作業者がいる場合において、作業者側の空間の映像は、例えば天井や壁などに設置された撮像装置20により取得される。撮像装置20は、同じ空間に居る複数の作業者の視界(複数の作業者の視界は概ね共通しているものとする)を撮像し得る。なお、同じ空間に居る複数の作業者のいずれか一人に装着された撮像装置20により、複数の作業者の共通する視界を撮像するようにしてもよい。
続いて、本変形例による動作処理について図8を参照して具体的に説明する。図8は、本変形例による遠隔作業支援システムの動作処理の流れの一例を示すシーケンス図である。
また、本実施形態による遠隔作業支援システムの構成は、図1や図6に示す例に限定されない。以下、本実施形態による遠隔作業支援システムの構成について、補足する。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10 情報処理装置
100 制御部
101 指示意図判定部
102 ジェスチャ画像生成部
103 ジェスチャ画像修正部
104 重畳画像生成部
105 表示制御部
110 通信部
120 ジェスチャセンサ部
130 マイク(マイクロホン)
140 操作入力部
150 表示部
160 記憶部
20 撮像装置
30 表示装置
40 ネットワーク
Claims (13)
- 指示者による指示の動作を検知した指示動作データに基づいて、前記指示動作を表現するジェスチャ画像を生成し、
前記指示者による指示の意図が、肯定的であるか否定的であるかを判定し、
前記判定した前記指示の意図に対応するジェスチャが、前記ジェスチャ画像に含まれているか否かを判断し、
含まれていない場合は、前記ジェスチャ画像を、前記指示の意図を示すよう修正したジェスチャ画像を生成する、制御部を備える、情報処理装置。 - 前記制御部は、前記修正したジェスチャ画像を、前記指示の対象となる対象者に出力するよう制御する、請求項1に記載の情報処理装置。
- 前記制御部は、前記判定した前記指示の意図に対応するジェスチャが、前記ジェスチャ画像に含まれている場合は、当該ジェスチャ画像を、前記指示の対象者に出力するよう制御する、請求項1または2に記載の情報処理装置。
- 前記制御部は、前記ジェスチャ画像または前記修正したジェスチャ画像を、前記対象者が所有する撮像装置により撮像された撮像画像に重畳した重畳画像を、前記対象者に出力するよう制御する、請求項2または3に記載の情報処理装置。
- 前記制御部は、
前記対象者が所有する撮像装置により撮像された撮像画像を表示部に表示し、
前記表示した前記撮像画像に含まれるオブジェクトに対する前記指示者による指示の動作を検知する、請求項2〜4のいずれか1項に記載の情報処理装置。 - 前記制御部は、前記ジェスチャ画像を、前記指示者による前記指示の意図と反対の意図を示すよう修正したジェスチャ画像を生成する、請求項1〜5のいずれか1項に記載の情報処理装置。
- 前記制御部は、
前記修正したジェスチャ画像を、前記指示の対象者となる作業者に出力し、
前記反対の意図を示すよう修正したジェスチャ画像を、前記指示の対象者となる作業者以外の作業者に出力するよう制御する、請求項6に記載の情報処理装置。 - 前記制御部は、前記指示者の発話音声または操作入力情報に基づいて、前記指示の対象者を判定する、請求項7に記載の情報処理装置。
- 前記制御部は、前記指示者の発話音声または操作入力情報に基づいて、前記指示者による指示の意図が、肯定的であるか否定的であるかを判定する、請求項1〜8のいずれか1項に記載の情報処理装置。
- 前記制御部は、
前記ジェスチャ画像に、予め登録された否定のジェスチャ画像が含まれているか否かを判断し、
前記否定のジェスチャ画像が含まれている場合は、否定的な意図に対応するジェスチャ画像であると判断し、
前記否定のジェスチャ画像が含まれていない場合は、肯定的な意図に対応するジェスチャ画像であると判断する、請求項1〜9のいずれか1項に記載の情報処理装置。 - プロセッサが、
指示者による指示の動作を検知した指示動作データに基づいて、前記指示動作を表現するジェスチャ画像を生成し、
前記指示者による指示の意図が、肯定的であるか否定的であるかを判定し、
前記判定した前記指示の意図に対応するジェスチャが、前記ジェスチャ画像に含まれているか否かを判断し、
含まれていない場合は、前記ジェスチャ画像を、前記指示の意図を示すよう修正した修正ジェスチャ画像を生成するよう制御することを含む、情報処理方法。 - コンピュータを、
指示者による指示の動作を検知した指示動作データに基づいて、前記指示動作を表現するジェスチャ画像を生成し、
前記指示者による指示の意図が、肯定的であるか否定的であるかを判定し、
前記判定した前記指示の意図に対応するジェスチャが、前記ジェスチャ画像に含まれているか否かを判断し、
含まれていない場合は、前記ジェスチャ画像を、前記指示の意図を示すよう修正した修正ジェスチャ画像を生成する、制御部として機能させる、プログラム。 - 指示者による指示の動作を検知した指示動作データに基づいて、前記指示動作を表現するジェスチャ画像を生成し、
前記指示者による指示の意図が、肯定的であるか否定的であるかを判定し、
前記判定した前記指示の意図に対応するジェスチャが、前記ジェスチャ画像に含まれているか否かを判断し、
含まれていない場合は、前記ジェスチャ画像を、前記指示の意図を示すよう修正したジェスチャ画像を生成し、
前記指示の対象となる対象者に、前記指示の意図に対応するジェスチャが含まれているジェスチャ画像を送信するよう制御する制御部を有する情報処理装置と、
前記情報処理装置から送信されたジェスチャ画像を、前記対象者に提示する表示部を有する表示装置と、
を備える、情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019168165A JP7243541B2 (ja) | 2019-09-17 | 2019-09-17 | 情報処理装置、情報処理方法、プログラム、および、情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019168165A JP7243541B2 (ja) | 2019-09-17 | 2019-09-17 | 情報処理装置、情報処理方法、プログラム、および、情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021047499A true JP2021047499A (ja) | 2021-03-25 |
JP7243541B2 JP7243541B2 (ja) | 2023-03-22 |
Family
ID=74878412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019168165A Active JP7243541B2 (ja) | 2019-09-17 | 2019-09-17 | 情報処理装置、情報処理方法、プログラム、および、情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7243541B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000231625A (ja) * | 1999-02-12 | 2000-08-22 | Sanyo Electric Co Ltd | 指示情報伝達装置 |
JP2018036902A (ja) * | 2016-08-31 | 2018-03-08 | 島根県 | 機器操作システム、機器操作方法および機器操作プログラム |
WO2018230160A1 (ja) * | 2017-06-12 | 2018-12-20 | ソニー株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2019008570A (ja) * | 2017-06-26 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2019
- 2019-09-17 JP JP2019168165A patent/JP7243541B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000231625A (ja) * | 1999-02-12 | 2000-08-22 | Sanyo Electric Co Ltd | 指示情報伝達装置 |
JP2018036902A (ja) * | 2016-08-31 | 2018-03-08 | 島根県 | 機器操作システム、機器操作方法および機器操作プログラム |
WO2018230160A1 (ja) * | 2017-06-12 | 2018-12-20 | ソニー株式会社 | 情報処理システム、情報処理方法、およびプログラム |
JP2019008570A (ja) * | 2017-06-26 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7243541B2 (ja) | 2023-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10798339B2 (en) | Telepresence management | |
US11972530B2 (en) | Rendering virtual objects in 3D environments | |
JP5260643B2 (ja) | ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体 | |
US10936077B2 (en) | User-interactive gesture and motion detection apparatus, method and system, for tracking one or more users in a presentation | |
WO2019160955A1 (en) | Augmented reality display sharing | |
JP6950685B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2013051180A1 (en) | Image processing apparatus, image processing method, and program | |
JP6646511B2 (ja) | 技能伝承システム及び方法 | |
US20170344110A1 (en) | Line-of-sight detector and line-of-sight detection method | |
JP2013076924A5 (ja) | ||
US11393177B2 (en) | Information processing apparatus, information processing method, and program | |
JP2017162103A (ja) | 点検作業支援システム、点検作業支援方法、点検作業支援プログラム | |
US7377650B2 (en) | Projection of synthetic information | |
WO2023100743A1 (ja) | 作業支援システム、作業対象特定装置および方法 | |
KR20160001465A (ko) | 글래스 타입 단말기 및 이의 제어방법 | |
JP2016110177A (ja) | 3次元入力装置及び入力システム | |
US20190371280A1 (en) | Information processing apparatus and information processing method | |
JP7243541B2 (ja) | 情報処理装置、情報処理方法、プログラム、および、情報処理システム | |
KR100969927B1 (ko) | 사용자 지향적 비접촉식 상호 작용 디스플레이 장치 | |
JP2015052895A (ja) | 情報処理装置及び情報処理方法 | |
JP2017199085A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
EP3432204B1 (en) | Telepresence framework for region of interest marking using headmount devices | |
JP4478047B2 (ja) | 情報提示装置及び情報提示方法とそのプログラム | |
JP2013257830A (ja) | 情報処理装置 | |
JP2003256128A (ja) | パソコンモニター画面上で視線先の視点位置に眼の位置を検出してカーソルを自動的に表示させる一連のコンピューターシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220510 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7243541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |