JP2019061557A - 情報処理装置、情報処理システム及びプログラム - Google Patents
情報処理装置、情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP2019061557A JP2019061557A JP2017186766A JP2017186766A JP2019061557A JP 2019061557 A JP2019061557 A JP 2019061557A JP 2017186766 A JP2017186766 A JP 2017186766A JP 2017186766 A JP2017186766 A JP 2017186766A JP 2019061557 A JP2019061557 A JP 2019061557A
- Authority
- JP
- Japan
- Prior art keywords
- display
- information
- image
- information processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 94
- 230000005540 biological transmission Effects 0.000 abstract description 21
- 238000001514 detection method Methods 0.000 description 26
- 210000003128 head Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000001133 acceleration Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 5
- 230000036651 mood Effects 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000005534 acoustic noise Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2352/00—Parallel handling of streams of display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2358/00—Arrangements for display data security
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
- G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段と、を備えた情報処理装置。
[2]前記対象者が発言した前記履歴情報は、現在行われているイベントへの参加者が発言した履歴情報であり、
前記生成手段が生成する前記表示画像は、前記参加者の発言に関する情報を含む、前記[1]に記載の情報処理装置。
[3]前記発言に関する情報は、発言回数又は発言時間に基づいて求まる発言量である、前記[2]に記載の情報処理装置。
[4]前記生成手段が生成する前記表示画像は、前記イベントの進捗を示す進捗情報を含む、前記[1]に記載の情報処理装置。
[5]前記対象者が発言した前記履歴情報は、会話の履歴情報であり、
前記生成手段が生成する前記表示画像は、前記会話から抽出された特徴語を含む、前記[1]に記載の情報処理装置。
[6]前記生成手段が生成する前記表示画像は、前記特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、前記[5]に記載の情報処理装置。
[7]前記生成手段が生成する前記表示画像は、前記表示装置の使用者との間、及び前記対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者に関する情報を含む、前記[5]又は[6]に記載の情報処理装置。
[8]前記生成手段が生成する前記表示画像は、予定の会話の情報を含む、前記[5]から[7]のいずれかに記載の情報処理装置。
[9]前記生成手段が生成する前記表示画像は、前記対象者の内面的な情報を含む、前記[1]から[8]のいずれかに記載の情報処理装置。
[10]前記生成手段が生成する前記表示画像は、前記対象者の属性情報を含む、前記[1]から[9]のいずれかに記載の情報処理装置。
[11]現実空間に仮想空間の画像が重なるように表示する表示装置と、
対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記表示装置に指示する指示手段と、を備えた情報処理システム。
[12]現実空間に仮想空間の画像が重なるように表示するとともに、音声入力部を有する第1の表示装置及び第2の表示装置と、
前記第2の表示装置を使用する者であって、現在行われているイベントへの参加者が発言して前記音声入力部により入力された履歴情報に基づいて前記参加者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記第1の表示装置に指示する指示手段と、を備えた情報処理システム。
[13]現実空間に仮想空間の画像が重なるように表示する第1の表示装置及び第2の表示装置と、
前記第1の表示装置を使用する第1の者の会話の履歴情報に基づいて前記第1の者の発言に関する情報を含む第1の表示画像を生成し、前記第2の表示装置を使用する第2の者の会話の履歴情報に基づいて前記第2の者の発言に関する情報を含む第2の表示画像を生成する生成手段と、
生成された前記第1の表示画像を前記仮想空間の画像として表示するように前記第2の表示装置に指示し、生成された前記第2の表示画像を前記仮想空間の画像として表示するように前記第1の表示装置に指示する指示手段と、を備えた情報処理システム。
[14]コンピュータを、対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段として、機能させるためのプログラム。
請求項2に係る発明によれば、表示装置を使用する者がイベントに参加した参加者の発言に関する情報を認識することができる。
請求項3に係る発明によれば、表示装置を使用する者がどの参加者が発言量が少ないかを認識することができる。
請求項4に係る発明によれば、イベントの進捗状況を見ながらイベントの進行をスムーズに進めることができる。
請求項5、6に係る発明によれば、対象者が発言した会話の特徴を認識することができる。
請求項7に係る発明によれば、表示装置を使用する者が対象者と他の対象者との間でされた会話を認識することができる。
請求項8に係る発明によれば、予定の会話の情報を見ながら対象者と会話することができる。
請求項9に係る発明によれば、対象者は表示装置を使用する者のみに内面的な情報を伝えることができる。
請求項10に係る発明によれば、対象者の属性情報を話すきっかけにすることができる。
本実施の形態に係る情報処理装置は、対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段とを備える。
た情報処理装置。
図1(a)は、本発明の第1の実施の形態に係る情報処理システムの構成例を示す図、図1(b)は、ヘッドマウントディスプレイ装置の一例を示す外観図である。
System)等を用いて定期的に検出し、検出した位置情報を制御部20に送信する。なお、自装置2の位置をビーコン信号を用いて検出してもよい。すなわち、位置検出部26は、ビーコン発信機を識別するビーコンIDを含むビーコン信号を検出し、ビーコンID及びビーコン信号の強度情報を情報処理装置3に送信する。情報処理装置3は、ビーコンIDに対応するビーコン発信機の位置の情報及びビーコン信号の強度からHMD装置2の位置情報を取得する。
図4は、ユーザ属性テーブル311の一例を示す図である。ユーザ属性テーブル311には、ユーザの属性情報が予め記録されている。ユーザ属性テーブル311は、ユーザIDが記録された「ユーザID」欄と、ユーザ名が記録された「ユーザ名」欄と、ユーザが所属する部署が記録された「所属部署」欄と、ユーザが正社員か派遣社員か、管理職か一般職か等の種別が記録された「ユーザ種別」欄と、勤続年数が記録された「勤続年数」欄と、ユーザの顔を撮影して得られた顔画像から抽出された顔特徴情報が記録された「顔特徴情報」欄とを有する。「顔特徴情報」とは、顔を構成する眼、鼻、口等の大きさ、形、位置等の顔の特徴を示す情報をいう。なお、顔特徴情報に顎や首の特徴を含めてもよい。HMD装置2を頭に装着すると、眼の特徴を抽出し難いため、顔特徴情報に顎や首を含めることによりユーザの特定が容易になる。
図5は、会話履歴テーブル312の一例を示す図である。会話履歴テーブル312は、会議が開催されるごとに作成される。会話履歴テーブル312は、会議を識別する会議ID及びファシリテータを識別するユーザIDに紐付けられて記憶部31に記憶されている。同図に示す会話履歴テーブル312は、会議IDが「C001」、ファシリテータのユーザIDが「user010」のものを示している。
次に、情報処理システム1の動作の一例について、図6を参照し、図7のフローチャートに従って説明する。
ファシリテータが手を動かして参加者の顔の撮影を指示するジェスチャー(第1のジェスチャー)を行うと、HMD装置2Aのジェスチャー検出部270は、センサ部24の距離画像センサが取得した距離画像から、第1のジェスチャーを検出し、それに対応する第1のコマンドを制御部20に送信する。
情報処理装置3の受信手段300は、音声データを受信したか否かを判断する(S3)。
ファシリテータが手を動かして発言回数の表示要求を示すジェスチャー(第2のジェスチャー)を行うと、HMD装置2Aのジェスチャー検出部270は、第2のジェスチャーを検出し、それに対応する第2のコマンドを制御部20に送信する。送信手段200は、第2のコマンドをファシリテータのユーザIDとともに情報処理装置3に送信する。
送信手段304は、表示画像生成手段303が生成した表示画像及び位置情報をファシリテータが使用するHMD装置2Aに送信する(S8)。
図8は、仮想画像の変形例1を示す図である。図6では、ユーザ名及び発言回数を含む仮想画像100をファシリテータに視認させたが、図8に示すように、参加者の属性情報を仮想画像101を視認させてもよい。
図9は、仮想画像の変形例2を示す図である。変形例1は、ファシリテータの意思によって表示内容を切り替えるものであるが、この変形例2は、参加者の意思を表示するものである。参加者が手を動かして発言したいことを示すジェスチャー(第4のジェスチャー)を行うと、参加者が使用するHMD装置2Bのジェスチャー検出部270は、第4のジェスチャーを検出し、それに対応する第4のコマンドを制御部20に送信する。送信手段200は、第4のコマンド及びユーザIDを情報処理装置3に送信する。参加者の意思は、対象者の内面的な情報の一例である。内面的な情報とは、気分、心情等の感情や意見、合図、意思等の考えをいう。
図10は、仮想画像の変形例3を示す図である。この変形例3は、参加者の気分を示す顔アイコンを表示するものである。参加者が手を動かして自己の気分の表示要求を示すジェスチャー(第5のジェスチャー)を行うと、参加者が使用するHMD装置2Bのジェスチャー検出部270は、第5のジェスチャーを検出し、それに対応する第5のコマンドを制御部20に送信する。送信手段200は、第5のコマンド及びユーザIDを情報処理装置3に送信する。第5のジェスチャーは、気分の種類に応じて動作が異なるものとする。
図11(a)、(b)は、仮想画像の変形例4を示す図である。この変形例4は、会議の進捗状況を表示するものである。この場合、会議予定情報(会議を構成する項目ごとの予定時間)を記憶部31に記憶しておく。ファシリテータが手を動かして会議の進捗状況の表示要求を示すジェスチャー(第6のジェスチャー)を行うと、ファシリテータが使用するHMD2Aのジェスチャー検出部270は、第6のジェスチャーを検出し、それに対応する第6のコマンドを制御部20に送信する。送信手段200は、第6のコマンド及びユーザIDを情報処理装置3に送信する。
図12は、本発明の第2の実施の形態に係る情報処理システムの構成例を示す図である。
図14は、会話履歴テーブルの一例を示す図である。会話履歴テーブル312aは、会話が成立したグループを識別する会話グループIDが記録される「会話グループID」欄と、会話した者を識別するユーザIDが記録される「ユーザID」欄と、ユーザが発言した時刻が記録される「発言時刻」欄と、発言時間が記録される「発言時間」欄と、会話した者が発言した発言内容が記録される「発言内容」欄と、HMD装置2の位置を示す位置情報が記録される「位置情報」欄とを有する。HMD装置2の位置情報は、第1の者又は第2の者の位置情報の一例である。
図15は、図14に示す会話履歴テーブル312aから抽出されて作成された推奨話題テーブルの一例を示す図である。推奨話題テーブル313は、ユーザ名が記録される「ユーザ名」欄と、当該ユーザが行った会話に含まれた特徴語の出現回数が記録される「特徴語」欄とを有する。図15に示す場合は、特徴語として「天気」、「○社案件」、「□作業の納期」、「△の特許」が含まれている。また、図15に示す場合は、例えば、ユーザ名のAさんは「天気」を1回、「○社案件」を5回使い、「□作業の納期」は1回も使っていないことを示している。「特徴語」とは、会話の内容を特徴付ける単語であって、会話中に頻出する単語をいう。回数が多いほど推奨される話題となる。最も回数が多い特徴語が複数存在する場合は、複数の特徴語からユーザが選択してもよい。
次に、情報処理システム1の動作の一例について、図18のフローチャートに従って説明する。以下、第1の者と第2の者が会話する場合について説明する。
第1の者が使用するHMD装置2A、及び第2の者が使用するHMD装置2Bから会話可能状態であることの通知を受けたか否かを判断する(S11)。具体的には、HMD装置2の制御部20は、相手との距離が予め定められた距離(例えば、1m)以内であり、かつ、視線方向が相手の顔に向いたかどうかを判断する。
取得手段302は、会話履歴テーブル312aを参照して第1の者及び第2の者は、相手と会話したことがあるか否かを判断する(S13)。
情報処理装置3の受信手段300は、会話状態か否かを判断する。具体的には、受信手段300は、音響ノイズを基に会話の音声データを受信したか否かを判断する(S17)。
図19は、仮想画像の変形例を示す図である。例えば、図19(a)に示すように、Aさんには、Bさんに関する会話履歴情報として発話日時、最終発話時間、発話内容の要約を含む仮想画像107aを視認させ、Bさんには、Aさんに関する会話履歴情報として発話日時、最終発話時間、発話内容の要約を含む仮想画像107bを視認させてもよい。
Claims (14)
- 対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段と、
を備えた情報処理装置。 - 前記対象者が発言した前記履歴情報は、現在行われているイベントへの参加者が発言した履歴情報であり、
前記生成手段が生成する前記表示画像は、前記参加者の発言に関する情報を含む、
請求項1に記載の情報処理装置。 - 前記発言に関する情報は、発言回数又は発言時間に基づいて求まる発言量である、
請求項2に記載の情報処理装置。 - 前記生成手段が生成する前記表示画像は、前記イベントの進捗を示す進捗情報を含む、
請求項1に記載の情報処理装置。 - 前記対象者が発言した前記履歴情報は、会話の履歴情報であり、
前記生成手段が生成する前記表示画像は、前記会話から抽出された特徴語を含む、
請求項1に記載の情報処理装置。 - 前記生成手段が生成する前記表示画像は、前記特徴語の出現回数が予め定められた回数以上の場合は、当該特徴語を推奨する話題の項目として含む、
請求項5に記載の情報処理装置。 - 前記生成手段が生成する前記表示画像は、前記表示装置の使用者との間、及び前記対象者との間の人物の属性情報に関する類似度が閾値を満たす関係を有する他の対象者に関する情報を含む、
請求項5又は6に記載の情報処理装置。 - 前記生成手段が生成する前記表示画像は、予定の会話の情報を含む、
請求項5から7のいずれか1項に記載の情報処理装置。 - 前記生成手段が生成する前記表示画像は、前記対象者の内面的な情報を含む、
請求項1から8のいずれか1項に記載の情報処理装置。 - 前記生成手段が生成する前記表示画像は、前記対象者の属性情報を含む、
請求項1から9のいずれか1項に記載の情報処理装置。 - 現実空間に仮想空間の画像が重なるように表示する表示装置と、
対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記表示装置に指示する指示手段と、
を備えた情報処理システム。 - 現実空間に仮想空間の画像が重なるように表示するとともに、音声入力部を有する第1の表示装置及び第2の表示装置と、
前記第2の表示装置を使用する者であって、現在行われているイベントへの参加者が発言して前記音声入力部により入力された履歴情報に基づいて前記参加者の発言に関する情報を含む表示画像を生成する生成手段と、
生成された前記表示画像を前記仮想空間の画像として表示するように前記第1の表示装置に指示する指示手段と、
を備えた情報処理システム。 - 現実空間に仮想空間の画像が重なるように表示する第1の表示装置及び第2の表示装置と、
前記第1の表示装置を使用する第1の者の会話の履歴情報に基づいて前記第1の者の発言に関する情報を含む第1の表示画像を生成し、前記第2の表示装置を使用する第2の者の会話の履歴情報に基づいて前記第2の者の発言に関する情報を含む第2の表示画像を生成する生成手段と、
生成された前記第1の表示画像を前記仮想空間の画像として表示するように前記第2の表示装置に指示し、生成された前記第2の表示画像を前記仮想空間の画像として表示するように前記第1の表示装置に指示する指示手段と、
を備えた情報処理システム。 - コンピュータを、
対象者が発言した履歴情報に基づいて前記対象者の発言に関する情報を含む表示画像を生成する生成手段と、
現実空間に仮想空間の画像が重なるように表示する表示装置に、生成された前記表示画像を前記仮想空間の画像として表示するように指示する指示手段として、
機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186766A JP7056055B2 (ja) | 2017-09-27 | 2017-09-27 | 情報処理装置、情報処理システム及びプログラム |
US16/136,292 US11194535B2 (en) | 2017-09-27 | 2018-09-20 | Information processing apparatus, information processing system, and non-transitory computer readable medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017186766A JP7056055B2 (ja) | 2017-09-27 | 2017-09-27 | 情報処理装置、情報処理システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019061557A true JP2019061557A (ja) | 2019-04-18 |
JP7056055B2 JP7056055B2 (ja) | 2022-04-19 |
Family
ID=65807576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017186766A Active JP7056055B2 (ja) | 2017-09-27 | 2017-09-27 | 情報処理装置、情報処理システム及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11194535B2 (ja) |
JP (1) | JP7056055B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014441A1 (ja) * | 2020-07-16 | 2022-01-20 | ソニーグループ株式会社 | 表示装置、表示方法、及びプログラム |
JP2022056591A (ja) * | 2020-09-30 | 2022-04-11 | 本田技研工業株式会社 | 会話支援装置、会話支援システム、会話支援方法およびプログラム |
JP2022079067A (ja) * | 2020-11-16 | 2022-05-26 | Kddi株式会社 | スマートグラス、プログラム及び表示制御方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180113109A (ko) * | 2017-04-05 | 2018-10-15 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 화면 표시 방법 |
WO2019209265A1 (en) * | 2018-04-24 | 2019-10-31 | Hewlett-Packard Development Company, L.P. | Animated gazes on head mounted displays |
JP7269131B2 (ja) * | 2019-08-14 | 2023-05-08 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、視線検出システム、視線検出方法および視線検出プログラム |
US11789527B1 (en) * | 2019-12-17 | 2023-10-17 | Snap Inc. | Eyewear device external face tracking overlay generation |
WO2021171451A1 (ja) * | 2020-02-27 | 2021-09-02 | 日本電気株式会社 | サーバ装置、会議支援システム、会議支援方法及びプログラム |
WO2021171447A1 (ja) * | 2020-02-27 | 2021-09-02 | 日本電気株式会社 | サーバ装置、会議支援システム、会議支援方法及びプログラム |
JP7218802B2 (ja) * | 2020-02-27 | 2023-02-07 | 日本電気株式会社 | サーバ装置、会議支援方法及びプログラム |
US20230069287A1 (en) * | 2020-02-27 | 2023-03-02 | Nec Corporation | Server device, conference assistance system, conference assistance method, and non-transitory computer readable storage medium |
US11539648B2 (en) * | 2020-07-27 | 2022-12-27 | Bytedance Inc. | Data model of a messaging service |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344915A (ja) * | 2001-05-14 | 2002-11-29 | Nippon Telegr & Teleph Corp <Ntt> | コミュニケーション把握装置、および、その方法 |
JP2007043493A (ja) * | 2005-08-03 | 2007-02-15 | Pioneer Electronic Corp | 議事進行を進捗管理する会議支援システム、会議支援方法、及び会議支援プログラム |
JP2008262046A (ja) * | 2007-04-12 | 2008-10-30 | Hitachi Ltd | 会議可視化システム、会議可視化方法、及び集計処理サーバ |
JP2009194857A (ja) * | 2008-02-18 | 2009-08-27 | Sharp Corp | 通信会議システム、通信装置、通信会議方法、コンピュータプログラム |
JP2012060232A (ja) * | 2010-09-06 | 2012-03-22 | Ricoh Co Ltd | 会議進行支援システム、情報端末機、進行支援装置、進行支援方法、プログラム |
US20130293468A1 (en) * | 2012-05-04 | 2013-11-07 | Kathryn Stone Perez | Collaboration environment using see through displays |
WO2015125375A1 (ja) * | 2014-02-18 | 2015-08-27 | ソニー株式会社 | 情報処理装置、制御方法、プログラム、およびシステム |
JP2016506565A (ja) * | 2012-12-11 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 人間トリガのホログラフィックリマインダ |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3220885B2 (ja) * | 1993-06-18 | 2001-10-22 | 株式会社日立製作所 | キーワード付与システム |
JP2005197867A (ja) | 2004-01-05 | 2005-07-21 | Fuji Photo Film Co Ltd | 議事進行支援システム及び議事進行支援方法、及び発言入力装置 |
KR101381439B1 (ko) * | 2011-09-15 | 2014-04-04 | 가부시끼가이샤 도시바 | 얼굴 인식 장치 및 얼굴 인식 방법 |
JP6261206B2 (ja) * | 2013-06-28 | 2018-01-17 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6814279B2 (ja) * | 2016-08-12 | 2021-01-13 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | ワードフロー注釈 |
-
2017
- 2017-09-27 JP JP2017186766A patent/JP7056055B2/ja active Active
-
2018
- 2018-09-20 US US16/136,292 patent/US11194535B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002344915A (ja) * | 2001-05-14 | 2002-11-29 | Nippon Telegr & Teleph Corp <Ntt> | コミュニケーション把握装置、および、その方法 |
JP2007043493A (ja) * | 2005-08-03 | 2007-02-15 | Pioneer Electronic Corp | 議事進行を進捗管理する会議支援システム、会議支援方法、及び会議支援プログラム |
JP2008262046A (ja) * | 2007-04-12 | 2008-10-30 | Hitachi Ltd | 会議可視化システム、会議可視化方法、及び集計処理サーバ |
JP2009194857A (ja) * | 2008-02-18 | 2009-08-27 | Sharp Corp | 通信会議システム、通信装置、通信会議方法、コンピュータプログラム |
JP2012060232A (ja) * | 2010-09-06 | 2012-03-22 | Ricoh Co Ltd | 会議進行支援システム、情報端末機、進行支援装置、進行支援方法、プログラム |
US20130293468A1 (en) * | 2012-05-04 | 2013-11-07 | Kathryn Stone Perez | Collaboration environment using see through displays |
JP2016506565A (ja) * | 2012-12-11 | 2016-03-03 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 人間トリガのホログラフィックリマインダ |
WO2015125375A1 (ja) * | 2014-02-18 | 2015-08-27 | ソニー株式会社 | 情報処理装置、制御方法、プログラム、およびシステム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022014441A1 (ja) * | 2020-07-16 | 2022-01-20 | ソニーグループ株式会社 | 表示装置、表示方法、及びプログラム |
JP2022056591A (ja) * | 2020-09-30 | 2022-04-11 | 本田技研工業株式会社 | 会話支援装置、会話支援システム、会話支援方法およびプログラム |
JP7341111B2 (ja) | 2020-09-30 | 2023-09-08 | 本田技研工業株式会社 | 会話支援装置、会話支援システム、会話支援方法およびプログラム |
JP2022079067A (ja) * | 2020-11-16 | 2022-05-26 | Kddi株式会社 | スマートグラス、プログラム及び表示制御方法 |
JP7360775B2 (ja) | 2020-11-16 | 2023-10-13 | Kddi株式会社 | スマートグラス、プログラム及び表示制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US11194535B2 (en) | 2021-12-07 |
US20190095164A1 (en) | 2019-03-28 |
JP7056055B2 (ja) | 2022-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7056055B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
US11688399B2 (en) | Computerized intelligent assistant for conferences | |
JP6439788B2 (ja) | 情報処理装置、制御方法、プログラム、およびシステム | |
US11749285B2 (en) | Speech transcription using multiple data sources | |
US20180300822A1 (en) | Social Context in Augmented Reality | |
US9390561B2 (en) | Personal holographic billboard | |
US9118804B2 (en) | Electronic device and server, and methods of controlling the electronic device and server | |
AU2013331185B2 (en) | Method relating to presence granularity with augmented reality | |
US20100060713A1 (en) | System and Method for Enhancing Noverbal Aspects of Communication | |
US20190392830A1 (en) | System and Method For User Alerts During An Immersive Computer-Generated Reality Experience | |
US20080059578A1 (en) | Informing a user of gestures made by others out of the user's line of sight | |
CN103733196A (zh) | 用于实现现实世界用户经历的可搜索历史的方法及设备 | |
US20180316900A1 (en) | Continuous Capture with Augmented Reality | |
US20140108530A1 (en) | Person of Interest in Augmented Reality | |
US10909405B1 (en) | Virtual interest segmentation | |
JP6822413B2 (ja) | サーバ装置及び情報処理方法、並びにコンピュータ・プログラム | |
JP2019086858A (ja) | 顧客応対システム及び顧客応対方法 | |
US20190227695A1 (en) | Immersive displays | |
CN116888574A (zh) | 共存会话中的数字助理交互 | |
WO2019037217A1 (zh) | 摄像头模组和社交系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220321 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7056055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |