JP2018170714A - 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム - Google Patents
情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム Download PDFInfo
- Publication number
- JP2018170714A JP2018170714A JP2017068440A JP2017068440A JP2018170714A JP 2018170714 A JP2018170714 A JP 2018170714A JP 2017068440 A JP2017068440 A JP 2017068440A JP 2017068440 A JP2017068440 A JP 2017068440A JP 2018170714 A JP2018170714 A JP 2018170714A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- information
- information processing
- video
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Alarm Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
所定エリアを撮像する撮像手段から映像を取得する映像取得手段と、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた。
所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
を含む。
所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
をコンピュータに実行させる。
所定エリアの映像を撮像する撮像手段と、
前記撮像手段により撮像された所定エリアの映像に含まれる被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた。
本発明の第1実施形態としての情報処理装置100について、図1を用いて説明する。情報処理装置100は、撮像された映像に写っている被写体の状況を認識して表示する装置である。
次に本発明の第2実施形態に係る情報処理システムについて、図2乃至図6を用いて説明する。図2は、本実施形態に係る情報処理システムの構成の一例を説明するための図である。
次に本発明の第3実施形態に係る情報処理システムについて、図7を用いて説明する。図7は、本実施形態に係る情報処理システムの構成を説明するための図である。本実施形態に係る情報処理システムは、上記第2実施形態と比べると、会議システムに情報処理システムを適用した点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
所定エリアを撮像する撮像手段から映像を取得する映像取得手段と、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた情報処理装置。
(付記2)
前記被写体の周辺環境の情報である周辺環境情報を取得する周辺環境情報取得手段をさらに備え、
前記状況認識手段は、さらに、前記周辺環境情報に基づいて、前記被写体の状況を認識する付記1に記載の情報処理装置。
(付記3)
前記周辺環境情報は、温度、湿度、震度、雑音の大きさ、照度および輝度のうち少なくとも1つを含む付記2に記載の情報処理装置。
(付記4)
認識された前記状況に基づいて、アラートを報知するアラート報知手段をさらに備える付記1乃至3のいずれか1項に記載の情報処理装置。
(付記5)
前記被写体情報は、前記被写体の音声情報、生体情報、動作情報および表情情報のうち少なくとも1つを含む付記1乃至4のいずれか1項に記載の情報処理装置。
(付記6)
生体情報は、体温、心拍、脈拍、空腹、のどの渇き、吐き気、尿意、痛み、呼吸数、脳波、発汗量のうち少なくとも1つを含む付記5に記載の情報処理装置。
(付記7)
前記状況は、少なくとも前記被写体の感情を含む付記1乃至6のいずれか1項に記載の情報処理装置。
(付記8)
前記表示手段は、前記状況を表すテキストを表示する付記1乃至7のいずれか1項に記載の情報処理装置。
(付記9)
所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
を含む情報処理方法。
(付記10)
所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
をコンピュータに実行させる情報処理プログラム。
(付記11)
所定エリアの映像を撮像する撮像手段と、
前記撮像手段により撮像された所定エリアの映像に含まれる被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた情報処理システム。
Claims (10)
- 所定エリアを撮像する撮像手段から映像を取得する映像取得手段と、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた情報処理装置。 - 前記被写体の周辺環境の情報である周辺環境情報を取得する周辺環境情報取得手段をさらに備え、
前記状況認識手段は、さらに、前記周辺環境情報に基づいて、前記被写体の状況を認識する請求項1に記載の情報処理装置。 - 前記周辺環境情報は、温度、湿度、震度、雑音の大きさ、照度および輝度のうち少なくとも1つを含む請求項2に記載の情報処理装置。
- 前記被写体情報は、前記被写体の音声情報、生体情報、動作情報および表情情報のうち少なくとも1つを含む請求項1乃至3のいずれか1項に記載の情報処理装置。
- 生体情報は、体温、心拍、脈拍、空腹、のどの渇き、吐き気、尿意、痛み、呼吸数、脳波、発汗量のうち少なくとも1つを含む請求項4に記載の情報処理装置。
- 前記状況は、少なくとも前記被写体の感情を含む請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記表示手段は、前記状況を表すテキストを表示する請求項1乃至6のいずれか1項に記載の情報処理装置。
- 所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
を含む情報処理方法。 - 所定エリアを撮像する撮像手段から映像を取得する映像取得ステップと、
撮像された映像に写っている被写体の被写体情報を収集する被写体情報収集ステップと、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識ステップと、
認識された前記状況を識別可能に表示する表示ステップと、
をコンピュータに実行させる情報処理プログラム。 - 所定エリアの映像を撮像する撮像手段と、
前記撮像手段により撮像された所定エリアの映像に含まれる被写体の被写体情報を収集する被写体情報収集手段と、
前記被写体の映像および前記被写体情報に基づいて、前記被写体の状況を認識する状況認識手段と、
認識された前記状況を識別可能に表示する表示手段と、
を備えた情報処理システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017068440A JP2018170714A (ja) | 2017-03-30 | 2017-03-30 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
US15/918,055 US11227148B2 (en) | 2017-03-30 | 2018-03-12 | Information processing apparatus, information processing method, information processing program, and information processing system |
JP2021183024A JP7306439B2 (ja) | 2017-03-30 | 2021-11-10 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017068440A JP2018170714A (ja) | 2017-03-30 | 2017-03-30 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021183024A Division JP7306439B2 (ja) | 2017-03-30 | 2021-11-10 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018170714A true JP2018170714A (ja) | 2018-11-01 |
Family
ID=63670778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017068440A Pending JP2018170714A (ja) | 2017-03-30 | 2017-03-30 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11227148B2 (ja) |
JP (1) | JP2018170714A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022031086A (ja) * | 2020-08-05 | 2022-02-18 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10733448B2 (en) * | 2018-03-15 | 2020-08-04 | Microsoft Technology Licensing, Llc | Machine learning of context data for social and contextual scene inferences |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331827A (ja) * | 1998-05-12 | 1999-11-30 | Fujitsu Ltd | テレビカメラ装置 |
CN101789990A (zh) * | 2009-12-23 | 2010-07-28 | 宇龙计算机通信科技(深圳)有限公司 | 一种在通话过程中判断对方情绪的方法及移动终端 |
JP2010210804A (ja) * | 2009-03-09 | 2010-09-24 | Nikon Corp | カメラ |
JP2012156647A (ja) * | 2011-01-24 | 2012-08-16 | Nikon Corp | デジタルカメラおよびカメラ付き電子機器 |
JP2013129914A (ja) * | 2011-11-22 | 2013-07-04 | National Institute Of Advanced Industrial Science & Technology | マグネシウム合金板材の製造方法並びにマグネシウム合金板材及びそれを用いたプレス成形体 |
JP2013239914A (ja) * | 2012-05-15 | 2013-11-28 | Nikon Corp | 撮像装置 |
US20140247343A1 (en) * | 2013-03-04 | 2014-09-04 | Alex C. Chen | Method and apparatus for sensing and displaying information |
WO2016170810A1 (ja) * | 2015-04-23 | 2016-10-27 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007299255A (ja) | 2006-05-01 | 2007-11-15 | Hitachi Systems & Services Ltd | メディア表現文書情報生成システム |
US10956956B2 (en) * | 2012-08-17 | 2021-03-23 | Ebay Inc. | System, method, and computer readable medium for recommendations based on wearable sensors |
US9019174B2 (en) * | 2012-10-31 | 2015-04-28 | Microsoft Technology Licensing, Llc | Wearable emotion detection and feedback system |
JP6122735B2 (ja) * | 2013-08-28 | 2017-04-26 | ヤフー株式会社 | 情報処理装置、判定方法および判定プログラム |
US9459889B2 (en) * | 2014-05-19 | 2016-10-04 | Qualcomm Incorporated | Systems and methods for context-aware application control |
US10142598B2 (en) * | 2014-05-30 | 2018-11-27 | Sony Corporation | Wearable terminal device, photographing system, and photographing method |
JP2016062239A (ja) * | 2014-09-17 | 2016-04-25 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US11006162B2 (en) * | 2015-08-31 | 2021-05-11 | Orcam Technologies Ltd. | Systems and methods for analyzing information collected by wearable systems |
-
2017
- 2017-03-30 JP JP2017068440A patent/JP2018170714A/ja active Pending
-
2018
- 2018-03-12 US US15/918,055 patent/US11227148B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11331827A (ja) * | 1998-05-12 | 1999-11-30 | Fujitsu Ltd | テレビカメラ装置 |
JP2010210804A (ja) * | 2009-03-09 | 2010-09-24 | Nikon Corp | カメラ |
CN101789990A (zh) * | 2009-12-23 | 2010-07-28 | 宇龙计算机通信科技(深圳)有限公司 | 一种在通话过程中判断对方情绪的方法及移动终端 |
JP2012156647A (ja) * | 2011-01-24 | 2012-08-16 | Nikon Corp | デジタルカメラおよびカメラ付き電子機器 |
JP2013129914A (ja) * | 2011-11-22 | 2013-07-04 | National Institute Of Advanced Industrial Science & Technology | マグネシウム合金板材の製造方法並びにマグネシウム合金板材及びそれを用いたプレス成形体 |
JP2013239914A (ja) * | 2012-05-15 | 2013-11-28 | Nikon Corp | 撮像装置 |
US20140247343A1 (en) * | 2013-03-04 | 2014-09-04 | Alex C. Chen | Method and apparatus for sensing and displaying information |
WO2016170810A1 (ja) * | 2015-04-23 | 2016-10-27 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022031086A (ja) * | 2020-08-05 | 2022-02-18 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
JP7168239B2 (ja) | 2020-08-05 | 2022-11-09 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
Also Published As
Publication number | Publication date |
---|---|
US11227148B2 (en) | 2022-01-18 |
US20180285632A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11257266B2 (en) | Intelligent augmented reality (IAR) platform-based communication system via servers | |
CN109074117B (zh) | 提供基于情绪的认知助理系统、方法及计算器可读取媒体 | |
Zhou et al. | Tackling mental health by integrating unobtrusive multimodal sensing | |
US9891884B1 (en) | Augmented reality enabled response modification | |
WO2020148920A1 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
US11216704B2 (en) | Recognition system using multimodality dataset | |
JP2019175108A (ja) | 感情情報管理サーバ装置、感情情報管理方法、プログラム、端末装置及び情報通信システム | |
Kim et al. | Beginning of a new standard: Internet of Media Things | |
US11227148B2 (en) | Information processing apparatus, information processing method, information processing program, and information processing system | |
TW201826167A (zh) | 一種表情反饋方法及智慧機器人 | |
WO2018173948A1 (ja) | サービス提供システム | |
JP7306439B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム | |
JP7306152B2 (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム | |
JP2020052748A (ja) | サーバ装置、情報処理方法、プログラム、端末装置及び情報通信システム | |
CN116868163A (zh) | 医疗智能系统和方法 | |
US20210142047A1 (en) | Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide | |
El Kaliouby et al. | iSET: interactive social-emotional toolkit for autism spectrum disorder | |
CN113921098A (zh) | 一种医疗服务评价方法和系统 | |
Ochs et al. | From emotions to interpersonal stances: Multi-level analysis of smiling virtual characters | |
JP2008306586A (ja) | 情況推定方法、情況推定プログラム及びネットワークシステム | |
JP3936295B2 (ja) | データベース作成装置 | |
WO2023119526A1 (ja) | ウェアラブルデバイスおよび行動評価システム | |
US20240233940A1 (en) | Interactive medical communication device | |
US11935329B2 (en) | Video analysis program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210810 |